KR20150134252A - 디스플레이 장치, 원격 제어 장치, 시스템 및 그 제어 방법 - Google Patents

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는 복수의 아이템을 디스플레이하는 디스플레이부, 원격 제어 장치와 통신을 수행하는 통신부, 사용자의 음성 및 모션 중 적어도 하나를 인식하는 인식부 및 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 복수의 아이템 중 하나를 선택하고, 선택된 아이템에 대한 사용자의 음성 명령이 수신되면, 수신된 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행하는 프로세서를 포함한다. 이에 따라, 사용자는 원하는 프로그램 또는 컨텐츠를 직관적으로 선택하고 실행시킬 수 있게 되어 사용자 편의가 증대될 수 있다.

Description

디스플레이 장치, 원격 제어 장치, 시스템 및 그 제어 방법{DISPALY APPARATUS, REMOTE CONTROLL APPARATUS, SYSTEM AND CONTROLLING METHOD THEREOF}

본 발명은 디스플레이 장치, 원격 제어 장치, 시스템 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 포인팅 신호, 사용자의 모션 및 음성 중 적어도 하나에 기초하여 제어 가능한 디스플레이 장치, 원격 제어 장치, 시스템 및 그 제어 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.

디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.

이에 따라, 디스플레이 장치에서 수행되는 기능들도 다양해지게 되었다. 특히, 사용자의 음성을 인식하고 인식된 음성에 대응되는 제어 동작을 수행하거나, 사용자의 모션을 인식하고 인식된 모션에 대응되는 제어 동작을 수행하도록 구현되고 있다. 또한, 원격 제어 장치로부터 수신되는 제어 신호와 인식되는 사용자의 음성 및 모션을 모두 사용하여 디스플레이 장치를 제어할 수 있게 되었다.

하지만, 종래에는 포인팅 장치를 사용하여 컨텐츠를 선택하고, 선택된 컨텐츠에 관련된 정보를 검색하기 위해서는 따로 검색화면으로 이동하여 검색 키워드를 입력하거나, 디스플레이 장치의 동작 모드를 음성 인식 모드로 변경하여 검색을 수행할 수 있었다.

이에 따라, 검색을 수행하기 위하여 검색 화면으로 이동하지 않으면서, 원격 제어 장치로부터 수신되는 제어 신호, 인식된 사용자의 모션 및 음성 모두에 기초하여 제어 동작을 수행할 수 있는 디스플레이 장치에 대한 필요성이 대두되었다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 포인팅 신호, 사용자의 모션 및 음성 중 적어도 하나에 기초하여 제어 가능한 디스플레이 장치, 원격 제어 장치, 시스템 및 그 제어 방법을 제공함에 있다.

이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는 복수의 아이템을 디스플레이하는 디스플레이부, 원격 제어 장치와 통신을 수행하는 통신부, 사용자의 음성 및 모션 중 적어도 하나를 인식하는 인식부 및 상기 원격 제어 장치로부터 수신된 포인팅 신호 및 상기 인식된 사용자의 모션 중 적어도 하나에 기초하여 상기 복수의 아이템 중 하나를 선택하고, 상기 선택된 아이템에 대한 사용자의 음성 명령이 수신되면, 상기 수신된 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행하는 프로세서를 포함한다.

여기서, 상기 프로세서는, 상기 선택된 아이템에 대한 분석을 통해 상기 키워드를 추출할 수 있다.

또한, 상기 프로세서는, 상기 선택된 컨텐츠에 대한 정보를 외부 서버로 전송하고, 상기 외부 서버로부터 상기 추출된 키워드를 수신할 수 있다.

또한, 상기 프로세서는, 상기 원격 제어 장치로부터 수신된 포인팅 신호에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 중단하고 상기 음성 인식을 수행할 수 있다.

또한, 상기 프로세서는, 상기 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 재개할 수 있다.

그리고, 상기 프로세서는, 상기 인식된 모션에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 모션 인식을 수행하지 않고, 음성 인식을 수행할 수 있다.

또한, 상기 프로세서는, 상기 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 음성 인식을 수행하지 않고, 상기 모션 인식을 수행할 수 있다.

한편, 본 발명의 일 실시 예에 따른 원격 제어 장치는 복수의 아이템을 디스플레이하는 디스플레이 장치와 통신을 수행하는 통신부, 사용자의 음성을 인식하는 음성 인식부 및 기 설정된 이벤트 발생 시 상기 복수의 아이템 중 적어도 하나를 선택하기 위한 포인팅 신호의 전송을 중단하고, 상기 음성 인식부를 활성화시켜 상기 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 상기 디스플레이 장치로 전송하는 프로세서를 포함한다.

여기서, 상기 프로세서는, 상기 음성 인식부가 활성화된 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 음성 인식부를 비활성화시키고 상기 포인팅 신호의 전송을 재개할 수 있다.

또한, 상기 기 설정된 이벤트는, 상기 디스플레이 장치에 디스플레이되는 복수의 아이템 중 하나를 가리키는 포인팅 신호가 전송되는 동안 상기 복수의 아이템 중 하나를 선택하는 사용자 명령이 입력되는 이벤트 및 상기 포인팅 신호가 기 설정된 시간 이상 전송되는 이벤트 중 적어도 하나를 포함할 수 있다.

또한, 상기 프로세서는, 음성 인식 및 모션 인식을 계속적으로 수행하여 상기 인식된 사용자의 모션 및 음성 각각에 대응되는 제어 동작을 수행할 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는 오브젝트의 형태를 등록받는 오브젝트 등록부를 더 포함하며, 상기 프로세서는 상기 등록된 형태의 오브젝트가 인식되면, 인식된 오브젝트의 모션에 대응되는 제어 동작을 수행할 수 있다.

또한, 상기 인식부는 상기 디스플레이 장치와 결합 및 분리가 가능한 음성 및 모션을 인식하는 장치를 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치 및 원격 제어 장치를 포함하는 시스템은, 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 디스플레이된 복수의 아이템 중 하나를 선택하고, 상기 선택된 아이템에 대한 사용자의 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행하는 디스플레이 장치 및 기 설정된 이벤트에 따라, 상기 포인팅 신호의 전송을 중단하고 음성 인식을 수행하고, 상기 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 상기 디스플레이 장치로 전송하는 원격 제어 장치를 포함한다.

한편, 본 발명의 일 실시 예에 따른 복수의 아이템을 디스플레이하는 디스플레이부 및 사용자의 음성 및 모션 중 적어도 하나를 인식하는 인식부를 포함하는 디스플레이 장치의 제어 방법은, 원격 제어 장치와 통신을 수행하는 단계, 상기 원격 제어 장치로부터 수신된 포인팅 신호 및 상기 인식된 사용자의 모션 중 적어도 하나에 기초하여 상기 복수의 아이템 중 하나를 선택하는 단계, 상기 선택된 아이템에 대한 사용자의 음성 명령을 수신하는 단계, 상기 수신된 음성 명령을 수행하기 위해 키워드를 추출하는 단계 및 상기 추출된 키워드에 기초하여 제어 동작을 수행하는 단계를 포함한다.

여기서, 상기 추출하는 단계는, 상기 선택된 아이템에 대한 분석을 통해 상기 키워드를 추출할 수 있다.

또한, 상기 추출하는 단계는, 상기 선택된 컨텐츠에 대한 정보를 외부 서버로 전송하고, 상기 외부 서버로부터 상기 추출된 키워드를 수신할 수 있다.

또한, 상기 음성 명령을 수신하는 단계는, 상기 원격 제어 장치로부터 수신된 포인팅 신호에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 중단하고 음성 인식을 수행할 수 있다.

여기서, 상기 음성 인식이 수행된 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 재개하는 단계를 더 포함한다.

또한, 상기 음성 명령을 수신하는 단계는, 상기 인식된 모션에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 모션 인식을 수행하지 않고, 음성 인식을 수행할 수 있다.

또한, 상기 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 음성 인식을 수행하지 않고, 상기 모션 인식을 수행하는 단계를 더 포함한다.

또한, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 오브젝트의 형태를 등록받는 단계 및 상기 등록된 형태의 오브젝트가 인식되면, 인식된 오브젝트의 모션에 대응되는 제어 동작을 수행하는 단계를 더 포함한다.

한편, 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 방법은 복수의 아이템을 디스플레이하는 디스플레이 장치와 통신을 수행하는 단계 및 기 설정된 이벤트 발생 시 상기 복수의 아이템 중 적어도 하나를 선택하기 위한 포인팅 신호의 전송을 중단하고, 상기 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 상기 디스플레이 장치로 전송하는 단계를 포함한다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치와 결합되어 하기의 단계를 실행시키기 위한 기록 매체에 저장된 컴퓨터 프로그램은, 원격 제어 장치와 통신을 수행하는 단계, 상기 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 디스플레이된 복수의 아이템 중 하나를 선택하는 단계, 상기 선택된 아이템에 대한 사용자의 음성 명령을 수신하는 단계, 상기 수신된 음성 명령을 수행하기 위해 키워드를 추출하는 단계 및 상기 추출된 키워드에 기초하여 제어 동작을 수행하는 단계를 포함한다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자는 원하는 프로그램 또는 컨텐츠를 직관적으로 선택하고 실행시킬 수 있게 되어 사용자 편의가 증대될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 포인팅 신호 및 사용자의 음성에 기초하여 디스플레이 장치를 제어하는 것을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 음성 제어 시스템의 구성의 일 예를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 서버 장치의 구성을 나타낸 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 시선 방향을 감지하여 제어 동작을 수행하는 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 다양한 형태의 오브젝트를 통하여 제어 가능한 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.
도 7은 본 발명의 일 실시 예에 따른 다양한 형태의 등록된 오브젝트의 모션을 인식하는 디스플레이 장치를 설명하기 위한 도면이다.
도 8는 본 발명의 일 실시 예에 따른 대화형 서비스를 제공하는 디스플레이 장치를 나타낸 도면이다.
도 9는 본 발명의 일 실시 예에 따른 원격 제어 장치의 구성을 나타낸 블록도이다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치 및 원격 제어 장치를 포함하는 시스템에 대한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 복수의 아이템을 디스플레이하는 디스플레이부 및 사용자의 음성 및 모션 중 적어도 하나를 인식하는 인식부를 포함하는 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 방법을 설명하기 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 모션 인식 및 음성 인식을 동시에 수행하는 것을 설명하기 위한 도면이다.

이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다. 도 1에 따르면, 디스플레이 장치(100)는 디스플레이부(110), 인식부(120), 프로세서(130) 및 통신부(140)를 포함한다. 여기서, 디스플레이 장치(100)는 TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.

디스플레이부(110)는 복수의 아이템을 디스플레이할 수 있다. 여기서, 복수의 아이템이란 정지 영상 이미지, 동영상 이미지, 문서등을 포함할 수 있다. 이를 위해, 디스플레이부(110)는 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.

통신부(140)는 원격 제어 장치(미도시)와 통신을 수행할 수 있다. 특히, 통신부(140)는 원격 제어 장치(미도시)와 무선 통신 방식 또는 IR 방식에 따라 통신을 수행할 수 있는데, 무선 통신 방식으로는, RFID, NFC(Near Field Communication), 블루투스(bluetooth), 지그비(Zigbee) 및 와이파이(Wi-Fi) 등이 사용될 수 있다.

인식부(120)는 사용자의 음성 및 모션 중 적어도 하나를 인식할 수 있다. 여기서, 인식부(120)는 사용자의 음성 및 모션을 입력받는 입력부(미도시)를 포함할 수 있다. 입력부(미도시)는 자체적으로 마이크를 포함하여 사용자 음성을 직접 입력받을 수도 있고, 리모컨 등에 설치된 마이크에서 입력되는 사용자 음성을 리모컨으로부터 간접적으로 입력받을 수도 있다. 또한, 입력부(미도시)는 자체적으로 촬상부를 포함하여 사용자 모션을 직접 입력받을 수도 있고, 리모컨이나 스마트폰과 같은 원격제어장치에 설치된 렌즈를 통해 입력되는 사용자 모션을 원격제어장치로부터 간접적으로 입력받을 수도 있다.

즉, 리모컨에 마이크와 촬상부가 구비되어 있는 경우 사용자는 디스플레이 장치(100) 앞에 서서 모션을 취하거나 음성을 발화하지 않고도 디스플레이 장치(100)를 제어할 수 있다.

예를 들어, 디스플레이 장치(100)는 거실에 있고, 사용자는 부엌에 있는 상황을 가정하면, 사용자는 디스플레이 장치(100)가 있는 거실로 이동하지 않고도 부엌에서 리모컨에 구비된 촬상부를 통해 모션을 취하면, 리모컨은 촬상부를 통해 저장된 모션 이미지를 디스플레이 장치(100)로 전송하고, 디스플레이 장치(100)의 프로세서(130)는 전송된 모션 이미지로부터 모션을 인식함으로써, 인식된 모션에 대응되는 기능을 수행할 수 있다.

또한, 사용자는 디스플레이 장치(100)가 있는 거실로 이동하지 않고도 부엌에서 리모컨에 구비된 마이크를 통해 음성 명령을 발화하면, 리모컨은 마이크를 통해 녹음된 음성을 디스플레이 장치(100)로 전송하고, 디스플레이 장치(100)의 프로세서(130)는 수신된 음성으로부터 음성 인식을 수행하여 인식된 음성에 대응되는 기능을 수행할 수 있다.

한편, 여기서, 리모컨은 원격 제어 장치(1100)의 한 종류일 뿐, 상술한 동작은 리모컨에 한정되지 아니하며, 원격 제어 장치(1100)로 사용될 수 있는 스마트폰, 포인팅 디바이스 등에도 모두 적용 가능하다.

또한, 인식부(120)는 디스플레이 장치(100)와 결합 및 분리가 가능한 음성 및 모션을 인식하는 장치를 포함할 수 있다. 즉, 인식부(120)는 디스플레이 장치(100)에 구비되어 있을 수도 있으나, 탈 부착이 가능한 음성 및 모션을 인식하는 장치로 구현될 수도 있으며, 이에 따라 사용자는 시중에서 구입한 음성 및 모션을 인식하는 장치를 디스플레이 장치(100)에 부착하여 사용할 수 있다.

한편, 프로세서는 일반적으로 장치의 제어를 담당하는 구성으로, 중앙처리장치, 마이크로 프로세서, 제어부 등과 혼용될 수 있으며, 장치의 전반적인 동작을 제어할 수 있도록 하는 것으로서, 인식부(120), 통신부(140) 등 다른 기능부와 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)로 구현될 수 있다.

한편, 프로세서(130)는 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 복수의 아이템 중 하나를 선택하고, 선택된 아이템에 대한 사용자의 음성 명령이 수신되면, 수신된 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행한다. 구체적으로, 프로세서(130)는 통신부(140)를 통해 원격 제어 장치로부터 수신된 포인팅 신호에 기초하여 복수의 아이템 중 하나를 선택하거나, 인식부(120)를 통해 인식된 사용자의 모션에 기초하여 복수의 아이템 중 하나를 선택할 수 있으며, 원격 제어 장치로부터 수신된 포인팅 신호 또는 인식된 사용자의 모션에 대응되는 인디케이터를 디스플레이할 수 있다.

예를 들면, 프로세서(130)는 디스플레이부(110) 상에 인디케이터를 디스플레이하고, 원격 제어 장치로부터 수신된 포인팅 신호의 움직임 또는 사용자의 모션에 대응되도록 디스플레이 된 인디케이터를 움직이는 동작을 수행할 수 있다. 즉, 포인팅 신호의 움직임이 왼쪽에서 오른쪽으로 움직이거나, 사용자의 모션이 손을 왼쪽에서 오른쪽으로 움직이는 동작이면, 프로세서(130)는 이러한 사용자의 모션에 대응되도록 인디케이터가 디스플레이부(110) 상에서 왼쪽에서 오른쪽으로 움직이는 동작을 수행할 수 있다.

그리고, 프로세서(130)는 포인팅 신호 또는 사용자의 모션에 대응되도록 움직인 인디케이터가 디스플레이부(110) 상에 디스플레이된 복수의 아이템 중 하나에 위치하면, 인디케이터가 위치한 아이템이 선택되었음을 판단할 수 있다.

그리고, 프로세서(130)는 아이템이 선택된 상태에서, 선택된 아이템에 대한 사용자의 음성 명령이 수신되면, 수신된 음성 명령을 수행하기 위하여 선택된 아이템과 관련된 키워드를 추출하고, 이를 기반으로 처리한다.

구체적으로, 프로세서(130)는 선택된 아이템에 대한 분석을 통해 키워드를 추출할 수 있다.

예를 들어, 인디케이터가 드라마 동영상을 선택한 상태에서, 사용자가 "이 드라마 주인공이 나오는 다른 영화나 드라마는 뭐지?"라고 음성 명령을 발화하면, 프로세서(130)는 선택된 드라마 동영상을 분석하여 드라마의 주인공과 관련된 키워드를 추출할 수 있다. 여기서, 드라마의 주인공과 관련된 키워드는 주인공역을 맡은 연예인의 이름이 될 수 있다.

또는, 컨텐츠가 재생되고 있는 상태, 예를 들어 영화가 재생되고 있는 상태에서, 포인팅 신호 또는 사용자의 모션에 따라 인디케이터를 이동시켜 디스플레이되고 있는 영상 이미지 중 하나의 오브젝트를 선택하고, 사용자가 "이게 뭐지?"라고 음성 명령을 발화하면, 프로세서(130)는 선택된 영화 동영상을 분석하여 선택된 오브젝트와 관련된 키워드를 추출할 수 있다. 즉, 디스플레이되고 있는 영상이 스페인 여행에 관한 것이고, 영상 이미지 속에 스페인의 한 음식점이 디스플레이되고 있는 경우, 프로세서(130)는 "이게 뭐지?"라는 사용자의 음성 명령을 수행하기 위하여, 영상을 분석함으로써, 스페인의 한 음식점에 관한 음식점 명칭을 키워드로 추출할 수 있다.

이후, 프로세서(130)는 추출된 키워드에 기초하여 제어 동작을 수행할 수 있다. 즉, 상술한 예에서, "이 드라마 주인공이 나오는 다른 영화나 드라마는 뭐지?"라는 사용자의 음성 명령에 대해서, 주인공역을 맡은 연예인의 이름에 관한 키워드에 기초하여 외부 서버 또는 다른 웹 사이트 상에서 그 연예인이 나오는 다른 영화나 드라마를 검색하여 사용자에게 제공할 수 있다. 또한, "이게 뭐지?"라는 사용자의 음성 명령에 대해서, 스페인의 한 음식점에 관한 음식적 명칭에 기초하여 외부 서버 또는 다른 웹 사이트 상에서 그 음식점에 관한 정보들을 사용자에게 제공할 수 있다.

물론, 상술한 예에서, 컨텐츠는 영상에 관한 정보뿐만 아니라, 그 영상에 포함되는 오브젝트들에 관한 정보들을 포함하고 있으며, 프로세서(130)는 영상에 포함되는 오브젝트들에 관한 정보들을 분석함으로써, 사용자의 음성 명령에 대응되는 키워드를 추출할 수 있다. 이러한 오브젝트들에 관한 정보들은 컨텐츠에 부가 정보로 포함될 수 있을 것이다.

한편, 영상에 포함되는 오브젝트들에 관한 정보들이 컨텐츠에 부가 정보로 포함되지 않고, 외부 서버에 저장되는 경우도 가능하다. 즉, 프로세서(130)는 자체적으로 선택된 아이템에 대한 분석을 통해 키워드를 추출하는 것이 아니라, 선택된 아이템에 대한 정보를 외부 서버로 전송하면, 외부 서버가 선택된 아이템에 대한 정보에 기초하여 키워드를 추출하여 디스플레이 장치(100)로 전송할 수도 있다. 이에 따라, 프로세서(130)는 선택된 컨텐츠에 대한 정보를 외부 서버로 전송하고, 외부 서버로부터 추출된 키워드를 수신할 수 있게 된다.

또한, 프로세서(130)는 사용자 음성이 정의되지 않은 임의의 텍스트를 발음한 경우라면, 그 텍스트에 대응되는 동작을 수행할 수 있다. 즉, 프로세서(130)는 사용자 음성을 분석하여, 그 사용자 음성에 응답하는 대화형 서비스를 제공할 수 있다. 가령, 사용자가 "영화배우 ABCD"라고 발음한 경우, 프로세서(130)는 "영화배우 ABCD"라는 텍스트를 포함하는 다양한 정보들을 검색하여 그 검색 결과를 디스플레이할 수 있다.

상술한 대화형 서비스에 있어서, 사용자 음성의 분석 및 텍스트 변환 작업은 프로세서(130)가 직접 처리할 수도 있지만, 실시 예에 따라서, 다르게는 외부의 서버 장치(미도시)로 사용자 음성을 전달하여, 서버 장치가 해당 사용자 음성을 텍스트로 변환하면 그 변환된 텍스트를 제공받을 수도 있다. 음성을 텍스트로 변환하는 서버 장치는 설명의 편의상 음성 인식 장치로 명명할 수 있다. 음성 인식 장치와 연동하여 음성을 텍스트로 변환하는 실시 예에 대해서는 후술하는 부분에서 구체적으로 설명하기로 한다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는 사용자의 음성 명령에 대응되는 검색을 수행하는 대화형 기능뿐만 아니라, 사용자의 음성 명령에 대응되는 디스플레이 장치를 제어하는 기능도 수행할 수 있다. 구체적으로, 디스플레이 장치(100)가 TV인 경우, 해상도 변경, 밝기 조정, 색감 조정, 화면 모드 변경 등과 같은 다양한 동작들 각각에 대해 음성 커맨드가 지정되어 저장될 수 있고 포인팅 신호 또는 사용자의 모션에 의해 선택된 아이템이 환경 설정 아이템인 경우, 인식된 사용자의 음성이 "밝기 조정"이라면 프로세서(130)는 환경 설정 아이템에 대응되는 기능 중 하나인 밝기 조정 기능을 실행할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 포인팅 신호 및 사용자의 음성에 기초하여 디스플레이 장치를 제어하는 것을 도시한 도면이다.

도 2에 따르면, 디스플레이 장치(100)의 디스플레이부(200) 상에는 복수의 아이템이 디스플레이되어 있고, 그 중 하나의 아이템에 인디케이터(210)가 표시되어 있음을 알 수 있다. 그리고, 인디케이터(210)에 의해 아이템이 선택되었음은 하이라이트 표시(220)로 도시되어 있다. 물론, 인디케이터의 모양은 손모양, 화살표 등과 같은 다양한 형태를 포함할 수 있고, 선택되었음을 나타내는 표시도 하이라이트 표시뿐만 아니라 선택되었다는 음성 출력 또는 음향 신호 또는 다양한 형태의 그래픽 요소들로 표시될 수 있음은 자명하다.

통신부(140)는 원격 제어 장치(230)와 통신을 수행하고 원격 제어 장치(230)로부터 포인팅 신호를 수신하며, 프로세서(130)는 수신된 포인팅 신호에 기초하여 디스플레이부(200) 상에 디스플레이된 인디케이터(210)의 위치를 움직일 수 있다.

그리고, 프로세서(130)는 인디케이터(210)가 하나의 아이템에 위치하여 선택되었음이 판단된 상태에서, 선택된 아이템이 드라마 컨텐츠라고 가정하면, 사용자로부터 발화된 "이 드라마 주인공이 나오는 다른 영화나 드라마는 뭐지?"라는 음성명령이 수신되면, 수신된 음성 명령을 수신하기 위하여 선택된 드라마 컨텐츠를 분석하여 드라마 주인공에 관한 키워드를 추출하거나, 선택된 드라마 컨텐츠에 관한 정보를 외부 서버로 전송하고, 외부 서버로부터 추출된 드라마 주인공에 관한 키워드를 수신할 수 있다.

또는, 인디케이터(210)가 하나의 아이템에 위치한 경우, 사용자로부터 발화된 "이거 실행해"라는 음성이 인식되면, 이에 기초하여 선택된 아이템에 대응되는 기능을 실행할 수 있다. 예를 들어, 선택된 아이템이 동영상일 경우 프로세서(130)는 선택된 동영상을 재생할 수 있다.

한편, 상술한 예에서는 프로세서(130)가 통신부(140)에 의해 수신된 포인팅 신호나 인식부(120)를 통해 인식된 사용자의 모션에 따라 복수의 아이템 중 하나를 선택하기 위하여 인디케이터를 움직이는 경우를 설명하였으나, 프로세서(130)는 인식된 사용자의 음성에 기초하여 복수의 아이템 중 하나를 선택하기 위한 인디케이터를 디스플레이하고, 인디케이터를 통해 복수의 아이템 중 하나가 선택되면 인식된 사용자의 모션에 기초하여 선택된 아이템에 대응되는 기능을 실행할 수도 있다.

예를 들어, 프로세서(130)는 인식부(120)를 통해 인식된 사용자의 음성에 따라 디스플레이부(110) 상에 디스플레이된 인디케이터를 움직이는 동작을 수행할 수 있다. 즉, 사용자가 "환경 설정 아이템 선택"이라고 발화하거나 또는 "왼쪽으로 세 번째 아이템"이라고 발화하면, 프로세서(130)는 이러한 사용자의 음성에 기초하여 인디케이터를 환경 설정 아이템에 위치시키거나 왼쪽으로 세 번째에 배치된 아이템에 위치시키도록 할 수 있다.

그리고, 프로세서(130)는 인식부(120)를 통해 인식된 사용자의 모션에 기초하여 선택된 아이템에 대응되는 기능을 실행할 수 있다. 구체적으로, 디스플레이 장치(100)에 실행 명령에 대응되는 모션이 주먹을 쥐는 동작인 것으로 지정되어 저장될 수 있고, 선택된 아이템이 동영상 파일인 경우, 인식부(120)를 통해 주먹을 쥐는 동작이 인식되면 프로세서(130)는 선택된 동영상 파일을 실행할 수 있다.

이에 따라, 프로세서(130)는 원격 제어 장치(230)로부터 수신된 포인팅 신호, 인식된 사용자의 음성 및 모션의 조합에 기초하여 복수의 아이템 중 하나를 선택하고 선택된 아이템에 대응되는 기능을 실행하는 제어 동작을 수행할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 음성 제어 시스템의 구성의 일 예를 나타낸다. 도 3에 따르면 음성 제어 시스템(1000)은 음성 인식 장치(310), 서버 장치(320) 및 디스플레이 장치(100)를 포함한다.

디스플레이 장치(100)는 음성 인식 장치(310) 및 서버 장치(320) 등과 연동할 수 있는 대화 클라이언트 모듈(미도시)를 포함할 수 있다. 프로세서(130)는 인식부(120)를 통해 사용자 음성이 인식되면 대화 클라이언트 모듈을 실행시켜, 음성 입력에 대응되는 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(130)는 사용자 음성을 음성 인식 장치(310)로 전송한다.

음성 인식 장치(310)는 디스플레이 장치(100)를 통해 전송되는 사용자 음성을 텍스트로 변환하여 제공하는 일종의 서버 장치를 의미한다.

음성 인식 장치(310)는 동적정합법(Dynamic time warping method), 은닉 마코프모델(Hidden Markov Model), 신경망(Neural Network) 등과 같은 다양한 인식 알고리즘 중 적어도 하나를 이용하여 음성을 인식하고, 인식된 음성을 텍스트로 변환할 수 있다. 일 예로, 은닉 마코프 모델을 사용하는 경우, 음성 인식 장치(310)는 사용자 음성의 시간적 변화 및 스펙트럼 변화를 각각 모델링하여, 기 저장된 언어 데이터베이스에서 유사한 어휘를 검출한다. 이에 따라, 검출된 어휘를 텍스트로 출력할 수 있다.

즉, 음성 인식 장치(310)는 사용자가 발화한 "이 드라마의 주인공이 나오는 다른 드라마나 영화는 뭐지?"라는 음성 명령이 입력되면, 이러한 음성 명령을 텍스트로 변환하여 디스플레이 장치(100)로 제공할 수 있다.

그리고, 디스플레이 장치(100)는 음성 인식 장치(310)로부터 텍스트가 입력되면, 입력된 텍스트에 대응되는 제어 동작을 수행한다. 구체적으로, 프로세서(130)는 전송된 음성에 대응되는 텍스트를 수신하여 수신된 텍스트에 대응되는 기능을 실행할 수 있다. 즉, 프로세서(130)는 "이 드라마의 주인공이 나오는 다른 드라마나 영화는 뭐지?"에 대응되는 텍스트가 수신되면, 텍스트에 대응되는 기능을 실행하기 위하여, 드라마에 관한 정보를 분석하여 주인공에 관한 키워드를 추출하고, 추출된 키워드에 기초하여 사용자가 원하는 검색 결과 즉, 이 드라마의 주인공이 나오는 다른 드라마나 영화에 관한 목록을 제공할 수 있다.

한편, 프로세서(130)는 기 설정된 음성 명령어 중에서 텍스트와 일치하는 음성 명령어가 있으면, 그 음성 명령어에 대응되는 동작을 수행하는 반면, 음성 명령어와 텍스트가 일치하지 않으면, 텍스트를 서버 장치(320)로 제공한다.

또한, 프로세서(130)는 음성 인식 장치(310)로부터 텍스트가 입력되면, 선택된 컨텐츠에 대한 정보를 직접 분석하지 않고, 음성 인식 장치(310)로부터 입력된 텍스트 및 컨텐츠에 대한 정보를 서버 장치(320)로 전송하고, 서버 장치(320)로부터 추출된 키워드를 수신할 수도 있다.

그리고, 서버 장치(320)는 제공된 텍스트에 대응되는 정보 및 선택된 컨텐츠에 대한 정보를 자체 데이터베이스 또는 기타 서버 장치들로부터 검색한다. 즉, 서버 장치(320)는 제공된 텍스트에 대응되는 정보로부터 어떤한 정보를 검색해야 하는지를 판단하고, 선택된 컨텐츠에 대한 정보와 관련하여 키워드를 추출하고 이에 기초하여 검색을 수행할 수 있다.

그리고, 서버 장치(320)는 검색 결과를 디스플레이 장치(100)로 다시 피드백한다.

즉, 프로세서(130)는 사용자 음성을 음성 인식 장치(610)로 전송하고, 음성 인식 장치로부터 전송된 사용자 음성에 대응되는 텍스트를 수신하며, 수신된 텍스트를 서버 장치로 전송하고 서버 장치로부터 텍스트에 대응되는 검색 결과를 수신하여 디스플레이할 수 있다.

한편, 도 3에서는 음성 인식 장치(310) 및 서버 장치(320) 모두를 포함하는 것으로 도시 및 설명하였으나, 실시 예에 따라서는 일부 장치는 생략될 수도 있다.

가령, 음성 인식 장치(310)가 생략되는 실시 예에 따르면, 프로세서(130)는 저장된 텍스트 변환 모듈(미도시)을 이용하여 텍스트 변환을 수행할 수 있다. 즉, 프로세서(130)는 사용자 음성이 인식되면, 음성 인식 장치(310)로 사용자 음성을 전송하지 않고, 텍스트 변환 모듈을 실행하여 사용자 음성을 자체적으로 텍스트로 변환한다. 그리고, 프로세서(130)는 변환된 텍스트에 기초하여 컨텐츠를 분석하여 키워드를 추출하여 사용자 음성에 대응되는 제어 동작을 수행하거나, 컨텐츠에 관한 정보를 서버 장치(320)로 전송하고, 서버 장치(320)로부터 추출된 키워드를 수신하여 사용자 음성에 대응되는 제어 동작을 수행할 수 있다.

한편, 서버 장치(320)가 생략되는 실시 예에 따르면, 프로세서(130)는 음성 인식 장치(310)에서 변환된 텍스트를 이용하여 직접 검색을 수행할 수 있다. 즉, 프로세서(130)는 변환된 텍스트에 기초하여 컨텐츠를 분석하여 키워드를 추출하고, 저장된 검색 모듈(미도시)을 실행시키고, 그 검색 모듈에 키워드를 입력하여 검색을 수행하여 검색 결과를 디스플레이할 수도 있다.

이상과 같이, 음성 제어 시스템은 다양한 형태로 구현될 수 있으며, 디스플레이 장치(100)의 구성 및 동작은 음성 제어 시스템의 형태에 따라 다양하게 변형될 수 있다.

도 4는 본 발명의 일 실시 예에 따른 서버 장치의 구성을 나타낸 블럭도이다.

도 4에 따르면, 서버 장치(400)는 서버 통신부(410), 서버 제어부(420), 데이터베이스(430)를 포함한다.

서버 통신부(410)는 디스플레이 장치(100)와 통신을 수행하기 위한 구성요소이다. 서버 통신부(410)는 음성 입력 모드로 동작하는 디스플레이 장치로부터 사용자 음성에 대응되는 텍스트 및 컨텐츠에 관한 정보를 수신할 수 있다.

데이터베이스(430)는 각종 컨텐츠 정보가 저장될 수 있다. 구체적으로는, EPG 정보나 최신 영화 정보, 케이블 방송 편성표, 웹 사이트 정보 등과 같은 다양한 정보들이 저장될 수 있다.

서버 제어부(420)는 서버 통신부(410)를 통해 전송되는 텍스트 및 컨텐츠에 관한 정보를 데이터베이스(430)로부터 검색한다. 이에 따라 검색된 결과를 디스플레이 장치(100)로 제공한다.

한편, 도 1을 다시 참조하면, 프로세서(130)는 원격 제어 장치(230)로부터 수신된 포인팅 신호에 기초하여 복수의 아이템 중 하나가 선택되면, 수신된 포인팅 신호에 대응되는 제어 동작을 중단하고, 음성 인식을 수행할 수 있다.

즉, 프로세서(130)는 원격 제어 장치(230)로부터 수신된 포인팅 신호에 의해 하나의 아이템이 선택되었음이 판단되면, 더 이상 포인팅 신호가 수신되더라도 포인팅 신호에 대응되는 제어 동작, 예를 들면, 포인팅 신호에 따라 인디케이터를 움직이는 동작을 중단하고, 자동적으로 음성 인식을 수행하여 사용자의 음성 명령을 대기한다.

그리고, 프로세서(130)는 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 사용자의 음성이 인식되지 않으면, 수신된 포인팅 신호에 대응되는 제어 동작을 재개할 수 있다.

예를 들어, 기 설정된 시간이 2초로 설정되었다고 가정하면, 프로세서(130)는 음성 인식이 수행되는 상태에서 2초 동안 사용자의 음성이 인식되지 않으면, 다시 포인팅 신호에 따라 인디케이터를 움직이는 동작을 재개할 수 있다. 여기서, 프로세서(130)는 기 설정된 시간 동안 수신된 포인팅 신호를 반영하여 인디케이터의 위치를 움직일 수 있다.

또는, 프로세서(130)는 음성 인식이 수행되는 상태에서 사용자 음성이 아닌 사용자의 모션이 인식된 경우라도, 사용자의 모션에 기초하여 선택된 아이템에 대응되는 기능을 수행할 수도 있다.

그리고, 프로세서(130)는 음성 인식이 수행되고 있음을 사용자에게 알리기 위한 표시를 할 수도 있다. 예를 들어, 음성 인식이 수행되고 있음을 나타내는 아이콘을 디스플레이하거나, 음향, LED 표시 또는 진동 등을 사용하여 사용자에게 알릴 수 있다.

또한, 프로세서(130)는 인디케이터가 디스플레이부(110) 상에 디스플레이된 복수의 아이템 중 하나에 위치하여 선택된 경우 음성 인식을 수행한다고 하였으나, 프로세서(130)는 음성 인식을 계속적으로 수행할 수도 있다. 한편, 상술한 예에서는 포인팅 신호에 기초하여 복수의 아이템 중 하나가 선택되는 경우를 설명하였으나, 인식된 사용자의 모션에 기초하여 복수의 아이템 중 하나가 선택되는 경우에도 동일하게 적용될 수 있다.

즉, 프로세서(130)는 인식된 모션에 기초하여 복수의 아이템 중 하나가 선택되면, 모션 인식을 수행하지 않고, 음성 인식을 수행할 수 있다.

구체적으로, 프로세서(130)는 인식된 모션에 기초하여 복수의 아이템 중 하나가 선택되었다고 판단되면, 모션 인식을 수행하지 않음으로써, 더 이상 사용자의 모션을 인식할 수 없고, 이에 따라 사용자의 모션에 대응되는 인디케이터의 위치 이동도 일어나지 않게 된다. 그리고, 음성 인식이 수행되면서 사용자의 음성 명령을 대기한다.

그리고, 프로세서(130)는 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 사용자의 음성이 인식되지 않으면, 음성 인식을 수행하지 않고 모션 인식을 수행할 수 있다.

예를 들어, 기 설정된 시간이 2초로 설정되었다고 가정하면, 프로세서(130)는 음성 인식이 수행되는 상태에서 2초 동안 사용자의 음성이 인식되지 않으면, 다시 모션 인식을 수행하여 사용자의 모션을 인식하고, 사용자의 모션에 따라 인디케이터를 움직이는 동작을 재개할 수 있다. 여기서, 프로세서(130)는 기 설정된 시간 동안 수신된 사용자의 모션을 반영하여 인디케이터의 위치를 움직일 수 있다.

한편, 상술한 예에서는 원격 제어 장치가 리모트 컨트롤러인 경우를 설명하였으나 이제 한정되지 않으며, 원격 제어 장치가 스마트 폰인 경우 스마트 폰과 디스플레이 장치(100) 간의 미러링 기능을 실행함으로써, 상술한 인디케이터를 조정하도록 구현할 수 있다. 미러링 기술은 이미 공지된 기술이므로, 이에 대한 자세한 설명은 생략하기로 한다.

또한, 상술한 예에서는 프로세서(130)가 음성 인식을 수행하지 않고 모션 인식을 수행하거나, 모션 인식을 수행하고, 음성 인식을 수행하지 않는 것과 같이 음성 인식과 모션 인식을 번갈아가면서 수행하는 것만 설명하였으나, 프로세서(130)는 음성 인식 및 모션 인식을 함께 계속적으로 수행할 수도 있다.

즉, 프로세서(130)는 음성 인식 및 모션 인식을 계속적을 활성화시켜 인식된 사용자의 모션 및 음성 각각에 대응되는 제어 동작을 수행할 수 있다.

구체적으로, 프로세서(130)가 음성 인식과 모션 인식를 번갈아가면서 수행하는 경우에는 사용자 음성 및 모션 중 하나만을 인식할 수 있고 또한, 동시에 수신되는 사용자의 모션과 음성을 한번에 모두 인식할 수 없는 반면에, 프로세서(130)가 음성 인식과 모션 인식을 계속적으로 수행하는 경우에는 동시에 수신되는 사용자의 모션과 음성을 각각 인식할 수 있고, 인식된 각 모션과 음성에 대응되는 제어 명령을 각각 수행할 수도 있다.

따라서, 음성 인식과 모션 인식이 계속적으로 수행되는 경우에는 사용자는 모션을 취함과 동시에 음성 발화를 함으로써 디스플레이 장치(100)를 제어할 수 있고, 음성 인식과 모션 인식이 번갈아가면서 수행되는 경우 각 모션 및 음성을 인식하여 처리하는 과정에서 생성될 수 있는 딜레이를 저감시킬 수 있다는 효과도 있다.

예를 들어, 사용자가 손으로 모션을 취하면서 디스플레이부(110)에 표시된 포인팅 오브젝트를 제어하는 동안, "오늘 날씨가 어떻지?"라고 음성 발화를 하는 경우, 프로세서(130)는 인식된 모션에 대응되도록 포인팅 오브젝트의 움직임을 제어함과 동시에, 인식된 "오늘 날씨가 어떻지?"로부터 키워드인 "날씨"를 추출하고, "날씨"와 관련된 어플리케이션 프로그램을 실행하거나 관련 사이트를 디스플레이하는 형식으로 그 결과를 사용자에게 제공할 수 있다.

이때, 프로세서(130)는 디스플레이부(110)에 디스플레이되는 화면을 분할하여 하나의 화면에서는 인식된 모션에 대응되도록 움직이는 포인팅 오브젝트를 디스플레이할 수 있고, 다른 화면에서는 "날씨"와 관련된 검색 결과를 디스플레이할 수도 있으며, 화면을 분할하지 않고 "날씨"와 관련된 검색 결과를 OSD 형식이나 PIP 형식으로 제공할 수도 있다.

도 13은 본 발명의 일 실시 예에 따른 모션 인식 및 음성 인식을 동시에 수행하는 것을 설명하기 위한 도면이다.

도 13을 참조하면, 디스플레이부(110)에 디스플레이된 화면(1400)은 두 개의 분할된 화면(1410, 1420)을 디스플레이하고 있으며, 왼쪽 화면(1410)은 인식된 사용자의 모션에 대응되어 움직이는 포인팅 오브젝트(1411)를 디스플레이하고 오른쪽 화면(1420)은 사용자가 발화한 "오늘 날씨가 어떻지?"가 인식되어 그에 따른 검색 결과(1421)를 디스플레이하고 있다.

이와 같이, 프로세서(130)는 음성 인식 및 모션 인식을 함께 수행함으로써, 사용자로 하여금 모션만 취하여 디스플레이 장치(100)를 제어하도록 하거나, 음성만 발화하여 디스플레이 장치(100)를 제어하도록 제한을 두지 않고, 모션 및 음성을 조합하거나 동시에 사용하여 디스플레이 장치(100)를 제어하도록 하여 사용자의 편의를 증대시킬 수 있다.

한편, 원격 제어 장치로부터 수신되는 포인팅 신호, 사용자의 모션 및 음성 중 적어도 하나를 사용하여 디스플레이 장치(100)를 제어하는 것뿐만 아니라, 감지된 시선 방향을 사용하여 디스플레이 장치(100)를 제어할 수도 있고, 다양한 오브젝트들의 모션을 인식하도록 함으로써 디스플레이 장치(100)를 제어할 수도 있다.

도 5는 본 발명의 일 실시 예에 따른 시선 방향을 감지하여 제어 동작을 수행하는 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.

도 5를 참조하면, 디스플레이 장치(100)는 디스플레이부(110), 인식부(120), 프로세서(130), 통신부(140) 및 시선 방향 감지부(150)를 포함한다. 여기서, 디스플레이부(110), 인식부(120) 및 통신부(140)는 미리 설명하였으므로 자세한 설명은 생략하기로 한다.

시선 방향 감지부(150)는 사용자의 시선 방향을 감지할 수 있다. 구체적으로, 시선 방향 감지부(150)는 적외선을 이용하여 시선 방향을 검출할 수 있다. 디스플레이 장치(100)에 구비된 적외선 출력부(미도시)로부터 사용자 방향으로 적외선이 출력되고, 출력된 적외선에 의해 사용자의 눈동자에 글린트 영역이 표시되며, 프로세서(130)는 사용자의 동공, 홍채 및 적외선에 의해 표시된 글린트 영역의 위치 관계에 기초하여 사용자 시선 방향을 판단할 수 있다. 위치 관계는 동공과 글린트 영역의 중심 사이의 거리 및 홍채의 크기와의 관계를 의미한다.

예를 들어, 프로세서(130)는 동공의 중심점과 글린트 영역의 중심점 사이의 거리와 홍채의 크기를 비교한 결과 값에 따라 사용자의 시선 방향을 검출할 수 있다.

한편, 시선 방향 감지부(150)는 패턴 학습에 의해서 사용자의 시선 방향을 감지할 수 있다. 구체적으로, 디스플레이 장치(100)의 저장부(미도시)는 디스플레이부(110)의 각 영역을 바라보는 눈의 다양한 이미지에 관한 데이터를 저장할 수 있고, 프로세서(130)는 인식된 사용자의 눈 이미지와 저장부(미도시)에 저장된 디스플레이부(110)의 각 영역을 바라보는 눈의 다양한 이미지를 비교함으로써, 사용자의 시선 방향을 감지할 수 있다.

프로세서(130)는 감지된 사용자 시선 방향에 기초하여 복수의 아이템 중 하나를 선택하기 위한 인디케이터를 디스플레이하고 인디케이터를 통해 복수의 아이템 중 하나가 선택되면, 선택된 아이템에 대한 사용자의 음성 명령을 수신하고, 수신된 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행할 수 있다. 또한, 프로세서(130)는 인식된 사용자의 음성 명령에 기초하여 선택된 아이템에 대응되는 기능을 실행할 수 있다.

구체적으로, 프로세서(130)는 감지된 사용자 시선 방향에 대응되도록 디스플레이부(110)에 표시된 인디케이터를 움직일 수 있다.

그리고, 프로세서(130)는 감지된 사용자 시선 방향에 따라 디스플레이된 인디케이터가 하나의 아이템에 위치하면 인디케이터가 위치한 아이템이 선택되었음을 판단할 수 있다.

그리고, 프로세서(130)는 아이템이 선택된 상태에서 인식부(120)를 통해 인식된 사용자의 음성에 기초하여 선택된 아이템에 대한 분석을 통해 키워드를 추출하거나, 선택된 컨텐츠에 대한 정보를 외부 서버로 전송하고 외부 서버로부터 추출된 키워드를 수신하며, 추출된 키워드에 기초하여 제어 동작을 수행할 수 있다. 또한, 프로세서(130)는 사용자의 음성에 기초하여 선택된 아이템에 대응되는 기능을 수행할 수 있다.

또한, 아이템이 선택된 상태에서 인식부(120)를 통해 사용자의 음성이 아닌 사용자의 모션이 인식되더라도, 인식된 모션에 기초하여 선택된 아이템에 대응되는 기능을 수행할 수 있다.

예를 들어, 아이템이 선택된 상태에서 인식부(120)를 통해 사용자가 눈을 세 번깜박이는 동작이 인식되면 프로세서(130)는 인식된 세 번의 눈 깜박임 동작에 기초하여 선택된 아이템에 대응되는 기능을 수행할 수도 있다.

도 6은 본 발명의 일 실시 예에 따른 다양한 형태의 오브젝트를 통하여 제어 가능한 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.

도 6을 참조하면, 디스플레이 장치(100)는 디스플레이부(110), 인식부(120), 프로세서(130), 통신부(140) 및 오브젝트 등록부(160)를 포함한다. 디스플레이부(110), 인식부(120), 통신부(140)는 미리 설명하였으므로 이에 대한 상세한 설명은 생략하기로 한다.

오브젝트 등록부(160)는 다양한 오브젝트의 형태를 등록받을 수 있다. 여기서, 오브젝트는 디스플레이 장치(100)의 외부에 존재하는 다양한 사물을 포함할 수 있으나, 그 중에서도 특히 사용자의 다양한 신체 부위를 포함할 수 있다. 예를 들어, 신체부위는 발, 오른손, 왼손, 손가락, 동공, 얼굴 등을 포함할 수 있다. 한편, 리모컨과 같은 사물도 오브젝트 등록부(160)를 통해 등록할 수 있다.

프로세서(130)는 등록된 형태의 오브젝트가 인식되면, 인식된 오브젝트의 모션에 대응되는 제어 동작을 수행할 수 있다.

예를 들어, 오브젝트 등록부(160)를 통해 사용자의 발의 형태가 등록된 경우, 프로세서(130)는 등록된 형태의 발이 인식되면 발의 모션에 대응되도록 디스플레이된 인디케이터를 움직일 수 있다.

또는 오브젝트 등록부(160)를 통해 사용자의 동공의 형태가 등록된 경우, 프로세서(130)는 등록된 형태의 동공이 인식되면 동공의 움직임 즉, 모션에 대응되도록 디스플레이된 인디케이터를 움직일 수 있다.

추가적으로, 프로세서(130)는 등록된 형태의 오브젝트의 인식을 통하여 사용자를 식별할 수도 있다.

한편, 프로세서(130)는 등록된 형태의 오브젝트가 인식되면, 인식된 오브젝트의 모션에 기초하여 복수의 아이템 중 하나를 선택할 뿐만 아니라 선택된 아이템에 대응되는 기능을 실행할 수도 있다. 상술한 바와 같이 눈을 세 번 깜박이는 동작이 인식되면 프로세서(130)가 선택된 아이템에 대응되는 기능을 실행하는 것과 동일하게 동공의 움직임에 기초하여 선택된 아이템에 대응되는 기능을 실행할 수 있다.

또한, 프로세서(130)는 등록된 형태의 오브젝트에 대응되는 인디케이터를 디스플레이할 수 있다. 예를 들어, 등록된 오브젝트가 발인 경우 프로세서(130)는 발모양의 인디케이터를 디스플레이할 수 있고, 등록된 오브젝트가 얼굴인 경우 프로세서(130)는 얼굴모양의 인디케이터를 디스플레이할 수도 있으며, 등록된 오브젝트가 리모컨인 경우 프로세서(130)는 리모컨 모양의 인디케이터를 디스플레이할 수도 있다. 이에 따라, 사용자는 현재 등록된 오브젝트가 무엇인지 파악할 수 있고, 따라서 등록된 오브젝트를 사용하여 디스플레이 장치(100)를 제어할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 다양한 형태의 등록된 오브젝트의 모션을 인식하는 디스플레이 장치를 설명하기 위한 도면이다.

도 7을 참조하면, 디스플레이 장치(100)의 오브젝트 등록부(160)는 사용자의 신체 일부인 손가락(810), 발(820)의 형태를 등록받을 수 있고, 또한, 신체 부위가 아닌 리모트 컨트롤러(830)와 같은 물체의 형태도 등록받을 수 있다.

그리고, 프로세서(130)는 등록된 형태의 오브젝트에 대응되는 형태의 인디케이터(810-1)를 디스플레이부(200) 상에 디스플레이하고, 인디케이터(810-1)의 위치를 변경하여 아이템(220)을 선택할 수 있다. 예를 들어, 프로세서(130)는 등록된 오브젝트가 손가락(810)인 경우, 손가락의 형태와 유사한 손가락 모양을 갖는 인디케이터(810-1)를 디스플레이할 수 있다. 여기서, 프로세서(130)는 실제로 등록된 오브젝트의 형태 이미지를 사용한 인디케이터를 디스플레이할 수도 있다. 즉, 등록된 실제 사용자의 손가락 이미지를 디스플레이부(200) 상에서 디스플레이함으로써 인디케이터로 사용할 수도 있다. 발(820), 리모트 컨트롤러(830)에 대해서도 동일하게 적용될 수 있음은 물론이다.

상술한 바와 같이, 오브젝트 등록부(160)를 통해 하나의 오브젝트가 등록된다면, 프로세서(130)는 등록된 오브젝트의 모션을 인식하여 이에 대응되는 제어 동작을 수행할 수 있게 되며, 이에 따라, 사용자는 다양한 물건 등을 사용하여 디스플레이 장치(100)를 제어할 수 있게 된다.

또한, 오브젝트 등록부(160)를 통해 다양한 오브젝트를 등록하고, 프로세서(130)는 등록된 오브젝트의 모션을 인식하여 이에 대응되는 동작을 수행할 수 있게 됨으로써, 손이나 발이 불편한 사용자도 디스플레이 장치(100)를 제어하는데 있어서 그 편의를 증대시킬 수 있다.

예를 들면, 손을 사용하는 것이 불편한 사용자의 경우 또는 사고로 인하여 손을 잃은 사용자의 경우 손으로 모션을 취하는 것이 불편하거나 불가능할 수 있다. 이러한 경우, 사용자는 팔꿈치 또는 발 등을 오브젝트 등록부(160)를 통해 등록함으로써, 팔꿈치를 움직이거나, 발을 움직임으로써 디스플레이 장치(100)를 제어할 수 있다.

구체적으로, 오브젝트 등록부(160)에 촬상부(미도시)가 구비되어 있는 경우, 사용자는 자신의 팔꿈치나 발을 촬상부(미도시)를 통해 오브젝트 등록부(160)에 이미지로 등록할 수 있다. 그리고, 프로세서(130)는 사용자의 등록된 팔꿈치 또는 발의 이미지를 저장하였다가, 추후 사용자의 팔꿈치 또는 발을 인식하는데 사용할 수 있으며, 인식된 사용자의 팔꿈치 또는 발의 모션에 대응되는 동작을 수행할 수 있다.

상술한 예에서는 사용자의 팔꿈치 또는 발을 예로 들어 설명하였으나, 이외에 다양한 신체 부위에 대해서도 동일하게 적용가능하다.

또한, 사용자의 신체 부위뿐만 아니라, 다양한 사물에 대해서도 동일하게 적용가능하다. 예를 들어, 리모컨이 아닌 막대기 같은 경우에도 프로세서(130)는 막대기의 이미지를 저장하고, 이를 통해 막대기를 인식할 수 있으며, 사용자가 막대기를 오른쪽 방향으로 휘두르거나, 왼쪽 방향으로 휘두르는 경우 또는 막대기를 회전시키는 경우 등에 대응되는 기능을 실행할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 대화형 서비스를 제공하는 디스플레이 장치를 나타낸 도면이다.

도 8을 참조하면, 디스플레이부(200)에 동영상이 재생되고 있는 경우, 프로세서(130)는 인식부(120)를 통해 인식되는 사용자의 모션에 따라 재생되는 동영상 속 인물을 선택하는 인디케이터(910)을 디스플레이할 수 있고, 동영상 속 특정 인물이 선택된 후 사용자로부터 "이 사람 누구야"라는 음성이 인식부(120)를 통해 인식되면 도 3에서 설명한 바와 같이, "이 사람 누구야"라는 음성을 음성 인식 장치(310)로 전송하고, 음성 인식 장치(310)로부터 "이 사람 누구야"라는 음성에 대응되는 텍스트를 수신할 수 있다.

그리고, 프로세서(130)는 수신된 텍스트에 대응되는 사용자의 음성 명령을 수행하기 위하여, 선택된 동영상 속 특정 인물에 대한 분석을 통해 키워드를 추출하고, 추출된 키워드에 기초하여 동영상 속 특정 인물이 누구인지에 대한 검색 결과를 제공할 수 있다. 여기서, 키워드는 동영상 속 특정 인물에 대응되는 실제 연예인의 명칭이 될 수 있다.

또한, 프로세서(130)는 수신된 텍스트 및 선택된 동영상에 관한 정보를 서버 장치(620)로 전송하고, 서버 장치(620)로부터 텍스트 및 선택된 동영상에 관한 정보에 대응되는 검색 결과 즉, "이 사람 누구야"에 대응되는 동영상 속 인물에 대한 정보(920)를 수신하여 디스플레이할 수 있다.

상술한 대화형 서비스는 동영상뿐만 아니라, 사진, 광고, 문서 등 모든 컨텐츠에 대하여 적용될 수 있다.

도 9는 본 발명의 일 실시 예에 따른 원격 제어 장치의 구성을 나타낸 블록도이다.

도 9를 참고하면, 원격 제어 장치(1100)는 통신부(1110), 음성 인식부(1120) 및 제어부(1130)를 포함한다.

여기서, 통신부(1110)는 복수의 아이템을 디스플레이하는 디스플레이 장치(100)와 통신을 수행할 수 있다. 특히, 통신부(1110)는 디스플레이 장치(100)와 무선 통신 방식 또는 IR 방식에 따라 통신을 수행할 수 있는데, 무선 통신 방식으로는, RFID, NFC(Near Field Communication), 블루투스(bluetooth), 지그비(Zigbee) 및 와이파이(Wi-Fi) 등이 사용될 수 있다.

음성 인식부(1120)는 사용자의 음성을 인식할 수 있다. 음성 인식에 대한 설명은 상술하였으므로, 자세한 설명은 생략하기로 한다.

제어부(1130)는 기 설정된 이벤트 발생 시 복수의 아이템 중 적어도 하나를 선택하기 위한 포인팅 신호의 전송을 중단하고, 음성 인식부(1120)를 활성화시켜 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 디스플레이 장치(100)로 전송할 수 있다.

그리고, 제어부(1130)는 음성 인식부(1120)가 활성화된 상태에서 기 설정된 시간 동안 사용자의 음성이 인식되지 않으면, 음성 인식부(1120)를 비활성화시키고 포인팅 신호의 전송을 재개할 수 있다.

여기서, 기 설정된 이벤트는, 디스플레이 장치(100)에 디스플레이되는 복수의 아이템 중 하나를 가리키는 포인팅 신호가 전송되는 동안 복수의 아이템 중 하나를 선택하는 사용자 명령이 입력되는 이벤트 및 포인팅 신호가 기 설정된 시간 이상 전송되는 이벤트 중 적어도 하나를 포함할 수 있다.

즉, 제어부(1130)는 디스플레이 장치(100)에 디스플레이되는 복수의 아이템 중 하나를 가리키는 포인팅 신호가 디스플레이 장치(100)로 전송되는 동안 가리키는 아이템을 선택하는 사용자 명령이 입력되는 경우 또는 복수의 아이템 중 하나를 가리키는 포인팅 신호가 기 설정된 시간 동안 유지되는 경우에는 포인팅 신호의 전송을 중단하고, 음성 인식부를 활성화시켜 사용자 음성 명령을 대기할 수 있다. 여기서, 가리키는 아이템을 선택하는 사용자 명령은 원격 제어 장치(1100)에 구비된 물리적 키를 통해 입력될 수 있다. 또한, 복수의 아이템 중 하나를 가리키는 포인팅 신호가 유지되는 기설정된 시간은 사용자에 의해 설정될 수 있다.

그리고, 제어부(1130)는 선택된 아이템에 대한 사용자 음성 명령을 수신하여 디스플레이 장치로 전송함으로써, 사용자 음성에 대응되는 기능을 디스플레이 장치(100)가 수행하도록 할 수 있다.

또한, 디스플레이 장치(100)에서 상술한 바와 같이, 제어부(1130)는 음성 인식부(1120)가 활성화된 상태에서 기 설정된 시간 동안 사용자의 음성이 인식되지 않으면, 더 이상 사용자의 음성이 없는 것으로 판단하고, 음성 인식부(1120)를 비활성화시킨 후, 자동적으로 포인팅 신호의 전송을 재개할 수 있다. 이에 따라, 원격 제어 장치(1100)의 배터리 소모를 최적화할 수 있게 된다.

상술한 예에서는, 음성 인식부(1120)가 원격 제어 장치(1100)에 포함되는 경우를 설명하였으나, 원격 제어 장치(1100)에 포함되지 않고 디스플레이 장치(100)에 내장되어 사용자의 음성을 인식할 수도 있음은 자명하다.

한편, 도 9에서는 도시하지 않았지만, 원격 제어 장치(1100)는 모션 인식부(미도시)를 더 포함할 수 있으며, 제어부(1130)는 음성 인식부(1120)와 모션 인식부(미도시)를 계속적으로 활성화시켜 사용자의 음성 및 모션을 각각 인식하도록 제어할 수 있다.

그리고, 제어부(1130)는 인식된 사용자의 음성 및 모션 각각에 대응되는 제어 신호를 생성하여 디스플레이 장치(100)로 전송할 수 있다.

미리 설명한 리모컨에 촬상부와 마이크가 구비된 경우 동작하는 예가 원격 제어 장치(1100)에 모션 인식부(미도시)가 추가적으로 구비된 경우 동일하게 적용될 수 있다.

도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치 및 원격 제어 장치를 포함하는 시스템에 대한 도면이다.

도 10을 참조하면, 디스플레이 장치 및 원격 제어 장치를 포함하는 시스템은 디스플레이 장치(100), 원격 제어 장치(1100) 및 서버 장치(320)를 포함할 수 있다.

디스플레이 장치(100)는 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 디스플레이된 복수의 아이템 중 하나를 선택하고, 선택된 아이템에 대한 사용자의 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행할 수 있다.

여기서, 디스플레이 장치(100)는 선택된 아이템에 대한 사용자의 음성 명령을 수행하기 위해 선택된 아이템을 분석하여 키워드를 직접 추출하고, 추출된 키워드에 기초하여 제어 동작을 수행할 수도 있으나, 선택된 아이템에 대한 정보를 서버 장치(320)로 전송하고, 서버 장치(320)로부터 추출된 키워드를 수신하여 제어 동작을 수행할 수도 있다.

원격 제어 장치(1100)는 기 설정된 이벤트에 따라, 포인팅 신호의 전송을 중단하고 음성 인식을 수행하여 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 디스플레이 장치(100)로 전송할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 복수의 아이템을 디스플레이하는 디스플레이부 및 사용자의 음성 및 모션 중 적어도 하나를 인식하는 인식부를 포함하는 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

도 11에 도시된 방법에 따르면, 원격 제어 장치와 통신을 수행한다(S1110).

그리고, 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 복수의 아이템 중 하나를 선택한다(S1120).

이후, 선택된 아이템에 대한 사용자의 음성 명령을 수신한다(S1130).

여기서, 음성 명령을 수신하는 단계는, 원격 제어 장치로부터 수신된 포인팅 신호에 기초하여 복수의 아이템 중 하나가 선택되면, 수신된 포인팅 신호에 대응되는 제어 동작을 중단하고 음성 인식을 수행할 수 있다.

그리고, 도 11에 도시된 방법은 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 사용자의 음성이 인식되지 않으면, 수신된 포인팅 신호에 대응되는 제어 동작을 재개하는 단계를 더 포함할 수 있다.

또한, 음성 명령을 수신하는 단계는, 인식된 모션에 기초하여 복수의 아이템 중 하나가 선택되면, 모션 인식을 수행하지 않고 음성 인식을 수행할 수 있다.

여기서, 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 사용자의 음성이 인식되지 않으면, 음성 인식을 수행하지 않고, 모션 인식을 수행하는 단계를 더 포함할 수 있다.

그리고, 수신된 음성 명령을 수행하기 위해 키워드를 추출한다(S1140).

여기서, 추출하는 단계는, 선택된 아이템에 대한 분석을 통해 키워드를 추출할 수 있다.

또한, 추출하는 단계는, 선택된 컨텐츠에 대한 정보를 외부 서버로 전송하고, 외부 서버로부터 추출된 키워드를 수신할 수 있다.

그리고, 추출된 키워드에 기초하여 제어 동작을 수행한다(S1150).

또한, 도 11에 도시된 방법은 오브젝트의 형태를 등록받는 단계 및 상기 등록된 형태의 오브젝트가 인식되면, 인식된 오브젝트의 모션에 대응되는 제어 동작을 수행하는 단계를 더 포함할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 방법을 설명하기 흐름도이다.

도 12에 도시된 방법에 따르면, 복수의 아이템을 디스플레이하는 디스플레이 장치와 통신을 수행한다(S1210).

그리고, 기 설정된 이벤트 발생 시 복수의 아이템 중 적어도 하나를 선택하기 위한 포인팅 신호의 전송을 중단하고, 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 디스플레이 장치로 전송한다(S1220).

여기서, 기 설정된 이벤트는, 디스플레이 장치에 디스플레이되는 복수의 아이템 중 하나를 가리키는 포인팅 신호가 전송되는 동안 복수의 아이템 중 하나를 선택하는 사용자 명령이 입력되는 이벤트 및 포인팅 신호가 기 설정된 시간 이상 전송되는 이벤트 중 적어도 하나를 포함할 수 있다.

한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

일 예로, 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 복수의 아이템 중 하나를 선택하는 단계, 선택된 아이템에 대한 사용자의 음성 명령을 수신하는 단계, 수신된 음성 명령을 수행하기 위해 키워드를 추출하는 단계 및 추출된 키워드에 기초하여 제어 동작을 수행하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

또 다른 예로, 기 설정된 이벤트 발생 시 복수의 아이템 중 적어도 하나를 선택하기 위한 포인팅 신호의 전송을 중단하고, 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 디스플레이 장치로 전송하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

또한, 디스플레이 장치와 결합되어 하기의 단계를 실행시키기 위한 기록 매체에 저장된 컴퓨터 프로그램은 원격 제어 장치와 통신을 수행하는 단계, 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 디스플레이된 복수의 아이템 중 하나를 선택하는 단계, 선택된 아이템에 대한 사용자의 음성 명령을 수신하는 단계, 수신된 음성 명령을 수행하기 위해 키워드를 추출하는 단계 및 추출된 키워드에 기초하여 제어 동작을 수행하는 단계를 포함한다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 디스플레이 장치 및 원격 제어 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 디스플레이 장치 110: 디스플레이부
120: 인식부 130: 프로세서
140: 통신부

Claims (24)

1. 복수의 아이템을 디스플레이하는 디스플레이부;
   원격 제어 장치와 통신을 수행하는 통신부;
   사용자의 음성 및 모션 중 적어도 하나를 인식하는 인식부; 및
   상기 원격 제어 장치로부터 수신된 포인팅 신호 및 상기 인식된 사용자의 모션 중 적어도 하나에 기초하여 상기 복수의 아이템 중 하나를 선택하고,
   상기 선택된 아이템에 대한 사용자의 음성 명령이 수신되면, 상기 수신된 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행하는 프로세서;를 포함하는 디스플레이 장치.
2. 제1항에 있어서,
   상기 프로세서는,
   상기 선택된 아이템에 대한 분석을 통해 상기 키워드를 추출하는 것을 특징으로 하는 디스플레이 장치.
3. 제1항에 있어서,
   상기 프로세서는,
   상기 선택된 컨텐츠에 대한 정보를 외부 서버로 전송하고, 상기 외부 서버로부터 상기 추출된 키워드를 수신하는 것을 특징으로 하는 디스플레이 장치.
4. 제1항에 있어서,
   상기 프로세서는,
   상기 원격 제어 장치로부터 수신된 포인팅 신호에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 중단하고 음성 인식을 수행하는 것을 특징으로 하는 디스플레이 장치.
5. 제4항에 있어서,
   상기 프로세서는,
   상기 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 재개하는 것을 특징으로 하는 디스플레이 장치.
6. 제1항에 있어서,
   상기 프로세서는,
   상기 인식된 모션에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 모션 인식을 수행하지 않고, 음성 인식을 수행하는 것을 특징으로 하는 디스플레이 장치.
7. 제6항에 있어서,
   상기 프로세서는,
   상기 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 음성 인식을 수행하지 않고, 상기 모션 인식을 수행하는 것을 특징으로 하는 디스플레이 장치.
8. 복수의 아이템을 디스플레이하는 디스플레이 장치와 통신을 수행하는 통신부;
   사용자의 음성을 인식하는 음성 인식부; 및
   기 설정된 이벤트 발생 시 상기 복수의 아이템 중 적어도 하나를 선택하기 위한 포인팅 신호의 전송을 중단하고, 상기 음성 인식부를 활성화시켜 상기 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 상기 디스플레이 장치로 전송하는 제어부;를 포함하는 원격 제어 장치.
9. 제8항에 있어서,
   상기 제어부는,
   상기 음성 인식부가 활성화된 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 음성 인식부를 비활성화시키고 상기 포인팅 신호의 전송을 재개하는 것을 특징으로 하는 원격 제어 장치.
10. 제8항에 있어서,
    상기 기 설정된 이벤트는,
    상기 디스플레이 장치에 디스플레이되는 복수의 아이템 중 하나를 가리키는 포인팅 신호가 전송되는 동안 상기 복수의 아이템 중 하나를 선택하는 사용자 명령이 입력되는 이벤트 및 상기 포인팅 신호가 기 설정된 시간 이상 전송되는 이벤트 중 적어도 하나를 포함하는 것을 특징으로 하는 원격 제어 장치.
11. 제1항에 있어서,
    상기 제어부는,
    음성 인식 및 모션 인식을 계속적으로 수행하여 상기 인식된 사용자의 모션 및 음성 각각에 대응되는 제어 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
12. 제1항에 있어서,
    오브젝트의 형태를 등록받는 오브젝트 등록부;를 더 포함하며,
    상기 프로세서는,
    상기 등록된 형태의 오브젝트가 인식되면, 인식된 오브젝트의 모션에 대응되는 제어 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
13. 제1항에 있어서,
    상기 인식부는,
    상기 디스플레이 장치와 결합 및 분리가 가능한 음성 및 모션을 인식하는 장치를 포함하는 것을 특징으로 하는 디스플레이 장치.
14. 디스플레이 장치 및 원격 제어 장치를 포함하는 시스템에 있어서,
    원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 디스플레이된 복수의 아이템 중 하나를 선택하고, 상기 선택된 아이템에 대한 사용자의 음성 명령을 수행하기 위해 추출된 키워드에 기초하여 제어 동작을 수행하는 디스플레이 장치; 및
    기 설정된 이벤트에 따라, 상기 포인팅 신호의 전송을 중단하고 음성 인식을 수행하고, 상기 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 상기 디스플레이 장치로 전송하는 원격 제어 장치;를 포함하는 시스템.
15. 복수의 아이템을 디스플레이하는 디스플레이부 및 사용자의 음성 및 모션 중 적어도 하나를 인식하는 인식부를 포함하는 디스플레이 장치의 제어 방법에 있어서,
    원격 제어 장치와 통신을 수행하는 단계;
    상기 원격 제어 장치로부터 수신된 포인팅 신호 및 상기 인식된 사용자의 모션 중 적어도 하나에 기초하여 상기 복수의 아이템 중 하나를 선택하는 단계;
    상기 선택된 아이템에 대한 사용자의 음성 명령을 수신하는 단계;
    상기 수신된 음성 명령을 수행하기 위해 키워드를 추출하는 단계; 및
    상기 추출된 키워드에 기초하여 제어 동작을 수행하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
16. 제15항에 있어서,
    상기 추출하는 단계는,
    상기 선택된 아이템에 대한 분석을 통해 상기 키워드를 추출하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
17. 제15항에 있어서,
    상기 추출하는 단계는,
    상기 선택된 컨텐츠에 대한 정보를 외부 서버로 전송하고, 상기 외부 서버로부터 상기 추출된 키워드를 수신하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
18. 제15항에 있어서,
    상기 음성 명령을 수신하는 단계는,
    상기 원격 제어 장치로부터 수신된 포인팅 신호에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 중단하고 음성 인식을 수행하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
19. 제18항에 있어서,
    상기 음성 인식이 수행된 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 수신된 포인팅 신호에 대응되는 제어 동작을 재개하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
20. 제15항에 있어서,
    상기 음성 명령을 수신하는 단계는,
    상기 인식된 모션에 기초하여 상기 복수의 아이템 중 하나가 선택되면, 모션 인식을 수행하지 않고, 음성 인식을 수행하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
21. 제20항에 있어서,
    상기 음성 인식이 수행되는 상태에서 기 설정된 시간 동안 상기 사용자의 음성이 인식되지 않으면, 상기 음성 인식을 수행하지 않고, 상기 모션 인식을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
22. 제15항에 있어서,
    오브젝트의 형태를 등록받는 단계; 및
    상기 등록된 형태의 오브젝트가 인식되면, 인식된 오브젝트의 모션에 대응되는 제어 동작을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
23. 복수의 아이템을 디스플레이하는 디스플레이 장치와 통신을 수행하는 단계; 및
    기 설정된 이벤트 발생 시 상기 복수의 아이템 중 적어도 하나를 선택하기 위한 포인팅 신호의 전송을 중단하고, 상기 포인팅 신호에 의해 선택된 아이템에 대한 음성 명령을 수신하여 상기 디스플레이 장치로 전송하는 단계;를 포함하는 원격 제어 장치의 제어 방법.
24. 디스플레이 장치와 결합되어 하기의 단계를 실행시키기 위한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
    원격 제어 장치와 통신을 수행하는 단계;
    상기 원격 제어 장치로부터 수신된 포인팅 신호 및 인식된 사용자의 모션 중 적어도 하나에 기초하여 디스플레이된 복수의 아이템 중 하나를 선택하는 단계;
    상기 선택된 아이템에 대한 사용자의 음성 명령을 수신하는 단계;
    상기 수신된 음성 명령을 수행하기 위해 키워드를 추출하는 단계; 및
    상기 추출된 키워드에 기초하여 제어 동작을 수행하는 단계;를 포함하는 기록 매체에 저장된 컴퓨터 프로그램.

Images