KR20160029269A - 멀티미디어 디바이스 및 이에 추천 컨텐트의 정보를 제공하는 서버 - Google Patents

Abstract

멀티미디어 디바이스 및 이에 추천 컨텐트의 정보를 제공하는 서버를 개시한다.
본 발명의 일 실시예에 의한 멀티미디어 디바이스는, 사용자 별로 서로 다른 기준을 적용하여 특정 감정에 대응하는 감정 지수를 파악하기 위한 경험 데이터를 저장하는 메모리와, 특정 컨텐트의 비디오 데이터를 디스플레이하는 디스프레이부와, 카메라와, 제어부를 포함하고, 상기 제어부는, 상기 비디오 데이터가 디스플레이되는 동안 이미지를 획득하도록 상기 카메라를 제어하고, 상기 이미지에 포함된 제1 사용자의 얼굴을 인식하고, 상기 제1 사용자의 표정 및 감정을 인식하고, 상기 메모리에 저장된 경험 데이터 중 상기 제1 사용자에 대응하는 데이터에 기초하여, 상기 인식된 감정에 감정 지수를 부여한다.

Description

멀티미디어 디바이스 및 이에 추천 컨텐트의 정보를 제공하는 서버{MULTIMEDIA DEVICE AND SERVER FOR PROVIDING INFORMATION OF RECOMMEND CONTENT TO THE SAME}

본 발명은 사용자의 감정을 파악하는 멀티미디어 디바이스 및 파악된 사용자의 감정을 활용하여 추천 컨텐트를 선정하고 선정된 추천 컨텐트의 정보를 상기 멀티미디어 디바이스에 제공하는 서버에 관한 것이다.

TV는 점차 방송 수신 기능을 넘어 컴퓨터 지원 기능, 인터넷 기능 등이 추가됨으로써 복합적인 기능들을 갖춘 멀티미디어 디바이스의 형태로 구현되고 있다. 최근에는, 사용자가 특정 프로그램을 시청하는 중에 사용자의 표정을 인식하여 감정을 파악하고, 사용자의 감정 상태에 기초하여 프로그램을 추천하는 기능도 TV에 구현된 바 있다. 그러나, 이 경우, 사람마다 웃는 정도나 표정이 다름에도 일률적으로 동일한 표정 모델을 적용하여 사용자의 감정을 파악하기 때문에 사용자 별로 프로그램을 추천함에 있어 오차가 발생할 우려가 크다. 따라서, 개개인에 맞춤화된 표정 모델을 구축하고 이에 따라 각 사용자에게 맞춤화된 추천 프로그램에 대한 정보를 제공할 수 있는 솔루션이 요구되는 실정이다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 사용자의 감정 및 감정의 세기를 파악하기 위하여 개개인에 맞춤화된 표정 모델을 구축하고 이에 따라 각 사용자에게 맞춤화된 추천 컨텐트에 대한 정보를 제공할 수 있도록 하는 멀티미디어 디바이스 및 서버를 제공하는 것을 그 목적으로 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 멀티미디어 디바이스는, 사용자 별로 서로 다른 기준을 적용하여 특정 감정에 대응하는 감정 지수를 파악하기 위한 경험 데이터를 저장하는 메모리와, 특정 컨텐트의 비디오 데이터를 디스플레이하는 디스프레이부와, 카메라와, 제어부를 포함하고, 상기 제어부는, 상기 비디오 데이터가 디스플레이되는 동안 이미지를 획득하도록 상기 카메라를 제어하고, 상기 이미지에 포함된 제1 사용자의 얼굴을 인식하고, 상기 제1 사용자의 표정 및 감정을 인식하고, 상기 메모리에 저장된 경험 데이터 중 상기 제1 사용자에 대응하는 데이터에 기초하여, 상기 인식된 감정에 감정 지수를 부여한다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 멀티미디어 디바이스의 제어 방법은, 사용자 별로 서로 다른 기준을 적용하여 특정 감정에 대응하는 감정 지수를 파악하기 위한 경험 데이터를 메모리에 저장하는 단계와, 특정 컨텐트의 비디오 데이터를 디스플레이하는 단계와, 상기 비디오 데이터가 디스플레이되는 동안 카메라에서 이미지를 획득하는 단계와, 상기 이미지에 포함된 제1 사용자의 얼굴을 인식하는 단계와, 상기 제1 사용자의 표정 및 감정을 인식하는 단계와, 상기 메모리에 저장된 경험 데이터 중 상기 제1 사용자에 대응하는 데이터에 기초하여, 상기 인식된 감정에 감정 지수를 부여하는 단계를 포함한다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 서버는, 컨텐트 제공자로부터 컨텐트와 관련된 제1 정보를 수신하는 수신부와, 멀티미디어 디바이스로부터, 특정 컨텐트에 대하여, 사용자 별 감정 및 상기 감정에 대응하는 감정 지수를 포함하는 제2 정보를 수신하는 통신부와, 제어부를 포함하고, 상기 제어부는, 상기 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트를 추천 컨텐트로 선정하고, 상기 수신된 제1 정보 중에서 상기 추천 컨텐트와 관련된 정보를 이용하여, 상기 추천 컨텐트를 동일 감정 별로 구분하여 표시한 GUI를 생성하고, 상기 생성된 GUI를 상기 멀티미디어 디바이스에 전송하도록 상기 통신부를 제어한다.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시예들 중 적어도 하나에 의하면, 사용자의 감정 및 감정의 세기를 파악하기 위하여 개개인에 맞춤화된 표정 모델을 구축하고 이에 따라 각 사용자에게 맞춤화된 추천 컨텐트에 대한 정보를 제공할 수 있다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 의한 멀티미디어 디바이스를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 도 1의 제어부의 상세 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 의한 멀티미디어 디바이스를 제어하기 위한 리모트 컨트롤러의 예시들을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 사용자에게 추천 컨텐트의 정보를 제공하기 위한 시스템의 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 의한 멀티미디어 디바이스에서 사용자의 감정을 파악하는 방법의 일례를 설명하기 위한 흐름도이다.
도 6은 도 5의 감정 지수 부여 단계를 보다 자세히 도시한 흐름도이다.
도 7 및 도 8은 사용자의 감정을 인식하고 인식된 감정에 감정 지수를 부여하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 의한 멀티미디어 디바이스에서 사용자가 컨텐트를 실제로 시청하고 있는지 여부를 반영하는 시청 지수를 산출하는 방법의 일례를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 멀티미디어 디바이스에서 외부 서버로 시청 정보가 전송될 때 멀티미디어 디바이스의 디스플레이부에 출력될 수 있는 화면의 일례를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 의한 서버의 구성 모듈들을 도시한 블록도이다.
도 12 및 도 13은 본 발명의 일 실시예에 의한 멀티미디어 디바이스가 외부 서버로부터 수신한 추천 컨텐트와 관련된 정보를 포함하는 GUI의 일례를 도시한 도면이다.
도 14 및 도 15는 본 발명의 일 실시예에 의한 멀티미디어 디바이스가 외부 서버로부터 수신한 추천 컨텐트와 관련된 정보를 포함하는 GUI의 다른 일례를 도시한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 의한 멀티미디어 디바이스를 설명하기 위한 블록도이다.

본 발명의 일 실시예에 의한 멀티미디어 디바이스(100)는, 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 네트워크 TV로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가된 장치이다. 예를 들어, 멀티미디어 디바이스(100)는 네트워크 TV, 스마트 TV, HBBTV(Hybrid Brodacast Broadband Television), 인터넷 TV, 웹 TV, IPTV(Internet Protocol Television) 등에 해당할 수 있다. 또한, 멀티미디어 디바이스(100)는, HDMI 2.0 버전을 지원하는 HDMI 포트를 구비할 수 있다.

멀티미디어 디바이스(100)는, 수신부(110), 외부장치 인터페이스부(120), 메모리(130), 디스플레이부(140), 오디오 출력부(150), 전원 공급부(160), 제어부(170), 사용자 인터페이스부(180), 카메라(190) 등을 포함할 수 있다.

수신부(110)는, 적어도 하나의 튜너(111), 복조부(112) 및 네트워크 인터페이스부(113)를 포함할 수 있다. 다만, 경우에 따라, 수신부(110)는 튜너(111)와 복조부(112)는 구비하나 네트워크 인터페이스부(113)는 포함하지 않을 수 있으며 그 반대의 경우일 수도 있다. 또한, 수신부(110)는 도시되진 않았으나, 다중화부(multiplexer)를 구비하여 상기 튜너(111)를 거쳐 복조부(112)에서 복조된 신호와 상기 네트워크 인터페이스부(113)를 거쳐 수신된 신호를 다중화할 수도 있다. 그 밖에 수신부(110)는 역시 도시되진 않았으나, 역다중화부(demultiplexer)를 구비하여 상기 다중화된 신호를 역다중화하거나 상기 복조된 신호 또는 상기 네트워크 인터페이스부(113)를 거친 신호를 역다중화할 수 있다.

튜너(111)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신한다. 또한, 튜너(111)는, 수신된 RF 방송 신호를 중간 주파수(Intermediate Frequency; IF) 신호 혹은 베이스밴드(baseband) 신호로 변환한다.

예를 들어, 수신된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너(111)는 디지털 방송 신호 또는 아날로그 방송 신호를 모두 처리할 수 있다. 튜너(111)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(170)로 직접 입력될 수 있다.

또한, 튜너(111)는, 싱글 캐리어(single carrier) 또는 멀티플 캐리어(multiple carrier)의 RF 방송 신호를 수신할 수 있다. 한편, 튜너(111)는, 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차로 튜닝 및 수신하여 이를 중간 주파수 신호 혹은 베이스 밴드 신호(DIF: Digital Intermediate Frequency or baseband signal)로 변환할 수 있다.

복조부(112)는, 튜너(111)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다. 이를 위해 복조부(112)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 리드 솔로먼 디코더(Reed-Solomon Decoder) 등을 구비하거나 컨벌루션 디코더(convolution decoder), 디인터리버 및 리드-솔로먼 디코더 등을 구비할 수 있다.

복조부(112)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때, 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일 예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다.

복조부(112)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 제어하고, 디스플레이부(140)를 통해 영상을, 오디오 출력부(150)를 통해 음성의 출력을 제어할 수 있다.

외부장치 인터페이스부(120)는 멀티미디어 디바이스(100)와 다양한 외부 디바이스 사이의 인터페이싱 환경을 제공한다. 이를 위해, 외부장치 인터페이스부(120)는, A/V 입/출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.

외부장치 인터페이스부(120)는, DVD(Digital Versatile Disk), 블루-레이(Blu-ray), 게임 디바이스, 카메라, 캠코더(Camcorder), 컴퓨터(노트북), 태블릿 PC, 스마트 폰, 블루투스 디바이스(Bluetooth device), 클라우드(Cloud) 등과 같은 외부 디바이스 등과 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(120)는 연결된 외부 디바이스를 통하여 입력되는 이미지, 영상, 음성 등 데이터를 포함한 신호를 멀티미디어 디바이스(100)의 제어부(170)로 전달한다. 제어부(170)는 처리된 이미지, 영상, 음성 등을 데이터 신호를 연결된 외부 디바이스로 출력되도록 제어할 수 있다. 이를 위해, 외부장치 인터페이스부(120)는, A/V 입/출력부(미도시) 또는 무선 통신부(미도시)를 더 포함할 수 있다.

A/V 입/출력부는, 외부 디바이스의 영상 및 음성 신호를 멀티미디어 디바이스(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.

무선 통신부는, 다른 디지털 디바이스와 무선 통신을 수행할 수 있다. 멀티미디어 디바이스(100)는 예를 들어, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance) 등의 통신 프로토콜에 따라 다른 디지털 디바이스와 네트워크 연결될 수 있다.

또한, 외부장치 인터페이스부(120)는, 셋톱-박스(STB)와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋톱-박스(STB)와 입력/출력 동작을 수행할 수도 있다.

한편, 외부장치 인터페이스부(120)는, 인접하는 외부 디바이스 내의 애플리케이션 또는 애플리케이션 목록(application list)을 수신하여, 제어부(170) 또는 메모리(130)로 전달할 수 있다.

네트워크 인터페이스부(113)는, 멀티미디어 디바이스(100)를 인터넷 망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(113)는, 유선 네트워크와의 접속을 위해 예를 들어, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.

네트워크 인터페이스부(113)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 디지털 디바이스와 데이터를 송신 또는 수신할 수 있다. 특히, 멀티미디어 디바이스(100)에 미리 등록된 다른 사용자 또는 다른 디지털 디바이스 중 선택된 사용자 또는 선택된 디지털 디바이스에, 상기 멀티미디어 디바이스(100)에 저장된 일부의 컨텐트 데이터를 송신할 수 있다.

한편, 네트워크 인터페이스부(113)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외, 컨텐트 제공자 또는 네트워크 운영자가 제공하는 컨텐트 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 컨텐트 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐트 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어(firmware)의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐트 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.

또한, 네트워크 인터페이스부(113)는, 네트워크를 통해 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.

메모리(130)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.

또한, 메모리(130)는 외부장치 인터페이스부(120) 또는 네트워크 인터페이스부(113)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 메모리(130)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.

메모리(130)는, 외부장치 인터페이스부(120) 또는 네트워크 인터페이스부(113)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.

또한, 메모리(130)는, 후술하여 설명하는 다양한 플랫폼(platform)을 저장할 수도 있다.

메모리(130)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 멀티미디어 디바이스(100)는, 메모리(130) 내에 저장되어 있는 컨텐트 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다. 실시예에 따라, 메모리(130)는 제어부(170) 내에 포함되어 구현될 수도 있다.

사용자 인터페이스부(180)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나 제어부(170)의 신호를 사용자에게 전달한다.

예를 들어, 사용자 인터페이스부(180)는, RF 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 리모트 컨트롤러(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)의 제어 신호를 리모트 컨트롤러(200)로 송신하도록 처리할 수 있다.

또한, 사용자 인터페이스부(180)는, 전원 키, 채널 키, 볼륨 키, 설정치 등의 로컬 키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.

사용자 인터페이스부(160)는, 사용자의 제스처(gesture)를 센싱(sensing)하는 센싱부(미도시)로부터 입력되는 제어 신호를 제어부(170)에 전달하거나, 제어부(150)의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.

제어부(170)는, 튜너(111), 복조부(112) 또는 외부장치 인터페이스부(120)를 통하여 입력되는 스트림을 역다중화하거나 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.

제어부(170)에서 처리된 영상 신호는, 디스플레이부(140)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(120)를 통하여 외부 출력디바이스로 입력될 수 있다.

제어부(170)는 역다중화부, 영상 처리부 등을 포함할 수 있다.

제어부(170)는, 멀티미디어 디바이스(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(170)는, 튜너(111)를 제어하여, 사용자가 선택한 채널 또는 기 저장된 채널에 해당하는 RF 방송을 튜닝(tuning)하도록 제어할 수 있다.

제어부(170)는, 사용자 인터페이스부(180)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 멀티미디어 디바이스(100)를 제어할 수 있다. 특히, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 멀티미디어 디바이스(100) 내로 다운로드 받을 수 있도록 할 수 있다.

예를 들어, 제어부(170)는, 사용자 인터페이스부(180)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(111)를 제어한다. 그리고 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(170)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(140) 또는 오디오 출력부(150)를 통하여 출력될 수 있도록 한다.

다른 예로, 제어부(170)는, 사용자 인터페이스부(180)를 통하여 수신한 외부 디바이스 영상 재생 명령에 따라, 외부장치 인터페이스부(180)를 통하여 입력되는 외부 디바이스, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(140) 또는 오디오 출력부(150)를 통해 출력될 수 있도록 한다.

한편, 제어부(170)는, 영상을 표시하도록 디스플레이부(140)를 제어할 수 있다. 예를 들어, 튜너(111)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(120)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부(113)를 통해 입력되는 영상, 또는 메모리(140)에 저장된 영상을, 디스플레이부(140)에 표시하도록 제어할 수 있다. 이때, 디스플레이부(140)에 표시되는 영상은, 정지영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.

또한, 제어부(170)는, 컨텐트를 재생하도록 제어할 수 있다. 이때의 컨텐트는, 멀티미디어 디바이스(100) 내에 저장된 컨텐트, 또는 수신된 방송 컨텐트, 외부로부터 입력되는 외부 입력 컨텐트일 수 있다. 컨텐트는, 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 중 적어도 하나일 수 있다.

한편, 제어부(170)는, 애플리케이션 보기 항목에 진입하는 경우, 멀티미디어 디바이스(100) 내 또는 외부 네트워크로부터 다운로드 가능한 애플리케이션 또는 애플리케이션 목록을 표시하도록 제어할 수 있다.

제어부(170)는, 다양한 사용자 인터페이스와 더불어, 외부 네트워크로부터 다운로드 되는 애플리케이션을 설치 및 구동하도록 제어할 수 있다. 또한, 사용자의 선택에 의해, 실행되는 애플리케이션에 관련된 영상이 디스플레이부(140)에 표시 되도록 제어할 수 있다.

디스플레이부(140)는, 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(120)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성한다.

디스플레이부(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.

한편, 디스플레이부(140)는, 터치 스크린으로 구성되어 출력 디바이스 이외에 입력 디바이스로 사용되는 것도 가능하다.

오디오 출력부(150)는, 제어부(170)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 오디오 출력부(150)는 다양한 형태의 스피커로 구현될 수 있다.

한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 멀티미디어 디바이스(100)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자 인터페이스부(180)를 통해 제어부(170)로 전달될 수 있다.

한편, 사용자를 촬영하는 촬영부(미도시)가 더 구비될 수 있다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(150)에 입력될 수 있다.

제어부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.

전원 공급부(160)는, 멀티미디어 디바이스(100) 전반에 걸쳐 해당 전원을 공급한다.

특히, 시스템 온 칩(System on Chip; SoC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이부(140), 및 오디오 출력을 위한 오디오 출력부(150)에 전원을 공급할 수 있다.

이를 위해, 전원 공급부(160)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)를 구비할 수 있다. 한편, 예를 들어, 디스플레이부(140)가 다수의 백라이트 램프(backlight lamp)를 구비하는 액정 패널로서 구현되는 경우, 휘도 가변 또는 디밍(dimming) 구동을 위해, PWM(Pulse Width Modulation) 동작 가능한 인버터(inverter)(미도시)를 더 구비할 수도 있다.

리모트 컨트롤러(200)는, 사용자 입력을 사용자 인터페이스부(180)로 송신한다. 이를 위해, 리모트 컨트롤러(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.

또한, 리모트 컨트롤러(200)는, 사용자 인터페이스부(180)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 리모트 컨트롤러(200)에서 표시하거나 음성 또는 진동을 출력할 수 있다.

카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(140)에 표시되거나 메모리(130)에 저장될 수 있다.

상술한 멀티미디어 디바이스(100)는, 고정형 또는 이동형의 ATSC 방식 또는 DVB 방식의 디지털 방송 신호의 처리가 가능한 디지털 방송 수신기일 수 있다.

그 밖에 본 발명에 따른 디스플레이 디바이스는 도시된 구성 중 필요에 따라 일부 구성을 생략하거나 반대로 도시되진 않은 구성을 더 포함할 수도 있다. 한편, 디스플레이 디바이스는 상술한 바와 달리, 튜너와 복조부를 구비하지 않고, 네트워크 인터페이스부 또는 외부장치 인터페이스부를 통해서 컨텐트를 수신하여 재생할 수도 있다.

도 2는 본 발명의 일 실시예에 따라 도 1의 제어부의 상세 구성을 설명하기 위한 블록도이다.

본 발명의 일 실시예에 의한 멀티미디어 디바이스(100)의 제어부(170)는, 역다중화부(171), 영상 처리부(172), OSD 생성부(173), 믹서(mixer)(174), 프레임 레이트 변환부(FRC: Frame Rate Converter)(175), 및 포맷터(formatter)(176)를 포함할 수 있다. 그 외, 도시하지 않았으나, 상기 제어부(170)는 음성 처리부와 데이터 처리부를 더 포함할 수 있다.

역다중화부(171)는, 입력되는 스트림을 역다중화한다. 예를 들어, 역다중화부(171)는 입력되는 MPEG-2 TS 영상, 음성 및 데이터 신호로 역다중화할 수 있다. 여기서, 역다중화부(171)에 입력되는 스트림 신호는, 튜너 또는 복조부 또는 외부장치 인터페이스부에서 출력되는 스트림 신호일 수 있다.

영상 처리부(172)는, 역다중화된 영상 신호의 영상 처리를 수행한다. 이를 위해, 영상 처리부(172)는, 영상 디코더(172a) 및 스케일러(172b)를 구비할 수 있다.

영상 디코더(172a)는 역다중화된 영상 신호를 복호하며, 스케일러(172b)는 복호된 영상 신호의 해상도를 디스플레이부에서 출력 가능하도록 스케일링(scaling)한다.

영상 디코더(172a)는 다양한 규격을 지원할 수 있다. 예를 들어, 영상 디코더(172a)는 영상 신호가 MPEG-2 규격으로 부호화된 경우에는 MPEG-2 디코더의 기능을 수행하고, 영상 신호가 DMB(Digital Multimedia Broadcasting) 방식 또는 H.264 규격으로 부호화된 경우에는 H.264 디코더의 기능을 수행할 수 있다.

한편, 영상 처리부(172)에서 복호된 영상 신호는, 믹서(174)로 입력된다.

OSD 생성부(173)는, 사용자 입력에 따라 또는 자체적으로 OSD 데이터를 생성한다. 예를 들어, OSD 생성부(173)는 사용자 인터페이스부(180)의 제어 신호에 기초하여 디스플레이부(140)의 화면에 각종 데이터를 그래픽(Graphic)이나 텍스트(Text) 형태로 표시하기 위한 데이터를 생성한다. 생성되는 OSD 데이터는, 멀티미디어 디바이스(100)의 사용자 인터페이스 화면(예를 들어, GUI), 다양한 메뉴 화면, 위젯(widget), 아이콘(icon), 시청률 정보(viewing rate information) 등의 다양한 데이터를 포함한다. OSD 생성부(173)는, 방송 영상의 자막 또는 EPG에 기반한 방송 정보를 표시하기 위한 데이터를 생성할 수도 있다.

믹서(174)는, OSD 생성부(173)에서 생성된 OSD 데이터와 영상 처리부에서 영상 처리된 영상 신호를 믹싱(mixing)하여 포맷터(176)로 제공한다. 복호된 영상 신호와 OSD 데이터가 믹싱됨으로 인하여, 방송 영상 또는 외부 입력 영상 상에 OSD가 오버레이(overlay) 되어 표시된다.

프레임 레이트 변환부(FRC)(175)는, 입력되는 영상의 프레임 레이트(frame rate)를 변환한다. 예를 들어, 프레임 레이트 변환부(175)는 입력되는 60Hz 영상의 프레임 레이트를 디스플레이부의 출력 주파수에 따라 예를 들어, 120Hz 또는 240Hz의 프레임 레이트를 가지도록 변환할 수 있다. 상기와 같이, 프레임 레이트를 변환하는 방법에는 다양한 방법이 존재할 수 있다. 일 예로, 프레임 레이트 변환부(175)는 프레임 레이트를 60Hz에서 120Hz로 변환하는 경우, 제1 프레임과 제2 프레임 사이에 동일한 제1 프레임을 삽입하거나, 제1 프레임과 제2 프레임으로부터 예측된 제3 프레임을 삽입함으로써 변환할 수 있다. 다른 예로, 프레임 레이트 변환부(175)는 프레임 레이트를 60Hz에서 240Hz로 변환하는 경우, 기존 프레임 사이에 동일한 프레임 또는 예측된 프레임을 3개 더 삽입하여 변환할 수 있다. 한편, 별도의 프레임 변환을 수행하지 않는 경우에는 프레임 레이트 변환부(175)를 바이패스(bypass) 할 수도 있다.

포맷터(176)는, 입력되는 프레임 레이트 변환부(175)의 출력을 디스플레이부의 출력 포맷에 맞게 변경한다. 예를 들어, 포맷터(176)는 R, G, B 데이터 신호를 출력할 수 있으며, 이러한 R, G, B 데이터 신호는, 낮은 전압 차분 신호(LVDS: Low voltage differential signal) 또는 mini-LVDS로 출력될 수 있다. 또한, 포맷터(176)는 입력되는 프레임 레이트 변환부(175)의 출력이 3D 영상 신호인 경우에는 디스플레이부의 출력 포맷에 맞게 3D 형태로 구성하여 출력함으로써, 상기 디스플레이부(140)를 통해 3D 서비스를 지원할 수도 있다.

한편, 제어부(170) 내 음성 처리부(미도시)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 이러한 음성 처리부(미도시)는 다양한 오디오 포맷을 처리하도록 지원할 수 있다. 일 예로, 음성 신호가 MPEG-2, MPEG-4, AAC, HE-AAC, AC-3, BSAC 등의 포맷으로 부호화된 경우에도 이에 대응되는 디코더를 구비하여 처리할 수 있다.

또한, 제어부(170) 내 음성 처리부(미도시)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.

제어부(170) 내 데이터 처리부(미도시)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 데이터 처리부는 역다중화된 데이터 신호가 부호화된 경우에도 이를 복호할 수 있다. 여기서, 부호화된 데이터 신호로는, 각 채널에서 방영되는 방송 프로그램의 시작시각, 종료시각 등의 방송 정보가 포함된 EPG 정보일 수 있다.

한편, 상술한 멀티미디어 디바이스(100)는 본 발명에 따른 예시로서, 각 구성요소는 실제 구현되는 디스플레이 디바이스의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라, 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나 하나의 구성요소가 2 이상의 구성요소로 세분화될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 디바이스는 본 발명의 권리범위를 제한하지 아니한다.

도 3은 본 발명의 일 실시예에 의한 멀티미디어 디바이스를 제어하기 위한 리모트 컨트롤러의 예시들을 도시한 도면이다.

멀티미디어 디바이스(100)를 제어하기 위하여, 멀티미디어 디바이스(100) 상에 구비된 프론트 패널(front panel)(미도시)을 이용하거나 리모트 컨트롤러(200)를 이용할 수 있다.

리모트 컨트롤러(200)는 유, 무선 통신 가능한 사용자 인터페이스 디바이스(UID; User Interface Device)로써, 주로 멀티미디어 디바이스(100)의 제어 목적으로 구현된 리모컨(210), 키보드(230), 포인팅 디바이스(220), 터치패드(touch-pad) 등이 포함될 수 있다. 그 밖에, 멀티미디어 디바이스(100)의 제어 목적은 아니나 모드 전환 등을 통해 멀티미디어 디바이스(100)를 제어할 수 있는 스마트 폰, 태블릿 PC 등 모바일 디바이스 등도 리모트 컨트롤러(200)에 포함될 수 있다.

리모트 컨트롤러(200)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance), RS 등의 통신 프로토콜을 필요에 따라 적어도 하나 이상 채용하여 멀티미디어 디바이스(100)와 통신 가능하다.

리모컨(210)은, 멀티미디어 디바이스(100)의 제어를 위해 필요한 다양한 키 버튼들이 구비된 통상의 입력 수단을 말한다.

포인팅 디바이스(230)는, 자이로 센서(Gyro Sensor) 등을 탑재하여 사용자의 움직임, 압력, 회전 등에 기초하여 멀티미디어 디바이스(100)의 화면상에 대응되는 포인터(pointer)를 구현하여, 멀티미디어 디바이스(100)에 소정 제어 명령을 전달한다. 이러한 포인팅 디바이스(203)는, 매직 리모컨, 매직 컨트롤러 등 다양한 이름으로 명명될 수 있다.

키보드(230)는, 멀티미디어 디바이스(100)가 종래 방송만을 제공하던 것을 넘어 지능형 통합 디지털 디바이스로서 웹 브라우저, 애플리케이션, SNS(Social Network Service) 등 다양한 서비스를 제공함에 따라 종래 리모컨(210)만으로는 제어가 쉽지 않아 이를 보완하여 PC의 키보드와 유사하게 구현하여 텍스트 등의 입력 편의를 도모하기 위해 구현되었다.

한편, 리모컨(210), 포인팅 디바이스(220), 키보드(230) 등의 리모트 컨트롤러(200)는, 필요에 따라 터치패드를 구비함으로써 텍스트 입력, 포인터 이동, 사진 내지 동영상의 확대/축소 등 더욱 편리하고 다양한 제어 목적에 이용할 수 있다.

도 4는 본 발명의 일 실시예에 따라 사용자에게 추천 컨텐트의 정보를 제공하기 위한 시스템의 일례를 설명하기 위한 도면이다.

추천 컨텐트의 정보를 제공하기 위한 시스템은 멀티미디어 디바이스(100), 컨텐트 제공자(300) 및 서버(400)를 포함할 수 있다.

멀티미디어 디바이스(100)는 도 1 내지 도 3과 관련하여 상술한 멀티미디어 디바이스(100)일 수 있다.

컨텐트 제공자(300)는 각종 컨텐트를 제작하여 제공하는 사업자를 의미한다. 일례로, 컨텐트 제공자(300)는 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO(System Operator) 또는 MSO(Multiple System Operator)), 위성 방송 송출자(satellite broadcaster), 인터넷 방송 송출자(Internet broadcaster) 등일 수 있다.

멀티미디어 디바이스(100)는 컨텐트 제공자(300)로부터 컨텐트를 수신하거나, 별도의 서비스 제공자를 거쳐서 컨텐트 제공자(300)로부터 컨텐트를 수신할 수 있다.

멀티미디어 디바이스(100)는, 컨텐트 제공자(300)로부터 수신한 컨텐트를 사용자가 시청하는 동안 각 사용자 별 감정을 파악하고, 파악된 감정과 관련된 정보를 서버(400)에 전송한다. 멀티미디어 디바이스(100)는 사용자 별로 다른 기준을 적용하여 특정 감정에 대한 감정 지수를 파악할 수 있다. 이에 대해서는 도 5 내지 도 8을 참조하여 좀 더 자세히 후술하기로 한다.

서버(400)는 멀티미디어 디바이스(100)로부터 전송된 사용자의 감정과 관련된 정보를 수신하고, 이에 기초하여 각 사용자에 맞춤화된 추천 컨텐트를 선정할 수 있다. 서버(400)는, 선정된 추천 컨텐트에 대한 정보를 멀티미디어 디바이스(100)에 전송할 수 있다. 이에 대해서는 도 10 내지 도 15를 참조하여 좀 더 자세히 후술하기로 한다.

도 5는 본 발명의 일 실시예에 의한 멀티미디어 디바이스에서 사용자의 감정을 파악하는 방법의 일례를 설명하기 위한 흐름도이다.

멀티미디어 디바이스(100)의 메모리(130)는 사용자 별 특정 감정에 대응하는 감정 지수를 파악하기 위한 경험 데이터를 저장한다(S501). 여기서, 감정 지수란, 감정 별로 감정의 세기를 나타내는 수치를 의미할 수 있다. 이러한 경험 데이터는 멀티미디어 디바이스(100)의 사용 중 사용자 별로 각각 축적될 수 있다. 제어부(170)는 후술하는 단계들(S502~S505)을 반복하면서 획득된 사용자의 감정과 관련된 데이터를 사용자 별로 상기 경험 데이터로서 축적할 수 있다. 그리고, 제어부(170)는 후술하는 단계들(S502~S505)을 다시 수행함에 있어서 상기 경험 데이터를 활용할 수 있다.

일례로, 상기 경험 데이터는, 카메라(190)에 의해 획득된 이미지에서 사용자의 얼굴을 인식하는데 필요한 데이터를 포함할 수 있다. 여기서, 얼굴 인식이란 단순히 얼굴의 유무를 인식하는 정도를 넘어서 사용자를 구별할 수 있을 정도를 의미할 수 있다. 제어부(170)는, 사용자 등록 절차를 통해 상기 이미지가 획득된 경우 상기 이미지에 기초하여 등록 사용자를 구별하기 위한 데이터를 메모리(130)에 저장할 수도 있고, 사용자 등록이 이루어지지 않은 경우 주기적 또는 비주기적으로 카메라(190)에 의해 획득된 이미지에 기초하여 여러 사용자 각각을 구별하기 위한 데이터를 메모리(130)에 저장할 수도 있다. 또한, 상기 경험 데이터는 사용자의 표정을 인식하는데 필요한 데이터를 포함할 수 있다. 제어부(170)는, 카메라(190)에 의해 획득된 이미지에 기초하여, 얼굴이 인식된 사용자의 눈의 형태, 눈썹의 위치, 입꼬리의 위치, 눈꼬리의 위치 등과 같이 사용자 별로 표정 및 그에 따른 감정을 인식하는데 필요한 데이터를 메모리(130)에 저장할 수 있다. 또한, 상기 경험 데이터는, 입꼬리가 올라간 정도, 눈썹이 올라간 정도, 눈꼬리가 내려간 정도, 눈의 폭, 사용자의 얼굴에서 눈꼬리와 입꼬리 사이의 간격이 차지하는 비율, 사용자의 얼굴의 폭에서 미간이 차지하는 비율, 입이 벌어진 정도 등과 같이 감정의 세기를 파악하는데 필요한 데이터를 포함할 수 있다.

상기 경험 데이터는, 사용자 별로 특정 감정에 대응하는 임계치로서 최소값 및 최대값을 포함할 수 있다. 예를 들어, 제어부(170)는, 특정 감정의 세기를 파악하는데 필요한, 입꼬리가 올라간 정도에 대응하는 수치 데이터, 눈썹이 올라간 정도에 대응하는 수치 데이터, 눈꼬리가 내려간 정도에 대응하는 수치 데이터, 눈의 폭에 대응하는 수치 데이터, 사용자의 얼굴에서 눈꼬리와 입꼬리 사이의 간격이 차지하는 비율에 대응하는 수치 데이터, 사용자의 얼굴의 폭에서 미간이 차지하는 비율에 대응하는 수치 데이터, 입이 벌어진 정도에 대응하는 수치 데이터 중 적어도 하나를 이용하여 산출된 수치 데이터의 값 중에서 최소값과 최대값을 상기 특정 감정에 대응하는 임계치로 결정할 수 있다.

제어부(170)는, 특정 컨텐트의 비디오 데이터를 디스플레이부(140)에 출력한다(S502). 상기 특정 컨텐트는 수신부(110)를 통해 수신된 것일 수도 있고, 외부장치 인터페이스부(120)를 통해 연결된 외부 장치로부터 수신된 것일 수도 있다.

제어부(170)는, 상기 비디오 데이터가 디스플레이되는 동안 이미지를 획득하도록 카메라(190)를 제어한다(S503). 사용자가 상기 특정 컨텐트를 감상하는 동안 사용자의 감정을 파악해야 하므로, 제어부(170)는, 상기 비디오 데이터가 디스플레이되는 동안 기 설정된 시간 간격마다 주기적으로, 또는 비 주기적으로, 이미지를 획득하도록 카메라(190)를 제어할 수 있다.

제어부(170)는, 상기 획득된 이미지 및 메모리(130)에 저장된 경험 데이터에 기초하여, 상기 이미지에 포함된 특정 사용자의 얼굴을 인식하고, 인식된 사용자의 표정 및 감정을 인식할 수 있다. 상기 이미지에 복수의 사용자가 포함되어 있는 경우 사용자 별로 얼굴, 표정 및 감정 인식이 수행될 수도 있다. 본 실시예에서는, 상기 이미지에 포함된 제1 사용자에 대하여 얼굴, 표정 및 감정 인식이 수행되는 것으로 가정한다.

제어부(170)는, 상기 인식된 감정에 감정 지수를 부여한다(S505). 감정 지수란, 상기 인식된 감정의 세기를 나타내는 것일 수 있다. 예를 들어, 제어부(170)는, 사용자 별로 상기 특정 감정에 대응하는 임계치 중 최소값에 감정 지수 0을 부여하고 상기 특정 감정에 대응하는 임계치 중 최대값에 감정 지수 100을 부여할 수 있다. 일례로, 상기 특정 감정이 재미를 느끼는 감정에 해당하는 경우, 사람마다 동일한 재미를 느끼더라도 웃는 정도가 상이하기 때문에, 사용자 별로 특정 감정에 대응하는 임계치를 서로 다르게 설정할 수 있다. 그리고, 제어부(170)는, 상기 특정 감정에 대한 경험 데이터에 기초하여 상기 인식된 감정의 세기를 파악하고, 상기 인식된 감정의 세기에 대응하는 수치 데이터의 값이 상기 최대값과 최소값 사이의 어느 지점에 위치하는지에 따라 상기 인식된 감정에 0에서 100 사이의 감정 지수를 부여할 수 있다.

그리고, 제어부(170)는, 상기 특정 컨텐트를 식별할 수 있는 제1 정보 및 상기 부여된 감정 지수에 대응하는 제2 정보를 포함하는 신호를 외부 서버(400)에 전송하도록 네트워크 인터페이스부(113)를 제어한다(S506). 이 경우, 제어부(170)는, 상기 제1 사용자를 식별할 수 있는 제3 정보를 상기 신호에 포함시켜 외부 서버(400)에 전송할 수도 있다. 서버(400)는, 상기 전송된 신호에 기초하여 사용자들이 실제로 재미있어하는 컨텐트가 무엇인지 파악할 수 있고, 상기 전송된 신호에 제3 정보가 포함되어 있는 경우에는, 제1 사용자가 상기 특정 컨텐트를 실제로 얼마만큼 재미있어 하는지 여부를 정확하게 파악할 수 있다.

실시예에 따라, 제어부(170)는 상기 제2 정보를 외부 서버(400)에 전송할 때 상기 감정 지수를 정규화하고, 정규화된 값이 상기 신호에 포함되어 외부 서버(400)에 전송되도록 할 수도 있다. 예를 들어, 상기 부여된 감정 지수가 120에 해당하는 경우 상기 120의 수치를 0~1 사이의 값으로 정규화하여 외부 서버(400)에 전송하면, 외부 서버(400)는 상기 정규화된 제1 사용자에 대한 감정 지수와 제1 사용자가 아닌 다른 사용자에 대한 정규화된 감정 지수를 동일한 기준에 따라 비교할 수 있는 이점이 있다.

실시예에 따라, 상기 단계(S503~505)는 특정 컨텐트가 디스플레이되는 동안 반복적으로 수행될 수도 있고, 특정 컨텐트가 디스플레이되는 동안 상기 단계(S503)만 반복적으로 수행되고 상기 단계(S504~505)의 적어도 일부는 특정 컨텐트의 출력이 완료 후에 수행될 수도 있다.

도 6은 도 5의 감정 지수 부여 단계를 보다 자세히 도시한 흐름도이다.

제어부(170)는, 상기 인식된 제1 사용자의 감정에 대응하는 수치 데이터를 산출한다(S511). 상기 감정에 대응하는 수치 데이터는, 상기 인식된 감정에 따라, 제1 사용자의 입꼬리가 올라간 정도에 대응하는 수치 데이터, 제1 사용자의 눈썹이 올라간 정도에 대응하는 수치 데이터, 제1 사용자의 눈꼬리가 내려간 정도에 대응하는 수치 데이터, 제1 사용자의 눈의 폭에 대응하는 수치 데이터, 제1 사용자의 얼굴에서 눈꼬리와 입꼬리 사이의 간격이 차지하는 비율에 대응하는 수치 데이터, 제1 사용자의 얼굴의 폭에서 미간이 차지하는 비율에 대응하는 수치 데이터, 제1 사용자의 입이 벌어진 정도에 대응하는 수치 데이터 중 적어도 하나를 이용하여 산출될 수 있다.

제어부(170)는, 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 임계치 중 최대값을 초과하는지 여부를 판단한다(S512).

제어부(170)는, 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 임계치 중 최대값을 초과하지 않는 경우(S512, 아니오), 상기 인식된 감정에 상기 최대값 대비 감정 지수를 부여한다(S513). 상기 최대값에 감정 지수 100이 부여되어 있으므로, 제어부(170)는, 상기 최대값 대비 상기 산출된 수치 데이터의 값에 기초하여 상기 인식된 감정에 0에서 100 사이의 감정 지수를 부여할 수 있다.

또한, 제어부(170)는, 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 임계치 중 최대값을 초과하는 경우(S512, 예), 상기 산출된 수치 데이터의 값을 최대값으로 새로이 메모리(130)에 저장한다(S514). 이제 상기 인식된 감정에 대응하는 임계치 중 최대값은 기존 최대값이 아니라 상기 산출된 수치 데이터의 값이 되는 것이다. 그리고, 그 이후 상기 인식된 감정과 동일한 감정에 대한 수치 데이터가 산출되는 경우 해당 수치 데이터는 새로이 저장된 최대값과 비교될 것이다. 제어부(170)는, 상기 산출된 수치 데이터의 값을 최대값으로 새로이 메모리(130)에 저장하고, 상기 산출된 수치 데이터의 값이 기존 최대값을 어느 정도 초과하는지에 따라 100 이상의 감정 지수를 상기 인식된 감정에 부여할 수 있다. 실시예에 따라, 상기 산출된 수치 데이터의 값에 100 이상의 감정 지수가 부여된 경우, 상기 부여된 감정 지수에 대한 정보를 외부 서버(400)에 전송하고, 그 이후에는, 상기 새로이 저장된 최대값에 대하여 감정 지수를 다시 100으로 설정하는 정규화 작업이 진행될 수도 있다.

도 5 및 도 6과 관련하여 상술한 바에 따라 특정 사용자에 대한 경험 데이터를 계속하여 메모리(130)에 축적해 나가면, 특정 사용자가 느끼는 감정 및 감정의 세기를 보다 정확하게 파악할 수 있다.

도 7 및 도 8은 사용자의 감정을 인식하고 인식된 감정에 감정 지수를 부여하는 과정을 설명하기 위한 도면이다. 도 7 및 도 8에서는 카메라(190)에 의해 획득된 이미지에 기초하여 사용자가 웃는 표정으로 인식되고, 사용자가 즐겁고 재미를 느끼는 감정인 것으로 인식되는 경우를 가정하고 설명한다.

먼저, 도 7을 참조하면, 제어부(170)는 사용자 별로 특정 감정에 대응하는 임계치로서 최소값 및 최대값을 메모리(130)에 저장할 수 있다. 실시예에 따라, 제어부(170)는, 상기 최소값에 대응하는 제1 사용자의 얼굴을 포함하는 이미지 데이터(521) 및 상기 최대값에 대응하는 제1 사용자의 얼굴을 포함하는 이미지 데이터(522)를 메모리(130)에 저장해둘 수도 있다. 제어부(170)는, 특정 감정의 세기를 파악하는데 필요한 입꼬리가 올라간 정도(a, b)에 대응하는 수치 데이터, 눈썹이 올라간 정도(a)에 대응하는 수치 데이터, 눈꼬리가 내려간 정도에 대응하는 수치 데이터, 눈의 폭에 대응하는 수치 데이터, 사용자의 얼굴에서 눈꼬리와 입꼬리 사이의 간격(b)이 차지하는 비율에 대응하는 수치 데이터, 사용자의 얼굴의 폭에서 미간이 차지하는 비율에 대응하는 수치 데이터, 입이 벌어진 정도(c)에 대응하는 수치 데이터 중 적어도 하나를 이용하여 산출된 수치 데이터의 값 중에서 최소값과 최대값을 상기 특정 감정에 대응하는 임계치로 결정할 수 있다.

그리고, 제어부(170)는, 카메라(190)에 의해 획득된 이미지에 포함된 제1 사용자의 얼굴을 포함하는 이미지 데이터(523)에 기초하여 감정을 인식하고, 상기 인식된 제1 사용자의 감정에 대응하는 수치 데이터를 산출한다. 그리고, 상기 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 임계치 중 최대값을 초과하는지 여부를 판단한다. 도 7에서는, 상기 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 임계치 중 최대값을 초과하지 않는 것으로 가정한다.

제어부(170)는, 상기 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 최소값과 최대값의 사이에 위치하는 경우, 상기 인식된 감정에 상기 최대값 대비 감정 지수를 부여한다. 상기 최대값에 감정 지수 100이 부여되어 있으므로, 제어부(170)는, 상기 최대값 대비 상기 산출된 수치 데이터의 값에 기초하여 상기 인식된 감정에 0에서 100 사이의 감정 지수를 부여할 수 있다.

한편, 도 8을 참조하면, 상기 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 임계치 중 최대값을 초과하는 것으로 가정한다. 제어부(170)는, 상기 산출된 수치 데이터의 값이 상기 인식된 감정에 대응하는 최대값을 초과하는 경우, 상기 산출된 수치 데이터의 값을 최대값으로 새로이 메모리(130)에 저장하고, 상기 산출된 수치 데이터의 값이 기존 최대값을 어느 정도 초과하는지에 따라 100 이상의 감정 지수를 상기 인식된 감정에 부여할 수 있다. 그리고, 그 이후 상기 인식된 감정과 동일한 감정에 대한 수치 데이터가 산출되는 경우 해당 수치 데이터는 새로이 저장된 최대값과 비교될 수 있다.

한편, 본 발명의 일 실시예에 의하면, 멀티미디어 디바이스(100)는, 제1 사용자가 상기 특정 컨텐트를 실제로 시청하고 있는지 여부를 반영하는 시청 지수를 외부 서버(400)에 전송할 수도 있다. 이를 도 9를 참조하여 설명하기로 한다.

도 9는 본 발명의 일 실시예에 의한 멀티미디어 디바이스에서 사용자가 컨텐트를 실제로 시청하고 있는지 여부를 반영하는 시청 지수를 산출하는 방법의 일례를 설명하기 위한 도면이다.

실시예에 따라, 제1 사용자가 멀티미디어 디바이스(100)의 앞에 위치하고 있는 경우라도, 실제로는 제1 사용자가 다른 볼일을 보고 있을 뿐 멀티미디어 디바이스(100)를 통해 상기 특정 컨텐트를 시청하고 있지 않은 경우도 있을 수 있다. 예를 들어, 도 9의 (a)와 같이 상기 특정 컨텐트가 드라마나 영화 등인 경우에는 제1 사용자가 집중하여 상기 특정 컨텐트를 시청할 수 있지만, 도 9의 (b)와 같이 상기 특정 컨텐트가 뉴스나 생활 정보 프로그램 등인 경우에는 제1 사용자가 외출 준비를 하면서 귀로만 상기 특정 컨텐트의 음성을 듣는 경우도 종종 있다.

따라서, 제어부(170)는, 제1 사용자의 감정 인식에 더하여, 카메라(190)를 통해 획득된 이미지에 기초하여 제1 사용자의 시선을 인식하고, 상기 특정 컨텐트의 비디오 데이터가 디스플레이되는 동안 제1 사용자의 시선이 디스플레이부(140)를 향하는 비율에 대응하는 시청 지수를 산출할 수 있다. 상기 특정 컨텐트의 비디오 데이터가 디스플레이되는 동안 제1 사용자의 시선이 디스플레이부(140)를 향하고 있는 시간이 클수록 상기 특정 컨텐트에 대한 시청 지수를 높은 값을 가질 수 있다.

제어부(170)는, 상기 특정 컨텐트를 식별할 수 있는 제1 정보, 상기 부여된 감정 지수에 대응하는 제2 정보 및 상기 산출된 시청 지수에 대응하는 제4 정보를 포함하는 신호를 외부 서버(400)에 전송하도록 네트워크 인터페이스부(113)를 제어할 수 있다.

외부 서버(400)는, 멀티미디어 디바이스(100)로부터 전송된 상기 신호에 포함된 정보에 기초하여 사용자 별 추천 컨텐트를 선정할 때, 상기 시청 지수가 기 설정된 레벨 이상에 해당하는 컨텐트만을 추천 컨텐트로 선정할 수도 있다.

도 10은 본 발명의 일 실시예에 따라 멀티미디어 디바이스에서 외부 서버로 시청 정보가 전송될 때 멀티미디어 디바이스의 디스플레이부에 출력될 수 있는 화면의 일례를 도시한 도면이다.

멀티미디어 디바이스(100)의 제어부(170)는, 상기 특정 컨텐트를 식별할 수 있는 제1 정보 및 상기 부여된 감정 지수에 대응하는 제2 정보를 포함하는 신호를 외부 서버(400)에 전송하도록 네트워크 인터페이스부(113)를 제어한다. 실시예에 따라, 제어부(170)는, 제1 사용자를 식별할 수 있는 제3 정보 및 상기 특정 컨텐트에 대한 제1 사용자의 실제 시청 여부를 반영하는 시청 지수에 대응하는 제4 정보 중 적어도 하나가 상기 신호에 포함되어 전송되도록 할 수도 있다.

이러한 신호의 전송은, 상기 특정 컨텐트에 대응하는 비디오 데이터가 디스플레이부(140)에 디스플레이되는 중에 이루어질 수도 있고, 상기 특정 컨텐트에 대응하는 비디오 데이터의 출력이 완료된 이후에 이루어질 수도 있고, 상기 특정 컨텐트에 대응하는 비디오 데이터가 디스플레이부(140)에 디스플레이되는 중에도 이루어지고 상기 특정 컨텐트에 대응하는 비디오 데이터의 출력이 완료된 이후에도 이루어질 수도 있다.

제어부(170)는, 상기 신호를 외부 서버(400)에 전송하기 전에 또는 상기 신호를 외부 서버(400)에 전송하는 중에, 시청 정보를 외부 서버(400)에 전송 중임을 알리는 GUI(530)를 디스플레이부(140)에 출력할 수 있다. 실시예에 따라, 상기 GUI(530)는 시청 전보의 전송을 중지 또는 정지하기 위한 취소 메뉴(531)를 포함할 수도 있다. 사용자는, 시청 정보의 전송을 원하지 않는 경우, 상기 취소 메뉴(531)를 선택할 수 있다.

도 11은 본 발명의 일 실시예에 의한 서버의 구성 모듈들을 도시한 블록도이다.

서버(400)는 수신부(410), 통신부(420), 메모리(430), 제어부(440) 등을 포함할 수 있다.

수신부(410)는 컨텐트 제공자(300)로부터 특정 컨텐트와 관련된 정보를 수신할 수 있다. 특정 컨텐트와 관련된 정보란, 특정 컨텐트의 비디오 신호, 특정 컨텐트와 관련된 섬네일 이미지, 특정 컨텐트의 EPG 데이터 등일 수 있다.

통신부(420)는, 멀티미디어 디바이스(100)로부터 시청 정보를 수신할 수 있다. 시청 정보란, 상술한 바와 같이 사용자에 따른 특정 컨텐트에 대한 감정 지수 정보를 포함할 수 있다. 실시예에 따라, 상기 시청 정보는 사용자에 따른 특정 컨텐트에 대한 시청 지수 정보를 포함할 수 있다. 그리고, 통신부(420)는, 제어부(440)에 의해 선정된 사용자 별 추천 컨텐트에 대한 정보를 멀티미디어 디바이스(100)로 전송할 수 있다. 통신부(420)는, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등의 기술을 이용하여 멀티미디어 디바이스(100)와 통신할 수 있다.

메모리(430)는, 멀티미디어 디바이스(100)로부터 전송된 시청 정보를 저장하고, 제어부(440)에 의해 선정된 사용자 별 추천 컨텐트에 대한 정보를 저장할 수 있다. 그리고, 메모리(430)는, 수신부(410)를 통해 컨텐트 제공자(300)로부터 수신된 특정 컨텐트와 관련된 정보를 저장할 수 있다. 메모리(430)는, 멀티미디어 디바이스(100)로부터 전송된 시청 정보를 분석하고 사용자 별 추천 컨텐트를 선정하는데 필요한 프로그램을 저장하고 있을 수 있다.

제어부(440)는, 수신부(410), 통신부(420), 메모리(430) 등 각 구성 모듈들의 동작을 제어한다. 제어부(440)는, 멀티미디어 디바이스(100)로부터 수신된 사용자 별 시청 정보에 기초하여, 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트와 동일한 컨텐트를 추천 컨텐트로 선정할 수 있다. 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트와 동일한 컨텐트란, 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트와 동일한 제목을 갖는 컨텐트, 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트의 시리즈물 등일 수 있다. 제어부(440)는, 특정 사용자에 대한 시청 정보에 기초하여 상기 특정 사용자를 위한 추천 컨텐트를 선정할 수도 있고, 여러 사용자에 대한 시청 정보에 기초하여 상기 특정 사용자를 위한 추천 컨텐트를 선정할 수도 있고, 상기 특정 사용자와 동일 연령대의 사용자에 대한 시청 정보에 기초하여 상기 특정 사용자를 위한 추천 컨텐트를 선정할 수도 있다. 제어부(440)는, 추천 컨텐트를 선정함에 있어서, 상기 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트 중에서 상기 시청 정보에 포함된 시청 지수가 기 설정된 레벨 이상에 해당하는 컨텐트와 동일한 컨텐트를 추천 컨텐트로 선정할 수도 있다.

도 12 및 도 13은 본 발명의 일 실시예에 의한 멀티미디어 디바이스가 외부 서버로부터 수신한 추천 컨텐트와 관련된 정보를 포함하는 GUI의 일례를 도시한 도면이다.

멀티미디어 디바이스(100)의 제어부(170)는, 외부 서버(400)로부터 추천 컨텐트와 관련된 정보를 수신하도록 네트워크 인터페이스부(113)를 제어할 수 있다. 실시예에 따라, 외부 서버(400)로부터 수신된 상기 제1 사용자에 대응하는 추천 컨텐트와 관련된 정보에 기초하여 제어부(170)에서 GUI(600)를 생성할 수도 있고, 외부 서버(400)로부터 추천 컨텐트와 관련된 정보를 포함하는 GUI(600)를 네트워크 인터페이스부(113)에서 수신하고 제어부(170)가 상기 수신된 GUI(600)를 디스플레이부(140)에 출력할 수도 있다.

제1 사용자가 멀티미디어 디바이스(100) 앞에 위치한 상태에서 추천 컨텐트 관련 정보를 요청한 경우, 제어부(170)는, 상기 제1 사용자와 관련된 추천 컨텐트와 관련된 정보를 포함하는 GUI(600)를 디스플레이부(140)에 출력할 수 있다.

상기 GUI(600)는, 상기 제1 사용자에 맞춤화된 추천 컨텐트와 관련된 정보 중 특정 감정에 대응하는 추천 컨텐트와 관련된 정보를 표시할 수 있다. 도 12에서는, 일 예로서, 상기 제1 사용자가 재미있어하는 감정을 나타낸 컨텐트와 관련된 추천 컨텐트와 관련된 정보가 상기 GUI(600)에 표시되는 것으로 도시하였다. 상기 GUI(600)는, 제1 사용자가 어떠한 감정을 나타낸 컨텐트와 관련된 추천 컨텐트와 관련된 정보를 현재 표시하고 있는지를 나타내는 정보 영역(630)을 포함할 수도 있다.

일례로, 상기 GUI(600)는, 기 설정된 기간 동안 상기 제1 사용자가 가장 재미있어하는 제1 컨텐트에 대한 섬네일 이미지(611), 상기 제1 컨텐트의 제목(612), 상기 제1 컨텐트를 이용할 수 있는 소스 디바이스(613), 상기 제1 컨텐트에 대한 제1 사용자의 감정의 세기(614)와, 상기 제1 사용자가 두 번째로 재미있어하는 제2 컨텐트에 대한 섬네일 이미지(621), 상기 제2 컨텐트의 제목(622), 상기 제2 컨텐트를 이용할 수 있는 소스 디바이스(623), 상기 제2 컨텐트에 대한 제2 사용자의 감정의 세기(624) 등을 표시할 수 있다.

사용자는, 소스 디바이스(613, 623) 중 어느 하나를 선택함으로써, 선택된 소스 디바이스를 통해 선택된 컨텐트를 감상할 수 있다. 이 경우, 제어부(170)는, 상기 선택된 소스 디바이스에 직접 상기 선택된 컨텐트를 요청할 수도 있고, 선택 정보를 외부 서버(400)에 전송함으로써 외부 서버(400)가 상기 선택된 소스 디바이스에 상기 선택된 컨텐트를 요청하는 방식으로 간접적으로 요청할 수도 있다.

도 13을 참조하면, 제1 사용자는, 상기 GUI(600) 내 상기 정보 영역(630)을 통해, 재미있어하는 감정 이외에 다른 감정을 나타낸 컨텐트와 관련된 추천 컨텐트와 관련된 정보가 상기 GUI(600)에 표시되도록 할 수 있다.

상기 정보 영역(630) 내 인디케이터(631)가 선택되면, 다른 감정과 관련된 추천 컨텐트를 선택할 수 있는 메뉴들(632)이 상기 GUI(600) 상에 출력될 수 있다. 예를 들어, 사용자는, 리모트 컨트롤러(200)의 움직임에 대응하는 포인터(P)를 이용하여 상기 정보 영역(630) 내 인디케이터(631)를 선택할 수 있다. 사용자가 상기 메뉴들(632) 중 제1 사용자가 무서워하는 감정을 나타낸 컨텐트와 관련된 추천 컨텐트에 대응하는 메뉴를 선택하면, 제1 사용자가 무서워하는 감정을 나타낸 컨텐트와 관련된 추천 컨텐트와 관련된 정보가 상기 GUI(600)에 표시될 수 있다.

도 14 및 도 15는 본 발명의 일 실시예에 의한 멀티미디어 디바이스가 외부 서버로부터 수신한 추천 컨텐트와 관련된 정보를 포함하는 GUI의 다른 일례를 도시한 도면이다.

멀티미디어 디바이스(100)의 제어부(170)는, 외부 서버(400)로부터 추천 컨텐트와 관련된 정보를 수신하도록 네트워크 인터페이스부(113)를 제어할 수 있다. 실시예에 따라, 외부 서버(400)로부터 수신된 추천 컨텐트와 관련된 정보에 기초하여 제어부(170)에서 GUI(700)를 생성할 수도 있고, 외부 서버(400)로부터 추천 컨텐트와 관련된 정보를 포함하는 GUI(700)를 네트워크 인터페이스부(113)에서 수신하고 제어부(170)가 상기 수신된 GUI(700)를 디스플레이부(140)에 출력할 수도 있다.

제1 사용자가 멀티미디어 디바이스(100) 앞에 위치한 상태에서 추천 컨텐트 관련 정보를 요청한 경우, 제어부(170)는, 상기 제1 사용자와 관련된 추천 컨텐트와 관련된 정보를 포함하는 GUI(700)를 디스플레이부(140)에 출력할 수 있다.

상기 GUI(700)는, 상기 제1 사용자에 맞춤화된 추천 컨텐트와 관련된 정보를 동일한 감정 별로 구분하여 표시할 수 있다. 도 14에서는, 일 예로서, 상기 제1 사용자가 재미있어하는 감정을 나타낸 컨텐트와 관련된 추천 컨텐트와 관련된 정보, 상기 제1 사용자가 슬퍼하는 감정을 나타낸 컨텐트와 관련된 추천 컨텐트와 관련된 정보, 상기 제1 사용자가 무서워하는 감정을 나타낸 컨텐트와 관련된 추천 컨텐트와 관련된 정보 등이 동일한 감정 별로 구분되어 표시되는 것으로 도시하였다. 또한, 상기 GUI(700)는, 제1 사용자에 대한 추천 컨텐트와 관련된 정보가 현재 표시되고 있음을 나타내는 정보 영역(720)을 포함할 수도 있다.

일례로, 상기 GUI(700)는, 기 설정된 시간 동안 상기 제1 사용자가 재미있어하는 제1 컨텐트들에 대한 섬네일 이미지(711), 상기 제1 컨텐트들의 제목(712), 상기 제1 컨텐트들에 대한 제1 사용자의 감정의 세기(713), 상기 제1 사용자가 슬퍼하는 제2 컨텐트에 대한 섬네일 이미지(714), 상기 제2 컨텐트의 제목(715), 상기 제2 컨텐트에 대한 제1 사용자의 감정의 세기(716), 상기 제1 사용자가 무서워하는 제3 컨텐트에 대한 섬네일 이미지(717), 상기 제3 컨텐트의 제목(718), 상기 제3 컨텐트에 대한 제1 사용자의 감정의 세기(719) 등을 표시할 수 있다.

사용자는, 섬네일 이미지(711, 714), 717)나 컨텐트의 제목(712, 715, 718) 중 어느 하나를 선택함으로써, 선택된 컨텐트를 감상할 수 있다. 실시예에 따라, 섬네일 이미지(711, 714), 717)나 컨텐트의 제목(712, 715, 718) 중 어느 하나가 선택되면, 선택된 컨텐트를 이용할 수 있는 소스 디바이스에 대응하는 메뉴가 디스플레이부(151)에 출력되고, 사용자가 상기 메뉴를 통해 상기 컨텐트를 이용하고자 하는 소스 디바이스를 선택할 수도 있다.

도 15를 참조하면, 제1 사용자는, 상기 GUI(700) 내 상기 정보 영역(720)을 통해, 자신에 대한 추천 컨텐트와 관련된 정보 이외에, 가족에 대한 추천 컨텐트와 관련된 정보 또는 특정 사용자와 관련이 없는 추천 컨텐트와 관련된 정보가 상기 GUI(700)에 표시되도록 할 수 있다.

상기 정보 영역(720) 내 인디케이터(721)가 선택되면, 가족에 대한 추천 컨텐트를 선택할 수 있는 제1 메뉴(722) 및 특정 사용자와 관련이 없는 추천 컨텐트와 관련된 정보가 상기 GUI(700) 상에 출력될 수 있다. 예를 들어, 사용자는, 리모트 컨트롤러(200)의 움직임에 대응하는 포인터(P)를 이용하여 상기 정보 영역(720) 내 인디케이터(721)를 선택할 수 있다.

일례로, 사용자가 상기 제1 메뉴(722)를 선택하면, 제어부(170)는, 제1 사용자와 가족으로 등록된 다른 사용자에 대한 추천 컨텐트와 관련된 정보를 요청하는 제1 신호를 외부 서버(400)에 전송하도록 네트워크 인터페이스부(113)를 제어하고, 이에 따라, 제1 사용자와 가족으로 등록된 다른 사용자에 대한 추천 컨텐트와 관련된 정보를 포함하는 제2 신호를 외부 서버(400)로부터 수신하도록 네트워크 인터페이스부(113)를 제어할 수 있다. 그리고, 제어부(170)는, 상기 제2 신호에 포함된 제1 사용자와 가족으로 등록된 다른 사용자에 대한 추천 컨텐트와 관련된 정보를 상기 GUI(700)를 통해 출력할 수 있다.

다른 일례로, 사용자가 제2 메뉴(723)를 선택하면, 제어부(170)는, 특정 사용자와 관련이 없는 추천 컨텐트와 관련된 정보를 요청하는 제3 신호를 외부 서버(400)에 전송하도록 네트워크 인터페이스부(113)를 제어하고, 이에 따라, 특정 사용자와 관련이 없는 추천 컨텐트와 관련된 정보를 포함하는 제4 신호를 수신하도록 네트워크 인터페이스부(113)를 제어할 수 있다. 그리고, 제어부(170)는, 상기 제4 신호에 포함된 특정 사용자와 관련이 없는 추천 컨텐트와 관련된 정보를 상기 GUI(700)를 통해 출력할 수 있다.

상술한 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자의 감정 및 감정의 세기를 파악하기 위하여 개개인에 맞춤화된 표정 모델을 구축하고 이에 따라 각 사용자에게 맞춤화된 추천 컨텐트에 대한 정보를 제공할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 상술한 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 멀티미디어 디바이스
140: 디스플레이부
170: 제어부

Claims (17)

1. 사용자 별로 서로 다른 기준을 적용하여 특정 감정에 대응하는 감정 지수를 파악하기 위한 경험 데이터를 저장하는 메모리, 상기 감정 지수는 특정 감정 별로 감정의 세기를 나타냄;
   특정 컨텐트의 비디오 데이터를 디스플레이하는 디스프레이부;
   카메라; 및
   제어부;를 포함하고,
   상기 제어부는,
   상기 비디오 데이터가 디스플레이되는 동안 이미지를 획득하도록 상기 카메라를 제어하고,
   상기 이미지에 포함된 제1 사용자의 얼굴을 인식하고,
   상기 제1 사용자의 표정 및 감정을 인식하고,
   상기 메모리에 저장된 경험 데이터 중 상기 제1 사용자에 대응하는 데이터에 기초하여, 상기 인식된 감정에 감정 지수를 부여하는 멀티미디어 디바이스.
2. 제 1 항에 있어서,
   상기 경험 데이터는, 사용자 별로 특정 감정에 대응하는 임계치로서 최소값 및 최대값을 포함하는, 멀티미디어 디바이스.
3. 제 2 항에 있어서,
   상기 최소값 및 최대값은, 상기 제1 사용자의 입꼬리가 올라간 정도에 대응하는 수치 데이터, 상기 제1 사용자의 눈썹이 올라간 정도에 대응하는 수치 데이터, 상기 제1 사용자의 눈꼬리가 내려간 정도에 대응하는 수치 데이터, 상기 제1 사용자의 눈의 폭에 대응하는 수치 데이터, 상기 제1 사용자의 얼굴에서 눈꼬리와 입꼬리 사이의 간격이 차지하는 비율에 대응하는 수치 데이터, 상기 제1 사용자의 얼굴의 폭에서 미간이 차지하는 비율에 대응하는 수치 데이터, 상기 제1 사용자의 입이 벌어진 정도에 대응하는 수치 데이터 중 적어도 하나를 이용하여 산출되는, 멀티미디어 디바이스.
4. 제 3 항에 있어서,
   상기 제어부는,
   상기 인식된 제1 사용자의 감정에 대응하는 수치 데이터를 산출하고,
   상기 산출된 수치 데이터의 값이 상기 저장된 최대값을 초과하는 경우, 상기 산출된 수치 데이터의 값을 상기 최대값으로 새로이 저장하는, 멀티미디어 디바이스.
5. 제 1 항에 있어서,
   네트워크 인터페이스부;를 더 포함하고,
   상기 제어부는,
   상기 특정 컨텐트를 식별할 수 있는 제1 정보 및 상기 부여된 감정 지수에 대응하는 제2 정보를 포함하는 신호를 외부 서버로 전송하도록 상기 네트워크 인터페이스부를 제어하는, 멀티미디어 디바이스.
6. 제 5 항에 있어서,
   상기 제2 정보는, 상기 부여된 감정 지수를 정규화한 값에 대응하는, 멀티미디어 디바이스.
7. 제 5 항에 있어서,
   상기 제어부는, 상기 신호에 상기 제1 사용자를 식별할 수 있는 제3 정보를 더 포함하여 상기 외부 서버로 전송하는, 멀티미디어 디바이스.
8. 제 1 항에 있어서,
   상기 제어부는,
   상기 제1 사용자의 시선을 인식하고,
   상기 비디오 데이터가 디스플레이되는 동안 상기 제1 사용자의 시선이 상기 디스플레이부를 향하는 비율에 대응하는 시청 지수를 산출하는, 멀티미디어 디바이스.
9. 제 8 항에 있어서,
   네트워크 인터페이스부;를 더 포함하고,
   상기 제어부는,
   상기 특정 컨텐트를 식별할 수 있는 제1 정보 및 상기 산출된 시청 지수에 대응하는 제4 정보를 포함하는 신호를 외부 서버로 전송하도록 상기 네트워크 인터페이스부를 제어하는, 멀티미디어 디바이스.
10. 사용자 별로 서로 다른 기준을 적용하여 특정 감정에 대응하는 감정 지수를 파악하기 위한 경험 데이터를 메모리에 저장하는 단계, 상기 감정 지수는 특정 감정 별로 감정의 세기를 나타냄;
    특정 컨텐트의 비디오 데이터를 디스플레이부에 디스플레이하는 단계;
    상기 비디오 데이터가 디스플레이되는 동안 카메라에서 이미지를 획득하는 단계;
    상기 이미지에 포함된 제1 사용자의 얼굴을 인식하는 단계;
    상기 제1 사용자의 표정 및 감정을 인식하는 단계; 및
    상기 메모리에 저장된 경험 데이터 중 상기 제1 사용자에 대응하는 데이터에 기초하여, 상기 인식된 감정에 감정 지수를 부여하는 단계;를 포함하는 멀티미디어 디바이스의 제어 방법.
11. 제 10 항에 있어서,
    상기 경험 데이터는, 사용자 별로 특정 감정에 대응하는 임계치로서 최소값 및 최대값을 포함하는, 멀티미디어 디바이스의 제어 방법.
12. 제 11 항에 있어서,
    상기 최소값 및 최대값은, 상기 제1 사용자의 입꼬리가 올라간 정도에 대응하는 수치 데이터, 상기 제1 사용자의 눈썹이 올라간 정도에 대응하는 수치 데이터, 상기 제1 사용자의 눈꼬리가 내려간 정도에 대응하는 수치 데이터, 상기 제1 사용자의 눈의 폭에 대응하는 수치 데이터, 상기 제1 사용자의 얼굴에서 눈꼬리와 입꼬리 사이의 간격이 차지하는 비율에 대응하는 수치 데이터, 상기 제1 사용자의 얼굴의 폭에서 미간이 차지하는 비율에 대응하는 수치 데이터, 상기 제1 사용자의 입이 벌어진 정도에 대응하는 수치 데이터 중 적어도 하나를 이용하여 산출되는, 멀티미디어 디바이스의 제어 방법.
13. 제 12 항에 있어서,
    상기 인식된 제1 사용자의 감정에 대응하는 수치 데이터를 산출하는 단계; 및
    상기 산출된 수치 데이터의 값이 상기 저장된 최대값을 초과하는 경우, 상기 산출된 수치 데이터의 값을 상기 최대값으로 새로이 저장하는 단계;를 더 포함하는 멀티미디어 디바이스의 제어 방법.
14. 제 10 항에 있어서,
    상기 특정 컨텐트를 식별할 수 있는 제1 정보 및 상기 부여된 감정 지수에 대응하는 제2 정보를 포함하는 신호를 외부 서버에 전송하는 단계;를 더 포함하는 멀티미디어 디바이스의 제어 방법.
15. 제 14 항에 있어서,
    상기 제1 사용자의 시선을 인식하는 단계; 및
    상기 비디오 데이터가 디스플레이되는 동안 상기 제1 사용자의 시선이 상기 디스플레이부를 향하는 비율에 대응하는 시청 지수를 산출하는 단계;를 더 포함하고,
    상기 외부 서버에 전송되는 신호는 상기 산출된 시청 지수에 대응하는 제3 정보를 더 포함하는, 멀티미디어 디바이스의 제어 방법.
16. 컨텐트 제공자로부터 컨텐트와 관련된 제1 정보를 수신하는 수신부;
    멀티미디어 디바이스로부터, 특정 컨텐트에 대하여, 사용자 별 감정 및 상기 감정에 대응하는 감정 지수를 포함하는 제2 정보를 수신하는 통신부; 및
    제어부;를 포함하고,
    상기 제어부는,
    상기 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트를 추천 컨텐트로 선정하고,
    상기 수신된 제1 정보 중에서 상기 추천 컨텐트와 관련된 정보를 이용하여, 상기 추천 컨텐트를 동일 감정 별로 구분하여 표시한 GUI를 생성하고,
    상기 생성된 GUI를 상기 멀티미디어 디바이스에 전송하도록 상기 통신부를 제어하는, 서버.
17. 제 16 항에 있어서,
    상기 제2 정보는, 상기 특정 컨텐트에 대하여, 사용자의 실제 시청 여부를 반영하는 시청 지수를 더 포함하고,
    상기 제어부는, 상기 감정 지수가 기 설정된 레벨 이상에 해당하는 컨텐트 중에서 상기 시청 지수가 기 설정된 레벨 이상에 해당하는 컨텐트를 추천 컨텐트로 선정하는, 서버.

Images