KR101668246B1 - 영상표시장치 및 그 동작 방법. - Google Patents

Abstract

본 발명은 영상표시장치 및 그 동작 방법에 관한 것이다. 본 발명의 실시예에 따른 영상표시장치의 동작방법은, 컨텐츠를 재생하는 단계와, 사용자의 감정 정보를 획득하는 단계와, 사용자의 감정 정보에 따라, 재생되는 컨텐츠의 영상 및 음성 중 적어도 하나를 가변하는 단계를 포함한다. 이에 의해, 사용자의 감정 정보에 따라 컨텐츠를 재생할 수 있게 된다.

Description

영상표시장치 및 그 동작 방법.{Apparatus for displaying image and and method for operationg the same}

본 발명은 영상표시장치 및 그 동작 방법에 관한 것이며, 더욱 상세하게는 사용자의 감정 정보에 따라 컨텐츠를 재생하는 영상표시장치 및 그 동작 방법에 관한 것이다.

영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 또한, 영상표시장치는 방송국에서 송출되는 방송 신호 중 사용자가 선택한 방송을 디스플레이에 표시할 수 있다. 현재 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.

이러한 디지털 방송은 디지털 영상 및 음성 신호를 송출하여, 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송의 시행에 따라, 양방향 서비스가 가능해지고 있다. 이러한 디지털 방송 환경에서, 사용자의 편의를 증대하기 위한 다양한 노력이 시도되고 있다.

본 발명의 목적은, 사용자의 감정 정보에 따라 컨텐츠를 재생하는 영상 표시 장치 및 그 동작 방법을 제공함에 있다.

또한, 본 발명의 목적은, 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치 및 그 동작 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치의 동작 방법은, 컨텐츠를 재생하는 단계와, 사용자의 감정 정보를 획득하는 단계와, 사용자의 감정 정보에 따라, 재생되는 컨텐츠의 영상 및 음성 중 적어도 하나를 가변하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 영상을 표시하는 디스플레이와, 음성을 출력하는 오디오 출력부와, 사용자의 감정 정보에 따라 재생되는 컨텐츠의 영상 및 음성 중 적어도 하나를 가변하는 제어부를 포함한다.

본 발명의 실시예에 따르면, 사용자의 감정 정보에 따라 재생되는 컨텐츠의 영상 및 음성 중 적어도 하나를 가변할 수 있게 된다. 이에 따라 사용자 감정 상태에 따라 맞춤형 컨텐츠 재생 서비스를 제공할 수 있게 된다.

또한, 사용자의 감정 상태에 따라 영상 표시 장치 주변의 조명도 가변할 수 있게 된다.

또한, 사용자 친화적인 다양한 서비스를 제공할 수 있게 된다.

또한, 촬영된 영상, 녹음된 음성, 및 감지된 신체 신호 중 적어도 하나에 기초하여, 신뢰성 높은 감정 정보를 생성할 수 있게 된다. 이에 따라, 사용자 친화적인 다양한 서비스 제공이 가능하게 된다.

또한, 생성된 감정 정보를 네트워크 인터페이스부를 통해, 다른 전자기기, 또는 네트워크 상의 서버 등에 전송할 수 있어, 범용으로 이를 활용할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 재생하는 영상 표시 장치를 나타내는 블록도이다.
도 2는 도 1의 영상표시장치의 외관을 간략히 나타내는 도면이다.
도 3은 휴대 단말기의 외관을 간략히 나타내는 도면이다.
도 4는 도 1의 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이다.
도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 믈록도이다.
도 6은 내지 도 10은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 재생하는 영상 표시 장치의 설명에 참조되는 도면이다.
도 11은 본 발명의 실시예에 따른 영상표시장치의 동작 방법의 순서도이다.
도 12는 도 11의 감정 정보 획득의 일 예를 나타내는 순서도이다.
도 13 내지 도 14는 도 11의 영상표시장치의 동작 방법의의 설명에 참조되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

도 1은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 재생하는 영상 표시 장치를 나타내는 블록도이며, 도 2는 도 1의 영상표시장치의 외관을 간략히 나타내는 도면이며, 도 3은 휴대 단말기의 외관을 간략히 나타내는 도면이고, 도 4는 도 1의 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이며, 도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 믈록도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 영상표시장치(100)는, 튜너(120), 외부신호입출력부(128), 복조부(130), 영상 촬영부(140), 음성 녹음부(135), 인터페이스부(150), 제어부(160), 저장부(175), 디스플레이(180), 및 오디오 출력부(185)를 포함할 수 있다. 또한, 네트워크 인터페이스부(165)를 더 포함할 수 있다.

튜너(120)는, 안테나를 통해 수신되는 RF (Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환한다.

예를 들어, 선택된 RF 방송 신호가 디지털방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환한다. 튜너(120)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는, 바로 제어부(160)로 입력되는 것이 가능하다.

또한, 튜너(120)는, 후술하는 바와 같이, ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신하는 것도 가능하다.

영상 촬영부(125)는, 사용자의 신체의 적어도 일부를 촬영할 수 있다. 예를 들어, 사용자의 얼굴을 촬영할 수 있다. 특히, 얼굴 중에서도 특정 부위만을 측정하는 것도 가능하다. 예를 들어, 눈과 눈썹 부위를 촬영할 수 있다.

촬영된 영상은 제어부(160)로 전송된다. 영상 촬영부(125)는, 예를 들어, 카메라, 캠코더, 캠 등일 수 있다. 또한, 영상 촬영부(125)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200) 등에 부착되는 것이 가능하다. 촬영된 영상은, 정지 영상 또는 동영상일 수 있다.

음성 녹음부(135)는, 사용자의 음성을 녹음한다. 이를 위해, 음성 녹음부(135)는, 일예로, 마이크 등일 수 있다. 녹음된 음성은 제어부(160)에 전송된다. 음성 녹음부(135)는, 예를 들어, 마이크일 수 있다. 또한, 음성 녹음부(135)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 카메라, 캠코더 등에 부착되는 것이 가능하다.

신체 신호 감지부(145)는, 사용자의 신체 신호를 감지한다. 이를 위해, 신체 신호 감지부(145)는, 사용자의 신체에 부착될 수 있다. 예를 들어, 영상표시장치 등 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 손목 시계, 반지, 목걸이의 펜던트, 팔찌의 펜던트, 헤드셋, 이어폰, 각종 전자기기의 입력버튼 등에 부착되는 것이 가능하다. 즉, 사용자가 원격제어장치를 통해, 전자기기의 원격 제어를 수행하는 도중에 신체 신호를 감지할 수 있다. 또는 다른 기기가 신체에 부착되어 있는 동안에, 신체 신호를 감지할 수 있다. 감지된 신체 신호는 유선 또는 무선으로 네트워크 인터페이스부(165)를 통해 제어부(160)에 입력되게 된다. 한편, 도 4에 도시된 바와 같이, 휴대 음성 재생 장치의 헤드셋을 통해 뇌파를 측정할 수 있다.

예를 들어, 신체 신호 감지부(145)는, 전기피부반응(GSR), 피부온도(SKT), 심전도(ECG), 근전도(EMG), 뇌파, 호흡 등을 감지할 수 있다. 이를 통해, 긴장 상태, 집중도 등을 포함하는 감정 상태 정보를 감지할 수 있다.

전기피부반응(GSR)은, 자극에 대한 감정반응에 의해 일어나는 피부의 전기 전도 변화, 예를 들어 신체에 있는 땀샘의 활동을 반영하며, 피부온도(SKT)는, 체표면 온도 변화이며, 심전도(ECG)는, 심장의 극히 작은 전기적 활동을 포착하여 심전계를 통하여 증폭된 신호로써 추출되는 P, Q, R, S, T파의 패턴이며, 근전도(EMG)는, 근수축에 따른 신경근육활동을 전기신호로 나타낸 것이다. 한편, 뇌파는 α파, β파, 서파, 속파 등으로 나뉜다.

한편, 뇌파, 호흡의 빠르기 또는 깊이 등의 감지를 위해, 신체 신호 감지부(145)는, 헤드 마운트(HM) 타입일 수도 있다.

한편, 도 2 내지 도 4의 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 신체 신호는, 제어부(160)에 입력되는 것과 별개로, 네트워크 인터페이스부(165)를 통해, 외부 네트워크로 전송되는 것이 가능하다. 예를 들어, 외부 서버에 전송될 수 있다. 또한, 근방은 다른 전자 기기에 전송되는 것도 가능하다. 이 중 서버 역할을 하는 메인 전자기기에서, 이러한 신호를 처리하는 것도 가능하다.

외부신호입출력부(128)는, 외부 장치와의 신호 입력 등을 수행한다. 이를 위해 외부신호입출력부(128)는, A/V 입출력부(미도시) 등을 포함할 수 있다.

외부신호입출력부(128)는, DVD(Digital Versatile Disk) 플레이어, 블루레이(Blu ray) 플레이어, 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 연결되어 외부 입력 영상 신호, 외부 입력 음성 신호, 및 외부 입력 데이터 신호를 영상표시장치(100) 내의 제어부(160)로 전달한다. 또한, 제어부(160) 내에서 처리된 영상 신호, 음성 신호, 및 데이터 신호를 다른 외부 장치로 출력할 수 있다.

복조부(130)는, 튜너(120)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.

예를 들어, 튜너(120)에서 출력되는 디지털 IF 신호(DIF)가 ATSC 방식 또는 DVB 방식인 경우, 복조부(130)는, 8-VSB (1-Vestigal Side Band) 복조 또는 OFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(130)는, 채널 복호화를 수행할 수도 있다.

복조부(130)는, 복조 및 채널 복호화를 수행하고, 스트림 신호(TS)를 출력할 수 있다. 이때의 스트림 신호(TS)는, 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다. 또한, 본 발명의 실시예에 따라, 감정 상태 정보가 포함된 메타 데이터를 포함하는 신호일 수 있다.

예를 들어, 스트림 신호(TS)는, MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.

인터페이스부(150)는, 사용자로부터의 입력 신호를 제어부(160)로 전달하거나, 제어부(160)로부터의 신호를 사용자에게 전달한다.

특히, 원격제어장치(200) 내에 구비되는 신체 신호 감지부(145)에서 감지된 신체 신호를 제어부(160)으로 전달한다.

제어부(160)는, 입력되는 스트림을 역다중화하고 역다중화된 신호들을 신호 처리하여, 영상 및 음성 출력을 위한 신호를 생성하여 출력할 수 있다. 그 외 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다.

도면에서는 도시하지 않았지만, 제어부(160)는, 역다중화부, 영상 처리부, 음성 처리부, OSD 생성부, 감정 정보 처리부 등을 포함할 수 있다.

또한, 제어부(160)는, 본 발명의 실시예와 관련하여, 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태를 판별할 수 있다. 바람직하게는, 적어도 두개에 기초하여 감정 상태를 판별할 수 있다.

먼저, 제어부(160)는, 촬영된 영상으로부터 얼굴 정보를 추출할 수 있다. 얼굴 정보를 추출하는 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다. 얼굴 추출 알고리즘으로는 다양한 방법이 사용될 수 있으며, 본 명세서에서는 그 예를 생략한다.

한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 촬영된 영상을 기준 영상과 비교하여, 감정 상태를 판별할 수 있다. 예를 들어, 기준 영상은, 저장부(175)에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다. 또한, 기준 영상은, 저장부가 아닌, 별도의 네트워크 상의 서버에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다.

제어부(160)는, 촬영된 영상 중 얼굴 영상을 추출하고, 추출된 얼굴 영상과,기준 영상을 비교할 수 있다. 또는 추출된 얼굴 영상 내의 복수개의 포인트를 추출하고, 각 포인트 간의 상호 거리와, 기준 영상에서의 각 포인트 간의 상호 거리를 비교할 수 있다. 여기서, 복수개의 포인트는, 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부일 수 있다. 결국, 제어부(160)는, 촬영된 영상과 기준 영상을 비교하여, 가장 유사한 기준영상을 바탕으로, 다양한 감정 상태를 판별할 수 있다.

여기서, 감정 상태는, 사용자의 감정 상태는, 기쁨, 슬픔, 분노, 놀람, 공포, 혐오, 평상, 불안, 온화, 차가움, 흥분 등 으로 분류될 수 있다.

한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다.

예를 들어, 사용자의 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부가 이전 영상에 비해 그 크기, 위치, 형태, 색상, 움직임 등이 가변되는 경우, 이를 감지하고, 그에 따라 변화된 크기 정보, 위치 정보, 형태 정보, 색상 정보 등에 기초하여, 사용자의 감정 상태를 판별할 수도 있다.

한편, 제어부(160)는, 촬영된 영상이 얼굴 정면인 경우에만 유효할 수 있으므로, 복수의 영상 촬영부로부터 전송되는 영상을 촬영하거나, 녹음된 음성 또는 감지된 신호를 참조하여 감정 정보를 생성할 수 있다.

제어부(160)는, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 녹음된 음성을 기준 음성과 비교하여, 감정 상태를 판별할 수 있다. 또한, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다. 특히, 음성의 피치, 세기, 빠르기 등을 이용하여 감정 상태를 판별할 수 있다.

한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상과, 음성 녹음부(135)에서 녹음된 음성과 신체 신호 감지부(145)에서 감지된 신체 신호를 수신하여, 이를 종합적으로 고려하여 감정 상태를 판별할 수 있다.

특히, 복수 사용자인 경우, 음성 인식율이 떨어질 수 있으며, 사용자의 이동시에는 촬영된 영상 및 감지된 신체 신호의 정확성이 떨어질 수 있으므로, 제어부(160)는, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여 감정 정보를 생성할 수 있다.

예를 들어, 촬영된 영상 및 녹음된 음성을 바탕으로, 각각 감정 정보를 생성한 후, 이를 서로 비교할 수 있다. 그리고 이들의 비교에 의해, 공통의 감정 정보를 추출할 수 있다. 이렇게 함으로써, 생성되는 감정 정보의 정확성이 향상될 수 있게 된다.

그 외, 촬영된 영상 및 감지된 신호를 바탕으로 각각 감정 정보를 생성하여조합하거나, 녹음된 음성 및 감지된 신호를 각각 정보를 생성하여 조합할 수 있다.

한편, 촬영된 영상, 녹음된 음성 및 신체 신호 사이에는 각각 가중치가 할당되고, 할당된 가중치에 비례하여, 감정 정보를 생성할 수 있다.

예를 들어, 복수 사용자가 있는 경우, 녹음된 음성은 그 정확성이 떨어질 수 있으므로, 가중치를 촬영된 영상의 가중치 보다 낮게 설정할 수 있다.

그 외, 사용자가 이동 중인 경우, 녹음된 음성의 가중치가 다른 요소(영상 또는 신체 신호) 보다 가중치가 더 높을 수 있다. 이에 의해, 사용자의 상황을 고려하여, 정확한 감정 상태를 판별할 수 있게 된다.

한편, 복수의 사용자가 있는 경우, 각 사용자의 감정 상태를 생성하고, 이들의 조합에 의해, 대표 감정 상태를 산출할 수도 있다. 복수의 사용자가 있는 경우는, 주로 음성 보다는 촬영된 영상 또는 감지된 신체 신호를 통해, 각 개인의 감정 상태를 생성할 수 있다. 예를 들어, 각 개인의 감정 상태의 평균값을 대표 감정 상태로 산출할 수 있다.

또한, 소정 컨텐츠가 재생되는 상태에서, 복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것도 가능하다,

또한, 복수의 사용자가 있는 경우, 음성 정보의 가중치를 영상 정보 또는 신체 정보의 가중치보다 낮게 설정하고, 설정된 가중치 및 획득된 정보에 기초하여, 사용자의 감정 정보를 생성할 수도 있다.

또한, 시간대 별로, 동일한 사용자의 감정 상태를 파악하고, 이를 평균화하여 대표 감정 상태로 산출하는 것도 가능하다. 즉, 특정 개인의 대표 감정 곡선(ECF)을 산출할 수도 있다.

이와 같이 생성된 감정 상태 정보를 바탕으로, 제어부(160)는, 재생되는 컨텐츠의 재생 상태를 가변할 수 있다. 또한, 기 저장된 감정 상태 정보를 바탕으로, 해당 컨텐츠가 다시 재생되는 경우, 컨텐츠의 재생 상태를 가변할 수 있다.

예를 들어, 제어부(160)는, 현재 재생되고 있는 컨텐츠를 시청하고 있는 사용자의 감정 상태가 우울한 감정으로 판별되면, 재생되는 컨텐츠의 영상을 블루(blue) 톤(tone)으로 더 처리한다던지 또는 저음의 음향 효과를 강조한다던지 할 수 있다.

또한, 이전에 컨텐츠 시청시 저장되었던 감정 상태 정보가, 우울한 감정이었다면, 재생되는 컨텐츠의 영상을 블루톤으로 처리한다던지 또는 저음의 음향 효과를 강조한다던지 할 수 있다.

또한, 예를 들어, 제어부(160)는, 현재 재생되고 있는 컨텐츠를 시청하고 있는 사용자의 감정 상태 정보가 또는 이전에 시청시 저장되었던 컨텐츠 상태 정보가, 기분이 좋거나 밝은 감정인 경우, 재생되는 컨텐츠의 영상을 붉은색(red), 노란색(yellow)을 강조하거나, 출력되는 음향의 세기, 또는 주파수 성분을 증가시키도록 제어할 수 있다. 또한, 3D 효과(effect)를 더 강조할 수 있도록 제어할 수 있다. 이에 따라 사용자의 컨텐츠 시청시 몰입감이 증진되게 된다.

한편, 상술한 감정 상태 정보 이외에, 촬영된 영상, 녹음된 음성 및 감지된 신체 신호로부터 추론 가능한 집중도 정보에 따라, 상술한 바와 같이 컨텐츠 재생시의 재생 조건을 가변하는 것도 가능하다. 예를 들어, 사용자가 졸린 상태인 경우, 해당 컨텐츠의 재생시, 영상을 어둡게 한다던지, 영상의 크기를 축소한다던지, 그 외, 소리를 줄인다던지 할 수 있다(도 10 참조).

한편, 이러한 감정 상태 정보에 따른 컨텐츠 재생 여부를 사용자에게 알려주는 오브젝트는, 팝업 메뉴, 풀 다운 메뉴 등으로 표시될 수 있다(도 6 등 참조).

한편, 제어부(160)는, 컨텐츠 재생 조건을 가변한 경우에, 사용자의 감정 상태 정보를 계속 획득할 수도 있다. 그리고, 이를 계속 저장부(175) 등에 저장할 수 있다. 메타 데이터 형태로, 컨텐츠와 결합되어 저장되거나, 독립적으로 저장되는 것도 가능하다.

한편, 제어부(160)는, 튜너(120)를 제어하여, 선택되는 채널 또는 기저장된 채널에 해당하는 RF 방송 신호를 선택(tuning)하도록 제어할 수 있다.

제어부(160)는, 입력되는 스트림 신호, 예를 들어 MPEG-2 TS 를 역다중화하여, 각각 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다. 여기서, 제어부(160)에 입력되는 스트림 신호는 복조부(130) 또는 외부 신호 입력부(128)로부터의 스트림 신호일 수 있다.

한편, 제어부(160)는, 생성된 사용자의 감정 상태를 나타내는 아이콘 또는 아바타를 생성하도록 제어하고, 해당 아이콘 또는 아바타를 디스플레이(180)에 표시하도록 제어할 수 있다.

또한, 제어부(160)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 이를 위해, MPEG-2 디코더, H.264 디코더, AVS 디코더를 통해 복호화될 수 있다.

또한, 제어부(160)는, 영상 신호의 밝기(brightness), 틴트(Tint) 및 색조(Color) 조절 등을 처리할 수 있다.

제어부(160)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어 디스플레이 되게 된다. 또한, 외부 출력 장치와 연결된 외부 출력 단자로 입력되는 것도 가능하다.

또한, 제어부(160)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 예를 들어, 역다중화된 음성 신호가 부호화된 음성 신호인 경우, 이를 복호화할 수 있다. 또한, 제어부(160)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.

제어부(160)에서 처리된 음성 신호는 오디오 출력부(185), 예를 들어 스피커로 입력되어 음성 출력되게 된다.

또한, 제어부(160)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송 프로그램의 제목, 내용, 시작시간, 종료시간 등의 프로그램 정보를 포함하는 EPG(Electronic Program Guide) 정보일 수 있다. 예를 들어, EPG 정보는, ATSC방식인 경우, ATSC-PSIP(ATSC-Program and System Information Protocol) 정보일 수 있으며, DVB 방식인 경우, DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. ATSC-PSIP 정보 또는 DVB-SI 정보는, 상술한 스트림, 즉 MPEG-2 TS의 헤더(4 byte)에 포함되는 정보일 수 있다.

또한, 제어부(160)는, OSD(On Screen Display) 처리를 수행할 수 있다. 구체적으로, 제어부(160)는, 영상 처리된 영상 신호와, 데이터 처리된 데이터 신호 중 적어도 하나 및 원격제어장치(200)로부터의 사용자 입력신호에 기초하여, 디스플레이(180) 상에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 디스플레이하기 위한 신호를 생성할 수 있다. 생성된 신호는 영상 처리된 영상 신호 및 데이터 처리된 데이터 신호와 함께, 디스플레이(180)에 입력될 수 있다.

상술한, 그래픽 또는 텍스트 디스플레이를 위하여 생성된 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.

또한, 제어부(160)는, 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)를 입력받아, 신호 처리를 수행한다. 여기서, 제어부(160)에 입력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 튜너(120) 또는 외부 신호 입력부(128)로부터의 아날로그 베이스 밴드 영상/음성신호일 수 있다. 신호 처리된 영상 신호는 디스플레이(180)로 입력되어 디스플레이 되며, 신호 처리된 음성 신호는 오디오 출력부(185), 예를 들어 스피커로 입력되어 음성 출력되게 된다.

또한, 제어부(160)는, 저장부(175)에 저장된 얼굴 정보 및 음성 정보와, 추출된 얼굴 정보 및 음성 정보를 비교하여, 시청 등급을 설정할 수 있다. 한편, 제어부(160)는, 사용자의 입력에 따라 시청 등급을 설정할 수도 있다. 또한, 시청 등급을 업데이트도 할 수 있다.

네트워크 인터페이스부(165)는, 유/무선 통신을 통해 데이터를 송신/수신할 수 있다. 예를 들어, 근거리의 다른 전자기기와의 데이터를 송신 또는 수신할 수 있으며, 인터넷 접속 등을 수행할 수도 있다. 특히, 본 발명의 실시예에 관련하여, 다른 전자 기기 또는 외부 서버 등의 네트워크를 통해 감정 상태 정보 등이 송/수신될 수 있다. 이러한 송신 및 수신 등은 제어부(160)의 제어 동작에 따라 수행될 수 있다.

네트워크 인터페이스부(165)는, 외부 서버와의 접속을 위해, 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

또한, 네트워크 인터페이스부(165)는, 다른 전자기기와 근거리 무선 통신을 위해, 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance 등이 이용될 수 있다.

저장부(175)는, 제어부(160) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호를 저장할 수도 있다.

저장부(175)는 생성된 감정 상태를 저장한다. 예를 들어, 다양한 형태의 얼굴 정보, 다양한 형상의 음성 정보, 다양한 형태의 신체 감지 신호 등을 저장할 수 있다. 이러한, 기저장된 얼굴 정보, 음성 정보, 및 신체 감지 신호 정보 등은 제어부(160)에 전달되어, 사용자의 감정 상태 정보의 생성에 사용될 수 있다.

한편, 제어부(160)에서 생성된 감정 상태 정보는 저장부(175)에 저장될 수 있다. 생성된 감정 상태 정보는, 테이블화된 수치를 이용하여 저장될 수 있다.

이때, 사용자가 시청하는 컨텐츠의 제목, 종류, 시청 시간, 함께 시청한 시청자 수, 시청자의 연령대, 취향, 취미 등을 감정 상태와 함께 저장할 수 있다. 예를 들어, 컨텐츠에 메타 데이터(meta data) 형태로 함꼐 저장될 수 있다. 또는, 별도로 저장될 수도 있다.

도 5를 참조하면, 저장부(175)는, 감정 맵(emotional map)(500)을 포함할 수 있다. 감정 맵(500)은, 감정 종류 테이블(510)을 포함할 수 있다. 그 외, 사용자별 테이블(520), 장소별 테이블(530), 컨텐츠별 테이블(540), 상품별 테이블(550), 및 배우별 테이블(560) 등을 더 포함할 수 있다.

감정 종류 테이블(510)은, 사용자의 다양한 감정 상태를 데이터로 수치화한 것이다. 예를 들어, 각 수치는, 얼굴 정보, 음성 신호, 감지된 신체 신호를 종합적적으로 고려하여, 수치화된 값일 수 있다.

제어부(160)는, 기 저장된 감정 종류 테이블(510)을 호출하여, 생성된 감정 상태 정보를 수치화하고, 이를 저장부(175)에 저장되도록 할 수 있다.

한편, 저장부(175)는, 감정 종류 테이블(510)에 기초하여 생성된 감정 상태 정보와, 사용자 테이블(520)로부터의 사용자 정보, 장소별 테이블(530)로부터의 장소 정보, 컨텐츠별 테이블(540)로부터의 컨텐츠 정보, 상품별 테이블(550)로부터의 상품 정보, 배우별 테이블(560)로부터의 배우 정보 등 중 적어도 하나를 결합하여 저장할 수 있다. 또한, 컨텐츠 시청 중, 생성된 감정 상태 정보와 생성된 시간 등이 결합되어 저장될 수도 있다. 또한, 컨텐츠 별 대표 감정 정보가 저장될 수 있다. 또한, 사용자의 연령별, 성별, 지역별, 취미별 등 중 적어도 어느 하나가 결합되어 저장될 수도 있다. 또한, 복수의 사용자인 경우, 해당 연령의 평균 정보도 결합되어 저장될 수 있다. 이러한 결합 정보는, 컨텐츠 내에 포함되거나, 아니면 별도로 저장되는 것도 가능하다.

한편, 각 테이블은, 다른 전자기기와의 호환을 위해, 표준화된 테이블일 수 있다. 또한, 서로 다른 규격의 테이블일 경우, 이를 변환하는 것도 가능하다. 예를 들어, 네트워크 상으로부터 수신되는 테이블을 변환하여, 이를 저장부(175)에 저장하는 것도 가능하다.

한편, 저장부(175)는, 네트워크 인터페이스부(165)를 통해, 다른 전자기기 또는 네트워크를 통한 서버 등에, 저장된 감정 상태 정보 등을 전송하거나, 다른 전자기기 또는 서버 등으로부터 감정 상태 정보 등을 수신하여 저장할 수 있다. 예를 들어, 컨텐츠 제공자들은 해당 서버에, 컨텐츠 별로, 사용자 별로, 취향 별로, 사용자의 연령, 지역별, 성별 등으로, 해당 감정 상태 정보 등을 데이터 베이스화하여 저장할 수 있다.

이렇게 다른 전자 기기 또는 외부 서버 등에 공유함으로써, 컨텐츠 별 사용자의 감정 상태가 취합될 수 있다. 또한, 해당 컨텐츠의 대표 감정 상태가 확정될 수 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다양한 사용자의 감정 상태 업데이트를 통해, 수시로 변경될 수도 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다시 각 전자기기 별로 전송되어, 해당 컨텐츠를 시청하는 시청자에게 제공되거나, 비교 대상으로 사용될 수도 있다.

또한, 네트워크 인터페이스부(165)를 통해, 컨텐츠 제공자들은 상술한 감정 상태 정보 등을 수신할 수 있으며, 이와 같이, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태 정보를 생성하므로, 신뢰성 높은 감정 상태 정보를 생성할 수 있게 된다. 또한, 저장부(175)는, 채널 기억 기능을 통해 해당하는 방송 채널을 저장할 수 있다.

저장부(175)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

도면에서는 저장부(175)가 제어부(160)와 별도로 마련되는 것으로 도시하나, 이에 한정되지 않으며, 제어부(160) 내에 포함되어 마련되는 것도 가능하다.

한편, 영상표시장치(100)는, 저장부(175) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수도 있다.

디스플레이(180)는, 제어부(160)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부신호입출력부(128)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다. 디스플레이(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display)등 다양한 형태로 구현되는 것이 가능하다. 또한, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

오디오 출력부(185)는, 제어부(160)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 오디오 출력부(185)로는 다양한 형태의 스피커로 구현되는 것이 가능하다.

원격제어장치(200)는, 사용자 입력을 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.

또한, 원격제어장치(200)는, 상술한 바와 같이, 신체 신호 감지부(145)를 포함한다.

또한, 원격제어장치(200)는, 인터페이스부(150)로부터의 영상 신호, 음성 신호, 데이터 신호 등을 수신하여, 이를 출력할 수도 있다.

한편, 도면에서는 1개의 튜너를 도시하고 있으나, 복수개의 튜너를 사용하는 것이 가능하다.

상술한 영상표시장치(100)는, 고정형으로서 ATSC 방식(1-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송, DTMB-T 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있으며, 또한, 이동형으로서 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다. 또한, 케이블, 위성통신, IPTV 용 디지털 방송 수신기일 수도 있다.

한편, 본 명세서에서 기술되는 영상표시장치(100)는, TV 수상기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 휴대 음성 재생 장치(MP3 player) 등이 포함될 수 있다. 특히, 도 2 내지 도 4에 예시된 영상표시장치들 중 적어도 하나에는, 방송 신호 수신을 위한, 튜너, 및 복조부가 생략되는 것도 가능하다.

도 1에 도시된 영상표시장치(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

도 6은 내지 도 10은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 재생하는 영상 표시 장치의 설명에 참조되는 도면이다.

먼저, 도 6과 같이, 사용자가 원격제어장치(200)를 가지고, 원격 제어 동작을 수행하는 경우, 영상 촬영부(125), 음성 녹음부(135), 신체 신호 감지부(145)에서 각각 영상, 음성, 신체 신호를 감지하게 된다.

이에 따라 제어부(160)는 사용자의 감정 상태를 판별할 수 있게 된다.

그리고, 사용자가 컨텐츠 목록(610) 선택한 경우, 영상표시장치(100)는, 도 6(b)와 같이, 감정 데이터를 적용해 시청할 것인지 여부를 나타내는 오브젝트를 화면에 표시할 수 있다.

사용자의 감정 상태가, 즐거운 감정 모드인 경우, 도 6(c)와 같이 화면(630)이 밝은 톤으로 재생될 수 있으며, 어두운 감정 모드인 경우, 도 6(d)와 같이 화면(640)이 어두운 톤으로 재생될 수 있다. 물론, 감정 전환을 위해, 어두운 감정 모드인 경우, 도 6(c)와 같이 화면(630)이 밝은 톤으로 재생될 수도 있다.

한편, 사용자의 현재 감정 상태에 따른 것이 아닌, 이전 컨텐츠 시청시 기록되었던 감정 상태에 따라, 다시 재생되는 컨텐츠의 재생 방법을 가변하는 것도 가능하다.

즉, 이전에 "영화 2"를 시청하던 사용자의 감정 상태가 "우울" 모드였다면, 감정 데이터 적용 시청시, 도 6(d)와 같이 화면이 어두운 톤으로 재생될 수 있다.

한편, 도 6에서는 컨텐츠 목록으로, 영화, 드라마, 음악 등을 예시하나, 이외에, 텍스트 문서, 전자책 등의 컨텐츠도 이와 같이 적용될 수 있다.

다음, 도 7은 도 6과 거의 유사하나, 해당 컨텐츠가 기 저장된 컨텐츠 등이 아닌 실시간으로 수신되는 채널(DTV11-1)의 방송 신호라는 점에서 그 차이가 있다. 이에 따라, 현재 사용자의 감정 상태에 따라, 실시간으로 방송 신호 재생 시의 영상의 휘도, 색상, 콘트라스트 중 적어도 하나를 가변할 수 있다.

예를 들어, 사용자의 감정 상태가, 즐거운 감정 모드인 경우, 도 7(c)와 같이 화면(730)이 밝은 톤으로 재생될 수 있으며, 어두운 감정 모드인 경우, 도 7(d)와 같이 화면(740)이 어두운 톤으로 재생될 수 있다. 물론, 감정 전환을 위해, 어두운 감정 모드인 경우, 도 6(c)와 같이 화면이 밝은 톤으로 재생될 수도 있다. 이에 따라 사용자의 감정 상태에 적합하도록 방송 신호를 재생할 수 있게 된다.

도 8은, 도 6과 거의 유사하나, 다만 컨텐츠 재생시, 표시되는 영상의 휘도, 색상, 콘트라스트의 조정이 아닌, 사운드의 크기, 주파수 영역대 등을 가변할 수 있다. 또한, 3D 효과 등을 강조할 수도 있다.

예를 들어, 사용자의 감정 상태가, 즐거운 감정 모드인 경우, 도 8(c)와 같이 오디오 출력부(185)에서 출력되는 음향의 세기, 또는 주파수 성분이 증가될 수 있다. 또는, 3D 효과(effect)가 강조될 수 있다. 한편, 어두운 감정 모드인 경우, 도 8(d)와 같이 오디오 출력부(185)에서 출력되는 음향의 세기, 또는 주파수 성분이 감소될 수 있다. 이에 따라 사용자의 감정 상태에 적합하도록 컨텐츠 특히 음향 신호를 처리할 수 있게 된다.

다음, 도 9는, 사용자의 감정 상태에 따라, 외부 조명 장치의 휘도 등을 가변하는 것을 예시한다. 이를 위해, 영상표시장치(100)는, 네트워크 인터페이스부(165)를 통해, 외부 조명 장치와 근거리 통신을 수행할 수 있으며, 그에 따라 조명의 밝기, 색상 등을 조절할 수 있다.

예를 들어, 사용자의 감정 상태가, 즐거운 감정 모드인 경우, 도 9(c)와 같이 외부 조명 장치(930)의 밝기가 증가할 수 있으며, 어두운 감정 모드인 경우, 도 9(d)와 같이 외부 조명 장치(930)의 밝기가 감소할 수 있다. 이에 따라 사용자의 감정 상태에 적합하도록 컨텐츠 시청 환경을 조성할 수 있게 된다.

그 외, 다른 전자 기기와의 근거리 통신을 통해, 사용자의 감정 상태가 어두운 감정 모드인 경우, 해당 전자기기의 음향 등을 줄이도록 설정할 수도 있다. 또한, 해당 전자기기의 파워를 조절하여, 조용한 상태에서 동작하도록 제어할 수도 있다.

다음, 도 10은, 사용자의 감정 상태 외에, 집중도 등을 고려하여, 영상표시장치에서 재생되는 컨텐츠의 재생 조건을 가변하는 것을 예시한다. 도면과 같이, 사용자가 졸고 있는 것으로 영상표시장치(100)에서 판단하는 경우, 시청하고 있는 영상(1010)의 휘도를 낮추거나, 색상을 어두운 톤으로 변경하거나, 콘트라스트를 낮추거나 할 수 있다. 그 외에, 표시되는 영상의 크기를 줄일 수도 있으며, 아예 영상표시장치(100)의 전원을 오프시키는 것도 가능하다.

이에 따라, 사용자 친화적으로 컨텐츠를 재생할 수 있게 된다.

도 11은 본 발명의 실시예에 따른 영상표시장치의 동작 방법의 순서도이고, 도 12는 도 11의 감정 정보 획득의 일 예를 나타내는 순서도이며, 도 13 내지 도 14는 도 11의 영상표시장치의 동작 방법의의 설명에 참조되는 도면이다.

도면을 참조하여 설명하면, 먼저 컨텐츠를 재생한다(S1105). 재생되는 컨텐츠는 영화, 드라마, 스포츠, 다큐멘터리, 이미지 등의 영상 컨텐츠와, 음악 등의 다양한 음성 컨텐츠와, 문서 등의 텍스트 컨텐츠를 포함한다.

또한, 외부 장치로부터 입력되는 외부 입력 영상 또는 수신되는 방송 신호로부터의 방송 영상도 가능하다.

한편, 컨텐츠 재생시, 재생되는 컨텐츠의 제목, 종류, 재생 시간, 컨텐츠 내의 장소, 컨텐츠 내의 배우, 배우의 최근 뉴스, 컨텐츠 내의 상품 중 적어도 하나를 포함하는 컨텐츠 정보가 함께 표시될 수도 있다. 이러한 컨텐츠 정보는, 상술한 저장부 내의 감정 종류 테이블(510)을 이용하여 저장된 것으로서, 재생되는 컨텐츠가 관심 컨텐츠로 등록된 것인 경우에 표시될 수도 있다.

다음, 감정 정보 적용 모드인 지 여부를 판단한다(S1110). 감정 정보 적용 모드인 경우, 사용자의 감정 정보를 획득한다(S1115).

감정 정보 적용 모드는, 도 6b,도 7b,도 8b,도 9b에 도시된 바와 같이, 사용자의 감정 정보에 따라 컨텐츠를 재생할 지 여부를 나타내는 오브젝트가 표시된 상태에서, 사용자의 선택에 의해 진입할 수 있다.

또는, 자동으로 사용자의 감정 상태를 파악하다가, 평소와 다른 감정 상태를 보이는 경우, 컨텐츠 재생시 자동으로 감정 정보 적용 모드로 진입하는 것도 가능하다.

감정 정보 획득은, 사용자의 현재 상태를 실시간으로 직접 파악하여 획득하거나, 인접 전자 기기 또는 네트워크 상의 서버로 부터 수신하거나 또는 저장부(175)에 기 저장된 감정 정보룰 호출하는 것도 가능하다.

도 12는 사용자의 감정 정보를 생성하는 것을 예시한다. 참조하여 설명하면, 먼저, 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 하나를 획득하고(S1210), 획득된 정보에 기초하여 사용자의 감정 정보를 생성하며(S1220), 생성된 감정 정보를 저장한다(S1230).

상술한 바와 같이, 사용자의 영상 정보는 영상 촬영부(125)로부터, 음성 정보는 음성 녹음부(135)로부터, 신체 정보는 신체 신호 감지부(145)로부터 획득할 수 있다. 이러한 정보는 제어부(160)에 입력되며, 제어부(160)는 이들의 조합에 의해 사용자의 감정 정보를 생성한다.

제어부(160)는, 감정 정보 생성시, 상술한 바와 같이, 영상 정보, 음성 정보 및 신체 정보의 가중치를 달리하여 생성할 수 있으며, 복수의 사용자가 있는 경우, 각각의 감정 정보를 생성하고, 이를 참조하여 대표 감정 정보를 산출할 수도 있다.

도 13은 복수의 사용자(1320,1330)가 방송 영상(1310)을 시청하는 것을 예시한다. 이때, 도 13(b)와 같이, 사용자의 감정 정보에 따라 컨텐츠를 재생할 지 여부를 나타내는 오브젝트가 표시된 상태에서, 사용자의 선택에 의해 감정 정보 적용 모드로 진입한 경우, 복수 사용자의 대표 감정 정보를 산출할 수 있다.

한편, 복수의 사용자는, 도 13과 같이 동일한 영상표시장치로부터의 방송 영상(1310)을 시청하는 것 외에, 다른 영상표시장치를 통해 동일한 방송 영상(1310)을 시청하는 사용자도 가능하다. 이러한 사용자들은 네트워크 등을 통해, 각각의 감정 상태를 교환할 수 있으며, 이중 어느 특정 영상표시장치는 이를 취합하여, 대표 감정 상태를 생성할 수도 있다.

다음, 획득된 감정 정보에 따라, 재생되는 컨텐츠의 영상 및 음성 중 적어도 하나를 가변한다(S1120).

도 7의 (c),(d)는 사용자의 감정에 따라, 재생되는 컨텐츠 영상의 밝기, 틴트, 색조, 및 크기 중 적어도 하나를 가변하는 것을 예시하며, 도 8의 (c),(d)는 재생되는 컨텐츠의 음성의 베이스, 트레블, 음량 중 적어도 하나를 가변하는 것을 예시하며, 도 13(c)는 복수의 사용자가 있는 경우, 대표 감정 정보에 따라 영상 표시 방법이 가변된 방송 영상(1350)을 표시하는 것을 예시한다.

한편, 도 10(b)와 같이, 사용자가 졸고 있는 경우, 영상의 휘도 등을 가변하거나 아예 전원을 오프 하는 것도 가능하다.

이와 같이, 재생되는 컨텐츠의 영상 및 음성 중 적어도 일부를 가변함으로써, 사용자의 감정상태에 따라 사용자 친화적으로 컨텐츠 재생 서비스를 제공할 수 있게 된다.

한편, 재생되는 컨텐츠의 영상 또는 음성 재생 방법을 변경하는 것 외에, 재생할 컨텐츠를 변경하는 것도 가능하다. 즉, 사용자의 감정이 우울한 경우, 이를 해소하기 위해, 밝은 내용의 컨텐츠를 재생하도록 할 수 있다.

다음, 컨텐츠가 재생되는 영상표시장치 주변의 조명을 가변한다(S1125).

도 9의 (c),(d)는 사용자의 감정에 따라, 영상표시장치 주변의 조명을 가변하는 것을 예시한다. 주변의 조명 가변을 위해, 근접 통신을 수행할 수 있다. 이와 같이 주변 조명을 가변함으로써, 더욱 사용자 친화적인 서비스를 제공할 수 있게 된다.

다음, 인접 전자 기기가 소정 컨텐츠를 재생하는 지 여부를 판단하고(S1130), 해당하는 경우, 전자 기기에 사용자의 감정 정보를 전송한다(S1135).

영상표시장치(100)에서 감정 정보를 생성하거나 기 저장된 감정 정보가 있는 상태에서, 인접 전자 기기가 소정 컨텐츠를 재생하는 경우, 생성되거나 저장된 감정 정보가 인접 전자 기기에 전송되어, 소정 컨텐츠 재생시 활용되도록 하는 것도 가능하다.

도 14(a)와 같이, 방송 영상(1420)을 시청하는 사용자(1410)의 감정 정보를 영상표시장치(100)에서 생성할 수 있으며, 도 14(b)와 같이, 방송 영상(1440)의 휘도 등이 가변되어 표시될 수 있다. 그리고, 도 14(c)와 같이, 인접 전자 기기(1400)가 소정 컨텐츠를 재생하는 경우, 생성된 감정 정보가 인접 전자 기기에 전송될 수 있다.

한편, 이러한 전송은, 인접 전자기기의 컨텐츠 재생과 관계없이, 수행되는 것도 가능하다. 즉, 감정 정보 생성 후, 인접 전자기기(1400)로 자동으로 전송되는 것도 가능하다.

한편, 역으로 인접 전자기기(1400)에서 생성되거나 저장된 감정 정보가, 영상표시장치(100)로 전송되는 것도 가능하다.

이와 같이, 감정 정보의 공유로 인하여, 사용자 감정 정보 생성의 정확성이 더 향상될 수 있으며, 컨텐츠 재생시에도 영상 또는 음성을 신속히 가변할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있게 된다.

본 발명에 따른 영상표시장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 영상표시장치의 동작방법은 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한,인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한,프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (16)

1. 컨텐츠를 재생하는 단계;
   사용자의 감정 정보를 획득하는 단계; 및
   상기 사용자의 감정 정보에 따라, 상기 재생되는 컨텐츠의 영상 및 음성 중 적어도 하나를 가변하는 단계;를 포함하는 것을 특징으로 하고,
   상기 사용자의 감정 정보를 획득하는 단계는,
   상기 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 하나를 획득하는 단계 ;
   상기 사용자의 영상 정보, 음성 정보 및 신체 정보에 각각 가중치를 할당하는 단계; 및
   상기 할당된 가중치 및 상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하는 단계;를 포함하고,
   상기 사용자가 이동 중인 경우, 상기 음성 정보의 가중치를, 상기 영상 정보 또는 신체 정보의 가중치 보다 더 높게 설정하는 것을 특징으로 하는 영상표시장치의 동작 방법.
2. 제1항에 있어서,
   상기 가변 단계는,
   상기 재생되는 컨텐츠 영상의 밝기, 틴트, 색조, 및 크기, 중 적어도 하나를 가변하거나, 상기 재생되는 컨텐츠 음성의 베이스, 트레블, 음량 중 적어도 하나를 가변하는 것을 특징으로 하는 영상표시장치의 동작 방법.
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 사용자의 감정 정보에 따라, 상기 컨텐츠가 재생되는 상기 영상표시장치 주변의 조명을 가변하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
6. 제1항에 있어서,
   상기 감정 정보 획득 단계는,
   복수의 사용자가 있는 경우, 각 사용자의 감정 정보에 기초하여, 상기 재생되는 컨텐츠에 대한 대표 감정 정보를 획득하는 것을 특징으로 하는 영상표시장치의 동작 방법.
7. 제1항에 있어서,
   인접 전자 기기에서 소정 컨텐츠가 재생되는 경우, 상기 전자 기기에 상기 사용자의 감정 정보를 전송하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
8. 제1항에 있어서,
   상기 사용자의 감정 정보에 따라 상기 컨텐츠를 재생할 지 여부를 나타내는 오브젝트를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
9. 사용자의 신체의 적어도 일부를 촬영하는 영상 촬영부;
   상기 사용자의 음성을 녹음하는 음성 녹음부;
   상기 사용자의 신체 신호를 감지하는 신체 신호 감지부;
   영상을 표시하는 디스플레이;
   음성을 출력하는 오디오 출력부; 및
   사용자의 감정 정보에 따라 재생되는 컨텐츠의 영상 및 음성 중 적어도 하나를 가변하는 제어부;를 포함하며,
   상기 제어부는,
   상기 영상 촬영부로부터의 영상 정보, 상기 음성 녹음부로부터의 음성 정보, 상기 신체 신호 감지부로부터의 신체 정보 중 적어도 하나를 수신하고 , 상기 사용자의 영상 정보, 음성 정보 및 신체 정보에 각각 가중치를 할당하고,
   상기 할당된 가중치 및 상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하며,
   상기 사용자가 이동 중인 경우, 상기 음성 정보의 가중치를, 상기 영상 정보 또는 신체 정보의 가중치 보다 더 높게 설정하는 것을 특징으로 하는 영상표시장치.
10. 제9항에 있어서,
    선택된 방송 채널 또는 기저장된 방송 채널에 해당하는 방송 신호를 수신하는 튜너; 및
    외부장치로부터의 외부 신호를 수신하는 외부신호입출력부;를 더 포함하는 것을 특징으로 하는 영상표시장치.
11. 제9항에 있어서,
    상기 제어부는,
    상기 재생되는 컨텐츠 영상의 밝기, 틴트, 색조, 및 크기, 중 적어도 하나를 가변하거나, 상기 재생되는 컨텐츠 음성의 베이스, 트레블, 음량 중 적어도 하나를 가변하는 것을 특징으로 하는 영상표시장치.
12. 삭제
13. 제9항에 있어서,
    네크워크와 데이터를 송신 또는 수신하는 네트워크 인터페이스부;를 더 포함하고,
    상기 제어부는,
    상기 네트워크 인터페이스부를 통해 상기 사용자의 감정 정보를 수신하는 것을 특징으로 하는 영상표시장치.
14. 제9항에 있어서,
    상기 제어부는,
    상기 사용자의 감정 정보에 따라, 상기 컨텐츠가 재생되는 상기 영상표시장치 주변의 조명을 가변하도록 재어하는 것을 특징으로 하는 영상표시장치.
15. 제9항에 있어서,
    상기 제어부는,
    인접 전자 기기에서 소정 컨텐츠가 재생되는 경우, 상기 전자 기기에 상기 사용자의 감정 정보를 전송하도록 제어하는 것을 특징으로 하는 영상표시장치.
16. 제9항에 있어서,
    상기 제어부는,
    상기 사용자의 감정 정보에 따라 상기 컨텐츠를 재생할 지 여부를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.

Images