KR20110100059A - 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치 - Google Patents

Abstract

본 발명은 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치에 관한 것이다. 본 발명의 실시예에 따른 감정 정보 생성 방법은, 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 두 개를 획득하는 단계와, 획득된 정보에 기초하여, 사용자의 감정 정보를 생성하는 단계와, 생성된 감정 정보를 저장하는 단계를 포함한다. 이에 의해, 사용자의 감정 상태에 따라 감정 정보를 생성할 수 있게 된다.

Description

감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치{Method for generating emotion imformation, apparatus for generating motion imformation, and image display apparatus including the same}

본 발명은 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치에 관한 것이며, 더욱 상세하게는 사용자의 감정 상태에 따라 감정 정보를 생성할 수 있는 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치에 관한 것이다.

영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 또한, 영상표시장치는 방송국에서 송출되는 방송 신호 중 사용자가 선택한 방송을 디스플레이에 표시할 수 있다. 현재 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.

이러한 디지털 방송은 디지털 영상 및 음성 신호를 송출하여, 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송의 시행에 따라, 양방향 서비스가 가능해지고 있다. 이러한 디지털 방송 환경에서, 사용자의 편의를 증대하기 위한 다양한 노력이 시도되고 있다.

따라서, 본 발명의 목적은, 사용자의 감정 상태에 따라 감정 정보를 생성할 수 있는 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치를 제공함에 있다.

또한, 본 발명의 다른 목적은, 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치 및 그 동작 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 감정 정보 생성 방법은, 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 두 개를 획득하는 단계와, 획득된 정보에 기초하여, 사용자의 감정 정보를 생성하는 단계와, 생성된 감정 정보를 저장하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 감정 정보 생성 장치는, 사용자의 신체의 적어도 일부를 촬영하는 영상 촬영부와, 사용자의 음성을 녹음하는 음성 녹음부와, 사용자의 신체 신호를 감지하는 신체 신호 감지부와, 사용자의 촬영된 영상으로부터의 영상 정보, 녹음된 음성으로부터의 음성 정보, 감지된 신체 신호로부터의 신체 정보 중 적어도 두 개에 기초하여, 사용자의 감정 정보를 생성하는 제어부와, 생성된 감정 정보를 저장하는 저장부를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 영상을 표시하는 디스플레이와, 사용자의 신체의 적어도 일부를 촬영하는 영상 촬영부와, 사용자의 음성을 녹음하는 음성 녹음부와, 사용자의 신체 신호를 감지하는 신체 신호 감지부와, 사용자의 촬영된 영상으로부터의 영상 정보, 녹음된 음성으로부터의 음성 정보, 감지된 신체 신호로부터의 신체 정보 중 적어도 두 개에 기초하여, 사용자의 감정 정보를 생성하는 제어부와, 생성된 감정 정보를 저장하는 저장부를 포함한다.

본 발명의 실시예에 따르면, 사용자로부터의 촬영된 영상, 녹음된 음성, 및 감지된 신체 신호 중 적어도 두 개에 기초하여, 신뢰성 높은 감정 정보를 생성할 수 있게 된다. 이에 따라, 사용자 친화적인 다양한 서비스 제공이 가능하게 된다.

또한, 생성된 감정 정보를 네트워크 인터페이스부를 통해, 다른 전자기기, 또는 네트워크 상의 서버 등에 전송할 수 있어, 범용으로 이를 활용할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 감정 정보 생성 장치의 내부 블록도이다.
도 2는 도 1의 감정 정보 생성 장치가 구비되는 영상표시장치의 외관을 간략히 나타내는 도면이다.
도 3은 도 1의 감정 정보 생성 장치가 구비되는 휴대 단말기의 외관을 간략히 나타내는 도면이다.
도 4는 도 1의 감정 정보 생성 장치가 구비되는 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이다.
도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 믈록도이다.
도 6은 감정 곡선을 예시한다.
도 7은 감정 정보 생성 장치가 네트워크 상에 접속되는 것을 보여주는 도면이다.
도 8은 본 발명의 실시예에 따른 감정 정보 생성 장치를 구비하는 영상표시장치의 내부 블록도이다.
도 9는 본 발명의 실시예에 따른 감정 정보 생성 방법의 순서도이다.
도 10 내지 도 13은 도 9의 감정 정보 생성 방법의 설명에 참조되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

도 1은 본 발명의 실시예에 따른 감정 정보 생성 장치를 나타내는 블록도이며, 도 2는 도 1의 감정 정보 생성 장치가 구비되는 영상표시장치의 외관을 간략히 나타내는 도면이며, 도 3은 도 1의 감정 정보 생성 장치가 구비되는 휴대 단말기의 외관을 간략히 나타내는 도면이고, 도 4는 도 1의 감정 정보 생성 장치가 구비되는 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이며, 도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 블록도이고, 도 6은 감정 곡선을 예시한다며, 도 7은 감정 정보 생성 장치가 네트워크 상에 접속되는 것을 보여주는 도면이다.

먼저, 도 1을 참조하면, 감정 정보 생성 장치(100)는, 영상 촬영부(125), 음성 녹음부(135), 신체 신호 감지부(145), 제어부(160), 및 저장부(175)를 포함한다. 또한, 네트워크 인터페이스부(165)를 더 포함할 수 있다.

영상 촬영부(125)는, 사용자의 신체의 적어도 일부를 촬영할 수 있다. 예를 들어, 사용자의 얼굴을 촬영할 수 있다. 특히, 얼굴 중에서도 특정 부위만을 측정하는 것도 가능하다. 예를 들어, 눈과 눈썹 부위를 촬영할 수 있다.

촬영된 영상은 제어부(160)로 전송된다. 영상 촬영부(125)는, 예를 들어, 카메라, 캠코더, 캠 등일 수 있다. 또한, 영상 촬영부(125)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200) 등에 부착되는 것이 가능하다. 촬영된 영상은, 정지 영상 또는 동영상일 수 있다.

음성 녹음부(135)는, 사용자의 음성을 녹음한다. 이를 위해, 음성 녹음부(135)는, 일예로, 마이크 등일 수 있다. 녹음된 음성은 제어부(160)에 전송된다. 음성 녹음부(135)는, 예를 들어, 마이크일 수 있다. 또한, 음성 녹음부(135)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 카메라, 캠코더 등에 부착되는 것이 가능하다.

신체 신호 감지부(145)는, 사용자의 신체 신호를 감지한다. 이를 위해, 신체 신호 감지부(145)는, 사용자의 신체에 부착될 수 있다. 예를 들어, 영상표시장치 등 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 손목 시계, 반지, 목걸이의 펜던트, 팔찌의 펜던트, 헤드셋, 이어폰, 각종 전자기기의 입력버튼 등에 부착되는 것이 가능하다. 즉, 사용자가 원격제어장치를 통해, 전자기기의 원격 제어를 수행하는 도중에 신체 신호를 감지할 수 있다. 또는 다른 기기가 신체에 부착되어 있는 동안에, 신체 신호를 감지할 수 있다. 감지된 신체 신호는 유선 또는 무선으로 네트워크 인터페이스부(165)를 통해 제어부(160)에 입력되게 된다. 한편, 도 4에 도시된 바와 같이, 휴대 음성 재생 장치의 헤드셋을 통해 뇌파를 측정할 수 있다.

예를 들어, 신체 신호 감지부(145)는, 전기피부반응(GSR), 피부온도(SKT), 심전도(ECG), 근전도(EMG), 뇌파, 호흡 등을 감지할 수 있다. 이를 통해, 긴장 상태, 집중도 등을 포함하는 감정 상태 정보를 감지할 수 있다.

전기피부반응(GSR)은, 자극에 대한 감정반응에 의해 일어나는 피부의 전기 전도 변화, 예를 들어 신체에 있는 땀샘의 활동을 반영하며, 피부온도(SKT)는, 체표면 온도 변화이며, 심전도(ECG)는, 심장의 극히 작은 전기적 활동을 포착하여 심전계를 통하여 증폭된 신호로써 추출되는 P, Q, R, S, T파의 패턴이며, 근전도(EMG)는, 근수축에 따른 신경근육활동을 전기신호로 나타낸 것이다. 한편, 뇌파는 α파, β파, 서파, 속파 등으로 나뉜다.

한편, 뇌파, 호흡의 빠르기 또는 깊이 등의 감지를 위해, 신체 신호 감지부(145)는, 헤드 마운트(HM) 타입일 수도 있다.

한편, 도 2 내지 도 4의 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 신체 신호는, 제어부(160)에 입력되는 것과 별개로, 네트워크 인터페이스부(165)를 통해, 외부 네트워크로 전송되는 것이 가능하다. 예를 들어, 외부 서버에 전송될 수 있다. 또한, 근방은 다른 전자 기기에 전송되는 것도 가능하다. 이 중 서버 역할을 하는 메인 전자 기기에서, 이러한 신호를 처리하는 것도 가능하다.

한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태를 판별할 수 있다. 바람직하게는, 적어도 두 개에 기초하여 감정 상태를 판별할 수 있다. 적어도 두 개의 다른 정보에 기초함으로써 정확한 판별이 가능할 수 있게 된다.

먼저, 제어부(160)는, 촬영된 영상으로부터 얼굴 정보를 추출할 수 있다.

얼굴 정보를 추출하는 알고리즘으로는, 다양한 방향성과 주파수를 갖는 가버 필터들의 집합을 적용시키고 그 반응값에 따라 얼굴영역을 검출하는 가버 필터를 이용한 알고리즘, 사각 특징점(rectangle features)을 이용한 AdaBoost 알고리즘, 영상 데이터의 분산 행렬로부터 고유치와 고유 벡터를 구해 이를 활용하는 아이겐훼이스(Eigenface) 알고리즘, PCA(pricipal component analysis), 템블리트 매칭 방법 등이 사용될 수 있다.

한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 촬영된 영상을 기준 영상과 비교하여, 감정 상태를 판별할 수 있다.

예를 들어, 기준 영상은, 저장부(175)에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다. 또한, 기준 영상은, 저장부가 아닌, 별도의 네트워크 상의 서버에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다.

제어부(160)는, 촬영된 영상 중 얼굴 영상을 추출하고, 추출된 얼굴 영상과, 기준 영상을 비교할 수 있다. 또는 추출된 얼굴 영상 내의 복수개의 포인트를 추출하고, 각 포인트 간의 상호 거리와, 기준 영상에서의 각 포인트 간의 상호 거리를 비교할 수 있다.

여기서, 복수개의 포인트는, 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부일 수 있다.

예를 들어, 사용자의 감정 상태를 판별기 위해, 얼굴 움직임을 44개의 AU(Action Unit)으로 구분하고 이들의 조합에 의해 감정 상태를 판별하는 FACS (Facial Action Coding System) 알고리즘, 얼굴의 특징점과 파라미터를 퍼지 추론을 통해 감정 상태를 판별하는 퍼지 규칙 이용 알고리즘 등이 사용될 수 있다.

결국, 제어부(160)는, 촬영된 영상과 기준 영상을 비교하여, 가장 유사한 기준영상을 바탕으로, 다양한 감정 상태를 판별할 수 있다.

여기서, 감정 상태는, 사용자의 감정 상태는, 기쁨, 슬픔, 분노, 놀람, 공포, 혐오, 평상, 불안, 온화, 차가움, 흥분 등 으로 분류될 수 있다.

한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다. 예를 들어, 사용자의 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부가 이전 영상에 비해 그 크기, 위치, 형태, 색상, 움직임 등이 가변되는 경우, 이를 감지하고, 그에 따라 변화된 크기 정보, 위치 정보, 형태 정보, 색상 정보 등에 기초하여, 사용자의 감정 상태를 판별할 수도 있다.

한편, 제어부(160)는, 촬영된 영상이 얼굴 정면인 경우에만 유효할 수 있으므로, 복수의 영상 촬영부로부터 전송되는 영상을 촬영하거나, 녹음된 음성 또는 감지된 신호를 참조하여 감정 정보를 생성할 수 있다.

제어부(160)는, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 녹음된 음성을 기준 음성과 비교하여, 감정 상태를 판별할 수 있다. 또한, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다.

특히, 음성의 피치, 세기, 빠르기 등을 이용하여 감정 상태를 판별할 수 있다. 예를 들어, 필터뱅크를 이용하여 각 필터를 통과하는 음성의 세기를 측정한 정보를 특징 벡터로 하는 LFPC(Log Frequency Power Coefficient)를 기반으로 감정 상태를 판별할 수 있다.

한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상과, 음성 녹음부(135)에서 녹음된 음성과 신체 신호 감지부(145)에서 감지된 신체 신호를 수신하여, 이를 종합적으로 고려하여 감정 상태를 판별할 수 있다.

특히, 복수 사용자인 경우, 음성 인식율이 떨어질 수 있으며, 사용자의 이동시에는 촬영된 영상 및 감지된 신체 신호의 정확성이 떨어질 수 있으므로, 제어부(160)는, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여 감정 정보를 생성할 수 있다.

예를 들어, 촬영된 영상 및 녹음된 음성을 바탕으로, 각각 감정 정보를 생성한 후, 이를 서로 비교할 수 있다. 그리고 이들의 비교에 의해, 공통의 감정 정보를 추출할 수 있다. 이렇게 함으로써, 생성되는 감정 정보의 정확성이 향상될 수 있게 된다.

그 외, 촬영된 영상 및 감지된 신호를 바탕으로 각각 감정 정보를 생성하여조합하거나, 녹음된 음성 및 감지된 신호를 각각 정보를 생성하여 조합할 수 있다.

한편, 촬영된 영상, 녹음된 음성 및 신체 신호 사이에는 각각 가중치가 할당되고, 할당된 가중치에 비례하여, 감정 정보를 생성할 수 있다.

예를 들어, 복수 사용자가 있는 경우, 녹음된 음성은 그 정확성이 떨어질 수 있으므로, 가중치를 촬영된 영상의 가중치 보다 낮게 설정할 수 있다.

그 외, 사용자가 이동 중인 경우, 녹음된 음성의 가중치가 다른 요소(영상 또는 신체 신호) 보다 가중치가 더 높을 수 있다. 이에 의해, 사용자의 상황을 고려하여, 정확한 감정 상태를 판별할 수 있게 된다.

한편, 복수의 사용자가 있는 경우, 각 사용자의 감정 상태를 생성하고, 이들의 조합에 의해, 대표 감정 상태를 산출할 수도 있다. 복수의 사용자가 있는 경우는, 주로 음성 보다는 촬영된 영상 또는 감지된 신체 신호를 통해, 각 개인의 감정 상태를 생성할 수 있다. 예를 들어, 각 개인의 감정 상태의 평균값을 대표 감정 상태로 산출할 수 있다.

또한, 소정 컨텐츠가 재생되는 상태에서, 복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것도 가능하다,

또한, 복수의 사용자가 있는 경우, 음성 정보의 가중치를 영상 정보 또는 신체 정보의 가중치보다 낮게 설정하고, 설정된 가중치 및 획득된 정보에 기초하여, 사용자의 감정 정보를 생성할 수도 있다.

도 6은, 복수의 사용자가 있는 경우, 각각의 감정 곡선(EC1,EC2,EC3,EC4)을 조함하여, 대표 감정 곡선(ECF)을 산출하는 것을 예시한다. 가로축은 시간 축이며, 세로 축은 감정을 수치화한 레벨을 나타낸다.

한편, 복수의 사용자 외에, 시간대 별로, 감정 상태를 파악하고, 이를 평균화하여 대표 감정 상태로 산출하는 것도 가능하다. 즉, 도 6의 각 감정 곡선(EC1,EC2,EC3,EC4)은 서로 다른 시간대의 감정 곡선을 나타내는 것일 수도 있다. 이를 조합하여, 특정 개인의 대표 감정 곡선(ECF)을 산출할 수도 있다.

네트워크 인터페이스부(165)는, 인접 전자 기기 또는 네트워크 상의 서버와 생성된 감정 정보를 교환한다. 즉, 다른 전자기기 또는 네트워크 상의 서버와 데이터를 송신 또는 수신한다. 유선 또는 무선에 의한 데이터 송/수신이 가능하며, 다양한 데이터 중 본 발명의 실시예와 관련하여, 감정 상태 정보 등이 송/수신될 수 있다. 이러한 송신 및 수신 등은 제어부(160)의 제어 동작에 따라 수행될 수 있다.

도 7은 도 1의 감정 정보 생성 장치(100)가 네트워크 상에 접속되는 것을 보여준다. 즉, 도 1의 감정 정보 생성 장치(100)는, 근거리 통신, 또는 네트워크 상의 접속을 통해, 외부의 서버(710, 720) 등과 생성된 감정 상태 정보의 교환이 가능하게 된다.

저장부(175)는 생성된 감정 상태를 저장한다. 예를 들어, 다양한 형태의 얼굴 정보, 다양한 형상의 음성 정보, 다양한 형태의 신체 감지 신호 등을 저장할 수 있다. 이러한, 기저장된 얼굴 정보, 음성 정보, 및 신체 감지 신호 정보 등은 제어부(160)에 전달되어, 사용자의 감정 상태 정보의 생성에 사용될 수 있다.

한편, 제어부(160)에서 생성된 감정 상태 정보는 저장부(175)에 저장될 수 있다. 생성된 감정 상태 정보는, 테이블화된 수치를 이용하여 저장될 수 있다.

이때, 사용자가 시청하는 컨텐츠의 제목, 종류, 시청 시간, 함께 시청한 시청자 수, 시청자의 연령대, 취향, 취미 등을 감정 상태와 함께 저장할 수 있다. 또한, 컨텐츠를 시청한 시간 별로, 즉 히스토리 별로 저장할 수도 있다. 한편, 컨텐츠에 메타 데이터(meta data) 형태로 함께 저장될 수 있다. 또는, 별도로 저장될 수도 있다.

도 5를 참조하면, 저장부(175)는, 감정 맵(emotional map)(500)을 포함할 수 있다. 감정 맵(500)은, 감정 종류 테이블(510)을 포함할 수 있다. 그 외, 사용자별 테이블(520), 장소별 테이블(530), 컨텐츠별 테이블(540), 상품별 테이블(550), 및 배우별 테이블(560) 등을 더 포함할 수 있다.

감정 종류 테이블(510)은, 사용자의 다양한 감정 상태를 데이터로 수치화한 것이다. 예를 들어, 각 수치는, 얼굴 정보, 음성 신호, 감지된 신체 신호를 종합적으로 고려하여, 수치화된 값일 수 있다.

제어부(160)는, 기 저장된 감정 종류 테이블(510)을 호출하여, 생성된 감정 상태 정보를 수치화하고, 이를 저장부(175)에 저장되도록 할 수 있다.

한편, 저장부(175)는, 감정 종류 테이블(510)에 기초하여 생성된 감정 상태 정보와, 사용자 테이블(520)로부터의 사용자 정보, 장소별 테이블(530)로부터의 장소 정보, 컨텐츠별 테이블(540)로부터의 컨텐츠 정보, 상품별 테이블(550)로부터의 상품 정보, 배우별 테이블(560)로부터의 배우 정보 등 중 적어도 하나를 결합하여 저장할 수 있다. 또한, 컨텐츠 시청 중, 생성된 감정 상태 정보와 생성된 시간 등이 결합되어 저장될 수도 있다. 또한, 컨텐츠 별 대표 감정 정보가 저장될 수 있다. 또한, 사용자의 연령별, 성별, 지역별, 취미별 등 중 적어도 어느 하나가 결합되어 저장될 수도 있다. 또한, 복수의 사용자인 경우, 해당 연령의 평균 정보도 결합되어 저장될 수 있다. 이러한 결합 정보는, 컨텐츠 내에 포함되거나, 아니면 별도로 저장되는 것도 가능하다.

한편, 각 테이블은, 다른 전자기기와의 호환을 위해, 표준화된 테이블일 수 있다. 또한, 서로 다른 규격의 테이블일 경우, 이를 변환하는 것도 가능하다. 예를 들어, 네트워크 상으로부터 수신되는 테이블을 변환하여, 이를 저장부(175)에 저장하는 것도 가능하다.

한편, 저장부(175)는, 네트워크 인터페이스부(165)를 통해, 다른 전자기기 또는 네트워크를 통한 서버 등에, 저장된 감정 상태 정보 등을 전송하거나, 다른 전자기기 또는 서버 등으로부터 감정 상태 정보 등을 수신하여 저장할 수 있다. 예를 들어, 컨텐츠 제공자들은 해당 서버에, 컨텐츠 별로, 사용자 별로, 취향 별로, 사용자의 연령, 지역별, 성별 등으로, 해당 감정 상태 정보 등을 데이터 베이스화하여 저장할 수 있다.

이렇게 다른 전자 기기 똔는 외부 서버 등에 공유함으로써, 컨텐츠 별 사용자의 감정 상태가 취합될 수 있다. 또한, 해당 컨텐츠의 대표 감정 상태가 확정될 수 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다양한 사용자의 감정 상태 업데이트를 통해, 수시로 변경될 수도 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다시 각 전자기기 별로 전송되어, 해당 컨텐츠를 시청하는 시청자에게 제공되거나, 비교 대상으로 사용될 수도 있다.

또한, 네트워크 인터페이스부(165)를 통해, 컨텐츠 제공자들은 상술한 감정 상태 정보 등을 수신할 수 있으며,

이와 같이, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태 정보를 생성하므로, 신뢰성 높은 감정 상태 정보를 생성할 수 있게 된다.

한편, 도 1의 감정 정보 생성 장치(100)는, 다양한 장치에 부가될 수 있다. 상술한 바와 같이, TV 수상기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등에 부가될 수 있다.

이하에서는, 감정 정보 생성 장치(100)가 부착될 수 있는 다양한 장치 중 영상표시장치에 부착되는 것을 예시한다.

도 8은 본 발명의 실시예에 따른 감정 정보 생성 장치를 구비하는 영상표시장치의 내부 블록도이다.

도 8을 참조하면, 본 발명의 실시예에 따른 영상표시장치(800)는, 튜너(820), 외부신호입출력부(828), 복조부(830), 영상 촬영부(840), 음성 녹음부(835), 인터페이스부(850), 제어부(860), 저장부(875), 디스플레이(880), 및 오디오 출력부(885)를 포함할 수 있다. 또한, 네트워크 인터페이스부(865)를 더 포함할 수 있다.

튜너(820)는, 안테나를 통해 수신되는 RF (Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환한다.

예를 들어, 선택된 RF 방송 신호가 디지털방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환한다. 튜너(820)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는, 바로 제어부(860)로 입력되는 것이 가능하다.

또한, 튜너(820)는, 후술하는 바와 같이, ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신하는 것도 가능하다.

외부신호입출력부(828)는, 외부 장치와의 신호 입력 등을 수행한다. 이를 위해 외부신호입출력부(828)는, A/V 입출력부(미도시) 등을 포함할 수 있다.

외부신호입출력부(828)는, DVD(Digital Versatile Disk) 플레이어, 블루레이(Blu ray) 플레이어, 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 연결되어 외부 입력 영상 신호, 외부 입력 음성 신호, 및 외부 입력 데이터 신호를 영상표시장치(800) 내의 제어부(860)로 전달한다. 또한, 제어부(860) 내에서 처리된 영상 신호, 음성 신호, 및 데이터 신호를 다른 외부 장치로 출력할 수 있다.

복조부(830)는, 튜너(820)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.

예를 들어, 튜너(820)에서 출력되는 디지털 IF 신호(DIF)가 ATSC 방식 또는 DVB 방식인 경우, 복조부(830)는, 8-VSB (8-Vestigal Side Band) 복조 또는 OFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(830)는, 채널 복호화를 수행할 수도 있다.

복조부(830)는, 복조 및 채널 복호화를 수행하고, 스트림 신호(TS)를 출력할 수 있다. 이때의 스트림 신호(TS)는, 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다. 또한, 본 발명의 실시예에 따라, 감정 상태 정보가 포함된 메타 데이터를 포함하는 신호일 수 있다.

예를 들어, 스트림 신호(TS)는, MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.

영상 촬영부(840)는, 사용자의 신체의 적어도 일부를 촬영한다. 이를 위해, 영상 촬영부(840)는, 디스플레이(880)의 상단에 위치할 수 있다. 영상 촬영부(840)는, 일예로, 카메라, 캠코더, 캠 등일 수 있다. 촬영된 영상은 제어부(860)에 입력되어, 감정 상태 정보의 생성에 사용될 수 있다.

음성 녹음부(835), 사용자의 음성을 녹음한다. 이를 위해, 음성 녹음부(835)는, 디스플레이(880)의 하단에 위치할 수 있다. 음성 녹음부(835)는, 일예로, 마이크 등일 수 있다. 녹음된 음성은 제어부(860)에 입력되어 감정 상태 정보의 생성에 사용될 수 있다.

신체 신호 감지부(845)는, 사용자의 신체 신호를 감지한다. 이를 위해, 신체 신호 감지부(845)는, 도면에 도시된 바와 같이, 원격제어장치(900) 내에 부착될 수 있다. 즉, 사용자가 원격제어장치(900)를 통해, 전자기기의 원격 제어를 수행하는 도중에 신체 신호를 감지할 수 있다. 한편, 영상표시장치(800)의 헤드셋(미도시)을 통해 뇌파를 측정할 수도 있다. 예를 들어, 신체 신호 감지부(845)는, 전기피부반응(GSR), 피부온도(SKT), 심전도(ECG), 근전도(EMG), 뇌파, 호흡 등을 감지할 수 있다. 이를 통해, 긴장 상태, 집중도 등을 포함하는 감정 상태 정보를 감지할 수 있다.

인터페이스부(850)는, 사용자로부터의 입력 신호를 제어부(860)로 전달하거나, 제어부(860)로부터의 신호를 사용자에게 전달한다.

특히, 원격제어장치(900) 내에 구비되는 신체 신호 감지부(845)에서 감지된 신체 신호를 제어부(860)로 전달한다.

제어부(860)는, 입력되는 스트림을 역다중화하고 역다중화된 신호들을 신호 처리하여, 영상 및 음성 출력을 위한 신호를 생성하여 출력할 수 있다. 그 외 영상표시장치(800) 내의 전반적인 동작을 제어할 수 있다.

도면에서는 도시하지 않았지만, 제어부(860)는, 역다중화부, 영상 처리부, 음성 처리부, OSD 생성부, 감정 정보 처리부 등을 포함할 수 있다.

또한, 제어부(860)는, 본 발명의 실시예와 관련하여, 영상 촬영부(825)에서 촬영된 영상, 음성 녹음부(835)에서 녹음된 음성, 및 신체 신호 감지부(845)에서 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태를 판별할 수 있다. 바람직하게는, 적어도 두 개에 기초하여 감정 상태를 판별할 수 있다. 적어도 두 개의 다른 정보에 기초함으로써 정확한 판별이 가능할 수 있게 된다.

먼저, 제어부(860)는, 촬영된 영상으로부터 얼굴 정보를 추출할 수 있다. 얼굴 정보를 추출하는 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다. 얼굴 추출 알고리즘으로는 다양한 방법이 사용될 수 있으며, 본 명세서에서는 그 예를 생략한다.

한편, 제어부(860)는, 영상 촬영부(825)에서 촬영된 영상을 수신하면서, 촬영된 영상을 기준 영상과 비교하여, 감정 상태를 판별할 수 있다. 예를 들어, 기준 영상은, 저장부(875)에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다. 또한, 기준 영상은, 저장부가 아닌, 별도의 네트워크 상의 서버에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다.

제어부(860)는, 촬영된 영상 중 얼굴 영상을 추출하고, 추출된 얼굴 영상과,기준 영상을 비교할 수 있다. 또는 추출된 얼굴 영상 내의 복수개의 포인트를 추출하고, 각 포인트 간의 상호 거리와, 기준 영상에서의 각 포인트 간의 상호 거리를 비교할 수 있다. 여기서, 복수개의 포인트는, 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부일 수 있다. 결국, 제어부(860)는, 촬영된 영상과 기준 영상을 비교하여, 가장 유사한 기준영상을 바탕으로, 다양한 감정 상태를 판별할 수 있다.

여기서, 감정 상태는, 사용자의 감정 상태는, 기쁨, 슬픔, 분노, 놀람, 공포, 혐오, 평상, 불안, 온화, 차가움, 흥분 등으로 분류될 수 있다.

한편, 제어부(860)는, 영상 촬영부(825)에서 촬영된 영상을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다.

예를 들어, 사용자의 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부가 이전 영상에 비해 그 크기, 위치, 형태, 색상, 움직임 등이 가변되는 경우, 이를 감지하고, 그에 따라 변화된 크기 정보, 위치 정보, 형태 정보, 색상 정보 등에 기초하여, 사용자의 감정 상태를 판별할 수도 있다.

한편, 제어부(860)는, 촬영된 영상이 얼굴 정면인 경우에만 유효할 수 있으므로, 복수의 영상 촬영부로부터 전송되는 영상을 촬영하거나, 녹음된 음성 또는 감지된 신호를 참조하여 감정 정보를 생성할 수 있다.

제어부(860)는, 음성 녹음부(835)에서 녹음된 음성을 수신하면서, 녹음된 음성을 기준 음성과 비교하여, 감정 상태를 판별할 수 있다. 또한, 음성 녹음부(835)에서 녹음된 음성을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다. 특히, 음성의 피치, 세기, 빠르기 등을 이용하여 감정 상태를 판별할 수 있다.

한편, 제어부(860)는, 영상 촬영부(825)에서 촬영된 영상과, 음성 녹음부(835)에서 녹음된 음성과 신체 신호 감지부(845)에서 감지된 신체 신호를 수신하여, 이를 종합적으로 고려하여 감정 상태를 판별할 수 있다.

특히, 복수 사용자인 경우, 음성 인식율이 떨어질 수 있으며, 사용자의 이동시에는 촬영된 영상 및 감지된 신체 신호의 정확성이 떨어질 수 있으므로, 제어부(860)는, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여 감정 정보를 생성할 수 있다.

예를 들어, 촬영된 영상 및 녹음된 음성을 바탕으로, 각각 감정 정보를 생성한 후, 이를 서로 비교할 수 있다. 그리고 이들의 비교에 의해, 공통의 감정 정보를 추출할 수 있다. 이렇게 함으로써, 생성되는 감정 정보의 정확성이 향상될 수 있게 된다.

그 외, 촬영된 영상 및 감지된 신호를 바탕으로 각각 감정 정보를 생성하여조합하거나, 녹음된 음성 및 감지된 신호를 각각 정보를 생성하여 조합할 수 있다.

한편, 촬영된 영상, 녹음된 음성 및 신체 신호 사이에는 각각 가중치가 할당되고, 할당된 가중치에 비례하여, 감정 정보를 생성할 수 있다.

예를 들어, 복수 사용자가 있는 경우, 녹음된 음성은 그 정확성이 떨어질 수 있으므로, 가중치를 촬영된 영상의 가중치 보다 낮게 설정할 수 있다.

그 외, 사용자가 이동 중인 경우, 녹음된 음성의 가중치가 다른 요소(영상 또는 신체 신호) 보다 가중치가 더 높을 수 있다. 이에 의해, 사용자의 상황을 고려하여, 정확한 감정 상태를 판별할 수 있게 된다.

한편, 복수의 사용자가 있는 경우, 각 사용자의 감정 상태를 생성하고, 이들의 조합에 의해, 대표 감정 상태를 산출할 수도 있다. 복수의 사용자가 있는 경우는, 주로 음성 보다는 촬영된 영상 또는 감지된 신체 신호를 통해, 각 개인의 감정 상태를 생성할 수 있다. 예를 들어, 각 개인의 감정 상태의 평균값을 대표 감정 상태로 산출할 수 있다.

또한, 소정 컨텐츠가 재생되는 상태에서, 복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것도 가능하다,

또한, 복수의 사용자가 있는 경우, 음성 정보의 가중치를 영상 정보 또는 신체 정보의 가중치보다 낮게 설정하고, 설정된 가중치 및 획득된 정보에 기초하여, 사용자의 감정 정보를 생성할 수도 있다.

또한, 시간대 별로, 동일한 사용자의 감정 상태를 파악하고, 이를 평균화하여 대표 감정 상태로 산출하는 것도 가능하다. 즉, 특정 개인의 대표 감정 곡선(ECF)을 산출할 수도 있다.

한편, 제어부(860)는, 생성된 사용자의 감정 상태를 나타내는 아이콘 또는 아바타를 생성하도록 제어하고, 해당 아이콘 또는 아바타를 디스플레이(880)에 표시하도록 제어할 수 있다.

한편, 제어부(860)는, 튜너(820)를 제어하여, 선택되는 채널 또는 기저장된 채널에 해당하는 RF 방송 신호를 선택(tuning)하도록 제어할 수 있다.

제어부(860)는, 입력되는 스트림 신호, 예를 들어 MPEG-2 TS를 역다중화하여, 각각 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다. 여기서, 제어부(860)에 입력되는 스트림 신호는 복조부(830) 또는 외부 신호 입력부(828)로부터의 스트림 신호일 수 있다.

또한, 제어부(860)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 이를 위해, MPEG-2 디코더, H.264 디코더, AVS 디코더를 통해 복호화될 수 있다.

또한, 제어부(860)는, 영상 신호의 밝기(brightness), 틴트(Tint) 및 색조(Color) 조절 등을 처리할 수 있다.

제어부(860)에서 영상 처리된 영상 신호는 디스플레이(880)로 입력되어 디스플레이 되게 된다. 또한, 외부 출력 장치와 연결된 외부 출력 단자로 입력되는 것도 가능하다.

또한, 제어부(860)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 예를 들어, 역다중화된 음성 신호가 부호화된 음성 신호인 경우, 이를 복호화할 수 있다. 또한, 제어부(860)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.

제어부(860)에서 처리된 음성 신호는 오디오 출력부(885), 예를 들어 스피커로 입력되어 음성 출력되게 된다.

또한, 제어부(860)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송 프로그램의 제목, 내용, 시작시간, 종료시간 등의 프로그램 정보를 포함하는 EPG(Electronic Program Guide) 정보일 수 있다. 예를 들어, EPG 정보는, ATSC방식인 경우, ATSC-PSIP(ATSC-Program and System Information Protocol) 정보일 수 있으며, DVB 방식인 경우, DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. ATSC-PSIP 정보 또는 DVB-SI 정보는, 상술한 스트림, 즉 MPEG-2 TS의 헤더(4 byte)에 포함되는 정보일 수 있다.

또한, 제어부(860)는, OSD(On Screen Display) 처리를 수행할 수 있다. 구체적으로, 제어부(860)는, 영상 처리된 영상 신호와, 데이터 처리된 데이터 신호 중 적어도 하나 및 원격제어장치(900)로부터의 사용자 입력신호에 기초하여, 디스플레이(880) 상에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 디스플레이하기 위한 신호를 생성할 수 있다. 생성된 신호는 영상 처리된 영상 신호 및 데이터 처리된 데이터 신호와 함께, 디스플레이(880)에 입력될 수 있다.

상술한, 그래픽 또는 텍스트 디스플레이를 위하여 생성된 신호는, 영상표시장치(800)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.

또한, 제어부(860)는, 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)를 입력받아, 신호 처리를 수행한다. 여기서, 제어부(860)에 입력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 튜너(820) 또는 외부 신호 입력부(828)로부터의 아날로그 베이스 밴드 영상/음성신호일 수 있다. 신호 처리된 영상 신호는 디스플레이(880)로 입력되어 디스플레이 되며, 신호 처리된 음성 신호는 오디오 출력부(885), 예를 들어 스피커로 입력되어 음성 출력되게 된다.

또한, 제어부(860)는, 저장부(875)에 저장된 얼굴 정보 및 음성 정보와, 추출된 얼굴 정보 및 음성 정보를 비교하여, 시청 등급을 설정할 수 있다. 한편, 제어부(860)는, 사용자의 입력에 따라 시청 등급을 설정할 수도 있다. 또한, 시청 등급을 업데이트도 할 수 있다.

네트워크 인터페이스부(865)는, 유/무선 통신을 통해 데이터를 송신/수신할 수 있다. 예를 들어, 근거리의 다른 전자기기와의 데이터를 송신 또는 수신할 수 있으며, 인터넷 접속 등을 수행할 수도 있다. 특히, 본 발명의 실시예에 관련하여, 다른 전자 기기 또는 외부 서버 등의 네트워크를 통해 감정 상태 정보 등이 송/수신될 수 있다. 이러한 송신 및 수신 등은 제어부(860)의 제어 동작에 따라 수행될 수 있다.

네트워크 인터페이스부(865)는, 외부 서버와의 접속을 위해, 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

또한, 네트워크 인터페이스부(865)는, 다른 전자기기와 근거리 무선 통신을 위해, 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee),DLNA (Digital Living Network Alliance) 등이 이용될 수 있다.

저장부(875)는, 제어부(860) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호를 저장할 수도 있다.

또한, 저장부(875)는, 감정 맵(emotional map)을 포함할 수 있다. 감정 맵은, 감정 종류 테이블을 포함할 수 있다. 그 외, 사용자별 테이블, 장소별 테이블, 컨텐츠별 테이블, 상품별 테이블, 및 배우별 테이블 등을 더 포함할 수 있다.

감정 종류 테이블은, 사용자의 다양한 감정 상태를 데이터로 수치화한 것이다. 예를 들어, 각 수치는, 얼굴 정보, 음성 신호, 감지된 신체 신호를 종합적적으로 고려하여, 수치화된 값일 수 있다.

제어부(860)는, 기 저장된 감정 종류 테이블(510)을 호출하여, 생성된 감정 상태 정보를 수치화하고, 이를 저장부(875)에 저장되도록 할 수 있다.

한편, 저장부(875)는, 감정 종류 테이블에 기초하여 생성된 감정 상태 정보와, 사용자 정보, 컨텐츠 정보, 컨텐츠 내의 장소 정보, 컨텐츠 내의 상품 정보, 컨텐츠 내의 배우 정보 등 중 적어도 하나를 결합하여 저장할 수 있다. 또한, 컨텐츠 시청 중, 생성된 감정 상태 정보와 생성된 시간 등이 결합되어 저장될 수도 있다. 또한, 컨텐츠 별 대표 감정 정보가 저장될 수 있다. 또한, 사용자의 연령별, 성별, 지역별, 취미별 등 중 적어도 어느 하나가 결합되어 저장될 수도 있다. 또한, 복수의 사용자인 경우, 해당 연령의 평균 정보도 결합되어 저장될 수 있다. 이러한 결합 정보는, 컨텐츠 내에 포함되거나, 아니면 별도로 저장되는 것도 가능하다.

또한, 저장부(875)는, 외부신호입출력부(828)로부터 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다.

또한, 저장부(875)는, 채널 기억 기능을 통해 해당하는 방송 채널을 저장할 수 있다.

저장부(875)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

도면에서는 저장부(875)가 제어부(860)와 별도로 마련되는 것으로 도시하나, 이에 한정되지 않으며, 제어부(860) 내에 포함되어 마련되는 것도 가능하다.

한편, 영상표시장치(800)는, 저장부(875) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수도 있다.

디스플레이(880)는, 제어부(860)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부신호입출력부(828)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다. 디스플레이(880)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display)등 다양한 형태로 구현되는 것이 가능하다. 또한, 디스플레이(880)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

오디오 출력부(885)는, 제어부(860)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 오디오 출력부(885)로는 다양한 형태의 스피커로 구현되는 것이 가능하다.

원격제어장치(200)는, 사용자 입력을 인터페이스부(850)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.

또한, 원격제어장치(900)는, 상술한 바와 같이, 신체 신호 감지부(845)를 포함한다.

또한, 원격제어장치(200)는, 인터페이스부(850)로부터의 영상 신호, 음성 신호, 데이터 신호 등을 수신하여, 이를 출력할 수도 있다.

한편, 도면에서는 1개의 튜너를 도시하고 있으나, 복수개의 튜너를 사용하는 것이 가능하다.

상술한 영상표시장치(800)는, 고정형으로서 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송, DTMB-T 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있으며, 또한, 이동형으로서 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다. 또한, 케이블, 위성통신, IPTV 용 디지털 방송 수신기일 수도 있다.

한편, 본 명세서에서 기술되는 영상표시장치(800)는, TV 수상기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등이 포함될 수 있다.

도 8에 도시된 영상표시장치(800)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(800)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

도 9는 본 발명의 실시예에 따른 감정 정보 생성 방법의 순서도이고, 도 10 내지 도 13은 도 9의 감정 정보 생성 방법의 설명에 참조되는 도면이다.

도면을 참조하여 설명하면, 먼저, 사용자의 영상 정보, 음성 정보, 신체 정보 중 적어도 두 개를 획득한다(S910).

제어부(160,860)는, 상술한 영상 촬영부(125,825)로부터의 영상 정보, 음성 녹음부(135,835)로부터의 음성 정보, 신체 신호 감지부(145,845)로부터의 신체 정보를 취합한다. 이때, 적어도 두 개의 정보를 획득하는 것이 정확한 사용자의 상태 파악을 위해 바람직하다.

다음, 획득된 정보에 기초하여, 사용자의 감정 정보를 생성한다(S920). 제어부(160,860)는, 획득된 영상 정보, 음성 정보, 및 신체 정보 중 적어도 두 개에 기초하여, 사용자의 감정 정보를 생성한다.

사용자가 복수인 경우, 사용자 정보 획득 단계(S910) 및 생성 단계(S920)는, 사용자 별로 수행되는 것이 가능하다. 이에 따라 사용자 별로 각각 감정 정보가 생성될 수 있다.

한편, 복수의 사용자가 있는 경우, 대표 감정 정보를 생성하는 것도 가능하다. 예를 들어, 소정 컨텐츠가 재생되는 경우, 재생되는 컨텐츠에 따라 사용자 별 감정 상태가 취합될 수 있으며, 취합된 감정 상태를 이용하여, 해당 컨텐츠에 대한 대표 감정 정보를 생성하는 것이 가능하다.

도 10은 영상표시장치의 디스플레이(180)에 방송 영상(1010)이 표시된 상태에서, 복수의 사용자(1020,1030)가 해당 방송 영상을 시청하는 것을 예시한다. 이와 같이, 해당 방송 영상에 대해, 사용자 별로 감정 정보를 생성하거나, 대표 감정 정보를 생성하는 것이 가능하다.

한편, 복수의 사용자가 있는 경우, 복수의 사용자의 음성 정보는 정확성이 떨어지므로, 제어부(160,860)는, 음성 정보의 가중치를 영상 정보 또는 신체 정보의 가중치보다 낮게 설정하고, 설정된 가중치 및 상기 획득된 정보에 기초하여, 사용자의 감정 정보를 생성하는 것도 가능하다.

한편, 사용자가 이동 중인 경우, 사용자의 영상 정보 또는 신체 정보의 정확성이 떨어질 수 있으므로, 제어부(160,860)는, 음성 정보의 가중치를 영상 정보 또는 신체 정보의 가중치보다 높게 설정하고, 설정된 가중치 및 상기 획득된 정보에 기초하여, 사용자의 감정 정보를 생성하는 것도 가능하다.

한편, 복수의 사용자는, 동일한 영상표시장치(예를 들어 도 8)를 시청하는 것 외에, 다른 영상표시장치를 통해 동일한 방송 영상(1010)을 시청하는 사용자도 가능하다. 이러한 사용자들은 도 7에 예시된 바와 같이, 네트워크 등을 통해, 각각의 감정 상태를 교환할 수 있으며, 이중 어느 특정 영상표시장치는 이를 취합하여, 대표 감정 상태를 생성할 수도 있다.

도 11은 사용자(1120)가 휴대 음성 재생 장치(1110)를 가지고 이동 중인 것을 예시한다. 재생 중인 오디오 파일에 대한, 감정 정보 생성을 위해, 사용자의 음성 정보의 가중치를 높게 설정함으로써, 정확성 있는 감정 정보의 생성이 가능해지게 된다.

한편, 생성된 감정 정보는 다른 전자기기로 전송될 수 있다.

도 12는 사용자(1220)가 휴대 단말기(1200)에서 재생 중인 영상(1205)을 시청하면서, 생성된 감정 정보를 무선으로 영상 표시 장치(100)에 전송하는 것을 예시한다. 이때, 영상 표시 장치(100)는 방송 영상(1210)이 표시될 수 있으며, 전송된 사용자의 감정 정보에 따라, 향후, 표시되는 방송 영상(1210)의 다양한 설정이 가능게 된다.

도 13은, 도 12와 반대로, 사용자(1320)가 영상 표시 장치(100)에서 방송 영상(1310)을 시청하면서, 생성된 감정 정보를 무선으로 휴대 단말기(1300)에 전송하는 것을 예시한다. 이때, 휴대 단말기(1300)는 향후 소정 컨텐츠 재생시, 수신된 사용자의 감정 정보를 참조하여 재생할 수 있게 된다.

다음, 컨텐츠 재생 중인지 여부를 판단하여(S925), 컨텐츠 재생 중이지 않은 경우, 바로 생성된 감정 정보를 저장한다(S940).

저장부(175,875)는, 생성된 감정 정보를 저장한다. 저장시, 사용자의 위치, 사용자 수, 사용자 연령, 사용자 성별, 사용자 취향, 사용자 취미 중 적어도 하나를 감정 정보와 함께 저장하는 것이 가능하다. 이와 같이, 저장된 감정 정보는 향후, 컨텐츠 재생시 활용될 수 있다.

한편, 컨텐츠 재생 중인 경우, 재생되는 컨텐츠를 검출하고(S930), 해당 컨텐츠와 연계하여 감정 정보를 저장한다.

저장부(175,875)는, 저장시, 감정 정보 외에 컨텐츠 정보도 함께 저장한다. 컨텐츠 정보로는 재생되는 컨텐츠의 제목, 종류, 재생 시간, 컨텐츠 내의 장소, 컨텐츠 내의 배우, 배우의 최근 뉴스, 컨텐츠 내의 상품 중 적어도 하나를 포함할 수 있다. 이러한 컨텐츠 정보는, 상술한 저장부 내의 감정 종류 테이블(510)을 이용하여 저장될 수 있다.

본 발명에 따른 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 감정 정보 생성 방법은 감정 정보 생성 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한,인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한,프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (17)

1. 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 두 개를 획득하는 단계;
   상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하는 단계; 및
   상기 생성된 감정 정보를 저장하는 단계;를 포함하는 것을 특징으로 하는 감정 정보 생성 방법.
2. 제1항에 있어서,
   상기 획득 단계, 및 생성 단계는,
   사용자 별로 구분하여 수행되는 것을 특징으로 하는 감정 정보 생성 방법.
3. 제1항에 있어서,
   재생되는 컨텐츠를 검출하는 단계;를 더 포함하고,
   상기 저장 단계는,
   상기 생성된 감정 정보와, 상기 재생되는 컨텐츠의 제목, 종류, 재생 시간, 컨텐츠 내의 장소, 컨텐츠 내의 배우, 컨텐츠 내의 상품 중 적어도 하나를 함께 저장하는 것을 특징으로 하는 감정 정보 생성 방법.
4. 제1항 또는 제3항에 있어서,
   상기 저장 단계는,
   상기 사용자의 위치, 사용자 수, 사용자 연령, 사용자 성별, 사용자 취향, 사용자 취미 중 적어도 하나를 더 저장하는 것을 특징으로 하는 감정 정보 생성 방법.
5. 제1항에 있어서,
   상기 생성 단계는,
   상기 사용자가 이동 중인 상태에서, 상기 음성 정보 외에, 상기 영상 정보 또는 신체 정보가 획득되는 경우,
   상기 음성 정보의 가중치를 상기 영상 정보 또는 신체 정보의 가중치보다 높게 설정하고, 상기 설정된 가중치 및 상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하는 것을 특징으로 하는 감정 정보 생성 방법.
6. 제1항에 있어서,
   상기 생성 단계는,
   복수의 사용자가 있는 상태에서, 상기 음성 정보 외에, 상기 영상 정보 또는 신체 정보가 획득되는 경우,
   상기 음성 정보의 가중치를 상기 영상 정보 또는 신체 정보의 가중치보다 낮게 설정하고, 상기 설정된 가중치 및 상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하는 것을 특징으로 하는 감정 정보 생성 방법.
7. 제1항에 있어서,
   재생되는 컨텐츠를 검출하는 단계;를 더 포함하고,
   상기 생성 단계는,
   복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 상기 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것을 특징으로 하는 감정 정보 생성 방법.
8. 제1항에 있어서,
   인접 전자 기기 또는 네트워크 상의 서버와 생성된 감정 정보를 교환하는 단계;를 더 포함하며,
   상기 생성 단계는,
   수신된 감정 정보 및 상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하는 것을 특징으로 하는 감정 정보 생성 방법.
9. 사용자의 신체의 적어도 일부를 촬영하는 영상 촬영부;
   상기 사용자의 음성을 녹음하는 음성 녹음부;
   상기 사용자의 신체 신호를 감지하는 신체 신호 감지부;
   상기 사용자의 촬영된 영상으로부터의 영상 정보, 상기 녹음된 음성으로부터의 음성 정보, 상기 감지된 신체 신호로부터의 신체 정보 중 적어도 두 개에 기초하여, 상기 사용자의 감정 정보를 생성하는 제어부; 및
   상기 생성된 감정 정보를 저장하는 저장부;를 포함하는 것을 특징으로 하는 감정 정보 생성 장치.
10. 제9항에 있어서,
    인접 전자 기기 또는 네트워크 상의 서버와 생성된 감정 정보를 교환하는 네트워크 인터페이스부;를 더 포함하는 것을 특징으로 하는 감정 정보 생성 장치.
11. 제9항에 있어서,
    상기 제어부는,
    상기 사용자가 이동 중이거나, 복수의 사용자가 있는 경우, 상기 음성 정보의 가중치를 상기 영상 정보 또는 신체 정보의 가중치와 다르게 설정하고, 상기 설정된 가중치 및 상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하는 것을 특징으로 하는 감정 정보 생성 장치.
12. 제9항에 있어서,
    상기 제어부는,
    복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것을 특징으로 하는 감정 정보 생성 장치.
13. 영상을 표시하는 디스플레이;
    사용자의 신체의 적어도 일부를 촬영하는 영상 촬영부;
    상기 사용자의 음성을 녹음하는 음성 녹음부;
    상기 사용자의 신체 신호를 감지하는 신체 신호 감지부;
    상기 사용자의 촬영된 영상으로부터의 영상 정보, 상기 녹음된 음성으로부터의 음성 정보, 상기 감지된 신체 신호로부터의 신체 정보 중 적어도 두 개에 기초하여, 상기 사용자의 감정 정보를 생성하는 제어부; 및
    상기 생성된 감정 정보를 저장하는 저장부;를 포함하는 것을 특징으로 하는 영상표시장치.
14. 제13항에 있어서,
    선택된 방송 채널 또는 기저장된 방송 채널에 해당하는 방송 신호를 수신하는 튜너; 및
    외부장치로부터의 외부 신호를 수신하는 외부신호 입출력부;를 더 포함하고,
    상기 영상은 상기 수신된 방송 신호의 방영 영상 또는 상기 수신된 외부 신호의 외부 입력 영상인 것을 특징으로 하는 영상표시장치.
15. 제13항에 있어서,
    네트워크와 생성된 감정 정보를 교환하는 네트워크 인터페이스부;를 더 포함하는 것을 특징으로 하는 영상표시장치.
16. 제13항에 있어서,
    상기 제어부는,
    상기 사용자가 이동 중이거나, 복수의 사용자가 있는 경우, 상기 음성 정보의 가중치를 상기 영상 정보 또는 신체 정보의 가중치와 다르게 설정하고, 상기 설정된 가중치 및 상기 획득된 정보에 기초하여, 상기 사용자의 감정 정보를 생성하는 것을 특징으로 하는 영상표시장치.
17. 제13항에 있어서,
    상기 제어부는,
    복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것을 특징으로 하는 영상표시장치.

Images