KR101483635B1 - 컨텐츠 재생 시스템 및 그 방법 - Google Patents

컨텐츠 재생 시스템 및 그 방법 Download PDF

Info

Publication number
KR101483635B1
KR101483635B1 KR1020140000742A KR20140000742A KR101483635B1 KR 101483635 B1 KR101483635 B1 KR 101483635B1 KR 1020140000742 A KR1020140000742 A KR 1020140000742A KR 20140000742 A KR20140000742 A KR 20140000742A KR 101483635 B1 KR101483635 B1 KR 101483635B1
Authority
KR
South Korea
Prior art keywords
state
user
content
multimedia contents
unit
Prior art date
Application number
KR1020140000742A
Other languages
English (en)
Inventor
이민호
김태웅
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140000742A priority Critical patent/KR101483635B1/ko
Application granted granted Critical
Publication of KR101483635B1 publication Critical patent/KR101483635B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras

Abstract

컨텐츠 재생 시스템이 개시된다. 본 시스템은, 멀티미디어 컨텐츠를 재생하는 컨텐츠 처리부, 재생된 멀티미디어 컨텐츠를 출력하는 출력부, 멀티미디어 컨텐츠에 대한 사용자의 감상 상태를 감지하기 위한 감지부, 복수의 서로 다른 그룹을 저장하기 위한 저장부, 멀티미디어 컨텐츠의 특성 정보 및 감상 상태 중 적어도 하나에 대응되는 그룹으로 멀티미디어 컨텐츠를 분류하여 저장부에 저장하는 제어부를 포함할 수 있다. 여기서, 제어부는, 컨텐츠 재생 시스템이 위치하는 영역 내에 사용자가 진입하면, 사용자 상태에 대응되는 멀티미디어 컨텐츠를 재생할 수 있다. 이에 따라, 사용자의 감성에 부합하는 컨텐츠를 자동으로 제공할 수 있다.

Description

컨텐츠 재생 시스템 및 그 방법 { SYSTEM FOR REPRODUCING CONTENTS AND METHODS THEREOF }
본 발명은 컨텐츠 재생 시스템 및 그 방법에 대한 것으로 보다 상세하게는, 사용자의 감정을 고려하여 컨텐츠를 선택적으로 재생하는 컨텐츠 재생 시스템 및 그 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 특히, 최근에는 노래, 영화, 사진 등과 같은 다양한 멀티미디어 컨텐츠를 재생할 수 있는 다양한 유형의 전자 장치의 사용이 증대되고 있다.
구체적으로는, TV나 스마트 폰, 태블릿 PC 등과 같은 다양한 컨텐츠 재생 시스템이 집, 사무실, 자동차 등과 같은 환경에서 사용되고 있다.
사용자는 전자 장치에 구비된 터치 스크린이나 리모컨 등을 통해서 멀티미디어 컨텐츠를 선택하여, 재생시킬 수 있다.
기존의 컨텐츠 재생 시스템에서는 사용자가 자신이 원하는 컨텐츠를 직접 찾아서 선택하여야 했다. 하지만, 컨텐츠의 종류와 수가 많으면, 사용자가 자신의 현재 기분에 맞는 컨텐츠를 찾는 것이 결코 용이하지 않다. 특히, 컨텐츠를 사전에 감상해보지 않은 경우에는, 해당 컨텐츠가 어떤 감성적인 효과를 줄 수 있는지 알 수 없어, 제대로 탐색하기 어렵다는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 사용자 상태에 부합하는 멀티미디어 컨텐츠를 자동으로 선택하여 재생할 수 있는 컨텐츠 재생 시스템 및 그 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한, 컨텐츠 재생 시스템은, 멀티미디어 컨텐츠를 재생하는 컨텐츠 처리부, 재생된 상기 멀티미디어 컨텐츠를 출력하는 출력부, 상기 멀티미디어 컨텐츠에 대한 사용자의 감상 상태를 감지하기 위한 감지부, 복수의 서로 다른 그룹을 저장하기 위한 저장부, 상기 멀티미디어 컨텐츠의 특성 정보 및 상기 감상 상태 중 적어도 하나에 대응되는 그룹으로 상기 멀티미디어 컨텐츠를 분류하여 상기 저장부에 저장하는 제어부를 포함한다. 여기서, 상기 제어부는, 상기 컨텐츠 재생 시스템이 위치하는 영역 내에 상기 사용자가 진입하면, 사용자 상태를 감지하고, 상기 저장부에 저장된 멀티미디어 컨텐츠 중에서 상기 사용자 상태에 대응되는 적어도 하나의 멀티미디어 컨텐츠를 선택하고, 상기 컨텐츠 처리부를 제어하여 상기 선택된 멀티미디어 컨텐츠를 재생할 수 있다.
또한, 상기 제어부는, 상기 멀티미디어 컨텐츠를 퍼지 지스트(Fuzzy Gist) 알고리즘에 따라 분석하여 상기 특성 정보를 검출할 수 있다.
또한, 상기 제어부는, 상기 영역 내에 진입한 상기 사용자의 수 및 시간 중 적어도 하나에 따라 복수의 선택 기준 중 하나의 선택 기준을 상이하게 결정하고, 결정된 선택 기준에 따라 상기 멀티미디어 컨텐츠를 선택할 수 있다.
또한, 상기 감지부는, 상기 영역 내에서 발생하는 음성 신호를 입력받기 위한 마이크부를 포함하며, 상기 제어부는, 상기 음성 신호가 입력되면, 상기 음성 신호에 기초하여 상기 사용자 상태를 판단하고, 상기 판단된 사용자 상태에 대응되는 상기 멀티미디어 컨텐츠를 선택할 수 있다.
또는, 상기 감지부는, 카메라를 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 카메라에서 촬상된 이미지 내에서 사용자 이미지를 검출하고, 검출된 상기 사용자 이미지를 분석하여 상기 사용자 상태를 판단하며, 상기 판단된 사용자 상태에 대응되는 상기 멀티미디어 컨텐츠를 선택할 수 있다.
또는, 상기 컨텐츠 재생 시스템이 복수의 영역을 관할하는 경우, 상기 저장부는, 상기 복수의 영역 각각에 대해 상이하게 설정된 복수의 선택 기준을 저장하며, 상기 제어부는, 상기 복수의 영역 중 상기 사용자가 진입한 상기 영역에 대응되는 선택 기준에 기초하여 상기 사용자 상태에 대응되는 그룹을 선택하고, 선택된 상기 그룹 내에서 상기 적어도 하나의 멀티미디어 컨텐츠를 랜덤하게 선택할 수 있다.
또한, 상기 영역 내의 환경 상태를 제어하기 위한 제어 시스템과 통신을 수행하기 위한 통신부를 더 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 사용자 상태에 따라 상기 환경 상태를 조정하기 위한 제어 신호를 생성하여, 상기 통신부를 통해 상기 제어 시스템으로 전송할 수 있다. 여기서, 상기 제어 시스템은, 상기 영역 내의 조명, 온도 및 습도 중 적어도 하나를 제어하기 위한 시스템이 될 수 있다.
또는, 상기 컨텐츠 재생 시스템의 위치를 감지하기 위한 위치 감지부;를 더 포함할 수도 있다. 여기서, 상기 제어부는, 상기 위치 감지부에서 감지된 상기 위치가 상기 영역에 대응되면, 상기 컨텐츠 재생 시스템을 휴대한 상기 사용자가 상기 영역 내로 진입한 것으로 판단할 수 있다.
이상과 같은 실시 예들에서, 상기 감상 상태는, 흥분 상태, 안정 상태, 우울 상태, 수면 상태, 피로 상태 중 적어도 하나를 포함하며, 상기 특성 정보는, 진정 효과, 흥분 효과, 위로 효과 및 스트레스 해소 효과 중 적어도 하나의 효과에 대한 정보를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 컨텐츠 재생 시스템의 컨텐츠 재생 방법은, 멀티미디어 컨텐츠에 대한 사용자의 감상 상태 및 상기 멀티미디어 컨텐츠의 특성 정보 및 상기 감상 상태 중 적어도 하나에 기초하여, 상기 멀티미디어 컨텐츠를 분류하여 저장하는 단계, 상기 컨텐츠 재생 시스템이 관할하는 영역 내에 상기 사용자가 진입하면, 사용자 상태를 감지하는 단계, 상기 사용자 상태에 대응되는 그룹에 포함된 적어도 하나의 멀티미디어 컨텐츠를 선택하여 재생하는 단계를 포함한다.
여기서, 상기 멀티미디어 컨텐츠를 퍼지 지스트(Fuzzy Gist) 알고리즘에 따라 분석하여 상기 특성 정보를 검출하는 단계를 더 포함할 수도 있다.
또한, 상기 영역 내에 진입한 상기 사용자의 수, 진입 시간, 영역 특성 중 적어도 하나에 따라 복수의 선택 기준 중 하나의 선택 기준을 상이하게 결정하는 단계를 더 포함할 수도 있다.
여기서, 상기 재생하는 단계는, 상기 결정된 선택 기준에 따라 상기 멀티미디어 컨텐츠를 선택할 수 있다.
또는, 상기 사용자 상태에 따라 상기 환경 상태를 조정하기 위한 제어 신호를 생성하여, 상기 영역 내의 환경 상태를 제어하기 위한 제어 시스템으로 전송하는 단계를 더 포함할 수 있으며, 상기 컨텐츠 재생 시스템은 휴대형 단말 장치가 될 수 있다.
또한, 상기 감상 상태는, 흥분 상태, 안정 상태, 우울 상태, 수면 상태, 피로 상태 중 적어도 하나를 포함하며, 상기 특성 정보는, 진정 효과, 흥분 효과, 위로 효과 및 스트레스 해소 효과 중 적어도 하나의 효과를 판단하기 위한 AV 정보를 포함할 수 있다.
이상과 같은 다양한 실시 예에 따르면, 사용자 상태에 부합하는 멀티미디어 컨텐츠를 자동으로 재생하여, 사용자의 감성을 충족시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 재생 시스템의 구성을 나타내는 블럭도,
도 2 및 도 3은 사용자 상태를 감지하여 멀티미디어 컨텐츠를 재생하는 컨텐츠 재생 시스템의 동작의 다양한 예를 나타내는 도면,
도 4는 퍼지 지스트 알고리즘을 이용하여 멀티미디어 컨텐츠를 분류하는 방법을 설명하기 위한 도면,
도 5 및 도 6은 비디오 프레임의 특성에 기초하여 멀티미디오 컨텐츠를 분류하는 방법을 설명하기 위한 도면,
도 7은 오디오 신호의 특성에 기초하여 멀티미디오 컨텐츠를 분류하는 방법을 설명하기 위한 도면,
도 8은 오디오 신호의 AV 정보의 다양한 예들을 나타내는 도면,
도 9는 휴대형 단말 장치로 구현된 컨텐츠 재생 시스템의 구성을 나타내는 블럭도,
도 10 및 도 11은 본 발명의 다양한 실시 예에 따른 컨텐츠 재생 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 재생 시스템의 구성을 나타내는 블럭도이다. 도 1에 따르면, 컨텐츠 재생 시스템(100)은 저장부(110), 컨텐츠 처리부(120), 출력부(130), 감지부(140), 제어부(150)를 포함한다.
컨텐츠 처리부(120)는 멀티미디어 컨텐츠를 재생하기 위한 구성요소이다. 멀티미디어 컨텐츠에는 동영상 컨텐츠, 뮤직 컨텐츠, 사진 컨텐츠, 문서 컨텐츠 등과 같이 다양한 컨텐츠가 포함될 수 있다.
출력부(130)는 컨텐츠 처리부(120)에서 재생된 멀티미디어 컨텐츠를 출력한다. 출력부(130)는 디스플레이부 및 스피커부 중 적어도 하나를 포함할 수 있다.
저장부(110)는 프로그램 및 각종 멀티미디어 컨텐츠를 저장하기 위한 구성요소이다. 멀티미디어 컨텐츠는 복수의 서로 다른 그룹으로 분류되어 저장부(110)에 저장될 수 있다.
감지부(140)는 사용자의 상태를 감지하기 위한 구성요소이다. 감지부(140)는 사용자 얼굴이나 자세 등을 촬영하기 위한 카메라, 사용자 음성을 입력받기 위한 마이크부 등을 이용하여 사용자의 상태를 판단할 수 있다.
제어부(150)는 멀티미디어 컨텐츠의 특성 정보 및 감상 상태 중 적어도 하나에 대응되는 그룹으로 멀티미디어 컨텐츠를 분류하여 저장부(110)에 저장할 수 있다.
감상 상태는 멀티미디어 컨텐츠를 감상할 때의 사용자의 신체 또는 감정 상태 등을 나타내는 정보이다. 가령, 감상 상태는 흥분 상태, 안정 상태, 우울 상태, 수면 상태, 피로 상태 등을 포함할 수 있다. 제어부(150)는 각 멀티미디어 컨텐츠에 대하여 이전에 사용자가 감상할 때 감지되는 사용자 상태에 따라, 해당 멀티미디어 컨텐츠가 사용자에게 어떤 영향을 미치는지 판단하여, 감상 상태를 결정할 수 있다. 제어부(150)는 멀티미디어 컨텐츠를 감상하는 사용자의 흥분 지수가 높아진다면, 해당 멀티미디어 컨텐츠가 흥분 효과를 가지는 것으로 판단할 수 있다. 또는, 사용자가 멀티미디어 컨텐츠를 감상하다가 수면 상태에 빠지게 되면, 해당 멀티미디어 컨텐츠가 수면을 야기하는 수면 유도 효과를 가지는 것으로 판단할 수 있다.
특성 정보는 멀티미디어 컨텐츠가 사용자의 신체 또는 감정에 영향을 미치는 특성을 나타내는 정보이다. 구체적으로는, 멀티미디어 컨텐츠는 사용자의 감정을 진정시키는 진정 효과, 흥분시키는 흥분 효과, 우울함이나 슬픔을 달래는 위로 효과 및 스트레스를 해소하는 스트레스 해소 효과 등과 같은 다양한 효과를 가질 수 있다. 특성 정보는 이러한 효과들 중 어떤 효과를 가지는지를 판단할 수 있는 AV(Arousal degree, Valence degree) 정보를 포함할 수 있다.
제어부(150)는 멀티미디어 컨텐츠를 퍼지 지스트(Fuzzy Gist) 알고리즘에 따라 분석하여 특성 정보를 검출할 수 있다. 퍼지 지스트 알고리즘이란 비디오 프레임 내의 객체(object)들의 에지 특성, 컬러 등을 분석하여 각성 지수(Arousal degree), 밸런스 지수(Valence degree)를 획득한 후, 획득된 값들을 AV 좌표에 표시하고, 퍼지 연산자를 이용하여 AV 좌표 상의 값들을 클러스터링하여 AV 정보를 생성하는 알고리즘을 의미한다.
제어부(150)는 이러한 특성 정보에 기초하여 멀티미디어 컨텐츠를 분류할 수도 있지만, 상술한 바와 같이 감상 상태까지 조합하여 멀티미디어 컨텐츠를 분류할 수도 있다.
감상 상태까지 조합하는 실시 예의 경우, 제어부(150)는 멀티미디어 컨텐츠의 각성 지수가 높고, 사용자가 이전에 감상할 때 웃는 것이 감지되었다면, 해당 멀티미디어 컨텐츠는 사람을 기분좋게 흥분시키는 컨텐츠인 것으로 판단할 수 있다.
이상과 같이, 제어부(150)는 특성 정보 및 감상 상태 중 적어도 하나가 획득되면, 획득된 정보들에 따라 멀티미디어 컨텐츠를 서로 다른 그룹으로 분류하여 저장할 수 있다. 구체적으로는, 제어부(150)는 사용자를 기분좋게 흥분시키는 컨텐츠 그룹, 화를 가라앉히고 안정시키는 컨텐츠 그룹, 스트레스를 해소시키는 컨텐츠 그룹, 차분하게 만드는 컨텐츠 그룹, 수면을 유도하는 컨텐츠 그룹, 수면 상태를 각성시키는 컨텐츠 그룹 등과 같이 다양한 컨텐츠 그룹을 저장부(110)에 저장할 수 있다.
이러한 상태에서 멀티미디어 컨텐츠를 재생하여야 하는 이벤트가 발생하면, 제어부(150)는 사용자 상태에 대응되는 멀티미디어 컨텐츠를 선택하여 자동 재생한다. 이벤트에는 컨텐츠 재생 시스템이 위치하는 영역 내에 사용자가 진입하는 이벤트, 컨텐츠 재생 시스템을 턴온하는 이벤트, 기 설정된 음성 명령어를 입력하는 이벤트, 기 설정된 모션 제스쳐를 입력하는 이벤트, 리모콘 신호를 입력하는 이벤트 등이 포함될 수 있다.
가령, 제어부(150)는 컨텐츠 재생 시스템(100)이 위치하는 영역 내에 사용자가 진입하면, 감지부(140)를 제어하여 사용자 상태를 감지한다. 제어부(150)는 저장부(110)에 저장된 멀티미디어 컨텐츠 중에서 사용자 상태에 대응되는 적어도 하나의 멀티미디어 컨텐츠를 선택한다. 제어부(150)는 컨텐츠 처리부(120)를 제어하여 선택된 멀티미디어 컨텐츠를 자동으로 재생한다.
한편, 컨텐츠 재생 시스템(100)은 복수의 영역을 관할할 수도 있다. 가령, 가정에 설치된 경우, 감지부(140)는 방마다 설치될 수 있다. 제어부(150)는 각 방에 설치된 감지부(140)로부터 감지 신호를 수신하여, 각 영역 내의 사용자 상태 등을 판단할 수 있다. 또한, 저장부(110)는, 복수의 영역 각각에 대해 상이하게 설정된 복수의 선택 기준을 저장할 수 있다. 제어부(150)는 복수의 영역 중 사용자가 진입한 영역에 대응되는 선택 기준에 기초하여 사용자 상태에 대응되는 그룹을 선택하고, 선택된 그룹 내에서 적어도 하나의 멀티미디어 컨텐츠를 랜덤하게 선택할 수 있다.
그 밖에도, 컨텐츠 재생 시스템(100)은 사용자의 수나, 시간, 위치 등과 같은 다양한 조건에 따라 선택 기준을 상이하게 결정할 수 있다. 가령, 사용자가 흥분 상태라고 판단된 경우, 흥분 상태를 유지하거나 더 고조시키도록 하는 제1 선택 기준 및 흥분 상태를 진정시키는 제2 선택 기준 중 하나가 선택될 수 있다. 제어부(150)는 수면 시간 대인 경우, 사용자가 1인인 경우, 위치가 침실인 경우 등일 때 사용자가 흥분 상태라고 판단되면, 제2 선택 기준을 선택할 수 있다. 반면, 시간이 수면 시간 이전이거나, 영역 내에 많은 사용자가 있는 경우, 위치가 거실인 경우 등일 때 사용자가 흥분 상태라고 판단되면, 흥을 더 돋을 수 있게 제1 선택 기준을 선택할 수 있다.
도 1의 컨텐츠 재생 시스템(100)은 가정 환경이나, 사무실 환경, 자동차 등에 설치되는 고정형 시스템으로 구현될 수도 있고, 휴대폰이나 태블릿 PC, 랩탑 PC, MP3 플레이어, PDA 등과 같은 휴대형 단말 장치로 구현될 수도 있다. 또한, 도 1에서는 감지부(140)까지 포함하는 것으로 도시 및 설명하였으나, 감지부(140)는 컨텐츠 재생 시스템(100)과 별도로 마련되는 센서들로 구현될 수도 있다. 이 경우, 컨텐츠 재생 시스템(100)은 외부의 센서들과 통신할 수 있는 통신부를 포함하며, 제어부(150)는 각 센서들에서 감지된 감지 결과를 통신부를 통해 수신하여 사용자 상태를 판단할 수 있다.
도 2는 컨텐츠 재생 시스템(100)의 동작을 설명하기 위한 도면이다. 도 2에 따르면, 컨텐츠 재생 시스템(100)은 임의의 영역(10)에 설치될 수 있다. 또한, 감지부(140)는 컨텐츠 재생 시스템(100)의 외부에 설치된 카메라(141)를 포함한다.
컨텐츠 재생 시스템(100)은 해당 영역(10) 내에 사용자(20)가 진입하면, 카메라(141)를 제어하여 사용자를 촬상한다. 촬상된 촬상 이미지는 컨텐츠 재생 시스템(100)의 제어부(150)로 제공된다. 제어부(150)는 촬상 이미지를 분석하여 사용자 상태를 판단할 수 있다.
구체적으로는, 제어부(150)는 촬상 이미지를 가로 및 세로 방향으로 나누어 복수의 블럭으로 구분한다. 하나의 블럭은 복수의 픽셀로 이루어질 수 있다. 제어부(150)는 각 블럭에 포함된 픽셀의 특성 값을 검출한 후, 그 특성 값을 주변 블럭과 비교하여 동일한 사물을 구성하는 블럭인지 여부를 판단한다. 제어부(150)는 각 블럭 별로 이러한 판단 과정을 수행하여, 각 사물의 에지 부분을 검출한다. 그리고, 제어부(150)는 그 에지 부분에 따라 구분되는 각 영역별 컬러, 형상, 크기 등을 고려하여, 사용자의 얼굴 영역을 검출한다. 이러한 검출 과정에서는 다양한 알고리즘 및 모델이 적용될 수 있다. 일 예로, 제어부(150)는 사용자 이미지에 대해 선택적 주의 집중 모델을 사용할 수 있다. 가령, SM(Saliency Map)모델을 적용하여 얼굴 영역을 검출할 수 있다. 제어부(150)는 검출된 얼굴 영역의 특징 정보와 기 저장된 특징 정보를 비교하여, 사용자의 표정을 판단할 수 있다.
제어부(150)는 판단된 사용자 상태에 대응되는 멀티미디어 컨텐츠를 선택하여 재생할 수 있다. 가령, 제어부(150)는 사용자가 찡그린 표정이거나, 슬픈 표정이면, 화를 가라앉히고 안정시키는 컨텐츠 그룹이나 스트레스를 해소시키는 컨텐츠 그룹에 포함된 멀티미디어 컨텐츠를 선택하여 재생할 수 있다.
도 3은 컨텐츠 재생 시스템(100)의 동작의 또 다른 예를 설명하기 위한 도면이다. 도 3에 따르면, 컨텐츠 재생 시스템(100)은 임의의 영역(10)에 설치될 수 있다. 감지부(140)는 해당 영역(10) 내에서 발생하는 음성 신호를 입력받기 위한 마이크부(142)를 포함할 수 있다. 마이크부(142)는 사용자(20)가 말하는 사용자 음성을 입력받아, 제어부(150)로 전달한다. 도 3에서는 마이크부(142)가 컨텐츠 재생 시스템(100) 내부에 포함되는 것으로 도시하였으나, 실시 예에 따라서는, 마이크부(142)는 컨텐츠 재생 시스템(100)의 외부에 설치될 수도 있다.
제어부(150)는 음성 신호가 입력되면, 음성 신호에 기초하여 사용자 상태를 판단할 수 있다. 구체적으로는, 마이크부(142)에서 입력된 아날로그 신호를 디지털 신호로 변환한 후, 노이즈 성분을 제거한 후 증폭한다. 제어부(150)는 증폭된 디지털 신호를 텍스트로 변환하여, 의미를 분석한다. 제어부(150)는 기 등록된 언어 데이터베이스에 기초하여, 음성 신호 내에서 조사나 접속사 등은 삭제하고, 키워드만 검출하여 의미를 분석할 수 있다.
가령, 도 3에 도시된 바와 같이, "오늘은 힘들었어"와 같은 음성 신호가 입력되면, 제어부(150)는 차분하게 만드는 컨텐츠 그룹이나 수면을 유도하는 컨텐츠 그룹에서 멀티미디어 컨텐츠를 선택하여 재생할 수 있다. 또는, "더 신나게"등과 같은 음성 신호가 입력된다면, 제어부(150)는 사용자를 기분좋게 흥분시키는 컨텐츠 그룹에서 멀티미디어 컨텐츠를 선택하여 재생할 수도 있다.
도 4는 퍼지 지스트 알고리즘에 따라 멀티미디어 컨텐츠를 분류하는 방법을 설명하기 위한 도면이다. 도 4에 따르면, 제어부(150)는 멀티미디어 컨텐츠를 감상하는 중에 감지된 사용자 상태에 대한 정보(410), 멀티미디어 컨텐츠 자체의 특성에 대한 정보(420) 등에 기초하여, AV 좌표(430) 상에서 AV 값(440)을 표시할 수 있다. AV 값(440)은 멀티미디어 컨텐츠 내의 비디오 프레임 별로, 또는 소정 시간 주기 단위의 오디오 신호 별로 산출될 수 있다. 제어부(150)는 산출된 복수의 AV 값(440)들에 대해서 퍼지 연산자를 적용하여 클러스터링한다. 도 4에서는 복수의 클러스터(431 ~ 434)로 클러스터링된 상태를 나타낸다. 도 4의 AV 좌표(430)에서 가로축은 밸런스 지수(Valence degree)를 나타내고, 세로 축은 각성 지수(Arousal degree)를 나타낸다. 가로축 상에서 우측으로 갈 수록 긍정적인 기분 상태를 나타내고, 좌측으로 갈수록 부정적인 기분 상태를 나타낸다. 세로 축 상에서 위쪽으로 갈수록 흥분 상태를 나타내고, 아래쪽으로 갈수록 안정 상태를 나타낸다. 도 4에서 제1 클러스터(431)는 화가 난 상태를 나타내고, 제2 클러스터(432)는 크게 웃거나 기뻐하는 상태를 나타낸다. 제3 클러스터(433)는 우울하거나 슬픈 상태를 나타내고, 제4 클러스터(434)는 차분한 감정 상태를 나타낸다.
제어부(150)는 멀티미디어 컨텐츠의 비디오 데이터 및 오디오 데이터 각각에 대해 퍼지 지스트 알고리즘을 적용하여, 상술한 AV 정보를 획득할 수 있다.
도 5 및 도 6은 비디오 데이터에 대해 AV 정보를 획득하는 과정을 설명하기 위한 도면이다. 도 5는 빌딩같은 오브젝트(510)가 포함된 비디오 프레임을 나타낸다. 도 6은 자연 환경을 나타내는 오브젝트(610, 620)가 포함된 비디오 프레임을 나타낸다. 제어부(150)는 각 비디오 프레임내의 오브젝트(510, 610, 620)의 경계를 획득하고, 그 방향성 및 형태를 산출한다. 퍼지 지스트 알고리즘에 따르면, 각성 지수는 오브젝트의 방향성 및 형태에 따라 달라질 수 있다. 가령, 도 5와 같이 세로 방향 및 각진 형태의 오브젝트(510)가 많으면, 사용자는 흥분하거나, 불안정한 느낌을 받게 된다. 즉, AV 좌표(430)에서 각성 지수가 + 축 방향에 위치하게 된다. 반면, 도 6과 같이 가로 방향 및 둥근 형태의 오브젝트(610, 620)가 많으면, 사용자는 안정감을 느끼게 된다. 즉, AV 좌표(430)에서 각성 지수가 - 축 방향에 위치하게 된다.
또한, 제어부(150)는 비디오 프레임의 R, G, B 값을 산출한다. R 성분이 많이 산출되면, 각성 지수 및 밸런스 지수가 + 방향에 가깝게 위치하게 되고, B 성분이 많이 산출되면, 각성 지수 및 밸런스 지수가 - 방향에 가깝게 위치하게 된다. 이상과 같이, 제어부(150)는 비디오 프레임내의 오브젝트 방향성, 형태, 컬러 등에 따라 특성 정보를 다르게 결정할 수 있다.
도 7은 오디오 데이터에 대해 AV 정보를 획득하는 방법을 설명하기 위한 도면이다. 제어부(150)는 오디오 데이터에 대해 STFT(Short Time Fourier Transform)을 수행하여 스펙토그램을 확보한다. 도 7은 스펙토그램의 다양한 예들을 나타낸다. 도 7에서 가로 축은 시간을 나타내고, 세로 축은 에너지 크기를 나타낸다. 먼저, 도 7의 (a)는 안정적이면서 포지티브한 감정 상태에 대응되는 스펙토그램(710)을 나타낸다. 예를 들어, 잔잔한 클래식 음악에 대해 STFT을 수행하면 도 7의 (a)와 같이 분포되는 스펙토그램을 얻을 수 있다.
도 7의 (b)는 흥분 및 포지티브 상태에 대응되는 스펙토그램(720)을 나타낸다. 도 7의 (b)에 비해 스펙토그램(720)의 높이가 높아지면서, 변화 주기가 빨라진 상태임을 알 수 있다. 예를 들어, 어린이의 웃음 소리에 대해 STFT을 수행하면 도 7의 (b)와 같은 스펙토그램(720)을 얻을 수 있다.
도 7의 (c)는 흥분 및 네거티브 상태에 대응되는 스펙토그램(730)을 나타낸다. 도 7의 (c)에 따르면, 에너지 변화가 급변하면서, 피크가 상당히 높게 표시되는 것을 알 수 있다. 예를 들어, 화나서 고함지르는 소리나, 문을 신경질적으로 여닫는 소리 등이 도 7의 (c)와 같은 스펙토그램으로 표현될 수 있다.
도 7의 (d)는 안정 및 네거티브 상태에 대응되는 스펙토그램(740)을 나타낸다. 도 7의 (d)에 따르면, 스펙토그램(740)의 높이는 높지만, 변화 주기는 상당히 긴 상태임을 알 수 있다. 예를 들어, 사이렌 소리나 울음 소리 등이 도 7의 (d)와 같은 스펙토그램으로 표현될 수 있다.
이상과 같이, 오디오 데이터의 특성에 따라 상이한 스펙토그램이 획득될 수 있다.
제어부(150)는 스펙토그램에 대해 GIST 알고리즘을 적용하여, AV 값들을 획득할 수 있다. 그리고 나서, 제어부(150)는 FUZZY 연산자를 이용하여 AV 값들을 클러스터링하여 AV 정보를 생성할 수 있다.
이상과 같은 퍼지 지스트 알고리즘에서는, 비디오 프레임 또는 스펙토그램에 표시되는 객체들의 방향성(orientation), 크로마(Chroma), 휴(Hue), 세기(intensity) 등과 같은 다양한 팩터에 의해 특성 정보가 상이하게 검출될 수 있다. 또한, 도 7에 도시된 바와 같이, 제어부(150)는 오디오 데이터에 대해서도 특성 정보를 획득할 수 있다.
도 8은 오디오 데이터의 다양한 팩터에 따라 획득되는 AV 정보들의 예를 나타내는 도면이다. 도 8의 910은 오디오 데이터의 특성을 좌우하는 팩터들의 예를 나타낸다. 구체적으로는, 빠르기(tempo), 멜로디(melody), 크기(loudness) 등과 같은 팩터들이 사용될 수 있다.
도 8의 920은 이러한 팩터들에 의해 결정되는 AV 정보들의 예를 나타낸다. 구체적으로는, AV 좌표 상에서 다양한 감정 상태에 해당하는 AV 정보(921 ~ 926)들이 표시될 수 있다.
제어부(150)는 퍼지 지스트 알고리즘을 이용하여 상술한 AV 정보(921 ~ 926)들이 획득되면, 그 정보에 따라 멀티미디어 컨텐츠 분류 또는 선택 재생을 수행할 수 있다.
한편, 상술한 바와 같이 컨텐츠 재생 시스템(100)은 다양한 형태로 구현될 수 있다.
도 9는 휴대형 단말 장치로 구현된 컨텐츠 재생 시스템(100)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 9에 따르면, 컨텐츠 재생 시스템(100)은 저장부(110), 컨텐츠 처리부(120), 출력부(130), 감지부(140), 제어부(150), 통신부(160), 위치 감지부(170)를 포함한다.
저장부(110)는 컨텐츠 재생 시스템(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 상술한 바와 같이, 저장부(110)에는 감상 상태나 특성 정보 등과 같은 다양한 정보에 기초하여 분류된 복수의 멀티미디어 컨텐츠가 저장될 수 있다.
컨텐츠 처리부(120)는 비디오 처리부(121), 오디오 처리부(122)를 포함한다. 비디오 처리부(121)는 저장부(110)에 저장된 멀티미디어 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 처리부(121)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 처리부(122)는 저장부(110)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 처리부(122)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
츨력부(130)는 디스플레이부(131) 및 스피커부(132)를 포함할 수 있다. 디스플레이부(131)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(131) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
스피커부(132)는 오디오 처리부(122)에서 생성한 오디오 데이터를 출력한다.
제어부(150)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 처리부(121) 및 오디오 처리부(122)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 재생된 멀티미디어 컨텐츠는 디스플레이부(131) 및 스피커부(132)를 통해 출력될 수 있다.
감지부(140)는 마이크부(142) 및 카메라(142)를 포함할 수 있다. 마이크부(142)는 상술한 바와 같이 오디오 신호를 입력받기 위한 구성요소이다. 마이크부(142)는 입력된 오디오 신호를 제어부(150)로 전달한다. 제어부(150)는 저장부(110)에 저장된 프로그램을 이용하여, 오디오 신호를 텍스트로 변환하고, 그 의미를 분석할 수 있다. 이에 따라, 제어부(150)는 사용자의 감상 상태나 상태 정보 등을 판단할 수 있다.
카메라(142)는 사용자를 촬영하기 위한 구성요소이다. 카메라(142)는 촬영된 이미지를 제어부(150)로 제공한다. 제어부(150)는 저장부(110)에 저장된 프로그램을 이용하여 이미지를 분석하여, 사용자의 감상 상태 및 상태 정보를 판단할 수 있다. 제어부(150)는 복수의 이미지 내에서 사용자가 있는 부분을 검출한 후, 검출된 사용자 이미지를 비교하여 사용자의 움직임 변화를 판단한다. 이에 따라, 제어부(150)는 사용자가 웃고 있는지, 울고 있는지, 춤을 추고 있는지, 가만히 앉아 있는지, 잠이 들었는지 여부를 판단할 수 있다.
제어부(150)는 저장부(110)에 저장된 프로그램을 이용하여, 상술한 바와 같이 멀티미디어 컨텐츠 분류, 선택, 재생 등과 같은 동작을 수행할 수 있다.
제어부(150)는 RAM(151), ROM(152), CPU(153), GPU(Graphic Processing Unit)(154), 버스(155)를 포함한다. RAM(151), ROM(152), CPU(153), GPU(Graphic Processing Unit)(154) 등은 버스(155)를 통해 서로 연결될 수 있다.
CPU(153)는 저장부(110)에 액세스하여, 저장부(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(152)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(153)는 ROM(152)에 저장된 명령어에 따라 저장부(110)에 저장된 O/S를 RAM(151)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(153)는 저장부(110)에 저장된 각종 프로그램을 RAM(151)에 복사하고, RAM(151)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(154)는 컨텐츠 재생 시스템(100)의 부팅이 완료되면, 메인 화면을 디스플레이한다. 구체적으로는, GPU(154)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(131)로 제공되어, 표시된다.
위치 감지부(170)는 사용자의 위치를 감지하기 위한 구성요소이다. 위치 감지부(170)는 GPS(Grobal Positioning System) 칩을 이용하여 사용자의 위치를 감지할 수 있다. GPS 칩은 GPS 위성으로부터 GPS 신호를 수신하여, 컨텐츠 재생 시스템(100)의 현재 위치를 산출하기 위한 구성요소이다. 상술한 바와 같이, 컨텐츠 재생 시스템(100)이 휴대형 단말 장치로 구현되면, 컨텐츠 재생 시스템(100)의 위치가 바로 사용자의 위치가 된다. 그 밖에, 위치 감지부(170)는 사용자의 위치를 감지할 수 있는 다양한 센서를 포함할 수도 있다.
제어부(150)는 위치 감지부(170)에서 감지된 컨텐츠 재생 시스템(100)의 위치가 특정 영역 이내라고 판단되면, 컨텐츠 재생 시스템(100)을 휴대한 사용자가 해당 영역 내로 진입한 것으로 판단할 수 있다. 이에 따라, 이벤트 발생 여부를 확인할 수 있다.
통신부(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(160)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등과 같은 다양한 구성요소들 중에서 적어도 하나 이상을 포함할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 외부 기기와 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
통신부(160)는 영역 내의 환경 상태를 제어하기 위한 제어 시스템과 통신을 수행할 수도 있다. 제어 시스템은, 영역 내의 조명을 제어하기 위한 조명 시스템, 온도를 조정하기 위한 히터나 에어컨, 습도를 조절하기 위한 가습기나 제습기 등과 같은 다양한 시스템이 될 수 있다.
제어부(150)는 사용자 상태가 감지되면, 그 사용자 상태에 따라 환경 상태를 조정하기 위한 제어 신호를 생성하여, 통신부(160)를 통해 제어 시스템으로 전송할 수 있다. 이에 따라, 사용자의 감성에 맞는 멀티미디어 컨텐츠를 재생하는 한편, 조명이나 온도, 습도까지 사용자의 상태에 맞게 조절하여, 사용자의 기분을 달래주거나 사용자의 흥을 돋울 수 있다. 일 예로, 도 3에 도시된 바와 같이, 사용자가 피곤한 상태라면, 제어부(150)는 사용자가 휴식을 취할 수 있는 멀티미디어 컨텐츠를 선택하여 재생하는 한편, 조명을 은은하게 조정하고, 온도도 따뜻하게 조정할 수 있다.
도 9와 같이 휴대형 단말 장치로 구현된 경우, 컨텐츠 재생 시스템(100)의 제어부(150)는 위치 감지부(170)에서 감지된 위치에 대응하는 선택 기준에 기초하여, 사용자 상태에 부합하는 멀티미디어 컨텐츠를 선택할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 컨텐츠 재생 방법을 설명하기 위한 흐름도이다. 도 10에 따르면, 컨텐츠 재생 시스템(100)은 멀티미디어 컨텐츠를 분류 및 저장할 수 있다(S1110). 구체적으로는, 컨텐츠 재생 시스템(100)은 퍼지 지스트 알고리즘을 이용하여 멀티미디어 컨텐츠의 특성 정보를 검출한다. 또한, 해당 멀티미디어 컨텐츠를 감상하는 사용자의 감상 상태도 감지한다. 컨텐츠 재생 시스템(100)은 특성 정보 및 감상 상태 중 적어도 하나에 따라 멀티미디어 컨텐츠를 분류한다. 구체적인 분류 방법은 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
이러한 상태에서, 컨텐츠 재생 시스템(100)은 사용자 상태가 감지되면(S1020), 그 감지 결과에 대응되는 그룹에 포함된 멀티미디어 컨텐츠를 자동으로 선택하여 재생한다(S1030). 사용자 상태 감지 방법 및 멀티미디어 컨텐츠 선택 방법에 대해서는 상술한 다양한 실시 예들에서 구체적으로 설명한 바 있으므로 중복 설명은 생략한다.
도 11은 본 발명의 또 다른 실시 예에 따른 컨텐츠 재생 방법을 설명하기 위한 흐름도이다. 도 11에 따르면, 컨텐츠 재생 시스템(100)은 기 설정된 이벤트가 발생하면(S1210), 위치, 사용자 수, 시간 등과 같은 다양한 항목을 확인할 수 있다(S1220, S1230, S1240). 각 항목 별 판단 순서는 다양하게 변경될 수 있으며, 항목의 개수 및 종류 역시 실시 예에 따라 다양하게 변경될 수 있다.
컨텐츠 재생 시스템(100)은 확인 결과에 기초하여 판단 기준을 선택한다(S1250). 이에 따라, 판단 기준에 기초하여, 사용자 상태에 대응되는 그룹을 선택하고(S1260), 선택된 그룹 내에서 멀티미디어 컨텐츠를 선택하여 재생한다(S1270). 판단 기준 선택 방법, 그룹 선택 방법 등은 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
그 밖에도, 상술한 다양한 실시 예에서 설명한 특징들도 컨텐츠 재생 방법에 포함될 수 있다.
가령, 컨텐츠 재생 방법은, 멀티미디어 컨텐츠를 퍼지 지스트(Fuzzy Gist) 알고리즘에 따라 분석하여 특성 정보를 검출하는 단계나, 상기 영역 내에 진입한 상기 사용자의 수, 진입 시간, 영역 특성 중 적어도 하나에 따라 복수의 선택 기준 중 하나의 선택 기준을 상이하게 결정하는 단계 등을 더 포함할 수 있다. 이 경우, 재생하는 단계는, 상기 결정된 선택 기준에 따라 상기 멀티미디어 컨텐츠를 선택할 수 있다.
또는, 상기 사용자 상태에 따라 상기 환경 상태를 조정하기 위한 제어 신호를 생성하여, 상기 영역 내의 환경 상태를 제어하기 위한 제어 시스템으로 전송하는 단계를 더 포함할 수도 있다.
상술한 다양한 실시 예에서 설명한 컨텐츠 재생 방법이나, 분류 방법, 사용자 상태 감지 방법 등은 비일시적 판독 가능 매체에 저장된 프로그램에 의해 수행될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
구체적으로는, 멀티미디어 컨텐츠에 대한 사용자의 감상 상태 및 상기 멀티미디어 컨텐츠의 특성 정보 및 상기 감상 상태 중 적어도 하나에 기초하여, 상기 멀티미디어 컨텐츠를 분류하여 저장하는 단계, 상기 컨텐츠 재생 시스템이 관할하는 영역 내에 상기 사용자가 진입하면, 사용자 상태를 감지하는 단계, 상기 사용자 상태에 대응되는 그룹에 포함된 적어도 하나의 멀티미디어 컨텐츠를 선택하여 재생하는 단계를 순차적으로 수행하기 위한 프로그램 코드가 저장된 비일시적 판독 가능 매체가 사용될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어 져서는 안 될 것이다.
110 : 저장부 120 : 컨텐츠 처리부
130 : 출력부 140 : 감지부
150 : 제어부

Claims (15)

  1. 컨텐츠 재생 시스템에 있어서,
    멀티미디어 컨텐츠를 재생하는 컨텐츠 처리부;
    재생된 상기 멀티미디어 컨텐츠를 출력하는 출력부;
    상기 멀티미디어 컨텐츠에 대한 사용자의 감상 상태를 감지하기 위한 감지부;
    복수의 서로 다른 그룹을 저장하기 위한 저장부;
    상기 멀티미디어 컨텐츠의 특성 정보 및 상기 감상 상태 중 적어도 하나에 대응되는 그룹으로 상기 멀티미디어 컨텐츠를 분류하여 상기 저장부에 저장하는 제어부;를 포함하며,
    상기 제어부는,
    상기 컨텐츠 재생 시스템이 관할하는 영역 내에 상기 사용자가 진입하면, 사용자 상태를 감지하고, 상기 저장부에 저장된 멀티미디어 컨텐츠 중에서 상기 사용자 상태에 대응되는 적어도 하나의 멀티미디어 컨텐츠를 선택하고, 상기 컨텐츠 처리부를 제어하여 상기 선택된 멀티미디어 컨텐츠를 재생하고,
    상기 멀티미디어 컨텐츠를 퍼지 지스트(Fuzzy Gist) 알고리즘에 따라 분석하여 상기 특성 정보를 검출하는 컨텐츠 재생 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 제어부는,
    상기 영역 내에 진입한 상기 사용자의 수 및 시간 중 적어도 하나에 따라 복수의 선택 기준 중 하나의 선택 기준을 상이하게 결정하고, 결정된 선택 기준에 따라 상기 멀티미디어 컨텐츠를 선택하는 것을 특징으로 하는 컨텐츠 재생 시스템.
  4. 제3항에 있어서,
    상기 감지부는, 상기 영역 내에서 발생하는 음성 신호를 입력받기 위한 마이크부를 포함하며,
    상기 제어부는,
    상기 음성 신호가 입력되면, 상기 음성 신호에 기초하여 상기 사용자 상태를 판단하고, 상기 판단된 사용자 상태에 대응되는 상기 멀티미디어 컨텐츠를 선택하는 것을 특징으로 하는 컨텐츠 재생 시스템.
  5. 제3항에 있어서,
    상기 감지부는, 카메라를 포함하며,
    상기 제어부는,
    상기 카메라에서 촬상된 이미지 내에서 사용자 이미지를 검출하고, 검출된 상기 사용자 이미지를 분석하여 상기 사용자 상태를 판단하며, 상기 판단된 사용자 상태에 대응되는 상기 멀티미디어 컨텐츠를 선택하는 것을 특징으로 하는 컨텐츠 재생 시스템.
  6. 제1항에 있어서,
    상기 컨텐츠 재생 시스템이 복수의 영역을 관할하는 경우, 상기 저장부는, 상기 복수의 영역 각각에 대해 상이하게 설정된 복수의 선택 기준을 저장하며,
    상기 제어부는, 상기 복수의 영역 중 상기 사용자가 진입한 영역에 대응되는 선택 기준에 기초하여 상기 사용자 상태에 대응되는 그룹을 선택하고, 선택된 상기 그룹 내에서 상기 적어도 하나의 멀티미디어 컨텐츠를 랜덤하게 선택하는 것을 특징으로 하는 컨텐츠 재생 시스템.
  7. 제1항에 있어서,
    상기 영역 내의 환경 상태를 제어하기 위한 제어 시스템과 통신을 수행하기 위한 통신부;를 더 포함하며,
    상기 제어부는,
    상기 사용자 상태에 따라 상기 환경 상태를 조정하기 위한 제어 신호를 생성하여, 상기 통신부를 통해 상기 제어 시스템으로 전송하며,
    상기 제어 시스템은,
    상기 영역 내의 조명, 온도 및 습도 중 적어도 하나를 제어하기 위한 시스템인 것을 특징으로 하는 컨텐츠 재생 시스템.
  8. 제1항, 제3항, 제4항, 제5항, 제6항 또는 제7항 중 어느 한 항에 있어서,
    상기 컨텐츠 재생 시스템의 위치를 감지하기 위한 위치 감지부;를 더 포함하며,
    상기 제어부는, 상기 위치 감지부에서 감지된 상기 위치가 상기 컨텐츠 재생 시스템이 관할하는 영역에 대응되면, 상기 컨텐츠 재생 시스템을 휴대한 상기 사용자가 상기 컨텐츠 재생 시스템이 관할하는 영역 내로 진입한 것으로 판단하는 것을 특징으로 하는 컨텐츠 재생 시스템.
  9. 제1항, 제3항, 제4항, 제5항, 제6항 또는 제7항 중 어느 한 항에 있어서,
    상기 감상 상태는,
    흥분 상태, 안정 상태, 우울 상태, 수면 상태, 피로 상태 중 적어도 하나를 포함하며,
    상기 특성 정보는,
    진정 효과, 흥분 효과, 위로 효과 및 스트레스 해소 효과 중 적어도 하나의 효과에 대한 정보를 포함하는 것을 특징으로 하는 컨텐츠 재생 시스템.
  10. 컨텐츠 재생 시스템의 컨텐츠 재생 방법에 있어서,
    멀티미디어 컨텐츠를 퍼지 지스트(Fuzzy Gist) 알고리즘에 따라 분석하여 특성 정보를 검출하는 단계;
    상기 멀티미디어 컨텐츠에 대한 사용자의 감상 상태 및 상기 검출된 멀티미디어 컨텐츠의 특성 정보 중 적어도 하나에 기초하여, 상기 멀티미디어 컨텐츠를 분류하여 저장하는 단계;
    상기 컨텐츠 재생 시스템이 관할하는 영역 내에 상기 사용자가 진입하면, 사용자 상태를 감지하는 단계;
    상기 사용자 상태에 대응되는 그룹에 포함된 적어도 하나의 멀티미디어 컨텐츠를 선택하여 재생하는 단계;를 포함하는 컨텐츠 재생 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 영역 내에 진입한 상기 사용자의 수, 진입 시간, 영역 특성 중 적어도 하나에 따라 복수의 선택 기준 중 하나의 선택 기준을 상이하게 결정하는 단계;를 더 포함하며,
    상기 재생하는 단계는,
    상기 결정된 선택 기준에 따라 상기 멀티미디어 컨텐츠를 선택하는 것을 특징으로 하는 컨텐츠 재생 방법.
  13. 제12항에 있어서,
    상기 사용자 상태에 따라 환경 상태를 조정하기 위한 제어 신호를 생성하여, 상기 영역 내의 환경 상태를 제어하기 위한 제어 시스템으로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
  14. 제10항, 제12항 또는 제13항 중 어느 한 항에 있어서,
    상기 컨텐츠 재생 시스템은 휴대형 단말 장치인 것을 특징으로 하는 컨텐츠 재생 방법.
  15. 제10항, 제12항 또는 제13항 중 어느 한 항에 있어서,
    상기 감상 상태는,
    흥분 상태, 안정 상태, 우울 상태, 수면 상태, 피로 상태 중 적어도 하나를 포함하며,
    상기 특성 정보는,
    진정 효과, 흥분 효과, 위로 효과 및 스트레스 해소 효과 중 적어도 하나의 효과에 따른 AV 정보를 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
KR1020140000742A 2014-01-03 2014-01-03 컨텐츠 재생 시스템 및 그 방법 KR101483635B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140000742A KR101483635B1 (ko) 2014-01-03 2014-01-03 컨텐츠 재생 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140000742A KR101483635B1 (ko) 2014-01-03 2014-01-03 컨텐츠 재생 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101483635B1 true KR101483635B1 (ko) 2015-01-19

Family

ID=52590735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000742A KR101483635B1 (ko) 2014-01-03 2014-01-03 컨텐츠 재생 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101483635B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246535A (ja) * 2003-02-13 2004-09-02 Sony Corp 再生方法、再生装置およびコンテンツ配信システム
JP2005034484A (ja) * 2003-07-17 2005-02-10 Sony Corp 音響再生装置、映像再生装置、及び映像音声再生方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246535A (ja) * 2003-02-13 2004-09-02 Sony Corp 再生方法、再生装置およびコンテンツ配信システム
JP2005034484A (ja) * 2003-07-17 2005-02-10 Sony Corp 音響再生装置、映像再生装置、及び映像音声再生方法

Similar Documents

Publication Publication Date Title
US10966044B2 (en) System and method for playing media
CN105472423B (zh) 用于控制显示设备的用户终端及其控制方法
US11250544B2 (en) Display device for visualizing contents as the display is rotated and control method thereof
KR102207208B1 (ko) 음악 정보 시각화 방법 및 장치
CN105323607B (zh) 显示设备及其操作方法
US20150029089A1 (en) Display apparatus and method for providing personalized service thereof
KR20160144400A (ko) 주변 조건들에 기초하여 출력 디스플레이를 발생시키는 시스템 및 방법
CN110740262A (zh) 背景音乐的添加方法、装置及电子设备
KR102640234B1 (ko) 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치
US10678563B2 (en) Display apparatus and method for controlling display apparatus
KR102523135B1 (ko) 전자 장치 및 전자 장치에 의한 자막 표현 방법
KR20150047803A (ko) 인공지능 오디오 장치 및 그 동작 방법
CN109147745A (zh) 歌曲编辑处理方法、装置、电子设备及存储介质
KR20170039379A (ko) 전자 장치 및 이의 제어 방법
CN111027037A (zh) 验证用户身份的方法以及电子设备
CN112235635B (zh) 动画显示方法、装置、电子设备及存储介质
US11514107B2 (en) Image display apparatus and operation method of the same
US11699289B2 (en) Display device for generating multimedia content, and operation method of the display device
KR20150081824A (ko) 사용자 감정 기반 디지털 멀티미디어 제어장치 및 그 방법
KR101483635B1 (ko) 컨텐츠 재생 시스템 및 그 방법
KR102160736B1 (ko) 디스플레이 장치 및 디스플레이 장치의 표시 방법
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
JP7371299B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR102585777B1 (ko) 전자 장치 및 그 제어방법
CN112348927B (zh) 一种数据处理方法、装置、设备和机器可读介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171208

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 6