KR20210015410A - 디스플레이 장치 및 이의 제어 방법 - Google Patents

디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20210015410A
KR20210015410A KR1020190094204A KR20190094204A KR20210015410A KR 20210015410 A KR20210015410 A KR 20210015410A KR 1020190094204 A KR1020190094204 A KR 1020190094204A KR 20190094204 A KR20190094204 A KR 20190094204A KR 20210015410 A KR20210015410 A KR 20210015410A
Authority
KR
South Korea
Prior art keywords
user
content
emotion
output
display device
Prior art date
Application number
KR1020190094204A
Other languages
English (en)
Inventor
홍진호
바이잘 아난트
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190094204A priority Critical patent/KR20210015410A/ko
Priority to PCT/KR2020/005426 priority patent/WO2021025264A1/ko
Publication of KR20210015410A publication Critical patent/KR20210015410A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 장치 및 제어 방법이 개시된다. 본 디스플레이 장치의 제어 방법은 컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력하는 단계, 적어도 하나의 컨텐츠가 출력되는 동안 출력되는 적어도 하나의 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 적어도 하나의 컨텐츠를 시청하는 사용자의 감정을 식별하여 저장하는 단계 및 컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 저장된 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하는 단계를 포함할 수 있다.

Description

디스플레이 장치 및 이의 제어 방법{Display apparatus and Method for controlling the display apparatus thereof}
본 개시는 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 출력되는 컨텐츠를 분석하고 컨텐츠가 종료된 후 사용자의 감정에 대응되는 추천 이미지를 제공하는 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
현대인들은 자기 감정을 스스로 표현하는 데 어려움을 겪고 있고, 많은 소비자들이 감정 큐레이션 서비스가 자신의 기분을 맞춤형으로 조절해주기를 바라고 있다. 여기서 맞춤형이란 미술관의 큐레이터가 상황에 맞는 전시물을 골라내 듯이 사용자의 상황에 맞는 감정을 큐레이션해서 대신 맞춰주는 것을 의미한다.
또한, 근래에는 감정 큐레이션 서비스의 하나로 사용자의 감정을 자동으로 감지하고 분석하여 그에 맞는 서비스를 제공하는 감성 컴퓨팅 및 AI 분야가 각광받고 있는 실정이다. 감성 컴퓨팅 및 AI 기술은 사용자의 감정을 하나의 Method(카메라 등)으로 인식하여, 감정 정보에 따른 컨텐츠를 추천하는 기술이다.
다만, 종래 기술은 사용자의 감정을 파악하기 위하여 카메라, 마이크 등의 추가적인 하드웨어가 필요하고, 인식률이 낮아 사용자에게 적절한 컨텐츠를 추천할 수 없는 단점이 존재한다.
또한, 사람의 감정을 파악하기 위한 Method가 적고, 복수의 사용자의 감정을 파악하기 어려운 단점이 존재한다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 TV를 시청하는 동안 사용자의 감정을 분석 및 예측하고, TV 시청이 종료되는 대기 모드 상태에서 추천 그림을 제공하는 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력하는 단계, 상기 적어도 하나의 컨텐츠가 출력되는 동안 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 상기 적어도 하나의 컨텐츠를 시청하는 사용자의 감정을 식별하여 저장하는 단계 및 상기 컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 상기 저장된 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하는 단계를 포함할 수 있다.
그리고, 상기 저장하는 단계는 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 BGM(back ground music)을 추출하고, 상기 추출된 BGM을 분석하여 상기 사용자의 감정을 식별할 수 있다.
그리고, 상기 저장하는 단계는 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 발화 음성 및 상기 발화 음성에 포함된 키워드를 추출하고, 상기 추출된 발화 음성 및 상기 키워드를 분석하여 상기 사용자의 감정을 식별할 수 있다.
그리고, 상기 저장하는 단계는 상기 출력되는 적어도 하나의 컨텐츠의 제목, 줄거리, 장르, 타입 및 시리즈 종류 중 적어도 하나를 포함하는 메타데이터를 분석하여 컨텐츠 유형을 판단하고, 상기 판단된 컨텐츠 유형을 바탕으로 상기 사용자의 감정을 식별할 수 있다.
그리고, 상기 저장하는 단계는 상기 컨텐츠 재생 모드 동안 복수의 컨텐츠가 출력된 경우, 상기 복수의 컨텐츠 각각에 대응되는 복수의 사용자의 감정을 식별하고, 상기 추천 이미지를 제공하는 단계는 상기 복수의 컨텐츠 각각의 시작 시점부터 경과한 시간 및 상기 복수의 컨텐츠 각각의 출력 시간을 바탕으로 상기 복수의 사용자의 감정 각각에 대응되는 추천 이미지의 출력 시간 및 출력 순서 중 적어도 하나를 결정할 수 있다.
그리고, 상기 추천 이미지를 제공하는 단계는 가중치 및 상기 출력 시간을 바탕으로 상기 추천 이미지의 우선순위를 결정하고, 상기 결정된 우선순위에 기초하여 상기 적어도 하나의 추천 이미지를 순차적으로 제공할 수 있다.
그리고, 상기 적어도 하나의 컨텐츠가 출력되는 동안 사용자의 발화 음성 또는 얼굴 표정을 센싱하는 단계를 포함하고, 상기 저장하는 단계는 상기 센싱된 사용자의 발화 음성 또는 얼굴 표정을 분석하고, 상기 분석된 사용자의 발화 음성 또는 얼굴 표정을 고려하여 상기 사용자의 감정을 식별할 수 있다.
또한, 상기 대기 모드에 진입하면, 상기 저장된 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보를 제공하는 단계를 포함하고, 상기 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보는 상기 사용자의 감정, 상기 추천 이미지의 작품명, 작가 이름, 작품에 대한 설명, 시청 시간 및 상기 사용자의 감정에 작용하는 효과 중 적어도 하나에 대한 텍스트 정보를 포함할 수 있다.
그리고, 상기 추천 이미지를 제공하는 단계는 상기 대기 모드에서 상기 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하는 동안, 상기 제공된 추천 이미지에 대응되는 오디오를 출력할 수 있다.
그리고, 상기 대기 모드에서 상기 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하고, 상기 제공된 추천 이미지에 대한 피드백을 입력받는 단계를 포함하고, 상기 추천 이미지를 제공하는 단계는 상기 입력된 피드백을 고려하여 적어도 하나의 추천 이미지를 제공할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치는 디스플레이, 메모리 및 컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력하도록 상기 디스플레이를 제어하고, 상기 적어도 하나의 컨텐츠가 출력되는 동안 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 상기 적어도 하나의 컨텐츠를 시청하는 사용자의 감정을 식별하여 상기 메모리에 저장하고, 상기 컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 상기 저장된 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하도록 상기 디스플레이를 제어하는 프로세서를 포함할 수 있다.
그리고, 상기 프로세서는 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 BGM(back ground music)을 추출하고, 상기 추출된 BGM을 분석하여 상기 사용자의 감정을 식별할 수 있다.
그리고, 상기 프로세서는 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 발화 음성 및 상기 발화 음성에 포함된 키워드를 추출하고, 상기 추출된 발화 음성 및 상기 키워드를 분석하여 상기 사용자의 감정을 식별할 수 있다.
그리고, 상기 프로세서는 상기 출력되는 적어도 하나의 컨텐츠의 제목, 줄거리, 장르, 타입 및 시리즈 종류 중 적어도 하나를 포함하는 메타데이터를 분석하여 컨텐츠 유형을 판단하고, 상기 판단된 컨텐츠 유형을 바탕으로 상기 사용자의 감정을 식별할 수 있다.
그리고, 상기 프로세서는 상기 컨텐츠 재생 모드 동안 복수의 컨텐츠가 출력된 경우, 상기 복수의 컨텐츠 각각에 대응되는 복수의 사용자의 감정을 식별하고, 상기 복수의 컨텐츠 각각의 시작 시점부터 경과한 시간 및 상기 복수의 컨텐츠 각각의 출력 시간을 바탕으로 상기 복수의 사용자의 감정 각각에 대응되는 추천 이미지의 출력 시간 및 출력 순서 중 적어도 하나를 결정할 수 있다.
그리고, 상기 프로세서는 가중치 및 상기 출력 시간을 바탕으로 상기 추천 이미지의 우선순위를 결정하고, 상기 결정된 우선순위에 기초하여 상기 추천 이미지를 순차적으로 제공할 수 있다.
그리고, 상기 적어도 하나의 컨텐츠가 출력되는 동안 사용자의 발화 음성을 센싱하는 마이크 또는 얼굴 표정을 센싱하는 카메라를 포함하고, 상기 프로세서는 상기 센싱된 사용자의 발화 음성 또는 얼굴 표정을 분석하고, 상기 분석된 사용자의 발화 음성 또는 얼굴 표정을 고려하여 상기 사용자의 감정을 식별할 수 있다.
또한, 상기 프로세서는 상기 대기 모드에 진입하면, 상기 저장된 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보를 제공하고, 상기 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보는, 상기 사용자의 감정, 상기 추천 이미지의 작품명, 작가 이름, 작품에 대한 설명, 시청 시간 및 상기 사용자의 감정에 작용하는 효과 중 적어도 하나에 대한 텍스트 정보를 포함할 수 있다.
그리고, 상기 프로세서는 상기 대기 모드에서 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하는 동안, 상기 제공된 추천 이미지에 대응되는 오디오를 출력하도록 제어할 수 있다.
그리고, 상기 프로세서는 상기 대기 모드에서 상기 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하고, 상기 제공된 추천 이미지에 대한 피드백을 입력받고, 상기 입력된 피드백을 고려하여 추후 대기 모드에서는 사용자 감정에 더 적절한 하나의 추천 이미지를 제공할 수 있다.
이상 설명한 바와 같이, 본 개시의 다양한 실시 예에 따르면, 디스플레이 장치 및 제어 방법은 TV의 컨텐츠가 종료된 후, 대기 모드에서 식별된 사용자의 감정에 대응되는 그림을 자동으로 큐레이션하여 사용자에게 제공할 수 있다.
또한, 본 개시에 따른 디스플레이 장치 및 제어 방법은 재생된 컨텐츠를 바탕으로 사용자의 감정을 식별하므로 카메라, 마이크 등의 외부장치의 필요 없이 추천 이미지를 사용자에게 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따라 추천 이미지를 제공하는 디스플레이 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 간략히 도시한 블록도이다.
도 3은 본 개시의 다른 실시 예에 따른 디스플레이 장치의 구성을 상세히 도시한 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 오디오 데이터의 분석하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 컨텐츠 분석 결과에 대한 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 추천 이미지에 대한 피드백을 받는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 추천 이미지에 대응되는 오디오 출력을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 발명의 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 제어부에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하도록 한다.
도 1은 본 개시의 일 실시 예에 따라 추천 이미지를 제공하는 디스플레이 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 디스플레이 장치(100)에 컨텐츠 재생 모드에서 출력되는 컨텐츠(11)와 대기 모드에서 추천 이미지(12) 및 추천 이미지의 관련 정보(13)가 도시되어 있다.
여기서, 컨텐츠 재생 모드는 디스플레이 장치(100)가 드라마, 영화, 방송 프로그램 및 광고를 포함하는 컨텐츠를 출력할 수 있는 상태를 의미할 수 있고, 대기 모드는 사용자의 명령 또는 입력 신호를 기다리기 위한 모드일 수 있다. 구체적으로, 대기 모드는 디스플레이 장치(100)의 구성 중 일부 구성만을 동작하거나 컨텐츠 재생 모드보다 적은 소비 전력으로 디스플레이 장치(100)를 구동하는 모드일 수 있다.
예를 들어, 디스플레이 장치(100)가 멀티 코어 프로세서를 포함하는 경우, 대기 모드는 멀티 코어 프로세서 중 일부 프로세서만이 동작하는 모드일 수 있다. 다른 예로, 디스플레이 패널이 복수의 백라이트를 포함하는 경우, 대기 모드는 모든 백라이트를 켜지 않고 일부 백라이트만이 동작하는 모드일 수 있다. 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 대기 모드 동안 명화, 인물사진, 풍경 사진을 포함하는 추천 이미지(12)를 제공할 수 있다.
디스플레이 장치(100)는 컨텐츠 재생 모드 동안 컨텐츠를 출력하고, 디스플레이 장치(100)는 컨텐츠가 출력되는 동안 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 컨텐츠를 시청하는 사용자의 감정을 식별할 수 있다. 특히, 디스플레이 장치(100)는 출력되는 복수의 컨텐츠 각각에 대응되는 복수의 사용자의 감정을 식별하고, 식별한 사용자의 감정을 저장할 수 있다.
그리고, 디스플레이 장치(100)는 컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 저장된 사용자의 감정에 대응되는 추천 이미지를 제공할 수 있다. 추천 이미지(12)는 도 1에 도시된 바와 같이, 관련 정보(13)와 함께 제공될 수 있다. 여기서, 관련 정보(13)는 추천 이미지의 작품명, 작가 이름, 작품에 대한 설명 및 작품의 감상 효과 중 하나에 대한 텍스트 정보를 포함하는 정보일 수 있다.
디스플레이 장치(100)는 복수의 사용자 감정에 대응되는 복수의 추천 이미지를 사용자에게 제공할 수 있다. 복수의 컨텐츠가 출력되는 경우, 디스플레이 장치(100)는 복수의 컨텐츠 각각의 시작 시점부터 경과한 시간 및 복수의 컨텐츠 각각의 출력 시간을 바탕으로 추천 이미지의 출력 시간 및 출력 순서를 결정할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 간략히 도시한 블록도이다.
도 2를 참조하면, 디스플레이 장치(100)는 디스플레이(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
디스플레이(110)는 프로세서(130)의 제어에 따라 다양한 정보를 제공할 수 있다. 특히, 디스플레이(110)는 프로세서(130)의 제어에 의해 컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력할 수 있다.
그리고, 컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 디스플레이(110)는 프로세서(130)의 제어에 따라 적어도 하나의 추천 이미지를 제공할 수 있다.
디스플레이 장치(100)가 복수의 추천 이미지를 제공하는 경우, 디스플레이(110)는 프로세서(130)에 의하여 결정된 추천 이미지의 출력 시간 및 출력 순서에 따라 추천 이미지를 우선순위에 따라 순차적으로 제공할 수 있다.
또한, 디스플레이(110)는 추천 이미지와 함께 해당 추천 이미지의 관련 정보를 제공할 수 있다.
여기서 추천 이미지의 관련 정보는 작품명, 작가 이름, 작품에 대한 설명 및 사용자의 감정에 작용하는 효과 중 적어도 하나에 대한 텍스트 정보를 포함할 수 있다.
그리고, 디스플레이(110)는 사용자의 감정에 대응되는 추천 이미지를 제공하고, 추천 이미지에 대한 피드백을 위하여 사용자 입력을 받는 UI(user interface)를 제공할 수 있다.
그리고, 디스플레이(110)의 화면 비율은 16:9일 수 있으며, 터치 패널과 함께 터치 스크린으로 구현될 수 있다. 다만 이는 일 실시 예일뿐이고, 디스플레이(110)는 다양하게 구현될 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 디스플레이(110)를 포함할 수 있으나, 이는 일 실시 예에 불과할 뿐, 디스플레이(110)를 구비하지 않은 전자 장치 형태로 구현될 수 있다. 예로, 셋탑 박스 등과 같은 디스플레이(110)를 구비하지 않은 전자 장치에도 본 개시의 기술적 사상이 적용될 수 있다. 셋탑 박스와 같은 디스플레이(100)를 구비하지 않은 전자 장치로 구현되는 경우, 전자 장치는 획득된 추천 이미지를 외부의 디스플레이 장치로 출력(또는 전송)할 수 있다.
메모리(120)는 출력되는 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 식별된 사용자의 감정을 저장할 수 있다. 여기서, 메타데이터는 외부의 서버(미도시)로부터 컨텐츠와 함께 전송되는 데이터로, 컨텐츠의 제목, 줄거리, 장르, 타입 및 시리즈 종류 중 적어도 하나를 포함할 수 있다. 메모리(120)는 외부의 서버로부터 수신한 메타데이터를 저장할 수 있다.
또한, 메모리(120)는 디스플레이 장치(100)의 적어도 하나의 다른 구성요소에 관계된 인스트럭션(Instruction) 또는 데이터를 저장할 수 있다. 특히, 메모리(120)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(120)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(120), 프로세서(130) 내 롬(미도시), 램(미도시) 또는 디스플레이 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 메모리(120)에는 디스플레이(110)의 디스플레이 영역에 제공될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
또한, 메모리(120)는 사용자의 감정에 대응되는 추천 이미지 및 추천 이미지의 관련 정보를 저장할 수 있다. 그리고, 메모리(120)는 art(그림) 전문가에 의하여 분류된 사용자의 감정에 따른 추천 이미지를 매칭한 정보를 저장할 수 있다. 프로세서(130)는 메모리(120) 및 디스플레이(110)와 전기적으로 연결되어 디스플레이 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 특히, 프로세서(130)는 컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력하도록 디스플레이(110)를 제어할 수 있고, 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 컨텐츠를 시청하는 사용자의 감정을 식별하여 메모리(120)에 저장할 수 있다.
프로세서(130)는 통신 인터페이스(170)가 외부의 서버로부터 수신한 메타데이터 및 메타데이터와 관련된 정보를 분석하여 컨텐츠 유형을 판단할 수 있다. 프로세서(130)는 컨텐츠 유형을 바탕으로, 사용자의 감정을 추정 및 식별할 수 있다. 메타데이터는 컨텐츠의 제목, 줄거리, 장르, 타입 및 시리즈 종류를 포함하는 텍스트 데이터일 수 있고, 프로세서(130)는 메타데이터로부터 '키워드'를 추출하여 사용자의 감정을 식별할 수도 있다. 예컨대, 프로세서(130)는 컨텐츠의 줄거리에 포함되어 있는'죽음', '살해' 등의 단어를 바탕으로 사용자의 감정을 '분노', '두려움' 등으로 식별할 수 있다.
그리고, 프로세서(130)는 저장된 사용자의 감정에 대응하는 추천 이미지를 제공할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(130)는 사용자의 감정에 따라 대응되는 추천 이미지를 결정하는 데, 프로세서(130)는 Art(그림) 전문가에 의하여 분류된 표 1를 바탕으로 추천 이미지를 제공할 수 있다.
사용자 감정 그림 작가 그림 제목
사랑 로렌스 알마 타데마 더 묻지 마세요
행복 장 오노레 프라고나르 그네
화남 잭슨 폴락 가을의 리듬: 넘버30
슬픔 후고 짐베르크 부상당한 천사
놀람(긴장) 폴 고갱 기도하는 브르타뉴의 여인
분노(상처) 아르테미시아 젠틸레스키 류트를 든 자화상
싫음(실망) 클로드 모네 임종을 맞은 카미유
고생(힘듦) 빈센트 반 고흐 밤의 카페 테라스
짜증 앙리 마티스 붉은 조화
불안 산드로 보티첼리 비너스의 탄생
위로 빈센트 반 고흐 우체부 조제프 롤랭의 초상
우울 존 커리 아약스
표 1를 참조하면, 표 1은 사용자의 감정에 따라 대응되는 추천 이미지에 대한 정보를 포함하고 있다. 예를 들어, 프로세서(130)가 사용자의 감정을 '행복'으로 식별하는 경우, 프로세서(130)는 '로렌스 알마 타데마' 작가의 '더 묻지 마세요'라는 작품을 추천 이미지로 제공할 수 있다.
본 개시의 다른 실시 예에 따르면, 프로세서(130)는 사용자의 감정에 대응되는 추천 이미지를 제공하고, 제공된 추천 이미지에 대한 피드백을 바탕으로 추천 이미지를 제공할 수 있다.
예를 들어, 프로세서(130)는 '추천 이미지가 사용자에게 도움이 되었는 지'와 관련하여 0점에서 10점의 점수(피드백)을 입력 받을 수 있다. 점수가 0점에 가까울수록 해당 추천 이미지가 사용자에게 효과가 없음을 의미할 수 있다. 효과가 없는 추천 이미지는 다음에 제공되는 추천 이미지에서 제외될 수 있다. 반면에, 점수가 10점에 가까울수록 해당 추천 이미지가 사용자에게 효과가 있음을 의미할 수 있다. 즉, 프로세서(130)는 사용자의 피드백을 학습할 수 있고, 학습한 데이터를 바탕으로 더 향상된 추천 이미지를 제공할 수 있다.
본 개시의 다른 실시 예에 따르면, 프로세서(130)는 사용자가 지정한 감정별 이미지에 기초하여 추천 이미지를 제공할 수 있다. 예를 들어, 사용자가 사용자의 감정이 '화남' 상태일 때, '비오는 이미지'를 추천 이미지로 지정한 경우, 프로세서(130)는 사용자의 감정을'화남'으로 식별할 때 사용자가 지정한 '비오는 이미지'를 추천 이미지로 제공할 수 있다.
그리고, 컨텐츠 재생 모드 동안 복수의 컨텐츠가 출력된 경우, 프로세서(130)는 복수의 컨텐츠 각각에 대응되는 복수의 사용자의 감정을 식별하고, 식별된 복수의 사용자 감정에 대한 정보를 메모리(120)에 저장할 수 있다. 또한 프로세서(130)는 복수의 컨텐츠 각각의 시작 시점부터 경과한 시간 및 복수의 컨텐츠 각각의 출력 시간을 바탕으로 복수의 사용자의 감정 각각에 대응되는 추천 이미지의 출력 시간 및 출력 순서 중 적어도 하나를 결정할 수 있다. 프로세서(130)는 결정된 출력 시간 및 출력 순서에 따라 적어도 하나의 추천 이미지를 순차적으로 제공하도록 디스플레이(110)를 제어할 수 있다.
컨텐츠 번호 사용자 감정 경과한 시간 시청 시간 컨텐츠 보상 가중치 컨텐츠 분석 결과
1 행복 3분 전 3분 1~15분 전:1
16~30분 전:2
31~45분 전:3
46~60분 전:4		 1/3*3*1=1
2 위로 30분 전 27분 1/30*27*2=1.8
3 슬픔 45분 전 15분 1/45*15*3=0.99
4 놀람 50분 전 5분 1/50*5*4=0.4
5 우울 60분 전 10분 1/60*10*4=0.66
예컨대, 사용자가 표 2와 같이 컨텐츠를 시청한 경우, 프로세서(130)는 컨텐츠 각각의 시작 시점부터 경과한 시간 및 복수의 컨텐츠 각각의 출력 시간에 컨텐츠 보상 가중치를 적용하여 컨텐츠 분석 결과를 수치로 산출 할 수 있다.
여기서, 컨텐츠 분석 결과는
Figure pat00001
를 수치로 나타낸 값이다. 컨텐츠 분석 결과에 따라 현재 우세한 사용자의 감정이 무엇인지 파악할 수 있다. 일 예로, 프로세서(130)가 출력된 컨텐츠를 분석하여 표 2의 컨텐츠 분석 결과가 나온 경우, 프로세서(130)는 현재 가장 높은 수치(1.8)인 '위로'를 현재 사용자의 감정으로 식별할 수 있다. 프로세서(130)는 사용자의 감정인 '위로'에 대응하는 추천 이미지를 제공할 수 있다.
도 3은 본 개시의 다른 실시 예에 따른 디스플레이 장치의 구성을 상세히 도시한 블록도이다.
도 3을 참조하면, 디스플레이 장치(100)는 디스플레이(110), 메모리(120), 프로세서(130), 카메라(140), 마이크(150), 입력 인터페이스(160), 통신 인터페이스(170) 및 오디오 출력부(180)를 포함할 수 있다. 한편, 디스플레이(110), 메모리(120) 및 프로세서(130)에 관하여 도 2에서의 설명과 중복되는 설명은 생략한다.
디스플레이 장치(100)는 사용자의 얼굴을 촬상하기 위한 카메라(140)를 포함할 수 있다. 또는 카메라(140)는 디스플레이 장치(100)와 무선 통신 방식이 가능한 외부 장치에 포함되어 구현될 수도 있다.
디스플레이 장치(100)는 카메라(140)를 통하여 사용자의 얼굴 표정을 입력 받을 수 있고, 입력 받은 사용자의 얼굴 표정을 통하여 사용자의 감정을 식별할 수 있다. 구체적으로, 카메라(140)가 사용자의 얼굴을 촬상하면 프로세서(130)는 얼굴 인식 및 표정 분석 모듈(미도시)을 통하여 사용자의 감정을 직접 식별할 수 있다. 예컨대, 카메라(140)가 촬상한 사용자의 찡그린 얼굴 표정에 기초하여, 프로세서(130)는 사용자의 감정을 '기분 나쁨'으로 식별할 수 있다.
디스플레이 장치(100)는 사용자의 발화 음성을 센싱하기 위한 마이크(150)를 포함할 수 있다. 또는 마이크(150)는 디스플레이 장치(100)와 무선 통신 방식이 가능한 외부 장치에 포함되어 구현될 수 도 있다. 일 실시 예로, 외부 장치는 리모컨(remote control), AI Speaker, 스마트폰 또는 웨어러블 장치 중 적어도 하나일 수 있다.
디스플레이 장치(100)는 마이크(150)를 통하여 사용자의 발화 음성을 입력 받을 수 있고, 입력 받은 사용자의 발화 음성을 통하여 사용자의 감정을 직접 식별할 수 있다. 구체적으로, 마이크(150)에 의하여 사용자의 발화 음성이 직접 입력되면, 프로세서(130)는 STT(Speech to Text) 모듈(미도시)을 통하여 사용자의 감정을 직접 식별할 수 있다. 예를들어, 마이크(150)가 센싱한"빅스비, 나 화났어(Bixby, I'm angry today)"라는 발화 음성을 기초하여, 프로세서(130)가 사용자의 감정을 '화남'으로 식별할 수 있다.
디스플레이 장치(100)는 사용자 명령을 수신받기 위한 입력 인터페이스(160)를 포함할 수 있다. 입력 인터페이스(160)는 디스플레이 장치(100)를 제어하기 위한 사용자 명령을 수신할 수 있다. 특히 입력 인터페이스(160)에 사용자의 손 또는 스타일러스 펜 등을 이용한 사용자 터치를 입력 받기 위한 터치 패널, 사용자 조작을 입력 받기 위한 물리적 버튼 등이 포함될 수 있다. 그 밖에, 입력 인터페이스(160)는 디스플레이 장치(100)와 무선 통신 방식이 가능한 외부 장치에 포함되어 구현될 수 도 있다. 일 실시 예로, 외부 장치는 리모컨(remote control), 가상 키보드, 스마트폰 또는 웨어러블 장치 중 적어도 하나로 구현될 수 있다.
입력 인터페이스(160)는 컨텐츠 재생 모드 동안 컨텐츠를 출력하기 위한 사용자 명령을 입력 받을 수 있고, 대기 모드에서 제공된 추천 이미지에 대한 피드백을 입력 받을 수 있다.
디스플레이 장치(100)는 외부 장치와 통신을 수행하기 위한 통신 인터페이스(170)를 포함할 수 있다. 통신 인터페이스(170)는 외부 장치와 통신을 수행하기 위해 다양한 통신 모듈을 포함할 수 있다. 예를 들어, 통신 인터페이스(170)는 NFC 모듈(미도시), 무선 통신 모듈(미도시), 적외선 모듈(미도시) 및 방송 수신 모듈(미도시)을 포함할 수 있다.
통신 인터페이스(170)는 유선 방식뿐만 아니라, WLAN(Wireless LAN), Wi-Fi, DLNA(Digital Living Network Alliance), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE, LTE-A, 블루투스, RFID, 적외선 통신, ZigBee 등의 무선 통신 방식을 통해 외부 장치와 연결될 수 있다.
통신 인터페이스(170)는 다양한 통신 모듈을 이용하여 외부 장치, 특히 외부의 서버(미도시)와 통신을 수행할 수 있다. 통신 인터페이스(170)는 외부의 서버로부터 컨텐츠 재생 모드에서 출력되는 컨텐츠 및 컨텐츠의 메타데이터를 수신할 수 있다.
또한, 디스플레이 장치(100)는 통신 인터페이스(170)를 통하여 외부의 서버로부터 추천 이미지 및 추천 이미지에 대한 설명을 수신할 수 있다. 통신 인터페이스(170)가 외부의 서버로부터 수신한 추천 이미지 및 추천 이미지와 관련된 데이터를 제공할 수 있다.
디스플레이 장치(100)는 컨텐츠의 오디오 데이터를 출력하고 추천 이미지에 대응되는 오디오를 출력하기 위한 오디오 출력부(180)를 포함할 수 있다.
오디오 출력부(180)가 출력하는 컨텐츠의 오디오 데이터는 BGM(back ground music), 컨텐츠에 등장하는 인물의 발화 음성을 포함할 수 있다. 프로세서(130)는 출력되는 컨텐츠의 오디오 데이터를 분석하여 사용자의 감정을 식별할 수 있다. 컨텐츠의 오디오 데이터를 분석하는 과정 및 방법은 도 4에서 후술하기로 한다.
오디오 출력부(180)는 디스플레이(110)가 사용자의 감정에 대응되는 추천 이미지를 제공하는 동안, 추천 이미지에 대응되는 오디오를 출력할 수 있다. 예를 들어, 사용자의 감정이 '흥분'으로 식별된 사용자에게는 '흥분'한 상태를 진정시키기 위한 오디오를 출력할 수 있다.
한편, 오디오 출력부(180)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 오디오 데이터의 분석하는 과정을 설명하기 위한 도면이다.
디스플레이 장치(100)는 컨텐츠 재생 모드에서 출력되는 컨텐츠의 오디오 데이터를 분석하여 컨텐츠를 시청하는 사용자의 감정을 식별하고 저장할 수 있다. 여기서, 컨텐츠의 오디오 데이터는 BGM(back ground music), 컨텐츠에 등장하는 인물의 발화 음성을 포함할 수 있다.
디스플레이 장치(100)는 출력되는 컨텐츠의 오디오 데이터로부터 BGM, 발화 음성, 키워드를 추출하기 위하여 노이즈를 제거할 수 있다(S410). 노이즈 제거는 오디오 데이터에 포함된 불필요한 부분을 삭제하는 전처리 과정이다. 노이즈 제거는 오디오 데이터의 용량을 줄이고, 오디오 데이터 분석의 정확도를 높이기 위한 과정이다.
그리고, 디스플레이 장치(100)는 노이즈가 제거된 컨텐츠의 오디오 데이터로부터 BGM을 추출하여 분석할 수 있다(S420). 구체적으로 디스플레이 장치(100)는 BGM의 분위기를 DB에 기저장된 데이터와 비교하여 사용자의 감정을 판단한다. 예컨대, 공포 영화의 경우 급박한 분위기의 음악을 주로 사용하고, 높은 음이 많으며, 음의 높낮이가 수시로 변하고, 섬뜩한 선율을 사용한다. 따라서, 디스플레이 장치(100)는 BGM의 분위기를 분석함으로써 사용자의 감정을 식별할 수 있다.
그리고, 디스플레이 장치(100)는 노이즈가 제거된 컨텐츠의 오디오 데이터로부터 컨텐츠에 등장하는 인물의 발화 음성을 추출하여 분석할 수 있다(S430). 구체적으로 디스플레이 장치(100)는 컨텐츠에 등장하는 인물의 발화 음성을 DB에 기저장된 데이터와 비교하여 사용자의 감정을 판단한다. 예컨대, 디스플레이 장치(100)는 비명 소리의 특징에 해당하는 발화 음성의 빈도, 등장 인물의 목소리 떨림 등이 존재하는지 판단할 수 있고, 디스플레이 장치(100)는 컨텐츠에 등장하는 인물의 발화 음성의 특징을 분석함으로써 사용자의 감정을 식별할 수 있다.
그리고, 디스플레이 장치(100)는 컨텐츠의 오디오 데이터로부터 컨텐츠에 등장하는 인물의 발화 음성 내의 키워드를 추출하여 분석할 수 있다(S440). 구체적으로 디스플레이 장치(100)는 등장 인물의 발화 음성 내의 키워드를 추출하고 DB에 기저장된 데이터와 비교하여 사용자의 감정을 판단한다. 예컨대, 등장 인물의 발화 음성 내에 '무섭다', '도망가', '귀신' 등의 키워드가 포함될 수 있고, 디스플레이 장치(100)는 DB에 기저장된 데이터와 비교하여 컨텐츠의 특성을 파악할 수 있고, 파악된 컨텐츠의 특성을 바탕으로 사용자의 감정을 식별할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 컨텐츠 분석 결과에 대한 정보를 제공하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 디스플레이 장치(100)의 컨텐츠 재생 모드가 종료된 후, 대기 모드에 진입하면 사용자에게 저장된 사용자의 감정 및 컨텐츠의 분석 결과에 대한 정보(52)를 제공하는 화면(51)이 도시되어 있다.
사용자의 감정 및 컨텐츠의 분석 결과에 대한 정보(52)는 프로세서(130)가 컨텐츠 재생 모드 동안 출력되는 컨텐츠를 분석하여 사용자에게 제공할 수 있다. 사용자의 감정 및 컨텐츠의 분석 결과에 대한 정보(52)는 사용자의 TV 시청 시간, 컨텐츠의 수, 추천 이미지의 작품명, 작가 이름, 작품에 대한 설명 및 사용자의 감정에 작용하는 효과에 대한 텍스트 정보를 포함할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 추천 이미지에 대한 피드백을 받는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 대기 모드에서 사용자의 감정에 대응되는 추천 이미지를 제공하고, 제공된 추천 이미지에 대한 피드백을 위하여 사용자 입력을 받는 UI(user interface)(62)가 제공된 화면(61)이 도시되어 있다. 일 실시 예에 따르면, 디스플레이 장치(100)는 입력 인터페이스(160)를 이용하여 제공된 추천 이미지가 사용자에게 도움이 된 정도를 수치로 입력받을 수 있다. 또는, 다른 실시 예로, 디스플레이 장치(100)는 '분석된 사용자의 감정이 잘못되었는지' 또는 '추천 이미지가 감정 완화에 도움이 되지 않는 지'에 대한 의견을 입력 인터페이스(160)를 이용하여 입력 받을 수 있다. 따라서, 디스플레이 장치(100)는 사용자가 입력한 피드백을 고려하여 사용자의 감정을 분석하거나, 추천 이미지를 제공할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 추천 이미지에 대응되는 오디오 출력을 설명하기 위한 도면이다.
도 7을 참조하면, 사용자의 감정에 대응되는 추천 이미지를 제공하는 화면(71)과 추천 이미지에 대응되는 오디오를 출력하는 디스플레이 장치(100)를 도시한다. 디스플레이 장치(100)는 사용자의 감정을 분석하여 저장하고, 저장된 사용자의 감정을 완화하기 위한 오디오를 출력할 수 있다. 즉, 사용자의 감정을 완화하기 위한 오디오는 컨텐츠의 오디오 데이터 및 메타데이터를 분석하여 식별된 사용자의 감정에 대응될 수 있다. 또는, 출력되는 오디오는 추천 이미지를 감상하기 적절한 오디오 일 수 있다. 디스플레이 장치는 대기 모드에서 추천 이미지와 추천 이미지에 대응되는 오디오를 함께 출력함으로써, 사용자의 감정을 효과적으로 완화할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따르면, 디스플레이 장치(100)는 컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력한다(S810). 여기서, 컨텐츠 재생 모드는 디스플레이 장치(100)가 드라마, 영화, 방송 프로그램, 광고, 연극, 공연 및 뮤지컬을 포함하는 컨텐츠를 출력할 수 있는 상태를 의미할 수 있다.
프로세서(130)는 적어도 하나의 컨텐츠가 출력되는 동안 출력되는 적어도 하나의 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 적어도 하나의 컨텐츠를 시청하는 사용자의 감정을 식별하여 메모리(120)에 저장할 수 있다(S820).
컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 디스플레이 장치(100)는 저장된 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공할 수 있다(S830). 디스플레이 장치(100)는 복수의 추천 이미지를 사용자의 감정에 따라 우선 순위를 결정하고, 결정된 우선 순위에 기초하여 순차적으로 제공할 수 있다. 또는, 복수의 추천 이미지를 사용자의 감정에 따라 상이한 출력시간으로 제공할 수 있다.
상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명 하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 디스플레이
120: 메모리 130: 프로세서

Claims (20)

  1. 디스플레이 장치의 제어 방법에 있어서,
    컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력하는 단계;
    상기 적어도 하나의 컨텐츠가 출력되는 동안 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 상기 적어도 하나의 컨텐츠를 시청하는 사용자의 감정을 식별하여 저장하는 단계; 및
    상기 컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 상기 저장된 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 BGM(back ground music)을 추출하고, 상기 추출된 BGM을 분석하여 상기 사용자의 감정을 식별하는 디스플레이 장치의 제어 방법.
  3. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 발화 음성 및 상기 발화 음성에 포함된 키워드를 추출하고, 상기 추출된 발화 음성 및 상기 키워드를 분석하여 상기 사용자의 감정을 식별하는 디스플레이 장치의 제어 방법.
  4. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 출력되는 적어도 하나의 컨텐츠의 제목, 줄거리, 장르, 타입 및 시리즈 종류 중 적어도 하나를 포함하는 메타데이터를 분석하여 컨텐츠 유형을 판단하고, 상기 판단된 컨텐츠 유형을 바탕으로 상기 사용자의 감정을 식별하는 디스플레이 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 컨텐츠 재생 모드 동안 복수의 컨텐츠가 출력된 경우, 상기 복수의 컨텐츠 각각에 대응되는 복수의 사용자의 감정을 식별하고,
    상기 추천 이미지를 제공하는 단계는,
    상기 복수의 컨텐츠 각각의 시작 시점부터 경과한 시간 및 상기 복수의 컨텐츠 각각의 출력 시간을 바탕으로 상기 복수의 사용자의 감정 각각에 대응되는 추천 이미지의 출력 시간 및 출력 순서 중 적어도 하나를 결정하는 디스플레이 장치의 제어 방법.
  6. 제5항에 있어서,
    상기 추천 이미지를 제공하는 단계는,
    가중치 및 상기 출력 시간을 바탕으로 상기 추천 이미지의 우선순위를 결정하고, 상기 결정된 우선순위에 기초하여 상기 적어도 하나의 추천 이미지를 순차적으로 제공하는 디스플레이 장치의 제어 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 컨텐츠가 출력되는 동안 사용자의 발화 음성 또는 얼굴 표정을 센싱하는 단계;를 포함하고,
    상기 저장하는 단계는,
    상기 센싱된 사용자의 발화 음성 또는 얼굴 표정을 분석하고, 상기 분석된 사용자의 발화 음성 또는 얼굴 표정을 고려하여 상기 사용자의 감정을 식별하는 디스플레이 장치의 제어 방법.
  8. 제1항에 있어서,
    상기 대기 모드에 진입하면, 상기 저장된 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보를 제공하는 단계;를 포함하고,
    상기 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보는,
    상기 사용자의 감정, 상기 추천 이미지의 작품명, 작가 이름, 작품에 대한 설명, 시청 시간 및 상기 사용자의 감정에 작용하는 효과 중 적어도 하나에 대한 텍스트 정보를 포함하는 디스플레이 장치의 제어 방법.
  9. 제1항에 있어서,
    상기 추천 이미지를 제공하는 단계는,
    상기 대기 모드에서 상기 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하는 동안, 상기 제공된 추천 이미지에 대응되는 오디오를 출력하는 디스플레이 장치의 제어 방법.
  10. 제1항에 있어서,
    상기 대기 모드에서 상기 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하고, 상기 제공된 추천 이미지에 대한 피드백을 입력받는 단계;를 포함하고,
    상기 추천 이미지를 제공하는 단계는,
    상기 입력된 피드백을 고려하여 적어도 하나의 추천 이미지를 제공하는 디스플레이 장치의 제어 방법.
  11. 디스플레이 장치에 있어서,
    디스플레이;
    메모리; 및
    컨텐츠 재생 모드 동안 적어도 하나의 컨텐츠를 출력하도록 상기 디스플레이를 제어하고,
    상기 적어도 하나의 컨텐츠가 출력되는 동안 상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터 및 메타데이터 중 적어도 하나를 분석하여 상기 적어도 하나의 컨텐츠를 시청하는 사용자의 감정을 식별하여 상기 메모리에 저장하고,
    상기 컨텐츠 재생 모드가 종료된 후 대기 모드에 진입하면, 상기 저장된 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 BGM(back ground music)을 추출하고, 상기 추출된 BGM을 분석하여 상기 사용자의 감정을 식별하는 디스플레이 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 출력되는 적어도 하나의 컨텐츠의 오디오 데이터로부터 발화 음성 및 상기 발화 음성에 포함된 키워드를 추출하고, 상기 추출된 발화 음성 및 상기 키워드를 분석하여 상기 사용자의 감정을 식별하는 디스플레이 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 출력되는 적어도 하나의 컨텐츠의 제목, 줄거리, 장르, 타입 및 시리즈 종류 중 적어도 하나를 포함하는 메타데이터를 분석하여 컨텐츠 유형을 판단하고, 상기 판단된 컨텐츠 유형을 바탕으로 상기 사용자의 감정을 식별하는 디스플레이 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 컨텐츠 재생 모드 동안 복수의 컨텐츠가 출력된 경우, 상기 복수의 컨텐츠 각각에 대응되는 복수의 사용자의 감정을 식별하고,
    상기 복수의 컨텐츠 각각의 시작 시점부터 경과한 시간 및 상기 복수의 컨텐츠 각각의 출력 시간을 바탕으로 상기 복수의 사용자의 감정 각각에 대응되는 추천 이미지의 출력 시간 및 출력 순서 중 적어도 하나를 결정하는 디스플레이 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    가중치 및 상기 출력 시간을 바탕으로 상기 추천 이미지의 우선순위를 결정하고, 상기 결정된 우선순위에 기초하여 상기 추천 이미지를 순차적으로 제공하는 디스플레이 장치.
  17. 제11항에 있어서,
    상기 적어도 하나의 컨텐츠가 출력되는 동안 사용자의 발화 음성을 센싱하는 마이크; 또는 얼굴 표정을 센싱하는 카메라;를 포함하고,
    상기 프로세서는,
    상기 센싱된 사용자의 발화 음성 또는 얼굴 표정을 분석하고, 상기 분석된 사용자의 발화 음성 또는 얼굴 표정을 고려하여 상기 사용자의 감정을 식별하는 디스플레이 장치.
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 대기 모드에 진입하면, 상기 저장된 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보를 제공하고,
    상기 사용자의 감정 및 상기 컨텐츠의 분석 결과에 대한 정보는,
    상기 사용자의 감정, 상기 추천 이미지의 작품명, 작가 이름, 작품에 대한 설명, 시청 시간 및 상기 사용자의 감정에 작용하는 효과 중 적어도 하나에 대한 텍스트 정보를 포함하는 디스플레이 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 대기 모드에서 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하는 동안, 상기 제공된 추천 이미지에 대응되는 오디오를 출력하도록 제어하는 디스플레이 장치.
  20. 제11항에 있어서,
    상기 프로세서는,
    상기 대기 모드에서 상기 사용자의 감정에 대응되는 적어도 하나의 추천 이미지를 제공하고, 상기 제공된 추천 이미지에 대한 피드백을 입력받고, 상기 입력된 피드백을 고려하여 적어도 하나의 추천 이미지를 제공하는 디스플레이 장치.
KR1020190094204A 2019-08-02 2019-08-02 디스플레이 장치 및 이의 제어 방법 KR20210015410A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190094204A KR20210015410A (ko) 2019-08-02 2019-08-02 디스플레이 장치 및 이의 제어 방법
PCT/KR2020/005426 WO2021025264A1 (ko) 2019-08-02 2020-04-24 디스플레이 장치 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190094204A KR20210015410A (ko) 2019-08-02 2019-08-02 디스플레이 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20210015410A true KR20210015410A (ko) 2021-02-10

Family

ID=74503206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094204A KR20210015410A (ko) 2019-08-02 2019-08-02 디스플레이 장치 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20210015410A (ko)
WO (1) WO2021025264A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004515128A (ja) * 2000-11-22 2004-05-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ユーザーの現在の気分に基づいて推薦を発生させる方法および装置
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP4891802B2 (ja) * 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
KR20140002238A (ko) * 2012-06-28 2014-01-08 (주)다음소프트 사용자 피드백에 기반한 감성 측정 방법 및 이를 저장한 기록 매체
KR20180081856A (ko) * 2017-01-08 2018-07-18 장택민 콘텐츠 분석 음악 추천 시스템

Also Published As

Publication number Publication date
WO2021025264A1 (ko) 2021-02-11

Similar Documents

Publication Publication Date Title
WO2020187086A1 (zh) 一种视频剪辑方法、装置、设备和存储介质
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
US8847884B2 (en) Electronic device and method for offering services according to user facial expressions
US8442389B2 (en) Electronic apparatus, reproduction control system, reproduction control method, and program therefor
CN107801096B (zh) 视频播放的控制方法、装置、终端设备及存储介质
US20150020086A1 (en) Systems and methods for obtaining user feedback to media content
JP5586436B2 (ja) 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法
CN111930994A (zh) 视频编辑的处理方法、装置、电子设备及存储介质
US20170169857A1 (en) Method and Electronic Device for Video Play
CN106488311B (zh) 音效调整方法及用户终端
JP2015517709A (ja) コンテキストに基づくメディアを適応配信するシステム
JP2016046705A (ja) 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
CN109710799B (zh) 语音交互方法、介质、装置和计算设备
US9420204B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20240105167A1 (en) Memory allocation for keyword spotting engines
JP2024505988A (ja) シーン説明の再生制御
CN105162839B (zh) 数据处理方法、装置及系统
US20230326369A1 (en) Method and apparatus for generating sign language video, computer device, and storage medium
US20110064384A1 (en) Reproduction control apparatus, reproduction control method, and program
JP2015146550A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20210015410A (ko) 디스플레이 장치 및 이의 제어 방법
CN114564952A (zh) 一种文本标题生成方法、装置、设备及介质
JP2012068419A (ja) カラオケ装置
WO2022041202A1 (zh) 基于对象的视频合成方法、客户端及系统
CN112233647A (zh) 信息处理设备和方法以及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination