WO2023195661A1 - 디스플레이 장치 및 그 동작 방법 - Google Patents

디스플레이 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023195661A1
WO2023195661A1 PCT/KR2023/003773 KR2023003773W WO2023195661A1 WO 2023195661 A1 WO2023195661 A1 WO 2023195661A1 KR 2023003773 W KR2023003773 W KR 2023003773W WO 2023195661 A1 WO2023195661 A1 WO 2023195661A1
Authority
WO
WIPO (PCT)
Prior art keywords
style
display device
image
feature
processor
Prior art date
Application number
PCT/KR2023/003773
Other languages
English (en)
French (fr)
Inventor
김봉조
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023195661A1 publication Critical patent/WO2023195661A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Abstract

개시된 실시예는 디스플레이 장치에 관한 것으로, 디스플레이, 제1 스타일을 가지는 비디오 컨텐츠를 수신하는 영상 수신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 제2 스타일에 대응하는 특징을 획득하고, 메모리에 저장된 하나 이상의 뉴럴 네트워크들을 이용함으로써, 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 제1 스타일에서 상기 특징에 대응하는 제2 스타일로 변환하며, 제2 스타일로 변환된 프레임 영상들을 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함하는, 디스플레이 장치가 개시된다.

Description

디스플레이 장치 및 그 동작 방법
다양한 실시예들은 디스플레이 장치 및 그 동작 방법에 관한 것이다. 더욱 상세하게는 영상 컨텐츠의 스타일을 변환(transfer)하는 디스플레이 장치 및 그 동작 방법에 관한 것이다.
디스플레이 장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 디스플레이 장치를 통하여 방송을 시청할 수 있다. 디스플레이 장치는 방송국에서 송출되는 방송 신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 또한, 방송 기능에 더하여 다양한 컨텐츠를 제공하는 스마트 텔레비전(TV)이 제공되고 있다. 스마트 TV는 사용자의 선택에 따라 수동적으로 동작하는 것이 아니라, 사용자의 조작 없이도 사용자가 원하는 것을 분석하여 제공하는 기능을 수행한다.
이에 따라, 사용자는 디스플레이 장치를 활용하여 방송 시청 이외에도 다양한 기능을 실행시킬 수 있다. 예를 들어, 사용자는 디스플레이 장치를 이용하여, 게임 컨텐츠를 실행시킬 수 있으며, 디스플레이 장치는 게임 컨텐츠를 실행시킴에 있어, 최적의 환경을 제공할 수 있는 게임 모드를 제공할 수 있다.
한편, 게임을 장기간 플레이하는 경우, 사용자는 게임 컨텐츠의 동일한 그래픽(예를 들어, 게임 스킨(skin))에 싫증을 느끼고 새로운 그래픽을 원할 수 있다. 그러나, 게임 컨텐츠의 그래픽은 사용자가 임의로 변환할 수 없으며, 게임 제작사 등에서 제공하는 그래픽을 변환하는 소프트웨어(예를 들어, 게임 스킨 팩(skin-pack))를 이용하여 변환 가능하다. 이러한, 소프트웨어는 대부분 유료이며, 게임 제작사 등에서 제공하는 소프트웨어의 종류는 한정되므로, 사용자의 욕구를 충족시킬 수 없다는 문제점이 있다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 제1 스타일을 가지는 비디오 컨텐츠를 수신하는 영상 수신부를 포함할 수 있다. 디스플레이 장치는, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함할 수 있다. 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 제2 스타일에 대응하는 특징을 획득할 수 있다. 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 메모리에 저장된 하나 이상의 뉴럴 네트워크들을 이용하여, 상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 특징에 대응하는 상기 제2 스타일로 변환할 수 있다. 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제2 스타일로 변환된 프레임 영상들을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 제1 스타일을 가지는 비디오 컨텐츠를 수신하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 제2 스타일에 대응하는 특징을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 하나 이상의 뉴럴 네트워크들을 이용함으로써, 상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 특징에 대응하는 상기 제2 스타일로 변환하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 제2 스타일로 변환된 프레임 영상들을 디스플레이하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 사용자 입력에 기초하여, 디스플레이 장치를 게임 모드로 동작시키는 방법을 나타내는 도면이다.
도 4는 일 실시예에 따른 디스플레이 장치가 사용자 입력에 기초하여, 영상 컨텐츠의 스타일을 설정하는 방법을 나타내는 도면이다.
도 5는 일 실시예에 따른 디스플레이 장치가 외부 장치로부터 스타일 영상을 수신하는 예를 나타내는 도면이다.
도 6은 일 실시예에 따른 영상 컨텐츠의 스타일 변환을 수행하는 장치(또는 모듈)을 나타내는 도면이다.
도 7은 일 실시예에 따른 스타일 변환부를 나타내는 도면이다.
도 8a 및 도 8b는 일 실시예에 따른 디스플레이 장치가 비디오 컨텐츠에 대한 스타일 변환을 수행하는 방법을 나타내는 도면들이다.
도 9는 다른 실시예에 따른 영상 컨텐츠의 스타일 변환을 수행하는 장치(또는 모듈)을 나타내는 도면이다.
도 10은 다른 실시예에 따른 스타일 변환부를 나타내는 도면이다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 비디오 컨텐츠에 대한 스타일 변환을 수행하는 방법을 나타내는 도면들이다.
도 12는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 13은 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미하며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.
또한, 본 명세서의 실시예에서, '영상(image)' 또는 '픽처'는 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 영상 컨텐츠를 시각적으로 출력할 수 있는 모든 전자 기기를 포함할 수 있다. 예를 들어, 디스플레이 장치(100)는, TV, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 장치(wearable device) 등과 같은 다양한 형태로 구현될 수 있다. 또한, 디스플레이 장치(100)는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 특히, 실시예들은 TV와 같이 디스플레이가 대형인 영상 처리 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따른 디스플레이 장치(100)는 외부 장치와 무선 통신 네트워크를 통하여 데이터를 송수신할 수 있다. 이때, 외부 장치는 무선 통신 네트워크를 통하여 디스플레이 장치(100)와 통신할 수 있는 서버, 전자 장치 등이 될 수 있다. 구체적으로, 외부 장치는 디스플레이 장치(100)와 소정 데이터를 송수신하거나, 디스플레이 장치(100)와 페어링(pairing)될 수 있거나, 디스플레이 장치(100)를 원격 제어하거나, 또는 디스플레이 장치(100)로부터 원격 제어될 수 있는 서버 또는 전자 장치가 될 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 외부 장치로부터 영상 컨텐츠를 수신하여, 출력할 수 있다. 예를 들어, 디스플레이 장치(100)는 디스플레이 장치와 연결된 게임 기기(예를 들어, 게임 콘솔, PC 등)로부터 게임 컨텐츠를 수신하여, 디스플레이를 통해 디스플레이할 수 있다.
또한, 일 실시예에 따른 디스플레이 장치(100)는 게임 컨텐츠의 출력에 최적화된 게임 모드를 제공할 수 있다. 예를 들어, 게임 모드는, 게임 컨텐츠가 게임 기기로부터 디스플레이 장치(100)로 전달될 때 발생할 수 있는 입력 지연이나 화면 끊김 현상, 화면 왜곡 등을 감소시키거나 제거하는 기능을 제공할 수 있다. 또한, 게임 모드는, 게임 영상을 선명한 화질로 디스플레이할 수 있도록, 명암비를 최적화시키는 HDR(Hign Dynamic Range) 기능을 제공할 수 있다. 또한, 게임 모드는 일반 모드보다 게임 컨텐츠의 영상 처리에 더 많은 리소스를 할당할 수 있다. 다만, 이에 한정되지 않는다.
한편, 게임 컨텐츠의 경우, 사용자가 임의로 게임 컨텐츠의 그래픽을 변환할 수 없으며, 게임 제작사 등에서 제공하는 그래픽 변환 소프트웨어(예를 들어, 스킨 팩(skin-pack))를 제공 받아야 게임 컨텐츠의 그래픽 변환이 가능하다. 사용자는 스킨 팩을 수동적으로 제공받아야 하므로, 원하는 시간에 원하는 종류의 스킨 팩의 제공이 불가능할 수 있다. 따라서, 사용자의 욕구(needs)를 충족시킬 수 없다는 문제점이 있다.
일 실시예에 따른 디스플레이 장치(100)는 게임 컨텐츠의 그래픽을 변환시키지 않고도, 게임 컨텐츠에 대한 영상 처리를 이용하여, 게임 컨텐츠의 스타일을 변환할 수 있으며, 이에 따라, 게임 컨텐츠에 새로운 스킨 팩을 적용한 효과를 낼 수 있다.
도 1을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 외부 장치로부터 영상 컨텐츠를 수신하고, 수신한 영상 컨텐츠의 스타일 변환을 수행할 수 있다. 또는 디스플레이 장치(100)는 디스플레이 장치(100)에 기 저장된 영상 컨텐츠의 스타일 변환을 수행할 수 있다. 이때, 스타일 변환이란 영상이 가진 내용은 유치한 채로 영상이 가진 스타일을 특정한 형태로 변환하는 것을 의미할 수 있다. 스타일은 영상에 나타나는 선, 색감, 질감, 명도, 채도, 분위기 등에 따라 결정될 수 있다. 또한, 스타일은 수채화, 유화, 수묵화, 점묘화, 입체화와 같은 화풍의 형태일 수 있고, 반 고흐 풍, 모네 풍, 피카소 풍과 같은 특정한 화가의 화풍을 지칭할 수도 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 스타일 변환 기술을 영상 컨텐츠, 특히, 게임 컨텐츠에 적용할 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 이용하여 게임 컨텐츠를 출력하는 경우, 디스플레이 장치(100)는 게임 컨텐츠의 그래픽을 변환하지 않고도 게임 컨텐츠의 스타일을 변환하여 출력할 수 있다. 디스플레이 장치(100)는 제1 스타일을 가지는 게임 컨텐츠의 게임 영상(10)을 제2 스타일을 가지는 게임 영상(20)으로 변환하여 출력할 수 있다. 이때, 디스플레이 장치(100)는 게임 컨텐츠의 내용은 유지한 채로 게임 컨텐츠의 스타일만 특정한 형태로 변환할 수 있다. 게임 컨텐츠의 스타일을 변환하는 것은 게임 스킨(game skin)을 변환한 것과 유사하게 게임에 등장하는 캐릭터나 배경의 내용적 특징은 유지하면서, 캐릭터의 외형, 배경 스타일 등을 변환하는 것을 의미할 수 있다. 다만, 이에 한정되지 않는다.
또한, 실시예에 따른 디스플레이 장치(100)는 디스플레이를 포함하며, 스타일이 변환된 게임 컨텐츠를 디스플레이에 표시할 수 있다.
일 실시예에 따른 디스플레이 장치(100)가 영상 컨텐츠의 스타일 변환을 수행하는 방법에 대해서는 이하, 도면들을 참조하여 자세히 설명하기로 한다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 영상 컨텐츠를 수신할 수 있다(S210).
일 실시예에 따른 디스플레이 장치(100)는 외부 장치 또는 외부 서버로부터 영상 컨텐츠를 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 통신 인터페이스 또는 입출력 인터페이스를 통하여, 영상 컨텐츠를 수신할 수 있다. 또는, 디스플레이 장치(100)는 메모리에 기 저장된 영상 컨텐츠를 불러올 수 있다.
일 실시예에 따른 영상 컨텐츠는 정지 영상 컨텐츠 뿐만 아니라 동영상 또는 비디오 컨텐츠를 포함할 수 있으며, 게임 컨텐츠 등을 포함할 수 있다. 다만, 이에 한정되지 않는다. 수신한 영상 컨텐츠는 제1 스타일을 가질 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 제1 스타일과 다른 제2 스타일에 대응하는 스타일 특징을 획득할 수 있다(S220).
디스플레이 장치(100)는 복수의 스타일 영상들을 기 저장할 수 있다. 디스플레이 장치(100)는 복수의 스타일 영상들을 외부 장치로부터 수신하여, 저장할 수 있다. 디스플레이 장치(100)는 복수의 스타일 영상들 중 사용자 입력에 의해 선택된 스타일 영상으로부터 스타일 특징을 획득할 수 있다. 스타일 특징은 스타일 영상으로부터 추출된 특징 정보일 수 있다. 디스플레이 장치(100)는 스타일 영상을 하나 이상의 뉴럴 네트워크들에 입력함으로써, 스타일 영상에 대응하는 스타일 특징을 추출할 수 있다. 이때, 스타일 영상은 특정한 형태나 형식의 스타일을 가지는 영상일 수 있다. 예를 들어, 스타일 영상은 특정 화가의 화풍을 나타내는 영상, 특정 형식을 나타내는 영상, 특정 캐릭터를 나타내는 영상, 특정 질감을 나타내는 영상 등을 포함할 수 있으나, 이에 한정되지 않는다.
또는, 디스플레이 장치(100)는 복수의 스타일 영상들에 대응하는 스타일 특징들을 기 저장할 수 있다. 디스플레이 장치(100)는 스타일 영상을 하나 이상의 뉴럴 네트워크들에 입력함으로써 추출된 스타일 특징을 저장하거나, 외부 장치에서 획득된 스타일 특징을 수신할 수 있다. 다만, 이에 한정되지 않는다.
디스플레이 장치(100)는 기 저장된 복수의 스타일 특징들 중 사용자의 입력에 기초하여 선택된 어느 하나의 스타일 특징을 획득할 수 있다.
디스플레이 장치(100)는 220단계(S220)에서 획득한 스타일 특징에 기초하여, 영상 컨텐츠의 스타일을 제1 스타일에서 제2 스타일로 변환할 수 있다(S230).
디스플레이 장치(100)가 영상 컨텐츠의 스타일 변환을 수행하는 방법에 대해서는 도 6 내지 도 11b를 참조하여 자세히 설명하기로 한다.
디스플레이 장치(100)는 스타일이 변환된 영상 컨텐츠를 디스플레이할 수 있다(S240).
도 3은 일 실시예에 따른 사용자 입력에 기초하여, 디스플레이 장치를 게임 모드로 동작시키는 방법을 나타내는 도면이다.
도 3을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 게임 모드를 설정할 수 있는 기능을 제공할 수 있다. 예를 들어, 디스플레이 장치(100)는 외부 기기 관리 메뉴에 게임 모드 설정 메뉴(310)를 포함할 수 있다.
디스플레이 장치(100)의 사용자는 제어 장치(1000) 등을 이용하여, 사용자 입력(예를 들어, 제어 장치의 키 또는 버튼 입력 등)에 대응하는 제어 신호 또는 제어 명령 등을 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 제어 장치(1000)로부터 제어 신호 또는 제어 명령 등을 수신하여, 사용자 입력에 대응하는 동작을 수행할 수 있다.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 입력에 기초하여, 게임 모드 설정 메뉴(310)가 선택되면, 게임 모드를 자동으로 켜거나 끌 수 있는 기능, 수동으로 켤 수 있는 기능, 수동으로 끌 수 있는 기능을 제공하는 메뉴(320)를 표시할 수 있다.
또한, 게임 모드에서 제공하는 다양한 기능들(예를 들어, 게임 모션 플러스 설정 기능, 프리 싱크 기능, 스타일 설정 등)에 대한 메뉴들을 표시할 수 있다. 게임 모드에서 제공하는 다양한 기능들에 대한 메뉴들은 게임 모드가 꺼져있는 상태에서는 비활성화 상태로 표시될 수 있으며, 게임 모드가 켜진 상태에서는 활성화 상태로 표시될 수 있다. 다만, 이에 한정되지 않는다.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 게임 모드에서 게임 컨텐츠에 대한 스타일을 설정할 수 있는 메뉴(330)를 제공할 수 있다.
디스플레이 장치(100)는 사용자 입력에 기초하여, 스타일 설정 메뉴(330)가 선택되면, 스타일을 설정할 수 있는 메뉴를 표시할 수 있다. 이에 대해서는 도 4를 참조하여 자세히 설명하기로 한다.
도 4는 일 실시예에 따른 디스플레이 장치가 사용자 입력에 기초하여, 영상 컨텐츠의 스타일을 설정하는 방법을 나타내는 도면이다.
도 4를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 도 3에서 설명한 바와 같이, 사용자 입력에 기초하여, 스타일 설정 메뉴(330)가 선택되면, 스타일 설정 화면(410)을 표시할 수 있다.
스타일 설정 화면(410)은 디스플레이 장치(100)에 기 저장된 복수의 스타일들을 나타내는 리스트(420)를 포함할 수 있다. 예를 들어, 리스트는 제1 스타일을 나타내는 제1 아이템, 제2 스타일을 나타내는 제2 아이템, 제3 스타일을 나타내는 제3 아이템, 제4 스타일을 나타내는 제4 아이템을 포함할 수 있다. 디스플레이 장치(100)는 사용자 입력에 기초하여, 제1 내지 제4 아이템들 중 어느 하나가 선택되면, 선택된 아이템에 대응하는 스타일 영상을 표시할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 아이템(421)이 선택되면, 제1 아이템(421)을 하이라이트 표시하고, 제1 아이템(421)이 나타내는 스타일 1에 대한 스타일 영상(431)을 표시할 수 있다. 이에 따라, 사용자는 복수의 스타일들 각각이 나타내는 스타일을 이미지로 확인할 수 있다.
또한, 스타일 설정 화면(410)은 사용자 설정 아이템(440)을 포함할 수 있다. 사용자는 사용자 설정 아이템(440)을 선택하여, 스타일 영상을 입력할 수 있다. 이에 대해서는 도 5를 참조하여, 자세히 설명하기로 한다.
또한, 스타일 설정 화면(410)은 검색 아이템(450)을 표시할 수 있다. 사용자 입력에 기초하여, 검색 아이템(450)이 선택되면, 스타일에 대한 키워드를 입력하여, 스타일을 검색할 수 있다.
또한, 일 실시예에 따른 디스플레이 장치(100)는 주기적으로 또는 사용자 입력에 기초하여, 외부 장치 또는 서버로부터 스타일들을 다운로드하거나 업데이트할 수 있다.
도 5는 일 실시예에 따른 디스플레이 장치가 외부 장치로부터 스타일 영상을 수신하는 예를 나타내는 도면이다.
도 5를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 모바일 장치(500)로부터 스타일 영상을 수신할 수 있다. 모바일 장치(500)는 웨어러블 디바이스, 스마트폰, 태블릿 PC, PDA(Personal digital assistant), 노트북 컴퓨터(laptop computer) 등의 모바일 컴퓨팅 장치가 될 수 있다.
또한, 모바일 장치(500)는 디스플레이 장치(100)와 가정 사물 인터넷(Home IoT: Home Internet of Things) 플랫폼에 의해서 상호 연결될 수 있다. 또한, 모바일 장치(500)는 무선 네트워크를 통하여 디스플레이 장치(100)와 페어링(pairing)될 수 있다. 또한 모바일 장치(500)는 디스플레이 장치(100)를 원격으로 제어할 수 있으며, 디스플레이 장치(100)가 소정의 서비스 또는 소정의 동작을 수행하도록 디스플레이 장치(100)와 데이터를 송수신할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 도 4에서 도시하고 설명한 사용자 설정 아이템(440)이 선택되면, 모바일 장치(500)로부터 데이터를 수신할 수 있는 상태로 동작할 수 있다. 이에 따라, 모바일 장치(500)는 스타일 영상(510)을 디스플레이 장치(100)로 전송할 수 있다.
디스플레이 장치(100)는 모바일 장치(500)로부터 수신한 스타일 영상이 변환할 스타일로 설정되면, 스타일 영상으로부터 스타일 특징을 추출할 수 있다.
디스플레이 장치(100)가 스타일 특징에 기초하여, 영상 컨텐츠의 스타일을 변환하는 동작에 대해서는 도 6을 참조하여 자세히 설명하기로 한다.
도 6은 일 실시예에 따른 영상 컨텐츠의 스타일 변환을 수행하는 장치(또는 모듈)을 나타내는 도면이다.
일 실시예에 따른 스타일 변환 장치(또는 모듈)(600)은 도 12에 도시된 디스플레이 장치(100)의 일부, 또는 도 13에 도시된 디스플레이 장치(1300)의 일부에 포함될 수 있다.
도 6을 참조하면, 일 실시예에 따른 스타일 변환 장치(또는 모듈)(600)은 스타일 저장부(610), 스타일 특징 추출부(620) 및 스타일 변환부(630)를 포함할 수 있다.
스타일 저장부(610)는 복수의 스타일 영상들에 대응하는 복수의 스타일 특징들을 저장할 수 있다. 스타일 특징은, 스타일 영상으로부터 추출된 특징 정보를 지칭할 수 있다. 예를 들어, 스타일 특징은 하나 이상의 뉴럴 네트워크들을 포함하는 스타일 특징 추출 네트워크를 이용하여, 스타일 영상으로부터 추출될 수 있다.
스타일 저장부(610)는 외부 장치로부터 수신한 복수의 스타일 특징들을 저장할 수 있다. 또한, 스타일 저장부(610)는 스타일 특징 추출부(620)에서 추출된 스타일 특징들을 저장할 수 있다.
스타일 특징 추출부(620)는 스타일 특징을 추출할 수 있도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
스타일 특징 추출부(620)는 하나 이상의 뉴럴 네트워크들을 포함하는 스타일 특징 추출 네트워크(625)를 이용하여, 스타일 영상(621)으로부터 스타일 특징(627)을 추출할 수 있다. 스타일 영상(621)은 특정한 형태나 형식의 스타일을 가지는 영상일 수 있다. 예를 들어, 스타일 영상(621)은 특정 화가의 화풍을 나타내는 영상, 특정 형식을 나타내는 영상, 특정 캐릭터를 나타내는 영상, 특정 질감을 나타내는 영상 등을 포함할 수 있으나, 이에 한정되지 않는다. 스타일 영상(621)은 스타일 특징 추출 네트워크(625)로 입력될 수 있으며, 스타일 특징 추출 네트워크(625)는 스타일 영상(621)에 대응하는 스타일 특징(627)을 출력할 수 있다. 추출된 스타일 특징은 스타일 저장부(610)에 저장될 수 있다.
스타일 변환부(630)는 하나 이상의 뉴럴 네트워크들을 포함할 수 있다. 스타일 변환부(630)는 입력된 영상 컨텐츠의 스타일을 변환할 수 있도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
스타일 변환부(630)의 구성에 대해서는 도 7을 참조하여 자세히 설명하기로 한다.
도 7은 일 실시예에 따른 스타일 변환부를 나타내는 도면이다.
도 7을 참조하면, 스타일 변환부(630)는 제1 뉴럴 네트워크(710) 및 제2 뉴럴 네트워크(720)를 포함할 수 있다. 여기서, 제1 뉴럴 네트워크(710)는 인코더 네트워크, 제2 뉴럴 네트워크(720)는 디코더 네트워크로 지칭될 수 있다.
제1 뉴럴 네트워크(710)는 영상 컨텐츠(701)를 입력 받아, 영상 컨텐츠에 대한 특징 정보를 추출하도록 훈련된 네트워크일 수 있다.
영상 컨텐츠가 동영상 또는 비디오 컨텐츠인 경우, 비디오 컨텐츠에 포함되는 프레임 영상들 각각은 제1 뉴럴 네트워크(710)로 입력될 수 있다. 제1 뉴럴 네트워크(710)는 프레임 영상들(입력 영상들) 각각에 대한 특징 정보를 출력할 수 있다. 이때, 제1 뉴럴 네트워크(710)로부터 추출된 특징 정보(703)는 입력 영상의 내용(content)에 대한 특징을 나타낼 수 있다.
제2 뉴럴 네트워크(720)는 제1 뉴럴 네트워크(710)에서 출력된 입력 영상에 대한 특징 정보(703)와 스타일 특징(730)을 입력 받아, 스타일이 변환된 영상(702)을 출력하도록 훈련된 네트워크일 수 있다.
예를 들어, 제1 뉴럴 네트워크(710)에 입력되는 영상 컨텐츠가 제1 스타일을 가지고, 제2 뉴럴 네트워크(720)에 입력되는 스타일 특징(730)이 제2 스타일(740)에 대응되는 경우, 제2 뉴럴 네트워크(720)는 제2 스타일을 가지는 영상 컨텐츠(702)를 출력할 수 있다. 제2 뉴럴 네트워크(720)에서 출력되는 영상 컨텐츠(702)는 제1 뉴럴 네트워크(710)에 입력된 영상 컨텐츠(701)와 내용은 동일하면서, 스타일만 제1 스타일에서 제2 스타일로 변환된 영상 컨텐츠일 수 있다.
도 8a 및 도 8b는 일 실시예에 따른 디스플레이 장치가 비디오 컨텐츠에 대한 스타일 변환을 수행하는 방법을 나타내는 도면들이다.
일 실시예에 따른 디스플레이 장치(100)는 수신한 비디오 컨텐츠에 포함되는 프레임 영상들에서 장면(scene)의 변화를 감지할 수 있다. 여기서, 장면은 컨텐츠를 구성하는 사건들 중 같은 장소 또는 배경에서 발생하는 하나의 사건을 의미할 수 있다. 예를 들어, 비디오 컨텐츠에 포함되는 프레임 영상들 중 같은 장소 또는 배경을 가지는 프레임 영상들은 동일한 장면의 프레임 영상들로 결정될 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 장면이 변화하는 프레임 영상의 특징 정보는 추출하고, 장면이 이전 프레임 영상과 동일한 프레임 영상의 특징 정보는 추출하지 않을 수 있다.
예를 들어, 도 8a에 도시된 바와 같이, 디스플레이 장치(100)는 비디오 컨텐츠에 포함되는 프레임 영상들 중 이전 프레임 영상과 다른 장면의 프레임 영상(예를 들어, 제1 프레임 영상(801))의 경우, 제1 뉴럴 네트워크(810)를 이용하여, 제1 프레임 영상의 특징 정보(803)를 추출할 수 있다.
반면에, 디스플레이 장치(100)는 도 8b에 도시된 바와 같이, 비디오 컨텐츠에 포함되는 프레임 영상들 중 이전 프레임 영상(예를 들어, 제1 프레임 영상(801))과 동일한 장면의 프레임 영상(예를 들어, 제2 프레임 영상(811))의 경우, 특징 정보를 추출하지 않고, 이전 프레임 영상에서 추출하였던 특징 정보(803)를 이용할 수 있다.
또한, 디스플레이 장치(100)는 프레임 영상들 각각의 다운스케일을 수행하여, 다운스케일 영상들을 획득할 수 있다. 이때, 디스플레이 장치(100)는 하나 이상의 뉴럴 네트워크들을 이용하여, 다운스케일을 수행할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 제2 뉴럴 네트워크(820)를 이용하여, 스타일이 변환된 프레임 영상들을 획득할 수 있다.
이때, 제2 뉴럴 네트워크(820)는 프레임 영상의 다운스케일 영상, 프레임 영상의 특징 정보, 스타일 특징을 입력 받아, 스타일이 변환된 프레임 영상을 출력하도록 훈련된 네트워크일 수 있다.
예를 들어, 도 8a에 도시된 바와 같이, 스타일 변환부(630)로 비디오 컨텐츠에 포함된 프레임 영상들 중 이전 프레임 영상과 다른 장면의 프레임 영상(901, 예를 들어, 제1 프레임 영상)이 입력되는 경우, 디스플레이 장치(100)는 제2 뉴럴 네트워크(820)로 제1 프레임 영상의 다운스케일 영상(850), 제1 뉴럴 네트워크(810)에서 추출된 제1 프레임 영상의 특징 정보(803) 및 스타일 특징(830)을 입력하여, 스타일이 변환된 제1 프레임 영상(802)을 획득할 수 있다. 이때, 제1 프레임 영상이 제1 스타일을 가지고, 스타일 특징(830)이 제2 스타일(840)에 대응하는 경우, 제2 뉴럴 네트워크(820)로부터 제2 스타일을 가지는 제1 프레임 영상(802)이 출력될 수 있다.
반면에, 도 8b에 도시된 바와 같이, 스타일 변환부(630)로 비디오 컨텐츠에 포함되는 프레임 영상들 중 이전 프레임 영상(예를 들어, 제1 프레임 영상(801))과 동일한 장면의 프레임 영상(예를 들어, 제2 프레임 영상(811))이 입력되는 경우, 디스플레이 장치(100)는 제2 뉴럴 네트워크(820)로 제2 프레임 영상의 다운스케일 영상(851), 제1 프레임 영상의 특징 정보(803) 및 스타일 특징(830)을 입력하여, 스타일이 변환된 제2 프레임 영상(812)을 획득할 수 있다. 이때, 제2 프레임 영상(811)이 제1 스타일을 가지고, 스타일 특징(830)이 제2 스타일(840)에 대응하는 경우, 제2 뉴럴 네트워크(820)로부터 제2 스타일을 가지는 제2 프레임 영상(812)이 출력될 수 있다.
제2 뉴럴 네트워크(820)는 제2 프레임 영상(811, 현재 프레임 영상)의 다운 스케일 영상(851)과 제1 프레임 영상(801, 이전 프레임 영상)의 다운 스케일 영상(850)에 기초하여, 제2 프레임 영상(811)의 내용(content) 변화를 검출하고, 제1 프레임 영상의 특징 정보(803)와 스타일 특징(830)에 추가적으로 제2 프레임 영상의 내용 변화를 적용함으로써, 스타일이 변환된 제2 프레임 영상(812)을 출력할 수 있다.
여기서, 제2 뉴럴 네트워크(820)에 입력되는 제1 프레임 영상의 특징 정보(803)는 제2 프레임 영상 처리 시에 제1 뉴럴 네트워크(810)로부터 새로 추출한 데이터가 아닌 제1 프레임 영상 처리 시에 추출된 데이터이다. 따라서, 비디오 컨텐츠에 포함되는 동일한 장면의 프레임 영상들에 대해서, 하나의 프레임 영상에 대한 특징 정보를 추출하고, 추출한 특징 정보를 이용하여, 장면이 동일한 다른 프레임 영상들의 스타일 변환을 수행할 수 있어, 필요한 연산량 및 비용을 감소시킬 수 있다.
도 9는 다른 실시예에 따른 영상 컨텐츠의 스타일 변환을 수행하는 장치(또는 모듈)을 나타내는 도면이다.
다른 실시예에 따른 스타일 변환 장치(또는 모듈)(900)은 도 12에 도시된 디스플레이 장치(100)의 일부, 또는 도 13에 도시된 디스플레이 장치(1300)의 일부에 포함될 수 있다.
도 9를 참조하면, 일 실시예에 따른 스타일 변환 장치(또는 모듈)(900)은 스타일 저장부(910) 및 스타일 변환부(920)를 포함할 수 있다.
스타일 저장부(910)는 복수의 스타일 영상들을 저장할 수 있다. 이때, 복수의 스타일 영상들은 외부 장치 또는 외부 서버로부터 수신한 영상들일 수 있다.
스타일 영상은 특정한 형태나 형식의 스타일을 가지는 영상일 수 있다. 예를 들어, 스타일 영상은 특정 화가의 화풍을 나타내는 영상, 특정 형식을 나타내는 영상, 특정 캐릭터를 나타내는 영상, 특정 질감을 나타내는 영상 등을 포함할 수 있으나, 이에 한정되지 않는다.
스타일 변환부(920)는 하나 이상의 뉴럴 네트워크들을 포함할 수 있다. 스타일 변환부(920)는 입력된 영상 컨텐츠의 스타일을 변환할 수 있도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
스타일 변환부(920)의 구성에 대해서는 도 10을 참조하여, 자세히 설명하기로 한다.
도 10은 다른 실시예에 따른 스타일 변환부를 나타내는 도면이다.
도 10을 참조하면, 스타일 변환부(920)는 제1 뉴럴 네트워크(1010), 제2 뉴럴 네트워크(1020), 및 제3 뉴럴 네트워크(1030)를 포함할 수 있다. 여기서 제1 뉴럴 네트워크(1010) 및 제2 뉴럴 네트워크(1020)는 인코더 네트워크로, 제3 뉴럴 네트워크(1030)는 디코더 네트워크로 지칭될 수 있다.
제1 뉴럴 네트워크(1010)는 영상 컨텐츠(1001)를 입력 받아, 영상 컨텐츠에 대한 특징 정보(1003)를 추출하도록 훈련된 네트워크일 수 있다.
영상 컨텐츠가 동영상 또는 비디오 컨텐츠인 경우, 비디오 컨텐츠에 포함되는 프레임 영상들 각각은 제1 뉴럴 네트워크(1010)로 입력될 수 있다. 제1 뉴럴 네트워크(1010)는 프레임 영상들(입력 영상들) 각각에 대한 특징 정보를 출력할 수 있다. 이때, 제1 뉴럴 네트워크(1010)로부터 추출된 특징 정보(1003)는 입력 영상의 내용에 대한 특징을 나타낼 수 있다.
제2 뉴럴 네트워크(1020)는 스타일 영상(1040)을 입력 받아, 스타일 영상(1040)에 대응하는 스타일 특징(1050)을 추출하도록 훈련된 네트워크일 수 있다. 제2 뉴럴 네트워크(1020)는 사용자 입력에 기초하여 선택된 스타일 영상을 입력 받아, 스타일 영상에 대응하는 스타일 특징을 추출할 수 있다.
제3 뉴럴 네트워크(1030)는 제1 뉴럴 네트워크(1010)에서 출력된 입력 영상에 대한 특징 정보(1003)와 제2 뉴럴 네트워크(1020)에서 추출된 스타일 특징(1050)을 입력 받아, 스타일이 변환된 영상(1002)을 출력하도록 훈련된 네트워크일 수 있다.
예를 들어, 제1 뉴럴 네트워크(1010)에 입력되는 영상 컨텐츠가 제1 스타일을 가지고, 제2 뉴럴 네트워크(1020)에서 추출된 스타일 특징이 제2 스타일에 대응되는 경우, 제3 뉴럴 네트워크(1030)는 제2 스타일을 가지는 영상 컨텐츠(1002)를 출력할 수 있다. 제3 뉴럴 네트워크(1030)에서 출력되는 영상 컨텐츠는 제1 뉴럴 네트워크(1010)에 입력된 영상 컨텐츠(1001)와 내용은 동일하면서, 스타일만 제1 스타일에서 제2 뉴럴 네트워크(1020)에서 추출된 제2 스타일로 변환된 영상 컨텐츠일 수 있다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 비디오 컨텐츠에 대한 스타일 변환을 수행하는 방법을 나타내는 도면들이다.
일 실시예에 따른 디스플레이 장치는 수신한 비디오 컨텐츠에 포함되는 프레임 영상들에서 장면(scene)의 변화를 감지할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 장면이 변화하는 프레임 영상의 특징 정보를 추출하고, 장면이 이전 프레임 영상과 동일한 프레임 영상의 특징 정보는 추출하지 않을 수 있다.
예를 들어, 도 11a에 도시된 바와 같이, 스타일 변환부(920)로 비디오 컨텐츠에 포함되는 프레임 영상들 중 이전 프레임 영상과 다른 장면의 프레임 영상(예를 들어, 제1 프레임 영상(1101))이 입력되는 경우, 디스플레이 장치(100)는 제1 뉴럴 네트워크(1110)를 이용하여, 제1 프레임 영상의 특징 정보(1103)를 추출할 수 있다.
반면에, 디스플레이 장치(100)는 도 11b에 도시된 바와 같이, 스타일 변환부(920)로 비디오 컨텐츠에 포함되는 프레임 영상들 중 이전 프레임 영상(예를 들어, 제1 프레임 영상(1101))과 동일한 장면의 프레임 영상(예를 들어, 제2 프레임 영상(1111))이 입력되는 경우, 디스플레이 장치(100)는 특징 정보를 추출하지 않고, 이전 프레임 영상에서 추출하였던 특징 정보(1103)를 이용할 수 있다.
또한, 디스플레이 장치(100)는 프레임 영상들 각각의 다운 스케일을 수행하여, 다운스케일 영상들을 획득할 수 있다. 이때, 디스플레이 장치(100)는 하나 이상의 뉴럴 네트워크들을 이용하여, 다운 스케일을 수행할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 비디오 컨텐츠에 적용되는 스타일이 동일한 경우, 제2 뉴럴 네트워크(1120)를 이용하여, 스타일 영상(1140)에 대응하는 스타일 특징(1150)을 1회만 추출하고, 추출된 스타일 특징(1150)을 비디오 컨텐츠에 포함되는 복수의 프레임 영상들의 스타일 변환 처리에 이용할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 제3 뉴럴 네트워크(1130)를 이용하여, 스타일이 변환된 프레임 영상들을 획득할 수 있다.
이때, 제3 뉴럴 네트워크(1130)는 프레임 영상의 다운스케일 영상, 프레임 영상의 특징 정보, 스타일 특징(1150) 입력 받아, 스타일이 변환된 프레임 영상을 출력하도록 훈련된 네트워크일 수 있다. 예를 들어, 도 11a에 도시된 바와 같이, 스타일 변환부(920)로 비디오 컨텐츠에 포함된 프레임 영상들 중 이전 프레임 영상과 다른 장면의 프레임 영상(예를 들어, 제1 프레임 영상(1101))이 입력되는 경우, 디스플레이 장치(100)는 제3 뉴럴 네트워크(1130)로 제1 프레임 영상의 다운스케일 영상(1150), 제1 뉴럴 네트워크(1110)에서 추출된 제1 프레임 영상의 특징 정보(1103) 및 제2 뉴럴 네트워크(1120)에서 추출된 스타일 특징(1150)을 입력하여, 스타일이 변환된 제1 프레임 영상(1102)을 획득할 수 있다. 이때, 제1 프레임 영상(1101)이 제1 스타일을 가지고, 스타일 특징(1150)이 제2 스타일에 대응하는 경우, 제3 뉴럴 네트워크(1130)로부터 제2 스타일을 가지는 제1 프레임 영상(1102)이 출력될 수 있다.
반면에, 도 11b에 도시된 바와 같이, 스타일 변환분(920)로 비디오 컨텐츠에 포함되는 프레임 영상들 중 이전 프레임 영상(예를 들어, 제1 프레임 영상(1101))과 동일한 장면의 프레임 영상(예를 들어, 제2 프레임 영상(1111))의 경우, 디스플레이 장치(100)는 제3 뉴럴 네트워크(1130)로 제2 프레임 영상의 다운스케일 영상(1151), 제1 프레임 영상의 특징 정보(1103) 및 스타일 특징(1150)을 입력하여, 스타일이 변환된 제2 프레임 영상(1112)을 획득할 수 있다. 이때, 제2 프레임 영상(1111)이 제1 스타일을 가지고, 스타일 특징이 제2 스타일에 대응하는 경우, 제3 뉴럴 네트워크(1130)로부터 제2 스타일을 가지는 제2 프레임 영상(1112)이 출력될 수 있다.
제3 뉴럴 네트워크(1130)는 제2 프레임 영상(1111, 현재 프레임 영상)의 다운 스케일 영상과 제1 프레임 영상(1101, 이전 프레임 영상)의 다운스케일 영상에 기초하여, 제2 프레임 영상(1111)의 내용(content) 변화를 검출하고, 제1 프레임 영상의 특징 정보(1103)와 스타일 특징(1150)에 추가적으로 제2 프레임 영상의 내용 변화를 적용함으로써, 스타일이 변환된 제2 프레임 영상(1112)을 출력할 수 있다.
여기서, 제3 뉴럴 네트워크(1130)에 입력되는 제1 프레임 영상의 특징 정보(1103)는 제2 프레임 영상 처리 시에 제1 뉴럴 네트워크(1110)로부터 새로 추출한 데이터가 아닌 제1 프레임 영상 처리 시에 추출된 데이터이다. 따라서, 비디오 컨텐츠에 포함되는 동일한 장면의 프레임 영상들에 대해서, 하나의 프레임 영상에 대한 특징 정보를 추출하고, 추출한 특징 정보를 이용하여, 장면이 동일한 다른 프레임 영상들의 스타일 변환을 수행할 수 있어, 필요한 연산량 및 비용을 감소시킬 수 있다.
도 12는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 12를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 영상 수신부(110), 프로세서(120), 메모리(130), 디스플레이(140), 무선 통신부(150)를 포함할 수 있다.
일 실시예에 따른 영상 수신부(110)는 통신 인터페이스, 입출력 인터페이스 등을 포함할 수 있다. 예를 들어, 통신 인터페이스는 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 예를 들어, 통신 인터페이스는 와이- 파이(Wi-Fi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈, LAN 모듈, 이더넷(Ethernet) 모듈, 유선 통신 모듈 등을 포함할 수 있다. 이때, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이 파이 모듈, 블루투스 모듈은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이 파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하고, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 모듈은 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation) 등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
또는, 입출력 인터페이스는, 디스플레이 장치(100)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.
일 실시예에 따른 영상 수신부(110)는 하나 이상의 영상 컨텐츠들을 수신할 수 있다. 예를 들어, 영상 수신부(110)는 디스플레이 장치(100)와 연결된 게임 기기로부터 게임 컨텐츠를 수신할 수 있다. 다만 이에 한정되지 않는다.
일 실시예에 따른 프로세서(120)는 디스플레이 장치(100)의 전반적인 동작 및 디스플레이 장치(100)의 내구 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
또한, 프로세서(120)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 프로세서(140)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.
일 실시예에 따른 메모리(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 도 6 및 도 9의 처리를 수행하는 장치(또는 모듈)(400)에 포함되는 구성들 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 프로세서(120)는 수신한 영상 컨텐츠에 적용할 스타일 특징을 획득할 수 있다. 일 실시예에 따른 메모리(130)는 복수의 스타일 영상들을 기 저장할 수 있다. 프로세서(120)는 복수의 스타일 영상들 중 사용자 입력에 의해 선택된 스타일 영상으로부터 스타일 특징을 획득할 수 있다. 스타일 특징은 스타일 영상으로부터 추출된 특징 정보일 수 있다. 프로세서(120)는 스타일 영상을 하나 이상의 뉴럴 네트워크들에 입력함으로써, 스타일 영상에 대응하는 스타일 특징을 추출할 수 있다.
또는, 일 실시예에 따른 메모리(130)는 복수의 스타일 영상들에 대응하는 스타일 특징들을 기 저장할 수 있다. 프로세서(120)는 복수의 스타일 특징들 중 사용자 입력에 기초하여 선택된 어느 하나의 스타일 특징을 획득할 수 있다.
프로세서(120)는 획득한 스타일 특징에 기초하여, 영상 컨텐츠의 스타일을 변환할 수 있다. 프로세서(120)는 제1 뉴럴 네트워크를 이용하여, 영상 컨텐츠에 대한 특징 정보를 추출하고, 영상 컨텐츠에 대한 특징 정보와 스타일 특징을 제2 뉴럴 네트워크에 입력함으로써, 스타일이 변환된 영상 컨텐츠를 출력할 수 있다.
이때, 영상 컨텐츠가 복수의 프레임 영상들을 포함하는 비디오 컨텐츠인 경우, 프로세서(120)는 프레임 영상들에서 장면의 변화를 감지할 수 있다. 프로세서(120)는 장면이 변화하는 프레임 영상의 특징 정보는 추출하고, 장면이 이전 프레임 영상과 동일한 프레임 영상의 특징 정보는 추출하지 않을 수 있다. 예를 들어, 장면이 변화하는 제1 프레임 영상의 경우, 프로세서(120)는 제1 뉴럴 네트워크를 이용하여, 제1 프레임 영상의 특징 정보를 추출할 수 있다. 또한, 프로세서(120)는 제1 프레임 영상을 다운스케일하여, 다운스케일 영상을 획득할 수 있다. 프로세서(120)는 제1 프레임 영상의 다운스케일 영상, 제1 뉴럴 네트워크에서 추출된 제1 프레임 영상의 특징 정보 및 스타일 특징을 제2 뉴럴 네트워크로 입력하여, 스타일이 변환된 제1 프레임 영상을 획득할 수 있다.
반면에, 장면이 이전 프레임 영상(예를 들어, 제1 프레임 영상)과 동일한 제2 프레임 영상의 경우, 프로세서(120)는 제2 프레임 영상의 특징 정보를 추출하지 않고, 제1 프레임 영상의 특징 정보를 이용할 수 있다. 예를 들어, 프로세서(120)는 제2 프레임 영상을 다운스케일하여 획득한 다운스케일 영상, 제1 프레임 영상의 특징 정보 및 스타일 특징을 제2 뉴럴 네트워크로 입력하여, 스타일이 변환된 제2 프레임 영상을 획득할 수 있다. 이에 따라, 비디오 컨텐츠에 포함되는 동일한 장면의 프레임 영상들에 대해서, 하나의 프레임 영상에 대한 특징 정보를 추출하고, 추출한 특징 정보를 이용하여, 장면이 동일한 다른 프레임 영상들의 스타일 변환을 수행할 수 있어, 필요한 연산량 및 비용을 감소시킬 수 있다.
프로세서(120)는 스타일이 변환된 프레임 영상들을 디스플레이(140)에 표시되도록 제어할 수 있다.
일 실시예에 따른 디스플레이(140)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 무선 통신부(150)는 디스플레이 장치(100)의 성능 및 구조에 대응하여, IR(infrared), 블루투스(bluetooth), BLE(Bluetooth low energy), 무선랜(예를 들어, 와이-파이(Wi-Fi)), 초음파, 지그비(zigbee) 등을 통하여, 데이터 또는 신호를 송수신할 수 있다.
무선 통신부(150)는 프로세서(120)의 제어에 의해 제어 장치(1000)와 신호를 송수신할 수 있다. 무선 통신부(150)는 IR 통신 규격에 따라 제어 장치(1000)와 신호를 송수신할 수 있는 IR 모듈을 포함할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 무선 통신부(150)는 제어 장치(1000)로부터 게임 모드 설정 또는 스타일 설정과 관련된 제어 신호를 수신할 수 있다.
도 13은 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 13을 참조하면, 도 13의 디스플레이 장치(1300)는 도 1 내지 도 12를 참조하여 설명한 디스플레이 장치(100)의 일 실시예일 수 있다.
도 13을 참조하면, 일 실시예에 따른 디스플레이 장치(1300)는, 튜너부(1340), 프로세서(1310), 디스플레이부(1320), 통신부(1350), 감지부(1330), 입/출력부(1370), 비디오 처리부(1380), 오디오 처리부(1385), 오디오 출력부(1360), 메모리(1390), 전원부(1395)를 포함할 수 있다.
도 13의 통신부(1350)는 도 12의 영상 수신부(110)에 포함되는 통신 인터페이스 및 무선 통신부(150)를 포함하는 구성이고, 도 13의 입/출력부(1370)는 도 12의 영상 수신부(110)에 포함되는 입출력 인터페이스에 대응하는 구성이며, 도 13의 프로세서(1310)는, 도 12의 프로세서(120)에 도 13의 메모리(1390)는 도 12의 메모리(130)에, 도 13의 디스플레이부(1320)는 도 12의 디스플레이(140)에 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 동일한 내용은 생략하기로 한다.
일 실시예에 따른 튜너부(1340)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(1100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1340)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1340)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
감지부(1330)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1331), 카메라부(1332) 및 광 수신부(1333)를 포함할 수 있다.
마이크(1331)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1331)는 수신된 음성을 전기 신호로 변환하여 프로세서(1310)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1400)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(1332)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1310)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1300)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부(1333)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1320)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1333)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1310)의 제어에 의해 제어 신호가 추출될 수 있다.
프로세서(1310)는 디스플레이 장치(1300)의 전반적인 동작 및 디스플레이 장치(1300)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1310)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1390)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(1310)는 디스플레이 장치(1300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 디스플레이 장치(1100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.
비디오 처리부(1380)는, 디스플레이 장치(1300)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1380)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 처리부(1385)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1385)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1385)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1360)는 프로세서(1110)의 제어에 의해 튜너부(1340)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1360)는 통신부(1350) 또는 입/출력부(1370)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1360)는 프로세서(1310)의 제어에 의해 메모리(1390)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1360)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.
전원부(1395)는 프로세서(1310)의 제어에 의해 디스플레이 장치(1300) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1395)는 프로세서(1310)의 제어에 의해 디스플레이 장치(1300) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
메모리(1390)는 프로세서(1310)의 제어에 의해 디스플레이 장치(1300)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1390)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1390)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1300)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1310)는 메모리(1390)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 12 및 도 13에 도시된 디스플레이 장치(100, 1300)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치(100, 1300)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 제1 스타일을 가지는 비디오 컨텐츠를 수신하는 영상 수신부를 포함할 수 있다. 디스플레이 장치는, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함할 수 있다. 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 제2 스타일에 대응하는 특징을 획득할 수 있다. 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 메모리에 저장된 하나 이상의 뉴럴 네트워크들을 이용하여, 상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 특징에 대응하는 상기 제2 스타일로 변환할 수 있다. 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제2 스타일로 변환된 프레임 영상들을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
상기 메모리는, 복수의 스타일들에 대응하는 복수의 특징들 및 복수의 스타일 영상들 중 적어도 하나를 저장할 수 있다.
상기 디스플레이 장치는, 상기 복수의 스타일들 중 어느 하나를 선택하는 사용자 입력을 수신하는 무선 통신부를 더 포함할 수 있다.
상기 프로세서는, 상기 사용자 입력에 기초하여 선택된 스타일에 대응하는 상기 특징을 획득할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제2 스타일을 가지는 스타일 영상을 획득할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 특징 추출 네트워크를 이용하여, 상기 스타일 영상으로부터 상기 특징을 추출할 수 있다.
상기 디스플레이 장치는, 외부 장치와 통신을 수행하는 통신부를 더 포함할 수 있다.
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 외부 장치로부터 상기 스타일 영상을 수신하도록 상기 통신부를 제어할 수 있다.
상기 디스플레이 장치는, 게임 모드로 전환하는 사용자 입력을 수신하는 무선 통신부를 더 포함할 수 있다.
상기 비디오 컨텐츠는 게임 컨텐츠일 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 사용자 입력에 기초하여, 상기 디스플레이 장치가 상기 게임 모드로 동작하도록 제어할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 디스플레이 장치가 게임 모드로 동작하는 것에 기초하여, 상기 특징을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 게임 모드로 동작하는 것에 기초하여, 복수의 스타일들 중 어느 하나를 선택할 수 있는 스타일 설정 메뉴를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 제1 뉴럴 네트워크를 이용하여, 상기 프레임 영상들 중 제1 프레임 영상의 특징 정보를 추출할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 특징 정보와 상기 특징을 제2 뉴럴 네트워크에 입력하여, 상기 제2 스타일로 변환된 제1 프레임 영상을 획득할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제3 뉴럴 네트워크를 이용하여, 상기 제2 스타일에 대응하는 스타일 영상으로부터 상기 특징을 추출할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 프레임 영상들 중 상기 제1 프레임 영상과 동일한 장면(scene)에 포함되는 제2 프레임 영상의 다운스케일 영상을 획득할 수 있다.
상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 특징 정보, 상기 특징, 및 상기 다운스케일 영상을 상기 제2 뉴럴 네트워크에 입력하여, 상기 제2 스타일로 변환된 제2 프레임 영상을 획득할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 제1 스타일을 가지는 비디오 컨텐츠를 수신하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 제2 스타일에 대응하는 특징을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 하나 이상의 뉴럴 네트워크들을 이용함으로써, 상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 특징에 대응하는 상기 제2 스타일로 변환하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 제2 스타일로 변환된 프레임 영상들을 디스플레이하는 단계를 포함할 수 있다.
상기 동작 방법은, 상기 복수의 스타일들에 대응하는 복수의 특징들 및 복수의 스타일 영상들 중 적어도 하나를 저장하는 단계를 포함할 수 있다.
상기 동작 방법은, 상기 복수의 스타일들 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계를 더 포함할 수 있다.
상기 스타일 특징을 획득하는 단계는, 상기 사용자 입력에 기초하여 선택된 스타일에 대응하는 상기 특징을 획득하는 단계를 포함할 수 있다.
상기 동작 방법은, 상기 제2 스타일을 가지는 스타일 영상을 획득하는 단계를 더 포함할 수 있다.
상기 스타일 특징을 획득하는 단계는, 특징 추출 네트워크를 이용하여, 상기 스타일 영상으로부터 상기 특징을 추출하는 단계를 포함할 수 있다.
상기 스타일 영상을 획득하는 단계는, 외부 장치로부터 상기 스타일 영상을 수신하는 단계를 더 포함할 수 있다.
상기 동작 방법은, 게임 모드로 전환하는 사용자 입력을 수신하는 단계를 포함할 수 있다.
상기 동작 방법은, 상기 사용자 입력에 기초하여, 상기 디스플레이 장치가 상기 게임 모드로 동작하는 단계를 포함할 수 있다.
상기 동작 방법은, 상기 디스플레이 장치가 게임 모드로 동작하는 것에 기초하여, 상기 특징을 선택할 수 있는 사용자 인터페이스를 제공하는 단계를 더 포함할 수 있다.
상기 비디오 컨텐츠는 게임 컨텐츠일 수 있다.
상기 스타일 특징을 선택할 수 있는 사용자 인터페이스를 제공하는 단계는, 상기 게임 모드로 동작하는 것에 기초하여, 복수의 스타일들 중 어느 하나를 선택할 수 있는 스타일 설정 메뉴를 표시하는 단계를 포함할 수 있다.
상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 제2 스타일로 변환하는 단계는, 제1 뉴럴 네트워크를 이용하여, 상기 프레임 영상들 중 제1 프레임 영상의 특징 정보를 추출하는 단계를 포함할 수 있다.
상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 제2 스타일로 변환하는 단계는, 상기 특징 정보와 상기 특징을 제2 뉴럴 네트워크에 입력함으로써, 상기 제2 스타일로 변환된 제1 프레임 영상을 획득하는 단계를 포함할 수 있다.
상기 스타일 특징을 획득하는 단계는, 상기 제3 뉴럴 네트워크를 이용하여, 상기 제2 스타일에 대응하는 스타일 영상으로부터 상기 특징을 추출하는 단계를 포함할 수 있다.
상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 제2 스타일로 변환하는 단계는, 상기 프레임 영상들 중 상기 제1 프레임 영상과 동일한 장면(scene)에 포함되는 제2 프레임 영상의 다운스케일 영상을 획득하는 단계를 포함할 수 있다.
상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 제2 스타일로 변환하는 단계는, 상기 특징 정보, 상기 특징, 및 상기 다운스케일 영상을 상기 제2 뉴럴 네트워크에 입력함으로써, 상기 제2 스타일로 변환된 제2 프레임 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치는 게임 컨텐츠의 그래픽(예를 들어, 게임 스킨)을 변환하는 소프트웨어(예를 들어, 게임 스킨 팩)를 제공받지 않아도, 게임 컨텐츠의 스타일을 변환함으로써, 게임 컨텐츠의 그래픽을 변환하는 효과를 제공할 수 있다.
일 실시예에 따른 디스플레이 장치는, 디스플레이 장치에서 게임 컨텐츠의 스타일 변환을 수행하므로, 게임 컨텐츠를 재생하는 기기의 성능, 종류 등과 상관없이, 게임 컨텐츠의 그래픽을 변환시킬 수 있다.
일 실시예에 따른 디스플레이 장치는, 게임 컨텐츠의 종류에 상관없이 하나의 스타일을 다양한 종류의 게임 컨텐츠들에 적용시킬 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 디스플레이 장치의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 디스플레이 장치(100)에 있어서,
    디스플레이(140);
    제1 스타일을 가지는 비디오 컨텐츠를 수신하는 영상 수신부(110);
    하나 이상의 인스트럭션들을 저장하는 메모리(130); 및
    상기 메모리(130)에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    제2 스타일에 대응하는 특징을 획득하고,
    상기 메모리에 저장된 하나 이상의 뉴럴 네트워크들을 이용함으로써, 상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 특징에 대응하는 상기 제2 스타일로 변환하며,
    상기 제2 스타일로 변환된 프레임 영상들을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서(120)를 포함하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 메모리(130)는, 복수의 스타일들에 대응하는 복수의 특징들 및 복수의 스타일 영상들 중 적어도 하나를 저장하고,
    상기 디스플레이 장치(100)는,
    상기 복수의 스타일들 중 어느 하나를 선택하는 사용자 입력을 수신하는 무선 통신부를 더 포함하고,
    상기 프로세서(120)는,
    상기 사용자 입력에 기초하여 선택된 스타일에 대응하는 상기 특징을 획득하는, 디스플레이 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 프로세서(120)는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 제2 스타일을 가지는 스타일 영상을 획득하고,
    특징 추출 네트워크를 이용하여, 상기 스타일 영상으로부터 상기 특징을 추출하는, 디스플레이 장치.
  4. 제3항에 있어서,
    상기 디스플레이 장치(100)는,
    외부 장치와 통신을 수행하는 통신부를 더 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 외부 장치로부터 상기 스타일 영상을 수신하도록 상기 통신부를 제어하는, 디스플레이 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 디스플레이 장치(100)는,
    게임 모드로 전환하는 사용자 입력을 수신하는 무선 통신부를 더 포함하고,
    상기 비디오 컨텐츠는 게임 컨텐츠이며,
    상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 사용자 입력에 기초하여, 상기 디스플레이 장치가 상기 게임 모드로 동작하도록 제어하며,
    상기 디스플레이 장치가 게임 모드로 동작하는 것에 기초하여, 상기 특징을 선택할 수 있는 사용자 인터페이스를 제공하는, 디스플레이 장치.
  6. 제5항에 있어서,
    상기 프로세서(120)는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 게임 모드로 동작하는 것에 기초하여, 복수의 스타일들 중 어느 하나를 선택할 수 있는 스타일 설정 메뉴를 표시하도록 상기 디스플레이(140)를 제어하는, 디스플레이 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 프로세서(120)는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    제1 뉴럴 네트워크를 이용하여, 상기 프레임 영상들 중 제1 프레임 영상의 특징 정보를 추출하고,
    상기 특징 정보와 상기 특징을 제2 뉴럴 네트워크에 입력함으로써, 상기 제2 스타일로 변환된 제1 프레임 영상을 획득하는, 디스플레이 장치.
  8. 제7항에 있어서,
    상기 프로세서(120)는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 제3 뉴럴 네트워크를 이용하여, 상기 제2 스타일에 대응하는 스타일 영상으로부터 상기 특징을 추출하는, 디스플레이 장치.
  9. 제7항에 있어서,
    상기 프로세서(120)는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 프레임 영상들 중 상기 제1 프레임 영상과 동일한 장면(scene)에 포함되는 제2 프레임 영상의 다운스케일 영상을 획득하고,
    상기 특징 정보, 상기 특징, 및 상기 다운스케일 영상을 상기 제2 뉴럴 네트워크에 입력함으로써, 상기 제2 스타일로 변환된 제2 프레임 영상을 획득하는, 디스플레이 장치.
  10. 디스플레이 장치의 동작 방법에 있어서,
    제1 스타일을 가지는 비디오 컨텐츠를 수신하는 단계(S210);
    제2 스타일에 대응하는 특징을 획득하는 단계(S220);
    하나 이상의 뉴럴 네트워크들을 이용함으로써, 상기 비디오 컨텐츠에 포함되는 프레임 영상들의 스타일을 상기 제1 스타일에서 상기 특징에 대응하는 상기 제2 스타일로 변환하는 단계(S230); 및
    상기 제2 스타일로 변환된 프레임 영상들을 디스플레이하는 단계(S240);를 포함하는, 디스플레이 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 동작 방법은,
    상기 복수의 스타일들에 대응하는 복수의 특징들 및 복수의 스타일 영상들 중 적어도 하나를 저장하는 단계; 및
    상기 복수의 스타일들 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계;를 더 포함하고,
    상기 스타일 특징을 획득하는 단계는,
    상기 사용자 입력에 기초하여 선택된 스타일에 대응하는 상기 특징을 획득하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 동작 방법은,
    상기 제2 스타일을 가지는 스타일 영상을 획득하는 단계를 더 포함하고,
    상기 스타일 특징을 획득하는 단계는,
    특징 추출 네트워크를 이용하여, 상기 스타일 영상으로부터 상기 특징을 추출하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 스타일 영상을 획득하는 단계는,
    외부 장치로부터 상기 스타일 영상을 수신하는 단계를 더 포함하는, 디스플레이 장치의 동작 방법.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 동작 방법은,
    게임 모드로 전환하는 사용자 입력을 수신하는 단계;
    상기 사용자 입력에 기초하여, 상기 디스플레이 장치가 상기 게임 모드로 동작하는 단계; 및
    상기 디스플레이 장치가 게임 모드로 동작하는 것에 기초하여, 상기 특징을 선택할 수 있는 사용자 인터페이스를 제공하는 단계를 더 포함하고,
    상기 비디오 컨텐츠는 게임 컨텐츠인, 디스플레이 장치의 동작 방법.
  15. 제10항 내지 제14항 중 어느 한 항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/003773 2022-04-04 2023-03-22 디스플레이 장치 및 그 동작 방법 WO2023195661A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0041908 2022-04-04
KR1020220041908A KR20230143066A (ko) 2022-04-04 2022-04-04 디스플레이 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2023195661A1 true WO2023195661A1 (ko) 2023-10-12

Family

ID=88243104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003773 WO2023195661A1 (ko) 2022-04-04 2023-03-22 디스플레이 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230143066A (ko)
WO (1) WO2023195661A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210040882A (ko) * 2020-04-02 2021-04-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 동영상을 생성하기 위한 방법 및 장치
KR20210108529A (ko) * 2020-02-25 2021-09-03 주식회사 하이퍼커넥트 이미지 변형 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20220026252A (ko) * 2020-08-25 2022-03-04 주식회사 케이티 이동 단말기, 서버 및 뷰티 스타일의 합성 방법
KR20220027565A (ko) * 2020-08-27 2022-03-08 연세대학교 산학협력단 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법
KR20220040251A (ko) * 2020-09-23 2022-03-30 펄스나인 주식회사 트랜스퍼 생성모델의 보편적 성능을 높이는 트랜스퍼 이미지 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210108529A (ko) * 2020-02-25 2021-09-03 주식회사 하이퍼커넥트 이미지 변형 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20210040882A (ko) * 2020-04-02 2021-04-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 동영상을 생성하기 위한 방법 및 장치
KR20220026252A (ko) * 2020-08-25 2022-03-04 주식회사 케이티 이동 단말기, 서버 및 뷰티 스타일의 합성 방법
KR20220027565A (ko) * 2020-08-27 2022-03-08 연세대학교 산학협력단 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법
KR20220040251A (ko) * 2020-09-23 2022-03-30 펄스나인 주식회사 트랜스퍼 생성모델의 보편적 성능을 높이는 트랜스퍼 이미지 생성 방법

Also Published As

Publication number Publication date
KR20230143066A (ko) 2023-10-11

Similar Documents

Publication Publication Date Title
WO2020101143A1 (en) Image processing apparatus and method of operating the same
WO2018016720A1 (en) Image display device and image display method
WO2017126835A1 (en) Display apparatus and controlling method thereof
WO2020145552A1 (en) Image display device and operation method thereof
WO2020067759A1 (en) Display apparatus control method and display apparatus using the same
WO2017018733A1 (en) Display apparatus and method for controlling a screen of display apparatus
EP3371960A1 (en) Electronic device and method of operating the same
WO2019045337A1 (en) IMAGE DISPLAY APPARATUS AND METHOD FOR OPERATING SAME
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021118225A1 (en) Display device and operating method thereof
WO2021101327A1 (en) Display device and operating method thereof
WO2020050596A1 (en) Method of controlling display device, and display device using the method
EP3323247A1 (en) Display apparatus and method for controlling display apparatus
EP3735780A1 (en) Image display apparatus and operating method of the same
WO2020050508A1 (en) Image display apparatus and operation method of the same
WO2021251632A1 (en) Display device for generating multimedia content, and operation method of the display device
WO2020171657A1 (en) Display device and image display method of the same
WO2023195661A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2020067771A1 (en) Display apparatus and control method thereof
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
WO2019083138A1 (en) ELECTRONIC DEVICE, AUDIO OUTPUT DEVICE, AND METHOD FOR OPERATING ELECTRONIC DEVICE
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2021080154A1 (ko) 전자 장치 및 그 제어 방법
WO2020184856A1 (ko) 방송 수신 장치 및 그 동작방법
WO2023033295A1 (ko) 디스플레이 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23784889

Country of ref document: EP

Kind code of ref document: A1