KR20200036661A

KR20200036661A - 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치

Info

Publication number: KR20200036661A
Application number: KR1020180116581A
Authority: KR
Inventors: 정민효; 이성오; 이현수; 곽영민
Original assignee: 삼성전자주식회사
Priority date: 2018-09-28
Filing date: 2018-09-28
Publication date: 2020-04-07
Also published as: US11043013B2; CN112771580A; US20200105029A1; WO2020067759A1; KR102640234B1; EP3629296A1

Abstract

본 개시의 실시예에 따른 디스플레이 장치는 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하는 프로세서를 적어도 하나 포함하는 제어부를 포함한다. 본 개시의 실시예에 따르면, 사용자는 이미지가 스타일 변환되어 생성되기까지의 시간 동안에 지루함을 느끼지 않으면서도, 독창적인 스타일을 갖는 이미지(구체적으로, AI 기반 스타일 변환된 제3 이미지)를 시청할 수 있으므로, 사용자의 요구 및 사용자의 편의성을 증대시킬 수 있다.

Description

디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치 {METHOD FOR CONTROLLING OF A DISPLAY APPARATUS AND DISPLAY APPARATUS THEREOF}

본 개시의 실시예는 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치에 대한 것이다.

구체적으로, 본 개시의 실시예는 스타일 변환(style transfer)된 이미지를 디스플레이 하기 위한 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치에 대한 것이다.

디스플레이의 보급 및 기술 개발로 인하여, 다양한 형태 및 다양한 기능을 갖는 디스플레이 장치들이 개발되고 있다.

그에 따라서, 디스플레이 장치를 활용하여 소비자의 다양한 욕구 또는 의도에 부합되는 기능을 실현할 수 있다.

예를 들어, 디스플레이 장치를 사진 또는 명화 등의 소정 화면을 디스플레이 하기 위한 액자(picture frame)처럼 이용할 수 있는 제품들이 출시되고 있다. 구체적으로, 사용자가 디스플레이 장치를 통하여 소정의 컨텐츠를 시청하고 있는 경우가 아니면, 소정의 화면, 예를 들어, 명화 또는 사진을 포함하는 화면을 출력할 수 있다. 이 경우, 사용자는 디스플레이 장치를 명화 액자 또는 대형 사진 액자처럼 이용할 수 있다.

또한, 사용자는 자신의 예술적인 취향 또는 디스플레이 장치가 위치하는 장소의 분위기 등을 고려하여, 스타일 변형된 이미지가 디스플레이 장치를 통하여 디스플레이되길 원할 수 있다. 이러한 경우, 디스플레이 장치는 사용자의 예술적인 취향, 욕구 등에 더욱 부합하도록 하는 이미지를 빠르게 생성할 필요가 있을 것이다.

전술한 바와 같이, 다양한 사용자의 욕구 및 의도에 부합하는 디스플레이 장치를 제공할 필요가 있다.

본 개시의 실시예는 사용자의 예술적인 취향, 욕구 등에 더욱 부합하도록 하는 이미지를 빠르게 생성할 수 있는 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치의 제공을 목적 및 효과로 한다.

구체적으로 본 개시의 실시예는, 신경망을 통한 연산을 수행하여 이미지를 생성하는데 소요되는 시간 동안 사용자가 지루함을 느끼지 않도록, 이미지들을 생성 및 디스플레이 할 수 있는 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치의 제공을 목적 및 효과로 한다.

본 개시의 실시예에 따른 디스플레이 장치는 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하는 프로세서를 적어도 하나 포함하는 제어부를 포함한다. 상기 제어부는 제1 이미지를 분석한 결과에 근거하여 상기 제1 이미지가 소정 질감(texture)에 대응되는 제1 스타일을 갖도록 영상 처리하여, 스타일 변환(style transfer)된 적어도 하나의 제2 이미지가 생성되도록 제어하며, 신경망(neural network)을 이용하여 상기 제1 이미지의 스타일 변환을 위한 연산을 수행하여 제3 이미지가 생성되도록 제어하며, 상기 디스플레이 상으로 상기 적어도 하나의 제2 이미지를 출력하고 후속하여 상기 제3 이미지가 출력되도록 제어한다.

또한, 상기 제어부는 상기 제1 이미지가 상기 제1 스타일을 갖도록 하는 영상 처리가 수행되는 과정에서 점차적으로 변화되는 상기 적어도 하나의 제2 이미지가 생성되며, 상기 디스플레이 상으로, 점차적으로 변화되는 상기 적어도 하나의 제2 이미지가 순차적으로 출력된 뒤 상기 제3 이미지가 출력되도록, 이미지 전환(image transition)을 수행할 수 있다.

또한, 상기 제어부는 상기 제1 이미지의 엣지(edge) 정보에 근거하여, 상기 제1 이미지가 상기 소정 질감을 갖도록 시뮬레이션 기반 스타일 변환(simulation based style transfer)을 수행하여 상기 적어도 하나의 제2 이미지를 생성할 수 있다.

또한, 상기 제어부는 상기 적어도 하나의 제2 이미지의 생성 순서에 따라서, 상기 적어도 하나의 제2 이미지가 상기 디스플레이 상에 순차적으로 출력할 수 있다.

또한, 상기 제어부는 상기 제1 이미지의 스타일 변환을 위해 상기 신경망을 통한 연산을 수행하여 상기 제1 스타일에 대응되는 상기 제3 이미지가 생성되도록 제어할 수 있다.

또한, 상기 제어부는 상기 신경망을 통한 연산을 수행하여, 상기 제1 이미지의 내용 이미지(content image) 및 스타일(style)을 획득하고, 상기 내용 이미지를 유지하면서 상기 제1 이미지의 스타일(style)이 상기 제1 스타일에 대응되도록 변환하여 상기 제3 이미지를 생성할 수 있다.

또한, 상기 제어부는 시뮬레이션 기반 스타일 변환(simulation based style transfer)을 수행하며 상기 제1 스타일에 대응되는 제1 포토 필터(photo filter)를 포함하며, 상기 제1 포토 필터를 이용하여 상기 적어도 하나의 제2 이미지가 생성되도록 제어할 수 있다.

또한, 상기 제어부는 서로 다른 복수개의 스타일 중 어느 하나인 제1 스타일을 선택하는 사용자 입력을 수신하면, 상기 제1 포토 필터를 이용하여 상기 제1 이미지가 상기 제1 스타일을 갖도록 영상 처리하여 상기 적어도 하나의 제2 이미지가 생성되도록 제어할 수 있다.

또한, 본 개시의 실시예에 따른 디스플레이 장치는 외부 장치와 통신을 수행하는 통신부를 포함할 수 있다. 또한, 상기 제어부는 상기 통신부를 통하여, 상기 외부 장치로부터 상기 복수개의 스타일 중 상기 제1 스타일을 선택하는 사용자 입력을 수신할 수 있다.

또한, 본 개시의 실시예에 따른 디스플레이 장치는 상기 신경망을 통하여 상기 스타일 변환을 위한 연산을 수행하는 외부 장치와 통신을 수행하는 통신부를 더 포함할 수 있다. 또한, 상기 제어부는 상기 외부 장치가 상기 신경망을 통한 연산을 수행하여 획득한 상기 제3 이미지를 전송받도록 제어할 수 있다.

또한, 상기 신경망은 상기 제1 이미지가 상기 제1 스타일에 대응되도록 컨볼루션 연산을 반복적으로 수행하는 컨볼루션 신경망(CNN: Convolution Neural Network)을 포함할 수 있다.

또한, 상기 제어부는 엠비언트 서비스가 실행되는 동안에, 상기 디스플레이 상으로 상기 적어도 하나의 제2 이미지 및 상기 제3 이미지가 출력되도록 제어할 수 있다.

본 개시의 실시예에 따른 디스플레이 장치의 제어 방법은 제1 이미지를 분석한 결과에 근거하여 상기 제1 이미지가 소정 질감(texture)에 대응되는 제1 스타일을 갖도록 영상 처리하여, 스타일 변환(style transfer)된 적어도 하나의 제2 이미지를 생성하는 단계; 신경망(neural network)을 이용하여 상기 제1 이미지의 스타일 변환을 위한 연산을 수행하여 제3 이미지를 생성하는 단계; 및 디스플레이 상으로 상기 적어도 하나의 제2 이미지를 출력하고 후속하여 상기 제3 이미지를 출력하는 단계를 포함한다.

본 개시의 실시예에 따르면, 사용자는 이미지가 스타일 변환되어 생성되기까지의 시간 동안에 지루함을 느끼지 않으면서도, 독창적인 스타일을 갖는 이미지(구체적으로, AI 기반 스타일 변환된 제3 이미지)를 시청할 수 있다. 따라서, 본 개시의 실시예는 사용자의 만족도 및 사용자의 편의성을 증대시킬 수 있다.

도 1은 일반적인 디스플레이 장치를 설명하는 도면이다.
도 2는 스타일 변환(style transfer)을 통하여 이미지를 변형하는 것을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 디스플레이 장치를 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법을 나타내는 흐름도이다.
도 3 및 도 4에 도시된 본 개시의 실시예에 따르면, 사용자는 이미지가 스타일 변환되어 생성되기까지의 시간 동안에 지루함을 느끼지 않으면서도, 독창적인 스타일을 갖는 이미지(구체적으로, AI 기반 스타일 변환된 제3 이미지)를 시청할 수 있으므로, 사용자의 만족도 및 사용자의 편의성을 증대시킬 수 있다.
도 5는 본 개시의 실시예에서 수행되는 스타일 변환 동작을 설명하기 위한 일 도면이다.
도 6은 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법을 상세하게 나타내는 흐름도이다. 또한, 도 6에 도시된 디스플레이 장치의 제어 방법(600)은 본 개시의 실시예에 따른 디스플레이 장치(300, 또는 1300) 내에서 수행될 수 있다. 따라서, 도 6은 디스플레이 장치(300, 또는 1300)에서 수행되는 동작들을 나타내는 도면이라고도 할 수 있다.
도 5 및 도 6에 도시된 동작들을 수행하는 본 개시의 실시예에 따르면, 시뮬레이션 기반 스타일 변환 동작과 AI 기반 스타일 변환 동작을 병렬적으로 수행함으로써, 시뮬레이션 기반 스타일 변환을 통하여 점차적으로 변화되는 적어도 하나의 제2 이미지(556, 557, 558, 559, 600)를 순차적으로 출력한 뒤, AI 기반 스타일 변환된 제3 이미지(541)를 출력할 수 있다. 그에 따라서, AI 기반 스타일 변환된 이미지를 생성하는데 소요되는 시간 동안에도, 사용자는 시뮬레이션 기반의 스타일 변환된 이미지들을 시청함으로써 지루함을 느끼지 않을 수 있다.
또한, 최종적으로는 AI 기반 스타일 변환된 이미지를 시청함으로써, 독창성 높고 예술적인 이미지를 시청할 수 있다.
도 7은 신경망을 통한 스타일 변환 동작을 설명하기 위한 일 도면이다.
도 8은 스타일 변환에 이용되는 신경망을 설명하기 위한 일 도면이다.
도 9는 스타일 변환에 이용되는 신경망을 설명하기 위한 다른 도면이다.
도 5 및 도 6에 도시된 AI 기반 스타일 변환 동작들을 수행하는 본 개시의 실시예에 따르면, 독창성 높고 예술성이 높은 스타일 변환 이미지를 획득할 수 있다.
도 10은 시뮬레이션 기반의 스타일 변환 동작을 설명하기 위한 일 도면이다.
도 10에 도시된 시뮬레이션 기반 스타일 변환 동작들을 수행하는 본 개시의 실시예에 따르면, 스타일 변환된 이미지들을 빠르고 실시간으로 생성 및 출력할 수 있다. 그에 따라서, 사용자는 스타일 변환 되어가는 이미지들을 실시간으로 시청함으로써, 지루함을 느끼지 않으면서 흥미로운 이미지들을 시청할 수 있다.
도 11은 본 개시의 실시예에 따른 디스플레이 장치에서 출력되는 이미지들을 설명하기 위한 도면이다.
도 11에서 도시된 바와 같이 이미지 전환되는 화면을 통하여, 사용자는 AI 기반 스타일 변환된 이미지인 제3 이미지가 디스플레이 되기까지, 시뮬레이션 기반 스타일 변환되어 실시간으로 출력되는 적어도 하나의 제2 이미지를 시청할 수 있다. 그에 따라서, 사용자는 지루함을 느끼지 않으면서도 고품질의 이미지를 최종적으로 시청할 수 있다. 그에 따라서, 본 개시의 실시예에 따른 디스플레이 장치는 사용자의 만족도를 높일 수 있다.
도 12는 본 개시의 다른 실시예에 따른 디스플레이 장치의 제어 방법을 상세하게 나타내는 흐름도이다.
AI 기반 스타일 변환은 사용자가 중간 결과물을 확인할 수 없으며, 그 최종 결과물인 제3 이미지의 형태를 예측할 수 없다. 따라서, 사용자가 왜곡으로 인식하는 이미지가 출력될 수도 있다. 사용자가 왜곡으로 인식하는 이미지의 경우, 사용자는 출력된 제3 이미지가 예술성, 작품성 및/또는 독창성이 없거나 낮다고 판단할 수 있다. 따라서, 도 12에 도시된 실시예는, 제3 이미지의 품질을 평가하고 품질 평가 결과에 따라서 제3 이미지의 품질이 낮은 경우에는 제3 이미지가 디스플레이 되지 않도록 함으로써, 사용자의 만족도를 높일 수 있다.
도 13은 본 개시의 다른 실시예에 따른 디스플레이 장치를 나타내는 블록도이다.
도 14는 본 개시의 다른 실시예에 따른 디스플레이 장치를 나타내는 다른 블록도이다.
도 13 및 도 14에 도시된 실시예에 따르면, 외부 장치(예를 들어, 서버 등)을 통하여 신경망의 연산을 수행함으로써, AI 기반 스타일 변환의 속도, 시간 및 품질을 더욱 더 높일 수 있다.
도 15는 본 개시의 다른 실시예에 따른 디스플레이 장치를 나타내는 다른 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.

일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 프로세서 또는 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 모듈 및 구성등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.

또한, 'A와 B 중 적어도 하나'라는 기재는 'A 또는 B' 또는 'A 및 B'를 의미한다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

본 개시의 실시예에 따른 디스플레이 장치는 소정 컨텐츠를 시각적으로 출력하는 모든 전자 기기를 포함할 수 있다. 구체적으로, 본 개시의 실시예에 따른 디스플레이 장치는 적어도 하나의 컨텐츠를 선택적으로 디스플레이 할 수 있는 모든 전자 기기로, TV, 디지털 방송용 단말기, 태블릿 PC, 모바일 폰, 모바일 폰, 컴퓨터, 노트북 등과 같이 다양한 형태로 존재할 수 있다. 또한, 디스플레이 장치는 고정형뿐만 아니라, 이동 가능하거나 사용자가 휴대 가능한 형태를 가질 수 있을 것이다.

그리고, 본 개시의 실시예에서, 디스플레이 장치는 외부 장치와 무선 네트워크를 통하여 데이터를 송수신할 수 있다. 여기서, 외부 장치는 무선 통신 네트워크를 통하여 디스플레이 장치와 통신할 수 있는 서버, 전자 장치 등이 될 수 있다. 구체적으로, 외부 장치는 디스플레이 장치와 소정 데이터를 송수신하거나, 디스플레이 장치와 페어링(pairing)될 수 있거나, 디스플레이 장치를 원격 제어하거나, 또는 디스플레이 장치로부터 원격 제어될 수 있는 서버 또는 전자 장치가 될 수 있다. 예를 들어, 외부 장치는 스마트 폰, 태블릿 PC, PC, PDA(personal digital assistant), 랩탑 컴퓨터, 미디어 플레이어, 서버, 마이크로 서버 등과 같은 컴퓨팅 장치가 될 수 있다.

도 1은 일반적인 디스플레이 장치를 설명하는 도면이다.

도 1을 참조하면, 소정의 공간(100) 상에 디스플레이 장치(110)가 배치될 수 있다. 여기서, 디스플레이 장치(110)는 화면(112)을 통하여 이미지를 출력하는 전자 장치이다. 구체적으로, 디스플레이 장치(110)는 컨텐츠, 광고 및 안내 정보, 또는 사용자 인터페이스 화면 등을 사용자에게 시각적으로 출력하기 위한 장치로, TV, 디지털 방송용 단말기 등과 같이 다양한 형태로 존재할 수 있다. 또한, 디스플레이 장치(110)는 고정형뿐만 아니라, 이동 가능하거나 사용자가 휴대 가능한 형태를 가질 수 있을 것이다.

도 1에서 도시된 예와 같이, 디스플레이 장치(110)는 벽면에 탈 부착 가능한 벽걸이 형 디스플레이 장치로 소정 벽면(120) 상에 부착된 상태로 배치될 수 있다. 사용자는 디스플레이 장치(110)를 액자처럼 이용하기를 원할 수 있다. 구체적으로, 사용자는 디스플레이 장치(110)로 소정 컨텐츠, 예를 들어, TV 채널 등을 시청하지 않는 경우, 사용자의 취향에 맞는 이미지 또는 소정의 공간(100)에 어울리는 이미지가 디스플레이 되기를 원할 수 있다. 또한, 사용자는 자신의 예술적 취향에 맞춰서 일반적인 사진 또는 그림이 아닌 독창적이며 예술성 있는 이미지가 디스플레이 장치(110) 상으로 출력되기를 원할 수 도 있다.

여기서, 디스플레이 장치(110)가 소정의 컨텐츠를 재생하지 않는 동안에 소정의 이미지를 디스플레이 하도록 동작하는 하는 것을 엠비언트 서비스(ambient) 라 칭할 수 있다. 구체적으로, 엠비언트(Ambient) 서비스는 TV 등과 같은 디스플레이 장치의 새로운 어플리케이션 또는 서비스로, TV 가 오프된 경우(구체적으로, TV가 소정 컨텐츠를 재생하지 않는 오프 상태의 경우), 블랙 화면 대신에 사진 또는 명화 등과 같은 의미 있는 이미지가 화면 상으로 출력되도록 하는 서비스이다.

전술한 엠비언트 서비스 등을 이용하는 경우, 본 개시의 실시예에 따른 디스플레이 장치(110)는 이미지를 출력하기 위해서, 사용자의 의도, 취향, 및/또는 설정 등에 대응되는 이미지가 생성되도록 동작할 수 있다.

사용자의 의도 및/또는 취향에 맞춰서 독창적인 이미지를 생성하기 위해서, 본 개시의 실시예에서는 스타일 변환(style transfer) 기술을 이용한다. 구체적으로, 본 개시의 실시예에서는, 이미지 생성을 위해서 예술적인 스타일 변환(artistic style transfer) 기술을 이용할 수 있다.

예술적인 스타일 변환이란, 한 이미지에 대해 그 이미지가 가진 내용은 유지한 채로 그 이미지가 가진 스타일을 특정한 형태로 변환하는 것을 뜻한다. 여기서, 변환의 대상이 되는 이미지는 일반적인 디지털 카메라나 스캐너로 디지털화된 이미지일 수 있고, 또한 그림을 그리는 프로그램을 이용해 새롭게 창조된 이미지일 수 있다. 그리고, 스타일은 수채화, 유화, 수묵화, 점묘화, 입체화와 같은 화풍의 형태가 될 수 있고, 반 고흐 풍, 모네 풍, 마네 풍, 피카소 풍 과 같은 특정한 화가의 화풍을 지칭할 수 있다. 또한, 스타일은 이미지의 색감, 분위기, 소정 명도 및 소정 채도 등에 따라서 서로 다른 스타일로 구별될 수도 있다. 또한, 반 고흐의 별이 빛나는 밤에 풍, 해바라기 풍과 같이 특정 작품 또한 스타일로 지칭될 수 있다. 또한, 본 개시의 실시예에서 이용되는 '스타일'은 전술한 예시 이외의 화풍 또는 스타일을 나타낼 수 있는것들이 포함 될 수 있다.

도 2는 스타일 변환(style transfer)을 통하여 이미지를 변형하는 것을 설명하기 위한 도면이다. 도 2에서는 원본 이미지(210)의 색감, 명도 및 채도를 변경함으로써 스타일 변환을 수행한 경우가 예시된다. 그에 따라서, 원본 이미지(210)의 스타일이 변환된 출력 이미지(220)가 생성될 수 있다.

전술한 예술적인 스타일 변환은 포토샵 등과 같은 이미지 편집 툴(tool)을 이용하여 사람이 직접 수정하던 하던 방법에서 자동적으로 이미지를 분석한 뒤 미리 정의된 스타일을 이용하여 자동적으로 영상 처리하는 방법으로 발전하였다.

그리고, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여, 이미지의 스타일 변환을 수행하는 방법이 개발되고 있다.

이하에서는, 이미지를 분석한 뒤 미리 정의된 스타일을 이용하여 영상 처리를 수행하는 스타일 변환을 '시뮬레이션 기반 스타일 변환(simulation based style transfer)'이라 칭할 수 있을 것이다. 또한, 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행하는 스타일 변환을 'AI 기반 스타일 변환'이라 칭할 수 있을 것이다.

구체적으로, 도 2에 도시된 예시는 시뮬레이션 기반 스타일 변환을 수행하여 출력 이미지(220)를 생성하는 경우이다. 시뮬레이션 기반 스타일 변환은 출력 이미지를 생성하기 위해서 적용되는 스타일은 이미 정해진 스타일이다. 구체적으로, 스타일 변환에 적용되는 스타일 별로 기술 개발이 필요하며, 해당 스타일을 표현하기 위해서는 해당 스타일에 대응되는 질감 이미지(texture image) 또는 이미지 자원(image resource)을 개별적으로 개발 및 제작하여야 한다. 따라서, 시뮬레이션 기반 스타일 변환은 새로운 스타일을 개발할 때마다 시간, 인력 비용의 투자가 필요하므로, 스타일의 확장 및 스타일 종류의 다양화에 한계가 있다.

인공 지능(AI)을 통한 스타일 변환을 수행하면, 시뮬레이션 기반 스타일 변환에 비하여, 더욱 더 독창적인 이미지를 생성할 수 있다. 또한, 독창성을 높임으로써 이미지의 예술성을 높일 수 있으며, 일반적인 이미지를 원하지 않는 사용자의 요구(needs)에 더욱 부합하는 이미지를 생성할 수 있을 것이다. 또한, AI 기반 스타일 변환은 시뮬레이션 기반 스타일 변환처럼 스타일 별로 대응되는 질감 이미지(texture image) 또는 이미지 자원(image resource)을 개별적으로 개발할 필요가 없다. 즉, AI 기반 스타일 변환은 신경망(neural network)의 입력단으로 원본 이미지 및 모방하고자 하는 스타일을 갖는 이미지를 입력하면, 신경망 내부의 연산을 통하여 소정의 스타일로 변환된 이미지를 출력한다.

그러나, AI 기반 스타일 변환 동작을 수행하는데 걸리는 시간은 시뮬레이션 기반 스타일 변환을 수행하는데 걸리는 시간보다 길다. 구체적으로, 시뮬레이션 기반 스타일 변환은 실시간으로 스타일 변환된 이미지를 출력할 수 있다. 이에 비하여, 인공 지능(AI)를 통한 스타일 변환(style transfer)의 경우, 입력된 이미지를 스타일 변환하여 출력하기까지 수십초에서 수 분이 소요된다. 일반적인 디스플레이 장치는, 최종 결과물인 AI 기반 스타일 변환된 이미지가 생성되기까지의 시간 동안에, 기 설정된 대기 화면을 표시하거나 처리가 수행되는 중임을 알리는 화면(예를 들어, '처리 중'이라는 메시지를 표시한 UI 화면)을 출력한다. 따라서, 사용자는 생성된 영상에 대한 즉각적인 피드백을 얻지 못하며, AI 기반 스타일 변환된 이미지가 출력되기까지의 시간 동안에 지루함을 느끼게 될 것이다.

사용자는 원하는 이미지의 빠른 출력을 원하며, 스타일 변환된 이미지가 출력되기까지 시간이 오래 걸릴 경우 사용자는 더욱 더 지루함을 느낄 수 있을 것이다. 또한, 사용자는 스타일 변환된 이미지의 출력이 지연될 경우, 스타일 변환 동작의 수행에 오류가 발생한 것으로 인식할 수도 있을 것이다.

따라서, 본 개시의 실시예에서는, 사용자의 요구에 더욱 부합하도록 AI 기반 스타일 변환된 이미지가 출력되기 전의 시간 동안에, 시뮬레이션 기반 스타일 변환을 통하여 생성된 이미지를 이용하여 사용자가 지루함을 느끼지 않도록 하는 디스플레이 장치 및 그에 따른 디스플레이 장치의 제어 방법을 제공한다. 또한, 본 개시의 실시예에서는, AI 기반 스타일 변환된 이미지의 생성이 완료되면, 기 출력된 이미지(구체적으로, 시뮬레이션 기반 스타일 변환을 통하여 생성된 이미지)에서 AI 기반 스타일 변환된 이미지로 이미지 전환(image transition)을 수행함으로써, 최종적으로 사용자가 AI 기반 스타일 변환된 이미지를 볼 수 있도록 한다. 그에 따라서, 사용자는 최종적으로는 예술성이 높으며 독창적인 스타일로 변환된 AI 기반 스타일 변환된 이미지를 시청하게 되며, AI 기반 스타일 변환된 이미지의 생성이 완료되기 이전의 시간 동안에는 빠르게 출력되는 시뮬레이션 기반의 스타일 변환된 이미지를 시청함으로써 지루함을 느끼지 않을 수 있다.

이하에서는, 본 개시의 실시예에 따른 디스플레이 장치 및 그에 따른 디스플레이 장치의 제어 방법을 첨부된 도 3 내지 도 15를 참조하여 상세히 설명하도록 하겠다.

도 3은 본 개시의 일 실시예에 따른 디스플레이 장치를 나타내는 블록도이다.

도 3을 참조하면, 디스플레이 장치(300)는 메모리(310), 제어부(320) 및 디스플레이(330)를 포함한다.

메모리(310)는 적어도 하나의 인스트럭션을 저장한다.

메모리(310)에 저장되는 하나 이상의 인스트럭션은 제어부(320)에 포함되는 프로세서(미도시)를 통하여 실행될 수 있다.

또한, 메모리(310)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

제어부(320)는 상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하는 프로세서(미도시)를 적어도 하나 포함한다.

여기서, 적어도 하나의 프로세서 각각은 메모리(310)에 저장된 하나 이상의 인스트럭션 중 적어도 하나를 실행시킴으로써, 소정 동작을 실행할 수 있다.

또한, 적어도 하나의 프로세서(미도시) 각각은 제어부(320)의 내부에 저장된 하나 이상의 인스트럭션 중 적어도 하나를 실행시킴으로써, 소정 동작을 실행할 수도 있다.

또한, 제어부(320)에 포함되는 적어도 하나의 프로세서가 디스플레이 장치(300)에서 수행되는 동작들을 제어할 수 있으며 소정 동작이 수행되도록 디스플레이 장치(300) 내에 포함되는 다른 구성들을 제어할 수 있다. 따라서, 제어부(320)가 소정 동작들이 수행되도록 제어하는 경우를 예로 들어 설명하더라도, 제어부(320)에 포함되는 적어도 하나의 프로세서가 소정 동작들이 수행되도록 제어할 있음은 자명하다 할 것이다.

또한, 제어부(320)는 내부 메모리(미도시) 및 저장된 적어도 하나의 프로그램을 실행하는 적어도 하나의 프로세서(processor)(미도시)를 포함할 수 있다. 구체적으로, 제어부(320)의 내부 메모리(미도시)는 하나 이상의 인스트럭션을 저장할 수 있다. 그리고, 제어부(320)에 포함되는 적어도 하나의 프로세서(미도시)는 제어부(320)의 내부 메모리(미도시)에 저장된 하나 이상의 인스트럭션 중 적어도 하나를 실행하여, 소정 동작을 실행할 수 있다.

구체적으로, 제어부(320)는 디스플레이 장치(300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 디스플레이 장치(300)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 프로세서 (Processor)(미도시)를 포함할 수 있다. 프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서(미도시)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(미도시)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.

이하에서는 설명의 편의 상, 제어부(320)가 소정 동작을 수행 또는 제어하는데 있어서, 제어부(320)의 프로세서(미도시)가 메모리(310)에 저장된 적어도 하나의 인스트럭션을 실행하여 소정 동작을 수행하는 경우를 예로 들어서 설명하도록 하겠다.

디스플레이(330)는 이미지를 출력한다. 구체적으로, 디스플레이(330)는 비디오 데이터를 사용자가 시각적으로 인식할 수 있도록, 내부적으로 포함되는 디스플레이 패널(미도시)을 통하여, 비디오 데이터에 대응되는 이미지를 출력할 수 있다.

본 개시의 실시예에서, 디스플레이(330)는 제어부(320)의 제어에 따라서, 적어도 하나의 제2 이미지를 디스플레이하고, 후속하여 이미지 전환(image transition)에 따라서 제3 이미지를 디스플레이 한다.

이하에서는, 디스플레이 장치(300)에 포함되는 각 구성들에서 수행되는 구체적인 동작을, 도 4를 참조하여 설명한다.

도 4는 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법을 나타내는 흐름도이다. 또한, 도 4는 본 개시의 실시예에 따른 디스플레이 장치(300)에서 수행되는 동작을 설명하기 위한 일 도면이다.

도 4를 참조하면, 디스플레이 장치(예를 들어, 도 3의 디스플레이 장치(300))의 제어 방법(400)은 S410 단계, S420 단계, 및 S430 단계를 포함할 수 있다.

도 3 및 도 4를 참조하면, 본 개시의 실시예에서, 제어부(320)는 제1 이미지를 분석한 결과에 근거하여 제1 이미지가 소정 질감(texture)에 대응되는 제1 스타일을 갖도록 영상 처리하여, 스타일 변환(style transfer)된 적어도 하나의 제2 이미지가 생성되도록 제어한다(S410). 여기서, 제1 이미지는 스타일 변환의 대상이 되는 원본 이미지를 의미한다. 구체적으로, 제1 이미지는 디스플레이 장치(300)로 수신되는 이미지, 디스플레이 장치(300)가 이미 저장하고 있었던 이미지, 사용자가 스타일 변환을 위하여 입력한 이미지, 또는 스타일 변환을 위하여 외부 장치(미도시)로부터 전송된 이미지 등이 될 수 있다.

또한, 제어부(320)는 신경망(neural network)을 이용하여 제1 이미지의 스타일 변환을 위한 연산을 수행하여 제3 이미지가 생성되도록 제어한다(S420).

도 4의 흐름도 에서는, S410 단계의 동작이 수행된 이후에 S420 단계의 동작이 수행되는 것으로 도시되었으나, S410 단계 및 S420 단계는 동시에 수행될 수 있다. 또는, S410 단계 및 S420 단계 서로 동일 또는 인접한 시간에 병렬적으로 수행될 수 있다.

예를 들어, 제어부(320)는 스타일 변환 요청에 대응되는 사용자 입력이 수신되면, S410 단계 및 S420 단계의 동작을 병렬적으로 수행할 수 있다. 또 다른 예로, 제어부(320)는 스타일 변환의 대상이 되는 원본 이미지인 제1 이미지가 수신되면, S410 단계 및 S420 단계의 동작을 병렬적으로 수행할 수 있다.

계속하여, 제어부(320)는 디스플레이(330) 상으로 적어도 하나의 제2 이미지를 출력하고 후속하여 제3 이미지가 출력되도록 제어한다(S430). 구체적으로, 제어부(320)는 적어도 하나의 제2 이미지를 디스플레이하고, 적어도 하나의 제2 이미지 중 마지막으로 출력된 이미지에서 제3 이미지로 이미지 전환(image transition)을 통하여 제3 이미지가 최종적으로 디스플레이 되도록 제어할 수 있다.

여기서, 제1 이미지는 스타일 변환의 대상이 되는 원본 이미지가 될 수 있다. 또한, 전술한 시뮬레이션 기반 스타일 변환은 입력된 이미지를 분석하고 분석된 이미지를 사전에 제작된 질감 이미지(texture image) 또는 이미지 자원(image resource)을 이용하여 영상 처리를 수행하여 결과물(구체적으로, 스타일 변환된 이미지)를 생성한다. 따라서, '영상의 분석, 및 분석 결과에 근거한 영상 처리로 인하여 스타일 변환을 수행하는 것'은 전술한 '시뮬레이션 기반 스타일 변환'을 의미할 수 있다. 즉, 원본 이미지인 제1 이미지의 스타일을 변환할 때, 제어부(320)는 시뮬레이션 기반 스타일 변환을 수행하여 적어도 하나의 제2 이미지가 생성되도록 제어하고, AI 기반 스타일 변환을 수행하여 제3 이미지가 생성되도록 제어할 수 있다.

또한, 제어부(320)는 적어도 하나의 제2 이미지 생성 동작인 시뮬레이션 기반 스타일 변환과 제3 이미지 생성 동작인 AI 기반 스타일 변환 동작을 병렬적으로 동시에 수행할 수 있다. 이 경우, AI 기반 스타일 변환을 수행하는데 수십초에서 수분이 소요될 수 있다. 따라서, 제3 이미지가 생성 완료 되기 이전에, 적어도 하나의 제2 이미지를 디스플레이 할 수 있다. 시뮬레이션 기반 스타일 변환 동작은 실시간 피드백이 가능하여, 스타일 변환이 수행되는 진행 과정에서 생성되는 적어도 하나의 이미지(구체적으로, 적어도 하나의 제2 이미지)가 실시간으로 출력될 수 있다.

본 개시의 실시예에서는, 사용자는 최종적으로는 예술성이 높으며 독창적인 스타일로 변환된 AI 기반 스타일 변환된 이미지인 제3 이미지를 시청하게 되며, AI 기반 스타일 변환된 이미지(구체적으로, 제3 이미지)의 생성이 완료되기 이전의 시간 동안에는 빠르게 출력되는 시뮬레이션 기반의 스타일 변환된 이미지를 시청함으로써 지루함을 느끼지 않을 수 있다. 그에 따라서, 본 개시의 실시예에 따르면, 사용자는 이미지가 스타일 변환되어 생성되기까지의 시간 동안에 지루함을 느끼지 않으면서도, 독창적인 스타일을 갖는 이미지(구체적으로, AI 기반 스타일 변환된 이미지(구체적으로, 제3 이미지)를 시청할 수 있으므로, 사용자의 요구 및 사용자의 편의성을 증대시킬 수 있다.

도 5는 본 개시의 실시예에서 수행되는 스타일 변환 동작을 설명하기 위한 일 도면이다. 구체적으로, 제어부(320)는 도 5에 도시된 스타일 변환 동작을 수행할 수 있다.

제어부(320)는 제1 이미지(511)를 획득할 수 있다. 그리고, 변환하고자 하는 스타일인 제1 스타일을 설정할 수 있다. 여기서, 제1 스타일은 사용자의 선택에 대응되어 설정될 수 있다. 사용자의 선택에 대응되어 제1 스타일을 설정 또는 결정하는 동작은 이하에서 도 13을 참조하여 상세히 설명한다.

도 13은 본 개시의 다른 실시예에 따른 디스플레이 장치를 나타내는 블록도이다. 도 13에 도시된 디스플레이 장치(1300)는 도 3에 도시된 디스플레이 장치(300)에 대응된다. 또한, 도 13에 있어서, 도 3에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 디스플레이 장치(1300)를 설명하는데 있어서, 디스플레이 장치(300)와 중복되는 설명은 생략한다.

도 13을 참조하면, 디스플레이 장치(1300)는 디스플레이 장치(300)에 비하여, 통신부(1310), 및 사용자 인터페이스(1320) 중 적어도 하나를 더 포함할 수 있다.

통신부(1310)는 제어부(320)의 제어에 따라서, 적어도 하나의 외부 장치와 통신 네트워크를 통하여 데이터를 송수신할 수 있다. 여기서, 외부 장치는 서버(1350), 모바일 기기(1370) 또는 영상 처리를 수행하는 전자 장치(미도시)가 될 수 있다.

여기서, 서버(1350)는 신경망에 따른 연산을 수행할 수 있다. 구체적으로, 서버(1350)는 스타일 변환의 대상이 되는 제1 이미지를 AI 기반 스타일 변환 처리하여 제3 이미지를 생성할 수 있다. 예를 들어, 서버(1350)는 디스플레이 장치(1300)의 통신부(1310)를 통하여 제1 이미지를 전송받고, 신경망에 따른 연산을 수행하여, 제1 이미지의 스타일을 변환하여 제3 이미지를 생성할 수 있다. 그리고, 생성된 제3 이미지를 디스플레이 장치(1300)의 통신부(1310)로 전송할 수 있다.

모바일 기기(1370)는 웨어러블 디바이스, 스마트 폰, 태블릿 PC, PDA(personal digital assistant), 랩탑 컴퓨터, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치 등의 모바일 컴퓨팅 장치가 될 수 있다.

구체적으로, 모바일 기기(1370)는 디스플레이 장치(1300)와 디스플레이 장치(1300)는 가정 사물 인터넷(Home IoT: Home Internet of Things) 플렛폼에 의해서 상호 연결 될 수 있다. 또한, 모바일 기기(1370)는 무선 네트워크를 통하여 디스플레이 장치(1300)와 페어링(pairing)될 수 있는 전자 장치가 될 수 있다.

구체적으로, 모바일 기기(1370)는 디스플레이 장치(1300)를 원격으로 제어할 수 있다. 또한, 모바일 기기(1370)는 디스플레이 장치(1300)가 소정의 서비스 또는 소정의 동작을 수행할 수 있도록, 디스플레이 장치(1300)와 데이터를 송수신 할 수 있다.

디스플레이 장치(1300)는 모바일 기기(1370)의 제어에 따라서 동작될 수 있다. 예를 들어, 디스플레이 장치(1300)는 모바일 기기(1370)의 위치를 인식하여 소정의 서비스, 예를 들어, 엠비언트 서비스 또는 소정의 동작을 자동적으로 수행할 수 있을 것이다. 또 다른 예로, 디스플레이 장치(1300)는 모바일 기기(1370)의 요청 또는 제어에 따라서 스타일 변환 동작을 수행할 수 있을 것이다.

사용자 인터페이스(1320)는 디스플레이 장치(1300)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 인터페이스(1320)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.

또한, 사용자 인터페이스(1320)는 음성 인식을 위한 음성 인식 장치(미도시)를 포함할 수 있다. 예를 들어, 음성 인식 장치는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 제어부(320)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.

또한, 사용자 인터페이스(1320)는 모션 감지 센서(미도시)를 포함할 수도 있다. 예를 들어, 모션 감지 센서(미도시)는 디스플레이 장치(1300)의 움직임을 감지하고, 감지된 움직임을 사용자 입력으로 수신할 수 있다. 또한, 전술한 음성 인식 장치(미도시) 및 모션 감지 센서(미도시)는 사용자 인터페이스(1320) 내에 포함되는 형태가 아니라, 사용자 인터페이스(1320)와는 독립적인 모듈로 디스플레이 장치(1300) 내에 포함될 수 있을 것이다.

도 5를 참조하면, 제1 스타일이 특정 화가의 회화 작품에 대응되는 스타일인 경우를 예로 들어 도시하였다. 구체적으로, 도 5에서는 제1 스타일(513)이 고흐의 '별이 빛나는 밤에' 작품 자체 또는 작품의 화풍을 지칭할 수 있다.

이하에서는, 도 5, 도 6 및 도 13을 참조하여, 본 개시의 실시예에 따른 스타일 변환 동작을 상세히 설명하도록 한다.

도 6은 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법을 상세하게 나타내는 흐름도이다. 또한, 도 6는 본 개시의 실시예에 따른 디스플레이 장치(300 또는 1300)에서 수행되는 동작을 설명하기 위한 일 도면이다. 도 6에 있어서, 도 4에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 도 6에 도시된 실시예를 설명하는데 있어서, 도 4에서와 중복되는 설명은 생략한다.

구체적으로, 스타일 변환을 수행하기 위해서는 먼저, 원본 이미지인 제1 이미지가 입력되고(S601), 제1 이미지에 적용될 제1 스타일이 결정된다(S605).

여기서, 제1 스타일은 적어도 하나의 스타일들 중 어느 하나로 설정 또는 선택될 수 있다(S605).

구체적으로, 제1 스타일(513)은 제어부(320) 또는 디스플레이 장치(1300)의 자체 설정에 의해서 결정될 수 있다. 즉, 제1 스타일(513)은 기설정된 스타일이 될 수 있다. 예를 들어, 디스플레이 장치(1300)의 초기 설정에서, 사용자는 자신의 취향, 화풍, 및/또는 선호하는 화가 또는 작품을 고려하여, 제1 스타일을 설정해 놓을 수 있다. 그러면, 사용자가 제1 스타일을 변경하기 이전에는, 제어부(320)는 사용자의 초기 설정에 맞춰서 제1 스타일을 특정 스타일로 설정해 놓을 수 있다. 또한, 사용자의 초기 설정 등이 없는 경우, 제어부(320)는 제1 스타일을 자체 설정에 맞춰 특정 스타일로 설정해 놓을 수 있다.

또한, 제1 스타일(513)는 디스플레이 장치(1300)의 사용자 인터페이스(1320)를 통하여 입력된 사용자 입력에 따라서 결정될 수 있다. 예를 들어, 디스플레이 장치(1300)의 제어부(320)는 디스플레이 장치(1300)가 이용 가능한 복수개의 스타일들 중 어느 하나를 선택하기 위한 사용자 인터페이스 화면(미도시)이 출력되도록 제어할 수 있다. 그러면, 사용자는 사용자 인터페이스 화면(미도시)를 통하여 복수개의 스타일 중 어느 하나를 제1 스타일로 선택할 수 있다. 그러면, 제어부(320)는 제1 스타일을 선택하는 사용자 입력에 따라서, 제1 이미지(511)를 제1 스타일에 맞춰서 스타일 변환할 수 있다.

또 다른 예로, 제어부(320)는 디스플레이 장치(1300)와 통신 네트워크를 통하여 연결되는 외부 장치로 입력되는 사용자 입력에 근거하여, 제1 스타일을 결정할 수 있다. 구체적으로, 제어부(320)는 디스플레이 장치(1300)와 페어링되어 동작하는 모바일 기기(1370)를 통하여 입력되는 사용자 입력에 근거하여, 제1 스타일을 결정할 수 있다. 이 경우, 모바일 기기(1370)는 디스플레이 장치(1300)가 이용 가능한 복수개의 스타일들 중 어느 하나를 선택하기 위한 사용자 인터페이스 화면(1375)을 출력할 수 있다. 그러면, 사용자는 모바일 기기(1370)가 출력하는 사용자 인터페이스 화면(1375)을 통하여 제1 스타일(예를 들어, 'style 1')을 선택할 수 있다. 그러면, 모바일 기기(1370)는 사용자의 입력에 따라 선택된 제1 스타일을 알리는 정보를 디스플레이 장치(1300)의 통신부(1310)로 전송할 수 있다. 그리고, 통신부(1310)는 수신된 정보인 제1 스타일이 선택되었음을 알리는 정보를 제어부(320)로 전송할 수 있다. 그에 따라서, 제어부(320)는 1 이미지(511)를 제1 스타일에 맞춰서 스타일 변환할 수 있다.

도 5 및 도 13을 참조하면, 제어부(320)는 제1 스타일인 고흐의 작품인 '별이 빛나는 밤에'에 맞춰서, 제1 이미지(511)의 스타일 변환을 수행할 수 있다.

그리고, 제어부(320)는 입력된 제1 이미지를 제1 스타일에 맞춰 스타일 변환 하기 위해서, AI 기반의 스타일 변환(540) 및 시뮬레이션 기반 스타일 변환(550)을 수행할 수 있다(S607).

AI 기반의 스타일 변환(540) 동작은 이하에서 도 7, 도 8 및 도 9를 참조하여 상세히 설명한다.

구체적으로, 제어부(320)는 제1 이미지(511)의 스타일 변환을 위해 신경망(neural network)을 통한 연산을 수행하여(S621), 상기 제1 스타일(513)에 대응되는 제3 이미지(541)가 생성되도록 제어할 수 있다(S623).

또한, 제어부(320)는 시뮬레이션 기반 스타일 변환(550)을 수행하여(S611), 적어도 하나의 제2 이미지가 생성되도록 제어할 수 있다(S613.615). 구체적으로, 제어부(320)는 제1 이미지(511)가 제1 스타일(513)을 갖도록 하는 영상 처리가 수행되는 과정에서 점차적으로 변화되는 적어도 하나의 제2 이미지가 생성 및 출력되도록 제어할 수 있다(S613). 전술한 적어도 하나의 제2 이미지는 도 5에 도시된 이미지들(556, 557, 558, 559) 및 이미지(570)를 포함할 수 있다.

구체적으로, 제어부(320)가 시뮬레이션 기반 스타일 변환(550)을 수행하면, 제1 이미지가 스타일 변환되는 과정에서 중간 결과물(555)을 실시간으로 생성 및 출력할 수 있다. 여기서, 중간 결과물(555)은 스타일 변환이 완성되지는 않았으나 스타일 변환이 수행되는 진행 과정에서 그 진행 정도를 나타내는 이미지들(556, 557, 558, 559)을 포함할 수 있다.

구체적으로, 제어부(320)는 제1 이미지(511)의 엣지(edge) 정보에 근거하여, 제1 이미지(320)가 소정 질감을 갖도록 시뮬레이션 기반 스타일 변환(simulation based style transfer)을 수행하여 적어도 하나의 제2 이미지(556, 557, 558, 559, 600)를 생성할 수 있다.

구체적으로, 시뮬레이션 기반 스타일 변환(550)은 원본 이미지인 제1 이미지(511)에 대해 영상 처리(Image Processing)을 통해 이미지의 형태에 대한 분석을 수행할 수 있다.

예를 들어, 시뮬레이션 기반 스타일 변환(550)은 이하의 과정들을 통하여 수행될 수 있다. 구체적으로, 이미지를 분석하는 방법으로는, 이미지의 경사도(Gradient)를 구해 이미지 내에 있는 특징(Feature)들의 경계선(Edge)을 추출하는 방법이 있다. 그리고, 추출된 경계선들을 바탕으로 이미지 내에서 크기가 큰 텍스처(texture)로 그려져야 하는 부분과 경계선이 세밀하게 배치되어 세부적이고 보다 작은 텍스처로 반복적으로 그려져야 하는 부분을 정의할 수 있다. 그리고, 정의된 부분(또는 영역)에 따라 사전에 준비된 질감(Texture)을 이미지에 반복적으로 그려 원하는 스타일인 제1 스타일로 변환할 수 있다.

즉, 제어부(320)는 제1 이미지(511)를 분석하여 이미지의 특징들의 경계선들을 추출하고 추출된 경계선들에 근거하여 소정 질감을 반복적으로 그려가면서 스타일 변환을 수행할 수 있다. 시뮬레이션 기반 스타일 변환 과정이 진행될수록, 이미지의 질감은 더욱 세밀하게 표현될 수 있다. 구체적으로, 시뮬레이션 기반 스타일 변환(550)이 수행되는 과정에서 순차적으로 이미지(556), 이미지(557), 이미지(557), 이미지(559), 및 이미지(570)가 생성될 수 있다. 그리고, 제어부(320)는 시뮬레이션 기반 스타일 변환(550)의 최종 결과물로 이미지(570)를 생성할 수 있다(S615).

시뮬레이션 기반 스타일 변환(550) 동작은 이하에서 도 10을 참조하여 상세히 설명한다.

또한, 제어부(320)는 적어도 하나의 제2 이미지(556, 557, 558, 559, 570)의 생성 순서에 따라서, 적어도 하나의 제2 이미지(556, 557, 558, 559, 570)가 디스플레이(330) 상에 순차적으로 출력되도록 제어할 수 있다. 디스플레이(330) 상으로 출력되는 화면들은 이하에서 도 7을 참조하며 상세히 설명한다.

전술한 바와 같이, AI 기반의 스타일 변환(540) 동작을 수행하는데 걸리는 시간은 시뮬레이션 기반 스타일 변환(550) 동작을 수행하는데 걸리는 시간 보다 길다. 또한, AI 기반의 스타일 변환(540) 동작은 시뮬레이션 기반 스타일 변환(550) 동작에서와 같이 중간 결과물(555)를 출력하지 못하고 최종 결과물인 제3 이미지(541)만을 출력할 수 있다. 따라서, AI 기반의 스타일 변환(540) 및 시뮬레이션 기반 스타일 변환(550)이 동시에 병렬적으로 수행된다고 할 때, 제3 이미지(541)의 생성이 완료되는데 걸리는 시간이 적어도 하나의 제2 이미지(556, 557, 558, 559, 600)의 생성이 완료되는데 걸리는 시간 보다 길다. 그러므로, 본 개시의 실시예에 따른 디스플레이 장치(300 또는 1300)는, 디스플레이(330) 상으로 적어도 하나의 제2 이미지(556, 557, 558, 559, 570)를 출력한 후, 제3 이미지(541)를 출력할 수 있다.

구체적으로, 제어부(320)는 디스플레이(330) 상으로, 점차적으로 변화되는 적어도 하나의 제2 이미지(556, 557, 558, 559, 570)가 순차적으로 출력된 뒤 제3 이미지(541)가 출력되도록, 이미지 전환(image transition)을 수행할 수 있다(S631, S633).

이미지 전환 동작(S631)에 따라서 디스플레이(330)으로 출력되는 화면은, 이하에서 도 11을 참조하여 상세히 설명한다.

도 7은 신경망을 통한 스타일 변환 동작을 설명하기 위한 일 도면이다. 즉, 도 7은 AI 기반 스타일 변환 동작을 설명하기 위한 도면이다.

도 7을 참조하면, 원본 이미지(710), 스타일(720) 및 변환 이미지(730)는 각각 도 5에서 설명한 제1 이미지(511), 제1 스타일(513) 및 제3 이미지(541)에 동일 대응된다.

원본 이미지(710) 및 스타일(720)을 신경망으로 입력하면, 신경망은 내부 연산을 수행하여 원본 이미지(710)를 스타일(720)에 맞춰 변환하여 변환 이미지(730)를 생성할 수 있다.

본 개시의 실시예에서, 제3 이미지 생성을 위하여 신경망(neural network)을 이용한다. 구체적으로, AI 기반 스타일 변환(540)은 원본 이미지(710)를 내용 이미지(Content Image)와 스타일 이미지(Style Image)로 구분하고, 내용 이미지의 내용은 유지한 채로 스타일 이미지의 스타일을 변환 대상이 되는 스타일(720)로 변환하는 방식이다. 예를 들어, <A Neural Algorithm of Artistic Style> 논문의 CNN을 이용한 방법이 있다. 해당 논문에서는, 신경망의 계층(Layer)에서 추출된 특징 맵(feature map)을 이용해 해당 특징 맵(feature map)에서 스타일(Style)과 내용(Content)를 복원(Reconstruction)하여 스타일 변환된 이미지(730)를 생성한다.

본 개시의 실시예에서, 신경망은 인공 지능(AI) 기술에 따른 이미지 생성 동작을 수행한다. 구체적으로, 신경망은 복수의 계층들을 통한 연산을 수행하는 딥 신경망(DNN: Deep Neural Network)가 될 수 있다. 신경망은 연산을 수행하는 내부의 계층(layer)의 개수에 따라서 계층의 개수가 복수일 경우, 즉 연산을 수행하는 신경망의 심도(depth)가 증가하는 경우, 딥 신경망(DNN)로 분류될 수 있다. 또한, 딥 신경망(DNN) 연산은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다.

제3 이미지의 생성에 이용되는 신경망은 목적하는 결과를 획득할 수 있도록 학습된(trained) 신경망이 될 수 있다.

구체적으로, 신경망은 원본 이미지(710)에서 내용(content) 이미지를 분류 또는 인식하기 위해서 인식 모델을 구현하고, 구현된 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 전술한 학습을 반복적으로 수행함으로써 신경망을 훈련(training)하여, 신경망을 형성하는 복수개의 노드(node)들 각각에 적용되는 복수개의 가중치(weight)의 값을 설정할 수 있다. 여기서, 가중치는 신경망을 형성하는 각 노드들 간의 연결 강도를 의미할 수 있다. 가중치 값은 반복적인 학습을 통하여 최적화될 수 있으며, 결과의 정확도가 소정의 신뢰도를 만족할 때까지 반복적으로 수정될 수 있다. 본 개시의 실시예에서 이용되는 신경망은 전술한 훈련(training) 과정을 통하여 최종적으로 설정된 가중치 값들로 형성된 신경망이 될 수 있다.

그리고, 신경망을 형성하는 학습된 인식 모델을 이용하여, 입력되는 데이터인 원본 이미지(710)를 분석 또는 분류하여, 원본 이미지(710) 내에 포함되는 내용(content)이 무엇인지를 분류 또는 추출할 수 있다. 그리고, 추출된 내용(content)에 대응되는 내용 이미지(content image)에 스타일(720)을 적용하여, 변환 이미지(730)를 생성할 수 있다. 여기서, 변환 이미지(730)는 추출된 내용(content)을 포함하며 스타일(720)을 갖는 이미지가 될 수 있다. 도 7을 참조하면, 원본 이미지(710)는 중세 유럽의 건축 양식을 따르는 건축물들과 그에 인접한 강을 표현하고 있다. 신경망은 원본 이미지(710)에 포함되는 내용인 '유럽의 건축 양식을 따르는 건축물들과 그에 인접한 강'은 유지하고 설정된 스타일(720)에 대응되도록 이미지가 고흐의 '별이 빛나는 밤에'의 화풍으로 표현되도록 연산을 수행함으로써, 변환 이미지(730)를 생성할 수 있다.

본 개시의 실시예에서, 신경망을 통한 제3 이미지의 생성 동작은 디스플레이 장치(300)와 통신 네트워크를 통하여 데이터를 송수신할 수 있는 외부 장치 내에서 수행될 수 있다.

구체적으로, 통신부(1310)는 신경망을 통하여 스타일 변환을 위한 연산을 수행하는 외부 장치(예를 들어, 서버(1350) 등)와 통신을 수행할 수 있다. 그리고, 제어부(320)는 외부 장치(예를 들어, 서버(1350) 등)가 신경망을 통한 연산을 수행하여 획득한 제3 이미지를 전송받도록 제어할 수 있다. 신경망을 통하여 스타일 변환을 수행하기 위해서는 전술한 바와 같이 학습 과정을 반복적으로 수행하여 훈련된 신경망(trained neural network)가 필요하다. 훈련된 신경망(trained neural network)이 생성되기까지는 많은 연산과정이 수행되어야 한다. 따라서, 완성도가 높은 신경망을 구축하기 위해서는, 많은 데이터 처리량 및 빠른 데이터 처리 속도를 갖는 프로세서가 필요하다. 그러므로, 본원에서는 빠르고 정확하게 AI 기반 스타일 변환을 수행할 수 있는 서버(1350)를 통하여 제3 이미지를 획득할 수 있다.

구체적으로, 제어부(320)는 통신부(1310)를 통하여 원본 이미지(710) 및 스타일(720)을 서버(1350)로 전송하고, 서버(1350)로 원본 이미지(710)의 스타일 변환을 요청할 수 있다. 그에 따라서, 서버(1350)는 원본 이미지(710)의 스타일을 변환하여 변환 이미지(730)를 생성하고, 생성된 이미지(730)를 디스플레이 장치(1300)의 통신부(1310)를 전송할 수 있을 것이다.

또한, 제어부(320)는 자체적으로 제어부(320) 내부 또는 메모리(310)에 스타일 변환을 수행하는 신경망을 구축하고, 구축된 신경망을 통하여 자체적으로 제3 이미지의 생성을 위한 AI 기반 스타일 변환 동작을 수행할 수 있다. 또한, 본 개시의 실시예는, 스타일 변환을 수행하는 신경망을 별도의 프로세서(미도시)로 구축할 수도 있을 것이다.

도 8은 스타일 변환에 이용되는 신경망을 설명하기 위한 일 도면이다. 도 8을 참조하면, 본 개시의 실시예에서 이용되는 신경망이 예시적으로 도시된다.

본 개시의 실시예에서, 제어부(320)는 CNN(Convolution Neural Network), DCNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등을 이용하여, 제3 이미지가 생성되도록 제어할 수 있다. 캡스넷 신경망은 Jeffery Hinton 교수가 2017년 CNN의 취약점을 보완하여 개발한 신경망이다. 또한, CNN, DCNN, 및 캡스넷은 모두 CNN 기반의 신경망이라 할 수 있다.

CNN 기반 신경망은 이미지에 포함되는 정보들끼리의 상관 관계가 지역적(local)한 경우, 특정 지역만을 비추는 필터의 개념을 도입하고 이 필터 내에서의 정보들을 컨볼로션(convolution)하여 새로운 표현(feature 또는 representation)을 생성할 수 있다.

도 8에서는 CNN 기반의 신경망(800)이 도시되었다. 구체적으로, 도 8에서는 복수개의 계층들을 포함하여 복수의 심도(depth)를 갖는 DCNN(Deep Convolution Neural Network)(800)가 도시된다.

도 8을 참조하면, 제어부(320)는 CNN 기반의 신경망(800)을 통하여 제3 이미지인 변환 이미지(730)가 생성되도록 제어할 수 있다.

도 8을 참조하면, CNN 기반의 신경망(800)은 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)이 번갈아 가면서 배치되며, 각 계층 필터(filter)의 심도(depth)는 왼쪽에서 오른쪽으로 갈수록 증가하게 된다. 또한, CNN 기반의 신경망(800)의 최종 단은 완전 연결 계층(fully connected layer)로 형성될 수 있다. 여기서, 컨볼루션 계층(convolution layer)은 컨볼루션 연산에 따라서 생성되는 데이터들의 계층이며, 풀링 계층(pooling layer)은 서브 샘플링(subsampling) 또는 풀링이라는 연산을 통하여 데이터의 숫자 또는 크기를 줄이기 위한 계층이다. 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)을 통과하면서, 입력된 이미지의 특징을 나타내는 데이터들(예를 들어, feature map)이 생성되게 된다. 그리고, 이러한 컨볼루션 계층 및 풀링 계층을 통과하여 생성된 데이터들을 완전 연결 계층(fully connected layer)으로 형성되는 숨겨진 계층(hidden layer)을 통하여 가공하면, 새로운 표현(feature 또는 representation)을 갖는 데이터인 '제3 이미지'를 생성할 수 있다.

예를 들어, CNN 기반의 신경망(800)은 입력층(input layer)(810), 제1 컨볼루션 계층(convolution layer)(820), 제1 풀링 계층(pooling layer)(830), 제2 컨볼루션 계층(convolution layer)(840), 제2 풀링 계층(pooling layer)(850), 숨겨진 계층(hidden layer)(860) 및 출력 계층(output layer)(870)을 포함할 수 있다. 여기서, 컨볼루션 계층 및 풀링 계층의 심도(depth)는 가변될 수 있으며, 숨겨진 계층(hidden layer)의 심도도 가변될 수 있다. 또한, 컨볼루션 계층 및 풀링 계층의 심도(depth)가 깊어질수록 더욱 다양한 데이터들이 생성될 수 있다. 예를 들어, 컨볼루션 계층 및 풀링 계층의 심도(depth)가 깊어질수록 입력된 이미지의 특징들을 나타내는 정보들이 더욱 세밀한 형태를 가질 수 있다. 또한, 신경망(800)의 심도 및 형태는 결과의 정확도, 결과의 신뢰도, 프로세서의 연산 처리 속도 및 용량 등을 고려하여 매우 다양하게 설계될 수 있다.

도 9는 스타일 변환에 이용되는 신경망을 설명하기 위한 다른 도면이다. 도 9는 숨은 계층(hidden layer)의 심도가 3개의 심도(depth)를 가지는 딥 뉴럴 네트워크(DNN)를 예로 들어 도시한다. 그리고, 도 9에 도시된 블록(910) 및 (930)은 도 8의 완전 연결 계층(fully connected layer)으로 형성되는 숨겨진 계층(860)에 대응되며, 블록(950)은 도 8의 출력 계층(870)에 대응된다.

도 9에 도시된 신경망은 입력 계층(910), 숨은 계층(930), 및 출력 계층(950)을 포함할 수 있다. 여기서, 입력 계층(910)은 도 8의 제2 풀링 계층(850)에서 출력되는 데이터들을 입력받는 계층이며, 숨은 계층(930)은 입력된 데이터들을 가공하는 계층이고, 출력 계층(950)은 숨은 계층(930)을 통과하면서 가공된 데이터들을 출력하는 계층이다.

또한, 도 9에 도시된 신경망을 형성하는 복수개의 계층들 각각은 하나 이상의 노드를 포함할 수 있다. 예를 들어, 입력 계층(910)은 데이터를 수신하는 하나 이상의 노드(node)(예를 들어, 901)들을 포함할 수 있다. 또한, 입력 계층(910)이 복수개의 노드들을 포함하는 경우를 예로 들어 도시하였다. 그리고, 입력 계층(910)을 형성하는 복수개의 노드들 각각으로 풀링 연산을 통하여 서브 샘플링된 복수개의 이미지들이 입력될 수 있다.

여기서, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)들(예를 들어, 921)로 연결된다. 각각의 노드들은 대응되는 가중치값을 가지고 있어서, 도 9에 도시된 신경망은 입력된 신호와 가중치 값을 연산, 예를 들어, 컨볼루션 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.

도 9에 도시된 신경망이 이미지의 스타일을 변환하여 스타일 변환된 이미지를 생성하도록 학습(training)된 경우, 도 9에 도시된 신경망은 설정된 스타일(720)을 갖도록 스타일 변환된 이미지(730)를 출력할 수 있다.

도 7 내지 도 9를 참조하여 설명한 AI 기반 스타일 변환을 위한 연산을 수행하는 신경망은 AI 기반 영상 생성 모델이라 할 수 있으며, AI 기반 영상 생성 모델은 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 그리고, AI 기반 영상 생성 모델인 신경망은 전술한 바와 같이, 디스플레이 장치(1300) 내에 형성될 수도 있으며, 디스플레이 장치(1300)와 통신 네트워크를 통하여 연결되는 외부 장치(예를 들어, 서버(1350)) 내에 형성될 수도 있을 것이다.

도 10은 시뮬레이션 기반의 스타일 변환 동작을 설명하기 위한 일 도면이다.

본 개시의 실시예에 따른 디스플레이 장치(1300)는 시뮬레이션 기반 스타일 변환 동작을 자체적으로 수행할 수 있다. 구체적으로, 시뮬레이션 기반 스타일 변환을 수행하는 구성은 '포토 필터(photo filter)'라 칭할 수 있다. 구체적으로, 제어부(320)는 시뮬레이션 기반 스타일 변환(simulation based style transfer)을 수행하며 상기 제1 스타일에 대응되는 제1 포토 필터(photo filter)를 포함할 수 있다. 또는, 제어부(320)는 메모리(310)에 저장된 상기 제1 포토 필터를 이용하여, 시뮬레이션 기반 스타일 변환이 수행되도록 제어할 수 있다. 또는, 디스플레이 장치(1300)는 제1 포토 필터를 별도의 구성으로 구비하고, 제어부(320)의 제어에 따라서 제1 포토 필터를 이용한 시뮬레이션 기반 스타일 변환이 수행되도록 제어할 수 있다.

또한, 디스플레이 장치(1300)는 복수개의 스타일 각각에 대응되는 복수개의 포토 필터를 포함할 수 있다. 복수개의 포토 필터 중 제1 스타일에 대응되는 포토 필터를 제1 포토 필터라 칭하였다. 또한, 스타일 변환에 적용되는 스타일이 추가 또는 개발되는 경우, 제어부(3200는 추가 또는 개발된 스타일에 대응되는 포토 필터를 추가적으로 설치할 수 있다.

제어부(320)는 제1 포토 필터를 이용하여 적어도 하나의 제2 이미지(556, 557, 558, 559, 570)가 생성되도록 제어할 수 있다.

또한, 제어부(320)는 서로 다른 복수개의 스타일 중 어느 하나인 제1 스타일을 선택하는 사용자 입력을 수신하면, 제1 포토 필터를 이용하여 제1 이미지가 제1 스타일을 갖도록 영상 처리하여, 적어도 하나의 제2 이미지가 생성되도록 제어할 수 있다. 여기서, 사용자 입력은 도 13에서 설명한 바와 같이, 사용자 인터페이스(1320) 또는 모바일 기기(1370)를 통하여 수신될 수 있다.

도 10은 포토 필터가 수행하는 스타일 변환 동작을 상세히 설명하기 위한 도면이다. 도 10을 참조하면, 제어부(320)는 입력된 이미지인 원본 이미지(1001)의 크기를 조절하고 흑백으로 변환하여 크기 및 색상 조절된 이미지(1003)을 생성하고, 크기 및 색상 조절된 이미지(1003)를 분석하여 경사도(Gradient) 및/또는 경계선 밀도(edge density)를 계산하여, 경계 영상(1005)을 획득할 수 있다. 그리고, 원본 이미지(1001)의 색상을 설정된 스타일에 대응되도록 색상으로 변환시켜, 이미지(1020)을 생성할 수 있다. 그리고, 색상 변환된 이미지(1020) 상에 사전에 준비된 질감(Texture)을 반복적으로 그리는 영상 처리를 통하여, 스타일 변환된 이미지(1050)를 생성할 수 있다. 구체적으로, 경계 영상(1005)에 근거하여, 이미지(1020)의 색상, 크기, 방향, 질감, 명도, 및 채도 중 적어도 하나가 변경되도록 영상 처리를 수행하여, 이미지(1050)를 생성할 수 있다.

포토 필터는 이러한 스타일 변환 동작을 실시간으로 수행하여, 수초 내에 스타일 변환된 이미지를 생성할 수 있으며, 스타일 변환 동작을 수행되는 과정에서 중간 결과물들을 바로 바로 출력할 수 있다. 따라서, 디스플레이 장치(1300)는 시뮬레이션 기반 스타일 변환 동작을 통하여 생성된 중간 결과물들 및 최종 결과물인 적어도 하나의 제2 이미지를 실시간으로 디스플레이할 수 있다. 그에 따라서, 사용자는 스타일 변환 되어가는 이미지들을 실시간으로 시청함으로써, 지루함을 느끼지 않으면서 흥미로운 이미지들을 시청할 수 있다.

도 11은 본 개시의 실시예에 따른 디스플레이 장치에서 출력되는 이미지들을 설명하기 위한 도면이다. 도 11에 있어서, 시뮬레이션 기반 스타일 변환을 통하여 생성될 이미지들인 적어도 하나의 제2 이미지는 이미지(1110), 이미지(1120), 이미지(1130), 이미지(1140), 및 이미지(1150)를 포함할 수 있다. 도 11의 이미지(1110), 이미지(1120), 이미지(1130), 이미지(1140), 및 이미지(1150)는 각각 도 5의 이미지(556), 이미지(557), 이미지(558), 이미지(559), 및 이미지(570)에 동일 대응된다. 그리고, 도 11의 이미지(1160)는 도 5의 이미지(541)에 동일 대응된다.

제어부(320)는 디스플레이(330) 상으로, 점차적으로 변화되는 적어도 하나의 제2 이미지가 순차적으로 출력된 뒤 제3 이미지가 출력되도록, 이미지 전환(image transition)을 수행할 수 있다.

즉, 디스플레이(330)는 이미지(1110), 이미지(1120), 이미지(1130), 이미지(1140), 및 이미지(1150)를 순차적으로 출력한 후, 이미지 전환(image transition)을 통하여 이미지(1160)을 출력할 수 있다.

여기서, 이미지(1150)에서 이미지(1160)로의 이미지 전환은 3D 차원에서 동작에 해당하는 Image Transition 방법, Dissolve를 활용한 Image Transition 방법, 특정한 2D Texture/Mask를 이용해 확장하거나 축소하는 방법으로 실행되는 Image Transition 방법 등이 이용될 수 있다.

도 11에서와 같이 이미지 전환되는 화면을 통하여, 사용자는 AI 기반 스타일 변환된 이미지인 제3 이미지가 디스플레이 되기까지, 시뮬레이션 기반 스타일 변환되어 실시간으로 출력되는 적어도 하나의 제2 이미지를 시청함으로써, 지루함을 느끼지 않으면서도 고품질의 이미지를 최종적으로 시청할 수 있다. 그에 따라서, 사용자의 만족도를 높일 수 있다.

또한, 본 개시의 실시예에서, 제어부(320)는 엠비언트 서비스가 실행되는 동안에, 디스플레이 상으로 적어도 하나의 제2 이미지 및 제3 이미지가 출력되도록 제어할 수 있다. 구체적으로, 제어부(320)는 엠비언트 서비스의 화면을 설정할 때, 전술한 AI 기반의 스타일 변환(540) 및 시뮬레이션 기반 스타일 변환(550)을 수행하고, 그에 따라서 생성되는 적어도 하나의 제2 이미지 및 제3 이미지가 출력되도록 제어할 수 있다.

또한, 제어부(320)는 이미지 전환 방식을 통하여, 디스플레이(330) 상으로 적어도 하나의 제2 이미지 및 제3 이미지가 반복적으로 디스플레이 되도록 제어할 수 있다. 또한, 제어부(320)는 이미지 전환 방식을 통하여, 디스플레이(330) 상으로 적어도 하나의 제2 이미지 및 제3 이미지 중에서 선택된 적어도 하나의 이미지가 반복적으로 디스플레이 되도록 제어할 수 있다.

도 12는 본 개시의 다른 실시예에 따른 디스플레이 장치의 제어 방법을 상세하게 나타내는 흐름도이다. 또한, 도 12에 도시된 디스플레이 장치의 제어 방법(1200)은 본 개시의 실시예에 따른 디스플레이 장치(300, 또는 1300) 내에서 수행될 수 있다. 따라서, 도 12는 디스플레이 장치(300, 또는 1300)에서 수행되는 동작들을 나타내는 도면이라고도 할 수 있다.

또한, 도 12에 있어서, 도 6에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 디스플레이 장치의 제어 방법(1200)을 설명하는데 있어서 도 6에서와 중복되는 설명은 생략한다.

본 개시의 실시예에서, 제어부(320)는 최종 제2 이미지(예를 들어, 1150)에서 제3 이미지(예를 들어, 1160)로 이미지 전환을 수행하기 이전에, 제3 이미지의 품질일 소정 기준을 만족하는지 판단하고(S1250), 그 판단 결과에 따라서 이미지 전환을 수행할 수 있다.

구체적으로, 제어부(320)는 제3 이미지(예를 들어, 1160)의 품질이 소정 기준값 이상 또는 초과가 되는지 판단하고(S1250), 제3 이미지(예를 들어, 1160)의 품질이 소정 기준값 이상 또는 초과가 되면, 이미지 전환을 수행할 수 있다(S631). 그리고, 제3 이미지(예를 들어, 1160)의 품질이 소정 기준값 미만 또는 이하가 되면, 이미지 전환을 수행하지 않고, 계속하여 최종 제2 이미지(예를 들어, 1150)를 출력할 수 있다(S1260).

여기서, 제3 이미지의 품질은 제3 이미지의 화질에 대응되는 것으로, 제어부(320)는 제3 이미지의 화질 평가를 수행할 수 있다(S1250). 구체적으로, 화질 평가 방법으로는 무기준 이미지 화질평가(NR(No-Reference) IQA) 방식이 이용될 수 있다. 여기서, 무기준 이미지 화질 평가 방식은 기준 영상(예를 들어, 원본 이미지)에 대한 정보 없이 화질을 추정할 수 있다.

구체적으로, 무기준 이미지 화질 평가 방식은 번짐, 물결 현상 등을 탐지하여 이미지의 품질을 평가할 수 있다. 이를 위해 Visual Artifact 탐지를 위한 NR IQA 알고리즘을 이용해, 특정 왜곡을 찾기 위해 이미지에서 윤곽선 정보를 추출한 후 윤곽선 확산 혹은 윤곽선 분포를 찾는다. 해당 분포가 기존에 정의된 데이터베이스(예를 들어, 왜곡이 존재하는 윤곽선 분포를 나타내는 데이터 베이스)에서 발견되면, 생성된 이미지(구체적으로, AI 기반 스타일 변환된 제3 이미지)는 영상의 왜곡이 심하여 사용할 수 없는 경우로 판단할 수 있다. 그에 따라서, 제어부(320)는 제3 이미지가 디스플레이되지 않도록 하고, 최종 제2 이미지(예를 들어, 1150)를 계속하여 출력할 수 있다(S1260).

AI 기반 스타일 변환은 사용자가 중간 결과물을 확인할 수 없으며, 그 최종 결과물인 제3 이미지의 형태를 예측할 수 없다. 따라서, 사용자가 왜곡으로 인식하는 이미지가 출력될 수도 있다. 사용자가 왜곡으로 인식하는 이미지의 경우, 사용자는 출력된 제3 이미지가 예술성, 작품성 및/또는 독창성이 없거나 낮다고 판단할 수 있으므로, 이러한 경우에는 제3 이미지가 디스플레이 되지 않도록 함으로써, 사용자의 만족도를 높일 수 있다.

또는, 본 개시의 실시예에서, 제3 이미지가 출력(S633)된 이후에, 사용자 인터페이스(1320)를 통하여, 사용자가 제3 이미지가 출력되지 않도록 하는 요청을 입력한 경우, 제어부(320)는 다시 최종 제2 이미지(예를 들어, 1150)가 출력되도록 제어할 수 있다.

도 14는 본 개시의 다른 실시예에 따른 디스플레이 장치를 나타내는 다른 블록도이다. 도 14에 도시된 디스플레이 장치(1400)는 도 13에 도시된 디스플레이 장치(1300)에 대응된다. 또한, 도 14에 있어서, 도 13에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 디스플레이 장치(1400)를 설명하는데 있어서, 디스플레이 장치(1300)와 중복되는 설명은 생략한다.

도 14를 참조하면, 디스플레이 장치(1400)는 도 13에 도시된 디스플레이 장치(1300)에 비하여 신경망 프로세서(1410)을 더 포함할 수 있다.

디스플레이 장치(1400)는 신경망을 통한 연산을 제어부(320) 또는 외부 장치(예를 들어, 서버(1350))에서 수행할 수 있다. 또한, 디스플레이 장치(1400)는 신경망을 통한 연산을 수행하는 별도의 프로세서인 신경망 프로세서(1410)를 더 포함할 수 있다.

신경망 프로세서(1410)는 신경망를 통한 연산을 수행할 수 있다. 구체적으로, 본 개시의 실시예에서, 신경망 프로세서(1410)는 하나 상의 인스트럭션을 실행하여, 신경망을 통하여 스타일 변환을 위한 연산을 수행할 수 있다. 구체적으로, 신경망 프로세서(1410)는 AI 기반 스타일 변환 동작을 수행하여, 제3 이미지를 생성할 수 있다.

도 15는 본 개시의 다른 실시예에 따른 디스플레이 장치를 나타내는 다른 블록도이다. 본 개시의 다른 실시예에 따른 디스플레이 장치(1500)는 도 1 내지 도 14를 참조하여 설명한 본 개시의 실시예에 따른 디스플레이 장치(300, 1300 또는 1400)에 동일 대응될 수 있다. 그러므로, 디스플레이 장치(1500)를 설명하는데 있어서, 도 1 내지 도 14에서와 중복되는 설명은 생략한다.

도 15를 참조하면, 디스플레이 장치(1500)는 비디오 처리부(1510), 디스플레이 부(1515), 오디오 처리부(1520), 오디오 출력부(1525), 전원부(1530), 튜너부(1540), 통신부(1550), 감지부(미도시), 입/출력부(1570), 제어부(1580), 메모리(1590)를 포함한다.

여기서, 제어부(1580)는 도 3, 13, 및 14에 도시된 제어부(320)에 대응될 수 있다. 디스플레이 장치(1500)의 통신부(1550), 디스플레이 부(1515), 및 메모리(1590)는 각각 도 13 및 도 14에 도시된 통신부(1310), 디스플레이(330), 및 메모리(310)에 대응될 수 있다. 따라서, 도 15에 도시된 디스플레이 장치(1500)를 설명하는데 있어서, 본 개시의 실시예에 따른 디스플레이 장치(300, 1300, 또는 1400)의 설명과 중복되는 설명은 생략한다.

비디오 처리부(1510)는, 디스플레이 장치(1500)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1510)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

제어부(1580)는 비디오 처리부(1510)에서 처리된 비디오 데이터에 대한 기록 요청을 수신하고, 비디오 데이터를 암호화하여 제어부(1580) 또는 메모리(1590)에 포함되는 메모리 장치(미도시), 예를 들어, RAM(미도시)에 기록되도록 제어할 수 있을 것이다.

디스플레이 부(1515)는 제어부(1580)의 제어에 의해 튜너부(1540)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이 부(1515)는 통신부(1550) 또는 입/출력부(1570)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다.

또한, 디스플레이 부(1515)는 제어부(1580)의 제어에 의해 메모리(1590)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이 부(1515)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.

오디오 처리부(1520)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1520)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1520)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.

오디오 출력부(1525)는 제어부(1580)의 제어에 의해 튜너부(1540)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1525)는 통신부(1550) 또는 입/출력부(1570)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1525)는 제어부(1580)의 제어에 의해 메모리(1590)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1525)는 스피커(1526), 헤드폰 출력 단자(1527) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(1528) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(1525)는 스피커(1526), 헤드폰 출력 단자(1527) 및 S/PDIF 출력 단자(1528)의 조합을 포함할 수 있다.

본 개시의 실시예에서, 스피커(1526)는 음파 신호를 출력할 수 있다. 구체적으로, 스피커(1526)는 초음파 신호를 출력할 수 있을 것이다.

전원부(1530)는 제어부(1580)의 제어에 의해 디스플레이 장치(1500) 내부의 구성 요소들(1510 내지 1590)로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1530)는 제어부(1580)의 제어에 의해 디스플레이 장치(1500) 내부에 위치하는 하나 또는 둘 이상의 배터리(미도시)에서부터 출력되는 전원을 내부의 구성 요소들(1510 내지 1590)에게 공급할 수 있다.

튜너부(1540)은 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(1500)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.

튜너부(1540)는 사용자 입력(예를 들어, 외부의 제어 장치(미도시), 예를 들어, 원격 제어기(remote controller)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호(예를 들어, 케이블 방송 506번)에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.

튜너부(1540)은 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1540)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수 도 있다. 튜너부(1540)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 제어부(1580)의 제어에 의해 메모리(1590)에 저장될 수 있다.

디스플레이 장치(1500)의 튜너부(1540)은 하나이거나 복수일 수 있다. 일 실시예에 따라서 튜너부(1540)가 복수개로 이루어지는 경우, 디스플레이 부(1515)에 제공되는 멀티윈도우 화면을 이루는 복수개의 윈도우에 복수개의 방송 신호를 출력할 수 있을 것이다.

튜너부(1540)는 디스플레이 장치(1500)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 장치(1500)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 미도시), 입/출력부(1570)에 연결되는 튜너부(미도시))로 구현될 수 있다.

통신부(1550)는 제어부(1580)의 제어에 의해 디스플레이 장치(1500)를 외부 기기(예를 들어, 오디오 장치 등)와 연결할 수 있다. 제어부(1580)는 통신부(1550)를 통해 연결된 외부 기기로 컨텐츠를 송/수신, 외부 기기에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 구체적으로, 통신부(1550)는 네트워크에 접속하여 외부 기기(미도시)에서 컨텐츠를 수신할 수 있다.

전술한 바와 같이 통신부(1550)는 근거리 통신 모듈(미도시), 유선 통신 모듈(미도시), 및 이동 통신 모듈(미도시) 중 적어도 하나를 포함할 수 있다.

도 7에서는 통신부(1550)가 무선 랜(1551), 블루투스 통신부(1552), 및 유선 이더넷(Ethernet, 1553) 중 하나를 포함하는 경우를 예로 들어 도시하였다.

또한, 통신부(1550)은 무선랜(1551), 블루투스 통신부(1552), 및 유선 이더넷(Ethernet, 1553) 중 어느 하나 이상을 포함하는 모듈 조합을 포함할 수 있다. 또한, 통신부(1550)는 제어부(1580)의 제어에 의해 제어 장치(미도시)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.

통신부(1550)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 미도시), 별도의 BLE 모듈(bluetooth low energy, 미도시)을 더 포함할 수 있다.

감지부(미도시)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지한다.

마이크(1561)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1561)는 수신된 음성을 전기 신호로 변환하여 제어부(1580)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1500)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. 예를 들어, 마이크(1561)의 인식 범위는 마이크(1561)에서부터 사용자 위치까지 4 m 이내를 권장하며, 마이크(1561)의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다.

마이크(1561)는 디스플레이 장치(1500)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 마이크(1561)는 통신부(1550) 또는 입/출력부(1570)를 통해 디스플레이 장치(1500)와 전기적으로 연결될 수 있다.

디스플레이 장치(1500)의 성능 및 구조에 따라 마이크(1561)가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

카메라부(1562)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신한다. 예를 들어, 카메라부(1562)의 인식 범위는 카메라부(1562)에서부터 사용자까지 0.1 ~ 5 m 이내 거리가 될 수 있다. 사용자 모션은 예를 들어, 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일부분 또는 사용자 일부분의 모션 등을 포함할 수 있다. 카메라부(1562)는 제어부(1580)의 제어에 따라 수신된 영상을 전기 신호로 변환하여 제어부(1580)로 출력할 수 있다.

제어부(1580)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1500)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어, 채널 조정, 볼륨 조정, 지시자 이동을 포함할 수 있다.

카메라부(1562)는 렌즈(미도시) 및 이미지 센서(미도시)로 구성될 수 있다. 카메라부(1562)는 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 카메라부(1562)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다. 카메라부(1562)가 복수개의 카메라로 구성되는 경우, 복수의 카메라를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다.

카메라부(1562)는 디스플레이 장치(1500)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 카메라부(1562)를 포함하는 별도의 장치(미도시)는 통신부(1550) 또는 입/출력부(1570)를 통해 디스플레이 장치(1500)와 전기적으로 연결될 수 있다.

디스플레이 장치(1500)의 성능 및 구조에 따라 카메라부(1562)가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

광 수신부(1563)는 외부의 제어 장치(미도시)에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이 부(1515)의 베젤의 광창(미도시) 등을 통해 수신한다. 광 수신부(1563)는 제어 장치(미도시)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 제어부(1580)의 제어에 의해 제어 신호가 추출될 수 있다.

예를 들어, 광 수신부(1563)는 제어 장치(미도시)의 포인팅 위치에 대응하는 신호를 수신하고 이를 제어부(1580)로 전송할 수 있다. 예를 들어, 디스플레이 부(1515)를 통하여 사용자로부터 데이터 또는 명령을 입력받기 위한 사용자 인터페이스 화면이 출력되었으며, 제어 장치(미도시)를 통하여 사용자가 데이터 또는 명령을 디스플레이 장치(1500)로 입력하고자 하는 경우, 광 수신부(1563)는 사용자가 제어 장치(미도시)에 마련된 터치 패드(미도시)에 손가락을 접촉한 상태에서 제어 장치(미도시)를 움직이면 이 제어 장치(미도시)의 움직임에 대응하는 신호를 수신하고 이를 제어부(1580)로 전송할 수 있다. 또한, 광 수신부(1563)는 제어 장치(미도시)에 마련된 특정한 버튼이 눌려졌음을 나타내는 신호를 수신하고 이를 제어부(1580)로 전송할 수 있다. 예를 들어 광수신부(1563)는 사용자가 제어 장치(미도시)에 버튼식으로 마련된 터치 패드(미도시)를 손가락으로 누르면, 이러한 버튼식 터치 패드(미도시)이 눌려졌다는 신호를 수신하고 이를 제어부(1580)로 전송할 수 있다. 예를 들어, 버튼식 터치 패드(미도시)가 눌려졌다는 신호는 아이템들 중의 하나를 선택하기 위한 신호로 이용할 수 있다.

입/출력부(1570)는 제어부(1580)의 제어에 의해 디스플레이 장치(1500)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(1570)는 HDMI 포트(High-Definition Multimedia Interface port, 1571), 컴포넌트 잭(component jack, 1572), PC 포트(PC port, 1573), 및 USB 포트(USB port, 1574) 중 하나를 포함할 수 있다. 입/출력부(1570)는 HDMI 포트(1571), 컴포넌트 잭(1572), PC 포트(1573), 및 USB 포트(1574)의 조합을 포함할 수 있다.

입/출력부(1570)의 구성 및 동작은 본 발명의 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

제어부(1580)는 디스플레이 장치(1500)의 전반적인 동작 및 디스플레이 장치(1500)의 내부 구성요소들(미도시)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(1580)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 제어부(1580)는 메모리(1590)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.

제어부(1580)는 디스플레이 장치(1500)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1500)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 디스플레이 장치(1500)의 제어를 위한 제어 프로그램이 저장된 ROM(미도시) 및 프로세서(Processor)(미도시)를 포함할 수 있다.

프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서(미도시)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(미도시)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.

또한, 프로세서(미도시)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(미도시)는 메인 프로세서(main processor, 미도시) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 미도시)로 구현될 수 있다.

그래픽 처리부(미도시)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(미도시)를 통해 감지된 사용자 인터랙션을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이 부(1515)의 디스플레이 영역 내에 표시된다.

본 개시의 일 또는 다른 실시예에 따른 디스플레이 장치의 제어 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시예는, 전술한 디스플레이 장치의 제어 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체로 형성될 수 있다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

또한, 전술한 본 개시의 일 또는 다른 실시예에 따른 디스플레이 장치의 제어 방법은 다중언어로 구성된 문장을 획득하는 동작; 및 다중언어 번역 모델을 이용하여, 상기 다중언어로 구성된 문장에 포함되는 단어들 각각에 대응하는 벡터 값들을 획득하고, 상기 획득한 벡터 값들을 목표 언어에 대응하는 벡터 값들로 변환하며, 상기 변환된 벡터 값들에 기초하여, 상기 목표 언어로 구성된 문장을 획득하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

300: 디스플레이 장치
310: 메모리
320: 제어부
330: 디스플레이

Claims

디스플레이;
적어도 하나의 인스트럭션을 저장하는 메모리; 및
상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하는 프로세서를 적어도 하나 포함하는 제어부를 포함하며,
상기 제어부는
제1 이미지를 분석한 결과에 근거하여 상기 제1 이미지가 소정 질감(texture)에 대응되는 제1 스타일을 갖도록 영상 처리하여, 스타일 변환(style transfer)된 적어도 하나의 제2 이미지가 생성되도록 제어하며,
신경망(neural network)을 이용하여 상기 제1 이미지의 스타일 변환을 위한 연산을 수행하여 제3 이미지가 생성되도록 제어하며,
상기 디스플레이 상으로 상기 적어도 하나의 제2 이미지를 출력하고 후속하여 상기 제3 이미지가 출력되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 제어부는
상기 제1 이미지가 상기 제1 스타일을 갖도록 하는 영상 처리가 수행되는 과정에서 점차적으로 변화되는 상기 적어도 하나의 제2 이미지가 생성되며,
상기 디스플레이 상으로, 점차적으로 변화되는 상기 적어도 하나의 제2 이미지가 순차적으로 출력된 뒤 상기 제3 이미지가 출력되도록, 이미지 전환(image transition)을 수행하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 제어부는
상기 제1 이미지의 엣지(edge) 정보에 근거하여, 상기 제1 이미지가 상기 소정 질감을 갖도록 시뮬레이션 기반 스타일 변환(simulation based style transfer)을 수행하여 상기 적어도 하나의 제2 이미지를 생성하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 제어부는
상기 적어도 하나의 제2 이미지의 생성 순서에 따라서, 상기 적어도 하나의 제2 이미지가 상기 디스플레이 상에 순차적으로 출력되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 제어부는
상기 제1 이미지의 스타일 변환을 위해 상기 신경망을 통한 연산을 수행하여 상기 제1 스타일에 대응되는 상기 제3 이미지가 생성되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 제어부는
상기 신경망을 통한 연산을 수행하여, 상기 제1 이미지의 내용 이미지(content image) 및 스타일(style)을 획득하고, 상기 내용 이미지를 유지하면서 상기 제1 이미지의 스타일(style)이 상기 제1 스타일에 대응되도록 변환하여 상기 제3 이미지를 생성하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 제어부는
시뮬레이션 기반 스타일 변환(simulation based style transfer)을 수행하며 상기 제1 스타일에 대응되는 제1 포토 필터(photo filter)를 포함하며,
상기 제1 포토 필터를 이용하여 상기 적어도 하나의 제2 이미지가 생성되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제7항에 있어서, 상기 제어부는
서로 다른 복수개의 스타일 중 어느 하나인 제1 스타일을 선택하는 사용자 입력을 수신하면, 상기 제1 포토 필터를 이용하여 상기 제1 이미지가 상기 제1 스타일을 갖도록 영상 처리하여 상기 적어도 하나의 제2 이미지가 생성되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제8항에 있어서,
외부 장치와 통신을 수행하는 통신부를 더 포함하며,
상기 제어부는
상기 통신부를 통하여, 상기 외부 장치로부터 상기 복수개의 스타일 중 상기 제1 스타일을 선택하는 사용자 입력을 수신하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 신경망을 통하여 상기 스타일 변환을 위한 연산을 수행하는 외부 장치와 통신을 수행하는 통신부를 더 포함하며,
상기 제어부는
상기 외부 장치가 상기 신경망을 통한 연산을 수행하여 획득한 상기 제3 이미지를 전송받도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 신경망은
상기 제1 이미지가 상기 제1 스타일에 대응되도록 컨볼루션 연산을 반복적으로 수행하는 컨볼루션 신경망(CNN: Convolution Neural Network)을 포함하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서, 상기 제어부는
엠비언트 서비스가 실행되는 동안에, 상기 디스플레이 상으로 상기 적어도 하나의 제2 이미지 및 상기 제3 이미지가 출력되도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제1 이미지를 분석한 결과에 근거하여 상기 제1 이미지가 소정 질감(texture)에 대응되는 제1 스타일을 갖도록 영상 처리하여, 스타일 변환(style transfer)된 적어도 하나의 제2 이미지를 생성하는 단계;
신경망(neural network)을 이용하여 상기 제1 이미지의 스타일 변환을 위한 연산을 수행하여 제3 이미지를 생성하는 단계; 및
디스플레이 상으로 상기 적어도 하나의 제2 이미지를 출력하고 후속하여 상기 제3 이미지를 출력하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
제13항에 있어서,
상기 적어도 하나의 제2 이미지를 생성하는 단계는
상기 제1 이미지가 상기 제1 스타일을 갖도록 하는 영상 처리가 수행되는 과정에서 점차적으로 변화되는 상기 적어도 하나의 제2 이미지를 생성하는 단계를 포함하며,
상기 제3 이미지를 출력하는 단계는
상기 디스플레이 상으로, 점차적으로 변화되는 상기 적어도 하나의 제2 이미지가 순차적으로 출력된 뒤 상기 제3 이미지가 출력되도록, 이미지 전환(image transition)을 수행하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
제13항에 있어서, 상기 적어도 하나의 제2 이미지를 생성하는 단계는
상기 제1 이미지의 엣지(edge) 정보에 근거하여, 상기 제1 이미지가 상기 소정 질감을 갖도록 시뮬레이션 기반 스타일 변환(simulation based style transfer)을 수행하여 상기 적어도 하나의 제2 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
제13항에 있어서, 상기 제3 이미지를 생성하는 단계는
상기 제1 이미지의 스타일 변환을 위해 상기 신경망을 통한 연산을 수행하여 상기 제1 스타일에 대응되는 상기 제3 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
제13항에 있어서,
서로 다른 복수개의 스타일 중 어느 하나인 제1 스타일을 선택하는 사용자 입력을 수신하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
제13항에 있어서, 상기 제3 이미지를 생성하는 단계는
상기 디스플레이 장치와 통신 네트워크를 통하여 연결되는 외부 장치에서, 상기 신경망을 통하여 상기 제3 이미지를 생성하는 단계; 및
상기 외부 장치로부터 상기 디스플레이 장치로, 상기 제3 이미지를 전송하는 단게를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
제13항에 있어서, 상기 신경망은
상기 제1 이미지가 상기 제1 스타일에 대응되도록 컨볼루션 연산을 반복적으로 수행하는 컨볼루션 신경망(CNN: Convolution Neural Network)을 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
제13항에 있어서, 상기 제3 이미지를 출력하는 단계는
디스플레이 장치가 엠비언트 서비스를 실행되는 동안에, 상기 디스플레이 상으로 상기 적어도 하나의 제2 이미지 및 상기 제3 이미지를 출력하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.