KR20200084516A - 디스플레이장치, 영상공급장치, 및 그 제어방법 - Google Patents

디스플레이장치, 영상공급장치, 및 그 제어방법 Download PDF

Info

Publication number
KR20200084516A
KR20200084516A KR1020190000518A KR20190000518A KR20200084516A KR 20200084516 A KR20200084516 A KR 20200084516A KR 1020190000518 A KR1020190000518 A KR 1020190000518A KR 20190000518 A KR20190000518 A KR 20190000518A KR 20200084516 A KR20200084516 A KR 20200084516A
Authority
KR
South Korea
Prior art keywords
image
processing
learning
post
video stream
Prior art date
Application number
KR1020190000518A
Other languages
English (en)
Inventor
김두현
성민용
나상권
유기원
이상조
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190000518A priority Critical patent/KR20200084516A/ko
Priority to PCT/KR2019/018612 priority patent/WO2020141814A1/en
Priority to US16/730,291 priority patent/US11308650B2/en
Priority to EP20150014.7A priority patent/EP3678375A3/en
Publication of KR20200084516A publication Critical patent/KR20200084516A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/002—
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)

Abstract

본 발명은 디스플레이장치, 영상공급장치, 및 그 제어방법에 관한 것으로서, 디스플레이장치는, 디스플레이; 부호화된 비디오 스트림에 대한 복호화를 수행하고, 복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 비디오 스트림에 대하여 압축해제를 수행하고, 비디오 스트림에 대하여 압축해제에 관한 학습에 기초하여 정해진 영상보상을 수행하는 프로세서를 포함한다.

Description

디스플레이장치, 영상공급장치, 및 그 제어방법{DISPLAY APPARATUS, APPARATUS FOR PROVIDING IMAGE AND METHOD OF CONTROLLING THE SAME}
본 발명은 디스플레이장치, 영상공급장치, 및 그 제어방법에 관한 것으로서, 보다 상세하게는 AI 학습 기반으로 영상신호를 처리할 수 있는 디스플레이장치, 영상공급장치, 및 그 제어방법에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 AI 학습 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 머신러닝(기계학습), 딥러닝과 같은 학습기반 처리 및 학습을 활용한 요소 기술들로 구성된다.
학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 머신러닝, 딥러닝 등의 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
인공지능 기술에 대한 관심이 높아지면서, 이 기술을 텔레비전(TV)이나 스마트폰과 같은 단말장치 등의 제품에 임베디드 방식으로 적용하여, 온디바이스 환경에서 동작하도록 하는 시도가 이루어지고 있다.
영상 분야에서도 인공지능 기술로서 다층구조 형태의 신경망 즉, 뉴럴 네트워크(neural network)를 이용한 영상처리가 점차 널리 활용되고 있는 추세이다.
일반적으로 다층 신경망은 층 즉, 레이어(layer)와 채널의 수가 많을 경우, 학습 효율이 높아져 그 결과의 신뢰도 역시 향상된다.
그런데, 인공지능 기술이 온디바이스 환경에서 동작하게 되면, 별도의 서버에서 동작하는 경우와 비교하여, 리소스의 제약으로 인해 필요한 개수의 레이어와 채널로 신경망을 구성하기 어려울 수 있다.
그에 따라, 신경망의 레이어와 채널의 개수가 필요한 만큼 확보되지 않은 경우, 충분한 학습이 이루어지지 못함으로써 원하는 신뢰도의 출력을 얻기가 어려워지는 문제점이 발생될 수 있다.
본 발명은, 상기와 같은 문제점을 해결하고자 하는 것으로, 온디바이스 환경에서 AI 학습기반으로 영상을 처리하는데 있어, 리소스의 제약으로 충분한 학습이 이루어지지 않음에 따라 발생되는 왜곡을 보상할 수 있는 디스플레이장치, 영상공급장치, 및 그 제어방법을 제공한다.
본 발명 일 실시예에 따른 디스플레이장치는, 디스플레이; 부호화된 비디오 스트림에 대한 복호화를 수행하고, 복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 비디오 스트림에 대하여 압축해제를 수행하고, 비디오 스트림에 대하여 압축해제에 관한 학습에 기초하여 정해진 영상보상을 수행하는 프로세서를 포함한다. 이에 의하여, 압축 해제의 과정에서 발생할 수 있는 영상 왜곡을 보상함으로써, 영상의 퀄리티를 유지할 수 있다.
프로세서는, 압축해제의 전처리 또는 후처리 중 적어도 하나로서 영상보상을 수행할 수 있다. 이에, 영상보상을 필요에 따라 전처리 또는 후처리로서 적절하게 선택적으로 수행 가능하다.
프로세서는, 비디오 스트림이 복호화된 영상의 특성을 식별하고, 식별된 특성에 기초하여 영상에 대한 전처리 또는 후처리 각각의 수행 여부를 결정할 수 있다. 이에, 영상의 특성에 대응한 효율적인 보상이 수행될 수 있다.
프로세서는, 비디오 스트림으로부터 전처리 또는 후처리 각각의 수행 여부를 나타내는 플래그를 식별하고, 식별에 기초하여 영상에 대한 전처리 또는 후처리 각각의 수행 여부를 결정할 수 있다. 이에, 영상 보상의 수행 여부를 간편하게 식별 가능하다.
프로세서는, 영상의 프레임 단위, 블록 단위, 화소 단위 중 어느 하나를 기준으로 하여 전처리 또는 후처리의 수행 여부를 결정할 수 있다.
영상보상은 디재깅(dejagging), 디컨투어링(decontouring) 또는 디블러링(deblurring) 중 적어도 하나를 포함할 수 있다. 이에, 다양한 형태의 영상 왜곡을 적절하게 보상할 수 있다.
프로세서는, 신경망에 대한 학습에 기초하여 신경망의 출력 성능의 평가를 수행하고, 평가 결과에 기초하여 신경망의 구성을 조정하여, 영상보상을 수행하도록 할 수 있다. 이에, 반복 학습에 따른 추론에 의해 도출된 문제점을 영상보상을 통해 해소 가능하다.
한편, 본 발명 일 실시예에 따른 영상공급장치는, 복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 입력 영상에 대해 압축 처리를 수행하고, 입력 영상에 대하여 압축 처리에 관한 학습에 기초하여 정해진 영상보상을 수행하고, 입력 영상을 부호화하여 비디오 스트림을 생성하는 프로세서; 및 부호화된 비디오 스트림을 외부로 출력하는 출력부를 포함한다. 이에 의하여, 영상을 압축 처리하는 과정에서 발생할 수 있는 영상 왜곡을 보상함으로써, 영상의 퀄리티를 유지할 수 있다.
프로세서는, 압축 처리의 전처리 또는 후처리 중 적어도 하나로서 영상보상을 수행할 수 있다. 이에, 영상보상을 필요에 따라 전처리 또는 후처리로서 적절하게 선택적으로 수행 가능하다.
출력되는 비디오 스트림은 디스플레이장치에서 비디오 스트림을 복호화 시 영상보상을 위한 전처리 또는 후처리 각각의 수행 여부를 나타내는 플래그를 포함할 수 있다. 이에, 영상 보상의 수행 여부를 간편하게 식별 가능하다.
영상보상은 재깅(jagging), 컨투어링(contouring) 또는 블러링(blurring) 중 적어도 하나를 보상하기 위한 잡음(noise) 생성을 포함할 수 있다. 이에, 다양한 형태의 영상 왜곡을 적절하게 보상할 수 있다.
프로세서는, 신경망에 대한 학습에 기초하여 신경망의 출력 성능의 평가를 수행하고, 평가 결과에 기초하여 신경망의 구성을 조정하여, 영상보상을 수행하도록 할 수 있다. 이에, 반복 학습에 따른 추론에 의해 도출된 문제점을 영상보상을 통해 해소 가능하다.
한편, 본 발명 일 실시예에 따른 디스플레이장치를 제어하는 방법은, 부호화된 비디오 스트림에 대한 복호화를 수행하는 단계; 복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 비디오 스트림에 대하여 압축해제를 수행하는 단계; 및 비디오 스트림에 대하여 압축해제에 관한 학습에 기초하여 정해진 영상보상을 수행하는 단계를 포함한다. 이에 의하여, 압축 해제의 과정에서 발생할 수 있는 영상 왜곡을 보상함으로써, 영상의 퀄리티를 유지할 수 있다.
영상보상을 수행하는 단계는, 압축해제의 전처리 또는 후처리 중 적어도 하나로서 영상보상을 수행할 수 있다. 이에, 영상보상을 필요에 따라 전처리 또는 후처리로서 적절하게 선택적으로 수행 가능하다.
비디오 스트림이 복호화된 영상의 특성을 식별하는 단계; 및 식별된 특성에 기초하여 영상에 대한 전처리 또는 후처리 각각의 수행 여부를 결정하는 단계를 더 포함할 수 있다. 이에, 영상의 특성에 대응한 효율적인 보상이 수행될 수 있다.
비디오 스트림으로부터 전처리 또는 후처리 각각의 수행 여부를 나타내는 플래그를 식별하는 단계; 및 식별에 기초하여 영상에 대한 전처리 또는 후처리 각각의 수행 여부를 결정하는 단계를 더 포함할 수 있다. 이에, 영상 보상의 수행 여부를 간편하게 식별 가능하다.
영상보상은 디재깅(dejagging), 디컨투어링(decontouring) 또는 디블러링(deblurring) 중 적어도 하나를 포함할 수 있다. 이에, 다양한 형태의 영상 왜곡을 적절하게 보상할 수 있다.
한편, 본 발명 일 실시예에 따른 영상공급장치를 제어하는 방법은, 복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 입력 영상에 대해 압축 처리를 수행하는 단계; 입력 영상에 대하여 압축 처리에 관한 학습에 기초하여 정해진 영상보상을 수행하는 단계; 입력 영상을 부호화하여 비디오 스트림을 생성하는 단계; 및 부호화된 비디오 스트림을 외부로 출력하는 단계를 포함한다. 이에 의하여, 압축 해제의 과정에서 발생할 수 있는 영상 왜곡을 보상함으로써, 영상의 퀄리티를 유지할 수 있다.
영상보상을 수행하는 단계는, 압축 처리의 전처리 또는 후처리 중 적어도 하나로서 영상보상을 수행할 수 있다. 이에, 영상보상을 필요에 따라 전처리 또는 후처리로서 적절하게 선택적으로 수행 가능하다.
영상보상을 수행하는 단계는, 재깅(jagging), 컨투어링(contouring) 또는 블러링(blurring) 중 적어도 하나를 보상하기 위한 잡음(noise)을 생성하는 단계를 포함할 수 있다. 이에, 다양한 형태의 영상 왜곡을 적절하게 보상할 수 있다.
상기한 바와 같은 본 발명의 디스플레이장치, 영상공급장치, 및 그 제어방법에 따르면, AI 학습기반으로 영상을 처리하면서 발생 가능한 왜곡을 예측하고 이를 보상하여 줌으로써, 리소스에 제약이 있는 온디바이스 환경에서도 출력의 신뢰도를 높은 수준으로 유지할 수 있게 된다.
도 1은 본 발명 일 실시예에 따른 영상공급장치와 디스플레이장치를 포함하는 시스템의 일례를 도시한다.
도 2는 본 발명 일 실시예에 따른 영상공급장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명 일 실시예에 따른 디스플레이장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명 일 실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 5는 본 발명 일 실시예에 따른 영상공급장치에서 부호화용 신경망의 문제점을 도출하는 과정을 도시한 흐름도이다.
도 6은 본 발명 일 실시예에 따른 영상공급장치에서 영상처리를 수행하는 과정을 도시한 흐름도이다.
도 7은 본 발명 일 실시예에 따른 디스플레이장치에서 복호화용 신경망의 문제점을 도출하는 과정을 도시한 흐름도이다.
도 8은 본 발명 일 실시예에 따른 디스플레이장치에서 영상처리를 수행하는 과정을 도시한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 발명 일 실시예에 따른 영상공급장치와 디스플레이장치를 포함하는 시스템의 일례를 도시한다.
본 발명 일 실시예에 따르면, 영상공급장치(100)로부터 디스플레이장치(200)로 컨텐트가 공급될 수 있다.
영상공급장치(100)는, 도 1에 도시된 바와 같이, 압축 및 부호화된 비디오 스트림으로서 컨텐트를 공급할 수 있다.
영상공급장치(100)가 공급하는 컨텐트의 종류는 한정되지 않으며, 예를 들면 방송 컨텐트, 미디어 컨텐트, 어플리케이션 등을 포함할 수 있다. 일 실시예에서, 미디어 컨텐트는 VOD(video on demand) 서비스 형태로, 네트워크를 통한 실시간 스트리밍에 따른 파일 형태의 비디오 스트림으로서 제공될 수 있다.
영상공급장치(100)의 종류는 한정되지 않으며, 방송국이나, 미디어사업자, 서비스업체, SI(System Integrator) 업체, 어플리케이션 마켓, 웹사이트 등의 다양한 서버를 포함할 수 있다.
디스플레이장치(200)는 영상공급장치(100)로부터 수신한 비디오 스트림을 복호화 및 압축 해제함으로써 대응되는 영상을 디스플레이한다.
일 실시예에서 디스플레이장치(200)는 방송국의 송출장비로부터 수신되는 방송신호, 방송정보, 또는 방송데이터 중 적어도 하나에 기초한 방송 컨텐트를 처리하는 텔레비전(TV)으로 구현될 수 있다.
디스플레이장치(200)는, 예를 들면 방송국으로부터 송출되는 RF(radio frequency) 신호 즉, 방송 컨텐트를 무선으로 수신할 수 있으며, 이를 위해 신호를 수신하는 안테나 및 방송신호를 채널 별로 튜닝하기 위한 튜너를 포함할 수 있다.
디스플레이장치(200)에서, 방송 컨텐트는 지상파, 케이블, 위성 등을 통해서 수신 가능하며, 신호공급원은 방송국에 한정되지 않는다. 즉, 셋탑박스와 같이, 데이터의 송수신 또는 중계가 가능한 장치 또는 스테이션이라면 디스플레이장치(200)의 신호공급원에 포함될 수 있다. 또한, 디스플레이장치(200)는 블루레이(Blu-ray) 또는 DVD 등의 광디스크가 재생 가능한 플레이어(player)로부터 컨텐트를 공급받을 수도 있다.
디스플레이장치(200)에서 수신되는 신호의 규격은 장치의 구현 형태에 대응하여 다양한 방식으로 구성될 수 있으며, 예를 들면, HDMI(high definition multimedia interface), 디스플레이 포트(display port, DP), DVI(digital visual interface), 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART(Syndicat des Constructeurs d'Appareils Radiorιcepteurs et Tιlιviseurs), USB(universal serial bus) 등에 의하여 유선으로 컨텐트를 수신할 수 있다.
디스플레이장치(200)는 서버 등으로부터 유선 또는 무선 네트워크 통신에 의해 컨텐트를 제공받을 수도 있으며, 통신의 종류는 한정되지 않는다.
일 실시예에서 디스플레이장치(200)는 액세스 포인트(access point, AP)를 통한 무선 통신 또는 AP 없이 타 기기와 다이렉트 연결되는 무선 통신 중 적어도 하나를 수행할 수 있다. 예를 들면, 디스플레이장치(200)는 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 등의 무선 네트워크 통신을 통해 영상공급장치(100)로부터 컨텐트를 수신할 수 있다. 다른 실시예에서 디스플레이장치(200)는 이더넷(Ethernet) 등과 같은 유선 네트워크 통신을 통해 컨텐트를 수신할 수 있다.
또한, 일 실시예에서, 디스플레이장치(200)는 스마트폰과 같은 다양한 주변기기가 무선 통신을 수행하도록 하는 AP의 역할을 수행할 수 있다.
또한, 디스플레이장치(200)는 내부/외부의 저장매체에 저장된 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 사용자 인터페이스(user interface, UI)(이하, GUI(graphic user interface) 라고도 한다) 등을 화면에 표시하도록 신호를 처리할 수 있다.
일 실시예에서 디스플레이장치(200)는 스마트 TV 또는 IP TV(Internet Protocol TV)로 동작 가능하다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우징 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐츠 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 텔레비전이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트 TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐츠, 예를 들어 소정의 서비스를 제공하는 어플리케이션을 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.
그러나, 본 발명에서 디스플레이장치(200)의 구현 형태는 TV 에 한정되는 것은 아니며, 예를 들면 스마트폰(smart phone)이나 태블릿(tablet)과 같은 스마트패드(smart pad)와 같이, 비디오 스트림을 복호화 및 압축해제하여 영상을 디스플레이할 수 있는 모바일 장치(mobile device) 또는 단말장치(terminal)의 형태로 구현될 수도 있을 것이다.
이하, 도면을 참조하여 영상의 부호화 및 복호화 과정에 대해 설명하기로 한다.
도 2는 본 발명 일 실시예에 따른 영상공급장치의 동작을 설명하기 위한 도면이다.
영상공급장치(100)에는 입력 영상을 부호화하여 비트스트림 즉, 비디오 스트림을 출력하는 부호화 모듈(131)(이하, 인코더(encoder) 라고도 한다)이 마련된다.
본 발명 실시예에 따른 영상공급장치(100)에서, 부호화 모듈(131)은 MPEG(Moving Picture Experts Group), H.264, HEVC(High Efficiency Video Codec) 등 다양한 압축 표준 즉, 코덱(codec)에 따른 인코더로서 구현 가능하다.
본 발명 일 실시예에 따른 영상공급장치(100)에는, 도 2에 도시된 바와 같이, 입력 영상을 처리하여 부호화 모듈(131)로 출력하는 컨볼루션 신경망(Convolution Neural Network, CNN)(132)이 마련된다.
컨볼루션 신경망(132)(이하, 부호화용 신경망 이라고도 한다)은 합성곱(convolution) 연산을 사용하는 인공 신경망(Artificial Neural Network, ANN)의 한 종류로서, 복수의 채널 및 복수의 레이어(layer)로 구성되어 시각적 이미지를 분석하기 위해 활용될 수 있다.
본 발명 실시예에 따른 영상공급장치(100)에서, 컨볼루션 신경망(132)은 입력 영상에 대해 다양한 영상처리를 수행하도록 구현 가능하며, 구체적으로 입력 영상을 압축 처리할 수 있다. 영상 압축이란 기본적으로 입력된 원 입력 영상을 분석하여 중복 정보를 줄여 인코딩할 수 있도록 함으로써, 디스플레이장치(200)에서 이를 최대한 원본에 가깝게 복원할 수 있도록 하는 것이다.
컨볼루션 신경망(132)은, 예를 들면, 영상 크기 기반의 압축 처리, 화소를 구성하는 비트 크기 기반의 압축 처리 등 다양한 형태의 압축 처리를 수행함으로써, 원 입력 영상에 대해 크기가 축소된 영상을 출력할 수 있다.
일 실시예에서 컨볼루션 신경망(132)의 각 레이어는, 머신러닝(machine learning), 딥러닝(deep learning)과 같은 미리 수행된 학습에 기초하여 정해진 값, 다시 말해 가중치(weight)를 가지도록 설정된 파라미터(parameter)에 의해 동작하는 필터(filter)에 의해 구성될 수 있다. 컨볼루션 신경망(132)은 상기와 같이 학습에 기초하여 정해진 파라미터에 따라 입력 영상에 대한 압축을 수행할 수 있다.
본 발명 실시예에 따른 영상공급장치(100)에서 컨볼루션 신경망(132)은 온디바이스(On-device) 기반의 AI로서 동작하도록 구현된다.
영상공급장치(100)는, 도 2에 도시된 바와 같이, 영상보상을 수행하는 전처리 모듈(133) 또는 후처리 모듈(134) 중 적어도 하나를 더 포함할 수 있다.
도 2에서는 영상공급장치(100)에 전처리 모듈(133)과 후처리 모듈(134)이 모두 마련된 경우를 예로 들어 도시하였으나, 본 발명은 이에 한정되지 않으므로, 영상공급장치(100)가 전처리 모듈(133)과 후처리 모듈(134) 중 하나를 포함하는 경우도 본 발명에 포함된다.
본 발명 일 실시예에 따른 영상공급장치(100)는, 컨볼루션 신경망(132)에서 수행되는 압축에 대한 학습에 기초하여 정해진 하나 이상의 영상보상을, 전처리 모듈(133) 또는 후처리 모듈(134) 중 적어도 하나에 의해 수행할 수 있다.
구체적으로, 영상공급장치(100)는 소정 알고리즘에 기초하여 컨볼루션 신경망(132)을 학습하여 문제점을 도출하고, 전처리 모듈(133) 또는 후처리 모듈(134) 중 적어도 하나에 의해 도출된 문제점에 대응하는 영상보상이 수행되도록 할 수 있다.
본 발명에서 수행되는 영상보상의 종류는 한정되지 않으며, 예를 들면 재깅(jagging), 컨투어링(contouring) 또는 블러링(blurring) 중 적어도 하나를 포함할 수 있다.
일 실시예에서 영상공급장치(100)에는 입력 영상에 대해 컨투어링을 보상하는 전처리 모듈(133)이 구비될 수 있다. 구체적으로, 전처리 모듈(133)은 영상공급장치(100)에서 압축된 영상이 디스플레이장치(200)에서 복원되는 과정에서 발생될 수 있는 컨투어 아티펙트(contour artifact)를 사전에 방지하기 위한 잡음(noise)을 생성할 수 있다. 여기서, 전처리 모듈(133)에서 생성되는 잡음은 미리 수행된 학습에 기초하여 결정된다.
다른 실시예에서 영상공급장치(100)에는 입력 영상에 대해 에지 블러링을 보상하는 후처리 모듈(134)이 구비될 수 있다. 블러링은 영상의 세밀한 부분을 제거하여 영상을 흐리게 하거나 부드럽게 하는 기술로서, 후처리 모듈(134)은 미리 수행된 학습에 기초하여, 예컨대 입력 영상을 블록 단위로 분할하여 에지 블러링을 수행하는 과정에서 발생되는 왜곡을 미리 보상할 수 있다.
일 실시예의 영상공급장치(100)에서는, 영상 보상의 종류에 대응하여 전처리 또는 후처리로의 수행이 결정될 수 있다. 예를 들어, 컨투어링과 블러링은 후처리 모듈(134)에 의해 수행되도록 설정되며, 에지 블러링의 경우 전처리 모듈(133)에 의해 수행되도록 설정될 수 있다.
일 실시예에서 영상공급장치(100)에는 하드웨어 구성인 비디오 프로세서(이하, 프로세서 라고도 한다)가 마련될 수 있으며, 전술한 부호화 모듈(131), 컨볼루션 신경망(132), 전처리 모듈(133), 후처리 모듈(134)은 비디오 프로세서의 구성들로서 소프트웨어의 실행에 따른 동작에 의해 구분될 수 있다.
다른 실시예에서, 부호화 모듈(131), 컨볼루션 신경망(132), 전처리 모듈(133), 후처리 모듈(134)은 각각이 하드웨어 구성으로 구현되거나, 경우에 따라 하드웨어와 소프트웨어의 조합에 의해 각 구성이 구분될 수도 있다.
비디오 프로세서는 상기와 같은 각 프로세스를 수행하기 위한 다양한 칩셋, 메모리, 전자부품, 배선 등의 회로 구성이 인쇄회로기판(PCB) 상에 실장된 영상보드로 구현될 수 있다.
일 실시예에서 영상공급장치(100)에는 비디오 프로세서가 미리 수행된 학습에 기초한 값으로 설정된 필터를 이용한 연산을 수행할 수 있도록 하는 학습 데이터와, 컨볼루션 신경망(132)의 문제점을 도출할 수 있도록 하는 학습 데이터가 저장되는 저장부(도시되지 아니함)가 마련될 수 있다.
영상공급장치(100)는 상기와 같이 입력 영상에 대해 압축과 보상이 이루어진 신호를 부호화 모듈(131)에 의해 부호화함으로써 생성된 비디오 스트림을 출력부(도시되지 아니함)를 통해 외부로 출력하게 된다. 여기서, 영상공급장치(100)에서 출력되는 비디오 스트림에는, 해당 비디오 스트림의 복호화 시 소정 영상보상의 수행 여부(예를 들면, 전처리 또는 후처리의 온 또는 오프)를 나타내는 플래그(flag)가 포함될 수 있다.
출력부는 소정 통신 프로토콜에 대응하는 통신모듈(S/W module, chip 등)과 포트(port) 등이 조합된 데이터 입출력 인터페이스를 포함하는 회로(circuitry)로서 구현되어, 유선 또는 무선 네트워크를 통해 부호화된 비디오 스트림을 외부로 출력할 수 있다.
도 2에서는 영상처리와 직접적으로 관련된 영상공급장치(100)의 구성들을 예로 들어 도시하였으나, 본 발명의 영상공급장치(100)의 구성은 도시된 바에 한정되지 않는다. 다시 말해, 영상공급장치(100)는 전술한 비디오 프로세서, 저장부, 출력부뿐 아니라, 다른 구성, 예를 들면 영상공급장치(100)의 동작을 전체적으로 제어하는 CPU와 같은 범용 프로세서를 더 포함할 수도 있을 것이다.
디스플레이장치(200)는 상기와 같이 영상공급장치(100)로부터 출력되는 부호화된 비디오 스트림을 입력받는다.
도 3은 본 발명 일 실시예에 따른 디스플레이장치의 동작을 설명하기 위한 도면이다. 도 4는 본 발명 일 실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
디스플레이장치(200)에는 부호화된 비트스트림 즉, 비디오 스트림을 수신하여, 부호화된 비디오 스트림에 대한 복호화를 수행하는 복호화 모듈(231)(이하, 디코더(decoder) 라고도 한다)이 마련된다.
본 발명 실시예에 따른 디스플레이장치(200)에서, 복호화 모듈(231)은 MPEG(Moving Picture Experts Group), H.264, HEVC(High Efficiency Video Codec) 등 다양한 압축 표준에 따른 디코더로서 구현 가능하다.
본 발명 일 실시에에 따른 디스플레이장치(200)에는, 도 3에 도시된 바와 같이, 복호화 모듈(231)로부터 출력된 신호를 처리하는 컨볼루션 신경망(Convolution Neural Network, CNN)(232)이 마련된다.
컨볼루션 신경망(232)(이하, 복호화용 신경망 이라고도 한다)은 합성곱(convolution) 연산을 사용하는 인공 신경망(Artificial Neural Network, ANN)의 한 종류로서, 복수의 채널 및 복수의 레이어(layer)로 구성되어 시각적 이미지를 분석하기 위해 활용될 수 있다.
본 발명 실시예에 따른 디스플레이장치(200)에서, 컨볼루션 신경망(232)은 영상에 대해 다양한 영상처리를 수행하도록 구현 가능하며, 구체적으로 비디오 스트림에 대한 압축 해제를 수행할 수 있다.
컨볼루션 신경망(232)은, 예를 들면, 영상 크기 기반의 압축 해제, 화소를 구성하는 비트 크기 기반의 압축 해제 등 다양한 형태의 압축 해제를 수행함으로써, 입력 영상에 대해 원 영상의 크기가 확장된 영상을 출력할 수 있다.
일 실시예에서 컨볼루션 신경망(232)의 각 레이어는, 머신러닝(machine learning), 딥러닝(deep learning)과 같은 미리 수행된 학습에 기초하여 정해진 값, 다시 말해 가중치(weight)를 가지도록 설정된 파라미터(parameter)에 의해 동작하는 필터(filter)에 의해 구성될 수 있다. 컨볼루션 신경망(232)은 상기와 같이 학습에 기초하여 정해진 파라미터에 따라 입력 비디오 스트림에 대한 압축 해제를 수행할 수 있다.
본 발명 실시예에 따른 디스플레이장치(200)에서 컨볼루션 신경망(232)은 온디바이스(On-device) 기반의 AI로서 동작하도록 구현된다.
일 실시예에서, 컨볼루션 신경망(232)은 비디오 즉, 영상의 해상도를 확장하는 해상도 확장 모듈 즉, 스케일링 업 모듈(Scaling-Up Module)로서 동작할 수 있다. 다시 말해, 컨볼루션 신경망(232)은 업 스케일링에 의해 저해상도 영상(Low Resolution Image)으로부터 고해상도 영상(High Resolution Image) 또는 수퍼 해상도 영상(Super Resolution Image)을 생성할 수 있다.
일례로서 컨볼루션 신경망(232)은 복호화 모듈(231)에 의해 디코딩된 비디오신호를 소정 AI 학습기반 처리에 의해 스케일링 업하는 AI 스케일러로 구현될 수 있다. 여기서, AI 스케일러는 영상공급장치(100)의 인코딩 단에서 사용된 AI 학습 기반처리에 대응하여 비디오신호를 스케일링 업하도록 구현 가능하며, 소정 학습기반 처리 예를 들면, 머신러닝(Machine Learning)이나 딥 러닝(Deep Learning)에 대응하여 비디오신호를 처리하여, 비디오(영상)의 해상도를 조절할 수 있도록 구성될 수 있다.
디스플레이장치(200)는, 도 3에 도시된 바와 같이, 영상보상을 수행하는 전처리 모듈(233) 또는 후처리 모듈(234) 중 적어도 하나를 더 포함할 수 있다.
도 3에서는 디스플레이장치(200)에 전처리 모듈(233)과 후처리 모듈(234)이 모두 마련된 경우를 예로 들어 도시하였으나, 본 발명은 이에 한정되지 않으므로, 디스플레이장치(200)가 전처리 모듈(233)과 후처리 모듈(234) 중 하나를 포함하는 경우도 본 발명에 포함된다.
본 발명 일 실시예에 따른 디스플레이장치(200)는, 컨볼루션 신경망(232)에서 수행되는 압축 해제에 대한 학습에 기초하여 정해진 하나 이상의 영상보상을, 전처리 모듈(233) 또는 후처리 모듈(234) 중 적어도 하나에 의해 수행한다.
여기서, 디스플레이장치(200)는, 영상공급장치(100)로부터 수신된 비디오 스트림을 복호화하여, 소정 영상보상의 수행 여부(예를 들면, 전처리 또는 후처리의 온 또는 오프)를 나타내는 플래그(flag)를 식별하고, 식별 결과에 대응하여 전처리 모듈(233) 또는 후처리 모듈(234) 중 적어도 하나에 의해 영상보상을 수행할 수 있다.
일 실시예에서 디스플레이장치(200)는 소정 알고리즘에 기초하여 컨볼루션 신경망(232)을 학습하여 문제점을 도출하고, 전처리 모듈(233) 또는 후처리 모듈(234) 중 적어도 하나에 의해 도출된 문제점에 대응하는 영상보상이 수행되도록 할 수 있다.
본 발명에서 수행되는 영상보상의 종류는 한정되지 않으며, 예를 들면 디재깅(dejagging), 디컨투어링(decontouring) 또는 디블러링(deblurring) 중 적어도 하나를 포함할 수 있다.
일 실시예에서 디스플레이장치(200)에는 에지 디블러링을 수행하는 전처리 모듈(233)이 구비되어, 복호화된 영상에서 에지 부분이 날카롭지 않게 표시되도록 보상할 수 있다.
다른 실시예에서 디스플레이장치(200)에는 디컨투어링을 수행하는 후처리 모듈(234)이 구비될 수 있다. 여기서, 후처리 모듈(234)은 영상이 컨볼루션 신경망(232)에서 압축 해제되는 과정에서 발생될 수 있는 컨투어 아티펙트(contour artifact)를 제거할 수 있다. 후처리 모듈(234)에서 제거되는 컨투어 아티펙트는 미리 수행된 학습에 기초하여 결정된다.
일 실시예의 디스플레이장치(200)에서는, 영상 보상의 종류에 대응하여 전처리 또는 후처리로의 수행이 결정될 수 있다. 예를 들어, 디컨투어링과 디블러링은 후처리 모듈(234)에 의해 수행되도록 설정되며, 에지 디블러링의 경우 전처리 모듈(233)에 의해 수행되도록 설정될 수 있다.
일 실시예에서 디스플레이장치(200)에는 하드웨어 구성인 비디오 프로세서(도 4의 230)가 마련될 수 있으며, 전술한 복호화 모듈(231), 컨볼루션 신경망(232), 전처리 모듈(233), 후처리 모듈(234)은 비디오 프로세서(230)의 구성들로서 소프트웨어의 실행에 따른 동작에 의해 구분될 수 있다.
다른 실시예에서, 복호화 모듈(231), 컨볼루션 신경망(232), 전처리 모듈(233), 후처리 모듈(234)은 각각이 하드웨어 구성으로 구현되거나, 경우에 따라 하드웨어와 소프트웨어의 조합에 의해 각 구성이 구분될 수도 있다.
비디오 프로세서는 상기와 같은 각 프로세스를 수행하기 위한 다양한 칩셋, 메모리, 전자부품, 배선 등의 회로 구성이 인쇄회로기판(PCB) 상에 실장된 영상보드로 구현될 수 있다.
본 발명 일 실시예에 따른 디스플레이장치(200)는, 도 4에 도시된 바와 같이, 신호수신부(210), 통신부(220), 비디오 프로세서(230), 디스플레이(240), 사용자입력부(250), 저장부(260) 및 제어부(270)를 포함한다. 신호수신부(210)는 접속부(211)와, 튜너(212)를 포함할 수 있다.
디스플레이장치(200)에 포함되는 구성은 상기한 일 실시예에 의해 한정되지 않고, 일부 구성을 제외 또는 변경하여 구성되거나, 추가적인 다른 구성들을 포함하여 구현될 수 있다.
신호수신부(210)는 외부로부터 신호를 수신한다. 여기서, 수신되는 신호의 규격은 디스플레이장치(200)의 구현 형태에 대응하여 다양한 방식으로 구성될 수 있다. 예를 들면, 신호수신부(210)는 방송국(미도시)으로부터 송출되는 RF 신호를 무선으로 수신하거나, 컴포지트 비디오, 컴포넌트 비디오, 슈퍼 비디오, SCART, HDMI, 디스플레이 포트(DP) 규격 등에 의한 신호를 유선으로 수신할 수 있다.
신호수신부(210)는 디스플레이장치(200)가 외부 영상소스와 유선 연결되도록 하는 접속부(211)를 포함한다. 일 실시예에서 접속부(211)는 HDMI 케이블을 통해 영상소스에 접속되지만, 접속되는 방식이 HDMI에 한정되는 것은 아니다.
디스플레이장치(200)는, 유선 연결된 접속부(211)를 통해 셋탑박스와 같은 영상소스로부터 컨텐트의 신호를 제공받을 수 있다. 여기서, 컨텐트의 신호는 방송신호를 포함한다. 접속부(211)는 기본적으로는 영상소스로부터 신호를 수신하지만, 양방향으로 신호를 송수신 가능하게 마련될 수 있다.
접속부(211)는 소정 통신 프로토콜에 대응하는 통신모듈(S/W module, chip 등)과 포트(port) 등이 조합된 데이터 입출력 인터페이스를 포함하는 회로(circuitry)로서 구현될 수 있다.
일 실시예에서 접속부(211)를 통해 디스플레이장치(200)와 유선 연결되는 장치는 셋탑박스와 같은 영상소스가 되지만, 본 발명은 이에 한정되지 않는다. 예를 들면, 다른 실시예로서 디스플레이장치(200)는 접속부(211)를 통해 모바일장치와 유선 연결될 수도 있다.
일 실시예에서 신호수신부(210)는 수신되는 신호가 방송신호인 경우, 이 방송신호를 채널 별로 튜닝하기 위한 튜너(212)를 포함한다. 튜너(112)는 튜닝된 특정 채널의 방송신호를 복조하여 트랜포트스트림(transport stream, TS) 형태의 신호로 출력하는 디모듈레이터를 포함할 수 있다. 다시 말해, 튜너와 디모듈레이터는 통합된 형태의 단일 칩으로 설계되거나, 상호 분리된 2개의 칩으로 각각 구현될 수 있다.
본 발명 일 실시예에 따른 디스플레이장치(200)에서, 신호는 다양한 주변장치로부터 입력될 수 있다. 또한, 신호는 인터넷 등과 같은 네트워크를 통해 수신되는 데이터로부터 기인한 것일 수 있으며, 이 경우 디스플레이장치(200)는, 후술하는 통신부(220)를 통해 신호를 수신할 수 있다.
또한, 신호는 플래시메모리, 하드디스크 등과 같은 비휘발성의 저장부(260)에 저장된 데이터로부터 기인한 것일 수 있다. 저장부(260)는 디스플레이장치(200)의 내부 또는 외부에 마련될 수 있으며, 외부에 마련되는 경우 저장부(260)는 접속부(111)를 통해 디스플레이장치(200)에 연결될 수 있다.
통신부(220)는 적어도 하나의 외부장치와 유선 혹은 무선 통신방식을 사용하여 통신 가능하게 마련된다. 통신부(220)는 유선 및/또는 무선 통신모듈을 포함한다.
통신부(220)는 소정 통신 프로토콜에 대응하는 통신모듈(S/W module, chip 등)을 포함하는 회로(circuitry)로서 구현될 수 있다.
일 실시예에서 통신부(220)는 무선랜유닛을 포함한다. 무선랜유닛은 제어부(270)의 제어에 따라 AP(access point)를 통해 적어도 하나의 외부장치와 무선으로 통신을 수행할 수 있다. 무선랜유닛은 와이파이(Wi-Fi) 통신모듈을 포함한다.
일 실시예에서 통신부(220)는 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), RF(radio frequency) 통신, 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication), 적외선통신(IrDA, infrared data association) 등의 근거리 통신모듈 중 적어도 하나를 포함한다. 근거리 통신모듈은 AP 없이 무선으로 디스플레이장치(200)와 적어도 하나의 외부장치 사이에 다이렉트로 무선통신을 지원하도록 마련된다.
일 실시예에서 통신부(220)는 이더넷(Ethernet) 등과 같은 유선 통신모듈을 더 포함할 수 있다.
본 발명 실시예에 따른 디스플레이장치(200)의 통신부(220)는 성능에 따라 무선랜유닛, 근거리 통신모듈, 유선통신모듈 중 하나 또는 2 이상의 조합으로 이루어질 수 있다.
비디오 프로세서(230)(영상처리부 라고도 한다)는 비디오신호(영상신호)에 대해 기 설정된 다양한 영상처리를 수행한다. 비디오 프로세서(230)는 이러한 프로세스들을 수행하여 생성 또는 결합한 출력 신호를 디스플레이(240)에 출력함으로써, 디스플레이(240)에 비디오신호에 대응하는 영상이 표시되게 한다.
본 발명의 디스플레이장치(200)에서 비디오 프로세서(230)가 수행하는 프로세스의 종류는 도 3에서 설명한 바에 한정되지 않으며, 비디오 프로세서(230)는 예를 들면 인터레이스(interlace) 방식의 방송신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환, 라인 스캐닝(line scanning) 다양한 프로세스를 수행하기 위한 적어도 하나의 모듈을 더 포함할 수 있다.
비디오 프로세서(230)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성 즉, 모듈의 그룹으로 구현되거나, 또는 여러 기능을 통합시킨 메인 SoC(System-on-Chip)에 포함되는 형태로서 구현 가능하다. 메인 SoC는 후술하는 제어부(270)를 구현하는 일례인 마이크로프로세서 또는 CPU를 더 포함할 수 있다.
일 실시예에서 비디오 프로세서(230)는 이러한 각 프로세스를 수행하기 위한 다양한 칩셋, 메모리, 전자부품, 배선 등의 회로 구성이 인쇄회로기판(PCB) 상에 실장된 영상보드로 구현될 수 있다. 이 경우, 디스플레이장치(200)에는 튜너, 비디오 프로세서(230) 및 제어부(270)가 단일의 영상보드에 마련될 수 있다. 물론, 이는 일례에 불과하고 서로 통신 가능하게 연결된 복수의 인쇄회로기판에 배치될 수도 있다.
비디오 프로세서(230)에 의해 처리된 비디오신호는 디스플레이(240)로 출력된다. 디스플레이(240)는 비디오 프로세서(230)로부터 수신된 비디오신호에 대응하는 비디오(영상)을 표시한다.
디스플레이(240)의 구현 방식은 한정되지 않으며, 예를 들면 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 일 실시예에서, 디스플레이(240)는 영상을 표시하는 디스플레이 패널을 포함하며, 그 구현 방식에 따라서 부가적인 구성, 예를 들면 구동부(driver)를 더 포함할 수 있다.
사용자입력부(250)는 디스플레이장치(200)는 전면이나 측면의 일 영역에 설치되며 전원키, 메뉴키 등의 버튼으로 구성된 키패드(또는 입력패널)로 구현되어, 사용자입력을 수신한다.
일 실시예에서, 사용자입력부는 디스플레이장치(200)를 원격으로 제어 가능하게 기설정된 커맨드/데이터/정보/신호를 생성하여 디스플레이장치(200)로 전송하는 입력장치(예를 들어, 리모컨(remote control), 마우스, 키보드, 디스플레이장치(200)를 원격제어 가능한 어플리케이션이 설치된 스마트폰 등)나, 마이크(microphone)와 같이 사용자로부터 발화된 음성/사운드를 수신하는 음성입력부를 더 포함할 수 있다. 디스플레이장치(200)는 통신부(220)를 통해 원격 입력장치로부터 사용자입력에 대응하는 신호를 수신할 수 있다.
저장부(260)는 디스플레이장치(200)의 다양한 데이터를 저장하도록 구성된다. 저장부(260)는 디스플레이장치(200)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable memory)로 구비될 수 있다. 저장부(260)는 하드디스크(HDD), 플래쉬 메모리(flash memory), EPROM 또는 EEPROM 중 적어도 하나를 포함할 수 있다.
저장부(260)는 RAM과 같은 휘발성 메모리(volatile memory)를 더 포함하며, 휘발성 메모리는 디스플레이장치(200)의 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM으로 구비될 수 있다. 즉, 본 발명에서 저장부라는 용어는 비휘발성 메모리뿐 아니라, 휘발성 메모리, 제어부(270)의 내부에 마련되는 캐시메모리 등을 포괄하는 용어로서 정의된다.
저장부(260)에 저장되는 데이터는, 예를 들면 디스플레이장치(200)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
구체적으로, 저장부(260)는 제어부(270)의 제어에 따라 각 구성요소들의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(260)는 디스플레이장치(200)의 제어를 위한 프로그램, 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 UI, UI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다. 여기서, 저장부(260)에 저장된 어플리케이션은 미리 수행된 학습에 기반하여 동작하는 머신 러닝 어플리케이션 또는 딥 러닝 어플리케이션을 포함할 수 있다.
일 실시예에서 저장부(260)에는 비디오 프로세서(230)가 미리 수행된 학습에 기초한 값으로 설정된 필터를 이용한 연산을 수행할 수 있도록 하는 학습 데이터와, 컨볼루션 신경망(232)의 문제점을 도출할 수 있도록 하는 학습 데이터가 더 저장된다. 비디오 프로세서(230)는 저장부(260)에 저장된 학습 데이터에 기반한 학습 알고리즘 모델을 적용한 연산을 수행할 수 있다.
본 발명 일 실시예에 따른 디스플레이장치(200)는, 상기와 같이 장치 자체에 임베디드된 저장부(260)의 데이터를 기반으로 한 학습 및 그 학습에 따른 알고리즘 모델을 적용하는 연산을 수행하는, 온디바이스 환경에서 AI 동작하도록 구현된다.
제어부(270)는 디스플레이장치(200)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제어부(270)는 제어프로그램이 설치된 비휘발성의 메모리로부터 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램을 실행하는 적어도 하나의 범용 프로세서를 포함하며, 예를 들면 CPU(Central Processing Unit), AP(application processor), 또는 마이크로프로세서(microprocessor)로 구현될 수 있다.
제어부(270)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 또는 그 배수로 이루어진 하나 이상의 코어가 탑재된 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor) 및 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되고 디스플레이장치로서 동작하지 않는)에서 동작하는 서브 프로세서(sub processor)를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결될 수 있다.
일 실시예에서 제어부(270)는 그래픽 처리를 위한 GPU(Graphic Processing Unit)를 더 포함할 수 있다.
일 실시예에서 제어부(270)는 디스플레이장치(200)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다. 다른 실시예에서 메인 SoC는 비디오신호를 처리하는 비디오 프로세서(230)를 더 포함할 수 있다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체제, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(200)의 제조 시에 디스플레이장치(200)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(200)에 설치될 수 있다. 응용 프로그램의 데이터는, 예를 들면, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(200)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
일 실시예로서, 상기와 같은 제어부(270)의 동작은 디스플레이장치(200)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다.
이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서에 의해 실행되면, 부호화된 비디오 스트림에 대한 복호화를 수행하고, 학습에 기초하여 정해진 파라미터에 따라 비디오 스트림에 대하여 압축해제를 수행하고, 비디오 스트림에 대하여 압축해제에 관한 학습에 기초하여 정해진 영상보상을 수행하도록 동작할 수 있다. 여기서, 인스트럭션을 실행하는 프로세서는 제어부(270)의 프로세서(예를 들면, CPU)이거나, 또는 비디오 프로세서(230)가 될 수 있다.
즉, 상기한 본 발명의 일 실시예에서는 하드웨어 구성인 비디오 프로세서(230)가 비디오 스트림의 데이터를 처리하는 것을 예로 들어 설명하였으나, 본 발명의 구현 형태는 이에 한정되지 않는다. 다시 말해, 제어부(270)의 소프트웨어 구성에 의해 상기 설명한 비디오 스트림의 데이터가 처리되는 경우도 본 발명의 구현 형태에 포함될 수 있다.
이에 따라, 디스플레이장치(200)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 디스플레이장치(200)로 다운로드 및 실행하여, 제어부(270), 또는 비디오 프로세서(230) 중 적어도 하나의 동작을 수행할 수 있다.
또한, 일 실시예로서, 제어부(270)의 동작은 기록매체에 저장되며 컴퓨터가 판독 가능한 프로그램으로 구현될 수도 있다. 기록매체에 저장된 프로그램 즉, 데이터는 제어부(270)에 의해 직접 액세스되어 실행되거나, 컴퓨터 시스템이 상호 결합된 유무선 네트워크를 통해 구현되는 전송매체를 통해 디스플레이장치(200)로 다운로드되어 실행됨으로써, 동작을 수행할 수 있다.
상기와 같은 제어부(270)의 구성들 중 적어도 하나는, 하드웨어 모듈로 구현되거나, 앞서 설명한 컴퓨터프로그램으로 구현될 수 있다. 이하에서 비디오 스트림의 데이터에 대한 처리 동작들은 디스플레이장치(200)의 비디오 프로세서(230)에 의해 수행되는 경우를 기준으로 설명하나, 경우에 따라 CPU와 같은 제어부(270)의 프로세서, 또는 이들의 조합에 의해서도 수행 가능한 것으로 이해될 것이다.
이하, 도면을 참조하여 본 발명 실시예에 따라 AI 학습기반으로 신경망의 문제점을 도출하고, 그에 따라 비디오신호를 처리하는 과정에 대해서 상세하게 설명하도록 한다.
도 5는 본 발명 일 실시예에 따른 영상공급장치에서 부호화용 신경망의 문제점을 도출하는 과정을 도시한 흐름도이다.
도 5에 도시된 바와 같이, 영상공급장치(100)의 비디오 프로세서는 소정 개수의 채널 및 레이어로 구성된 부호화용 신경망 즉, 컨볼루션 신경망(132)에 대한 학습으로서 트레이닝(training)을 수행한다(510). 영상공급장치(100)는 단계 510의 학습을 통해 부호화용 신경망(132)의 동작을 위한 파라미터들을 결정할 수 있다.
영상공급장치(100)는 비디오 프로세서는 단계 510의 학습에 기초하여, 소정 입력 영상에 대한 부호화용 신경망(132)의 출력 성능을 평가한다(520). 여기서, 출력 평가에는 단계 510의 학습에 사용되지 않은 영상이 입력 영상으로서 사용될 수 있다.
영상공급장치(100)는 단계 520의 평가 결과에 따라 부호화용 신경망(132)의 구성을 조정한 뒤, 단계 510의 학습을 다시 수행하고, 그에 따라 단계 520의 출력성능을 평가를 다시 수행한다.
영상공급장치(100)의 비디오 프로세서는 이러한 반복적인 추론 과정을 통해 부호화용 신경망(132)의 구성을 조정하여 학습 및 평가하는 단계 510 및 520을 반복적으로 수행함으로써, 컨볼루션 신경망(132)의 최종 구성을 결정한다. 그리고, 최종적으로 구성된 부호화용 신경망(132)의 출력성능을 최종적으로 평가하게 된다.
영상공급장치(100)는 상기와 같이 수행된 최종 평가 결과에 기초하여 부호화용 신경망(132)의 문제점을 도출한다(530). 여기서, 도출되는 문제점은 예를 들면, 영상 내 라인(line)에 대한 재깅 현상과 같은 특정 영상 패턴으로서 도출될 수 있다.
그리고, 단계 530에서 도출된 문제점에 대응하여 영상공급장치(100)가 비디오 프로세서의 전처리 모듈(133) 또는 후처리 모듈(134) 중 적어도 하나에서 영상 보상을 수행하도록 결정된다(540). 다시 말해, 비디오 프로세서가 입력 영상에 대해 전처리 또는 후처리 중 적어도 하나를 수행하도록 결정된다.
여기서, 비디오 프로세서는 전처리 모듈(133)과 후처리 모듈(134) 각각에 대하여 영상 보상의 수행 여부 및 그 수행되는 영상 보상의 종류를 결정할 수 있다. 예를 들어, 단계 530에서 재깅(jagging) 현상과 같은 특정 패턴이 문제점으로 도출된 경우, 전저리 모듈(133)에서 해당 패턴을 보상하는 잡음을 포함시키는 방식으로, 전처리 모듈(133)과 후처리 모듈(134) 각각에 대해 영상 보상의 수행 여부 및 종류를 결정할 수 있게 된다.
일 실시예에서 영상공급장치(100)는 다양한 특성의 입력 영상에 대해 단계 510 내지 단계 540의 동작을 수행함으로써, 입력 영상의 특성에 따라 전처리 모듈(133)과 후처리 모듈(134) 각각에 대해 영상 보상의 수행 여부 및 종류를 결정할 수 있다.
도 6은 본 발명 일 실시예에 따른 영상공급장치에서 영상처리를 수행하는 과정을 도시한 흐름도이다.
도 6에 도시된 바와 같이, 영상공급장치(100)의 비디오 프로세서는 부호화 대상인 입력 영상을 분석한다(610). 영상공급장치(100)는 단계 610의 영상 분석 결과에 기초하여, 입력 영상의 특성(속성)을 식별하고, 식별된 특성에 따라 입력 영상에 대한 전처리 또는 후처리의 수행 여부 및 그 영상 보상의 종류를 결정할 수 있다. 즉, 후술하는 단계 620의 전처리와 단계 640의 후처리는 상기 결정 결과에 따라 둘 중 어느 하나의 단계만 수행되거나, 또는 둘 다 수행 가능하다.
여기서, 영상공급장치(100)는 영상의 프레임 단위, 블록 단위, 화소 단위 중 어느 하나를 기준으로 하여 전처리 또는 후처리의 수행 여부를 결정할 수 있다.
단계 610에서 전처리를 수행하도록 결정되면, 비디오 프로세서의 전처리 모듈(133)이 입력 영상에 대한 전처리 즉, 영상 보상을 수행한다(620). 여기서, 수행되는 영상 보상의 종류는 도 5의 단계 530에서 도출된 신경망 문제점, 예를 들면 재깅(jagging) 현상과 같은 특정 패턴에 대응하여, 해당 패턴을 보상하는 잡음(noise)을 생성하는 영상 보상을 수행할 수 있다.
영상공급장치(100)의 비디오 프로세서는 입력 영상에 대해 컨볼루션 신경망(132)의 처리를 수행한다(630). 여기서, 비디오 프로세서는, 컨볼루션 신경망(132)의 각 레이어를 구성하며 미리 수행된 학습에 기초한 값으로 파라미터가 설정된 필터를 이용하여 입력 영상을 압축 처리할 수 있다.
만일, 단계 610에서 전처리를 수행하도록 결정된 경우, 비디오 프로세서는 단계 620에서 전처리가 수행된 입력 영상에 대해 컨볼루션 신경망(132)의 처리를 수행할 수 있다. 단계 610에서 전처리를 수행하지 않도록 결정된 경우, 비디오 프로세서는 단계 610의 분석 대상인 입력 영상에 대해 컨볼루션 신경망(132)의 처리를 수행할 수 있다.
단계 610에서 후처리를 수행하도록 결정되면, 비디오 프로세서의 후처리 모듈(134)이 단계 630의 컨볼루션 신경망(132)으로부터 출력된 영상에 대한 후처리 즉, 영상 보상을 수행한다(640). 여기서, 수행되는 영상 보상의 종류는 도 5의 단계 530에서 도출된 신경망 문제점, 예를 들면 압축된 영상이 복원되는 과정에서 발생될 수 있는 컨투어 아티펙트(contour artifact)를 사전에 방지하기 위한 잡음(noise)을 생성하는 영상 보상을 수행할 수 있다.
그리고, 비디오 프로세서의 부호화 모듈(131)이 입력 영상을 부호화하여 비디오 스트림을 출력한다(650).
만일, 단계 610에서 후처리를 수행하도록 결정된 경우, 비디오 프로세서는 단계 640에서 후처리가 수행된 입력 영상을 부호화할 수 있다. 단계 610에서 후처리를 수행하지 않도록 결정된 경우, 비디오 프로세서는 단계 630에서 컨볼루션 신경망(132)에서 압축 처리된 입력 영상을 부호화할 수 있다.
상기와 같이 본 발명 실시예에 따른 영상공급장치(100)는 미리 수행된 학습에 기초하여 설정된 파라미터로 동작하는 컨볼루션 신경망(132)의 압축 처리 과정에서 발생할 수 있는 문제점을 학습에 의해 도출하고, 도출된 문제점을 컨볼루션 신경망(132)의 전처리 또는 후처리 중 적어도 하나에 의해 보상한다. 그에 따라, 온디바이스 환경의 리소스 제약으로 인해 충분한 채널 및 레이어가 확보되지 않은 신경망 구조에서도, 성능 저하 없이 고품질의 영상을 제공할 수 있게 된다.
도 7은 본 발명 일 실시예에 따른 디스플레이장치에서 복호화용 신경망의 문제점을 도출하는 과정을 도시한 흐름도이다.
도 7에 도시된 바와 같이, 디스플레이장치(200)의 비디오 프로세서(230)는 소정 개수의 채널 및 레이어로 구성된 복호화용 신경망 즉, 컨볼루션 신경망(232)에 대한 학습으로서 트레이닝(training)을 수행한다(710). 디스플레이장치(200)는 단계 710의 학습을 통해 복호화용 신경망(232)의 동작을 위한 파라미터들을 결정할 수 있다.
디스플레이장치(200)의 비디오 프로세서는 단계 710의 학습에 기초하여, 소정 입력 영상에 대한 복호화용 신경망(232)의 출력 성능을 평가한다(720). 여기서, 출력 평가에는 단계 710의 학습에 사용되지 않은 영상이 입력 영상으로서 사용될 수 있다.
디스플레이장치(200)는 단계 720의 평가 결과에 따라 복호화용 신경망(232)의 구성을 조정한 뒤, 단계 710의 학습을 다시 수행하고, 그에 따라 단계 720의 출력성능을 평가를 다시 수행한다.
디스플레이장치(200)의 비디오 프로세서(230)는 이러한 반복적인 추론 과정을 통해 복호화용 신경망(232)의 구성을 조정하여 학습 및 평가하는 단계 710 및 720을 반복적으로 수행함으로써, 컨볼루션 신경망(232)의 최종 구성을 결정한다. 그리고, 최종적으로 구성된 복호화용 신경망(232)의 출력성능을 최종적으로 평가하게 된다.
디스플레이장치(200)는 상기와 같이 수행된 최종 평가 결과에 기초하여 복호화용 신경망(232)의 문제점을 도출한다(730). 여기서, 도출되는 문제점은 예를 들면, 영상 내 라인(line)에 대한 재깅 현상과 같은 특정 영상 패턴으로서 도출될 수 있다.
그리고, 단계 730에서 도출된 문제점에 대응하여 디스플레이장치(200)가 비디오 프로세서(230)의 전처리 모듈(233) 또는 후처리 모듈(234) 중 적어도 하나에서 영상 보상을 수행하도록 결정된다(740). 다시 말해, 비디오 프로세서(230)가 입력 영상에 대해 전처리 또는 후처리 중 적어도 하나를 수행하도록 결정된다.
여기서, 비디오 프로세서(230)는 전처리 모듈(233)과 후처리 모듈(234) 각각에 대하여 영상 보상의 수행 여부 및 그 수행되는 영상 보상의 종류를 결정할 수 있다. 예를 들어, 단계 730에서 재깅(jagging) 현상과 같은 특정 패턴이 문제점으로 도출된 경우, 전저리 모듈(233)에서 해당 패턴을 보상하는 잡음을 포함시키는 방식으로, 전처리 모듈(233)과 후처리 모듈(234) 각각에 대해 영상 보상의 수행 여부 및 종류를 결정할 수 있게 된다.
일 실시예에서 디스플레이장치(200)는 다양한 특성의 입력 영상에 대해 단계 710 내지 단계 740의 동작을 수행함으로써, 입력 영상의 특성에 따라 전처리 모듈(233)과 후처리 모듈(234) 각각에 대해 영상 보상의 수행 여부 및 종류를 결정할 수 있다.
도 8은 본 발명 일 실시예에 따른 디스플레이장치에서 영상처리를 수행하는 과정을 도시한 흐름도이다.
도 8에 도시된 바와 같이, 디스플레이장치(200)의 비디오 프로세서(230)의 복호화 모듈(231)은 영상공급장치(100)로부터 수신한 비디오 스트림을 복호화한다(810).
비디오 프로세서(230)는 단계 810에서 복호화된 입력 영상을 분석한다(820). 디스플레이장치(200)는 단계 820의 영상 분석 결과에 기초하여, 입력 영상의 특성(속성)을 식별하고, 식별된 특성에 따라 입력 영상에 대한 전처리 또는 후처리의 수행 여부 및 그 영상 보상의 종류를 결정할 수 있다. 즉, 후술하는 단계 830의 전처리와 단계 850의 후처리는 상기 결정 결과에 따라 둘 중 어느 하나의 단계만 수행되거나, 또는 둘 다 수행 가능하다.
여기서, 디스플레이장치(200)는 영상의 프레임 단위, 블록 단위, 화소 단위 중 어느 하나를 기준으로 하여 전처리 또는 후처리의 수행 여부를 결정할 수 있다.
단계 820에서 전처리를 수행하도록 결정되면, 비디오 프로세서(230)의 전처리 모듈(233)이 입력 영상에 대한 전처리 즉, 영상 보상을 수행한다(830). 여기서, 수행되는 영상 보상의 종류는 도 7의 단계 730에서 도출된 신경망 문제점, 예를 들면 재깅(jagging) 현상과 같은 특정 패턴에 대응하여, 해당 재깅을 제거하는 디재깅(dejagging)을 수행하는 영상 보상을 수행할 수 있다.
디스플레이장치(200)의 비디오 프로세서(230)는 입력 영상에 대해 컨볼루션 신경망(232)의 처리를 수행한다(840). 여기서, 비디오 프로세서(230)는, 컨볼루션 신경망(232)의 각 레이어를 구성하며 미리 수행된 학습에 기초한 값으로 파라미터가 설정된 필터를 이용하여 입력 영상을 압축 해제할 수 있다.
만일, 단계 820에서 전처리를 수행하도록 결정된 경우, 비디오 프로세서(230)는 단계 830에서 전처리가 수행된 입력 영상에 대해 컨볼루션 신경망(232)의 처리를 수행할 수 있다. 단계 810에서 전처리를 수행하지 않도록 결정된 경우, 비디오 프로세서는 단계 820의 분석 대상인 입력 영상에 대해 컨볼루션 신경망(232)의 처리를 수행할 수 있다.
단계 820에서 후처리를 수행하도록 결정되면, 비디오 프로세서(230)의 후처리 모듈(234)이 단계 830의 컨볼루션 신경망(232)으로부터 출력된 영상에 대한 후처리 즉, 영상 보상을 수행한다(850). 여기서, 수행되는 영상 보상의 종류는 도 7의 단계 730에서 도출된 신경망 문제점, 예를 들면 압축된 영상이 복원되는 과정에서 발생되는 컨투어 아티펙트(contour artifact)를 제거하는 디컨투어링(decontouring)으로서 영상 보상을 수행할 수 있다. 그리고, 상기와 같은 과정들을 통해 복호화, 압축해제 및 영상보상이 이루어진 영상이 디스플레이(240)에 표시된다.
단계 820에서 후처리를 수행하지 않도록 결정되면, 비디오 프로세서(230)는 단계 840에서 압축해제된 영상이 디스플레이(240)에 표시되도록 처리하게 된다.
상기와 같이 본 발명 실시예에 따른 디스플레이장치(200)는 미리 수행된 학습에 기초하여 설정된 파라미터로 동작하는 컨볼루션 신경망(232)의 압축 해제 과정에서 발생할 수 있는 문제점을 학습에 의해 도출하고, 도출된 문제점을 컨볼루션 신경망(232)의 전처리 또는 후처리 중 적어도 하나에 의해 보상한다. 그에 따라, 온디바이스 환경의 리소스 제약으로 인해 충분한 채널 및 레이어가 확보되지 않은 신경망 구조에서도, 성능 저하 없이 고품질의 영상을 디스플레이할 수 있게 된다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
100 : 영상공급장치 131 : 부호화 모듈
132 : 컨볼루션 신경망 133 : 전처리 모듈
134 : 후처리 모듈 200 : 디스플레이장치
230 : 비디오 프로세서 231 : 복호화 모듈
232 : 컨볼루션 신경망 233 : 전처리 모듈
234 : 후처리 모듈

Claims (20)

  1. 디스플레이장치에 있어서,
    디스플레이;
    부호화된 비디오 스트림에 대한 복호화를 수행하고,
    복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 상기 비디오 스트림에 대하여 압축해제를 수행하고,
    상기 비디오 스트림에 대하여 상기 압축해제에 관한 학습에 기초하여 정해진 영상보상을 수행하는 프로세서를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 압축해제의 전처리 또는 후처리 중 적어도 하나로서 상기 영상보상을 수행하는 디스플레이장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 비디오 스트림이 복호화된 영상의 특성을 식별하고, 상기 식별된 특성에 기초하여 상기 영상에 대한 상기 전처리 또는 상기 후처리 각각의 수행 여부를 결정하는 디스플레이장치.
  4. 제2항에 있어서,
    상기 프로세서는, 상기 비디오 스트림으로부터 상기 전처리 또는 상기 후처리 각각의 수행 여부를 나타내는 플래그를 식별하고, 상기 식별에 기초하여 상기 영상에 대한 상기 전처리 또는 상기 후처리 각각의 수행 여부를 결정하는 디스플레이장치.
  5. 제2항에 있어서,
    상기 프로세서는, 영상의 프레임 단위, 블록 단위, 화소 단위 중 어느 하나를 기준으로 하여 전처리 또는 후처리의 수행 여부를 결정하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 영상보상은 디재깅(dejagging), 디컨투어링(decontouring) 또는 디블러링(deblurring) 중 적어도 하나를 포함하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 프로세서는, 상기 신경망에 대한 학습에 기초하여 상기 신경망의 출력 성능의 평가를 수행하고, 상기 평가 결과에 기초하여 상기 신경망의 구성을 조정하여, 상기 영상보상을 수행하도록 하는 디스플레이장치.
  8. 영상공급장치에 있어서,
    복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 입력 영상에 대해 압축 처리를 수행하고,
    상기 입력 영상에 대하여 상기 압축 처리에 관한 학습에 기초하여 정해진 영상보상을 수행하고,
    상기 입력 영상을 부호화하여 비디오 스트림을 생성하는 프로세서; 및
    상기 부호화된 비디오 스트림을 외부로 출력하는 출력부를 포함하는 영상공급장치.
  9. 제8항에 있어서,
    상기 프로세서는, 상기 압축 처리의 전처리 또는 후처리 중 적어도 하나로서 상기 영상보상을 수행하는 영상공급장치.
  10. 제8항에 있어서,
    상기 출력되는 비디오 스트림은 디스플레이장치에서 상기 비디오 스트림을 복호화 시 영상보상을 위한 전처리 또는 후처리 각각의 수행 여부를 나타내는 플래그를 포함하는 영상공급장치.
  11. 제8항에 있어서,
    상기 영상보상은 재깅(jagging), 컨투어링(contouring) 또는 블러링(blurring) 중 적어도 하나를 보상하기 위한 잡음 생성을 포함하는 영상공급장치.
  12. 제8항에 있어서,
    상기 프로세서는,
    상기 신경망에 대한 학습에 기초하여 상기 신경망의 출력 성능의 평가를 수행하고, 상기 평가 결과에 기초하여 상기 신경망의 구성을 조정하여, 상기 영상보상을 수행하도록 하는 영상공급장치.
  13. 디스플레이장치를 제어하는 방법에 있어서,
    부호화된 비디오 스트림에 대한 복호화를 수행하는 단계;
    복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 상기 비디오 스트림에 대하여 압축해제를 수행하는 단계; 및
    상기 비디오 스트림에 대하여 상기 압축해제에 관한 학습에 기초하여 정해진 영상보상을 수행하는 단계를 포함하는 방법.
  14. 제13항에 있어서,
    상기 영상보상을 수행하는 단계는, 상기 압축해제의 전처리 또는 후처리 중 적어도 하나로서 상기 영상보상을 수행하는 방법.
  15. 제14항에 있어서,
    상기 비디오 스트림이 복호화된 영상의 특성을 식별하는 단계; 및
    상기 식별된 특성에 기초하여 상기 영상에 대한 상기 전처리 또는 상기 후처리 각각의 수행 여부를 결정하는 단계를 더 포함하는 방법.
  16. 제14항에 있어서,
    상기 비디오 스트림으로부터 상기 전처리 또는 상기 후처리 각각의 수행 여부를 나타내는 플래그를 식별하는 단계; 및
    상기 식별에 기초하여 상기 영상에 대한 상기 전처리 또는 상기 후처리 각각의 수행 여부를 결정하는 단계를 더 포함하는 방법.
  17. 제13항에 있어서,
    상기 영상보상은 디재깅(dejagging), 디컨투어링(decontouring) 또는 디블러링(deblurring) 중 적어도 하나를 포함하는 방법.
  18. 영상공급장치를 제어하는 방법에 있어서,
    복수의 채널 및 복수의 레이어의 신경망으로 구성되어, 학습에 기초하여 정해진 파라미터에 따라 입력 영상에 대해 압축 처리를 수행하는 단계;
    상기 입력 영상에 대하여 상기 압축 처리에 관한 학습에 기초하여 정해진 영상보상을 수행하는 단계;
    상기 입력 영상을 부호화하여 비디오 스트림을 생성하는 단계; 및
    상기 부호화된 비디오 스트림을 외부로 출력하는 단계를 포함하는 방법.
  19. 제18항에 있어서,
    상기 영상보상을 수행하는 단계는, 상기 압축 처리의 전처리 또는 후처리 중 적어도 하나로서 상기 영상보상을 수행하는 방법.
  20. 제18항에 있어서,
    상기 영상보상을 수행하는 단계는, 재깅(jagging), 컨투어링(contouring) 또는 블러링(blurring) 중 적어도 하나를 보상하기 위한 잡음을 생성하는 단계를 포함하는 방법.
KR1020190000518A 2019-01-03 2019-01-03 디스플레이장치, 영상공급장치, 및 그 제어방법 KR20200084516A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190000518A KR20200084516A (ko) 2019-01-03 2019-01-03 디스플레이장치, 영상공급장치, 및 그 제어방법
PCT/KR2019/018612 WO2020141814A1 (en) 2019-01-03 2019-12-27 Display apparatus, image providing apparatus, and methods of controlling the same
US16/730,291 US11308650B2 (en) 2019-01-03 2019-12-30 Display apparatus, image providing apparatus, and methods of controlling the same
EP20150014.7A EP3678375A3 (en) 2019-01-03 2020-01-02 Display apparatus, image providing apparatus, and methods of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190000518A KR20200084516A (ko) 2019-01-03 2019-01-03 디스플레이장치, 영상공급장치, 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20200084516A true KR20200084516A (ko) 2020-07-13

Family

ID=69104267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190000518A KR20200084516A (ko) 2019-01-03 2019-01-03 디스플레이장치, 영상공급장치, 및 그 제어방법

Country Status (4)

Country Link
US (1) US11308650B2 (ko)
EP (1) EP3678375A3 (ko)
KR (1) KR20200084516A (ko)
WO (1) WO2020141814A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430431B (zh) * 2019-06-25 2021-10-22 浙江大华技术股份有限公司 视频解码方法、芯片、装置、计算机设备和存储介质
US20210334629A1 (en) * 2020-04-25 2021-10-28 Nvidia Corporation Hybrid neural network architecture within cascading pipelines
US11570397B2 (en) * 2020-07-10 2023-01-31 Disney Enterprises, Inc. Deinterlacing via deep learning
WO2022145738A1 (en) * 2020-12-28 2022-07-07 Samsung Electronics Co., Ltd. Intelligent object tracing system utilizing 3d map reconstruction for virtual assistance
US20220358877A1 (en) * 2021-05-07 2022-11-10 Universal Display Corporation Adaptive Display
CN114363631B (zh) * 2021-12-09 2022-08-05 慧之安信息技术股份有限公司 一种基于深度学习的音视频处理方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214746A (en) * 1991-06-17 1993-05-25 Orincon Corporation Method and apparatus for training a neural network using evolutionary programming
US20080097942A1 (en) * 2004-07-26 2008-04-24 Koninklijke Philips Electronics, N.V. System and Method for Automated Suspicious Object Boundary Determination
US20100278231A1 (en) * 2009-05-04 2010-11-04 Imagine Communications Ltd. Post-decoder filtering
KR101615479B1 (ko) * 2014-09-30 2016-04-25 한국전자통신연구원 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법
US9811882B2 (en) 2014-09-30 2017-11-07 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
US9639920B2 (en) 2015-09-14 2017-05-02 Qualcomm Incorporated Dither directed LUT output value interpolation
KR20180100976A (ko) * 2017-03-03 2018-09-12 한국전자통신연구원 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치
US20180260695A1 (en) 2017-03-07 2018-09-13 Qualcomm Incorporated Neural network compression via weak supervision
KR102053242B1 (ko) * 2017-04-26 2019-12-06 강현인 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods

Also Published As

Publication number Publication date
WO2020141814A1 (en) 2020-07-09
EP3678375A3 (en) 2020-09-02
EP3678375A2 (en) 2020-07-08
US11308650B2 (en) 2022-04-19
US20200219291A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
US11308650B2 (en) Display apparatus, image providing apparatus, and methods of controlling the same
KR102622950B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
EP3839874B1 (en) Apparatus and method to compress an image
US11495037B2 (en) Artificial intelligence processor and method of performing neural network operation thereof
KR20190093722A (ko) 전자장치, 그 제어방법 및 컴퓨터프로그램제품
US20210398265A1 (en) Video quality assessment method and apparatus
CN108496199A (zh) 利用创作意图元数据的色调原版制作系统
US11960996B2 (en) Video quality assessment method and apparatus
US20170150165A1 (en) Decoding apparatus and decoding method thereof
US11373659B2 (en) Display apparatus and method of controlling the same
US11303958B2 (en) Display device and image display method of the same
CN114642002B (zh) 显示装置及其操作方法
US20240064189A1 (en) Systems and methods for quality of experience computation
US20230370622A1 (en) Learned video compression and connectors for multiple machine tasks
CN117097913A (zh) 视频编码方法、装置、设备及存储介质
CN116132737A (zh) 数据处理方法、直播方法及装置、电子设备、存储介质
CN117241054A (zh) 跨网直播系统、方法、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right