KR102072106B1 - 시청 환경을 반영한 화질 제어 장치 및 방법 - Google Patents

시청 환경을 반영한 화질 제어 장치 및 방법 Download PDF

Info

Publication number
KR102072106B1
KR102072106B1 KR1020180101797A KR20180101797A KR102072106B1 KR 102072106 B1 KR102072106 B1 KR 102072106B1 KR 1020180101797 A KR1020180101797 A KR 1020180101797A KR 20180101797 A KR20180101797 A KR 20180101797A KR 102072106 B1 KR102072106 B1 KR 102072106B1
Authority
KR
South Korea
Prior art keywords
image
profile
user terminal
viewing environment
information
Prior art date
Application number
KR1020180101797A
Other languages
English (en)
Inventor
나태영
배주한
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020180101797A priority Critical patent/KR102072106B1/ko
Application granted granted Critical
Publication of KR102072106B1 publication Critical patent/KR102072106B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

시청 환경을 반영한 화질 제어 장치 및 방법을 개시한다.
본 발명의 일 측면에 의하면, CNN(Convolutional Neural Network) 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 장치에 있어서, 이용자 단말기로부터 대상 영상에 대한 영상 서비스 요청을 받으면, 상기 이용자 단말기의 상기 시청 환경에 대한 정보를 획득하여, 상기 시청 환경을 하나 이상 조합하여 기설정된 복수의 프로파일 중 상기 이용자 단말기가 해당되는 프로파일을 결정하는 프로파일 결정부; 상기 프로파일 결정부에서 결정된 상기 프로파일에 할당되어 있는 기학습된 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용하여 선호 영상을 생성하는 추론부; 및 상기 선호 영상을 상기 이용자 단말기로 전송하는 통신부를 포함하는 것을 특징으로 하는 화질 제어 장치를 제공한다.

Description

시청 환경을 반영한 화질 제어 장치 및 방법{Method and Apparatus for Controlling Image Quality based on User Environment}
본 실시예는 시청 환경을 반영한 화질 제어 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
종래의 디스플레이 장치의 경우, 디바이스에 장착된 조도 센서와 RGB 센서를 통해 조도와 컬러 환경을 분석하여 분석된 인자들에 수학 모델을 적용함으로써 사용자 환경에 적절한 디바이스의 밝기 및 출력 컬러를 자동으로 제어하고 있다. 또한, 주변 환경과 가장 유사한 컬러 영역으로 RGB 표현을 함으로써 디바이스 사용자의 시청 피로도를 저감시키고 자연스러운 색을 표현하도록 제어하고 있다. 예컨대, 야간에 디바이스를 시청하는 경우에는 도 1과 같이 전체적인 화면 컬러를 따뜻한 영역(보통 붉은 색 계열) 위주로 출력되도록 한다.
하지만, 이러한 종래기술은 단순히 주변 밝기만을 고려하여 디바이스 화면을 제어하는 것이므로 다양한 시청 환경에 따른 고품질의 영상을 제공하기에는 한계가 존재한다. 따라서 영상 서비스의 경우 영상의 제작자가 의도하는 바와 무관하게 저품질의 영상이 시청자에게 제공됨에 따라 시청자로 하여금 영상에 대한 몰입감과 현장감을 감소시킬 수 있다. 즉, 이용자의 시청 환경에 따라 선호하는 화질이 달라질 것인데, 이용자의 시청 환경은 단순히 디바이스 환경의 밝기뿐만 아니라 이용자의 위치, 연령, 날씨, 컨텐츠 장르, 및 인코딩 품질 등 다양하므로 이용자에게 만족스러운 영상 서비스를 제공하기 위해서는 이러한 모든 시청 환경을 고려한 화질 제어의 필요성이 존재한다.
한편, 딥 러닝이란 기계 학습의 한 분야로, 다수의 레이어로 연결된 비선형 변환 기법들의 조합을 통해 다량의 데이터들 사이의 핵심적인 구조를 학습하는 방법들의 집합을 의미한다. 기계 학습은 학습시키는 방식에 따라 크게 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 그리고 강화 학습(Reinforcement Learning)으로 분류될 수 있다. 이 중에서 지도 학습은 학습하는 데이터에 대한 명시적인 정답인 레이블(Label)이 주어진 상태에서 학습을 수행하는 방법을 일컫는다.
지도 학습 중 대표적인 기법은 인간 뇌의 동작 구조를 공학적으로 모델링한 인공 신경망(Neural Network, 이하 'NN'이라 칭함)이다. NN을 여러 레이어(계층)로 깊이 쌓은 구조를 심층 신경망(Deep Neural Network)이라 지칭한다. 일반적으로 NN은 각 레이어의 모든 노드가 완전 연결된 구조를 가지고 있으며, 이를 영상 처리에 적합하도록 컨볼루션 커널들로 연결된 구조를 컨볼루션 신경망(Convolutional Neural Network, 이하 'CNN'이라 칭함)이라 지칭한다.
도 2는 영상 개선을 위한 CNN 구조를 나타낸 도면이다.
도 2를 참조하면, CNN은 입력 레이어(210), 출력 레이어(220)와 컨볼루션 레이어(230)를 포함한다. 컨볼루션 레이어(230)는 다수의 레이어(232, 234, 236, 238, 240)로 구성될 수 있다. 모든 컨볼루션 레이어를 기반으로 확률 분포 모델이 구성될 수 있다.
CNN은 크게 학습 과정과 추론 과정으로 구분된다. 학습 과정에서 입력 레이어에는 화질 개선 대상 영상 즉, 이미지가 데이터로 입력된다. 각 컨볼루션 레이어의 컨볼루션 커널 계수들은 학습 전에 초기화되며, 오류 역전파(Error Backpropagation) 알고리즘에 의해 출력 레이어의 데이터인 이미지와 출력 레이어의 레이블 즉, 원본 화질의 이미지 사이의 에러가 최소가 되도록 학습된다. 출력 레이어의 정확도는 학습 과정 중 입/출력 레이어, 컨볼루션 레이어 설계, 및/또는 오류 역전파 알고리즘 등에 의해 달라질 수 있다.
이후 추론 과정에서는 다수의 학습 과정을 통해 산출된 컨볼루션 커널 계수를 적용하여 화질 개선 대상 이미지로부터 화질 개선된 이미지를 추론할 수 있다.
본 실시예는, 시청자의 시청 환경 정보를 활용하여 그 환경에 맞도록 실시간으로 화질을 변경하여 제공함으로써 시청자로 하여금 항시 고품질의 영상을 시청 가능토록 하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, CNN(Convolutional Neural Network) 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 장치에 있어서, 이용자 단말기로부터 대상 영상에 대한 영상 서비스 요청을 받으면, 상기 이용자 단말기의 상기 시청 환경에 대한 정보를 획득하여, 상기 시청 환경을 하나 이상 조합하여 기설정된 복수의 프로파일 중 상기 이용자 단말기가 해당되는 프로파일을 결정하는 프로파일 결정부; 상기 프로파일 결정부에서 결정된 상기 프로파일에 할당되어 있는 기학습된 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용하여 선호 영상을 생성하는 추론부; 및 상기 선호 영상을 상기 이용자 단말기로 전송하는 통신부를 포함하는 것을 특징으로 하는 화질 제어 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 하나 이상의 CNN(Convolutional Neural Network) 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 방법에 있어서, 이용자 단말기로부터 대상 영상에 대한 영상 서비스 요청을 받으면, 상기 이용자 단말기의 상기 시청 환경에 대한 정보를 획득하는 단계; 획득된 상기 시청 환경에 대한 정보를 분석하여, 상기 시청 환경을 하나 이상 조합하여 기설정된 복수의 프로파일 중 상기 이용자 단말기가 해당되는 프로파일을 결정하는 단계; 결정된 상기 프로파일에 할당되어 있는 기학습된 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용하여 선호 영상을 생성하는 단계; 및 상기 선호 영상을 상기 이용자 단말기로 전송하는 단계를 포함하는 것을 특징으로 하는 화질 제어 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 시청자의 시청 환경 정보를 활용하여 그 환경에 적합하도록 실시간으로 화질을 변경하여 제공함으로써 시청자에게 항시 고품질의 영상을 제공할 수 있다는 효과가 있다. 또한, 시청자의 다양한 환경 정보를 적용한 선호 영상을 추론할 때 딥 러닝 기법을 이용함으로써, 시청자의 다양한 시청 환경을 가장 손쉽게 반영할 수 있는 솔루션을 제공한다는 효과가 있다.
도 1은 종래의 주간 또는 야간에 디바이스를 시청하는 경우의 화면 출력을 대비하기 위한 도면,
도 2는 영상 개선을 위한 CNN 구조를 나타낸 도면,
도 3은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도를 나타낸 도면,
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도를 나타낸 도면,
도 3은 본 실시예에 따른 CNN 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 장치(300)를 개략적으로 나타낸 블록 구성도,
도 4는 정답 영상 설정부(310)에서 화질을 보정하여 생성한 복수의 후보 영상들의 예를 나타낸 도면,
도 5는 본 실시예의 시청 환경별 프로파일의 일예를 나타낸 도면,
도 6은 본 실시예의 시청 환경별 프로파일을 만들기 위한 시청 환경의 조합예를 나타내는 도면,
도 7은 본 실시예에 따른 프로파일별 CNN의 구조를 나타낸 도면,
도 8은 본 실시예에 따른 추론 과정을 개략적으로 설명하기 위한 도면,
도 9는 대상 영상에 힌트 정보를 반영하는 과정을 개략적으로 설명하기 위한 도면,
도 10은 힌트 정보의 일예를 나타낸 도면,
도 11은 대상 영상에 힌트 정보를 반영하는 과정을 개략적으로 설명하기 위한 도면,
도 12 및 도 13은 본 실시예에 따른 화질 제어 장치와 기존의 트랜스코더의 연결 구성을 개략적으로 나타내기 위한 도면,
도 14는 본 실시예에 따른 CNN 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 방법을 전반적으로 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서는 CNN 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 장치 및 방법에 대해 상세히 설명한다.
도 3은 본 실시예에 따른 CNN 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 장치(300)를 개략적으로 나타낸 블록 구성도이다.
도 3에 도시된 바와 같이, 본 실시예에 따른 CNN 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 장치(300)는 정답 영상 설정부(310), 학습부(320), 프로파일 결정부(330), 추론부(340), 및 통신부(350) 등을 포함할 수 있다.
본 실시예에 따른 정답 영상 설정부(310)는 원본 영상의 화질이 보정된 정답 영상을, 시청 환경을 하나 이상 조합하여 기설정된 프로파일별로 설정한다. 이를 위해 우선 정답 영상 설정부(310)에서는 컨텐츠 프로바이더(CP)로부터 제공받은 원본 영상에 명도, 대비, 선명도, 및 채도 중 하나 이상을 일정한 비율로 증감하는 형태로 화질을 보정시킨 복수의 후보 영상들을 생성한다.
도 4는 정답 영상 설정부(310)에서 화질을 보정하여 생성한 복수의 후보 영상들의 예를 나타낸다. 즉 도 4에 도시된 바와 같이, 본 실시예의 정답 영상 설정부(310)에서는 컨텐츠 프로바이더가 제공한 원본 영상(400)에 명도, 대비, 선명도, 및 채도 등을 증감시켜 다양한 조합의 후보 영상들(410, 420, 및 430)을 생성한다.
또한, 다른 일부 실시예에 따르면, 정답 영상 설정부(310)에서는 컨텐츠 프로바이더가 제공한 원본 영상에 Retinex 알고리즘 또는 HDR 변환과 같은 복잡한 컬러 시인성 향상 알고리즘을 적용하여 후보 영상을 생성할 수도 있다.
정답 영상 설정부(310)는 상기와 같은 방법으로 생성된 후보 영상들 중에서 각각의 시청 환경별로 가장 적합한 영상을 정답 영상으로 설정한다.
본 실시예의 시청 환경은 날씨, 시간, 장소, 연령, 성별, 영상 컨텐츠의 종류, 및 영상 컨텐츠의 인코딩 품질 등이 될 수 있으나 이에 한정되는 것은 아니다. 본 실시예에서는 이러한 시청 환경 중 동일한 화질 처리가 필요한 상황을 고려하여 이들 중 하나 이상을 조합함으로써 CNN을 위한 시청 환경별 프로파일을 생성한다.
도 5는 본 실시예의 시청 환경별 프로파일의 일예를 나타낸 도면이다. 도 5에 도시된 바와 같이, 장소 시청 환경을 실외 및 실내의 두 영역으로 나누고, 실외 환경의 경우 시간 시청 환경을 주간/야간으로 나눈 후, 주간 환경의 경우 날씨 시청 환경을 맑은 날/흐린 날로 나눠 결국 실외 환경으로써 세 개의 프로파일이 생성될 수 있다. 또한, 실내 환경의 경우는 장소 시청 환경을 다시 차량과 지하철로 재구분하고, 차량 환경의 경우 시간 시청 환경을 주간/야간으로 나누는 형식으로 프로파일을 생성할 수 있다. 또한, 실내 차량의 경우는 다시 컨텐츠의 종류로 환경을 나눌 수 있는데, 이를 내비게이션 이용 환경과 동영상 컨텐츠 이용 환경으로 나눠 결국, 실내 환경으로써 네 개의 프로파일이 생성되어 총 일곱 개의 프로파일이 생성될 수 있다.
정답 영상 설정부(310)는 이러한 일곱 개의 프로파일 각각에 정답 영상을 설정한다. 예를 들어, 프로파일 1(실외+맑은 날+주간)의 경우는 주광인 태양빛에 의해 영상의 밝기(컬러) 및 채도가 향상되므로 대비가 선명한 영상을 선호할 수 있고, 프로파일 2(실외+흐린 날+주간)의 경우는 태양빛의 영향이 제한적이기 때문에 지나치게 밝은 영상은 눈부심을 초래할 수 있으므로 지양해야 하며, 프로파일 3(실외+야간)의 경우는 태양빛이 없기 때문에 밝기가 낮고 채도는 높은 영상을 선호할 수 있다. 또한, 야간이기 때문에 시청자 시력 보호 및 수면 장애 방지를 위한 블루 컬러 필터를 적용할 수 있다. 한편, 프로파일 4(실내+차량+주간+내비게이션 이용)의 경우는 시인성이 가장 중요하며, 프로파일 5(실내+차량+주간+동영상 컨텐츠 이용)의 경우는 화질이 가장 중요할 수 있다. 또한, 프로파일 6(실내+차량+야간)의 경우는 태양빛의 영향이 제한적이기 때문에 지나치게 밝은 영상은 눈부심을 초래할 수 있으므로 지양해야 하며, 프로파일 7(실내+지하철)의 경우는 200-650lx 밝기로 비교적 균일한 백색광 환경에서 최적의 선호 화질을 도출할 수 있다.
본 실시예의 정답 영상 설정부(310)는 상기와 같이 기설정된 기준으로 정답 영상을 설정할 수도 있고, 원본 영상에 명도, 대비, 선명도, 및 채도 등을 증감시켜 생성한 다양한 조합의 후보 영상들에 대해 해당 시청 환경의 영상 서비스 이용자들에게 선호도 조사를 수행하여 정답 영상을 설정할 수도 있다.
도 6은 본 실시예의 시청 환경별 프로파일을 만들기 위한 시청 환경의 조합예를 나타내는 도면이다. 도 6에 나타낸 바와 같이 본 실시예에서는 다섯 개의 장소 환경(600), 두 개의 날씨 환경(610), 네 개의 연령 환경(620), 두 개의 성별 환경(630), 및 두 개의 시간 환경(640)을 조합한 5*2*4*2*2=160개의 프로파일이 생성될 수 있다. 이 외에도 화질 처리를 구분할 필요가 있는 상황이라면 이들을 조합하여 프로파일을 얼마든지 추가로 생성할 수 있다. 예컨대, 날씨 환경의 경우 도 6과 같이 두 가지(맑음, 흐림)로만 나누는 것에 한정되지 않고, 눈이 오는 경우 직사광선이 반사될 뿐 아니라 설맹 효과로 고명도/고대비 영상을 선호할 가능성이 크므로 이를 날씨 환경에 추가할 수 있다. 또한, 바다 위 환경의 경우 직사광선이 반사되어 눈부심 효과로 역시 고명도/고대비 영상을 선호할 가능성이 크므로 이를 장소 환경에 추가할 수 있다. 다만, 너무 많은 수의 프로파일이 형성되면 시스템이 복잡해질 수 있으므로 선호하는 화질 처리 영상에 대한 최선호 비율이 압도적인 경우에 한해 프로파일을 생성하는 것이 바람직하다.
본 실시예의 학습부(320)는 정답 영상 설정부(310)에서 생성된 정답 영상을 이용하여 전술한 바와 같이 기설정된 프로파일별로 CNN 기반의 필터의 계수(Coefficient)를 학습하여 획득한다.
도 7은 본 실시예에 따른 프로파일별 CNN의 구조를 나타낸 도면이다. 도 7에 도시된 바와 같이 본 실시예의 학습부(320)에서는 기설정된 프로파일별로 구성된 N 개의 CNN 및 프로파일별 정답 영상들로 구성된 N 개의 정답 영상 DB(700, 710 ... 720)를 이용하여 각 프로파일별로 정답 영상을 도출하도록 N 개의 CNN 기반의 필터의 계수 즉, 컨볼루션 커널의 계수가 학습된다.
본 실시예에 따른 프로파일 결정부(330)는 이용자 단말기로부터 대상 영상에 대한 영상 서비스 요청을 받으면, 이용자 단말기의 현재 시청 환경에 대한 정보를 획득하여 전술한 바와 같이 기설정된 프로파일 중 해당 이용자 단말기가 해당되는 프로파일을 결정한다.
본 실시예에 따른 추론부(340)에서는 프로파일 결정부(330)에서 결정된 프로파일에 할당된 CNN 기반의 필터의 계수를 이용자 단말기로부터 요청받은 대상 영상에 적용하여 선호 영상을 생성한다.
도 8은 본 실시예에 따른 추론 과정을 개략적으로 설명하기 위한 도면이다. 도 8에 도시된 바와 같이 프로파일 1에 해당되는 시청 환경은 "실외+맑은 날+주간"이다. 즉, 맑은 날씨의 주간에 실외에 있는 이용자 단말기로부터 영상 서비스 요청을 받으면 본 실시예에 따른 프로파일 결정부(330)에서는 "실외+맑은 날+주간"에 해당되는 프로파일 1 정보를 추론부(340)로 전송하고, 추론부에서는 프로파일 1에 해당하는 CNN 기반의 필터의 계수와 그에 해당하는 CNN 필터 마스크 사이즈를 대상 영상에 적용하여 선호 영상을 생성하게 된다. 이때 대상 영상은 컨텐츠 프로바이더가 제공한 영상 컨텐츠 비트스트림이거나 일반 이용자가 제공하는 UGC(User Generated Contents) 등이 될 수 있으나 이에 한정되는 것은 아니다.
한편, CNN 기법의 정확도를 높이기 위한 방법으로, 입력과 출력 간에 선형적인 변화를 초래하는 환경 정보의 경우 이를 힌트 정보로 활용할 수 있다. 예를 들어 연령 정보의 경우, 청년에서 노년으로 갈수록 대비가 너무 뚜렷하거나 채도가 높은 영상에 대한 우호도는 점차 선형적으로 떨어지므로, 연령 정보의 경우는 별도의 프로파일로 만들지 않고 단순히 힌트 정보로 구성하여 반영할 수 있다.
도 9 및 도 11은 대상 영상에 힌트 정보를 반영하는 과정을 개략적으로 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 본 실시예에서는 대상 영상(900)에 힌트 정보(910)를 미리 반영한 후, CNN 기반의 필터의 계수를 해당 힌트 정보(910)가 반영된 대상 영상에 적용하여 선호 영상(920)을 추론할 수 있다. 힌트 정보(910)는 시청 환경에 대한 정보 중 수치화할 수 있는 정보를 활용하는 것이므로, 힌트 정보를 대상 영상에 반영한다 함은 도 10에 도시된 바와 같이 힌트 정보인 양자화 파라미터 값(1000), 나이(1010), 및 성별(1020) 등에 대한 환경 정보를 수치화하여 대상 영상의 영상 화소 값(1030)에 곱하는 것이다.
한편, 도 11에 도시된 바와 같이, 다른 일부 실시예에서는 CNN 기반의 필터의 계수를 대상 영상(1100)에 적용한 후 힌트 정보(1110)를 추가로 반영하여 선호 영상(1120)을 추론할 수 있다.
여기서 힌트 정보는 시청 환경에 대한 정보 중 수치화할 수 있는 정보가 될 수 있는데, 예컨대 나이, 성별, 트랜스코딩시 확보할 수 있는 양자화 파라미터(QP), 영상에 사용된 코덱 종류, 및 파일 크기, 또는 UGC(User Generated Contents)의 경우 Up-link Bandwidth 크기 등이 될 수 있다. 또한, 이러한 힌트들 간의 곱셉 연산 등을 통해서 독자적인 힌트 정보를 생성할 수도 있다.
본 실시예에 따른 통신부(350)에서는 추론부(340)에서 생성된 선호 영상을 이용자 단말기로 전송하여 시청 환경별로 화질이 제어된 영상 서비스를 제공할 수 있게 된다.
한편, 본 실시예에서는 선호 영상을 전송하는 시점이 야간인 경우, 이용자의 눈 피로도를 경감시키기 위해 전술한 방법으로 생성된 선호 영상에 블루 라이트 필터(Blue Light Filter) 처리를 추가로 적용할 수 있다.
도 12 및 도 13은 본 실시예에 따른 화질 제어 장치와 기존의 트랜스코더의 연결 구성을 개략적으로 나타내기 위한 도면이다.
도 12에 도시된 바와 같이 본 실시예의 CNN 기반의 필터는 트랜스코더(1200) 후단에 연결될 수 있다. 즉, 도 12의 구성은 종래 구축되어 있는 시스템의 트랜스코더(1200) 후단에 본 실시예의 화질 제어 장치(300)를 추가로 구성하는 것이므로 프로파일을 추가하고 삭제하는 것이 매우 용이하다는 장점이 있다. 다만, 본 구성은 프로파일을 추가할 때마다 디코더와 인코더를 프로파일마다 추가로 장착해야 한다.
또한, 도 12와 같이 본 실시예의 CNN 기반의 필터를 트랜스코더(120)의 외부에 구성하게 되면 CNN 기반의 필터가 다중 입출력 인터페이스를 지원하는 것이 가능하게 되므로 타 채널의 트랜스코더로부터의 출력 영상도 동시에 처리할 수 있게 된다. 이에 따라 프로파일 하나당 다수의 채널로부터의 영상을 처리할 수 있게 되므로 비용이 절감된다는 장점이 있다.
한편, 도 13에 도시된 바와 같이 본 실시예의 CNN 기반의 필터는 트랜스코더(1300) 내부에 포함되도록 구성할 수 있다. 즉, 도 13의 구성은 종래 구축되어 있는 시스템의 트랜스코더(1300) 내부에 본 실시예의 화질 제어 장치를 구현하는 것으로, 기존의 시스템에 추가로 구현하는 것이므로 프로파일별로 디코더를 추가할 필요가 없어지므로 장비화가 용이하다는 장점이 있다.
도 14는 본 실시예에 따른 CNN 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 방법을 전반적으로 설명하기 위한 순서도이다.
본 실시예에 따른 화질 제어 장치(300)의 통신부(350)에서는 이용자 단말기로부터 대상 영상에 대한 영상 서비스 요청을 수신한다(S1400). 영상 서비스 요청을 수신할 때 통신부(350)에서는 요청한 이용자 단말기의 시청 환경에 대한 정보를 획득하여 프로파일 결정부(330)로 송신한다(S1410).
이러한 시청 환경 정보를 수신한 프로파일 결정부(330)에서는 획득된 시청 환경에 대한 정보를 분석하여, 시청 환경을 하나 이상 조합하여 기설정되어 있는 복수의 프로파일 중 해당 이용자 단말기가 해당되는 프로파일을 결정한다(S1420). 프로파일 결정부(330)는 결정된 프로파일을 추론부(340)로 전송하고, 추론부(340)에서는 결정된 프로파일에 할당된 CNN 기반의 필터의 계수를 대상 영상에 적용하여 선호 영상을 생성한다(S1430). 이때 CNN 기반의 필터의 계수는, 전술한 바와 같이 원본 영상에 대하여 시청 환경을 조합하여 기설정된 복수의 프로파일별로 화질을 보정한 정답 영상을 이용하여 프로파일별로 학습되어 기설정되어 있다.
본 실시예의 통신부(350)에서는 추론부(340)에서 생성된 선호 영상을 이용자 단말기로 전송한다(S1440). 본 실시예에서는 이용자 단말기 자체에서 제공하는 자동 밝기 제어 기능과의 상충을 막기 위해, 이용자 단말기로 선호 영상을 전송하기 전에 단말기에서 제공하는 자동 밝기 제어 기능을 사용할 것인지의 여부를 물어 해당 기능을 끄도록 유도할 수 있다.
본 실시예에서는 이용자 단말기의 시청 환경의 변화를 지속적으로 감지하여(S1450), 시청 환경이 변화되었다고 판단되면 이용자 단말기의 변화된 시청 환경에 대한 정보를 획득하여 시청 환경 프로파일을 재결정한다. 그 후 추론부(340)에서는 재결정된 프로파일에 할당된 CNN 기반의 필터의 계수를 대상 영상에 적용하여 선호 영상을 생성함으로써 이용자의 시청 환경이 바뀌어도 항상 최상의 화질을 제공할 수 있게 된다.
도 14에서는 과정 S1400 내지 과정 S1450을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 14에 기재된 순서를 변경하여 실행하거나 과정 S1400 내지 과정 S1450 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 14는 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 14에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
한편, 본 개시는 CNN(Convolutional Neural Network) 기반의 딥 러닝 기법으로 설명하고 있으나 GAN(Generative Adversarial Network, 생성적 적대 신경망)을 기반으로 하여도 구현 가능하다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300: 화질 제어 장치
310: 정답 영상 설정부 320: 학습부
330: 프로파일 결정부 340: 추론부
350: 통신부

Claims (9)

  1. CNN(Convolutional Neural Network) 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 장치에 있어서,
    이용자 단말기로부터 대상 영상에 대한 영상 서비스 요청을 받으면, 상기 이용자 단말기의 상기 시청 환경에 대한 정보를 획득하여, 상기 시청 환경을 하나 이상 조합하여 기설정된 복수의 프로파일 중 상기 이용자 단말기가 해당되는 프로파일을 결정하는 프로파일 결정부;
    상기 프로파일 결정부에서 결정된 상기 프로파일에 할당되어 있는 기학습된 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용하여 선호 영상을 생성하는 추론부; 및
    상기 선호 영상을 상기 이용자 단말기로 전송하는 통신부를 포함하되,
    상기 프로파일은 상기 시청 환경 중 동일한 화질 처리가 필요한 상황에 기반하여 생성된 상기 시청 환경의 조합인 것을 특징으로 하는 화질 제어 장치.
  2. 제 1 항에 있어서,
    상기 시청 환경은 날씨, 시간, 장소, 연령, 성별, 영상 컨텐츠의 종류, 및 영상 컨텐츠의 인코딩 품질 중 하나 이상을 포함하는 것을 특징으로 하는 화질 제어 장치.
  3. 제 1 항에 있어서,
    상기 프로파일 결정부는 상기 이용자 단말기의 상기 시청 환경이 변화되면 상기 이용자 단말기의 상기 프로파일을 재결정하고, 상기 추론부는 재결정된 상기 프로파일에 할당되어 있는 기학습된 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용하여 선호 영상을 생성하는 것을 특징으로 하는 화질 제어 장치.
  4. 제 1 항에 있어서,
    상기 선호 영상을 전송하는 시점이 야간인 경우 상기 선호 영상에 블루 라이트 필터(Blue Light Filter) 처리를 적용하는 것을 특징으로 하는 화질 제어 장치.
  5. 제 1 항에 있어서,
    상기 이용자 단말기로 상기 영상 서비스를 제공하기 전에, 상기 이용자 단말기가 제공하는 자동 밝기 제어 기능의 사용 여부에 대한 정보를 입력받는 것을 특징으로 하는 화질 제어 장치.
  6. 제 1 항에 있어서,
    상기 추론부는, 상기 대상 영상에 힌트 정보를 반영한 후 상기 CNN 기반의 필터의 계수를 상기 힌트 정보가 반영된 상기 대상 영상에 적용하여 상기 선호 영상을 생성하되,
    상기 힌트 정보는 상기 시청 환경에 대한 정보 중 수치화할 수 있는 정보인 것을 특징으로 하는 화질 제어 장치.
  7. 제 1 항에 있어서,
    상기 추론부는, 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용한 후 힌트 정보를 추가로 반영하여 상기 선호 영상을 생성하되,
    상기 힌트 정보는 상기 시청 환경에 대한 정보 중 수치화할 수 있는 정보인 것을 특징으로 하는 화질 제어 장치.
  8. 하나 이상의 CNN(Convolutional Neural Network) 기반의 필터를 이용하여 시청 환경을 반영한 화질 제어 방법에 있어서,
    이용자 단말기로부터 대상 영상에 대한 영상 서비스 요청을 받으면, 상기 이용자 단말기의 상기 시청 환경에 대한 정보를 획득하는 단계;
    획득된 상기 시청 환경에 대한 정보를 분석하여, 상기 시청 환경을 하나 이상 조합하여 기설정된 복수의 프로파일 중 상기 이용자 단말기가 해당되는 프로파일을 결정하는 단계;
    결정된 상기 프로파일에 할당되어 있는 기학습된 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용하여 선호 영상을 생성하는 단계; 및
    상기 선호 영상을 상기 이용자 단말기로 전송하는 단계를 포함하되,
    상기 프로파일은 상기 시청 환경 중 동일한 화질 처리가 필요한 상황에 기반하여 생성된 상기 시청 환경의 조합인 것을 특징으로 하는 화질 제어 방법.
  9. 제 8 항에 있어서,
    상기 이용자 단말기의 상기 시청 환경의 변화를 감지하여, 시청 환경이 변화되었다고 판단되면 상기 이용자 단말기의 상기 프로파일을 재결정하는 단계; 및
    재결정된 상기 프로파일에 할당되어 있는 기학습된 상기 CNN 기반의 필터의 계수를 상기 대상 영상에 적용하여 선호 영상을 생성하는 단계
    를 추가로 포함하는 것을 특징으로 하는 화질 제어 방법.
KR1020180101797A 2018-08-29 2018-08-29 시청 환경을 반영한 화질 제어 장치 및 방법 KR102072106B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180101797A KR102072106B1 (ko) 2018-08-29 2018-08-29 시청 환경을 반영한 화질 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180101797A KR102072106B1 (ko) 2018-08-29 2018-08-29 시청 환경을 반영한 화질 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102072106B1 true KR102072106B1 (ko) 2020-01-31

Family

ID=69369462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101797A KR102072106B1 (ko) 2018-08-29 2018-08-29 시청 환경을 반영한 화질 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102072106B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042578A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 조도 변화에 따른 화면 밝기 제어 방법 및 장치
KR20150049045A (ko) * 2013-10-29 2015-05-08 삼성전자주식회사 휴대단말에서 화면 밝기를 제어하는 방법 및 장치
KR20150135098A (ko) * 2014-05-22 2015-12-02 (주)티아이스퀘어 블루라이트 차단 필터 제공 장치 및 방법
JP2018025758A (ja) * 2016-06-29 2018-02-15 株式会社半導体エネルギー研究所 電子機器、該電子機器の動作方法、及び移動体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042578A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 조도 변화에 따른 화면 밝기 제어 방법 및 장치
KR20150049045A (ko) * 2013-10-29 2015-05-08 삼성전자주식회사 휴대단말에서 화면 밝기를 제어하는 방법 및 장치
KR20150135098A (ko) * 2014-05-22 2015-12-02 (주)티아이스퀘어 블루라이트 차단 필터 제공 장치 및 방법
JP2018025758A (ja) * 2016-06-29 2018-02-15 株式会社半導体エネルギー研究所 電子機器、該電子機器の動作方法、及び移動体

Similar Documents

Publication Publication Date Title
JP6700322B2 (ja) 改善されたｈｄｒイメージ符号化及び復号化方法、装置
RU2609760C2 (ru) Устройства и способы усовершенствованного кодирования изображений
CN108600781B (zh) 一种视频封面生成的方法以及服务器
US11158286B2 (en) Machine learning color science conversion
CN111819798A (zh) 经由实时压缩控制周边图像区域中的图像显示
KR102130667B1 (ko) 위치 기반 디스플레이 특성의 환경 적응을 갖춘 전자 디스플레이
CN107113367B (zh) 具有颜色恒定性的亮度改变图像处理
JP2013541895A5 (ko)
US10075675B2 (en) Dynamic video image management
KR20180091108A (ko) 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템
US11122198B2 (en) Adjusting image capture parameters via machine learning
CN107077830B (zh) 适用于无人机控制端的屏幕亮度调整方法及无人机控制端
US20240179374A1 (en) Modifying Existing Content Based on Target Audience
CN114511479A (zh) 图像增强方法和装置
US11107441B2 (en) Image adjustment device, image adjustment method, and computer readable medium
US11138437B2 (en) Image processing apparatus and method thereof
CN109151575B (zh) 多媒体数据处理方法及装置、计算机可读存储介质
US9576336B2 (en) Display method and display device
KR102072106B1 (ko) 시청 환경을 반영한 화질 제어 장치 및 방법
US10388253B2 (en) Processing device, display system, display method, and program
US20170163852A1 (en) Method and electronic device for dynamically adjusting gamma parameter
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
WO2021069282A1 (en) Perceptually improved color display in image sequences on physical displays
CN112884659A (zh) 图像对比度增强方法、装置和显示设备
EP3896952A1 (en) Perceptually improved color display in image sequences on physical displays

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant