KR20200057474A - 영상 처리 장치 및 그 동작 방법 - Google Patents

영상 처리 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20200057474A
KR20200057474A KR1020180141949A KR20180141949A KR20200057474A KR 20200057474 A KR20200057474 A KR 20200057474A KR 1020180141949 A KR1020180141949 A KR 1020180141949A KR 20180141949 A KR20180141949 A KR 20180141949A KR 20200057474 A KR20200057474 A KR 20200057474A
Authority
KR
South Korea
Prior art keywords
image
frame
image quality
quality control
genre
Prior art date
Application number
KR1020180141949A
Other languages
English (en)
Other versions
KR102644126B1 (ko
Inventor
조대성
강우석
조일현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180141949A priority Critical patent/KR102644126B1/ko
Priority to PCT/KR2019/015567 priority patent/WO2020101398A1/en
Priority to US16/685,553 priority patent/US11138437B2/en
Publication of KR20200057474A publication Critical patent/KR20200057474A/ko
Application granted granted Critical
Publication of KR102644126B1 publication Critical patent/KR102644126B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)

Abstract

실시예들에 따라, 영상 처리 장치 및 영상 처리 방법이 개시된다. 일 실시예에 따른 영상 처리 장치는, 영상 프레임들을 디코딩하는 디코더; 이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정하는 화질 제어부; 및 상기 디코딩된 하나 이상의 영상 프레임들에 상기 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력하는 화질 처리부를 포함한다.

Description

영상 처리 장치 및 그 동작 방법{A image processing apparatus and a image processing method}
다양한 실시예들은 영상 처리 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는 컨텐츠의 장르를 인식하여 자동으로 해당 컨텐츠에 대응하는 최적 화질을 제어할 수 있는 영상 처리 방법 및 영상 처리 장치에 관한 것이다.
텔레비전, 스마트폰, 모니터 등 다양한 디스플레이 장치에서는 사용자의 선호에 따라 다양한 장르 예를 들어, 스포츠, 드라마, 뉴스, 영화, 다큐멘터리 등의 영상 컨텐츠가 재생될 수 있다. 그런데 각 장르마다 장르의 특성상 이 장르에 대응하는 컨텐츠에 대한 최적의 화질 처리가 필요할 수 있다. 예를 들어, 스포츠 장르의 경우 움직임이 많고 역동적인 컨텐츠의 특성상 이러한 특성을 강조하여 화질 처리를 하는 경우 사용자로 하여금 보다 실감나는 경험을 제공할 수 있다.
종래에는 디스플레이 장치에서 최적 화면 제어는 메뉴 방식의 수동 조작에 의해서 이루어 졌다. 예를 들어 사용자가 스포츠 영상을 시청하는 경우에는 스포츠 모드를 선택하고 일반 영상을 시청하는 경우에는 일반 모드를 선택하며 또한 각 모드에서 사용자는 각각의 화질 제어 인자를 설정하면, 디스플레이 장치는 그러한 사용자 설정에 대응하여 그 모드에 맞는 화질 처리를 제공하였다. 그러나 이와 같이 사용자가 수동으로 조절하는 것은 불편하기도 하고 화질 조절을 위한 최적 인자에 대한 전문가적인 지식이 부족하여 최적의 화질을 재생하기 힘든 측면도 있다. 여러 단계를 거쳐 최적 화질에 필요한 다양한 인자를 조절해야 해서 편이성이 낮고 전문가적 역량을 필요로 한다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 딥러닝 등의 기계학습 알고리즘을 활용하여, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
종래의 장면 인식 기반의 장르 인식은 장르 인식 오류가 빈번히 발행하여, 인식 오류결과를 그대로 화질 제어에 적용할 경우, 프레임간 화질 차이가 과도하게 나타나는 현상이 발생할 할 수 있다. 따라서 장르 인식 결과를 그대로 장르별 자동 화질 제어에 적용할 수 없다.
다양한 실시예들은, 영상 컨텐츠의 장르를 보다 신뢰성있게 인식함으로써 영상 컨텐츠의 장르에 따른 화질 제어를 최적으로 할 수 있는, 영상 처리 장치 및 영상 처리 방법을 제공하고자 한다.
일 실시예에 따른 영상 처리 장치는, 영상 프레임들을 디코딩하는 디코더; 이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정하는 화질 제어부; 및 상기 디코딩된 하나 이상의 영상 프레임들에 상기 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력하는 화질 처리부를 포함한다.
일 실시예에 따라 화질 제어부는, 상기 이전 영상 프레임의 장르 인식 신뢰도와 상기 현재 영상 프레임의 장르 인식 신뢰도의 가중 평균값을 획득하고, 상기 가중 평균값을 이용하여 상기 화질 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 화질 제어부는, 상기 현재 영상 프레임에 대해 결정된 상기 화질 제어 인자 세기와 상기 이전 영상 프레임에 대해 결정된 이전 화질 제어 인자 세기의 차이가 임계값을 넘지 않도록 상기 화질 제어 인자 세기를 보정할 수 있다.
일 실시예에 따라 화질 제어부는, 미리 정해진 시간 동안 수신된 영상 프레임들로부터 동일 장르가 반복되는 경우, 이 반복되는 동일 장르를 새로운 장르로 인식하고, 상기 새로운 장르 인식에 따라 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득할 수 있다.
일 실시예에 따라 화질 제어부는, 상기 이전 영상 프레임의 주요 색상 확률 분포 및 상기 현재 영상 프레임의 주요 색상 확률 분포를 더 이용하여 상기 화질 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 화질 제어부는, 상기 이전 영상 프레임의 주요 색상 확률 크기 및 상기 현재 영상 프레임의 주요 색상 확률 크기의 가중 평균값을 획득하고, 상기 장르 인식 신뢰도의 가중 평균값 및 상기 주요 색상 확률 크기의 가중 평균값을 이용하여 색상 제어 인자 세기를 결정하고, 상기 영상 프레임에 상기 색상 제어 인자 세기를 이용하여 화질 처리를 수행할 수 있다.
일 실시예에 따라 화질 제어부는, 상기 현재 영상 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 영상 프레임이 장면 전환 프레임이면, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 화질 제어부는, 상기 현재 영상 프레임이 장면 전환 프레임인지 및 상기 현재 영상 프레임의 주요 색상 정보의 변화가 임계치를 넘는지 판단하고, 상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하고, 상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘지 않는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 화질 제어부는, 하나 이상의 뉴럴 네트워크를 이용하여 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득할 수 있다.
일 실시예에 따라 영상 처리 방법은, 영상 프레임들을 디코딩하는 동작; 이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정하는 화질 제어 동작; 및 상기 디코딩된 하나 이상의 영상 프레임들에 상기 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력하는 동작을 포함한다.
일 실시예에 따라 영상 처리 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 영상 처리 방법은, 영상 프레임들을 디코딩하는 동작; 이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정하는 화질 제어 동작; 및 상기 디코딩된 하나 이상의 영상 프레임들에 상기 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력하는 동작을 포함한다.
다양한 실시예들에 따라, 영상 컨텐츠의 장르를 보다 신뢰성있게 인식함으로써 영상 컨텐츠의 장르에 따른 화질 제어를 최적으로 할 수 있다. 특히, 스포츠 장르 영상 컨텐츠의 화질을 최적으로 제어할 수 있다.
다양한 실시예들에 따라, 영상 컨텐츠에 나타난 주요 색상 정보를 부가적으로 이용함으로써 주요 색상이 주를 이루는 영상 컨텐츠의 화질 제어를 보다 적합하게 제어할 수 있다. 예를 들어, 그린 스포츠, 화이트 스포츠 등 스포츠 영상 컨텐츠의 주요 색상에 따라 보다 적절하게 화질 제어할 수 있다.
도 1은 장면 인식 기반에 따라 컨텐츠의 장르를 인식하는 예를 설명하기 위한 참고도이다.
도 2는 일 실시예에 따라 시청 영상에 대해 장르별 화질 제어를 수행함으로써 각 장르에 적합한 최적의 화질 제어를 수행하는 방법을 설명하기 위한 참고도이다.
도 3은 일 실시예에 따라 시청 영상에 대해 장르별 화질 제어를 수행함으로써 각 장르에 적합한 최적의 화질 제어를 수행하는 방법을 설명하기 위한 참고도이다.
도 4는 일 실시예에 따른 영상 처리 장치 400의 개략적인 블록도이다.
도 5는 일 실시예에 따라 영상 처리 장치 400가 이미지의 장르 인식에 따라 이미지에 화질 처리를 수행하는 영상 처리 방법의 동작을 나타내는 흐름도이다.
도 6은 일 실시예에 따라 이미지로부터 이미지의 특징에 대응하는 장르를 학습하는 뉴럴 네트워크(neural network)의 예시를 나타내는 도면이다.
도 7은 일 실시예에 따라 뉴럴 네트워크를 이용하여 입력 영상으로부터 입력 영상의 장르 인식 신뢰도를 획득하기 위한 도면이다.
도 8은 일 실시예에 따른 컨볼루션 뉴럴 네트워크의 구조를 나타내는 도면이다.
도 9는 일 실시예에 따라 영상의 스포츠 장르 인식에 따라 이미지에 화질 처리를 수행하는 영상 처리 방법의 동작의 일 예를 나타내는 흐름도이다.
도 10은 일 실시예에 따라 이전 프레임의 신뢰도 정보와 현재 프레임 신뢰도 정보간의 가중 평균값에 의하여 스포츠 제어 가중치 값이 변화하는 모습을 도시한다.
도 11은 일 실시예에 따라 장르 인식 신뢰도 값 이외에 색상 확률 분포 정보를 더 이용하여 화질 제어 인자 세기를 결정하는 방법의 과정을 나타내는 흐름도이다.
도 12는 일 실시예에 따라 장면 전환 구간을 고려하여 장르 인식 신뢰도에 따른 화질 제어 동작의 흐름도를 도시한다.
도 13은 일 실시예에 따라 장면 전환 구간에서 장르 인식 신뢰도 및 색상 확률 분포에 따른 화질 처리 방법의 흐름도를 나타낸다.
도 14은 도 13에 도시된 동작 방법에 따른 장면 전환 구간에서 스포츠 장르 인식 신뢰도에 따른 화질 제어 인자 가중 값 계산의 일 실시 예를 도시한 것이다.
도 15는 실시예들에 따른 화질 제어 인자의 예이다.
도 16은 일 실시예에 따라 영상의 장르를 인식하는 프로세서의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 제어 장치를 이용하여 영상 표시 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
도 1은 장면 인식 기반에 따라 컨텐츠의 장르를 인식하는 예를 설명하기 위한 참고도이다.
컨텐츠의 장면을 인식함으로써 컨텐츠의 장르를 인식할 수 있다.
도 1을 참조하면, 제1프레임 100, 제2프레임 110, 제3프레임 120, 제4프레임 130의 장면을 인식함으로써 각 프레임에 대하여 장르가 스포츠일 확률과 스포츠가 아닌 일반 영상이 확률이 표시되어 있다. 제1프레임 100 내지 제4 프레임 130은 모두 동일한 스포츠 영상의 각 장면을 나타낸다. 제1프레임 100, 제2 프레임 110, 제4프레임 130은 모두 스포츠일 확률이 일반 영상일 확률보다 높게 나옴으로써 해당 프레임의 장르 인식 결과는 스포츠 장르로 나올 수 있다. 그런데, 제3프레임 120의 경우, 제1 프레임등과 마찬가지로 동일한 스포츠 영상의 일부 이지만, 스포츠일 확률이 24%, 일반 영상일 확률이 76%로서, 장르 인식 결과는 일반 영상이 우세하게 나올 수 있다.
이와 같이 종래의 장면 인식 기반의 장르 인식 결정은 장르 인식 오류가 빈번히 발생하여, 인식 오류 결과를 그대로 화질 제어에 적용할 경우 프레임간 화질 차이가 과도하게 발생할 수 있다. 따라서 종래의 장르 인식 결과를 그대로 장르별 자동 화질 제어에 적용하는 경우 화질 열화를 방지할 수 없다.
따라서 개시된 실시예들은, 비디오 장면 인식 기반으로 장르를 인식하고 장면 단위로 장르에 따른 최적 화질 제어를 할 때, 장르 인식 오류로 인한 화질 저하를 최소화하고 이전 프레임 영상과의 과도한 화질 변화를 최소화시키는 방법에 관한 것이다.
도 2는 일 실시예에 따라 시청 영상에 대해 장르별 화질 제어를 수행함으로써 각 장르에 적합한 최적의 화질 제어를 수행하는 방법을 설명하기 위한 참고도이다.
도 2를 참조하면, 사용자가 시청하는 영상은 다양한 종류의 장르를 포함할 수 있다. 예를 들어, 사용자가 시청하는 영상은 스포츠 영상 210와 영화 영상 220을 포함할 수 있다. 이러한 시청 영상에 대해서 장르별 화질 제어 230을 수행함으로써 사용자가 시청하는 영상이 스포츠 장르로 인식된 경우 스포츠 장르에 적합한 화질 제어를 수행한 스포츠 영상 240을 출력하고, 영화 장르로 인식된 경우 영화 장르에 적합한 화질 제어를 수행한 영화 영상 250을 출력할 수 있다. 화질 제어 요소로는 색온도, 채도, 콘트라스트, recoloring 등을 포함할 수 있다. 실시예에 따른 장르별 화질 제어 230은 사용자가 시청하는 영상의 장르를 보다 정교하게 인식하여 인식의 오류를 감소시킴으로써, 인식 오류로 인한 화질 저하를 방지할 수 있다. 이와 같이 영상의 장르를 정교하게 인식하기 위해서는 실시예에 따른 장르별 화질 제어 230은 영상의 하나 이상의 이전 프레임의 장르 인식 결과를 이용할 수 있다.
도 3은 일 실시예에 따라 시청 영상에 대해 장르별 화질 제어를 수행함으로써 각 장르에 적합한 최적의 화질 제어를 수행하는 방법을 설명하기 위한 참고도이다.
도 3을 참조하면, 사용자가 시청하는 영상은 다양한 종류의 장르를 포함할 수 있다. 예를 들어, 사용자가 시청하는 영상은 스포츠 영상 중에서도 그린 스포츠 영상 310과 화이트 스포츠 영상 320을 포함할 수 있다. 그린 스포츠 영상은 그린색의 잔디나 필드 위에서 경기가 행해짐으로써 스포츠 영상에 그린색이 지배적으로 많은 영상으로서, 예를 들어 축구나 야구 등을 포함할 수 있다. 화이트 스포츠 영상은 화이트색의 얼음이나 필드 위에서 경기가 행해짐으로써 스포츠 영상에 화이트색이 지배적으로 많은 영상으로서, 통상 겨울 스포츠 나 실내 빙상 스포츠 등을 포함할 수 있다. 이러한 시청 영상에 대해서 장르별 화질 제어 330을 수행함으로써 사용자가 시청하는 영상이 그린 스포츠 장르로 인식된 경우 그린 스포츠 장르에 적합한 화질 제어를 수행한 스포츠 영상 340을 출력하고, 화이트 스포츠 장르로 인식된 경우 화이트 스포츠 장르에 적합한 화질 제어를 수행한 스포츠 영상 350을 출력할 수 있다. 실시예에 따른 장르별 화질 제어 330은 사용자가 시청하는 영상의 장르를 보다 정교하게 인식하여 인식의 오류를 감소시킴으로써, 인식 오류로 인한 화질 저하를 방지할 수 있다. 이와 같이 동일한 장르에서 화이트 영상인지 그린 영상인지를 인식하기 위해서는 실시예에 따른 장르별 화질 제어 330은 영상에서 나타나는 주요 색상 정보를 더 이용할 수 있다.
도 4는 일 실시예에 따른 영상 처리 장치 400의 개략적인 블록도이다.
도 4를 참조하면, 영상 처리 장치 400은 제어부 410, 비디오 획득부 420, 화질 제어부 430, 비디오 출력부 440를 포함할 수 있다.
영상 처리 장치 400는 텔레비전, 스마트폰, 모니터, PDA 등 다양한 디스플레이 장치를 포함할 수 있다.
제어부 410는 영상 처리 장치 400 내의 구성요소를 전반적으로 제어하는 하나 이상의 프로세서를 포함할 수 있다.
비디오 획득부 420는 비디오 획득부 420는 내부 저장 장치, 외부 저장 장치, 튜너, 셋탑박스, 네트워크 등 다양한 소오스로부터 화질 처리할 영상을 획득할 수 있다.
비디오 디코더 431은 비디오 획득부 420로부터 수신한 비디오를 디코딩하며, 디코딩된 비디오를 화질 제어부 430 및 화질 처리부 436으로 전달할 수 있다.
화질 제어부 432는 비디오 디코더 431로부터 수신한 영상 프레임을 기초로 화질 제어에 이용되는 화질 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 화질 제어부 432는 이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정할 수 있다.
이와 같이 화질 제어부 432가 현재 영상 프레임의 장르 인식 신뢰도 뿐만 아니라 이전 영상 프레임의 장르 인식 신뢰도를 더 이용하여 영상의 장르를 인식함으로써 영상의 장르를 보다 신뢰성 있게 인식할 수 있다.
일 실시예에 따라 상기 화질 제어부 432는, 상기 이전 영상 프레임의 장르 인식 신뢰도와 상기 현재 영상 프레임의 장르 인식 신뢰도의 가중 평균값을 획득하고, 상기 가중 평균값을 이용하여 상기 화질 제어 인자 세기를 결정할 수 있다.
이와 같이 화질 제어부 432가 이전 영상 프레임의 장르 인식 신뢰도에 가중되는 값과 현재 영상 프레임의 장르 인식 신뢰도에 가중되는 값을 결정할 수 있음으로 해서, 시스템을 보다 융통성 있게 운영할 수 있다. 이전 영상 프레임의 장르 인식 신뢰도에 가중되는 값을 더 크게 함으로써 영상 장르 인식시 이전 영상 프레임의 특징을 더 많이 반영할 수 있고 현재 영상 프레임의 장르 인식 신뢰도에 가중되는 값을 더 크게 함으로써 영상 장르 인식시 이전 영상 프레임의 특징의 영향을 보다 배제할 수 있게 된다.
일 실시예에 따라 상기 화질 제어부 432는, 상기 현재 영상 프레임에 대해 결정된 상기 화질 제어 인자 세기와 상기 이전 영상 프레임에 대해 결정된 이전 화질 제어 인자 세기의 차이가 임계값을 넘지 않도록 상기 화질 제어 인자 세기를 보정할 수 있다.
이와 같이 화질 제어부 432가 현재 영상 프레임에 대해 결정된 상기 화질 제어 인자 세기와 상기 이전 영상 프레임에 대해 결정된 이전 화질 제어 인자 세기의 차이가 임계값을 넘지 않도록 상기 화질 제어 인자 세기를 보정함으로써, 설령 장르 인식의 차이로 인해 양자간의 화질제어 인자 세기의 차가 크더라도, 보정에 의해 현재 영상 프레임과 이전 영상 프레임의 화질 차가 너무 과대해지는 것을 방지할 수 있다.
일 실시예에 따라 상기 화질 제어부 432는, 미리 정해진 시간 동안 수신된 영상 프레임들로부터 동일 장르가 반복되는 경우, 이 반복되는 동일 장르를 새로운 장르로 인식하고, 상기 새로운 장르 인식에 따라 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득할 수 있다.
일 실시예에 따라 상기 화질 제어부 432는, 상기 이전 영상 프레임의 주요 색상 확률 분포 및 상기 현재 영상 프레임의 주요 색상 확률 분포를 더 이용하여 상기 화질 제어 인자 세기를 결정할 수 있다.
이와 같이 화질 제어부 432가 이전 영상 프레임의 주요 색상 확률 분포 및 현재 영상 프레임의 주요 색상 확률 분포를 더 이용하여 화질 제어 인자 세기를 결정함으로써 영상의 장르 뿐만 아니라 영상에서 나타나는 주요 색상을 반영한 화질 제어를 할 수 있다.
일 실시예에 따라 상기 화질 제어부 432는, 상기 이전 영상 프레임의 주요 색상 확률 크기 및 상기 현재 영상 프레임의 주요 색상 확률 크기의 가중 평균값을 획득하고, 상기 장르 인식 신뢰도의 가중 평균값 및 상기 주요 색상 확률 크기의 가중 평균값을 이용하여 색상 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 상기 화질 제어부 432는, 상기 현재 영상 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 영상 프레임이 장면 전환 프레임이면, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 상기 화질 제어부 432는, 상기 현재 영상 프레임이 장면 전환 프레임인지 및 상기 현재 영상 프레임의 주요 색상 정보의 변화가 임계치를 넘는지 판단하고, 상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하고, 상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘지 않는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정할 수 있다.
일 실시예에 따라 상기 화질 제어부 432는, 하나 이상의 뉴럴 네트워크를 이용하여 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득할 수 있다.
장르 인식부 433는 수신된 이미지 프레임에 대응하는 장르를 인식할 수 있다.
예를 들어, 장르 인식부 433는 영상의 장면을 분류하거나 또는 장면내에 특정 객체의 인식을 통해 입력 영상의 장르를 인식할 수 있다. 예를 들어, 장르 인식부 433는 영상의 장면내의 선수, 공, 경기장 등의 객체를 인식함으로써 스포츠 장르임을 인식할 수 있다. 또한 스포츠 장르로 인식할 경우 바로 스포츠 장르로 판단하지 않고, 일정 프레임 혹은 일정 시간 동안 동일하게 스포츠 장르로 인식하면 해당 장르로 판단할 수 있다. 이를 위해 장르 인식부 433는 현재 이미지 프레임의 장르 인식 신뢰도만이 아니라 하나 이상의 이전 이미지 프레임의 장르 인식 신뢰도를 더 고려하여 영상의 장르 인식 신뢰도를 결정할 수 있다. 이때 장르 인식부 433는 현재 이미지 프레임의 장르 인식 신뢰도와 하나 이상의 이전 이미지 프레임의 장르 인식 신뢰도의 가중 평균값을 이용할 수 있다.
화질 제어 인자 세기 결정부 434는 현재 이미지 프레임의 장르 인식 신뢰도와 하나 이상의 이미지 프레임의 장르 인식 신뢰도의 가중평균 값을 이용하여 하나 이상의 화질 제어 인자의 세기를 결정할 수 있다. 화질 제어 인자는 예를 들어, 색상(color), CE(Contrast Enhancement), DE(Detail Enhancement) 등을 포함할 수 있다. 화질 제어 인자는 도 15를 참조하여 설명한다.
일 예에 따라 화질 제어 인자 세기 결정부 434는 가중평균 값에 비례하여 화질 제어 인자의 세기를 결정할 수 있다.
화질 제어 인자 세기 보정부 435는 결정된 화질 제어 인자의 세기를 보정할 수 있다. 예를 들어, 화질 제어 인자 세기 보정부 435는 현재 이미지 프레임에 대해 결정된 화질 제어 인자 세기가 이전 이미지 프레임에 대해 결정된 화질 제어 인자 세기와 급격한 차이가 나지 않도록 보정할 수 있다.
화질 처리부 436는 비디오 디코더 431로부터 수신한 이미지에 대해서 화질 제어 인자 세기 보정부 435에 의해 수신된 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력할 수 있다.
비디오 출력부 440는 화질 처리부 436에 의해 화질 처리된 이미지를 출력할 수 있다.
도 5는 일 실시예에 따라 영상 처리 장치 400가 이미지의 장르 인식에 따라 이미지에 화질 처리를 수행하는 영상 처리 방법의 동작을 나타내는 흐름도이다.
도 5를 참조하면, 동작 510에서, 영상 처리 장치 400는 하나 이상의 이전 이미지 프레임의 장르 인식 신뢰도 및 현재 이미지 프레임의 장르 인식 신뢰도를 획득할 수 있다.
예를 들어, 영상 처리 장치 400의 장르 인식부 433는 이미지 프레임의 장르 인식 신뢰도를 획득할 수 있다.
일 실시예에 따라 장르 인식부 433는 이미지 프레임에 관련된 또는 이미지 프레임에 대응하는 메타데이터로부터 해당 이미지 프레임의 장르 인식 신뢰도를 획득할 수 있다.
일 실시예에 따라 장르 인식부 433는 비젼 테크놀러지 (vision technology)를 이용하여 이미지 프레임의 장르 인식 신뢰도를 획득할 수 있다.
일 실시예에 따라 장르 인식부 433는 인공 지능 (Artificial Intelligence)를 이용하여 이미지 프레임의 장르 인식 신뢰도를 획득할 수 있다.
하나 이상의 이전 이미지 프레임은 하나의 이전 이미지 프레임이 될 수도 있고 복수개의 이전 이미지 프레임이 될 수도 있다.
하나 이상의 이전 이미지 프레임은 바로 이전의 이미지 프레임이 될 수도 있고 또는 일정한 구간 동안의 이전 이미지 프레임이 될 수도 있다.
동작 520에서, 영상 처리 장치 400은 하나 이상의 이전 이미지 프레임의 장르 인식 신뢰도 및 현재 이미지 프레임의 장르 인식 신뢰도를 이용하여 가중평균 값을 획득할 수 있다.
단순히 현재 이미지 프레임의 장르 인식 신뢰도를 이용하는 것이 아니라, 하나 이상의 이전 이미지 프레임의 장르 인식 신뢰도를 가중 평균함으로써 영상의 장르 인식 신뢰도를 더욱 신뢰성있게 획득할 수 있다.
예를 들어 영상 처리 장치 400의 장르 인식부 433은 하나 이상의 이전 이미지 프레임의 장르 인식 신뢰도 및 현재 이미지 프레임의 장르 인식 신뢰도를 이용하여 가중평균 값을 획득할 수 있다.
예를 들어 장르 인식부 433은 하나의 이전 이미지 프레임의 장르 인식 신뢰도 및 현재 이미지 프레임의 장르 인식 신뢰도를 이용하여 가중평균 값을 획득할 수 있다.
예를 들어 장르 인식부 433은 복수개의 이전 이미지 프레임의 장르 인식 신뢰도 및 현재 이미지 프레임의 장르 인식 신뢰도를 이용하여 가중평균 값을 획득할 수 있다.
장르 인식부 433은 가중평균 값을 구할 때, 이전 이미지 프레임의 장르 인식 신뢰도에 적용되는 가중값과 현재 이미지 프레임의 장르 인식 신뢰도에 적용되는 가중값을 다양하게 결정할 수 있다.
동작 530에서, 영상 처리 장치 400는 획득된 가중평균 값을 이용하여 화질 제어 인자 세기를 결정할 수 있다.
예를 들어 영상 처리 장치 400의 화질 제어 인자 세기 결정부 434는 가중평균 값에 비례하여 색상(color), CE(Contrast Enhancement), DE(Detail Enhancement) 등의 화질 제어 인자의 세기를 결정할 수 있다. 이에 따라 가중평균 값의 크기가 크면 장르별 화질 제어 인자의 세기를 크게 하고 가중평균 값의 크기가 작으면 장르별 화질 제어 인자의 세기를 작게 할 수 있다.
동작 540에서, 영상 처리 장치 400는 수신된 이미지에 화질 제어 인자 세기를 기초로 화질 처리를 수행하고 출력할 수 있다.
예를 들어 영상 처리 장치 400의 화질 처리부 436는 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력할 수 있다.
도 6은 일 실시예에 따라 이미지로부터 이미지의 특징에 대응하는 장르를 학습하는 뉴럴 네트워크(neural network)의 예시를 나타내는 도면이다.
도 6을 참조하면, 뉴럴 네트워크 600는, 복수의 학습 이미지 611- 616을 입력 값으로 하여 이미지로부터 이미지의 장르를 획득하는 방법을 학습할 수 있다. 복수의 학습 이미지 611- 616는, 영상 처리 장치에서 처리될 수 있는 다양한 이미지들을 포함할 수 있다.
하나 이상의 뉴럴 네트워크는, 복수의 학습 이미지가 입력된 것에 응답하여, 복수의 학습 이미지에 대응하는 장르를 획득하는 방법을 학습할 수 있으며, 학습된 결과에 기초하여 학습 모델 620이 생성될 수 있다.
여기서, 학습 모델 620은 뉴럴 네트워크를 통하여 목적하는 결과를 획득될 수 있도록 하는, 학습된 뉴럴 네트워크 자체가 될 수 있다. 구체적으로, 이미지의 특징에 대응하는 장르 정보 획득을 위하여, 복수의 학습 이미지를 이용하여 뉴럴 네트워크를 훈련(training)하여, 뉴럴 네트워크를 형성하는 복수개의 노드(node)들 각각에 적용되는 복수개의 가중치(weight)의 값을 설정할 수 있다. 여기서, 가중치는 뉴럴 트워크의 각 노드들 간의 연결 강도를 의미할 수 있다. 가중치 값은 반복적인 학습을 통하여 최적화될 수 있으며, 결과의 정확도가 소정의 신뢰도를 만족할 때까지 반복적으로 수정될 수 있다. 학습 모델 620는 최종적으로 설정된 가중치 값들에 의해서 형성된 뉴럴 네트워크가 될 수 있다.
일부 실시예에 따르면, 하나 이상의 뉴럴 네트워크 600을 이용하여 이미지로부터 이미지의 특징에 대응하는 장르를 획득하는 방법을 학습하는 동작은, 사전에 수행될 수 있다. 또한, 복수의 학습 이미지 중 일부가 변경됨에 따라, 학습 모델 620이 업데이트될 수 있다. 예를 들어, 사용자가 영상 처리 장치를 통해 이미지를 시청함에 따라, 시청한 이미지가 학습 이미지로 사용될 수 있다. 또한, 소정의 주기(예를 들어, 24시간) 단위로, 사용자가 시청한 하나 이상의 이미지가 추출될 수 있으며, 추출된 이미지가 학습 이미지로 사용할 수 있다. 새로운 학습 이미지가 추가되면, 하나 이상의 뉴럴 네트워크 600는 이미지로부터 객체를 인식하는 방법을 다시 학습할 수 있으며, 이에 따라 학습 모델이 업데이트될 수 있다.
또한, 하나 이상의 뉴럴 네트워크 600를 이용하여 이미지로부터 이미지의 특징에 대응하는 장르를 획득하는 방법을 학습하는 동작은, 영상 처리 장치에서 수행될 수 있으며, 실시예에 따라 외부 서버에서 수행될 수 있다. 예를 들어, 하나 이상의 뉴럴 네트워크 600를 이용하여 이미지로부터 이미지에 대응하는 장르를 획득하는 방법을 학습하는 동작은, 상대적으로 복잡한 연산량을 필요로 할 수 있다. 이에 따라, 외부 서버가 학습하는 동작을 수행하고, 영상 처리 장치는 외부 서버로부터 학습 모델 620을 수신함으로써, 영상 처리 장치에서 수행되어야 하는 연산량을 줄일 수 있다. 영상 처리 장치는, 학습 모델 620을 외부 서버로부터 사전에 수신하여 메모리에 저장하고, 저장된 학습 모델 620을 이용하여 이미지에 대응하는 장르를 획득할 수 있다.
또한, 본 개시의 다른 실시예에서, 영상 처리 장치는 뉴럴 네트워크 600를 통한 학습 동작을 수행하는 별도의 전용 프로세서인 뉴럴 네트워크 프로세서를 포함할 수 있다. 그리고, 뉴럴 네트워크 프로세서는 뉴럴 네트워크 600를 통한 학습을 수행하여, 학습 모델 620을 결정할 수 있으며, 결정된 학습 모델 620을 통하여 장르 획득 과정을 수행할 수 있을 것이다.
뉴럴 네트워크 600를 통한 연산을 수행하는 동작은 이하에서 도 7을 참조하여 추가적으로 설명한다.
도 7은 일 실시예에 따라 뉴럴 네트워크를 이용하여 입력 영상으로부터 입력 영상의 장르 인식 신뢰도를 획득하기 위한 도면이다. 구체적으로, 7에서는 뉴럴 네트워크의 숨은 층(hidden layer)의 심도가 3개의 심도(depth)를 가지는 딥 뉴럴 네트워크(DNN) 700인 경우를 예로 들어 도시하였다.
도 7을 참조하면, 딥 뉴럴 네트워크 700는 학습 데이터를 통한 학습을 수행할 수 있다. 그리고, 학습된 딥 뉴럴 네트워크 700는 객체 인식을 위한 연산인 추론 연산을 수행할 수 있다. 여기서, 딥 뉴럴 네트워크 700는 모델의 구현 방식(예를 들어, CNN(Convolution Neural Network) 등), 결과의 정확도, 결과의 신뢰도, 프로세서의 연산 처리 속도 및 용량 등에 따라 매우 다양하게 설계될 수 있다.
딥 뉴럴 네트워크 700은 입력 계층 710, 숨은 계층(hidden layer) 720 및 출력 계층 730을 포함하여, 메타데이터 획득을 위한 연산을 수행할 수 있다. 또한, 딥 뉴럴 네트워크 700은 입력 계층 710과 제1 숨은 계층(HIDDEN LAYER1) 간에 형성되는 제1 계층(Layer 1) 741, 제1 숨은 계층(HIDDEN LAYER1)과 제2 숨은 계층(HIDDEN LAYER2) 간에 형성되는 제2 계층(Layer 2) 742, 및 제2 숨은 계층(HIDDEN LAYER2)과 제3 숨은 계층(HIDDEN LAYER3) 간에 형성되는 제3 계층(Layer 3) 743, 및 제3 숨은 계층(HIDDEN LAYER3)과 출력 계층(OUTPUT LAYER(730) 간에 형성되는 제4 계층(Layer 4) 744으로 형성될 수 있다.
또한, 딥 뉴럴 네트워크 700을 형성하는 복수개의 계층들 각각은 하나 이상의 노드를 포함할 수 있다. 예를 들어, 입력 계층 710은 데이터를 수신하는 하나 이상의 노드(node)(예를 들어, 711)들을 포함할 수 있다. 도 7에서는 입력 계층 711이 복수개의 노드들을 포함하는 경우를 예로 들어 도시하였다. 그리고, 복수개의 노드 711로 이미지 750를 스케일링(scaling)하여 획득한 복수개의 이미지들이 입력될 수 있다. 구체적으로, 이미지 750를 주파수 대역 별로 스케일링하여 획득한 복수개의 이미지들이 복수개의 노드 711로 입력될 수 있다.
여기서, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)들(예를 들어, 712)로 연결된다. 각각의 노드들은 대응되는 가중치값을 가지고 있어서, 딥 뉴럴 네트워크 700는 입력된 신호와 가중치 값을 연산, 예를 들어, 곱하기 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.
딥 뉴럴 네트워크 700는 복수의 학습 이미지에 근거하여 학습되어, 이미지의 특징을 인식하여 이미지에 대응하는 장르를 추출하는 모델로서 구축될 수 있다. 구체적으로, 딥 뉴럴 네트워크 700를 통하여 출력되는 결과의 정확도를 높이기 위해서, 복수의 학습 이미지에 근거하여 출력 계층 730에서 입력 계층 710 방향으로 학습(training)을 반복적으로 수행하며 출력 결과의 정확도가 높아지도록 가중치값들을 수정할 수 있다.
그리고, 최종적으로 수정된 가중치값들을 가지는 딥 뉴럴 네트워크 700는 메타데이터 추출 모델로 이용될 수 있다. 구체적으로, 딥 뉴럴 네트워크 700는 입력 데이터인 복수의 학습 이미지에 포함되는 정보를 분석하여 학습 이미지에 대응하는 장르가 무엇인지를 나타내는 결과를 출력할 수 있다.
따라서, 딥 뉴럴 네트워크 700는 영상 처리 장치가 처리할 이미지 750을 수신하면, 복수의 계층, 하나 이상의 노드 및 하나 이상의 엣지를 이용하여 이미지로부터 특징을 추출하고, 추출된 특징을 기초로, 이미지에 대응하는 장르를 획득할 수 있다. 예를 들어, 딥 뉴럴 네트워크 700는 영상 처리 장치가 처리할 이미지 750을 수신하면, 제1장르로 인식될 신뢰도와 제1장르 이외의 장르로 인식될 신뢰도를 출력할 수 있다. 예를 들어, 딥 뉴럴 네트워크 700는 이미지 750을 수신하여 이 영상이 스포츠 장르일 신뢰도와 스포츠 이외의 일반 장르 일 신뢰도를 출력할 수 있다.
도 8은 일 실시예에 따른 컨볼루션 뉴럴 네트워크의 구조를 나타내는 도면이다.
도 8을 참조하면, 컨볼루션 뉴럴 네트워크 800는, 입력 데이터 810가 입력되고, N개의 컨볼루션 레이어들 820을 통과하여, 출력 데이터 830가 출력되는 구조를 가진다. 이때, 컨볼루션 뉴럴 네트워크 800는 2개 이상의 컨볼루션 레이어를 포함하는 딥 컨볼루션 뉴럴 네트워크일 수 있다.
일 실시예에 따른 영상 처리 장치는 컨볼루션 뉴럴 네트워크 800를 이용하여, 입력 영상으로부터 테두리, 선, 색 등과 같은 "특징들(features)"을 추출할 수 있다. 컨볼루션 뉴럴 네트워크 800에 포함되는 N개의 컨볼루션 레이어들 820 각각에서는 데이터를 수신하고, 수신된 데이터를 처리하여, 출력 데이터를 생성할 수 있다. 예를 들어, 영상 처리 장치는 컨볼루션 레이어에 입력된 영상을 하나 이상의 커널들 또는 필터들과 컨볼루션하여, 제1 특징 맵 821을 생성할 수 있다. 또한, 생성된 제1특징 맵을 서브샘플링하여 제2특징 맵 822를 획득하고, 제2 특징 맵 822를 제2 컨볼루션 레이어로 입력하여, 제2 컨볼루션 레이어에서 입력된 제2 특징 맵을 하나 이상의 커널들 또는 필터들과 컨볼루션하여, 제3 특징 맵 823을 생성할 수 있다.
컨볼루션 뉴럴 네트워크 800의 초기 컨볼루션 레이어들은 입력 영상으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 후기 컨볼루션 레이어들로 갈수록 점진적으로 복잡한 특징들(예를 들어, 눈, 코, 입, 얼굴 등)을 추출할 수 있다.
컨볼루션 뉴럴 네트워크 800 내에서 특징 맵을 입력받고 출력하는 하나 이상의 컨볼루션 레이어들은 히든(hidden) 레이어들(예를 들어, 히든 컨볼루션 레이어들)일 수 있다. 또한, 컨볼루션 뉴럴 네트워크 800에서는 특징 맵에 하나 이상의 커널들을 적용하여 컨볼루션하는 연산 이외에 다른 프로세싱 연산들이 수행될 수 있다. 예를 들어, 활성화 함수(activation function), 풀링(pooling) 등의 연산들이 수행될 수 있다. 영상 처리 장치는 컨볼루션 연산을 수행한 결과 추출된 특징 맵의 값들을 특징이 "있다 또는 없다"의 비선형적인 값으로 바꿔주기 위해 활성화 함수를 적용할 수 있다. 이때, ReLu 함수가 사용될 수 있으나, 이에 한정되지 않는다. 또한, 영상 처리 장치는 추출된 특징 맵의 사이즈를 줄이기 위해 서브 샘플링(풀링)할 수 있다.
도 9는 일 실시예에 따라 영상의 스포츠 장르 인식에 따라 이미지에 화질 처리를 수행하는 영상 처리 방법의 동작의 일 예를 나타내는 흐름도이다.
도 9를 참조하면, 동작 910에서, 영상 처리 장치는 입력된 영상의 장면 분류 및 객체 인식을 통한 스포츠 장르를 인식할 수 있다.
영상 처리 장치는 입력된 영상 프레임에 나타난 경기장 이나 경기 장면 등의 인식을 통해 장면을 분류하고, 영상 프레임에 나타나는 선수나 경기 도구, 로고 등의 인식을 통해 객체를 인식함으로써 스포츠 장르를 인식할 수 있다.
영상 처리 장치는 다양한 기술을 이용하여 입력된 영상 프레임의 장르를 인식할 수 있다. 예를 들어 영상 처리 장치는 입력 영상 프레임의 장르를 인식하는데 도 6 내지 8을 참조하여 설명한 바와 같은 머신 러닝을 이용할 수 있다.
영상 처리 장치는 입력 영상 프레임을 분석하여 해당 입력 영상 프레임에 대해서 해당 입력 영상 프레임이 스포츠 장르일 확률을 나타내는 스포츠 컨텐츠 신뢰도 및 해당 입력 영상 프레임이 스포츠 장르가 아닌 일반 영상 장르일 확률을 나타내는 일반 컨텐츠 신뢰도를 획득할 수 있다.
일 예에 따라 영상 처리 장치는 하나의 영상 프레임의 인식 결과를 해당 입력 영상의 스포츠 장르 인식 결과로 이용할 수 있다. 즉, 영상 처리 장치는 하나의 입력 영상 프레임으로부터 획득한 스포츠 컨텐츠 신뢰도 및 일반 컨텐츠 신뢰도를 이용할 수 있다.
일 예에 따라 영상 처리 장치는 복수개의 영상 프레임의 인식 결과를 해당 입력 영상의 스포츠 장르 인식 결과로 이용할 수 있다. 즉, 영상 처리 장치는 미리 정해진 시간 동안 또는 미리 정해진 개수의 영상 프레임으로부터 획득한 스포츠 인식 신뢰도를 이용할 수 있다.
동작 920에서, 영상 처리 장치는 이전 프레임의 스포츠 인식 신뢰도 및 현재 프레임의 스포츠 인식 신뢰도를 기초로 가중평균 값을 획득할 수 있다.
예를 들어, 영상 처리 장치는 이전 프레임의 스포츠 인식 신뢰도에 제1가중치를 곱하고, 현재 프레임의 스포츠 인식 신뢰도에 제2가중치를 곱하고, 양자를 평균함으로써 가중평균 값을 구할 수 있다. 가중평균 값은 예를 들어 스포츠 제어 가중치로 불리울 수 있다.
여기서 제1가중치와 제2가중치는 장치에 따라 다양하게 결정될 수 있다. 예를 들어, 제1가중치와 제2가중치의 합이 1이 되도록 결정할 수 있다.
예를 들어, 이전 프레임의 스포츠 인식 신뢰도에 좀더 가중을 두고 싶으면 제1가중치를 크게 하고, 현재 프레임의 스포츠 인식 신뢰도에 좀더 가중을 두고 싶으면 제2가중치를 크게 할 수 있다.
일 예에 따라 이전 프레임과 현재 프레임은 인접한 프레임이 될 수 있다.
일 예에 따라 이전 프레임과 현재 프레임은 반드시 인접한 프레임은 아니고 시간적인 순서상 앞에 있는 프레임 및 뒤에 있는 프레임이 될 수 있다. 예를 들어, 일정한 주기, 예를 들어, 세 개의 프레임당 한 개의 프레임을 선택하는 주기를 가지는 경우, 첫 번째 프레임이 이전 프레임이 되고, 네 번째 프레임이 현재 프레임이 될 수 있다.
동작 930에서, 영상 처리 장치는 가중평균 값을 이용하여 화질 제어 인자 세기를 결정할 수 있다.
영상 처리 장치는 가중평균 값을 이용하여 화질 제어 인자의 세기를 결정할 수 있다. 화질 제어 인자는 색상, CE(Contrast Enhancement), DE (Detail Enhancement) 등을 포함할 수 있다. 예를 들어, 영상 처리 장치는 가중평균 값에 비례하여 화질 제어 인자의 세기를 결정할 수 있다. 가중평균 값이 크다는 것은 해당 영상이 스포츠일 가능성이 높다는 것이고 따라서 화질 제어 인자의 세기를 크게 해서 스포츠 영상의 화질에 적절하도록 처리하고, 가중평균 값이 작다는 것은 해당 영상이 스포츠일 가능성이 작다는 것이고 따라서 화질 제어 인자의 세기를 작게 해서 화질 저하를 방지할 수 있다.
일 예에 따라 영상 처리 장치는 1회의 가중평균 값을 이용하여 화질 제어 인자 세기를 결정할 수 있다.
일 예에 따라 영상 처리 장치는 복수회의 가중평균 값을 이용하여 화질 제어 인자 세기를 결정할 수 있다. 즉, 영상 처리 장치는 미리 정해진 시간 동안 또는 미리 정해진 개수의 영상 프레임으로부터 획득한 복수회의 가중평균 값이 소정 기준을 만족하는 경우에 화질 제어 인자 세기를 결정할 수 있다.
동작 940에서, 영상 처리 장치는 현재 프레임의 화질 제어 인자 세기와 이전 프레임의 화질 제어 인자 세기의 차이가 일정값을 넘지 않도록 현재 프레임의 화질 제어 인자의 세기를 보정할 수 있다.
영상 처리 장치는 현재 프레임에 대해서 결정된 화질 제어 인자 세기가 이전 프레임에 대해서 결정된 화질 제어 인자 세기와 차이가 크면 화질 제어 인자의 세기를 조정할 수 있다. 이는 이전 프레임의 화질 제어 인자 세기와 현재 프레임의 화질 제어 인자 세기의 차이가 크면 화질 제어에 급격한 변화를 가져와서 오히려 사용자에게 영상을 볼 때 불편한 느낌을 줄 수 있으므로 이를 방지하기 위한 것이다.
예를 들어 영상 처리 장치는 이전 프레임의 화질 제어 인자 세기와 현재 프레임의 화질 제어 인자 세기의 차이에 최대값을 설정하여, 차이가 최대값을 넘어가면, 차이가 최대값을 넘지 않도록 현재 프레임의 화질 제어 인자 세기를 조정할 수 있다. 예를 들어, 영상 처리 장치가 이전 프레임의 화질 제어 인자 세기와 현재 프레임의 화질 제어 인자 세기의 차이의 최대값을 0.2로 설정했을 때, 실제 이전 프레임의 화질 제어 인자 세기는 0.7이고 현재 프레임의 화질 제어 인자 세기가 0.4이어서 차이가 0.2를 초과하면, 영상 처리 장치는 차이가 0.2를 초과하지 않도록, 현재 프레임의 화질 제어 인자 세기를 0.5로 보정할 수 있다.
동작 950에서, 영상 처리 장치는 수신된 영상에 보정된 화질 제어 인자 세기를 기초로 화질 처리를 수행할 수 있다.
영상 처리 장치는 수신된 이미지에 동작 940에서 보정된 화질 제어 인자 세기를 반영하여 화질 처리를 수행하고 화질 처리된 영상을 출력할 수 있다.
도 10은 일 실시예에 따라 이전 프레임의 신뢰도 정보와 현재 프레임 신뢰도 정보간의 가중 평균값에 의하여 스포츠 제어 가중치 값이 변화하는 모습을 도시한다.
도 10을 참조하면, 프레임(0)는 첫 프레임으로서 이전 프레임이 존재하지 않는다. 스포츠 제어 가중치는 예를 들어, 이전 프레임의 스포츠 컨텐츠 신뢰도에 제1 가중값을 곱하고 현재 프레임의 스포츠 컨텐츠 신뢰도에 제2 가중값을 곱하고, 이 둘의 평균을 구함으로써 얻을 수 있다. 제1 가중값과 제2 가중값은 시스템에 따라 다양하게 결정될 수 있다.
프레임의 스포츠 제어 가중치
= 이전 프레임의 스포츠 제어 신뢰도*제1가중치 + 현재 프레임의 스포츠 제어 신뢰도*제2가중치
프레임(0)는 첫번째 프레임으로서 이전 프레임이 존재하지 않으므로, 프레임(0)에 대한 스포츠 제어 가중치는 프레임(0)의 스포츠 컨텐츠 신뢰도와 동일한 값을 나타낼 수 있다.
프레임(1)의 현재 프레임인 프레임 (1)의 스포츠 컨텐츠 신뢰도는 0.53이지만, 이전 프레임인 프레임(0)의 스포츠 컨텐츠 신뢰도인 0.79와 가중평균함으로써 프레임(1)의 스포츠 제어 가중치는 0.73을 나타낸다. 본 예에서는 이전 프레임 가중값을 3/4, 현재 프레임 가중값을 1/4 로 할 수 있다. 따라서 프레임(1)의 스포츠 제어 가중치는 다음과 같이 계산될 수 있다.
프레임(1)의 스포츠 제어 가중치
= 프레임(0)의 스포츠 제어 신뢰도*제1가중치 (3/4)+ 프레임(1)의 스포츠 제어 신뢰도*제2가중치(1/4)
= 0.79*(3/4) + 0.53*(1/4)
=0.73
프레임(2)에서 일반 컨텐츠 신뢰도가 0.76 이고 스포츠 컨텐츠 신뢰도가 0.24로서, 스포츠 장르가 일반 컨텐츠로서 오인식 되는데, 이 경우에도 스포츠 컨텐츠 인식 확률 0.24를 제어 인자의 가중치로 사용하지 않고, 이전 프레임과의 가중 평균값 (이전 프레임 가중 값 3/4, 현재프레임 가중 값 1/4의 경우) 인 0.46을 스포츠 제어 가중치로 함으로써 이전 프레임인 프레임(1)의 스포츠 제어 가중치 0.73 대비 큰 차이가 나지 않도록 할 수 있다. 따라서, 특정 프레임, 즉, 본 예에서 프레임(2)의 오류로 인한 화질 저하를 저감할 수 있다.
또한 다른 예로서, 현재 프레임의 스포츠 제어 가중치가 여전히 이전 프레임의 스포츠 제어 가중치 대비 차이가 크게 날 경우, 그 차이를 일정 크기 (예를 들어 0.1) 이하로 조정할 수 있다. 예를 들어, 프레임(2)의 경우 프레임(1)과의 스포츠 제어 가중치 차이가 (0.73-0.46) 이므로, 차이가 0.1 보다 크므로, 프레임(2)의 스포츠 제어 가중치를 의도적으로 0.63 으로 조정함으로써 프레임간의 급격한 제어 인자 세기 변화를 줄일 수도 있다.
도 11은 일 실시예에 따라 장르 인식 신뢰도 값 이외에 색상 확률 분포 정보를 더 이용하여 화질 제어 인자 세기를 결정하는 방법의 과정을 나타내는 흐름도이다. 도 9에서의 동작과 중복되는 동작에 대한 설명은 생략하기로 한다.
도 11을 참조하면, 동작 1110에서, 영상 처리 장치는 입력된 영상의 장면 분류 및 객체 인식을 통한 스포츠 장르를 인식할 수 있다.
영상 처리 장치는 입력 영상 프레임을 분석하여 해당 입력 영상 프레임에 대해서 해당 입력 영상 프레임이 스포츠 장르일 확률을 나타내는 스포츠 인식 신뢰도 및 해당 입력 영상 프레임이 스포츠 장르가 아닌 일반 영상 장르일 확률을 나타내는 일반 인식 신뢰도를 획득할 수 있다.
동작 1120에서, 영상 처리 장치는 이전 프레임의 스포츠 인식 신뢰도 및 현재 프레임의 스포츠 인식 신뢰도를 기초로 가중평균 값을 획득할 수 있다.
동작 1130에서, 영상 처리 장치는 주요 색상 정보의 확률 비율에 따라 색상별 가중치를 계산할 수 있다.
색상 확률 분포는 입력 영상의 주요 대표색상 분포를 얻기 위해서 HSV 색 좌표에서 특정 Hue 구간의 확률 분포를 일 실시 예로 활용할 수 있다. 다음의 표 1는 각각의 Hue 구간에 따른 대표 색상을 정의한 것인데, 예를 들어 축구 경기에서는 그린(Green) 색상이 높게 나올 것으로 예상되므로 해당 Hue 값 구역의 확률이 높게 나올 수 있다.
Hue 값 분포 대표 색상
(Hue >= 0 and Hue<15) or (Hue >=165 and Hue<180) Red
Hue >= 15 and Hue<36 Yellow
Hue >= 36 and Hue < 86 Green
Hue >= 86 and Hue < 105 Cyan
Hue >=105 and Hue <135 Blue
Hue >= 35 and Hue < 165 Magenta
만약 특정 색상의 채도를 강화하는 방식으로 장르 별 화질을 제어하고자 한다면, 해당 색상의 확률 분포 크기에 비례하여 채도의 강도를 조절 할 수 있다. 예를 들어 입력 영상 장면이 축구 경기로 인식되었다면, 장르 인식 관련 신뢰도에 추가하여 장면 내에 녹색의 확률 분포를 고려하여 녹색의 비율이 높을 경우에 해당 녹색의 채도의 세기를 추가로 높여 화질을 차별화 할 수 있다.
동작 1140에서, 영상 처리 장치는 신뢰도 가중평균 값 및 색상별 가중치를 이용하여 색상별 제어 인자 세기를 결정할 수 있다.
영상 처리 장치는 스포츠 신뢰도 가중평균 값이 큰 경우에 해당 영상이 스포츠일 가능성이 높다는 것이므로 화질 제어 인자의 세기를 크게 하는데, 이에 더하여 색상별 가중치를 더 이용하여 색상별 제어 인자 세기를 결정할 수 있다.
예를 들어, 축구나 야구 경기와 같은 입력 영상에서 그린 색상 분포가 높게 나왔다면 녹색의 채도의 세기를 추가적으로 높게 할 수 있다. 또한, 수영 경기와 같은 입력 영상에서 블루 색상 분포가 높게 나왔다면 파랑색의 채도의 세기를 추가적으로 높게 할 수 있다. 예를 들어, 빙상 경기와 같은 입력 영상에서 화이트 색상 분포가 높게 나왔다면 하얀색의 채도의 세기를 추가적으로 높게 할 수 있다.
동작 1150에서, 영상 처리 장치는 현재 프레임의 화질 제어 인자 세기와 이전 프레임의 화질 제어 인자 세기의 차이가 일정값을 넘지 않도록 세기를 보정할 수 있다.
영상 처리 장치는 또한 현재 프레임에 대해서 결정된 화질 제어 인자 세기가 이전 프레임에 대해서 결정된 화질 제어 인자 세기와 차이가 크면 화질 제어 인자의 세기를 조정할 수 있다. 이는 이전 프레임의 화질 제어 인자 세기와 현재 프레임의 화질 제어 인자 세기의 차이가 크면 화질 제어의 급격한 변화를 가져와서 오히려 사용자에게 영상을 볼 때 불편한 느낌을 줄 수 있으므로 이를 방지하기 위한 것이다.
동작 1160에서, 영상 처리 장치는 수신된 영상에 보정된 화질 제어 인자 세기를 기초로 화질 처리를 수행할 수 있다.
영상 처리 장치는 수신된 이미지에 동작 1160에서 보정된 화질 제어 인자 세기를 반영하여 화질 처리를 수행하고 화질 처리된 이미지를 출력할 수 있다.
도 12는 일 실시예에 따라 장면 전환 구간을 고려하여 장르 인식 신뢰도에 따른 화질 제어 동작의 흐름도를 도시한다.
도 12를 참조하면, 동작 1210에서, 영상 처리 장치는 입력된 영상의 장면 분류 및 객체 인식을 통한 스포츠 장르를 인식할 수 있다.
영상 처리 장치는 입력 영상 프레임을 분석하여 해당 입력 영상 프레임에 대해서 해당 입력 영상 프레임이 스포츠 장르일 확률을 나타내는 스포츠 인식 신뢰도 및 해당 입력 영상 프레임이 스포츠 장르가 아닌 일반 영상 장르일 확률을 나타내는 일반 인식 신뢰도를 획득할 수 있다.
동작 1220에서, 영상 처리 장치는 현재 프레임 영상이 장면 전환 영상인지를 판단할 수 있다.
현재 프레임이 이전 프레임 영상과 특성이 다른 장면 전환 영상이라고 하면, 이전 프레임과 영상 특성이 크게 다르다고 할 수 있다. 이와 같이 장면 전환 영상인 경우에는, 이전 프레임 영상과는 관련성이 없는 영상일 가능성이 높으므로, 이전 프레임의 스포츠 인식 신뢰도 정보를 이용하여 현재 프레임의 장르 신뢰도를 결정하는 것이 바람직하지 않을 수 있다. 따라서, 장면 전환 영상이라고 판단된 경우에는 도 9와는 다르게 이전 프레임의 장르 인식 신뢰도와의 가중 값을 사용하는 대신, 현재 프레임의 장르 인식 신뢰도 값만으로 초기값으로 하여 화질 제어 인자 세기의 가중 값으로 사용하는 것이 바람직하다.
장면 전환 영상 여부를 분석 하기 위한 영상 분석은 영상 히스토그램을 일 실시 예로 사용할 수 있다. 현재 프레임의 밝기 값 정보에 대한 히스토그램 분포를 구하고 각각의 히스토그램 구간의 확률 분포의 값과 이전 프레임의 동일 구간의 히스토그램 확률 분포 값의 차이를 구한 뒤 이를 합하여 이 값이 어느 임계 값 이상인지 여부로 장면 전환 여부를 판단할 수 있다.
현재 프레임이 장면 전환 영상으로 판단된 경우에 동작 1230으로 진행하여, 영상 처리 장치는 현재 프레임의 스포츠 인식 신뢰도를 초기값으로 하여 가중평균 값을 획득할 수 있다.
현재 프레임이 장면 전환 영상이 아닌 것으로 판단된 경우에 동작 1240으로 진행하여, 영상 처리 장치는 이전 프레임의 스포츠 인식 신뢰도 및 현재 프레임의 스포츠 인식 신뢰도를 기초로 가중평균 값을 획득할 수 있다.
동작 1250에서, 영상 처리 장치는 가중평균 값을 이용하여 화질 제어 인자 세기를 결정할 수 있다.
영상 처리 장치는 가중평균 값을 이용하여 화질 제어 인자의 세기를 결정할 수 있다. 화질 제어 인자는 색상, CE(Contrast Enhancement), DE (Detail Enhancement) 등을 포함할 수 있다. 예를 들어, 영상 처리 장치는 가중평균 값에 비례하여 화질 제어 인자의 세기를 결정할 수 있다.
동작 1260에서, 영상 처리 장치는 현재 프레임의 화질 제어 인자 세기와 이전 프레임의 화질 제어 인자 세기의 차이가 일정값을 넘지 않도록 세기를 보정할 수 있다.
영상 처리 장치는 또한 현재 프레임에 대해서 결정된 화질 제어 인자 세기가 이전 프레임에 대해서 결정된 화질 제어 인자 세기와 차이가 크면 화질 제어 인자의 세기를 조정할 수 있다. 이는 이전 프레임의 화질 제어 인자 세기와 현재 프레임의 화질 제어 인자 세기의 차이가 크면 화질 제어의 급격한 변화를 가져와서 오히려 사용자에게 영상을 볼 때 불편한 느낌을 줄 수 있으므로 이를 방지하기 위한 것이다.
동작 1270에서, 영상 처리 장치는 수신된 영상에 보정된 화질 제어 인자 세기를 기초로 화질 처리를 수행할 수 있다.
영상 처리 장치는 수신된 영상에 동작 1260에서 보정된 화질 제어 인자 세기를 반영하여 화질 처리를 수행하고 화질 처리된 이미지를 출력할 수 있다.
도 13은 일 실시예에 따라 장면 전환 구간에서 장르 인식 신뢰도 및 색상 확률 분포에 따른 화질 처리 방법의 흐름도를 나타낸다.
도 13에 도시된 방법에서는 도 7의 장르 인식 신뢰도 값 이외에 색상 확률 분포 정보를 추가로 화질 제어 인자에 활용한다.
도 13을 참조하면, 동작 1310에서, 영상 처리 장치는 입력된 영상의 장면 분류 및 객체 인식을 통한 스포츠 장르를 인식할 수 있다.
동작 1320에서, 영상 처리 장치는 밝기 값 히스토그램 및 주요 색상 확률 분포를 분석할 수 있다.
영상 처리 장치는 밝기 히스토그램을 분석하여 장면 전환 영상인지를 판단하는데 이용할 수 있다.
동작 1330에서, 영상 처리 장치는 현재 프레임 영상이 장면 전환 영상이고, 주요 색상 정보의 변화가 큰 지를 판단할 수 있다.
동작 1320에서 분석한 밝기 히스토그램으로 장면 전환 여부를 판단함에도 불구하고 장면 내 주요 색상 분포는 유사할 수 있다. 이는 장면 전환 영상임에도 불구하고 주요 색상의 확률 분포는 유사할 수 있는데, 도 14의 프레임 (7)이 이에 해당한다.
현재 프레임이 장면 전환 영상이고 주요 색상 정보의 변화가 큰 경우에는 동작 1340으로 진행하여, 현재 프레임의 스포츠 인식 신뢰도를 초기값으로 하여 스포츠 제어 가중치를 구할 수 있다.
현재 프레임이 장면 전환 영상이고 주요 색상 정보의 변화가 큰 경우에는 현재 프레임 영상은 이전 프레임 영상과 장르가 완전히 다른 영상일 가능성이 높다. 이전 프레임 영상과 특성이 다른 장면 전환 영상이라고 하면, 이전 프레임과 영상 특성이 크게 다르다고 할 수 있다. 이와 같이 장면 전환 영상인 경우에는, 이전 프레임 영상과는 관련성이 없는 영상일 가능성이 높으므로, 이전 프레임의 스포츠 인식 신뢰도 정보를 이용하여 현재 프레임의 장르 신뢰도를 결정하는 것이 바람직하지 않을 수 있다. 따라서, 장면 전환 영상이라고 판단된 경우에는 이전 프레임의 장르 인식 신뢰도와의 가중 값을 사용하는 대신, 현재 프레임의 장르 인식 신뢰도 값만으로 초기값으로 하여 화질 제어 인자 세기의 가중 값으로 사용하는 것이 바람직하다.
예를 들어 도 14에 도시된 프레임(2)의 경우에, 장면 전환 영상이고 주요 색상 정보의 변화가 크게 나타남을 알 수 있다. 이러한 경우, 예를 들어 프레임 (1)까지는 영화와 같은 장르였지만 프레임(2) 부터는 스포츠 영상이 시작됨이 도시되어 있다. 이와 같이 영상의 장르 자체가 달라져서 장면 전환이 일어나는 경우에는 장면 전환 영상 이면서 주요 색상 정보의 변화가 크게 나타날 수 있다.
동작 1350에서, 영상 처리 장치는 주요 색상 정보의 확률 비율에 따라 색상별 가중치를 계산할 수 있다.
동작 1330에서, 현재 프레임이 장면 전환 영상이지만, 주요 색상정보의 변화가 크지 않은 것으로 판단된 경우에 동작 1360으로 진행하여, 영상 처리 장치는 이전 프레임의 스포츠 인식 신뢰도 및 현재 프레임의 스포츠 인식 신뢰도를 기초로 가중평균 값을 획득할 수 있다.
예를 들어, 도 14의 프레임(7)과 같이 장면 전환에도 불구하고 주요 색상 분포가 유사하면, 이는 이전 프레임과 현재 프레임이 장르가 다른 영상이 아니라 장르는 동일한 영상이지만 장면만 변화한 경우일 가능성이 크다. 이러한 경우에는 이전 프레임 영상과 현재 프레임 영상간에 영상의 장르는 동일하다고 판단되기 때문에 이전 프레임의 장르 인식 신뢰도 정보와 주요 색상 분포와의 가중 평균값을 화질 제어 인자 세기를 계산하는데 활용할 수 있다.
동작 1370에서, 영상 처리 장치는 주요 색상 정보의 확률 비율에 따라 색상별 가중치를 계산할 수 있다.
동작 1380에서, 영상 처리 장치는 신뢰도 가중평균 값 및 색상별 가중치를 이용하여 색상별 제어 인자 세기를 결정할 수 있다.
동작 1390에서, 영상 처리 장치는 현재 프레임의 화질 제어 인자 세기와 이전 프레임의 화질 제어 인자 세기의 차이가 일정값을 넘지 않도록 세기를 보정할 수 있다.
동작 1395에서, 영상 처리 장치는 수신된 이미지에 보정된 화질 제어 인자 세기를 기초로 화질 처리를 수행할 수 있다.
영상 처리 장치는 수신된 이미지에 동작 1390에서 보정된 화질 제어 인자 세기를 반영하여 화질 처리를 수행하고 화질 처리된 이미지를 출력할 수 있다.
도 14은 도 13에 도시된 동작 방법에 따른 장면 전환 구간에서 스포츠 장르 인식 신뢰도에 따른 화질 제어 인자 가중 값 계산의 일 실시 예를 도시한 것이다.
프레임(0)과 프레임(1)은 영화와 같은 영상으로서 스포츠 컨텐츠 신뢰도는 0.01로서 스포츠가 아닌 일반 영상으로 인식되었음이 표시되어 있다.
프레임 (2)는 주요 색상 분포가 달라져서 영상 처리 장치에 의해 장면 전환 영상으로서 인식될 수 있다. 따라서, 영상 처리 장치는 프레임(2)에 대해서 이전 프레임의 스포츠 컨텐츠 신뢰도를 이용하지 않고, 현재 프레임의 스포츠 컨텐츠 신뢰도 만을 이용하여 프레임 (2)의 스포츠 제어 가중치를 계산할 수 있다. 예를 들어 도 13에서, 프레임(2)의 스포츠 제어 가중치는 프레임(2)의 스포츠 컨텐츠 신뢰도 값과 동일한 0.84 임이 표시되어 있다. 따라서, 프레임(2)와 같은 장면 전환 영상에서 화질 제어 인자 세기의 결정에 이용되는 스포츠 제어 가중치의 값이 이전 프레임인 프레임(1)의 스포츠 제어 가중치와 큰 변화를 가져온다.
프레임 (7)는 장면이 변화되기는 했지만 주요 색상 분포가 달라지지 않은 것으로 판단하여 영상 처리 장치에 의해 장면 전환 영상으로서 인식되지 않을 수 있다. 따라서, 영상 처리 장치는 프레임(7)에 대해서 이전 프레임인 프레임(6)의 스포츠 컨텐츠 신뢰도와 프레임(7)의 스포츠 컨텐츠 신뢰도를 이용하여 스포츠 제어 가중치를 계산할 수 있다. 예를 들어 도 13에서, 프레임(6)의 스포츠 컨텐츠 신뢰도는 0.51이고, 프레임(7)의 스포츠 컨텐츠 신뢰도는 0.99 이다. 따라서, 예를 들어 제1가중치를 3/4 로 하고 제2가중치를 1/4로 하면, 프레임(7)의 스포츠 제어 가중치는 0.51*(3/4)+0.99*(1/4)로서, 0.63 이 나온다. 따라서, 프레임(7)은 비록 장면이 변화된 영상이기는 하지만, 이전 프레임(6)과 동일한 스포츠 영상으로서 장면 전환 영상으로는 인식되지 않았고 따라서 이전 프레임(6)의 스포츠 컨텐츠 신뢰도를 이용하여 스포츠 제어 가중치를 구함으로써 프레임(7)의 화질 제어 인자 세기의 결정에 이용되는 스포츠 제어 가중치의 값이 이전 프레임인 프레임(6)의 스포츠 제어 가중치와 크게 달라지는 것을 피할 수 있다.
도 15는 실시예들에 따른 화질 제어 인자의 예이다.
실시예들에 따라 화질 제어 인자는 색상 채도, 색 온도, 명암비 및 선명도를 포함할 수 있다.
도 15의 (a)는 색상 채도를 나타낸다.
색상 채도를 강하게 하면 주요 색상이 더 맑게 제어 된다.
특정 색의 새츄레이션 세기를 제어하여 색상을 강화시킬 수 있다. 예를 들어 스포츠 장르의 경우에 영상 처리 장치는 주요 색상 (그린, 옐로우, 블루, 화이트)을 강조하여 스포츠 종목 별 화질 차별화 제어가 가능하다.
도 15의 (b)는 색 온도를 나타낸다.
색 온도의 특정 구간에서 장르에 따라 색온도를 제어할 수 있다. 스포츠의 경우 청량한 화이트를 위해 색온도 세기를 증가시킬 수 있다. 색 온도 크기를 조절하면 전체 영상 톤을 따뜻하게 혹은 차게 변경이 가능하다.
도 15의 (c)는 명암비를 나타낸다.
영상 처리 장치는 CE (Contrast Enhancement) 단계에서 RGB 신호를 YCbCr 변환 후 Luminance 신호에 대해, 저계조, 고계조의 픽셀의 Contrast를 L_GAIN(저계조 Gain), H_GAIN(고계조 Gain) 인자 크기로 제어할 수 있다. L_GAIN이 크면 어두운 영역은 더욱 어둡게, H_GAIN이 크면 밝은 영역은 더욱 밝게 Contrast가 증가될 수 있다.
영상 처리 장치는 각각의 상대적인 세기를 컨텐츠 장르 특성에 따라 제어할 수 있다. 예를 들어, 스포츠 영상에서 강한 Gain값 적용으로 명암 비를 강조시킬 수 있다.
명암비 조절을 위한 저계조 및 고계조의 게인(Gain) 게인 값이 크면 저계조는 더 낮게 (어두운 곳은 더 어둡게), 고계조는 더 크게 (밝은 곳은 더 밝게) 조절이 된다. 게인 값이 낮으면 반대로 제어 된다.
도 15의 (d)는 선명도 제어 필터를 나타낸다.
DE(Detail Enhancement) 단계에서 overshoot 및 undershoot를 주는 (a)의 필터를 통해 윤곽이 선명하고 디테일이 향상되도록 제어하고, 도면 (b)와 같은 edge의 transition time을 줄여 선명한 윤곽선 제공이 가능하도록 제어되도록 한다.
도 16은 일 실시예에 따라 영상의 장르를 인식하는 프로세서의 구성을 나타내는 블록도이다. 영상의 장르를 인식하는 프로세서는 도 4에 도시된 장르 인식부 433 에 포함되거나, 장르 인식부 433의 외부에 별도의 프로세서로 구현되거나, 또는 영상 처리 장치 400의 외부 장치에 구현될 수도 있다.
도 16을 참조하면, 일 실시예에 따른 프로세서 1600는 데이터 학습부 1610 및 데이터 처리부 1620를 포함할 수 있다.
데이터 학습부 1610는 일 실시예에 따른 뉴럴 네트워크를 학습시키기 위하여, 입력 영상으로부터 영상의 장르 인식 신뢰도를 획득하기 위한 기준을 학습할 수 있다. 데이터 학습부 1610는 영상의 장르 인식 신뢰도를 획득하기 위해 영상의 어떤 정보(예를 들어, 특징 정보)를 이용하는지에 관한 기준을 학습할 수 있다. 또한, 데이터 학습부 1610는 영상의 특징 정보를 이용하여, 어떻게 장르 인식 신뢰도를 획득할지에 관한 기준을 학습할 수 있다. 데이터 학습부 1610는 학습에 이용될 데이터(예를 들어, 영상)를 획득하고, 획득된 데이터를 데이터 처리 모델(뉴럴 네트워크)에 적용함으로써, 이미지로부터 장르 인식 신뢰도를 획득하기 위한 기준을 학습할 수 있다.
데이터 처리 모델들은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 처리 모델들은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 처리 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
또한, 데이터 학습부 1610는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 처리 모델들을 학습시킬 수 있다.
또한, 데이터 처리 모델이 학습되면, 데이터 학습부 1610는 학습된 데이터 처리 모델을 저장할 수 있다. 이 경우, 데이터 학습부 1610는 학습된 데이터 처리 모델들을 디스플레이 장치의 메모리에 저장할 수 있다. 또는, 데이터 학습부 1610는 학습된 데이터 처리 모델을 디스플레이 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 처리 모델이 저장되는 메모리는, 예를 들면, 영상 처리 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
데이터 처리부 1620는 학습된 뉴럴 네트워크를 포함하는 데이터 처리 모델에 이미지를 입력하고, 데이터 처리 모델은 결과값으로 영상에 대응하는 장르 인식 신뢰도 정보를 출력할 수 있다. 출력된 결과 값은 뉴럴 네트워크를 포함하는 데이터 처리 모델을 업데이트하는데 이용될 수 있다.
데이터 학습부 1620 및 데이터 처리부 1610중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디스플레이 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부 1610 및 데이터 처리부 1620 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부 1610 및 데이터 처리부 1620는 하나의 영상 처리 장치에 탑재될 수도 있으며, 또는 별개의 영상 처리 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부 1610 및 데이터 처리부 1620 중 하나는 영상 처리 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부 1610 및 데이터 처리부 1620는 유선 또는 무선으로 통하여, 데이터 학습부 1610가 구축한 모델 정보를 데이터 처리부 1620로 제공할 수도 있고, 데이터 처리부 1620로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부 1610로 제공될 수도 있다.
한편, 데이터 학습부 1610 및 데이터 처리부 1620중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부 1610 및 데이터 처리부 1620 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
일 실시예에 따른 영상 처리 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

  1. 영상 처리 장치에 있어서,
    영상 프레임들을 디코딩하는 디코더;
    이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정하는 화질 제어부; 및
    상기 디코딩된 하나 이상의 영상 프레임들에 상기 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력하는 화질 처리부를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 화질 제어부는,
    상기 이전 영상 프레임의 장르 인식 신뢰도와 상기 현재 영상 프레임의 장르 인식 신뢰도의 가중 평균값을 획득하고,
    상기 가중 평균값을 이용하여 상기 화질 제어 인자 세기를 결정하는, 영상 처리 장치.
  3. 제1항에 있어서,
    상기 화질 제어부는,
    상기 현재 영상 프레임에 대해 결정된 상기 화질 제어 인자 세기와 상기 이전 영상 프레임에 대해 결정된 이전 화질 제어 인자 세기의 차이가 임계값을 넘지 않도록 상기 화질 제어 인자 세기를 보정하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 화질 제어부는,
    미리 정해진 시간 동안 수신된 영상 프레임들로부터 동일 장르가 반복되는 경우, 이 반복되는 동일 장르를 새로운 장르로 인식하고,
    상기 새로운 장르 인식에 따라 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득하는, 영상 처리 장치.
  5. 제1항에 있어서,
    상기 화질 제어부는,
    상기 이전 영상 프레임의 주요 색상 확률 분포 및 상기 현재 영상 프레임의 주요 색상 확률 분포를 더 이용하여 상기 화질 제어 인자 세기를 결정하는, 영상 처리 장치.
  6. 제5항에 있어서,
    상기 화질 제어부는,
    상기 이전 영상 프레임의 주요 색상 확률 크기 및 상기 현재 영상 프레임의 주요 색상 확률 크기의 가중 평균값을 획득하고,
    상기 장르 인식 신뢰도의 가중 평균값 및 상기 주요 색상 확률 크기의 가중 평균값을 이용하여 색상 제어 인자 세기를 결정하고,
    상기 영상 프레임에 상기 색상 제어 인자 세기를 이용하여 화질 처리를 수행하는, 영상 처리 장치.
  7. 제1항에 있어서,
    상기 화질 제어부는,
    상기 현재 영상 프레임이 장면 전환 프레임인지를 판단하고,
    상기 현재 영상 프레임이 장면 전환 프레임이면, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하는, 영상 처리 장치.
  8. 제1항에 있어서,
    상기 화질 제어부는,
    상기 현재 영상 프레임이 장면 전환 프레임인지 및 상기 현재 영상 프레임의 주요 색상 정보의 변화가 임계치를 넘는지 판단하고,
    상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하고,
    상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘지 않는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하는, 영상 처리 장치.
  9. 제1항에 있어서,
    상기 화질 제어부는,
    하나 이상의 뉴럴 네트워크를 이용하여 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득하는, 영상 처리 장치.
  10. 영상 처리 방법에 있어서,
    영상 프레임들을 디코딩하는 동작;
    이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정하는 화질 제어 동작; 및
    상기 디코딩된 하나 이상의 영상 프레임들에 상기 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력하는 동작을 포함하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 화질 제어 동작은,
    상기 이전 영상 프레임의 장르 인식 신뢰도와 상기 현재 영상 프레임의 장르 인식 신뢰도의 가중 평균값을 획득하는 동작; 및
    상기 가중 평균값을 이용하여 상기 화질 제어 인자 세기를 결정하는 동작을 포함하는, 영상 처리 방법.
  12. 제10항에 있어서,
    상기 화질 제어 동작은,
    상기 현재 영상 프레임에 대해 결정된 상기 화질 제어 인자 세기와 상기 이전 영상 프레임에 대해 결정된 이전 화질 제어 인자 세기의 차이가 임계값을 넘지 않도록 상기 화질 제어 인자 세기를 보정하는 동작을 포함하는, 영상 처리 방법.
  13. 제10항에 있어서,
    상기 화질 제어 동작은,
    미리 정해진 시간 동안 수신된 영상 프레임들로부터 동일 장르가 반복되는 경우, 이 반복되는 동일 장르를 새로운 장르로 인식하는 동작; 및
    상기 새로운 장르 인식에 따라 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득하는 동작을 포함하는, 영상 처리 방법.
  14. 제10항에 있어서,
    상기 화질 제어 동작은,
    상기 이전 영상 프레임의 주요 색상 확률 분포 및 상기 현재 영상 프레임의 주요 색상 확률 분포를 더 이용하여 상기 화질 제어 인자 세기를 결정하는 동작을 포함하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 화질 제어 동작은,
    상기 이전 영상 프레임의 주요 색상 확률 크기 및 상기 현재 영상 프레임의 주요 색상 확률 크기의 가중 평균값을 획득하는 동작; 및
    상기 장르 인식 신뢰도의 가중 평균값 및 상기 주요 색상 확률 크기의 가중 평균값을 이용하여 색상 제어 인자 세기를 결정하는 동작을 포함하고,
    상기 화질 처리 동작은,
    상기 영상 프레임에 상기 색상 제어 인자 세기를 이용하여 화질 처리를 수행하는 동작을 포함하는, 영상 처리 방법.
  16. 제10항에 있어서,
    상기 화질 제어 동작은,
    상기 현재 영상 프레임이 장면 전환 프레임인지를 판단하는 동작; 및
    상기 현재 영상 프레임이 장면 전환 프레임이면, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하는 동작을 포함하는, 영상 처리 방법.
  17. 제10항에 있어서,
    상기 화질 제어 동작은,
    상기 현재 영상 프레임이 장면 전환 프레임인지 및 상기 현재 영상 프레임의 주요 색상 정보의 변화가 임계치를 넘는지 판단하는 동작;
    상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도를 최소값으로 설정하고, 상기 최소값으로 설정된 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하는 동작; 및
    상기 현재 영상 프레임이 장면 전환 프레임이고 주요 색상 정보의 변화가 임계치를 넘지 않는 경우, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 상기 화질 제어 인자 세기를 결정하는 동작을 포함하는, 영상 처리 방법.
  18. 제10항에 있어서,
    상기 화질 제어 방법은,
    하나 이상의 뉴럴 네트워크를 이용하여 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 획득하는 동작을 포함하는, 영상 처리 방법.
  19. 영상 처리 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 영상 처리 방법은,
    영상 프레임들을 디코딩하는 동작;
    이전 영상 프레임의 장르 인식 신뢰도 및 현재 영상 프레임의 장르 인식 신뢰도를 획득하고, 상기 이전 영상 프레임의 장르 인식 신뢰도 및 상기 현재 영상 프레임의 장르 인식 신뢰도를 기초로 화질 제어 인자 세기를 결정하는 화질 제어 동작; 및
    상기 디코딩된 하나 이상의 영상 프레임들에 상기 화질 제어 인자 세기를 이용하여 화질 처리를 수행하고 출력하는 동작을 포함하는, 컴퓨터 프로그램 제품.
KR1020180141949A 2018-11-16 2018-11-16 영상 처리 장치 및 그 동작 방법 KR102644126B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180141949A KR102644126B1 (ko) 2018-11-16 2018-11-16 영상 처리 장치 및 그 동작 방법
PCT/KR2019/015567 WO2020101398A1 (en) 2018-11-16 2019-11-14 Image processing apparatus and method thereof
US16/685,553 US11138437B2 (en) 2018-11-16 2019-11-15 Image processing apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141949A KR102644126B1 (ko) 2018-11-16 2018-11-16 영상 처리 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20200057474A true KR20200057474A (ko) 2020-05-26
KR102644126B1 KR102644126B1 (ko) 2024-03-07

Family

ID=70726393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141949A KR102644126B1 (ko) 2018-11-16 2018-11-16 영상 처리 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11138437B2 (ko)
KR (1) KR102644126B1 (ko)
WO (1) WO2020101398A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227160B2 (en) * 2019-11-15 2022-01-18 International Business Machines Corporation Detecting scene transitions in video footage
JP2022051008A (ja) * 2020-09-18 2022-03-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7488002B2 (ja) * 2021-01-20 2024-05-21 Ｔｖｓ Ｒｅｇｚａ株式会社 映像処理装置、映像処理装置の作動方法および映像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080001364A (ko) * 2006-06-29 2008-01-03 주식회사 대우일렉트로닉스 텔레비전의 음향효과 조절장치 및 그 방법
KR20100068529A (ko) * 2008-12-15 2010-06-24 한국전자통신연구원 장면 전환 검출 시스템 및 방법
KR20150104347A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20160035106A (ko) * 2014-09-19 2016-03-31 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록매체
KR20160084635A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 영상 출력을 위한 디스플레이 장치 및 방법
US20170295317A1 (en) * 2016-04-11 2017-10-12 Microsoft Technology Licensing, Llc Adaptive output correction for digital image capture processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP764398A0 (en) * 1998-12-11 1999-01-14 Canon Kabushiki Kaisha Method and apparatus for computing the similarity between images
US20080019669A1 (en) * 2006-07-18 2008-01-24 Sahra Reza Girshick Automatically editing video data
JP5227502B2 (ja) 2006-09-15 2013-07-03 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法、液晶表示装置及び電子機器
JP5084615B2 (ja) 2008-06-03 2012-11-28 三菱電機株式会社 画像表示装置
US8594385B2 (en) * 2011-04-19 2013-11-26 Xerox Corporation Predicting the aesthetic value of an image
US9300933B2 (en) * 2013-06-07 2016-03-29 Nvidia Corporation Predictive enhancement of a portion of video data rendered on a display unit associated with a data processing device
WO2015170410A1 (ja) * 2014-05-09 2015-11-12 日立マクセル株式会社 映像再生装置、表示装置及び送信装置
US10009657B2 (en) 2014-10-01 2018-06-26 Lg Electronics Inc. Image display apparatus
KR102147214B1 (ko) * 2014-10-01 2020-08-24 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9466094B1 (en) * 2015-03-26 2016-10-11 Sony Corporation Method to improve video quality under low light conditions
KR101717733B1 (ko) 2015-11-20 2017-03-17 광운대학교 산학협력단 Hdr 이미지 처리 장치 및 방법
ES2945713T3 (es) 2016-09-21 2023-07-06 Gumgum Inc Modelos de aprendizaje automático para identificar objetos representados en datos de imagen o vídeo
US10402698B1 (en) * 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080001364A (ko) * 2006-06-29 2008-01-03 주식회사 대우일렉트로닉스 텔레비전의 음향효과 조절장치 및 그 방법
KR20100068529A (ko) * 2008-12-15 2010-06-24 한국전자통신연구원 장면 전환 검출 시스템 및 방법
KR20150104347A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20160035106A (ko) * 2014-09-19 2016-03-31 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록매체
KR20160084635A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 영상 출력을 위한 디스플레이 장치 및 방법
US20170295317A1 (en) * 2016-04-11 2017-10-12 Microsoft Technology Licensing, Llc Adaptive output correction for digital image capture processing

Also Published As

Publication number Publication date
KR102644126B1 (ko) 2024-03-07
US11138437B2 (en) 2021-10-05
US20200160062A1 (en) 2020-05-21
WO2020101398A1 (en) 2020-05-22

Similar Documents

Publication Publication Date Title
US9927867B2 (en) Method and apparatus for processing an image based on detected information
JP5492087B2 (ja) コンテンツベースの画像調整
US11138437B2 (en) Image processing apparatus and method thereof
US8514293B2 (en) Moving image processing device and method for performing different image processings to moving object region and still object region
US7003153B1 (en) Video contrast enhancement through partial histogram equalization
US20050207669A1 (en) Method, system, and program for correcting the image quality of a moving image
WO2021244440A1 (zh) 电视画质调整方法、装置和系统及电视机设备
CN105144233A (zh) 用于运动重影滤波的参考图像选择
JP2002262303A (ja) 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム
US20180007260A1 (en) Image capturing apparatus, image processing apparatus, and control methods thereof
EP3306915B1 (en) Method and apparatus for controlling image data
US20130039577A1 (en) Method for improving image quality
JP2002232728A (ja) 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置および画像処理方法
US20020140864A1 (en) System and method for performing segmentation-based enhancements of a video image
CN110310231B (zh) 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法
CN113297937B (zh) 一种图像处理方法、装置、设备及介质
CN113012188A (zh) 图像融合方法、装置、计算机设备和存储介质
JP5327766B2 (ja) デジタル画像における記憶色の修正
EP3905135A1 (en) Edge learning display device and method
CN112383818A (zh) 一种智能电视系统及其智能控制方法
JP2002369004A (ja) 画像処理装置と画像出力装置と画像処理方法及び記憶媒体
US20230403446A1 (en) Image display device and image display method
US20160155413A1 (en) Method and apparatus for processing image based on detected information
US20210029306A1 (en) Magnification enhancement of video for visually impaired viewers
US20230186612A1 (en) Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right