KR20180119753A - 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 - Google Patents

압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 Download PDF

Info

Publication number
KR20180119753A
KR20180119753A KR1020170053284A KR20170053284A KR20180119753A KR 20180119753 A KR20180119753 A KR 20180119753A KR 1020170053284 A KR1020170053284 A KR 1020170053284A KR 20170053284 A KR20170053284 A KR 20170053284A KR 20180119753 A KR20180119753 A KR 20180119753A
Authority
KR
South Korea
Prior art keywords
image
information
machine learning
learning algorithm
compression
Prior art date
Application number
KR1020170053284A
Other languages
English (en)
Other versions
KR102053242B1 (ko
Inventor
강현인
강지홍
Original Assignee
강현인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강현인 filed Critical 강현인
Priority to KR1020170053284A priority Critical patent/KR102053242B1/ko
Priority to PCT/KR2018/002470 priority patent/WO2018199459A1/ko
Publication of KR20180119753A publication Critical patent/KR20180119753A/ko
Application granted granted Critical
Publication of KR102053242B1 publication Critical patent/KR102053242B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G06N99/005—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 압축정보에 대응되는 최적의 모델을 적용하여 영상 복원력 및 압축률을 현저히 개선시킬 수 있고, 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을 구성하는데 있어서, 압축정보에 따라 서로 다른 가중치를 부여함으로써 특정영역에 대한 영상복원을 정밀하게 수행할 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.

Description

압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법{Machine learning algorithm using compression parameter for image reconstruction and image reconstruction method therewith}
본 발명은 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법에 관한 것으로서, 상세하게로는 영상 부호화 및 복호화 과정에서 압축정보를 활용하여 영상을 복원함과 동시에 머신러닝(Machine learning)을 통해 압축정보에 대응되는 최적의 복원방법을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원력 및 압축률을 개선시킬 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
콘텐츠 산업이 확장되고, 디스플레이 기술이 발달함에 따라 영상 압축기술에 대한 연구가 활발하게 진행되고 있다.
특히 최근 들어 HD(High Definition) 해상도를 갖는 방송 서비스가 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있고, 이에 따라 높은 해상도, 고화질 영상을 구축하기 위한 차세대 영상기기 및 고화질 영상 압축기술에 대한 관심이 급증하고 있다.
현재 압축표준으로는 JPEG, H.264, MPEG2, HEVC 등이 있고, 이러한 압축표준의 압축과정을 살펴보면, 영상을 일정한 크기의 블록들로 분할한 후 분할된 각 블록 단위로 양자화(Quantization) 및 예측을 통해 데이터를 압축한다.
그러나 현재 압축표준은 분할된 블록들을 기준으로 영상 예측 및 양자화가 이루어지기 때문에 압축 시 블록들 사이의 경계면이 열화되는 현상이 발생한다.
이러한 문제점을 해결하기 위한 방안으로는 루프필터, Adaptive deblocking filter, Sample adaptive offset filter 기술이 연구되어 사용되고 있으나, 이러한 종래의 방안은 단순히 다양한 연구 및 실험에 의해 결정된 소수의 파라미터만을 이용하여 영상필터를 수행하도록 구성된다.
일반적으로 영상 필터는 압축방식, 블록 크기 및 수량, 설정값 등의 다양한 조건에 따라 최적의 파라미터 값이 적용되어야 하나, 종래에는 고정된 소수의 파라미터 값들만을 이용하여 영상 복원이 이루어지기 때문에 복원 영상의 화질이 떨어지는 구조적 한계를 갖는다.
특히 HEVC(High Efficiency Video Coding) 등의 비디오 압축의 경우 복원영상을 인접한 프레임에서 참조 영상으로 활용하여 부호화하기 때문에 복원 영상의 화질이 떨어질수록 압축률이 낮아지게 된다.
도 1은 H. 264의 복호화 구조도를 나타내는 블록도이다.
도 1의 H. 264(100)는 가로 세로 16×16 화소 크기의 매크로블록(Macroblock)을 단위로 데이터를 처리하며, 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화가 수행되어 재구성된 영상을 출력한다.
또한 인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다.
또한 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측블록을 더하여 재구성된 블록을 생성하는 것이다.
또한 H.264(100)의 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행된다.
또한 H.264(100)는 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.
또한 엔트로피 복호화 과정에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력하고, 양자화된 계수를 역양자화과정과 역변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터를 통해 블록킹 현상(Blocking Artifact)을 제거한 후, 참조 영상 버퍼에 저장한다.
그러나 종래의 H.264(100)에서, 블록킹 현상(Blocking Artifact)을 제거하기 위해 적용된 디블록킹 필터는 기 설정된 소수의 파라미터 값들만을 이용하여 영상 복원을 수행하기 때문에 압축의 다양한 조건 및 열화된 영상의 특성에 대응하지 못하는 구조적 한계를 갖는다.
본 발명은 이러한 문제를 해결하기 위한 것으로서, 본 발명의 해결과제는 압축정보 및 열화 영상을 입력데이터로 하며, 압축으로 훼손되기 이전의 영상인 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 학습된 모델에 입력된 압축정보를 적용하여 영상 복원력을 현저히 개선시킬 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을 구성하는데 있어서, 블록의 크기, 블록의 인터/인트라 예측 모드, 양자화 파라미터 등에 따라 블록단위로 서로 다른 가중치를 부여함으로써 특정 영역에 대한 영상복원을 정밀하게 수행할 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 머신러닝 알고리즘에 의하여 복원 영상의 화질이 개선되는 특성을 감안하여 영상 부호화 단계에도 적용되도록 구성됨으로써 영상 부호화 시 개선된 화질의 복원 영상이 인접 프레임 영상의 예측에 활용되기 때문에 압축률을 높일 수 있는 머신러닝 알고리즘 및 이를 이용한 영상 복원방법을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 영상 압축에 의해 열화된 영상을 복원시키기 위한 영상 복원방법에 있어서: 상기 영상 복원방법은 기 설정된 머신러닝 알고리즘(Machine learning algorithm)을 이용하여 압축정보, 열화영상 및 원본영상으로부터 영상 화질을 향상시키기 위한 최적의 머신러닝 파라미터 값들의 집합을 도출하는 학습(Training) 단계; 압축된 데이터로부터 복호화하는 과정에서 재구성되는 열화영상 및 압축정보를 상기 머신러닝 알고리즘의 입력값으로 하여 상기 학습단계에서 결정된 파라미터 값들의 집합을 적용하여 영상 화질을 복원하는 추론(Inference) 단계를 포함하는 것이다.
또한 본 발명에서 상기 머신러닝 알고리즘은 상기 열화 영상과 상기 원본 영상 사이의 차이값을 산출한 후 산출된 차이값을 줄이기 위한 목적 함수(loss function)를 적용하였고, 상기 목적함수는 상기 압축정보에서 영상 부호화의 단위인 영상분할 정보, 양자화 파라미터, 인트라 예측정보 및 인터 예측정보 중 적어도 하나 이상의 정보에 따라 서로 다른 가중치를 부여한 후 차이값을 산출하는 것이 바람직하다.
또한 본 발명에서 상기 목적 함수는 다음의 수학식 1로 정의되는 것이 바람직하다.
[수학식 1]
Figure pat00001
L:목적함수, w:영상 폭, h:영상 높이, D:열화 영상, G:원본영상, Mi:‘0’ 또는 ‘1’의 값을 갖는 영상 크기의 행렬, Wi:가중치
또한 본 발명에서 상기 머신러닝 알고리즘은 공지된 H.262, HEVC의 압축표준으로 운용되는 영상 부호화기에 적용되어 공지된 디블록킹 필터(Deblocking Filter), SAO(Sample AdaptiveOffset), ALF(Adaptive Loop Filter) 중 어느 하나를 대체하여 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것이 바람직하다.
또한 본 발명에서 상기 머신러닝 알고리즘은 영상 부호화기에 적용되어 기 설정된 방식으로 복원된 영상의 후처리로 적용되어 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것이 바람직하다.
또한 본 발명에서 상기 영상 부호화기는 영상 압축 시 영상을 부호화하는 단위인 블록의 구조정보인 영상분할 정보와, 인트라 예측모드(Intra prediction mode)에서 각 블록 단위로 결정된 인트라 예측정보와, 인터 예측 모드(Inter prediction mode)에서 결정된 움직임벡터(Motion vector) 정보와, 양자화 시 적용된 양자화 파라미터 정보를 생성하는 양자화 파라미터 정보 중 적어도 하나 이상을 포함하는 압축정보를 추출하는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 압축정보에 대응되는 최적의 모델을 적용하여 영상 복원력 및 압축률을 현저히 개선시킬 수 있다.
또한 본 발명에 의하면 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을 구성하는데 있어서, 블록의 크기, 블록의 인터/인트라 예측 모드, 양자화 파라미터 등에 따라 블록단위로 서로 다른 가중치를 부여함으로써 특정 영역에 대한 영상복원을 정밀하게 수행할 수 있게 된다.
또한 본 발명에 의하면 머신러닝 알고리즘에 의하여 복원 영상의 화질이 개선되는 특성을 감안하여 영상 부호화 단계에도 적용되도록 구성됨으로써 영상 부호화 시 개선된 화질의 복원 영상이 인접 프레임 영상의 예측에 활용되기 때문에 압축률을 높일 수 있다.
도 1은 H. 264의 복호화 구조도를 나타내는 블록도이다.
도 2는 본 발명을 설명하기 위한 통상적인 영상 부호화 장치를 나타내는 블록도이다.
도 3은 도 2의 감산기에 의해 압축정보가 추출되는 과정을 나타내는 블록도이다.
도 4는 본 발명의 일실시예인 영상 복원방법을 나타내는 플로차트이다.
도 5의 도 4의 학습단계에서 영상분할정보 중 HEVC의 영상분할 정보 중 하나인 블록 구조정보(CU)의 포맷팅을 설명하기 위한 예시도로서, (a)는 입력영상을 블록의 크기로 분할한 이미지를 나타내는 예시도이고, (b)는 (a)의 이미지의 경계면에 특정값을 마킹한 이미지를 나타내는 예시도이다.
도 6의 (a)는 CU 정보에 따라 블록들로 분할된 입력영상을 나타내는 예시도이고, (b)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (c)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (d)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이다.
도 7의 (a)는 원본 영상을 나타내는 예시도이고, (b)는 영상 압축과정에서 열화된 영상을 나타내는 예시도이고, (c)는 공지된 HEVC의 deblocking 필터 및 SAO로 복원된 영상을 나타내는 예시도이고, (d)는 본 발명에 의해 복원된 영상을 나타내는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명을 설명하기 위한 통상적인 영상 부호화 장치를 나타내는 블록도이다.
영상 부호화 장치(200)는 인터 예측 부호화, 즉 화면 간(inter-frame) 예측 부호화를 수행함으로써 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다.
따라서 양자화된 계수는 역양자화부(260)에서 역양자화되고 역변환부(270)에서 역변환되고, 역양자화 및 역변환된 계수는 가산기(275)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(280)를 거치고, 필터부(280)는 디블록킹 필터(deblocking filter), SAO(Sample AdaptiveOffset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다.
필터부(280)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡 또는 블록킹 아티팩트(blocking artifact)를 제거할 수 있다.
또한 감산기(225), 변환부(235) 및 양자화부(245)는 입력 블록과 생성된 예측블록의 차분에 의한 차이값을 검출한 후 검출된 차이값을 양자화하여 저장하는 방식으로 영상을 압축한다. 이때 압축된 영상이 저장되는 스트림에는 압축정보(차이값 및 차이값에 대한 정보)가 저장된다.
도 3은 도 2의 감산기에 의해 압축정보가 추출되는 과정을 나타내는 블록도이다.
감산기(225)는 압축정보 추출단계(S220)를 통해 압축정보를 추출한다.
압축정보 추출단계(S220)는 도 3에 도시된 바와 같이, 영상분할 정보 추출단계(2210)와, 인트라 예측정보 추출단계(S2220), 인터 예측정보 추출단계(S2230), 양자화 파라미터 정보 추출단계(S2230) 중 적어도 하나 이상을 포함한다.
영상분할 정보 추출단계(S2210)는 압축단계(S210)에 의한 영상 압축 시 영상을 부호화하는 단위인 블록의 구조정보인 영상분할 정보를 추출한다. 이때 영상분할 정보로는 CU(Coding Unit), PU(Prediction Unit), TU(Transform Unit) 정보 등을 포함한다.
이때 공지된 영상 부호화기(200)는 영상 압축 시 블록단위로 영상을 부호화하기 때문에 압축하는 과정 중 블록의 경계면에 블록킹 현상(Blocking Artifact)이 발생하는 문제점을 갖게 된다. 이에 따라 본 발명에서는 블록의 구조정보인 영상분할 정보가 블록들의 경계면의 위치를 나타내는 특성을 감안하여 영상 압축 시 영상분할 정보 추출단계(S2210)를 통해 영상분할 정보를 추출함으로써 후술되는 도 4의 영상 복원방법(S1)에 의한 영상 복원 시 영상분할 정보가 활용될 수 있도록 한다.
인트라 예측정보 추출단계(S2220)는 압축단계(S210) 시 인트라 예측 모드(Intra prediction mode)에서 각 영상분할 정보 단위로 결정된 인트라 예측정보를 추출하는 단계이다.
인터 예측정보 추출단계(S2230)는 압축단계(S220) 시 인터 예측 모드(Inter prediction mode)에서 결정된 움직임 벡터(Motion vector) 정보를 추출하는 단계이다.
양자화 파라미터 정보 추출단계(S2230)는 압축단계(S220)에서 양자화를 수행할 때 적용된 양자화 파라미터 정보를 추출하는 단계이다.
이때 양자화 파라미터는 원본 영상을 얼마나 큰 비율로 압축을 할지를 정하는 중요한 정보로서, 일반적으로 양자화 파라미터 값이 크면, 압축률이 증가하되, 압축된 화질이 떨어지게 된다. 즉 양자화 파라미터와 압축 영상의 열화 정도 사이에는 긴밀한 연관관계가 있다.
즉 압축정보 추출단계(S220)에 의해 추출되는 영상분할 정보, 인트라 예측정보, 인터 예측정보 및 양자화 파라미터 정보 중 적어도 하나 이상을 포함하는 정보를 압축정보라고 한다.
도 4는 본 발명의 일실시예인 영상 복원방법을 나타내는 플로차트이다.
본 발명의 일실시예인 영상 복원방법(S1)은 압축정보, 복호화된 영상(입력영상, 열화된 영상) 또는 재구성된 영상(Reconstructed image)을 입력데이터로 하며, 원본 영상을 출력데이터로 하는 머신러닝 알고리즘(Machine algorithm)을 이용하여 영상 복원 시 사용되는 인루프 필터의 필터링 기술을 개선하여 압축의 다양한 조건에 대응하여 최적의 필터값을 기반으로 영상을 필터링 시킴으로써 영상 복원력 및 압축률을 획기적으로 높이기 위한 것이다.
이때 사용되는 머신러닝 알고리즘에는 선형회귀 인공신경망, 서포트 벡터 머신 등의 다양한 알고리즘이 적용 가능하다.
또한 머신러닝 알고리즘은 열화된 영상과 함께 입력된 압축정보를 영상 내 열하된 영역을 검출하거나 영상을 복원하는데 활용될 수 있다.
이때 머신러닝 알고리즘에 출력되는 정보는 화질이 복원된 영상이거나 또는 화질 복원을 위한 특징벡터(Feature vector), 열화영상에 더해지는 잔차영상(Residual image)일 수 있다.
또한 영상 복원방법(S1)은 도 4에 도시된 바와 같이, 학습단계(S10)와, 영상 복호화한계(S20), 입력단계(S30), 추론단계(S40)로 이루어진다.
학습단계(S10)는 대량의 영상데이터로부터 압축 정보, 열화영상 및 원본영사을 미리 추출해 놓고 입력데이터로 활용한다. 이때 학습단계(S10)는 영상부호화 및 복호화 과정에는 포함되지 않는 별도의 과정이다.
또한 학습단계(S10)는 압축정보 및 열화 영상을 입력데이터로 하되, 원본 영상으로의 복원을 목표로 하는 기 설정된 머신러닝 알고리즘(Machine learning Algorithm)을 이용하여 압축정보와 사이의 맵핑 관계인 모델을 주어진 다수의 데이터로부터 학습한다. 이때 머신러닝 알고리즘은 입력 영상이 타겟 영상과 최대한 가깝게 출력되도록 모델을 학습한다.
이때 학습단계(S10)에서 압축정보를 머신러닝 모델에 입력데이터로 사용하기 위한 포맷팅(formatting) 방법으로는 다양한 방법 및 기술이 적용될 수 있으나, 본 발명에서는 후술되는 도 5로 예를 들어 포맷팅 방법을 설명하기로 한다.
도 5의 도 4의 학습단계에서 영상분할정보 중 HEVC의 영상분할 정보 중 하나인 블록 구조정보(CU)의 포맷팅을 설명하기 위한 예시도로서, (a)는 입력영상을 CU 블록의 크기로 분할한 이미지를 나타내는 예시도이고, (b)는 (a)의 이미지의 경계면에 특정값을 마킹한 이미지를 나타내는 예시도이다.
일반적으로 영상 압축은 영상을 블록 단위로 분할한 후 분할된 블록 단위로 압축이 이루어지기 때문에 블록마다 서로 다른 압축 파라미터가 사용되어, 블록의 경계면에 부자연스러운 단층면이 발생하는 블록킹 현상(Blocking Artifact)이 나타나게 된다.
본 발명은 압축정보에 포함된 영상분할 정보 중 하나인 블록 구조정보(CU)가 블록킹 현상(Blocking Artifact)이 발생하는 위치 정보를 나타낼 수 있는 특성을 감안하여, 도 5의 (a)에서와 같이 입력 영상과 동일한 크기의 행렬을 생성한 후, (b)에서와 같이 블록 구조정보를 통해 검출된 블록의 경계면을 특정값으로 마킹하여 모델의 입력값으로 사용한다.
머신러닝 알고리즘은 모델에 의해 복원된 영상과 원본 영상 사이의 차이값을 구한 후 그 차이값을 줄이는 방향으로 목적 함수(loss function)를 정의한다.
본 발명의 머신러닝 알고리즘에 적용되는 목적 함수(loss function)는 통상적으로 영상 복원에 사용되는 목적 함수(loss function)인 Mean Squared Error 함수를 변형한 것으로서, 그 한 실시예로 코딩 유닛(Coding Unit)에서 작은 블록으로 결정된 영역에 더 큰 가중치를 부여하도록 구성될 수 있다.
그 이유는, 영상 부호화 과정에서 영상분할 정보인 블록 구조정보(CU)의 크기가 작은 영역은 고주파 성분이 많은 특성을 갖기 때문에 차이값 산출 시 고주파 성분이 많은 영역에 더 큰 가중치를 부여하는 경우 고주파 성분에 대하여 정밀한 차이값을 산출할 수 있게 되고, 이에 따라 머신러닝 알고리즘은 블록 구조정보(CU)의 크기가 작은 영역의 복원이 더 잘되는 방향으로 학습을 하여 복원 영상의 화질을 개선시킬 수 있는 것이다.
이러한 본 발명의 학습단계(S10)에 적용되는 목적 함수는 다음의 수학식들을 참조하여 상세하게 설명하기로 한다.
본 발명의 목적 함수는 다음의 수학식 1로 정의된다.
Figure pat00002
이때 L은 목적 함수이고, w는 영상 폭이고, h는 영상 높이이고, D는 열화 영상이고, G는 원본영상이고, Mi는 ‘0’ 또는 ‘1’의 값을 갖는 영상 크기의 행렬이고, Wi는 가중치이다.
즉 본 발명의 학습단계(S10)에 적용되는 목적함수(loss function)는 블록의 크기에 따라 서로 다른 가중치를 부여하도록, 특정 영역에만 다른 weight(Wi) 값을 할당하되, 나머지 영역의 weight 값을 ‘0’으로 할당함으로써 각 블록 영역의 차이값을 계산할 때 서로 다른 가중치를 부여한 상태로 차이값을 산출할 수 있게 된다.
도 6의 (a)는 CU에 따라 블록들로 분할된 입력영상을 나타내는 예시도이고, (b)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (c)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이도, (d)는 목적함수에 의하여 (a)의 영상에서 32×32 블록으로 분할된 영역에 가중치 ‘1’이 부여되었을 때를 나타내는 예시도이다.
본 발명의 학습단계(S10)에 적용되는 목적함수는 도 6의 (a)에서와 같이 CU가 분할되었다고 가정할 때, (b)에서와 같이 32×32 블록으로 분할된 영역(M_0)에 ‘1’의 가중치를 부여하되, 나머지 영역에는 ‘0’의 가중치를 부여할 수 있다.
또한 목적함수는 (c)에서와 같이 16×16 블록으로 분할된 영역(M_1)에 ‘2’의 가중치를 부여하되, 나머지 영역에는 ‘0’의 가중치를 부여할 수 있다.
또한 목적함수는 (d)에서와 같이 8×8 블록으로 분할된 영역(M_2)에 ‘3’의 가중치를 부여하되, 나머지 영역에는 ‘0’의 가중치를 부여할 수 있다.
블록 크기가 가장 작은 영역(고주파 성분이 많은 영역)(M_2)에는 가중치 ‘3’을 부여함으로써 고주파 성분에 대하여 정밀한 차이값을 산출하게 되고, 이에 따라 복원 영상의 화질을 현저히 개선시킬 수 있게 된다.
이와 같이 본 발명의 학습단계(S10)는 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 입력영상과 타겟영상 사이의 맵핑 관계를 학습함과 동시에 블록 크기에 따라 서로 다른 가중치를 부여하여 차이값을 산출하도록 구성됨으로써 영상 복원 시 블록킹 현상(Blocking Artifact)을 효율적으로 제거하여 영상 복원력을 극대화시킬 수 있게 된다.
다시 도 4로 돌아가서 영상 복호화단계(S20)를 살펴보면, 영상 복호화단계(S20)는 이미 압축된 압축데이터를 해제하여 영상을 복원하는 단계이다.
이때 영상 복호화단계(S20)는 재구성된 영상(열화 영상)과, 압축데이터에 포함된 압축정보를 입력단계(S30)로 입력한다.
입력단계(S30)는 영상 복호화단계(S20)로부터 복원된 열화 영상과 압축정보를 입력받는 단계이다.
추론단계(S40)는 학습단계(S10)에 의해 학습된 모델에, 입력단계(S30)로부터 입력된 입력데이터를 적용하여 영상 필터링을 수행함으로써 영상을 복원하는 단계이다.
도 7의 (a)는 원본 영상을 나타내는 예시도이고, (b)는 영상 압축과정에서 열화된 영상을 나타내는 예시도이고, (c)는 공지된 HEVC의 deblocking 필터 및 SAO로 복원된 영상을 나타내는 예시도이고, (d)는 본 발명에 의해 복원된 영상을 나타내는 예시도이다.
도 7을 참조하여 본 발명을 살펴보면, (b)의 열화된 영상은 (a)의 원본 영상에 비교하여 영상화질이 떨어질 뿐만 아니라 블록킹 현상이 남아있으며, 물결 형태의 artifact가 형성되는 것을 알 수 있다.
또한 (c)에서와 같이, 공지된 HEVC의 deblocking 필터 및 SAO로 복원된 영상은 (b)의 열화된 영상에 비교하면 블록킹 현상이 일부 제거되었음을 알 수 있으나, (a)의 원본 영상과 비교하였을 때 영상화질이 떨어질 분만 아니라 블록킹 현상 및 물결 형태의 artifact가 많이 형성되는 것을 알 수 있다.
또한 (d)에서와 같이 본 발명의 영상 복원방법(S1)이 적용된 복원된 영상은 (b), (c)와 비교하였을 때 영상화질이 개선되었을 뿐만 아니라 블록킹 현상 및 물결형태의 artifact가 현저히 줄어들었음을 알 수 있다.
다음의 표 1은 본 발명에서와 같이 CU 정보를 사용한 경우와, 사용하지 않은 경우를 나타내기 위한 실험값이다.
Figure pat00003
표 1에서 Residual Block은 뉴럴네트워크 알고리즘에서 뉴럴 네트워크의 계층수와 비례하는 값이다.
또한 실험에 사용된 입력영상(열화된 영상)의 평균 PSNR은 30.247(db)이고, 이를 HEVC의 인루프 필터(디블록킹 필터 및 SAI)로 복원한 영상의 PSNR은 30.517(db)이다.
표 1에서와 같이, 영상분할 정보 중 하나인 CU 정보를 활용하지 않고 영상복원을 수행하였을 때, 레지듀얼 블록이 5개인 경우 신호대잡음비(PSNR)가 ‘31.151(db)’로, 입력영상 대비 PSNR 개선량(gain)이 ‘0.905(db)’로 측정되었고, 동일한 조건 하에서 CU 정보를 활용하였을 때를 살펴보면, 신호대잡음비(PSNR)가 ‘31.233(db)’로, 개선량(gain)이 ‘0.986(db)’로 측정되었음을 알 수 있다.
즉 CU 정보를 활용하였을 때 신호대잡음비(PSNR) 및 개선량(gain)이 ‘0.081(db)’ 개선되었다.
또한 CU 정보를 활용하지 않고 영상복원을 수행하였을 때, 레지듀얼 블록이 15개인 경우 신호대잡음비(PSNR)가 ‘31.222(db)’로, 입력영상 대비 PSNR 개선량(gain)이 ‘0.975(db)’로 측정되었고, 동일한 조건 하에서 CU 정보를 활용하였을 때를 살펴보면, 신호대잡음비(PSNR)가 ‘31.303(db)’로, 개선량(gain)이 ‘1.056(db)’로 측정되었음을 알 수 있다.
즉 CU 정보를 활용하였을 때 신호대잡음비(PSNR) 및 입력영상 대비 PSNR 개선량(gain)이 ‘0.081(db)’ 개선되었다.
또한 본 발명의 머신러닝 알고리즘은 영상 부호화 단계에 적용, 상세하게로는 도 2의 영상 부호화기(100)의 필터부(260)에 적용되어 종래의 디블록킹 필터(Deblocking Filter), SAO(Sample Adaptive Offset)를 대체하도록 구성될 수 있다.
만약 영상 부호화기의 필터부(260)로 본 발명의 머신러닝 알고리즘이 적용되는 경우, 도 4 내지 6에서 전술하였던 바와 같이 복원되는 영상의 화질이 개선됨에 따라 인접 프레임의 영상의 예측에 활용되는 복원된 영상의 우수한 화질로 인해 압축률을 현저히 높일 수 있게 된다.
또한 머신러닝 알고리즘은 종래의 공지된 방식에 따라 복원된 영상의 후처리로 적용되어 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 구성될 수 있다.
다시 말하면, 본원 발명의 머신러닝 알고리즘은 1)영상 복호화기에만 적용되거나 또는 2)영상 복호화기 및 영상 부호화기에 모두 적용되는 것으로 구성될 수 있고, 만약 구성1)로 적용되는 경우 영상 복원력을 개선시키는 목적 및 효과를 기대할 수 있으며, 만약 구성2)로 적용되는 경우 영상 복원력을 개선시킬 수 있을 뿐만 아니라 압축률을 높일 수 있는 목적 및 효과를 기대할 수 있게 된다.
이와 같이 본 발명의 일실시예인 영상 복원방법(S1)은 압축정보 및 열화 영상을 입력데이터로 하며, 원본 영상으로의 복원을 목표로 하는 머신러닝 알고리즘을 이용하여 다양한 압축정보에 대응되는 최적의 모델을 스스로 학습하여 도출하도록 구성됨으로써 영상 복원 시 압축정보에 대응되는 최적의 모델을 적용하여 영상 복원력 및 압축률을 현저히 개선시킬 수 있게 된다.
또한 본 발명의 영상 복원방법(S1)은 학습 시 복원된 영상과 원본 영상의 차이값을 구하기 위한 함수인 loss function을 구성하는데 있어서, 블록의 크기에 따라 다른 가중치를 부여함으로써 특정영역에 대한 영상복원을 정밀하게 수행할 수 있게 된다.
S1:영상 복원방법 S10:학습단계
S20:영상 복호화단계 S30:입력단계
S40:추론단계 S2210:영상분할 정보 추출단계
S2220:인트라 예측정보 추출단계 S2230:인터 예측정보 추출단계 S2240:양자화 파라미터 생성단계

Claims (6)

  1. 영상 압축에 의해 열화된 영상을 복원시키기 위한 영상 복원방법에 있어서:
    상기 영상 복원방법은
    기 설정된 머신러닝 알고리즘(Machine learning algorithm)을 이용하여 압축정보, 열화영상 및 원본영상으로부터 영상 화질을 향상시키기 위한 최적의 머신러닝 파라미터 값들의 집합을 도출하는 학습(Training) 단계;
    압축된 데이터로부터 복호화하는 과정에서 재구성되는 열화영상 및 압축정보를 상기 머신러닝 알고리즘의 입력값으로 하여 상기 학습단계에서 결정된 파라미터 값들의 집합을 적용하여 영상 화질을 복원하는 추론(Inference) 단계를 포함하는 것을 특징으로 하는 영상 복원방법.
  2. 청구항 제1항에 있어서, 상기 머신러닝 알고리즘은
    상기 열화 영상과 상기 원본 영상 사이의 차이값을 산출한 후 산출된 차이값을 줄이기 위한 목적 함수(loss function)를 적용하였고,
    상기 목적함수는 상기 압축정보에서 영상 부호화의 단위인 영상분할 정보, 양자화 파라미터, 인트라 예측정보 및 인터 예측정보 중 적어도 하나 이상의 정보에 따라 서로 다른 가중치를 부여한 후 차이값을 산출하는 것을 특징으로 하는 영상 복원방법.
  3. 청구항 제2항에 있어서, 상기 목적 함수는 다음의 수학식 1로 정의되는 것을 특징으로 하는 영상 복원 방법.
    [수학식 1]
    Figure pat00004

    L:목적함수, w:영상 폭, h:영상 높이, D:열화 영상, G:원본영상, Mi:‘0’ 또는 ‘1’의 값을 갖는 영상 크기의 행렬, Wi:가중치
  4. 청구항 제3항에 있어서, 상기 머신러닝 알고리즘은 공지된 H.262, HEVC의 압축표준으로 운용되는 영상 부호화기에 적용되어 공지된 디블록킹 필터(Deblocking Filter), SAO(Sample AdaptiveOffset), ALF(Adaptive Loop Filter) 중 어느 하나를 대체하여 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것을 특징으로 하는 영상 복원 방법.
  5. 청구항 제3항에 있어서, 상기 머신러닝 알고리즘은 영상 부호화기에 적용되어 기 설정된 방식으로 복원된 영상의 후처리로 적용되어 복원된 영상을 인접 프레임 영상의 예측에 활용되도록 하는 것을 특징으로 하는 영상 복원 방법.
  6. 청구항 제5항에 있어서, 상기 영상 부호화기는
    영상 압축 시 영상을 부호화하는 단위인 블록의 구조정보인 영상분할 정보와, 인트라 예측모드(Intra prediction mode)에서 각 블록 단위로 결정된 인트라 예측정보와, 인터 예측 모드(Inter prediction mode)에서 결정된 움직임벡터(Motion vector) 정보와, 양자화 시 적용된 양자화 파라미터 정보를 생성하는 양자화 파라미터 정보 중 적어도 하나 이상을 포함하는 압축정보를 추출하는 것을 특징으로 하는 영상 복원방법.
KR1020170053284A 2017-04-26 2017-04-26 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 KR102053242B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170053284A KR102053242B1 (ko) 2017-04-26 2017-04-26 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
PCT/KR2018/002470 WO2018199459A1 (ko) 2017-04-26 2018-02-28 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170053284A KR102053242B1 (ko) 2017-04-26 2017-04-26 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법

Publications (2)

Publication Number Publication Date
KR20180119753A true KR20180119753A (ko) 2018-11-05
KR102053242B1 KR102053242B1 (ko) 2019-12-06

Family

ID=63920310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170053284A KR102053242B1 (ko) 2017-04-26 2017-04-26 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법

Country Status (2)

Country Link
KR (1) KR102053242B1 (ko)
WO (1) WO2018199459A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020141814A1 (en) * 2019-01-03 2020-07-09 Samsung Electronics Co., Ltd. Display apparatus, image providing apparatus, and methods of controlling the same
WO2020122481A3 (ko) * 2018-12-13 2020-08-06 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
WO2020122478A3 (ko) * 2018-12-13 2020-08-06 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
KR20200095589A (ko) 2019-01-18 2020-08-11 한국항공대학교산학협력단 개선된 영상 압축 시스템 및 방법
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102245682B1 (ko) 2019-11-11 2021-04-27 연세대학교 산학협력단 영상 압축 장치, 이의 학습 장치 및 방법
WO2022065977A1 (ko) * 2020-09-28 2022-03-31 현대자동차주식회사 가변계수 딥러닝 기반 인터 예측 방법
US11430089B2 (en) 2019-07-10 2022-08-30 Samsung Electronics Co., Ltd. Image processing method and image processing system for generating a corrected image
KR20230140755A (ko) 2022-03-30 2023-10-10 연세대학교 산학협력단 영상 압축 성능 개선 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139109B (zh) * 2018-02-08 2023-01-10 北京三星通信技术研究有限公司 图像的编码方法及相应终端
CN117197615A (zh) * 2019-12-09 2023-12-08 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
KR102322125B1 (ko) * 2020-05-19 2021-11-04 국방과학연구소 압축 데이터의 압축 해제를 위한 파라미터 추정 방법
CN112004088B (zh) * 2020-08-06 2024-04-16 杭州当虹科技股份有限公司 一种适用于avs2编码器的cu级qp分配算法
KR102593489B1 (ko) 2021-04-29 2023-10-24 주식회사 딥브레인에이아이 기계 학습을 이용한 데이터 생성 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN114827630B (zh) * 2022-03-11 2023-06-06 华南理工大学 基于频域分布学习cu深度划分方法、系统、装置及介质
CN118135352A (zh) * 2024-01-30 2024-06-04 国网冀北电力有限公司信息通信分公司 图像恢复模型的训练方法、图像恢复方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
KR20120036847A (ko) * 2009-07-01 2012-04-18 소니 주식회사 화상 처리 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029984B2 (ja) * 2010-03-09 2016-11-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 分類ベースのループ・フィルタのための方法と装置
US20130182768A1 (en) * 2010-09-30 2013-07-18 Korea Advanced Institute Of Science And Technology Method and apparatus for encoding / decoding video using error compensation
KR101418096B1 (ko) * 2012-01-20 2014-07-16 에스케이 텔레콤주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
KR20120036847A (ko) * 2009-07-01 2012-04-18 소니 주식회사 화상 처리 장치 및 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122481A3 (ko) * 2018-12-13 2020-08-06 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
WO2020122478A3 (ko) * 2018-12-13 2020-08-06 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
US11943454B2 (en) 2018-12-13 2024-03-26 Pixtree Co., Ltd. Image processing apparatus and operation method for learning parameters based on machine learning
US11575897B2 (en) 2018-12-13 2023-02-07 Pixtree Co., Ltd. Image processing apparatus and operation method for learning parameiers based on machine learning
US11308650B2 (en) 2019-01-03 2022-04-19 Samsung Electronics Co., Ltd. Display apparatus, image providing apparatus, and methods of controlling the same
WO2020141814A1 (en) * 2019-01-03 2020-07-09 Samsung Electronics Co., Ltd. Display apparatus, image providing apparatus, and methods of controlling the same
KR20200095589A (ko) 2019-01-18 2020-08-11 한국항공대학교산학협력단 개선된 영상 압축 시스템 및 방법
US11315222B2 (en) 2019-05-03 2022-04-26 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
WO2020226317A1 (en) * 2019-05-03 2020-11-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US11430089B2 (en) 2019-07-10 2022-08-30 Samsung Electronics Co., Ltd. Image processing method and image processing system for generating a corrected image
KR102245682B1 (ko) 2019-11-11 2021-04-27 연세대학교 산학협력단 영상 압축 장치, 이의 학습 장치 및 방법
WO2022065977A1 (ko) * 2020-09-28 2022-03-31 현대자동차주식회사 가변계수 딥러닝 기반 인터 예측 방법
KR20230140755A (ko) 2022-03-30 2023-10-10 연세대학교 산학협력단 영상 압축 성능 개선 방법 및 장치

Also Published As

Publication number Publication date
KR102053242B1 (ko) 2019-12-06
WO2018199459A1 (ko) 2018-11-01

Similar Documents

Publication Publication Date Title
KR102053242B1 (ko) 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
JP6047616B2 (ja) 映像復号化装置
CN108886621B (zh) 非本地自适应环路滤波方法
EP2755388B1 (en) Method, device, and program for encoding and decoding image
TWI558212B (zh) 一種後期處理重建畫面的方法
TWI555342B (zh) 清除解塊人為雜訊的方法
KR102393180B1 (ko) 복원 블록을 생성하는 방법 및 장치
KR102244315B1 (ko) 영상 부호화 방법 및 장치
CN111201791B (zh) 用于视频编码的帧间预测装置和方法的插值滤波器
JP2003244702A (ja) ブロッキング効果を除去するためのフィルタリング方法及びその装置
KR20190073553A (ko) 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
JP2010534015A (ja) 画像処理方法及び対応する電子装置
KR102555224B1 (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
CN111213383B (zh) 用于视频编码的环内滤波装置及方法
KR20090098214A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2011105231A1 (ja) フィルタ係数符号化装置、フィルタ係数復号装置、動画像符号化装置、動画像復号装置、および、データ構造
KR101443865B1 (ko) 인터 예측 방법 및 장치
JP6174966B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム
KR101070173B1 (ko) 동영상 압축 효율을 높이기 위한 변환블록의 부호화 장치와 방법
Yang et al. A novel SAO-based filtering technique for reduction in temporal flickering artifacts in H. 265/HEVC
JP2015080002A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR20100046289A (ko) 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
JP6919424B2 (ja) 映像符号化装置、映像復号装置、及び映像処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant