KR102154424B1 - Advanced system and method for video compression - Google Patents

Advanced system and method for video compression Download PDF

Info

Publication number
KR102154424B1
KR102154424B1 KR1020190006789A KR20190006789A KR102154424B1 KR 102154424 B1 KR102154424 B1 KR 102154424B1 KR 1020190006789 A KR1020190006789 A KR 1020190006789A KR 20190006789 A KR20190006789 A KR 20190006789A KR 102154424 B1 KR102154424 B1 KR 102154424B1
Authority
KR
South Korea
Prior art keywords
image
error
distorted
pattern
compensation value
Prior art date
Application number
KR1020190006789A
Other languages
Korean (ko)
Other versions
KR20200095589A (en
Inventor
오병태
양윤모
이소윤
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020190006789A priority Critical patent/KR102154424B1/en
Publication of KR20200095589A publication Critical patent/KR20200095589A/en
Application granted granted Critical
Publication of KR102154424B1 publication Critical patent/KR102154424B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 개선된 영상 압축 시스템 및 방법에 관한 것이다. 개시된 개선된 영상 압축 시스템 및 방법은, 아날로그 형태의 영상을 컴퓨터용 디지털 형태로 바꿔 압축하는 과정에서 발생하는 왜곡된 영상의 에러 패턴을 기계학습을 통하여 파악하고 분류한 후, 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 인코더 및 디지털로 코드화된 압축된 영상을 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 과정에서, 상기 인코더로부터 상기 압축된 영상의 보상값을 비트스트림을 통하여 전송받아 복원하는 디코더를 포함하는 것을 특징으로 하는 개선된 영상 압축 시스템 및 방법을 제공한다. 본 발명에 의하면, 영상을 압축할 때 더 적은 비트를 사용하고 함으로써 디코더에 원본영상에 관한 정보를 보내줌으로써 종래 기술에 비하여 영상압축효율을 향상하면서도 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있다는 이점이 있다. The present invention relates to an improved image compression system and method. In the disclosed improved image compression system and method, an error pattern of a distorted image that occurs in the process of converting an analog image into a digital form for a computer and compressing it is identified and classified through machine learning, and then the distorted image is restored. In the process of decoding a digitally coded compressed image and converting it into an analog signal corresponding thereto, an encoder that generates a compensable compensation value is transmitted from the encoder through a bitstream and restored. It provides an improved video compression system and method comprising a decoder. According to the present invention, an improved image compression system that uses fewer bits when compressing an image and transmits information about the original image to a decoder, thereby improving image compression efficiency and improving image quality compared to the prior art. And there is an advantage of being able to provide a method.

Description

개선된 영상 압축 시스템 및 방법{ADVANCED SYSTEM AND METHOD FOR VIDEO COMPRESSION}Improved video compression system and method {ADVANCED SYSTEM AND METHOD FOR VIDEO COMPRESSION}

본 발명은 개선된 영상 압축 시스템 및 방법에 관한 것으로, 더욱 상세하게는 기계학습 기반의 방법을 이용하여 왜곡된 영상의 에러를 분류하고 적합한 보상값을 찾아 압축성능을 향상하도록 하는 개선된 영상 압축 시스템 및 방법에 관한 것이다.The present invention relates to an improved image compression system and method, and more particularly, an improved image compression system that classifies an error of a distorted image using a machine learning-based method and finds an appropriate compensation value to improve compression performance. And a method.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present embodiment and does not constitute the prior art.

급격하게 발전하고 있는 정보 기술 사회와 함께 영상/동영상 또한 실생활에서 다양하게 활용되고 있다. 영상/동영상이 일반 소비자의 일상생활에 밀접하게 관련됨에 따라, 다양한 디지털 영상이 획득되어 활용되고 있다. 동영상이 시민들의 일상생활에 밀접하게 관련됨에 따라, 동영상이 인터넷 트래픽의 대부분을 사용하고 있고, 그 정도는 점점 증가하고 있다. 동영상은 처음 만들어진 후 저장될 때 압축이 필연적으로 진행된다. Along with the rapidly developing information technology society, video/video is also being used in various ways in real life. As images/movies are closely related to the daily life of general consumers, various digital images are acquired and used. As videos are closely related to the daily life of citizens, videos use most of the internet traffic, and the degree is increasing. When a video is first created and saved, compression inevitably proceeds.

영상압축(Image Compression)은 방대한 양의 영상 데이터를 축소하는 작업이다. 압축된 영상은 케이블, 지상파 방송, 위성 서비스를 통해 디지털 영상을 전달하는 데에 요구되는 대역너비를 효과적으로 줄인다. 영상압축 방법은 영상 압축 후 복원 시 원래 영상의 정보를 모두 유지하는가 그렇지 않은가의 여부에 따라 손실압축(lossy compression)과 무손실 압축(lossless compression)으로 구별된다. 무손실 압축은 영상의 코팅과 디코팅을 완벽하게 수행하여 압축 영상을 복원한 영상이 원래 영상과 완전히 일치하는 압축 방법인 반면, 손실 압축은 영상에서 중복되거나 상대적으로 덜 중요한 부분의 정보를 제거함으로써 압축률을 높이는 압축 방법이다. 대부분의 압축은 손실 압축을 사용하여 용량을 줄이며, 일반적으로 정지 영상과 동영상의 압축 기술은 JPEG(joint picture expert group), MPEG(motion pic-ture expert groups)가 표준이다.Image compression is an operation of reducing a vast amount of image data. Compressed video effectively reduces the bandwidth required to deliver digital video through cable, terrestrial broadcasting, and satellite services. The image compression method is classified into lossy compression and lossless compression depending on whether or not all information of the original image is retained when restoring after image compression. Lossless compression is a compression method in which the compressed image is completely consistent with the original image by completely coating and decoating the image, whereas lossy compression is a compression method by removing redundant or less important information from the image. It is a compression method that increases Most compressions use lossy compression to reduce capacity, and in general, joint picture expert groups (JPEG) and motion pic-ture expert groups (MPEG) are standard compression techniques for still images and moving pictures.

디스플레이 장치가 점점 발전됨에 따라 사람들이 주로 사용하는 영상의 사이즈가 증가하고 있는 반면, 동영상을 인터넷을 통해 공유하기 위해서는 대역폭이 제한되어 있으므로 압축할 때의 비트량이 적을수록 유용하다. As display devices are gradually developed, the size of images mainly used by people is increasing, whereas bandwidth is limited in order to share a moving image through the Internet, so the smaller the amount of bits for compression, the more useful.

동영상의 활용도가 높아짐에 따라 고려해야 할 중요한 고려사항은 적은 양의 비트를 사용하면서 영상의 화질이 높아야 한다는 것이다. 즉, 동영상의 압축 효율을 높여야 한다는 점이다. An important consideration to consider as the utilization of video increases is that the video quality must be high while using a small amount of bits. In other words, it is necessary to increase the compression efficiency of the video.

이에, 본 발명에서는, 종래 기술에 비하여 압축효율이 개선된 영상 압축 시스템 및 방법을 제안하고자 한다.Accordingly, in the present invention, an image compression system and method with improved compression efficiency compared to the prior art are proposed.

한국공개특허공보 10-2018-0119753호, 2018년11월05일(명칭 : 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법)Korean Patent Laid-Open Publication No. 10-2018-0119753, November 5, 2018 (Name: Machine learning algorithm for image restoration using compression parameters and image restoration method using the same) 한국공개특허공보 제10-2018-0100976호, 2018년 9월 12일 공개(명칭: 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치)Korean Laid-Open Patent Publication No. 10-2018-0100976, published on September 12, 2018 (Name: image encoding/decoding method and apparatus using blur image learning based on deep neural networks) 한국등록특허공보 제10-1885855호, 2018년 8월 7일 공개(명칭: 고해상도 추정 기법을 활용한 영상 신호 전송)Korean Registered Patent Publication No. 10-1885855, published on August 7, 2018 (Name: image signal transmission using high resolution estimation technique)

(비특허 문헌 1)Park, Woon-Sung, and Muncurl Kim. "CNN-based in-loop filtering for coding efficiency improvement" Image, Video and Multidimensional Signal Processing Workshop(IVMSP). 2016 IEEE 12th IEEE. 2016(Non-Patent Document 1) Park, Woon-Sung, and Muncurl Kim. "CNN-based in-loop filtering for coding efficiency improvement" Image, Video and Multidimensional Signal Processing Workshop (IVMSP). 2016 IEEE 12th IEEE. 2016 (비특허 문헌 2) Dai Yuanying Dong Liu, and Feng Wu " A convolutional neural network approach for post-processing in HEVC Intra coding "International Conference on Multimedia Modeling. Springer, Cham,2017.(Non-Patent Document 2) Dai Yuanying Dong Liu, and Feng Wu "A convolutional neural network approach for post-processing in HEVC Intra coding "International Conference on Multimedia Modeling. Springer, Cham, 2017.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 영상을 압축할 때 더 적은 비트를 사용함으로써 종래 기술에 비하여 영상압축효율을 향상시키도록 하는 개선된 영상 압축 시스템 및 방법을 제공하는데 주된 목적이 있다.The present invention has been proposed to solve the problems of the prior art described above, and provides an improved image compression system and method for improving image compression efficiency compared to the prior art by using fewer bits when compressing an image. It has a main purpose.

또한, 본 발명의 다른 목적은 적은 비트를 통하여 영상압축 효율은 증가하면서도, 디코더에 원본영상에 관한 정보를 보내줌으로써 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is to provide an improved image compression system and method capable of improving image quality by sending information about an original image to a decoder while increasing image compression efficiency through fewer bits.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

전술한 목적을 달성하기 위한 본 발명의 일 양상은, 아날로그 형태의 영상을 컴퓨터용 디지털 형태로 바꿔 압축하는 과정에서 발생하는 왜곡된 영상의 에러 패턴을 기계학습을 통하여 파악하고 분류한 후, 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 인코더; 및 디지털로 코드화된 압축된 영상을 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 과정에서, 상기 인코더로부터 상기 압축된 영상의 보상값을 비트스트림을 통하여 전송받아 복원하는 디코더를 포함하는 것을 특징으로 하는 개선된 영상 압축 시스템을 제공한다. One aspect of the present invention for achieving the above object is to grasp and classify an error pattern of a distorted image generated in the process of compressing an analog image into a digital form for a computer through machine learning, and then, the distortion An encoder that generates a compensation value capable of reconstructing the image; And a decoder that receives and restores a compensation value of the compressed image from the encoder through a bitstream in the process of decoding the digitally coded compressed image and converting it into an analog signal corresponding thereto. Provides an image compression system.

본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 인코더에 있어서, 왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및 원본영상과 상기 왜곡된 영상을 입력으로 하여 상기 에러분류모듈에서 분류한 에러를 바탕으로 이를 보상해 줄 수 있는 보상값을 찾는 잔차이미지 압축모듈을 포함하는 것을 특징으로 하는 개선된 영상 압축 인코더를 제공한다.Another aspect of the present invention is an improved image compression encoder for improving image compression efficiency using machine learning, receiving a distorted image as an input, identifying and classifying the characteristics of errors included in the distorted image An error classification module; And a residual image compression module that receives the original image and the distorted image as inputs and finds a compensation value capable of compensating for the error classified by the error classification module. to provide.

본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 디코더에 있어서, 왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및 인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받아 손상된 영상을 복원하는 영상복원모듈을 포함하는 것을 특징으로 하는 개선된 영상 압축 디코더를 제공한다.Another aspect of the present invention is an improved image compression decoder for improving image compression efficiency using machine learning, in which a distorted image is received as an input, and the characteristics of errors included in the distorted image are identified and classified. An error classification module; And an image restoration module for restoring a damaged image by receiving a compensation value for restoration of the distorted image from an encoder through a bitstream.

본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 인코딩 방법에 있어서, 인코더에서 왜곡된 영상을 입력으로 하여 미리 학습된 패턴 분류방법에 따라 에러의 특징을 추출하는 단계; 상기 추출된 에러 특징들의 패턴을 분류하는 단계; 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 단계; 상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계; 및 상기 잔차이미지의 분류된 에러의 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성하는 단계를 포함하는 개선된 영상 압축 인코딩 방법을 제공한다.Another aspect of the present invention is an improved image compression encoding method for improving image compression efficiency using machine learning, in which an error characteristic is determined according to a pattern classification method previously learned by inputting a distorted image from an encoder. Extracting; Classifying a pattern of the extracted error features; Extracting and compressing residual images for differences between the distorted and original images as inputs; Classifying a pattern of the extracted and compressed residual image; And generating an appropriate compensation value for reconstructing the distorted image according to the classified error pattern of the residual image.

본 발명의 다른 일 양상은, 상기 개선된 영상 압축 인코딩 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.Another aspect of the present invention provides a computer-readable recording medium recording a program for executing the improved video compression encoding method.

본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 디코딩 방법에 있어서, 왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 추출하는 단계; 상기 추출된 에러 특징들의 패턴을 분류하는 단계; 인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받는 단계; 및 상기 전송받은 보상값을 상기 왜곡된 영상에 적용하여 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 개선된 영상 압축 디코딩 방법을 제공한다.Another aspect of the present invention is an improved image compression decoding method for improving image compression efficiency using machine learning, receiving a distorted image as an input and grasping the characteristics of errors included in the distorted image Extracting; Classifying a pattern of the extracted error features; Receiving a compensation value for reconstructing the distorted image from an encoder through a bitstream; And applying the received compensation value to the distorted image to restore an image.

본 발명의 다른 일 양상은, 상기 개선된 영상 압축 디코딩 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.Another aspect of the present invention provides a computer-readable recording medium recording a program for executing the improved video compression decoding method.

본 발명의 개선된 영상 압축 시스템 및 방법에 의하면, 영상을 압축할 때 더 적은 비트를 사용함으로써 종래 기술에 비하여 영상압축효율을 향상시키도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있다는 효과가 있다.According to the improved image compression system and method of the present invention, there is an effect of providing an improved image compression system and method that improves image compression efficiency compared to the prior art by using fewer bits when compressing an image. have.

또한, 적은 비트를 통하여 영상압축 효율은 증가하면서도, 디코더에 원본영상에 관한 정보를 보내줌으로써 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있다는 효과가 있다.In addition, there is an effect that it is possible to provide an improved image compression system and method capable of increasing image quality by sending information about an original image to a decoder while increasing image compression efficiency through fewer bits.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description. .

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 개선된 영상 압축 시스템의 구성을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 에러분류모듈의 구성을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 잔차이미지 압축모듈의 구성을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 개선된 영상 압축 방법을 예시한 도면이다.
BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as part of the detailed description to aid in understanding of the present invention, provide embodiments of the present invention, and together with the detailed description, the technical features of the present invention will be described.
1 is a diagram illustrating a configuration of an improved image compression system according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of an error classification module according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of a residual image compression module according to an embodiment of the present invention.
4 is a diagram illustrating an improved image compression method according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The detailed description to be disclosed hereinafter together with the accompanying drawings is intended to describe exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details to provide a thorough understanding of the present invention. However, those of ordinary skill in the art to which the present invention pertains knows that the present invention may be practiced without these specific details.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted, or may be shown in a block diagram form centering on core functions of each structure and device.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.Throughout the specification, when a part is said to "comprising or including" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. do. In addition, terms such as "... unit", "... group", and "module" described in the specification mean units that process at least one function or operation, which can be implemented by hardware or software or a combination of hardware and software. have. In addition, "a or an", "one", "the" and similar related words are different from this specification in the context of describing the invention (especially in the context of the following claims). Unless indicated or clearly contradicted by context, it may be used in the sense of including both the singular and the plural.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

본 발명의 도면의 각 구성부들은 개선된 영상 분류 시스템 및 방법에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다. Each of the components in the drawings of the present invention is shown independently to represent different characteristic functions in the improved image classification system and method, and does not mean that each component is made up of separate hardware or one software component unit. Does not. That is, each constituent part is listed and included as a constituent part for convenience of explanation, and at least two of the constituent parts are combined to form a single constituent part, or one constituent part is divided into a plurality of constituent parts to perform a function Integrated embodiments and separate embodiments of the components are also included in the scope of the present invention unless departing from the essence of the present invention.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components are not essential components that perform essential functions in the present invention, but may be optional components only for improving performance. The present invention can be implemented by including only the components essential to implement the essence of the present invention excluding components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement Also included in the scope of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 개선된 영상 압축 시스템의 구성을 예시한 도면이다.1 is a diagram illustrating a configuration of an improved image compression system according to an embodiment of the present invention.

인코더(100)는 동영상이나 음성신호를 다른 신호형태로 바꾸기 위한 장치, 또는 프로그램을 말한다. 주로 아날로그 형태의 영상을 컴퓨터용 디지털 형태로 바꿀 때 사용한다.The encoder 100 refers to a device or program for converting a video or audio signal into another signal format. It is mainly used to convert an analog image into a digital form for a computer.

본 발명의 일 실시예에서 인코더(100)는 에러분류모듈(110)과 잔차이미지 압축모듈(120)을 포함한다.In an embodiment of the present invention, the encoder 100 includes an error classification module 110 and a residual image compression module 120.

에러분류모듈(110)은 왜곡된 영상을 입력으로 받아 기계학습 알고리즘을 이용하여 에러의 특징을 파악하고 분류하는 모듈이다. The error classification module 110 is a module that receives a distorted image as an input and uses a machine learning algorithm to identify and classify characteristics of an error.

기계학습 알고리즘에는 의사결정나무(Decision Tree), 베이지안 망(Bayesian network), 지지벡터머신(Support Vector Machine, SVM), 인공 신경망(Artificial Neural Network), 딥러닝 등이 있다. 지지벡터머신 모델은 패턴분류에 있어서 각광받고 있는 통계적 학습이론으로, 패턴인식과 자료 분석을 위한 지도(감독/교사) 학습의 모델로 주로 분류와 회귀분석을 위해 사용하고 있다. 다시 말하면 학습데이터와 범주 정보의 학습 진단을 대상으로 학습과정에서 얻어진 확률분포를 이용하여 의사결정함수를 추정한 후 이 함수에 따라 새로운 데이터를 이원 분류하는 것이다. 지도 학습은 컴퓨터에 먼저 정보를 가르치는 방법으로 컴퓨터는 미리 학습된 결과를 바탕으로 정보를 구분하는 것이다. 딥러닝은 컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술로서, 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킨다. 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지·추론·판단할 수 있게 된다. Machine learning algorithms include Decision Tree, Bayesian network, Support Vector Machine (SVM), artificial neural network, and deep learning. The support vector machine model is a statistical learning theory that is in the spotlight in pattern classification, and is mainly used for classification and regression analysis as a model for supervised (supervised/teacher) learning for pattern recognition and data analysis. In other words, after estimating a decision function using the probability distribution obtained in the learning process for the learning diagnosis of learning data and category information, new data is classified in two ways according to this function. Supervised learning is a method of first teaching information to a computer, and the computer classifies information based on the result of learning in advance. Deep learning is a machine learning technology built on the basis of an artificial neural network (ANN) to enable computers to learn on their own like a human using multiple data. The human brain discovers patterns in numerous data. After that, the computer learns the machine to discern things by imitating the information processing method that separates things. When deep learning technology is applied, computers can recognize, infer, and make decisions on their own, even if humans do not set all judgment criteria.

동영상은 짧은 시간 간격 동안 순차적으로 표시되는 정지화면들의 집합이고, 이들 정지화면 간에는 화면간의 짧은 시간 간격으로 인하여, 이웃한 영상간에는 상당히 높은 상관성이 존재한다. 동일 화면 내에서의 JPEG에서와 거의 같이 압축하는 것이 화면 내(Intral mode) 부호화라 하며, 화면 내 부호화 방식으로 압축되는 화면을 I(Intra)-프레임이라고 한다. A moving picture is a set of still pictures that are sequentially displayed over a short time interval, and a very high correlation exists between neighboring images due to a short time interval between these still pictures. Compression in the same picture as in JPEG is called intra-mode encoding, and a picture compressed by the intra-picture encoding method is called I(Intra)-frame.

과거 또는 미래의 프레임을 참조하여 예측 압축방식으로 부호화 하는 것을 화면간(Inter mode) 부호화라 한다. 이전의 화면과 현재의 화면의 차이가 매우 적은 것을 이용하여 차이 값만을 부호화하는 것으로, 화면간 부호화를 위해서는 매크로블록 단위의 모션 추정(motion estimation) 과 모션 보상(motion compensation)이라는 개념이 사용된다. 화면간 부호화 방식으로 압축되는 화면은 P(Predictive)-프레임과 B(Bidirectional)- 프레임이 있다.Encoding using a predictive compression method with reference to a frame in the past or future is referred to as inter mode encoding. The difference between the previous screen and the current screen is very small, and only the difference value is encoded. For inter-screen encoding, the concept of motion estimation and motion compensation in units of macroblocks is used. There are P (Predictive)-frame and B (Bidirectional)-frame in pictures compressed by the inter-picture coding method.

동영상의 높은 효율로의 압축을 위해서는 움직임 예측, 움직임 보상 등 여러기법을 이용하여 중복성을 제거하게 된다. 하지만, 압축률을 높일수록 영상의 품질이 저하되고 원본영상에 비하여 왜곡된 영상이 발생하게 된다. In order to compress video with high efficiency, redundancy is removed by using various techniques such as motion prediction and motion compensation. However, as the compression rate increases, the quality of the image deteriorates, and an image distorted compared to the original image is generated.

에러분류모듈(110)에서는 인코더 단에서 주어진 입력영상과 왜곡된 영상을 이용하여 미리 학습된 패턴 분류방법에 따라 에러의 종류를 분류할 수 있다. 이 때 말하는 에러는 원본 영상과 왜곡된 영상의 차이이다. 에러를 분류할 때 분류되는 가짓수에 맞춰서 에러분류모듈(110)에서 그에 맞는 수(가짓수)의 채널을 출력으로 한다. 이때, 출력된 채널들이 분류된 에러라고 볼 수 있다.The error classification module 110 may classify the types of errors according to a pre-learned pattern classification method using an input image and a distorted image given from an encoder. The error referred to at this time is the difference between the original image and the distorted image. When classifying an error, the error classification module 110 outputs the number of channels corresponding to the number according to the number of gadgets to be classified. At this time, the output channels can be regarded as classified errors.

에러분류모듈(110)은 인공지능 기반으로 사용자에 의하여 주어진 왜곡된 영상의 특징을 분석하여, 에러의 종류를 분류하는 기술이 적용된 장치이다.The error classification module 110 is a device to which a technology for classifying the type of error by analyzing the characteristics of a distorted image given by a user based on artificial intelligence is applied.

에러분류모듈(110)에는 딥러닝의 합성곱 신경망(Convolutional Neural Network, CNN)기법이 활용되는 것이 바람직하다. 합성곱 신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조를 통하여 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있으며, 다른 딥 러닝 구조들에 비하여 영상, 음성 분야 모두에서 좋은 성능을 가져올 수 있다.It is preferable that the error classification module 110 uses a deep learning convolutional neural network (CNN) technique. Convolutional neural networks (CNNs) are a type of multilayer perceptrons designed to use minimal preprocessing. A convolutional neural network (CNN) is composed of one or several convolutional layers and a general artificial neural network layer on top of it, and additionally utilizes weights and pooling layers. Through this structure, the convolutional neural network (CNN) can sufficiently utilize the input data of a two-dimensional structure, and can bring good performance in both video and audio fields compared to other deep learning structures.

잔차이미지 압축모듈(120)에서는 원본영상과 왜곡된 영상을 입력으로 하여 에러분류모듈(110)에서 분류한 에러를 바탕으로 이를 가장 잘 보상해 줄 수 있는 보상값을 찾도록 한다. 에러분류모듈(110)에서 분류된 에러가 결정되면 잔차이미지 압축모듈(120)에서의 보상값은 실제 값과 에러값의 차이로 결정된다.The residual image compression module 120 receives the original image and the distorted image as inputs and finds a compensation value that can best compensate for the error classified by the error classification module 110. When the error classified by the error classification module 110 is determined, the compensation value in the residual image compression module 120 is determined as a difference between the actual value and the error value.

에러분류모듈(110)에서 기준에 따라 에러를 분류하게 되면 잔차이미지 압축모듈(120)에서는 이를 각각 분류된 에러의 특징에 맞는 보상값을 찾아 복원할 수 있다. 이러한 보상값을 찾기 위하여 잔차이미지 압축모듈(120)에서는 왜곡된 영상과 원본 영상을 입력으로 받아 그것들로 만들어진 잔차 이미지를 압축하여 에러분류모듈(110)에서 에러를 분류한 것과 같은 패턴 분류 방법에 따라 몇 가지로 분류할 수 있고, 그것을 보상값으로 사용할 수 있다. 따라서 잔차이미지 압축모듈(120)에서 출력된 보상값을 이용해 에러분류모듈(110)에서 분류된 에러를 보상해 손상된 영상을 복원할 수 있다. When the error classification module 110 classifies the errors according to the criteria, the residual image compression module 120 may find and restore a compensation value suitable for the characteristics of each classified error. In order to find such a compensation value, the residual image compression module 120 receives the distorted image and the original image as inputs, compresses the residual image made of them, and classifies the error according to the same pattern classification method as the error classification module 110. It can be classified into several categories, and it can be used as a reward value. Accordingly, the error classified by the error classification module 110 may be compensated by using the compensation value output from the residual image compression module 120 to restore a damaged image.

에러분류모듈(110)과 잔차이미지 압축모듈(120)은 상호연동하여 피드백하며 학습을 더욱 효과적으로 수행할 수 있다. 주어진 네트워크 학습 과정에서 오차가 생성되면 이 오차가 에러분류모듈(110)과 잔차이미지 압축 모듈(120)에 동시에 영향을 주도록 설계되어 두 모듈이 학습될 때 서로를 참고하여 학습된다.The error classification module 110 and the residual image compression module 120 may interoperate with each other to provide feedback and perform learning more effectively. When an error is generated in a given network learning process, this error is designed to simultaneously affect the error classification module 110 and the residual image compression module 120, so that when the two modules are trained, they are learned by referring to each other.

디코더(200)는 인코더(100)에서 디지털로 코드화된 데이터를 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 장치, 또는 프로그램을 말한다. The decoder 200 refers to a device or program that decodes digitally coded data by the encoder 100 and converts it into an analog signal corresponding thereto.

본 발명의 일 실시예에서 디코더(200)는 에러분류모듈(110)을 포함한다. In an embodiment of the present invention, the decoder 200 includes an error classification module 110.

인코더(100)에서 인코딩할 때는 원본 영상이 사용 가능하기 때문에 인공 신경망의 잔차이미지 압축모듈(120)에서 잔차 이미지를 분류 및 압축할 수 있지만, 디코더(200)에서 디코딩할 때는 원본 영상을 사용할 수 없기 때문에 잔차 이미지를 이용할 수 없다. Since the original image can be used when encoding in the encoder 100, the residual image can be classified and compressed in the residual image compression module 120 of the artificial neural network, but the original image cannot be used when decoding in the decoder 200. Therefore, the residual image cannot be used.

따라서, 디코더(200) 단에서는 에러분류모듈(110)만을 사용하되, 추가적으로 에러의 보상값을 인코더(100)로부터 비트스트림을 통해 전송받아 영상복원모듈(210)에서 손상된 영상을 복원한다. Accordingly, the decoder 200 only uses the error classification module 110, but additionally, the error compensation value is transmitted from the encoder 100 through the bitstream, and the image restoration module 210 restores the damaged image.

본 발명의 일 실시예에 따른 개선된 영상 압축 시스템을 적용한 실험결과, HD크기의 영상에서 5%, UHD급 영상에서 13% 정도의 성능이 향상됨이 확인되었다.As a result of an experiment applying the improved image compression system according to an embodiment of the present invention, it was confirmed that the performance was improved by 5% for HD-sized images and 13% for UHD-level images.

구체적으로는 동영상 압축시 사용하는 세 가지 방법(All Intra, Low Delay P, Random Access) 중 Low Delay P 환경에서 진행하였으며, 45개의 학습영상을 바탕으로 20개의 테스트 영상에 대한 실험을 진행하였다. 이 결과 영상 크기에 따라 결과가 상이한데, UHD 크기에서는 13% 비트절감을, 2560x1600 크기에서는 9%, 그리고 HD 사이즈에서는 5% 성능향상을 보였다.Specifically, among the three methods used for video compression (All Intra, Low Delay P, Random Access), it was conducted in a Low Delay P environment, and experiments were conducted on 20 test images based on 45 learning images. As a result, the results are different depending on the image size, with 13% bit reduction in UHD size, 9% in 2560x1600 size, and 5% performance improvement in HD size.

도 2는 본 발명의 일 실시예에 따른 에러분류모듈의 구성을 예시한 도면이다.2 is a diagram illustrating a configuration of an error classification module according to an embodiment of the present invention.

에러분류모듈(110)은 특징추출부(111)와 패턴분류부(112)로 구분될 수 있다.The error classification module 110 may be divided into a feature extraction unit 111 and a pattern classification unit 112.

특징추출부(111)는 합성곱 신경망(CNN)은 뉴럴 네트워크인 패턴분류부(112) 앞에 여러 계층의 컨볼루셔널 계층인 특징추출부(111)를 붙인 모양이다. 합성곱 신경망(CNN)은 앞의 컨볼루셔널 계층을 통해서 입력받은 왜곡된 영상에 대한 원본영상 대비 에러의 특징(Feature)를 추출하게 되고, 이렇게 추출된 특징을 기반으로 뉴럴 네트워크인 특징추출부(111)를 이용하여 분류한다.The feature extracting unit 111 has a shape of a convolutional neural network (CNN) attaching a feature extracting unit 111, which is a convolutional layer of several layers, in front of the pattern classifying unit 112, which is a neural network. The convolutional neural network (CNN) extracts the features of the error compared to the original image for the distorted image received through the previous convolutional layer, and based on the extracted features, a feature extraction unit ( 111).

특징추출부(111)는 다시 특징을 추출하는 기능을 하는 필터(Filter)와, 이 필터를 적용하여 얻어진 값을 비선형 값으로 바꾸어 주는 액티베이션 함수(Activation 함수)로 이루어진다. 필터를 적용해서 얻어낸 결과인 피쳐맵(Feature map)은 정량적인 값으로 나오기 때문에 이를 필터링된 특징을 "있다, 없다"의 비선형 값으로 바꿔 주는 과정이 필요한데, 이것이 바로 액티베이션 함수(Activation 함수)이다. The feature extracting unit 111 is composed of a filter that functions to extract features again, and an activation function that converts a value obtained by applying the filter into a nonlinear value. Since the feature map, which is the result obtained by applying the filter, comes out as a quantitative value, it is necessary to change the filtered feature to a nonlinear value of "yes, no", and this is the activation function.

특징추출부(111)는 필터와 액티베이션 함수를 반복적으로 조합하여 특징을 추출하게 된다. The feature extraction unit 111 extracts features by repeatedly combining the filter and the activation function.

패턴분류부(112)는 완전하게 연결된 계층(fully connected layer)으로 구성되어 왜곡된 영상의 에러를 분류한다. 예를 들어, 물체의 가장자리 정보와 끝점의 정보 등이 따로 분류될 수도 있고, 에러의 크기나 위치 또는 모양 등으로 분류할 수도 있다.The pattern classifying unit 112 is composed of a fully connected layer to classify errors in distorted images. For example, information on the edge of an object and information on an end point may be classified separately, or may be classified by the size, location, or shape of the error.

도 3은 본 발명의 일 실시예에 따른 잔차이미지 압축모듈의 구성을 예시한 도면이다.3 is a diagram illustrating a configuration of a residual image compression module according to an embodiment of the present invention.

잔차이미지 압축모듈(120)은 잔차이미지 추출부(121), 잔차이미지 분류부(122) 및 보상값 생성부(123)로 구분될 수 있다. The residual image compression module 120 may be divided into a residual image extracting unit 121, a residual image classifying unit 122, and a compensation value generating unit 123.

잔차이미지 추출부(121)는 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축한다. The residual image extracting unit 121 extracts and compresses a residual image of a difference between the distorted image and the original image as inputs.

잔차이미지 분류부(122)는 잔차이미지를 에러분류모듈(110)의 패턴분류부(112)와 유사하게 패턴을 분류한다.The residual image classification unit 122 classifies the residual image into a pattern similar to the pattern classification unit 112 of the error classification module 110.

보상값 생성부(123)는 잔차이미지 분류부(122)에서 분류된 패턴에 따라 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성한다. The compensation value generator 123 generates an appropriate compensation value capable of restoring a distorted image according to the pattern classified by the residual image classification unit 122.

도 4는 본 발명의 일 실시예에 따른 개선된 영상 압축 방법을 예시한 도면이다.4 is a diagram illustrating an improved image compression method according to an embodiment of the present invention.

인코더(100)에 왜곡된 영상을 입력으로 하여 에러분류모듈(110)에서 미리 학습된 패턴 분류방법에 따라 에러의 종류를 분류할 수 있다.The type of error may be classified according to the pattern classification method learned in advance in the error classification module 110 by inputting the distorted image to the encoder 100.

우선 에러분류모듈(110)의 특징추출부(111)에서 합성곱 신경망(CNN)은 합성곱 신경망(CNN)은 앞의 컨볼루셔널 계층을 통해서 입력받은 왜곡된 영상에 대한 에러의 특징(Feature)를 추출한다(S401).First, in the feature extraction unit 111 of the error classification module 110, the convolutional neural network (CNN) is the convolutional neural network (CNN) is the error feature for the distorted image received through the convolutional layer. Is extracted (S401).

이렇게 왜곡된 영상의 에러의 특징을 기반으로 뉴럴 네트워트인 패턴분류부(112)는 완전하게 연결된 계층(fully connected layer)으로 구성되어 왜곡된 영상의 에러를 분류한다(S403). 예를 들어, 물체의 가장자리 정보와 끝점의 정보 등이 따로 분류될 수도 있고, 에러의 크기나 위치 또는 모양 등으로 분류할 수도 있다.Based on the error characteristics of the distorted image, the pattern classifying unit 112, which is a neural network, is composed of a fully connected layer and classifies the error of the distorted image (S403). For example, information on the edge of an object and information on an end point may be classified separately, or may be classified by the size, location, or shape of the error.

잔차이미지 압축모듈(120)의 잔차이미지 추출부(121)는 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축한다(S405). The residual image extraction unit 121 of the residual image compression module 120 receives the distorted image and the original image as inputs, and extracts and compresses the residual image for the difference between these images (S405).

잔차이미지 분류부(122)는 잔차이미지 추출부(121)에서 추출되고 압축된 잔차이미지를 에러분류모듈(110)의 패턴분류부(112)에서 수행한 것과 유사하게 패턴을 분류한다(S407).The residual image classification unit 122 classifies a pattern similar to that performed by the pattern classification unit 112 of the error classification module 110 on the residual image extracted and compressed by the residual image extraction unit 121 (S407).

보상값 생성부(123)는 잔차이미지 분류부(122)에서 분류된 에러의 패턴에 따라 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성한다(S409).The compensation value generator 123 generates an appropriate compensation value capable of restoring a distorted image according to the pattern of errors classified by the residual image classification unit 122 (S409).

필요시 상기 에러분류모듈(110)과 잔차이미지 압축모듈(120)에서 수행되는 학습데이터는 상호연동하여 피드백하며 학습을 더욱 효과적으로 수행할 수 있다(S411).When necessary, the learning data performed by the error classification module 110 and the residual image compression module 120 are interlocked with each other to provide feedback, so that learning can be performed more effectively (S411).

디코더(200)의 에러분류모듈(110)에서는 S401 단계와 유사하게 입력받은 왜곡된 영상에 대한 에러의 특징(Feature)를 추출한다(S413).The error classification module 110 of the decoder 200 extracts a feature of an error for the received distorted image, similar to step S401 (S413).

이후 S403 단계와 유사하게 왜곡된 영상의 에러를 추출된 특징을 분류한다(S415). Thereafter, similar to step S403, the features extracted from the error of the distorted image are classified (S415).

이와 더불어 보상값 생성부(123)에서 생성된 보상값은 비트스트림을 통하여 디코더(200)에 추가적으로 전송된다(S417). In addition, the compensation value generated by the compensation value generator 123 is additionally transmitted to the decoder 200 through a bitstream (S417).

디코더(200)의 영상복원모듈(210)에서는 전송받은 보상값을 왜곡된 영상에 적용하여 손상된 영상을 복원한다(S419). The image restoration module 210 of the decoder 200 restores the damaged image by applying the received compensation value to the distorted image (S419).

도 4에서는 단계 S401 내지 단계 S419을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7에 기재된 순서를 변경하여 실행하거나 단계 S401 내지 단계 S419 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4은 시계열적인 순서로 한정되는 것은 아니다. 예컨대, S411의 학습데이터 연동은 특징추출 이전 및 수시로 수행될 수 있으며, S417의 보상값 전송도 S413의 특징추출 이전에 전송되어 디코더(200)에 저장되어 있을 수 있다. In FIG. 4, steps S401 to S419 are described as sequentially executing, but this is only illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which this embodiment belongs In the range not departing from the essential characteristics, the order shown in FIG. 7 may be changed and executed, or at least one of the steps S401 to S419 may be executed in parallel, and thus various modifications and variations may be applied. It is not limited. For example, the learning data linkage in S411 may be performed before feature extraction and at any time, and the compensation value transmission in S417 may be transmitted before feature extraction in S413 and stored in the decoder 200.

본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of each block in the block diagram attached to the present specification and each step in the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are shown in each block or flow chart of the block diagram. Each step creates a means to perform the functions described. These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block or flow chart. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for performing the functions described in each block of the block diagram and each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code comprising one or more executable instructions for executing the specified logical function(s). In addition, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

본 발명의 개선된 영상 압축 시스템 및 방법에 따르면, 영상을 압축할 때 더 적은 비트를 사용하고 함으로써 디코더에 원본영상에 관한 정보를 보내줌으로써 종래 기술에 비하여 영상압축효율을 향상하면서도 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the improved image compression system and method of the present invention, fewer bits are used when compressing an image, thereby sending information about an original image to a decoder, thereby improving image compression efficiency while improving image quality compared to the prior art. In that it can be used as a solution that can provide an improved image compression system and method that allows it to be used, the possibility of marketing or sales of applied devices is increased as it exceeds the limitations of existing technologies. It is an invention that has industrial applicability because it is not only sufficient, but also to the extent that it can be implemented clearly in reality.

100: 인코더
110: 에러분류모듈 111: 특징추출부 112: 패턴분류부
120: 잔차이미지 압축모듈 121: 잔차이미지 추출부
122: 잔차이미지 분류부 123: 보상값 생성부
200: 디코더
210: 영상복원모듈
100: encoder
110: error classification module 111: feature extraction unit 112: pattern classification unit
120: residual image compression module 121: residual image extraction unit
122: residual image classification unit 123: compensation value generation unit
200: decoder
210: image restoration module

Claims (19)

아날로그 형태의 영상을 컴퓨터용 디지털 형태로 바꿔 압축하는 과정에서 발생하는 왜곡된 영상의 에러 패턴을 기계학습을 통하여 파악하고 분류한 후, 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 인코더; 및
디지털로 코드화된 압축된 영상을 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 과정에서, 상기 인코더로부터 상기 압축된 영상의 보상값을 비트스트림을 통하여 전송받아 복원하는 디코더를 포함하고,
상기 인코더는, 상기 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 잔차이미지 추출부; 상기 잔차이미지의 패턴을 분류하는 잔차이미지 분류부; 및 상기 분류된 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 보상값 생성부를 포함하고,
상기 생성된 보상값은, 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 것을 특징으로 하는 개선된 영상 압축 시스템.
An encoder that detects and classifies an error pattern of a distorted image that occurs in the process of converting an analog image into a digital form for a computer and compressing it through machine learning, and then generating a compensation value for restoring the distorted image; And
In the process of decoding the digitally coded compressed image and converting it into an analog signal corresponding thereto, a decoder configured to receive and restore a compensation value of the compressed image from the encoder through a bitstream,
The encoder includes: a residual image extracting unit for extracting and compressing a residual image of a difference between the distorted image and the original image as inputs; A residual image classification unit for classifying the pattern of the residual image; And a compensation value generator for generating a compensation value capable of reconstructing the distorted image according to the classified pattern,
The generated compensation value is transmitted to a decoder to compensate for the distorted image.
제1항에 있어서,
상기 보상값의 생성은,
상기 인코더에서 주어진 입력 원본영상과 왜곡된 영상을 이용하여 미리 학습된 패턴 분류방법에 따라 에러의 종류를 분류하는 것을 특징으로 하는 개선된 영상 압축 시스템.
The method of claim 1,
The generation of the compensation value,
An improved image compression system, characterized in that the type of error is classified according to a previously learned pattern classification method using the input original image and the distorted image given by the encoder.
기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 인코더에 있어서,
왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및
원본영상과 상기 왜곡된 영상을 입력으로 하여 상기 에러분류모듈에서 분류한 에러를 바탕으로 이를 보상해 줄 수 있는 보상값을 찾는 잔차이미지 압축모듈을 포함하고,
상기 잔차이미지 압축모듈은, 상기 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 잔차이미지 추출부;
상기 잔차이미지의 패턴을 분류하는 잔차이미지 분류부; 및 상기 분류된 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 보상값 생성부를 포함하고,
상기 생성된 보상값은, 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 특징으로 하는 개선된 영상 압축 인코더.
In an improved video compression encoder for improving video compression efficiency using machine learning,
An error classification module for receiving a distorted image as an input and identifying and classifying characteristics of errors included in the distorted image; And
A residual image compression module that takes an original image and the distorted image as inputs and finds a compensation value capable of compensating for the error classified by the error classification module,
The residual image compression module includes: a residual image extracting unit for extracting and compressing a residual image of a difference between the distorted image and the original image as inputs;
A residual image classification unit for classifying the pattern of the residual image; And a compensation value generator for generating a compensation value capable of reconstructing the distorted image according to the classified pattern,
And the generated compensation value is transmitted to a decoder to compensate for the distorted image.
제3항에 있어서,
상기 에러분류모듈은,
기계학습 기반으로 사용자에 의하여 주어진 왜곡된 영상의 특징을 분석하여, 에러의 종류를 분류하는 것을 특징으로 하는 개선된 영상 압축 인코더.
The method of claim 3,
The error classification module,
An improved image compression encoder, characterized in that the type of error is classified by analyzing features of a distorted image given by a user based on machine learning.
제4항에 있어서,
상기 기계학습은,
딥러닝의 합성곱 신경망(Convolutional Neural Network, CNN)인 것을 특징으로 하는 개선된 영상 압축 인코더.
The method of claim 4,
The machine learning,
An improved image compression encoder, characterized in that it is a convolutional neural network (CNN) of deep learning.
제3항에 있어서,
상기 에러분류모듈과 상기 잔차이미지 압축모듈은 상호연동하여 피드백하여 학습데이터를 공유하여 기계학습을 수행하는 것을 특징으로 하는 개선된 영상 압축 인코더.
The method of claim 3,
And the error classification module and the residual image compression module interoperate with each other to provide feedback to share learning data to perform machine learning.
제3항에 있어서,
상기 에러분류모듈은,
상기 입력받은 왜곡된 영상에 대한 원본영상 대비 에러의 특징를 추출하는 특징추출부; 및
상기 특징추출부에서 추출된 특징을 기반으로 에러의 패턴을 분류하는 패턴분류부를 포함하는 것을 특징으로 하는 개선된 영상 압축 인코더.
The method of claim 3,
The error classification module,
A feature extractor for extracting features of an error compared to the original image for the received distorted image; And
And a pattern classifying unit for classifying an error pattern based on the features extracted from the feature extracting unit.
제7항에 있어서,
상기 왜곡된 영상의 에러 패턴의 분류는,
물체의 가장자리 정보, 끝점의 정보, 에러의 크기, 에러의 위치 및 에러의 모양 중 어느 하나 이상인 것을 특징으로 하는 개선된 영상 압축 인코더.
The method of claim 7,
Classification of the error pattern of the distorted image,
An improved image compression encoder, characterized in that at least one of edge information of an object, information of an end point, a size of an error, a location of an error, and a shape of an error.
삭제delete 삭제delete 제3항에 있어서,
상기 잔차이미지는,
상기 원본영상과 상기 왜곡된 영상을 비교하여 계산된 차이점인 것을 특징으로 하는 개선된 영상 압축 인코더.
The method of claim 3,
The residual image is,
The improved image compression encoder, characterized in that the difference calculated by comparing the original image and the distorted image.
기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 디코더에 있어서,
왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및
인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받아 손상된 영상을 복원하는 영상복원모듈을 포함하고,
상기 인코더는, 상기 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 잔차이미지 추출부; 상기 잔차이미지의 패턴을 분류하는 잔차이미지 분류부; 및 상기 분류된 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 보상값 생성부를 포함하고,
상기 생성된 보상값은, 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 것을 특징으로 하는 것을 특징으로 하는 개선된 영상 압축 디코더.
In an improved image compression decoder for improving image compression efficiency using machine learning,
An error classification module for receiving a distorted image as an input and identifying and classifying characteristics of errors included in the distorted image; And
An image restoration module for restoring a damaged image by receiving a compensation value for restoring the distorted image from an encoder through a bitstream,
The encoder includes: a residual image extracting unit for extracting and compressing a residual image of a difference between the distorted image and the original image as inputs; A residual image classification unit for classifying the pattern of the residual image; And a compensation value generator for generating a compensation value capable of reconstructing the distorted image according to the classified pattern,
And the generated compensation value is transmitted to a decoder to compensate for the distorted image.
제12항에 있어서,
상기 에러분류모듈은,
기계학습 기반으로 사용자에 의하여 주어진 왜곡된 영상의 특징을 분석하여, 에러의 종류를 분류하는 것을 특징으로 하는 개선된 영상 압축 디코더.
The method of claim 12,
The error classification module,
An improved image compression decoder, characterized in that by analyzing features of distorted images given by a user based on machine learning, and classifying types of errors.
기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 인코딩 방법에 있어서,
인코더에서 왜곡된 영상을 입력으로 하여 미리 학습된 패턴 분류방법에 따라 에러의 특징을 추출하는 단계;
상기 추출된 에러 특징들의 패턴을 분류하는 단계;
왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 단계;
상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계;
상기 잔차이미지의 분류된 에러의 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성하는 단계; 및
상기 상기 생성된 보상값을 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 단계를 포함하는 개선된 영상 압축 인코딩 방법.
In an improved video compression encoding method for improving video compression efficiency using machine learning,
Extracting an error feature according to a previously learned pattern classification method by inputting the distorted image by an encoder;
Classifying a pattern of the extracted error features;
Extracting and compressing residual images for differences between the distorted and original images as inputs;
Classifying a pattern of the extracted and compressed residual image;
Generating an appropriate compensation value capable of reconstructing the distorted image according to the classified error pattern of the residual image; And
And transmitting the generated compensation value to a decoder to compensate for a distorted image.
제14항에 있어서,
상기 분류된 에러 특징의 패턴은,
물체의 가장자리 정보, 끝점의 정보, 에러의 크기, 에러의 위치 및 에러의 모양 중 어느 하나 이상인 것을 특징으로 하는 개선된 영상 압축 인코딩 방법.
The method of claim 14,
The pattern of the classified error features,
An improved video compression encoding method, characterized in that at least one of edge information of an object, information of an end point, an error size, an error location, and an error shape.
제14항에 있어서,
인코더에서 왜곡된 영상을 입력으로 하여 미리 학습된 패턴 분류방법에 따라 에러의 특징을 추출하는 단계 및 상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계에서 생성된 학습데이터는 상호 연동하여 피드백하며 기계학습 효율을 높이는 것을 특징으로 하는 개선된 영상 압축 인코딩 방법.
The method of claim 14,
The learning data generated in the step of extracting the features of the error according to the pattern classification method learned in advance by inputting the distorted image from the encoder and classifying the pattern of the extracted and compressed residual image are fed back in conjunction with each other, An improved video compression encoding method, characterized in that improving learning efficiency.
제14항 내지 제16항 중 어느 한 항에 기재된 개선된 영상 압축 인코딩 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium recording a program for executing the improved video compression encoding method according to any one of claims 14 to 16. 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 디코딩 방법에 있어서,
왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 추출하는 단계;
상기 추출된 에러 특징들의 패턴을 분류하는 단계;
인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받는 단계; 및
상기 전송받은 보상값을 상기 왜곡된 영상에 적용하여 영상을 복원하는 단계를 포함하고,
상기 보상값은, 상기 인코더에서
왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 단계;
상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계; 및
상기 잔차이미지의 분류된 에러의 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성하는 단계를 통하여 생성되는 것을 특징으로 하는 개선된 영상 압축 디코딩 방법.
In an improved image compression decoding method for improving image compression efficiency using machine learning,
Receiving a distorted image as an input, identifying and extracting characteristics of errors included in the distorted image;
Classifying a pattern of the extracted error features;
Receiving a compensation value for reconstructing the distorted image from an encoder through a bitstream; And
And restoring an image by applying the received compensation value to the distorted image,
The compensation value is in the encoder
Extracting and compressing residual images for differences between the distorted and original images as inputs;
Classifying a pattern of the extracted and compressed residual image; And
And generating an appropriate compensation value capable of reconstructing the distorted image according to the classified error pattern of the residual image.
제18항에 기재된 개선된 영상 압축 디코딩 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium on which a program for executing the improved video compression decoding method according to claim 18 is recorded.
KR1020190006789A 2019-01-18 2019-01-18 Advanced system and method for video compression KR102154424B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190006789A KR102154424B1 (en) 2019-01-18 2019-01-18 Advanced system and method for video compression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190006789A KR102154424B1 (en) 2019-01-18 2019-01-18 Advanced system and method for video compression

Publications (2)

Publication Number Publication Date
KR20200095589A KR20200095589A (en) 2020-08-11
KR102154424B1 true KR102154424B1 (en) 2020-09-10

Family

ID=72048113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190006789A KR102154424B1 (en) 2019-01-18 2019-01-18 Advanced system and method for video compression

Country Status (1)

Country Link
KR (1) KR102154424B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022169035A1 (en) * 2021-02-02 2022-08-11 주식회사 딥브레인에이아이 Image combining apparatus and method capable of improving image quality
WO2022169036A1 (en) * 2021-02-02 2022-08-11 주식회사 딥브레인에이아이 Image synthesis apparatus and method capable of improving image quality
KR20220148470A (en) * 2021-04-29 2022-11-07 주식회사 딥브레인에이아이 Method for generating data of using machine learning and computing device for executing the method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075754A1 (en) * 2020-10-06 2022-04-14 한국항공대학교산학협력단 Method and apparatus for processing image for machine vision
KR20220076178A (en) * 2020-11-30 2022-06-08 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
KR102568141B1 (en) * 2021-03-23 2023-08-17 한국항공대학교산학협력단 System and method for padding inert part of video
WO2023022376A1 (en) * 2021-08-17 2023-02-23 현대자동차주식회사 Video coding method and device using improved in-loop filter

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922964B1 (en) * 2017-06-27 2018-11-28 아주대학교산학협력단 Apparatus and method for recovering image using image distortion detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029984B2 (en) * 2010-03-09 2016-11-24 トムソン ライセンシングThomson Licensing Method and apparatus for classification-based loop filter
KR101677242B1 (en) * 2014-02-18 2016-11-17 한국전자통신연구원 Apparatus and method for high sample adaptive offset filtering based on convolution method
KR20180100976A (en) 2017-03-03 2018-09-12 한국전자통신연구원 Method and apparatus for picture encoding/decoding using deep neural network based blur image learning
KR101885855B1 (en) 2017-03-30 2018-08-07 단국대학교 산학협력단 transmission of images based on techniques estimating high resolution
KR102053242B1 (en) 2017-04-26 2019-12-06 강현인 Machine learning algorithm using compression parameter for image reconstruction and image reconstruction method therewith

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922964B1 (en) * 2017-06-27 2018-11-28 아주대학교산학협력단 Apparatus and method for recovering image using image distortion detection

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TU 블록 크기에 따른 CNN기반 인루프필터(김양우 외 3명, 한국방송미디어공학회 학술발표대회 논문집, 15-17(3 pages))(2018.11.30.)
딥러닝 기반의 이미지와 비디오 압축 기술 분석(조승현 외 4명, 방송공학회논문지 제23권 제3호, 12pages)(2018.05.31.)
컨볼루션 신경망을 이용한 고효율 비디오 부호화에서의 인루프 필터(박운성, 김문철 한국방송미디어공학회 학술발표대회 논문집, 418-421(4 pages))(2016.06.30.)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022169035A1 (en) * 2021-02-02 2022-08-11 주식회사 딥브레인에이아이 Image combining apparatus and method capable of improving image quality
WO2022169036A1 (en) * 2021-02-02 2022-08-11 주식회사 딥브레인에이아이 Image synthesis apparatus and method capable of improving image quality
KR20220148470A (en) * 2021-04-29 2022-11-07 주식회사 딥브레인에이아이 Method for generating data of using machine learning and computing device for executing the method
KR102593489B1 (en) 2021-04-29 2023-10-24 주식회사 딥브레인에이아이 Method for generating data of using machine learning and computing device for executing the method

Also Published As

Publication number Publication date
KR20200095589A (en) 2020-08-11

Similar Documents

Publication Publication Date Title
KR102154424B1 (en) Advanced system and method for video compression
US11310501B2 (en) Efficient use of quantization parameters in machine-learning models for video coding
US11310498B2 (en) Receptive-field-conforming convolutional models for video coding
US11689726B2 (en) Hybrid motion-compensated neural network with side-information based video coding
US20220207654A1 (en) Guided restoration of video data using neural networks
Lombardo et al. Deep generative video compression
CN110971901B (en) Processing method, device and equipment of convolutional neural network and storage medium
Han et al. Deep probabilistic video compression
CN116803079A (en) Scalable coding of video and related features
Zhang et al. Davd-net: Deep audio-aided video decompression of talking heads
TW202234890A (en) Encoding by indicating feature map data
Kim et al. Adversarial video compression guided by soft edge detection
Canh et al. Rate-distortion optimized quantization: A deep learning approach
Han et al. Deep generative video compression
CN116349225A (en) Content adaptive online training method and apparatus for deblocking in block-by-block image compression
Xiao et al. The interpretable fast multi-scale deep decoder for the standard HEVC bitstreams
Jin et al. Post-processing for intra coding through perceptual adversarial learning and progressive refinement
TW202337211A (en) Conditional image compression
Chen et al. Generative Visual Compression: A Review
KR102120681B1 (en) Apparatus and method for reducing number of channels in input images to compress deep neural networks
JP2024513693A (en) Configurable position of auxiliary information input to picture data processing neural network
JP2024511587A (en) Independent placement of auxiliary information in neural network-based picture processing
US20230007284A1 (en) Ultra Light Models and Decision Fusion for Fast Video Coding
KR20200052400A (en) Advanced system and method for video classification
Joy et al. Deep learning approach in intra-prediction of high efficiency video coding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant