KR102154424B1 - Advanced system and method for video compression - Google Patents
Advanced system and method for video compression Download PDFInfo
- Publication number
- KR102154424B1 KR102154424B1 KR1020190006789A KR20190006789A KR102154424B1 KR 102154424 B1 KR102154424 B1 KR 102154424B1 KR 1020190006789 A KR1020190006789 A KR 1020190006789A KR 20190006789 A KR20190006789 A KR 20190006789A KR 102154424 B1 KR102154424 B1 KR 102154424B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- error
- distorted
- pattern
- compensation value
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 개선된 영상 압축 시스템 및 방법에 관한 것이다. 개시된 개선된 영상 압축 시스템 및 방법은, 아날로그 형태의 영상을 컴퓨터용 디지털 형태로 바꿔 압축하는 과정에서 발생하는 왜곡된 영상의 에러 패턴을 기계학습을 통하여 파악하고 분류한 후, 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 인코더 및 디지털로 코드화된 압축된 영상을 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 과정에서, 상기 인코더로부터 상기 압축된 영상의 보상값을 비트스트림을 통하여 전송받아 복원하는 디코더를 포함하는 것을 특징으로 하는 개선된 영상 압축 시스템 및 방법을 제공한다. 본 발명에 의하면, 영상을 압축할 때 더 적은 비트를 사용하고 함으로써 디코더에 원본영상에 관한 정보를 보내줌으로써 종래 기술에 비하여 영상압축효율을 향상하면서도 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있다는 이점이 있다. The present invention relates to an improved image compression system and method. In the disclosed improved image compression system and method, an error pattern of a distorted image that occurs in the process of converting an analog image into a digital form for a computer and compressing it is identified and classified through machine learning, and then the distorted image is restored. In the process of decoding a digitally coded compressed image and converting it into an analog signal corresponding thereto, an encoder that generates a compensable compensation value is transmitted from the encoder through a bitstream and restored. It provides an improved video compression system and method comprising a decoder. According to the present invention, an improved image compression system that uses fewer bits when compressing an image and transmits information about the original image to a decoder, thereby improving image compression efficiency and improving image quality compared to the prior art. And there is an advantage of being able to provide a method.
Description
본 발명은 개선된 영상 압축 시스템 및 방법에 관한 것으로, 더욱 상세하게는 기계학습 기반의 방법을 이용하여 왜곡된 영상의 에러를 분류하고 적합한 보상값을 찾아 압축성능을 향상하도록 하는 개선된 영상 압축 시스템 및 방법에 관한 것이다.The present invention relates to an improved image compression system and method, and more particularly, an improved image compression system that classifies an error of a distorted image using a machine learning-based method and finds an appropriate compensation value to improve compression performance. And a method.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present embodiment and does not constitute the prior art.
급격하게 발전하고 있는 정보 기술 사회와 함께 영상/동영상 또한 실생활에서 다양하게 활용되고 있다. 영상/동영상이 일반 소비자의 일상생활에 밀접하게 관련됨에 따라, 다양한 디지털 영상이 획득되어 활용되고 있다. 동영상이 시민들의 일상생활에 밀접하게 관련됨에 따라, 동영상이 인터넷 트래픽의 대부분을 사용하고 있고, 그 정도는 점점 증가하고 있다. 동영상은 처음 만들어진 후 저장될 때 압축이 필연적으로 진행된다. Along with the rapidly developing information technology society, video/video is also being used in various ways in real life. As images/movies are closely related to the daily life of general consumers, various digital images are acquired and used. As videos are closely related to the daily life of citizens, videos use most of the internet traffic, and the degree is increasing. When a video is first created and saved, compression inevitably proceeds.
영상압축(Image Compression)은 방대한 양의 영상 데이터를 축소하는 작업이다. 압축된 영상은 케이블, 지상파 방송, 위성 서비스를 통해 디지털 영상을 전달하는 데에 요구되는 대역너비를 효과적으로 줄인다. 영상압축 방법은 영상 압축 후 복원 시 원래 영상의 정보를 모두 유지하는가 그렇지 않은가의 여부에 따라 손실압축(lossy compression)과 무손실 압축(lossless compression)으로 구별된다. 무손실 압축은 영상의 코팅과 디코팅을 완벽하게 수행하여 압축 영상을 복원한 영상이 원래 영상과 완전히 일치하는 압축 방법인 반면, 손실 압축은 영상에서 중복되거나 상대적으로 덜 중요한 부분의 정보를 제거함으로써 압축률을 높이는 압축 방법이다. 대부분의 압축은 손실 압축을 사용하여 용량을 줄이며, 일반적으로 정지 영상과 동영상의 압축 기술은 JPEG(joint picture expert group), MPEG(motion pic-ture expert groups)가 표준이다.Image compression is an operation of reducing a vast amount of image data. Compressed video effectively reduces the bandwidth required to deliver digital video through cable, terrestrial broadcasting, and satellite services. The image compression method is classified into lossy compression and lossless compression depending on whether or not all information of the original image is retained when restoring after image compression. Lossless compression is a compression method in which the compressed image is completely consistent with the original image by completely coating and decoating the image, whereas lossy compression is a compression method by removing redundant or less important information from the image. It is a compression method that increases Most compressions use lossy compression to reduce capacity, and in general, joint picture expert groups (JPEG) and motion pic-ture expert groups (MPEG) are standard compression techniques for still images and moving pictures.
디스플레이 장치가 점점 발전됨에 따라 사람들이 주로 사용하는 영상의 사이즈가 증가하고 있는 반면, 동영상을 인터넷을 통해 공유하기 위해서는 대역폭이 제한되어 있으므로 압축할 때의 비트량이 적을수록 유용하다. As display devices are gradually developed, the size of images mainly used by people is increasing, whereas bandwidth is limited in order to share a moving image through the Internet, so the smaller the amount of bits for compression, the more useful.
동영상의 활용도가 높아짐에 따라 고려해야 할 중요한 고려사항은 적은 양의 비트를 사용하면서 영상의 화질이 높아야 한다는 것이다. 즉, 동영상의 압축 효율을 높여야 한다는 점이다. An important consideration to consider as the utilization of video increases is that the video quality must be high while using a small amount of bits. In other words, it is necessary to increase the compression efficiency of the video.
이에, 본 발명에서는, 종래 기술에 비하여 압축효율이 개선된 영상 압축 시스템 및 방법을 제안하고자 한다.Accordingly, in the present invention, an image compression system and method with improved compression efficiency compared to the prior art are proposed.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 영상을 압축할 때 더 적은 비트를 사용함으로써 종래 기술에 비하여 영상압축효율을 향상시키도록 하는 개선된 영상 압축 시스템 및 방법을 제공하는데 주된 목적이 있다.The present invention has been proposed to solve the problems of the prior art described above, and provides an improved image compression system and method for improving image compression efficiency compared to the prior art by using fewer bits when compressing an image. It has a main purpose.
또한, 본 발명의 다른 목적은 적은 비트를 통하여 영상압축 효율은 증가하면서도, 디코더에 원본영상에 관한 정보를 보내줌으로써 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is to provide an improved image compression system and method capable of improving image quality by sending information about an original image to a decoder while increasing image compression efficiency through fewer bits.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those of ordinary skill in the art from the following description.
전술한 목적을 달성하기 위한 본 발명의 일 양상은, 아날로그 형태의 영상을 컴퓨터용 디지털 형태로 바꿔 압축하는 과정에서 발생하는 왜곡된 영상의 에러 패턴을 기계학습을 통하여 파악하고 분류한 후, 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 인코더; 및 디지털로 코드화된 압축된 영상을 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 과정에서, 상기 인코더로부터 상기 압축된 영상의 보상값을 비트스트림을 통하여 전송받아 복원하는 디코더를 포함하는 것을 특징으로 하는 개선된 영상 압축 시스템을 제공한다. One aspect of the present invention for achieving the above object is to grasp and classify an error pattern of a distorted image generated in the process of compressing an analog image into a digital form for a computer through machine learning, and then, the distortion An encoder that generates a compensation value capable of reconstructing the image; And a decoder that receives and restores a compensation value of the compressed image from the encoder through a bitstream in the process of decoding the digitally coded compressed image and converting it into an analog signal corresponding thereto. Provides an image compression system.
본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 인코더에 있어서, 왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및 원본영상과 상기 왜곡된 영상을 입력으로 하여 상기 에러분류모듈에서 분류한 에러를 바탕으로 이를 보상해 줄 수 있는 보상값을 찾는 잔차이미지 압축모듈을 포함하는 것을 특징으로 하는 개선된 영상 압축 인코더를 제공한다.Another aspect of the present invention is an improved image compression encoder for improving image compression efficiency using machine learning, receiving a distorted image as an input, identifying and classifying the characteristics of errors included in the distorted image An error classification module; And a residual image compression module that receives the original image and the distorted image as inputs and finds a compensation value capable of compensating for the error classified by the error classification module. to provide.
본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 디코더에 있어서, 왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및 인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받아 손상된 영상을 복원하는 영상복원모듈을 포함하는 것을 특징으로 하는 개선된 영상 압축 디코더를 제공한다.Another aspect of the present invention is an improved image compression decoder for improving image compression efficiency using machine learning, in which a distorted image is received as an input, and the characteristics of errors included in the distorted image are identified and classified. An error classification module; And an image restoration module for restoring a damaged image by receiving a compensation value for restoration of the distorted image from an encoder through a bitstream.
본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 인코딩 방법에 있어서, 인코더에서 왜곡된 영상을 입력으로 하여 미리 학습된 패턴 분류방법에 따라 에러의 특징을 추출하는 단계; 상기 추출된 에러 특징들의 패턴을 분류하는 단계; 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 단계; 상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계; 및 상기 잔차이미지의 분류된 에러의 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성하는 단계를 포함하는 개선된 영상 압축 인코딩 방법을 제공한다.Another aspect of the present invention is an improved image compression encoding method for improving image compression efficiency using machine learning, in which an error characteristic is determined according to a pattern classification method previously learned by inputting a distorted image from an encoder. Extracting; Classifying a pattern of the extracted error features; Extracting and compressing residual images for differences between the distorted and original images as inputs; Classifying a pattern of the extracted and compressed residual image; And generating an appropriate compensation value for reconstructing the distorted image according to the classified error pattern of the residual image.
본 발명의 다른 일 양상은, 상기 개선된 영상 압축 인코딩 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.Another aspect of the present invention provides a computer-readable recording medium recording a program for executing the improved video compression encoding method.
본 발명의 다른 일 양상은, 기계학습을 활용하여 영상압축 효율을 향상하기 위한 개선된 영상 압축 디코딩 방법에 있어서, 왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 추출하는 단계; 상기 추출된 에러 특징들의 패턴을 분류하는 단계; 인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받는 단계; 및 상기 전송받은 보상값을 상기 왜곡된 영상에 적용하여 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 개선된 영상 압축 디코딩 방법을 제공한다.Another aspect of the present invention is an improved image compression decoding method for improving image compression efficiency using machine learning, receiving a distorted image as an input and grasping the characteristics of errors included in the distorted image Extracting; Classifying a pattern of the extracted error features; Receiving a compensation value for reconstructing the distorted image from an encoder through a bitstream; And applying the received compensation value to the distorted image to restore an image.
본 발명의 다른 일 양상은, 상기 개선된 영상 압축 디코딩 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.Another aspect of the present invention provides a computer-readable recording medium recording a program for executing the improved video compression decoding method.
본 발명의 개선된 영상 압축 시스템 및 방법에 의하면, 영상을 압축할 때 더 적은 비트를 사용함으로써 종래 기술에 비하여 영상압축효율을 향상시키도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있다는 효과가 있다.According to the improved image compression system and method of the present invention, there is an effect of providing an improved image compression system and method that improves image compression efficiency compared to the prior art by using fewer bits when compressing an image. have.
또한, 적은 비트를 통하여 영상압축 효율은 증가하면서도, 디코더에 원본영상에 관한 정보를 보내줌으로써 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있다는 효과가 있다.In addition, there is an effect that it is possible to provide an improved image compression system and method capable of increasing image quality by sending information about an original image to a decoder while increasing image compression efficiency through fewer bits.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description. .
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 개선된 영상 압축 시스템의 구성을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 에러분류모듈의 구성을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 잔차이미지 압축모듈의 구성을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 개선된 영상 압축 방법을 예시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as part of the detailed description to aid in understanding of the present invention, provide embodiments of the present invention, and together with the detailed description, the technical features of the present invention will be described.
1 is a diagram illustrating a configuration of an improved image compression system according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of an error classification module according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of a residual image compression module according to an embodiment of the present invention.
4 is a diagram illustrating an improved image compression method according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The detailed description to be disclosed hereinafter together with the accompanying drawings is intended to describe exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details to provide a thorough understanding of the present invention. However, those of ordinary skill in the art to which the present invention pertains knows that the present invention may be practiced without these specific details.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted, or may be shown in a block diagram form centering on core functions of each structure and device.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.Throughout the specification, when a part is said to "comprising or including" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. do. In addition, terms such as "... unit", "... group", and "module" described in the specification mean units that process at least one function or operation, which can be implemented by hardware or software or a combination of hardware and software. have. In addition, "a or an", "one", "the" and similar related words are different from this specification in the context of describing the invention (especially in the context of the following claims). Unless indicated or clearly contradicted by context, it may be used in the sense of including both the singular and the plural.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.
본 발명의 도면의 각 구성부들은 개선된 영상 분류 시스템 및 방법에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다. Each of the components in the drawings of the present invention is shown independently to represent different characteristic functions in the improved image classification system and method, and does not mean that each component is made up of separate hardware or one software component unit. Does not. That is, each constituent part is listed and included as a constituent part for convenience of explanation, and at least two of the constituent parts are combined to form a single constituent part, or one constituent part is divided into a plurality of constituent parts to perform a function Integrated embodiments and separate embodiments of the components are also included in the scope of the present invention unless departing from the essence of the present invention.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components are not essential components that perform essential functions in the present invention, but may be optional components only for improving performance. The present invention can be implemented by including only the components essential to implement the essence of the present invention excluding components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement Also included in the scope of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 개선된 영상 압축 시스템의 구성을 예시한 도면이다.1 is a diagram illustrating a configuration of an improved image compression system according to an embodiment of the present invention.
인코더(100)는 동영상이나 음성신호를 다른 신호형태로 바꾸기 위한 장치, 또는 프로그램을 말한다. 주로 아날로그 형태의 영상을 컴퓨터용 디지털 형태로 바꿀 때 사용한다.The
본 발명의 일 실시예에서 인코더(100)는 에러분류모듈(110)과 잔차이미지 압축모듈(120)을 포함한다.In an embodiment of the present invention, the
에러분류모듈(110)은 왜곡된 영상을 입력으로 받아 기계학습 알고리즘을 이용하여 에러의 특징을 파악하고 분류하는 모듈이다. The
기계학습 알고리즘에는 의사결정나무(Decision Tree), 베이지안 망(Bayesian network), 지지벡터머신(Support Vector Machine, SVM), 인공 신경망(Artificial Neural Network), 딥러닝 등이 있다. 지지벡터머신 모델은 패턴분류에 있어서 각광받고 있는 통계적 학습이론으로, 패턴인식과 자료 분석을 위한 지도(감독/교사) 학습의 모델로 주로 분류와 회귀분석을 위해 사용하고 있다. 다시 말하면 학습데이터와 범주 정보의 학습 진단을 대상으로 학습과정에서 얻어진 확률분포를 이용하여 의사결정함수를 추정한 후 이 함수에 따라 새로운 데이터를 이원 분류하는 것이다. 지도 학습은 컴퓨터에 먼저 정보를 가르치는 방법으로 컴퓨터는 미리 학습된 결과를 바탕으로 정보를 구분하는 것이다. 딥러닝은 컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술로서, 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킨다. 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지·추론·판단할 수 있게 된다. Machine learning algorithms include Decision Tree, Bayesian network, Support Vector Machine (SVM), artificial neural network, and deep learning. The support vector machine model is a statistical learning theory that is in the spotlight in pattern classification, and is mainly used for classification and regression analysis as a model for supervised (supervised/teacher) learning for pattern recognition and data analysis. In other words, after estimating a decision function using the probability distribution obtained in the learning process for the learning diagnosis of learning data and category information, new data is classified in two ways according to this function. Supervised learning is a method of first teaching information to a computer, and the computer classifies information based on the result of learning in advance. Deep learning is a machine learning technology built on the basis of an artificial neural network (ANN) to enable computers to learn on their own like a human using multiple data. The human brain discovers patterns in numerous data. After that, the computer learns the machine to discern things by imitating the information processing method that separates things. When deep learning technology is applied, computers can recognize, infer, and make decisions on their own, even if humans do not set all judgment criteria.
동영상은 짧은 시간 간격 동안 순차적으로 표시되는 정지화면들의 집합이고, 이들 정지화면 간에는 화면간의 짧은 시간 간격으로 인하여, 이웃한 영상간에는 상당히 높은 상관성이 존재한다. 동일 화면 내에서의 JPEG에서와 거의 같이 압축하는 것이 화면 내(Intral mode) 부호화라 하며, 화면 내 부호화 방식으로 압축되는 화면을 I(Intra)-프레임이라고 한다. A moving picture is a set of still pictures that are sequentially displayed over a short time interval, and a very high correlation exists between neighboring images due to a short time interval between these still pictures. Compression in the same picture as in JPEG is called intra-mode encoding, and a picture compressed by the intra-picture encoding method is called I(Intra)-frame.
과거 또는 미래의 프레임을 참조하여 예측 압축방식으로 부호화 하는 것을 화면간(Inter mode) 부호화라 한다. 이전의 화면과 현재의 화면의 차이가 매우 적은 것을 이용하여 차이 값만을 부호화하는 것으로, 화면간 부호화를 위해서는 매크로블록 단위의 모션 추정(motion estimation) 과 모션 보상(motion compensation)이라는 개념이 사용된다. 화면간 부호화 방식으로 압축되는 화면은 P(Predictive)-프레임과 B(Bidirectional)- 프레임이 있다.Encoding using a predictive compression method with reference to a frame in the past or future is referred to as inter mode encoding. The difference between the previous screen and the current screen is very small, and only the difference value is encoded. For inter-screen encoding, the concept of motion estimation and motion compensation in units of macroblocks is used. There are P (Predictive)-frame and B (Bidirectional)-frame in pictures compressed by the inter-picture coding method.
동영상의 높은 효율로의 압축을 위해서는 움직임 예측, 움직임 보상 등 여러기법을 이용하여 중복성을 제거하게 된다. 하지만, 압축률을 높일수록 영상의 품질이 저하되고 원본영상에 비하여 왜곡된 영상이 발생하게 된다. In order to compress video with high efficiency, redundancy is removed by using various techniques such as motion prediction and motion compensation. However, as the compression rate increases, the quality of the image deteriorates, and an image distorted compared to the original image is generated.
에러분류모듈(110)에서는 인코더 단에서 주어진 입력영상과 왜곡된 영상을 이용하여 미리 학습된 패턴 분류방법에 따라 에러의 종류를 분류할 수 있다. 이 때 말하는 에러는 원본 영상과 왜곡된 영상의 차이이다. 에러를 분류할 때 분류되는 가짓수에 맞춰서 에러분류모듈(110)에서 그에 맞는 수(가짓수)의 채널을 출력으로 한다. 이때, 출력된 채널들이 분류된 에러라고 볼 수 있다.The
에러분류모듈(110)은 인공지능 기반으로 사용자에 의하여 주어진 왜곡된 영상의 특징을 분석하여, 에러의 종류를 분류하는 기술이 적용된 장치이다.The
에러분류모듈(110)에는 딥러닝의 합성곱 신경망(Convolutional Neural Network, CNN)기법이 활용되는 것이 바람직하다. 합성곱 신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조를 통하여 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있으며, 다른 딥 러닝 구조들에 비하여 영상, 음성 분야 모두에서 좋은 성능을 가져올 수 있다.It is preferable that the
잔차이미지 압축모듈(120)에서는 원본영상과 왜곡된 영상을 입력으로 하여 에러분류모듈(110)에서 분류한 에러를 바탕으로 이를 가장 잘 보상해 줄 수 있는 보상값을 찾도록 한다. 에러분류모듈(110)에서 분류된 에러가 결정되면 잔차이미지 압축모듈(120)에서의 보상값은 실제 값과 에러값의 차이로 결정된다.The residual
에러분류모듈(110)에서 기준에 따라 에러를 분류하게 되면 잔차이미지 압축모듈(120)에서는 이를 각각 분류된 에러의 특징에 맞는 보상값을 찾아 복원할 수 있다. 이러한 보상값을 찾기 위하여 잔차이미지 압축모듈(120)에서는 왜곡된 영상과 원본 영상을 입력으로 받아 그것들로 만들어진 잔차 이미지를 압축하여 에러분류모듈(110)에서 에러를 분류한 것과 같은 패턴 분류 방법에 따라 몇 가지로 분류할 수 있고, 그것을 보상값으로 사용할 수 있다. 따라서 잔차이미지 압축모듈(120)에서 출력된 보상값을 이용해 에러분류모듈(110)에서 분류된 에러를 보상해 손상된 영상을 복원할 수 있다. When the
에러분류모듈(110)과 잔차이미지 압축모듈(120)은 상호연동하여 피드백하며 학습을 더욱 효과적으로 수행할 수 있다. 주어진 네트워크 학습 과정에서 오차가 생성되면 이 오차가 에러분류모듈(110)과 잔차이미지 압축 모듈(120)에 동시에 영향을 주도록 설계되어 두 모듈이 학습될 때 서로를 참고하여 학습된다.The
디코더(200)는 인코더(100)에서 디지털로 코드화된 데이터를 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 장치, 또는 프로그램을 말한다. The
본 발명의 일 실시예에서 디코더(200)는 에러분류모듈(110)을 포함한다. In an embodiment of the present invention, the
인코더(100)에서 인코딩할 때는 원본 영상이 사용 가능하기 때문에 인공 신경망의 잔차이미지 압축모듈(120)에서 잔차 이미지를 분류 및 압축할 수 있지만, 디코더(200)에서 디코딩할 때는 원본 영상을 사용할 수 없기 때문에 잔차 이미지를 이용할 수 없다. Since the original image can be used when encoding in the
따라서, 디코더(200) 단에서는 에러분류모듈(110)만을 사용하되, 추가적으로 에러의 보상값을 인코더(100)로부터 비트스트림을 통해 전송받아 영상복원모듈(210)에서 손상된 영상을 복원한다. Accordingly, the
본 발명의 일 실시예에 따른 개선된 영상 압축 시스템을 적용한 실험결과, HD크기의 영상에서 5%, UHD급 영상에서 13% 정도의 성능이 향상됨이 확인되었다.As a result of an experiment applying the improved image compression system according to an embodiment of the present invention, it was confirmed that the performance was improved by 5% for HD-sized images and 13% for UHD-level images.
구체적으로는 동영상 압축시 사용하는 세 가지 방법(All Intra, Low Delay P, Random Access) 중 Low Delay P 환경에서 진행하였으며, 45개의 학습영상을 바탕으로 20개의 테스트 영상에 대한 실험을 진행하였다. 이 결과 영상 크기에 따라 결과가 상이한데, UHD 크기에서는 13% 비트절감을, 2560x1600 크기에서는 9%, 그리고 HD 사이즈에서는 5% 성능향상을 보였다.Specifically, among the three methods used for video compression (All Intra, Low Delay P, Random Access), it was conducted in a Low Delay P environment, and experiments were conducted on 20 test images based on 45 learning images. As a result, the results are different depending on the image size, with 13% bit reduction in UHD size, 9% in 2560x1600 size, and 5% performance improvement in HD size.
도 2는 본 발명의 일 실시예에 따른 에러분류모듈의 구성을 예시한 도면이다.2 is a diagram illustrating a configuration of an error classification module according to an embodiment of the present invention.
에러분류모듈(110)은 특징추출부(111)와 패턴분류부(112)로 구분될 수 있다.The
특징추출부(111)는 합성곱 신경망(CNN)은 뉴럴 네트워크인 패턴분류부(112) 앞에 여러 계층의 컨볼루셔널 계층인 특징추출부(111)를 붙인 모양이다. 합성곱 신경망(CNN)은 앞의 컨볼루셔널 계층을 통해서 입력받은 왜곡된 영상에 대한 원본영상 대비 에러의 특징(Feature)를 추출하게 되고, 이렇게 추출된 특징을 기반으로 뉴럴 네트워크인 특징추출부(111)를 이용하여 분류한다.The
특징추출부(111)는 다시 특징을 추출하는 기능을 하는 필터(Filter)와, 이 필터를 적용하여 얻어진 값을 비선형 값으로 바꾸어 주는 액티베이션 함수(Activation 함수)로 이루어진다. 필터를 적용해서 얻어낸 결과인 피쳐맵(Feature map)은 정량적인 값으로 나오기 때문에 이를 필터링된 특징을 "있다, 없다"의 비선형 값으로 바꿔 주는 과정이 필요한데, 이것이 바로 액티베이션 함수(Activation 함수)이다. The
특징추출부(111)는 필터와 액티베이션 함수를 반복적으로 조합하여 특징을 추출하게 된다. The
패턴분류부(112)는 완전하게 연결된 계층(fully connected layer)으로 구성되어 왜곡된 영상의 에러를 분류한다. 예를 들어, 물체의 가장자리 정보와 끝점의 정보 등이 따로 분류될 수도 있고, 에러의 크기나 위치 또는 모양 등으로 분류할 수도 있다.The
도 3은 본 발명의 일 실시예에 따른 잔차이미지 압축모듈의 구성을 예시한 도면이다.3 is a diagram illustrating a configuration of a residual image compression module according to an embodiment of the present invention.
잔차이미지 압축모듈(120)은 잔차이미지 추출부(121), 잔차이미지 분류부(122) 및 보상값 생성부(123)로 구분될 수 있다. The residual
잔차이미지 추출부(121)는 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축한다. The residual
잔차이미지 분류부(122)는 잔차이미지를 에러분류모듈(110)의 패턴분류부(112)와 유사하게 패턴을 분류한다.The residual
보상값 생성부(123)는 잔차이미지 분류부(122)에서 분류된 패턴에 따라 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성한다. The
도 4는 본 발명의 일 실시예에 따른 개선된 영상 압축 방법을 예시한 도면이다.4 is a diagram illustrating an improved image compression method according to an embodiment of the present invention.
인코더(100)에 왜곡된 영상을 입력으로 하여 에러분류모듈(110)에서 미리 학습된 패턴 분류방법에 따라 에러의 종류를 분류할 수 있다.The type of error may be classified according to the pattern classification method learned in advance in the
우선 에러분류모듈(110)의 특징추출부(111)에서 합성곱 신경망(CNN)은 합성곱 신경망(CNN)은 앞의 컨볼루셔널 계층을 통해서 입력받은 왜곡된 영상에 대한 에러의 특징(Feature)를 추출한다(S401).First, in the
이렇게 왜곡된 영상의 에러의 특징을 기반으로 뉴럴 네트워트인 패턴분류부(112)는 완전하게 연결된 계층(fully connected layer)으로 구성되어 왜곡된 영상의 에러를 분류한다(S403). 예를 들어, 물체의 가장자리 정보와 끝점의 정보 등이 따로 분류될 수도 있고, 에러의 크기나 위치 또는 모양 등으로 분류할 수도 있다.Based on the error characteristics of the distorted image, the
잔차이미지 압축모듈(120)의 잔차이미지 추출부(121)는 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축한다(S405). The residual
잔차이미지 분류부(122)는 잔차이미지 추출부(121)에서 추출되고 압축된 잔차이미지를 에러분류모듈(110)의 패턴분류부(112)에서 수행한 것과 유사하게 패턴을 분류한다(S407).The residual
보상값 생성부(123)는 잔차이미지 분류부(122)에서 분류된 에러의 패턴에 따라 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성한다(S409).The
필요시 상기 에러분류모듈(110)과 잔차이미지 압축모듈(120)에서 수행되는 학습데이터는 상호연동하여 피드백하며 학습을 더욱 효과적으로 수행할 수 있다(S411).When necessary, the learning data performed by the
디코더(200)의 에러분류모듈(110)에서는 S401 단계와 유사하게 입력받은 왜곡된 영상에 대한 에러의 특징(Feature)를 추출한다(S413).The
이후 S403 단계와 유사하게 왜곡된 영상의 에러를 추출된 특징을 분류한다(S415). Thereafter, similar to step S403, the features extracted from the error of the distorted image are classified (S415).
이와 더불어 보상값 생성부(123)에서 생성된 보상값은 비트스트림을 통하여 디코더(200)에 추가적으로 전송된다(S417). In addition, the compensation value generated by the
디코더(200)의 영상복원모듈(210)에서는 전송받은 보상값을 왜곡된 영상에 적용하여 손상된 영상을 복원한다(S419). The
도 4에서는 단계 S401 내지 단계 S419을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7에 기재된 순서를 변경하여 실행하거나 단계 S401 내지 단계 S419 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4은 시계열적인 순서로 한정되는 것은 아니다. 예컨대, S411의 학습데이터 연동은 특징추출 이전 및 수시로 수행될 수 있으며, S417의 보상값 전송도 S413의 특징추출 이전에 전송되어 디코더(200)에 저장되어 있을 수 있다. In FIG. 4, steps S401 to S419 are described as sequentially executing, but this is only illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which this embodiment belongs In the range not departing from the essential characteristics, the order shown in FIG. 7 may be changed and executed, or at least one of the steps S401 to S419 may be executed in parallel, and thus various modifications and variations may be applied. It is not limited. For example, the learning data linkage in S411 may be performed before feature extraction and at any time, and the compensation value transmission in S417 may be transmitted before feature extraction in S413 and stored in the
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of each block in the block diagram attached to the present specification and each step in the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are shown in each block or flow chart of the block diagram. Each step creates a means to perform the functions described. These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block or flow chart. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for performing the functions described in each block of the block diagram and each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code comprising one or more executable instructions for executing the specified logical function(s). In addition, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
본 발명의 개선된 영상 압축 시스템 및 방법에 따르면, 영상을 압축할 때 더 적은 비트를 사용하고 함으로써 디코더에 원본영상에 관한 정보를 보내줌으로써 종래 기술에 비하여 영상압축효율을 향상하면서도 영상의 화질은 높일 수 있도록 하는 개선된 영상 압축 시스템 및 방법을 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the improved image compression system and method of the present invention, fewer bits are used when compressing an image, thereby sending information about an original image to a decoder, thereby improving image compression efficiency while improving image quality compared to the prior art. In that it can be used as a solution that can provide an improved image compression system and method that allows it to be used, the possibility of marketing or sales of applied devices is increased as it exceeds the limitations of existing technologies. It is an invention that has industrial applicability because it is not only sufficient, but also to the extent that it can be implemented clearly in reality.
100: 인코더
110: 에러분류모듈 111: 특징추출부 112: 패턴분류부
120: 잔차이미지 압축모듈 121: 잔차이미지 추출부
122: 잔차이미지 분류부 123: 보상값 생성부
200: 디코더
210: 영상복원모듈100: encoder
110: error classification module 111: feature extraction unit 112: pattern classification unit
120: residual image compression module 121: residual image extraction unit
122: residual image classification unit 123: compensation value generation unit
200: decoder
210: image restoration module
Claims (19)
디지털로 코드화된 압축된 영상을 해독하여 그에 대응되는 아날로그 신호로 바꿔주는 과정에서, 상기 인코더로부터 상기 압축된 영상의 보상값을 비트스트림을 통하여 전송받아 복원하는 디코더를 포함하고,
상기 인코더는, 상기 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 잔차이미지 추출부; 상기 잔차이미지의 패턴을 분류하는 잔차이미지 분류부; 및 상기 분류된 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 보상값 생성부를 포함하고,
상기 생성된 보상값은, 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 것을 특징으로 하는 개선된 영상 압축 시스템.An encoder that detects and classifies an error pattern of a distorted image that occurs in the process of converting an analog image into a digital form for a computer and compressing it through machine learning, and then generating a compensation value for restoring the distorted image; And
In the process of decoding the digitally coded compressed image and converting it into an analog signal corresponding thereto, a decoder configured to receive and restore a compensation value of the compressed image from the encoder through a bitstream,
The encoder includes: a residual image extracting unit for extracting and compressing a residual image of a difference between the distorted image and the original image as inputs; A residual image classification unit for classifying the pattern of the residual image; And a compensation value generator for generating a compensation value capable of reconstructing the distorted image according to the classified pattern,
The generated compensation value is transmitted to a decoder to compensate for the distorted image.
상기 보상값의 생성은,
상기 인코더에서 주어진 입력 원본영상과 왜곡된 영상을 이용하여 미리 학습된 패턴 분류방법에 따라 에러의 종류를 분류하는 것을 특징으로 하는 개선된 영상 압축 시스템.The method of claim 1,
The generation of the compensation value,
An improved image compression system, characterized in that the type of error is classified according to a previously learned pattern classification method using the input original image and the distorted image given by the encoder.
왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및
원본영상과 상기 왜곡된 영상을 입력으로 하여 상기 에러분류모듈에서 분류한 에러를 바탕으로 이를 보상해 줄 수 있는 보상값을 찾는 잔차이미지 압축모듈을 포함하고,
상기 잔차이미지 압축모듈은, 상기 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 잔차이미지 추출부;
상기 잔차이미지의 패턴을 분류하는 잔차이미지 분류부; 및 상기 분류된 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 보상값 생성부를 포함하고,
상기 생성된 보상값은, 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 특징으로 하는 개선된 영상 압축 인코더.In an improved video compression encoder for improving video compression efficiency using machine learning,
An error classification module for receiving a distorted image as an input and identifying and classifying characteristics of errors included in the distorted image; And
A residual image compression module that takes an original image and the distorted image as inputs and finds a compensation value capable of compensating for the error classified by the error classification module,
The residual image compression module includes: a residual image extracting unit for extracting and compressing a residual image of a difference between the distorted image and the original image as inputs;
A residual image classification unit for classifying the pattern of the residual image; And a compensation value generator for generating a compensation value capable of reconstructing the distorted image according to the classified pattern,
And the generated compensation value is transmitted to a decoder to compensate for the distorted image.
상기 에러분류모듈은,
기계학습 기반으로 사용자에 의하여 주어진 왜곡된 영상의 특징을 분석하여, 에러의 종류를 분류하는 것을 특징으로 하는 개선된 영상 압축 인코더.The method of claim 3,
The error classification module,
An improved image compression encoder, characterized in that the type of error is classified by analyzing features of a distorted image given by a user based on machine learning.
상기 기계학습은,
딥러닝의 합성곱 신경망(Convolutional Neural Network, CNN)인 것을 특징으로 하는 개선된 영상 압축 인코더.The method of claim 4,
The machine learning,
An improved image compression encoder, characterized in that it is a convolutional neural network (CNN) of deep learning.
상기 에러분류모듈과 상기 잔차이미지 압축모듈은 상호연동하여 피드백하여 학습데이터를 공유하여 기계학습을 수행하는 것을 특징으로 하는 개선된 영상 압축 인코더.The method of claim 3,
And the error classification module and the residual image compression module interoperate with each other to provide feedback to share learning data to perform machine learning.
상기 에러분류모듈은,
상기 입력받은 왜곡된 영상에 대한 원본영상 대비 에러의 특징를 추출하는 특징추출부; 및
상기 특징추출부에서 추출된 특징을 기반으로 에러의 패턴을 분류하는 패턴분류부를 포함하는 것을 특징으로 하는 개선된 영상 압축 인코더.The method of claim 3,
The error classification module,
A feature extractor for extracting features of an error compared to the original image for the received distorted image; And
And a pattern classifying unit for classifying an error pattern based on the features extracted from the feature extracting unit.
상기 왜곡된 영상의 에러 패턴의 분류는,
물체의 가장자리 정보, 끝점의 정보, 에러의 크기, 에러의 위치 및 에러의 모양 중 어느 하나 이상인 것을 특징으로 하는 개선된 영상 압축 인코더.The method of claim 7,
Classification of the error pattern of the distorted image,
An improved image compression encoder, characterized in that at least one of edge information of an object, information of an end point, a size of an error, a location of an error, and a shape of an error.
상기 잔차이미지는,
상기 원본영상과 상기 왜곡된 영상을 비교하여 계산된 차이점인 것을 특징으로 하는 개선된 영상 압축 인코더. The method of claim 3,
The residual image is,
The improved image compression encoder, characterized in that the difference calculated by comparing the original image and the distorted image.
왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 분류하는 에러분류모듈; 및
인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받아 손상된 영상을 복원하는 영상복원모듈을 포함하고,
상기 인코더는, 상기 왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 잔차이미지 추출부; 상기 잔차이미지의 패턴을 분류하는 잔차이미지 분류부; 및 상기 분류된 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 보상값을 생성하는 보상값 생성부를 포함하고,
상기 생성된 보상값은, 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 것을 특징으로 하는 것을 특징으로 하는 개선된 영상 압축 디코더.In an improved image compression decoder for improving image compression efficiency using machine learning,
An error classification module for receiving a distorted image as an input and identifying and classifying characteristics of errors included in the distorted image; And
An image restoration module for restoring a damaged image by receiving a compensation value for restoring the distorted image from an encoder through a bitstream,
The encoder includes: a residual image extracting unit for extracting and compressing a residual image of a difference between the distorted image and the original image as inputs; A residual image classification unit for classifying the pattern of the residual image; And a compensation value generator for generating a compensation value capable of reconstructing the distorted image according to the classified pattern,
And the generated compensation value is transmitted to a decoder to compensate for the distorted image.
상기 에러분류모듈은,
기계학습 기반으로 사용자에 의하여 주어진 왜곡된 영상의 특징을 분석하여, 에러의 종류를 분류하는 것을 특징으로 하는 개선된 영상 압축 디코더. The method of claim 12,
The error classification module,
An improved image compression decoder, characterized in that by analyzing features of distorted images given by a user based on machine learning, and classifying types of errors.
인코더에서 왜곡된 영상을 입력으로 하여 미리 학습된 패턴 분류방법에 따라 에러의 특징을 추출하는 단계;
상기 추출된 에러 특징들의 패턴을 분류하는 단계;
왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 단계;
상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계;
상기 잔차이미지의 분류된 에러의 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성하는 단계; 및
상기 상기 생성된 보상값을 디코더에 전송하여 왜곡된 영상을 보상하도록 하는 단계를 포함하는 개선된 영상 압축 인코딩 방법.In an improved video compression encoding method for improving video compression efficiency using machine learning,
Extracting an error feature according to a previously learned pattern classification method by inputting the distorted image by an encoder;
Classifying a pattern of the extracted error features;
Extracting and compressing residual images for differences between the distorted and original images as inputs;
Classifying a pattern of the extracted and compressed residual image;
Generating an appropriate compensation value capable of reconstructing the distorted image according to the classified error pattern of the residual image; And
And transmitting the generated compensation value to a decoder to compensate for a distorted image.
상기 분류된 에러 특징의 패턴은,
물체의 가장자리 정보, 끝점의 정보, 에러의 크기, 에러의 위치 및 에러의 모양 중 어느 하나 이상인 것을 특징으로 하는 개선된 영상 압축 인코딩 방법.The method of claim 14,
The pattern of the classified error features,
An improved video compression encoding method, characterized in that at least one of edge information of an object, information of an end point, an error size, an error location, and an error shape.
인코더에서 왜곡된 영상을 입력으로 하여 미리 학습된 패턴 분류방법에 따라 에러의 특징을 추출하는 단계 및 상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계에서 생성된 학습데이터는 상호 연동하여 피드백하며 기계학습 효율을 높이는 것을 특징으로 하는 개선된 영상 압축 인코딩 방법.The method of claim 14,
The learning data generated in the step of extracting the features of the error according to the pattern classification method learned in advance by inputting the distorted image from the encoder and classifying the pattern of the extracted and compressed residual image are fed back in conjunction with each other, An improved video compression encoding method, characterized in that improving learning efficiency.
왜곡된 영상을 입력으로 받아 상기 왜곡된 영상에 포함되어 있는 에러의 특징을 파악하고 추출하는 단계;
상기 추출된 에러 특징들의 패턴을 분류하는 단계;
인코더로부터 상기 왜곡된 영상의 복원을 위한 보상값을 비트스트림을 통해 전송받는 단계; 및
상기 전송받은 보상값을 상기 왜곡된 영상에 적용하여 영상을 복원하는 단계를 포함하고,
상기 보상값은, 상기 인코더에서
왜곡된 영상과 원본영상을 입력으로 하여 이들 영상의 차이점에 대한 잔차이미지를 추출하고 압축하는 단계;
상기 추출되고 압축된 잔차이미지의 패턴을 분류하는 단계; 및
상기 잔차이미지의 분류된 에러의 패턴에 따라 상기 왜곡된 영상을 복원할 수 있는 적합한 보상값을 생성하는 단계를 통하여 생성되는 것을 특징으로 하는 개선된 영상 압축 디코딩 방법.In an improved image compression decoding method for improving image compression efficiency using machine learning,
Receiving a distorted image as an input, identifying and extracting characteristics of errors included in the distorted image;
Classifying a pattern of the extracted error features;
Receiving a compensation value for reconstructing the distorted image from an encoder through a bitstream; And
And restoring an image by applying the received compensation value to the distorted image,
The compensation value is in the encoder
Extracting and compressing residual images for differences between the distorted and original images as inputs;
Classifying a pattern of the extracted and compressed residual image; And
And generating an appropriate compensation value capable of reconstructing the distorted image according to the classified error pattern of the residual image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190006789A KR102154424B1 (en) | 2019-01-18 | 2019-01-18 | Advanced system and method for video compression |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190006789A KR102154424B1 (en) | 2019-01-18 | 2019-01-18 | Advanced system and method for video compression |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200095589A KR20200095589A (en) | 2020-08-11 |
KR102154424B1 true KR102154424B1 (en) | 2020-09-10 |
Family
ID=72048113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190006789A KR102154424B1 (en) | 2019-01-18 | 2019-01-18 | Advanced system and method for video compression |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102154424B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022169035A1 (en) * | 2021-02-02 | 2022-08-11 | 주식회사 딥브레인에이아이 | Image combining apparatus and method capable of improving image quality |
WO2022169036A1 (en) * | 2021-02-02 | 2022-08-11 | 주식회사 딥브레인에이아이 | Image synthesis apparatus and method capable of improving image quality |
KR20220148470A (en) * | 2021-04-29 | 2022-11-07 | 주식회사 딥브레인에이아이 | Method for generating data of using machine learning and computing device for executing the method |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022075754A1 (en) * | 2020-10-06 | 2022-04-14 | 한국항공대학교산학협력단 | Method and apparatus for processing image for machine vision |
KR20220076178A (en) * | 2020-11-30 | 2022-06-08 | 삼성전자주식회사 | Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image |
KR102568141B1 (en) * | 2021-03-23 | 2023-08-17 | 한국항공대학교산학협력단 | System and method for padding inert part of video |
WO2023022376A1 (en) * | 2021-08-17 | 2023-02-23 | 현대자동차주식회사 | Video coding method and device using improved in-loop filter |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101922964B1 (en) * | 2017-06-27 | 2018-11-28 | 아주대학교산학협력단 | Apparatus and method for recovering image using image distortion detection |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6029984B2 (en) * | 2010-03-09 | 2016-11-24 | トムソン ライセンシングThomson Licensing | Method and apparatus for classification-based loop filter |
KR101677242B1 (en) * | 2014-02-18 | 2016-11-17 | 한국전자통신연구원 | Apparatus and method for high sample adaptive offset filtering based on convolution method |
KR20180100976A (en) | 2017-03-03 | 2018-09-12 | 한국전자통신연구원 | Method and apparatus for picture encoding/decoding using deep neural network based blur image learning |
KR101885855B1 (en) | 2017-03-30 | 2018-08-07 | 단국대학교 산학협력단 | transmission of images based on techniques estimating high resolution |
KR102053242B1 (en) | 2017-04-26 | 2019-12-06 | 강현인 | Machine learning algorithm using compression parameter for image reconstruction and image reconstruction method therewith |
-
2019
- 2019-01-18 KR KR1020190006789A patent/KR102154424B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101922964B1 (en) * | 2017-06-27 | 2018-11-28 | 아주대학교산학협력단 | Apparatus and method for recovering image using image distortion detection |
Non-Patent Citations (3)
Title |
---|
TU 블록 크기에 따른 CNN기반 인루프필터(김양우 외 3명, 한국방송미디어공학회 학술발표대회 논문집, 15-17(3 pages))(2018.11.30.) |
딥러닝 기반의 이미지와 비디오 압축 기술 분석(조승현 외 4명, 방송공학회논문지 제23권 제3호, 12pages)(2018.05.31.) |
컨볼루션 신경망을 이용한 고효율 비디오 부호화에서의 인루프 필터(박운성, 김문철 한국방송미디어공학회 학술발표대회 논문집, 418-421(4 pages))(2016.06.30.) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022169035A1 (en) * | 2021-02-02 | 2022-08-11 | 주식회사 딥브레인에이아이 | Image combining apparatus and method capable of improving image quality |
WO2022169036A1 (en) * | 2021-02-02 | 2022-08-11 | 주식회사 딥브레인에이아이 | Image synthesis apparatus and method capable of improving image quality |
KR20220148470A (en) * | 2021-04-29 | 2022-11-07 | 주식회사 딥브레인에이아이 | Method for generating data of using machine learning and computing device for executing the method |
KR102593489B1 (en) | 2021-04-29 | 2023-10-24 | 주식회사 딥브레인에이아이 | Method for generating data of using machine learning and computing device for executing the method |
Also Published As
Publication number | Publication date |
---|---|
KR20200095589A (en) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102154424B1 (en) | Advanced system and method for video compression | |
US11310501B2 (en) | Efficient use of quantization parameters in machine-learning models for video coding | |
US11310498B2 (en) | Receptive-field-conforming convolutional models for video coding | |
US11689726B2 (en) | Hybrid motion-compensated neural network with side-information based video coding | |
US20220207654A1 (en) | Guided restoration of video data using neural networks | |
Lombardo et al. | Deep generative video compression | |
CN110971901B (en) | Processing method, device and equipment of convolutional neural network and storage medium | |
Han et al. | Deep probabilistic video compression | |
CN116803079A (en) | Scalable coding of video and related features | |
Zhang et al. | Davd-net: Deep audio-aided video decompression of talking heads | |
TW202234890A (en) | Encoding by indicating feature map data | |
Kim et al. | Adversarial video compression guided by soft edge detection | |
Canh et al. | Rate-distortion optimized quantization: A deep learning approach | |
Han et al. | Deep generative video compression | |
CN116349225A (en) | Content adaptive online training method and apparatus for deblocking in block-by-block image compression | |
Xiao et al. | The interpretable fast multi-scale deep decoder for the standard HEVC bitstreams | |
Jin et al. | Post-processing for intra coding through perceptual adversarial learning and progressive refinement | |
TW202337211A (en) | Conditional image compression | |
Chen et al. | Generative Visual Compression: A Review | |
KR102120681B1 (en) | Apparatus and method for reducing number of channels in input images to compress deep neural networks | |
JP2024513693A (en) | Configurable position of auxiliary information input to picture data processing neural network | |
JP2024511587A (en) | Independent placement of auxiliary information in neural network-based picture processing | |
US20230007284A1 (en) | Ultra Light Models and Decision Fusion for Fast Video Coding | |
KR20200052400A (en) | Advanced system and method for video classification | |
Joy et al. | Deep learning approach in intra-prediction of high efficiency video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |