KR20210066707A - Data compressing and restoring apparatus for loseless image compression - Google Patents
Data compressing and restoring apparatus for loseless image compression Download PDFInfo
- Publication number
- KR20210066707A KR20210066707A KR1020200131236A KR20200131236A KR20210066707A KR 20210066707 A KR20210066707 A KR 20210066707A KR 1020200131236 A KR1020200131236 A KR 1020200131236A KR 20200131236 A KR20200131236 A KR 20200131236A KR 20210066707 A KR20210066707 A KR 20210066707A
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- network model
- image
- data
- model
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치에 관한 것이다. 보다 구체적으로, 본 발명은 무손실 이미지 압축을 위해, 대상 이미지와 유사성이 있는 기 저장된 다른 이미지들에 기초한 신경망 모델을 이용하는 데이터 압축 장치 및 데이터 복원 장치에 관한 것이다.The present invention relates to a data compression and decompression apparatus for lossless image compression. More specifically, the present invention relates to a data compression apparatus and a data restoration apparatus using a neural network model based on other pre-stored images that are similar to a target image for lossless image compression.
데이터 전송 기술이 발전함에 따라 이미지 및 비디오 데이터의 생성 및 소비 비율이 갈수록 증가하고 있는 바, 이미지 및 비디오를 포함하는 멀티미디어 컨텐츠에 특화된 새로운 데이터 압축 기법이 필요하다. As data transmission technology develops, as the rate of generation and consumption of image and video data is increasing, a new data compression technique specialized for multimedia content including images and videos is required.
또한, 일반적인 네트워크 통신에서의 트래픽은 텍스트 데이터보다 비교적 크기가 큰 이미지 데이터가 많은 비중을 차지하고 있어, 새로운 이미지 압축 기법의 필요성이 증가하고 있는 실정이다.In addition, since image data, which has a relatively larger size than text data, occupies a large proportion in traffic in general network communication, the need for a new image compression technique is increasing.
한편, 최근 출시된 스토리지용 이미지 압축 기법으로는 Dropbox에서 제안한 Lepton(NSDI'17)이 존재하며, 이는 Dropbox에 저장된 JPEG 이미지 파일을 약 23% 가량 더 압축하는 기술이다. 최근 들어, 이미지 압축에 딥러닝(Deep Learning)을 적용한 많은 최신 기술들은, Lepton과 같이 손실 압축(lossy compression)을 통해 이미지를 압축하고 있다. Meanwhile, as a recently released image compression technique for storage, Lepton (NSD'17) proposed by Dropbox exists, which compresses JPEG image files stored in Dropbox by 23% more. Recently, many of the latest technologies that apply deep learning to image compression are compressing images through lossy compression, like Lepton.
하지만, 과학적 자료 분석, 범죄 관련 자료 분석, 보안, 군사 및 의료 목적 등의 데이터 압축 분야에서는 원본 데이터의 보존이 중요하므로, 데이터 압축에 있어 무손실 압축(lossless compression)이 필요한 실정이다.However, since preservation of original data is important in data compression fields such as scientific data analysis, crime-related data analysis, security, military and medical purposes, lossless compression is required for data compression.
본 발명은 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a data compression and decompression apparatus for lossless image compression.
또한, 본 발명은, 무손실 이미지 압축을 위해, 대상 이미지와 유사성이 있는 기 저장된 다른 이미지들에 기초한 신경망 모델을 이용하는 데이터 압축 장치 및 데이터 복원 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a data compression apparatus and a data restoration apparatus using a neural network model based on other pre-stored images that are similar to a target image for lossless image compression.
또한, 본 발명은, 무손실 이미지 압축을 위해, 압축 대상 이미지와 중복성 또는 유사성 있는 복수 개의 이미지들 중에서 참조할 이미지를 빠르게 탐색 및 선정할 수 있는 데이터 압축 장치 및 데이터 복원 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a data compression apparatus and a data restoration apparatus capable of quickly searching and selecting an image to be referenced from among a plurality of images having redundancy or similarity to a compression target image for lossless image compression. .
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able
본 발명의 일 실시예에 따른 데이터 압축 장치는, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부, 상기 클러스터링된 집단 중 적어도 하나 이상의 집단을 이용하여 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 모델 생성부, 상기 생성된 신경망 모델을 이용하여 대상 이미지에 대한 압축 이미지를 생성하는 인코딩부 및 상기 압축 이미지, 상기 생성된 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치로 송신하는 송신부를 포함할 수 있다.A data compression apparatus according to an embodiment of the present invention includes a classification unit for clustering a plurality of pre-stored images into at least one or more groups, and compresses and restores a target image using at least one of the clustered groups. A model generating unit that generates a neural network model trained to do so, an encoding unit that generates a compressed image for a target image using the generated neural network model, and the compressed image, information about the generated neural network model, and a residual image are data restored It may include a transmitter for transmitting to the device.
상기 데이터 압축 장치에 있어서, 상기 모델 생성부는, 상기 클러스터링된 집단 중에서 상기 신경망 모델의 학습에 이용될 학습 데이터 셋을 선정하는 데이터 셋 선정부 및 상기 선정된 학습 데이터 셋을 이용하여 상기 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 생성부를 포함할 수 있다.In the data compression apparatus, the model generating unit compresses the target image using a data set selector selecting a training data set to be used for learning the neural network model from among the clustered group and the selected training data set. and a generator that generates a neural network model trained to be restored.
상기 데이터 압축 장치에 있어서, 상기 모델 생성부는, GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성할 수 있다.In the data compression apparatus, the model generator may generate the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).
상기 데이터 압축 장치에 있어서, 상기 모델 생성부는, 상기 압축 이미지의 크기 및 상기 잔차 이미지의 크기 모두에 기초하여 상기 신경망 모델을 생성할 수 있다.In the data compression apparatus, the model generator may generate the neural network model based on both a size of the compressed image and a size of the residual image.
상기 데이터 압축 장치에 있어서, 상기 분류부는, K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링할 수 있다.In the data compression apparatus, the classification unit is based on at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm. Images can be clustered.
상기 데이터 압축 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함할 수 있다.In the data compression apparatus, the information on the neural network model may include a number of times of training used to generate the neural network model, a training data set, and a random seed.
상기 데이터 압축 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델 자체를 포함할 수 있다.In the data compression apparatus, the information on the neural network model may include the neural network model itself.
상기 데이터 압축 장치에 있어서, 상기 데이터셋 선정부는, 상기 클러스터링된 적어도 하나 이상의 집단과 상기 대상 이미지의 유사도를 정량적으로 판단하고, 상기 유사도가 높은 순서대로 기 설정된 개수의 집단을 상기 학습 데이터 셋으로 선정할 수 있다.In the data compression apparatus, the dataset selecting unit quantitatively determines the similarity between the at least one clustered group and the target image, and selects a preset number of groups in the order of the highest similarity as the training data set. can do.
상기 데이터 압축 장치에 있어서, 상기 유사도는, 문맥 기반 시맨틱 매칭(context-based semantic matching) 및 문맥 기반 시각적 매칭(context-based visual matching) 중 적어도 하나에 기초하여 판단될 수 있다.In the data compression apparatus, the similarity may be determined based on at least one of a context-based semantic matching and a context-based visual matching.
본 발명의 다른 실시예에 따른 데이터 복원 장치는, 데이터 압축 장치로부터 대상 이미지에 대한 압축 이미지, 신경망 모델에 대한 정보 및 잔차 이미지를 수신하는 수신부, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부, 상기 신경망 모델에 대한 정보 및 상기 클러스터링 된 집단 중 적어도 하나 이상의 집단을 이용하여 신경망 모델을 생성하는 모델 생성부 및 상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지를 복원하는 복원부를 포함할 수 있다.A data restoration apparatus according to another embodiment of the present invention comprises a receiver for receiving a compressed image for a target image, information about a neural network model, and a residual image from a data compression apparatus, and clustering a plurality of pre-stored images into at least one group ( clustering), a model generator that generates a neural network model using at least one or more of the information about the neural network model and the clustered group, and the target image from the compressed image using the generated neural network model. It may include a restoration unit to restore.
상기 데이터 복원 장치에 있어서, 상기 복원부는, 상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지에 대한 예측 이미지를 생성하고, 상기 예측 이미지에 상기 잔차 이미지를 더하여 상기 대상 이미지를 복원할 수 있다.In the data restoration apparatus, the restoration unit may generate a prediction image for the target image from the compressed image using the generated neural network model, and restore the target image by adding the residual image to the prediction image. have.
상기 데이터 복원 장치에 있어서, 상기 분류부는, K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링할 수 있다.In the data restoration apparatus, the classification unit is based on at least one of K-means clustering, K-nearest neighbor algorithm, spectral hashing algorithm, and semantic hashing algorithm. Images can be clustered.
상기 데이터 복원 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함할 수 있다.In the data restoration apparatus, the information on the neural network model may include a number of times of learning used to generate the neural network model, a training data set, and a random seed.
상기 데이터 복원 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델 자체를 포함할 수 있다.In the data restoration apparatus, the information on the neural network model may include the neural network model itself.
상기 데이터 복원 장치에 있어서, 상기 모델 생성부는, GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성할 수 있다.In the data restoration apparatus, the model generator may generate the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).
상기 데이터 복원 장치에 있어서, 상기 생성된 신경망 모델은, 상기 데이터 압축 장치에서 생성된 신경망 모델과 동일한 신경망 모델일 수 있다.In the data restoration apparatus, the generated neural network model may be the same neural network model as the neural network model generated in the data compression apparatus.
본 발명에 따르면, 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치가 제공될 수 있다.According to the present invention, a data compression and restoration apparatus for lossless image compression may be provided.
또한, 본 발명에 따르면, 무손실 이미지 압축을 위해, 대상 이미지와 유사성이 있는 기 저장된 다른 이미지들에 기초한 신경망 모델을 이용하는 데이터 압축 장치 및 데이터 복원 장치가 제공될 수 있다.Further, according to the present invention, for lossless image compression, a data compression apparatus and a data restoration apparatus using a neural network model based on other pre-stored images having similarity to a target image may be provided.
또한, 본 발명에 따르면, 무손실 이미지 압축을 위해, 압축 대상 이미지와 중복성 또는 유사성 있는 복수 개의 이미지들 중에서 참조할 이미지를 빠르게 탐색 및 선정할 수 있는 데이터 압축 장치 및 데이터 복원 장치가 제공될 수 있다.In addition, according to the present invention, for lossless image compression, a data compression apparatus and a data restoration apparatus that can quickly search for and select an image to be referenced from among a plurality of images having redundancy or similarity to a compression target image may be provided.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art from the following description. will be.
도 1은 본 발명의 일 실시예에 따른 데이터 압축 및 전송 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 신경망 모델 중 GAN(Generative Adversarial Networks)를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 신경망 모델 중 AE(Auto Encoder)를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 데이터 압축 장치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 데이터 복원 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 데이터 압축 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 데이터 복원 방법을 설명하기 위한 도면이다.1 is a diagram for explaining a data compression and transmission process according to an embodiment of the present invention.
2 is a diagram for explaining Generative Adversarial Networks (GANs) among neural network models according to an embodiment of the present invention.
3 is a diagram for explaining an Auto Encoder (AE) in a neural network model according to an embodiment of the present invention.
4 is a diagram for explaining a data compression apparatus according to an embodiment of the present invention.
5 is a diagram for explaining a data restoration apparatus according to an embodiment of the present invention.
6 is a diagram for explaining a data compression method according to an embodiment of the present invention.
7 is a diagram for explaining a data restoration method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.
이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Hereinafter used '… Wealth', '... A term such as 'group' means a unit for processing at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.
현재까지의 무손실 이미지 압축 기술(예: JPEG-lossless, PNG, WebP-lossless 등)은, 자신의 데이터 내부의 공간적 제거(Spatial Elimination)만을 이용해 데이터를 압축하고 있다.Until now, lossless image compression techniques (eg, JPEG-lossless, PNG, WebP-lossless, etc.) compress data using only spatial elimination within its own data.
본 발명의 실시예에 따르면, 데이터가 압축될 때 기존의 이미지 압축 기술인 공간적 및/또는 시간적 중복성이 제거되는 것을 넘어, 이미 동기화된(저장된) 복수의 이미지 데이터 간의 중복성 또는 유사성이 이용될 수 있다.According to an embodiment of the present invention, when data is compressed, redundancy or similarity between a plurality of already synchronized (stored) image data can be used, beyond that spatial and/or temporal redundancy, which is an existing image compression technique, is removed.
즉, 압축 대상 이미지 내에서의 정보만을 이용해 압축(Intra-image compression)하는 기존의 이미지 압축 기술과 달리, 본 발명의 실시예에 따르면, 서로 다른 복수의 이미지들 간의 중복성 또는 유사성(Inter-image cross-correlation)을, 인터-이미지 압축 모델(inter-image compression model)을 이용해 압축 및 복원하는 기술이 제공될 수 있다. 이때, 인터-이미지 압축 모델은 이미지들의 대표적인 특징의 집합인 dictionary 형태 또는 딥러닝 모델(deep learning model) 중 적어도 하나일 수 있다. 이하 본 명세서에서는, 인터-이미지 압축 모델이 딥러닝 모델임을 전제로 하여 설명한다. 이때, 딥러닝 모델은 신경망 모델과 동일한 의미로 사용될 수 있다. That is, unlike a conventional image compression technique that compresses using only information within a compression target image, according to an embodiment of the present invention, overlap or similarity between a plurality of different images (Inter-image cross) -correlation), a technique for compressing and decompressing using an inter-image compression model may be provided. In this case, the inter-image compression model may be at least one of a dictionary form that is a set of representative features of images or a deep learning model. Hereinafter, in this specification, it is assumed that the inter-image compression model is a deep learning model. In this case, the deep learning model may be used in the same meaning as the neural network model.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 데이터 압축 및 전송 과정을 설명하기 위한 도면이다.1 is a diagram for explaining a data compression and transmission process according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 데이터 압축 장치(110)는 전송 및 동기화의 대상에 해당하는 대상 이미지(111)를 압축하여, 압축 이미지(112)를 생성할 수 있다. 이때, 상기 압축 이미지(112)의 생성 과정에는, 기존에 동기화된(또는 저장된) 복수 개의 이미지 데이터(130)가 이용될 수 있다. Referring to FIG. 1 , the
데이터 압축 장치(110)는 기존에 동기화된 복수 개의 이미지 데이터(130) 중 새롭게 동기화 할 대상 이미지(111)와 유사한 적어도 하나 이상의 이미지를 이용하여 신경망 모델(140)을 생성할 수 있다. 이때, 상기 신경망 모델(140)은 대상 이미지(111)를 압축함에 있어, 압축 이미지 및 무손실 복원을 위한 잔차 이미지의 크기를 최소화하도록 학습된 신경망 모델을 의미할 수 있다. 또한, 상기 신경망 모델(140)은 GAN(Generative Adversarial Networks) 및 AE(Adversarial Networks)를 포함하는 심층 신경망 모델 중 하나일 수 있다. 상기 GAN 및 AE에 대해서는 도 2 및 도 3과 관련된 설명에서 후술한다.The
데이터 압축 장치(110)는 상기 신경망 모델(140)을 통해 압축된 압축 이미지(112), 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치(120)로 송신할 수 있다. 이때, 상기 잔차 이미지는, 대상 이미지(111)에서 압축 이미지(112)가 상기 신경망 모델을 통해 복원된 예측 이미지를 뺀 이미지 영역을 의미할 수 있다. 또한, 상기 잔차 이미지는 추후에 대상 이미지(111)의 무손실 복원을 위해 사용될 수 있다.The
신경망 모델에 대한 정보는, 생성된 신경망 모델(140)에 대한 학습 매뉴얼을 포함할 수 있다. 이때, 신경망 모델(140)에 대한 학습 매뉴얼은 학습 횟수, 학습 데이터 셋 및/또는 랜덤 시드(random seed) 등의 신경망(neural network) 모델의 학습에 필요한 정보를 포함할 수 있다. The information on the neural network model may include a learning manual for the generated
본 발명의 다른 실시예에 의하면, 상기 신경망 모델에 대한 정보는, 생성된 신경망 모델(140) 자체를 포함할 수 있다. According to another embodiment of the present invention, the information on the neural network model may include the generated
데이터 압축 장치(110)의 구성 요소에 대해서는 도 4와 관련된 설명에서 보다 자세히 설명한다. The components of the
데이터 복원 장치(120)는 데이터 압축 장치(110)로부터 압축 이미지(112), 신경망 모델에 대한 정보 및 잔차 이미지를 수신하고, 기존에 동기화된 복수 개의 이미지 데이터(130)를 이용하여 대상 이미지(111)를 복원하여 복원 이미지(113)를 생성할 수 있다. 이때, 본 발명의 실시예에 따르면, 무손실 압축이 가능하므로 복원 이미지(113)는 대상 이미지(111)와 동일한 해상도를 갖는 고해상도 이미지일 수 있다.The
구체적으로, 데이터 복원 장치(120)는 데이터 압축 장치(110)로부터 수신한 신경망 모델(140)에 대한 학습 매뉴얼을 이용하여, 데이터 압축 장치(110)에서 생성한 이미지 압축에 이용된 신경망 모델(140)과 동일한 신경망 모델(140)을 재구축(reconstruction)할 수 있다. Specifically, the
즉, 데이터 복원 장치(120)는 신경망 모델(140)에 대한 학습 매뉴얼을 기초로 하여, 기존에 동기화된 복수 개의 이미지 데이터(130) 중 상기 신경망 모델(140)의 학습에 사용된 것과 동일한 이미지를 사용하여 데이터 압축 장치(110)에서 생성된 신경망 모델(140)과 동일한 신경망 모델(140)을 생성할 수 있다. 상기 신경망 모델(140)은, 대상 이미지(111)의 압축 이미지(112)와 잔차 이미지의 크기를 최소화하도록 학습된 신경망 모델을 의미할 수 있다. That is, the
그리고, 데이터 복원 장치(120)는 생성된 신경망 모델(140)에 기초하여, 압축 이미지(112)를 이용해 고해상도 이미지인 예측 이미지를 생성할 수 있다. 또한, 데이터 복원 장치(120)는, 예측 이미지에 잔차 이미지를 더하여 복원 이미지(113)를 생성함으로써, 대상 이미지(111)를 무손실 복원할 수 있다. In addition, the
데이터 복원 장치(120)의 구성요소에 대해서는 도 5와 관련된 설명에서 보다 자세히 설명한다.The components of the
한편, 본 발명의 다른 실시예에 의하면, 데이터 복원 장치(120)에서 신경망 모델(140)을 재구축하는 비용을 줄이기 위해, 데이터 압축 장치(110)는 신경망 모델(140)의 학습 매뉴얼이 아닌 데이터 압축에 이용된 신경망 모델(140) 자체를 압축 이미지(112)와 함께 데이터 복원 장치(120)로 송신할 수 있다. On the other hand, according to another embodiment of the present invention, in order to reduce the cost of reconstructing the
이하, 도 2에서 본 발명의 일 실시예에 따른 신경망 모델(140) 중 GAN에 대한 원리에 대해 설명한다.Hereinafter, the principle of the GAN among the
도 2는 본 발명의 일 실시예에 따른 신경망 모델 중 GAN(Generative Adversarial Networks)를 설명하기 위한 도면이다.2 is a diagram for explaining Generative Adversarial Networks (GANs) among neural network models according to an embodiment of the present invention.
도 2를 참조하면, GAN은 머신 러닝 중 비지도 학습(Unsupervised learning)에 해당하는 신경망 모델로서, 생성 모델(Generator) 및 구분 모델(Discriminator)을 포함할 수 있다. 이때, GAN은 실제 데이터와 동일한 데이터를 생성하려는 생성 모델 및 실제 데이터 및 가상 데이터를 판별하려는 분류 모델이 존재하여 서로 적대적으로 학습이 수행되는 모델을 의미할 수 있다.Referring to FIG. 2 , a GAN is a neural network model corresponding to unsupervised learning among machine learning, and may include a generator model and a discriminator. In this case, the GAN may mean a model in which learning is performed hostilely to each other because there are a generative model for generating the same data as real data and a classification model for discriminating real data and virtual data.
본 발명의 실시예에 따른 데이터 압축 장치(110) 및 데이터 복원 장치(120)에서 사용되는 신경망 모델(140)로서 GAN이 이용되는 경우, 생성 모델은 저해상도 이미지를 고해상도 이미지로 복원하고, 분류 모델은 생성 모델에 의해 생성된 고해상도 이미지가 원본 이미지인지 아닌지를 판단할 수 있다. When GAN is used as the
이하, 도 3에서 본 발명의 일 실시예에 따른 신경망 모델(140) 중 AE에 대한 원리에 대해 설명한다.Hereinafter, the principle of AE among the
도 3은 본 발명의 일 실시예에 따른 신경망 모델 중 AE(Auto Encoder)를 설명하기 위한 도면이다.3 is a diagram for explaining an Auto Encoder (AE) in a neural network model according to an embodiment of the present invention.
도 3을 참조하면, 이미지 데이터 압축 및 복원에 이용되는 딥러닝 모델의 다른 실시예로, AE가 도시되어있다. AE는 인코더 네트워크(Encoder)(310)를 통해 입력 데이터(Input)를 압축 이미지(Compressed Image)(320)로 압축하고, 디코더(Decoder) 네트워크(330)를 통해 압축 이미지를 복원하여 출력 데이터(Output)를 생성할 수 있다. 즉, AE는 입력 데이터와 출력 데이터의 차이가 적어지는 방향으로 인코더 네트워크(310) 및 디코더 네트워크(330)를 동시에 학습시키는 신경망 모델을 의미할 수 있다.Referring to FIG. 3 , as another embodiment of a deep learning model used for image data compression and reconstruction, AE is shown. AE compresses input data (Input) into a compressed image (Compressed Image) 320 through an encoder network (Encoder) 310, and restores the compressed image through a decoder network (330) to output data (Output) ) can be created. That is, AE may refer to a neural network model that simultaneously trains the
본 발명의 실시예에 따른 데이터 압축 장치(110) 및 데이터 복원 장치(120)에서 사용되는 신경망 모델(140)로서 AE가 이용되는 경우, 입력 데이터로 대상 이미지(111)가 인코더 네트워크(310)에 입력되어, 압축 이미지(320)가 생성되고, 디코더 네트워크(330)가 이용되어 압축 이미지(320)가 복원될 수 있다. 이때, 압축 이미지(320)와 복원된 이미지와 대상 이미지의 차를 의미하는 잔차 이미지의 크기가 최소화되는 방향으로 인코더 네트워크(310) 및 디코더 네트워크(330)가 동시에 학습될 수 있다.When AE is used as the
본 발명의 실시예에 따른 신경망 모델(140)로서, 상술한 GAN 및 AE 외에도 다양한 심층 신경망 모델이 이용될 수 있다.As the
이하, 도 4에서 본 발명의 일 실시예에 따른 데이터 압축 장치(110)의 구성에 대해 설명한다.Hereinafter, the configuration of the
도 4는 본 발명의 일 실시예에 따른 데이터 압축 장치를 설명하기 위한 도면이다. 도 4에 도시된 데이터 압축 장치(400)는 도 1에 도시된 데이터 압축 장치(110)에 대응될 수 있다. 4 is a diagram for explaining a data compression apparatus according to an embodiment of the present invention. The
도 4를 참조하면, 데이터 압축 장치(400)는 분류부(410), 모델 생성부(420), 인코딩부(430) 및 송신부(440)를 포함할 수 있다. 그러나, 반드시 이에 제한되지는 않고, 데이터 압축을 위해 필요한 모듈을 추가적으로 더 포함할 수 있다.Referring to FIG. 4 , the
분류부(410)는 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)할 수 있다. 구체적으로, 분류부(410)는 기 저장된 복수 개의 이미지 데이터(130) 중에서 중복성 또는 유사성 있는 이미지들을 적어도 하나 이상의 집단으로 클러스터링할 수 있다. 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.The
모델 생성부(420)는 상기 클러스터링된 적어도 하나 이상의 집단을 학습 데이터 셋으로 이용하여, 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. 이때, 모델 생성부(420)는 압축 이미지의 크기 및 잔차 이미지의 크기 모두에 기초하여 상기 신경망 모델(140)을 생성할 수 있다.The
구체적으로, 모델 생성부(420)는 상기 클러스터링된 적어도 하나의 집단 중에서 대상 이미지(111)의 압축에 이용될 학습 데이터 셋을 선정하는 데이터 셋 선정부 및 상기 선정된 학습 데이터 셋을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성하는 생성부를 포함할 수 있다. 즉, 상기 데이터 셋 선정부는 상기 클러스터링 된 집단 중에서 상기 신경망 모델의 학습에 이용될 학습 데이터 셋을 선정할 수 있다.Specifically, the
이때, 상기 신경망 모델(140)은 GAN 및 AE를 포함하는 심층 신경망 모델 중 하나의 신경망 모델일 수 있다.In this case, the
데이터 셋 선정부는 클러스터링된 적어도 하나 이상의 집단과 대상 이미지(111)의 유사도를 정량적으로 판단할 수 있다. 예를 들어, 데이터 셋 선정부는 픽셀 간 색상 차를 이용하는 방법, 이미지 간의 윤곽선 및 색상의 특성과 같은 이미지 특성(feature)를 추출해 유사도를 산출하는 이미지 특징 매칭(feature matching), 문맥 기반 시맨틱 매칭(context-based semantic matching) 및 문맥 기반 시각적 매칭(context-based visual matching) 중 적어도 하나에 기초하여, 클러스터링된 적어도 하나 이상의 집단과 대상 이미지(111)의 유사도를 정량적으로 판단할 수 있다.The data set selector may quantitatively determine the similarity between at least one clustered group and the
데이터 셋 선정부는 상기 유사도 판단 결과에 기초하여, 상기 유사도가 높은 순서대로 기 설정된 개수의 집단을 상기 학습 데이터 셋으로 설정할 수 있다.The data set selector may set a preset number of groups in the order of the highest similarity as the training data set, based on the similarity determination result.
또한, 생성부는 데이터 셋 선정부에 의해 선정된 학습 데이터 셋을 이용하여, 학습된 신경망 모델을 생성할 수 있다. 이때, 상기 학습은 압축 이미지(112) 및 잔차 이미지의 크기가 최소화되는 방향으로 학습될 수 있다.Also, the generator may generate a trained neural network model by using the training data set selected by the data set selector. In this case, the learning may be performed in a direction in which the sizes of the
구체적으로, 전송할 대상 이미지(111)의 압축된 정도, 즉 화질 열화 정도에 따라 압축 이미지(112)의 크기가 달라질 수 있다. 또한, 잔차 이미지를 의미하는 offset bits의 크기 역시 달라질 수 있다. Specifically, the size of the
따라서, 본 발명의 실시예에 따른 학습은 단순히 최소의 크기를 갖는 압축 이미지(112)를 전송하고 이를 복원하는 것이 아니라, 전송할 압축 이미지(112)의 크기(reduced bits) 및 무손실 복원을 위한 잔차 이미지(offset bits)의 크기를 모두 고려해 최적화된 크기의 압축 이미지(112) 및 잔차 이미지를 전송하기 위한 학습일 수 있다.Therefore, learning according to an embodiment of the present invention does not simply transmit the
인코딩부(430)는 상기 생성된 신경망 모델(140)을 이용하여, 대상 이미지(111)에 대한 압축 이미지(112)를 생성할 수 있다.The
송신부(440)는 압축 이미지(112), 잔차 이미지 및 생성된 신경망 모델(140)에 대한 정보를 데이터 복원 장치(120)로 송신할 수 있다. 일 예로, 상기 압축 이미지, 잔차 이미지 및 생성된 신경망 모델에 대한 정보는 비트스트림 형태로 전송될 수 있다.The
이하, 도 5에서 본 발명의 일 실시예에 따른 데이터 복원 장치(120)의 구성에 대해 설명한다.Hereinafter, the configuration of the
도 5는 본 발명의 일 실시예에 따른 데이터 복원 장치를 설명하기 위한 도면이다. 도 5에 도시된 데이터 복원 장치(500)는 도 1에 도시된 데이터 복원 장치(120)에 대응될 수 있다.5 is a diagram for explaining a data restoration apparatus according to an embodiment of the present invention. The
도 5를 참조하면, 데이터 복원 장치(500)는 수신부(510), 분류부(520), 모델 생성부(530) 및 복원부(540)를 포함할 수 있다. 그러나, 반드시 이에 제한되지는 않고, 데이터 복원을 위해 필요한 모듈을 추가적으로 더 포함할 수 있다.Referring to FIG. 5 , the
수신부(510)는 데이터 압축 장치(110)로부터 대상 이미지(111)에 대한 압축 이미지(112), 신경망 모델(140)에 대한 정보 및 잔차 이미지를 수신할 수 있다. 이때, 신경망 모델(140)에 대한 정보는, 데이터 압축 장치(110)의 모델 생성부(420)에서 신경망 모델(140)의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드 등 데이터 압축 장치(110)에서 생성된 신경망 모델과 동일한 신경망 모델이 생성되기 위한 정보를 포함할 수 있다.The
분류부(520)는 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)할 수 있다. 구체적으로, 분류부(520)는 기 저장된 복수 개의 이미지 데이터(130) 중에서 중복성 또는 유사성 있는 이미지들을 적어도 하나 이상의 집단으로 클러스터링할 수 있다. 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.The
모델 생성부(530)는 신경망 모델(140)에 대한 정보 및 클러스터링된 적어도 하나 이상의 집단을 이용하여, 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다.The
구체적으로, 모델 생성부(530)는 데이터 압축 장치(110)로부터 수신한 신경망 모델(140)에 대한 정보에 기초하여, 상기 클러스터링된 적어도 하나 이상의 집단 중에서 대상 이미지(111)의 압축에 이용된 학습 데이터 셋을 선정하고, 상기 선정된 학습 데이터 셋을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. 즉, 데이터 복원 장치(120)의 모델 생성부(530)에서 생성된 신경망 모델(140)은 데이터 압축 장치(110)의 모델 생성부(420)에서 생성된 신경망 모델(140)과 동일한 모델일 수 있다.Specifically, the
이때, 상기 신경망 모델(140)은 GAN 및 AE를 포함하는 심층 신경망 모델 중 하나의 신경망 모델일 수 있다. In this case, the
복원부(540)는 상기 생성된 신경망 모델(140)을 이용하여, 수신한 압축 이미지(112)로부터 대상 이미지(111)에 대한 예측 이미지를 생성할 수 있다. 또한, 복원부(540)는 상기 생성된 예측 이미지에 수신한 잔차 이미지를 더하여 복원 이미지(113)를 생성할 수 있다. 이때, 복원 이미지(113)는 대상 이미지(111)와 동일한 이미지일 수 있다.The
한편, 본 발명의 다른 실시예에 의하면, 데이터 복원 장치(120)에서 신경망 모델(140)을 재구축하는 비용을 줄이기 위해, 데이터 압축 장치(110)는 신경망 모델(140)의 학습 매뉴얼이 아닌 데이터 압축에 이용된 신경망 모델(140) 자체를 압축 이미지(112)와 함께 데이터 복원 장치(120)로 송신할 수 있다. 즉, 상기 신경망 모델(140)에 대한 정보는 신경망 모델(140) 자체를 포함할 수 있다. 이 경우, 데이터 복원 장치(120)는, 수신한 신경망 모델(140) 자체를 이용하여, 압축 이미지(112)로부터 예측 이미지를 생성할 수 있다. 또한, 데이터 복원 장치(120)는 예측 이미지에 잔차 이미지를 더하여 복원 이미지(113)를 생성할 수 있다.On the other hand, according to another embodiment of the present invention, in order to reduce the cost of reconstructing the
이하, 도 6 및 도 7에서, 본 발명의 일 실시예에 따른 데이터 압축 방법 및 데이터 복원 방법을 설명한다.Hereinafter, a data compression method and a data restoration method according to an embodiment of the present invention will be described with reference to FIGS. 6 and 7 .
도 6은 본 발명의 일 실시예에 따른 데이터 압축 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a data compression method according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 데이터 압축 장치(110)는, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링 할 수 있다(S601). 즉, 데이터 압축 장치(110)의 분류부(410)는 기 저장된 복수 개의 이미지 데이터(130) 중에서 중복성 또는 유사성 있는 이미지들을 적어도 하나 이상의 집단으로 클러스터링할 수 있다. 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.Referring to FIG. 6 , the
그리고, 데이터 압축 장치(110)는, 적어도 하나 이상의 집단을 학습 데이터 셋으로 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다(S602). In addition, the
구체적으로, 데이터 압축 장치(110)는, 클러스터링된 적어도 하나의 집단 중에서 대상 이미지(111)와 유사한 집단을 압축에 이용될 학습 데이터 셋으로 선정하고, 상기 선정된 학습 데이터 셋을 통해 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. 이때, 상기 신경망 모델(140)은 GAN 및 AE를 포함하는 심층 신경망 모델 중 하나의 신경망 모델일 수 있다.Specifically, the
그리고, 데이터 압축 장치(110)는, 상기 생성된 신경망 모델(140)을 이용하여 대상 이미지(111)에 대한 압축 이미지(112)를 생성할 수 있다(S603).In addition, the
이때, 상기 신경망 모델(140)은, 실제로 전송 및 동기화될 이미지 데이터인 압축 이미지 및 무손실 복원을 위한 잔차 이미지의 크기가 최소화되도록 학습이 수행될 수 있다.In this case, the
그리고, 데이터 압축 장치(110)는, 압축 이미지, 생성된 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치(120)로 송신할 수 있다(S604). 일 예로, 상기 압축 이미지, 잔차 이미지 및 생성된 신경망 모델에 대한 정보는 비트스트림 형태로 전송될 수 있다.Then, the
도 7은 본 발명의 일 실시예에 따른 데이터 복원 방법을 설명하기 위한 도면이다.7 is a diagram for explaining a data restoration method according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 일 실시예에 따른 데이터 복원 장치(120)는, 데이터 압축 장치(110)로부터 대상 이미지(111)에 대한 압축 이미지(112), 신경망 모델에 대한 정보 및 잔차 이미지를 수신할 수 있다(S701). 이때, 신경망 모델(140)에 대한 정보는, 데이터 압축 장치(110)의 모델 생성부(420)에서 신경망 모델(140)의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드 등의 신경망 모델(140)의 생성에 필요한 정보를 포함할 수 있다. 또는, 신경망 모델(140)에 대한 정보는, 신경망 모델(140) 자체를 포함할 수 있다.Referring to FIG. 7 , the
그리고, 데이터 복원 장치(120)는, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링할 수 있다(S702). 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.In addition, the
그리고, 데이터 복원 장치(120)는, 신경망 모델에 대한 정보 및 적어도 하나의 집단을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다(S703). Then, the
구체적으로, 데이터 복원 장치(120)는, 데이터 압축 장치(110)로부터 수신한 신경망 모델(140)에 대한 정보에 기초하여, 상기 클러스터링된 하나 이상의 집단 중에서 데이터 압축 장치(110)에서 신경망 모델(140)의 생성에 사용됐던 학습 데이터 셋과 동일한 집단을 학습 데이터 셋으로 선정하고, 상기 선정된 학습 데이터 셋을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. Specifically, the
즉, 데이터 복원 장치(120)의 모델 생성부(530)에서 생성된 신경망 모델(140)은 데이터 압축 장치(110)의 모델 생성부(420)에서 생성된 신경망 모델(140)과 동일한 모델일 수 있다.That is, the
그리고, 데이터 복원 장치(120)는, 생성된 신경망 모델을 이용하여 압축 이미지로부터 대상 이미지를 복원할 수 있다(S704). Then, the
구체적으로, 데이터 복원 장치(120)는 상기 생성된 신경망 모델(140)을 이용하여, 수신한 압축 이미지(112)로부터 대상 이미지(111)에 대한 예측 이미지를 생성할 수 있다. 또한, 복원부(540)는 상기 생성된 예측 이미지에 수신한 잔차 이미지를 더하여 복원 이미지(113)를 생성할 수 있다.Specifically, the
본 발명의 변형예로서, 데이터 압축 장치(110)는, 모든 카테고리에 대해 적용 가능한 대형 신경망(global neural network)를 데이터 복원 장치(120)에 미리 전송해두어, 데이터 압축 장치(110) 및 데이터 복원 장치(120)가 상기 대형 신경망을 이용하여 이미지 데이터의 압축 및 복원을 수행할 수도 있다. As a modification of the present invention, the
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block in the block diagram attached to this specification and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions performed by the processor of the computer or other programmable data processing equipment may be configured in the respective blocks of the block diagram or of the flowchart. Each step creates a means for performing the described functions. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing the functions described in each block of the block diagram or each step of the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present specification are for explanation rather than limiting the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
110: 데이터 압축 장치
111: 대상 이미지
112: 압축 이미지
113: 복원 이미지
120: 데이터 복원 장치
130: 기 저장된 복수 개의 이미지 데이터
140: 신경망 모델110: data compression device
111: target image
112: compressed image
113: restored image
120: data restoration device
130: a plurality of pre-stored image data
140: neural network model
Claims (16)
기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부;
상기 클러스터링된 집단 중 적어도 하나 이상의 집단을 이용하여 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 모델 생성부;
상기 생성된 신경망 모델을 이용하여 대상 이미지에 대한 압축 이미지를 생성하는 인코딩부; 및
상기 압축 이미지, 상기 생성된 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치로 송신하는 송신부를 포함하는 데이터 압축 장치.
A data compression device comprising:
a classification unit for clustering a plurality of pre-stored images into at least one group;
a model generator for generating a neural network model trained to compress and restore a target image by using at least one of the clustered groups;
an encoding unit for generating a compressed image of a target image by using the generated neural network model; and
and a transmitter configured to transmit the compressed image, information on the generated neural network model, and a residual image to a data restoration apparatus.
상기 모델 생성부는,
상기 클러스터링된 집단 중에서 상기 신경망 모델의 학습에 이용될 학습 데이터 셋을 선정하는 데이터 셋 선정부; 및
상기 선정된 학습 데이터 셋을 이용하여 상기 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 생성부를 포함하는 데이터 압축 장치.
According to claim 1,
The model generation unit,
a data set selector for selecting a learning data set to be used for learning the neural network model from among the clustered group; and
and a generator for generating a neural network model trained to compress and restore the target image by using the selected training data set.
상기 모델 생성부는,
GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성하는 데이터 압축 장치.
According to claim 1,
The model generation unit,
A data compression apparatus for generating the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).
상기 모델 생성부는,
상기 압축 이미지의 크기 및 상기 잔차 이미지의 크기 모두에 기초하여 상기 신경망 모델을 생성하는 데이터 압축 장치.
According to claim 1,
The model generation unit,
A data compression apparatus for generating the neural network model based on both a size of the compressed image and a size of the residual image.
상기 분류부는,
K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링하는 데이터 압축 장치.
According to claim 1,
The classification unit,
A data compression apparatus for clustering the plurality of pre-stored images based on at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm.
상기 신경망 모델에 대한 정보는,
상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함하는 데이터 압축 장치.
According to claim 1,
Information about the neural network model,
A data compression apparatus including a number of times of training used to generate the neural network model, a training data set, and a random seed.
상기 신경망 모델에 대한 정보는,
상기 신경망 모델 자체를 포함하는 데이터 압축 장치.
According to claim 1,
Information about the neural network model,
A data compression device including the neural network model itself.
상기 데이터셋 선정부는,
상기 클러스터링된 적어도 하나 이상의 집단과 상기 대상 이미지의 유사도를 정량적으로 판단하고,
상기 유사도가 높은 순서대로 기 설정된 개수의 집단을 상기 학습 데이터 셋으로 선정하는 데이터 압축 장치.
3. The method of claim 2,
The data set selection unit,
Quantitatively determining the similarity between the clustered at least one group and the target image,
A data compression apparatus for selecting a preset number of groups in an order of high similarity as the training data set.
상기 유사도는,
문맥 기반 시맨틱 매칭(context-based semantic matching) 및 문맥 기반 시각적 매칭(context-based visual matching) 중 적어도 하나에 기초하여 판단되는 데이터 압축 장치.
9. The method of claim 8,
The similarity is
A data compression apparatus determined based on at least one of context-based semantic matching and context-based visual matching.
데이터 압축 장치로부터 대상 이미지에 대한 압축 이미지, 신경망 모델에 대한 정보 및 잔차 이미지를 수신하는 수신부;
기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부;
상기 신경망 모델에 대한 정보 및 상기 클러스터링 된 집단 중 적어도 하나 이상의 집단을 이용하여 신경망 모델을 생성하는 모델 생성부; 및
상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지를 복원하는 복원부를 포함하는 데이터 복원 장치.
A data recovery device comprising:
a receiver configured to receive a compressed image of a target image, information about a neural network model, and a residual image from the data compression device;
a classification unit for clustering a plurality of pre-stored images into at least one group;
a model generator for generating a neural network model using at least one or more of the information on the neural network model and the clustered group; and
and a restoration unit configured to restore the target image from the compressed image by using the generated neural network model.
상기 복원부는,
상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지에 대한 예측 이미지를 생성하고,
상기 예측 이미지에 상기 잔차 이미지를 더하여 상기 대상 이미지를 복원하는 데이터 복원 장치.
11. The method of claim 10,
The restoration unit,
generating a prediction image for the target image from the compressed image using the generated neural network model;
A data restoration apparatus for reconstructing the target image by adding the residual image to the prediction image.
상기 분류부는,
K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링하는 데이터 복원 장치.
11. The method of claim 10,
The classification unit,
A data restoration apparatus for clustering the plurality of pre-stored images based on at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm.
상기 신경망 모델에 대한 정보는,
상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함하는 데이터 복원 장치.
11. The method of claim 10,
Information about the neural network model,
including the number of times of training used to generate the neural network model, a training data set, and a random seed data recovery device.
상기 신경망 모델에 대한 정보는,
상기 신경망 모델 자체를 포함하는 데이터 복원 장치.
11. The method of claim 10,
Information about the neural network model,
Data restoration apparatus including the neural network model itself.
상기 모델 생성부는,
GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성하는 데이터 복원 장치.
11. The method of claim 10,
The model generation unit,
A data restoration apparatus for generating the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).
상기 생성된 신경망 모델은,
상기 데이터 압축 장치에서 생성된 신경망 모델과 동일한 신경망 모델인 데이터 복원 장치.11. The method of claim 10,
The generated neural network model is
A data restoration device that is the same neural network model as the neural network model generated by the data compression device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20190155994 | 2019-11-28 | ||
KR1020190155994 | 2019-11-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210066707A true KR20210066707A (en) | 2021-06-07 |
KR102524547B1 KR102524547B1 (en) | 2023-04-24 |
Family
ID=76374435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200131236A KR102524547B1 (en) | 2019-11-28 | 2020-10-12 | Data compressing and restoring apparatus for loseless image compression |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102524547B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230075248A (en) * | 2021-11-22 | 2023-05-31 | 서울대학교산학협력단 | Device of compressing data, system of compressing data and method of compressing data |
CN117528085A (en) * | 2024-01-08 | 2024-02-06 | 中国矿业大学 | Video compression coding method based on intelligent feature clustering |
WO2024058494A1 (en) * | 2022-09-13 | 2024-03-21 | 엘지전자 주식회사 | Feature encoding/decoding method and apparatus based on training of prediction model, and recording medium having bitstream stored therein |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101519653B1 (en) | 2008-09-03 | 2015-05-12 | 엘지전자 주식회사 | Image compressing apparatus of lossless and lossy type |
KR20180052651A (en) * | 2015-09-03 | 2018-05-18 | 미디어텍 인크. | Method and apparatus for neural network-based processing in video coding |
KR20190130478A (en) * | 2018-04-24 | 2019-11-22 | 주식회사 지디에프랩 | Artificial intelligence based resolution improvement system |
-
2020
- 2020-10-12 KR KR1020200131236A patent/KR102524547B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101519653B1 (en) | 2008-09-03 | 2015-05-12 | 엘지전자 주식회사 | Image compressing apparatus of lossless and lossy type |
KR20180052651A (en) * | 2015-09-03 | 2018-05-18 | 미디어텍 인크. | Method and apparatus for neural network-based processing in video coding |
KR20190130478A (en) * | 2018-04-24 | 2019-11-22 | 주식회사 지디에프랩 | Artificial intelligence based resolution improvement system |
Non-Patent Citations (1)
Title |
---|
조승현, 딥 러닝 기반의 이미지와 비디오 압축 기술 분석, 방송공학회논문지, 한국방송미디어공학회, 2018-05, pp. 383-394* * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230075248A (en) * | 2021-11-22 | 2023-05-31 | 서울대학교산학협력단 | Device of compressing data, system of compressing data and method of compressing data |
WO2024058494A1 (en) * | 2022-09-13 | 2024-03-21 | 엘지전자 주식회사 | Feature encoding/decoding method and apparatus based on training of prediction model, and recording medium having bitstream stored therein |
CN117528085A (en) * | 2024-01-08 | 2024-02-06 | 中国矿业大学 | Video compression coding method based on intelligent feature clustering |
CN117528085B (en) * | 2024-01-08 | 2024-03-19 | 中国矿业大学 | Video compression coding method based on intelligent feature clustering |
Also Published As
Publication number | Publication date |
---|---|
KR102524547B1 (en) | 2023-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102524547B1 (en) | Data compressing and restoring apparatus for loseless image compression | |
Huang et al. | Deep learning-based image semantic coding for semantic communications | |
US11475604B2 (en) | Method and apparatus for adaptive point cloud attribute coding | |
US11657264B2 (en) | Content-specific neural network distribution | |
KR20240010512A (en) | Video encoding and decoding method and apparatus using the same | |
WO2018150083A1 (en) | A method and technical equipment for video processing | |
CN111970509B (en) | Video image processing method, device and system | |
KR20090007328A (en) | Vision-based compression | |
KR20200095589A (en) | Advanced system and method for video compression | |
US12058238B2 (en) | Predictive joint compression and encryption for images and videos | |
AU2022286517A1 (en) | Feature data encoding method and apparatus and feature data decoding method and apparatus | |
CN116233445B (en) | Video encoding and decoding processing method and device, computer equipment and storage medium | |
Kim et al. | Adversarial video compression guided by soft edge detection | |
US20240314390A1 (en) | Electronic device, system, and method for intelligent horizontal-vertical image transform | |
Rahmani et al. | A low distortion reversible data hiding scheme for search order coding of VQ indices | |
US11252408B2 (en) | Image processing apparatus and data receiving apparatus, and methods thereof | |
CN113269140A (en) | Image processing method and device, storage medium and electronic equipment | |
KR102072576B1 (en) | Apparatus and method for encoding and decoding of data | |
Zhu | Big data-based multimedia transcoding method and its application in multimedia data mining-based smart transportation and telemedicine | |
US12003719B2 (en) | Method, apparatus and storage medium for image encoding/decoding using segmentation map | |
US20230100728A1 (en) | A system, an arrangement, a computer software module arrangement, a circuitry arrangement and a method for improved image processing utilzing two entities | |
US20230351721A1 (en) | Scalable feature stream | |
US20240089500A1 (en) | Method for multiview video data encoding, method for multiview video data decoding, and devices thereof | |
KR20220073670A (en) | Method, apparatus and recording medium for encoding/decoding image usign segmentation map | |
KR20130119781A (en) | Apparatus and method for detecting video copy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |