KR20210066707A - Data compressing and restoring apparatus for loseless image compression - Google Patents

Data compressing and restoring apparatus for loseless image compression Download PDF

Info

Publication number
KR20210066707A
KR20210066707A KR1020200131236A KR20200131236A KR20210066707A KR 20210066707 A KR20210066707 A KR 20210066707A KR 1020200131236 A KR1020200131236 A KR 1020200131236A KR 20200131236 A KR20200131236 A KR 20200131236A KR 20210066707 A KR20210066707 A KR 20210066707A
Authority
KR
South Korea
Prior art keywords
neural network
network model
image
data
model
Prior art date
Application number
KR1020200131236A
Other languages
Korean (ko)
Other versions
KR102524547B1 (en
Inventor
이경한
남우승
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Publication of KR20210066707A publication Critical patent/KR20210066707A/en
Application granted granted Critical
Publication of KR102524547B1 publication Critical patent/KR102524547B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a data compressing and restoring apparatus for lossless image compression. A data compressing apparatus according to an embodiment includes: a classification part for clustering a plurality of pre-stored images into at least one or more groups; a model generation part for generating a neural network model trained to compress and restore a target image by using at least one or more of the clustered groups; an encoding part for generating the compression image of the target image using the generated neural network model; and a transmitting part for transmitting the compression image, information on the generated neural network model, and a residual image to a data restoring apparatus.

Description

무손실 이미지 압축을 위한 데이터 압축 및 복원 장치{DATA COMPRESSING AND RESTORING APPARATUS FOR LOSELESS IMAGE COMPRESSION}DATA COMPRESSING AND RESTORING APPARATUS FOR LOSELESS IMAGE COMPRESSION

본 발명은 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치에 관한 것이다. 보다 구체적으로, 본 발명은 무손실 이미지 압축을 위해, 대상 이미지와 유사성이 있는 기 저장된 다른 이미지들에 기초한 신경망 모델을 이용하는 데이터 압축 장치 및 데이터 복원 장치에 관한 것이다.The present invention relates to a data compression and decompression apparatus for lossless image compression. More specifically, the present invention relates to a data compression apparatus and a data restoration apparatus using a neural network model based on other pre-stored images that are similar to a target image for lossless image compression.

데이터 전송 기술이 발전함에 따라 이미지 및 비디오 데이터의 생성 및 소비 비율이 갈수록 증가하고 있는 바, 이미지 및 비디오를 포함하는 멀티미디어 컨텐츠에 특화된 새로운 데이터 압축 기법이 필요하다. As data transmission technology develops, as the rate of generation and consumption of image and video data is increasing, a new data compression technique specialized for multimedia content including images and videos is required.

또한, 일반적인 네트워크 통신에서의 트래픽은 텍스트 데이터보다 비교적 크기가 큰 이미지 데이터가 많은 비중을 차지하고 있어, 새로운 이미지 압축 기법의 필요성이 증가하고 있는 실정이다.In addition, since image data, which has a relatively larger size than text data, occupies a large proportion in traffic in general network communication, the need for a new image compression technique is increasing.

한편, 최근 출시된 스토리지용 이미지 압축 기법으로는 Dropbox에서 제안한 Lepton(NSDI'17)이 존재하며, 이는 Dropbox에 저장된 JPEG 이미지 파일을 약 23% 가량 더 압축하는 기술이다. 최근 들어, 이미지 압축에 딥러닝(Deep Learning)을 적용한 많은 최신 기술들은, Lepton과 같이 손실 압축(lossy compression)을 통해 이미지를 압축하고 있다. Meanwhile, as a recently released image compression technique for storage, Lepton (NSD'17) proposed by Dropbox exists, which compresses JPEG image files stored in Dropbox by 23% more. Recently, many of the latest technologies that apply deep learning to image compression are compressing images through lossy compression, like Lepton.

하지만, 과학적 자료 분석, 범죄 관련 자료 분석, 보안, 군사 및 의료 목적 등의 데이터 압축 분야에서는 원본 데이터의 보존이 중요하므로, 데이터 압축에 있어 무손실 압축(lossless compression)이 필요한 실정이다.However, since preservation of original data is important in data compression fields such as scientific data analysis, crime-related data analysis, security, military and medical purposes, lossless compression is required for data compression.

한국등록특허공보, 10-1519653호 (2015.05.06. 등록)Korean Patent Publication No. 10-1519653 (Registered on May 6, 2015)

본 발명은 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a data compression and decompression apparatus for lossless image compression.

또한, 본 발명은, 무손실 이미지 압축을 위해, 대상 이미지와 유사성이 있는 기 저장된 다른 이미지들에 기초한 신경망 모델을 이용하는 데이터 압축 장치 및 데이터 복원 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a data compression apparatus and a data restoration apparatus using a neural network model based on other pre-stored images that are similar to a target image for lossless image compression.

또한, 본 발명은, 무손실 이미지 압축을 위해, 압축 대상 이미지와 중복성 또는 유사성 있는 복수 개의 이미지들 중에서 참조할 이미지를 빠르게 탐색 및 선정할 수 있는 데이터 압축 장치 및 데이터 복원 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a data compression apparatus and a data restoration apparatus capable of quickly searching and selecting an image to be referenced from among a plurality of images having redundancy or similarity to a compression target image for lossless image compression. .

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able

본 발명의 일 실시예에 따른 데이터 압축 장치는, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부, 상기 클러스터링된 집단 중 적어도 하나 이상의 집단을 이용하여 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 모델 생성부, 상기 생성된 신경망 모델을 이용하여 대상 이미지에 대한 압축 이미지를 생성하는 인코딩부 및 상기 압축 이미지, 상기 생성된 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치로 송신하는 송신부를 포함할 수 있다.A data compression apparatus according to an embodiment of the present invention includes a classification unit for clustering a plurality of pre-stored images into at least one or more groups, and compresses and restores a target image using at least one of the clustered groups. A model generating unit that generates a neural network model trained to do so, an encoding unit that generates a compressed image for a target image using the generated neural network model, and the compressed image, information about the generated neural network model, and a residual image are data restored It may include a transmitter for transmitting to the device.

상기 데이터 압축 장치에 있어서, 상기 모델 생성부는, 상기 클러스터링된 집단 중에서 상기 신경망 모델의 학습에 이용될 학습 데이터 셋을 선정하는 데이터 셋 선정부 및 상기 선정된 학습 데이터 셋을 이용하여 상기 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 생성부를 포함할 수 있다.In the data compression apparatus, the model generating unit compresses the target image using a data set selector selecting a training data set to be used for learning the neural network model from among the clustered group and the selected training data set. and a generator that generates a neural network model trained to be restored.

상기 데이터 압축 장치에 있어서, 상기 모델 생성부는, GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성할 수 있다.In the data compression apparatus, the model generator may generate the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).

상기 데이터 압축 장치에 있어서, 상기 모델 생성부는, 상기 압축 이미지의 크기 및 상기 잔차 이미지의 크기 모두에 기초하여 상기 신경망 모델을 생성할 수 있다.In the data compression apparatus, the model generator may generate the neural network model based on both a size of the compressed image and a size of the residual image.

상기 데이터 압축 장치에 있어서, 상기 분류부는, K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링할 수 있다.In the data compression apparatus, the classification unit is based on at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm. Images can be clustered.

상기 데이터 압축 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함할 수 있다.In the data compression apparatus, the information on the neural network model may include a number of times of training used to generate the neural network model, a training data set, and a random seed.

상기 데이터 압축 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델 자체를 포함할 수 있다.In the data compression apparatus, the information on the neural network model may include the neural network model itself.

상기 데이터 압축 장치에 있어서, 상기 데이터셋 선정부는, 상기 클러스터링된 적어도 하나 이상의 집단과 상기 대상 이미지의 유사도를 정량적으로 판단하고, 상기 유사도가 높은 순서대로 기 설정된 개수의 집단을 상기 학습 데이터 셋으로 선정할 수 있다.In the data compression apparatus, the dataset selecting unit quantitatively determines the similarity between the at least one clustered group and the target image, and selects a preset number of groups in the order of the highest similarity as the training data set. can do.

상기 데이터 압축 장치에 있어서, 상기 유사도는, 문맥 기반 시맨틱 매칭(context-based semantic matching) 및 문맥 기반 시각적 매칭(context-based visual matching) 중 적어도 하나에 기초하여 판단될 수 있다.In the data compression apparatus, the similarity may be determined based on at least one of a context-based semantic matching and a context-based visual matching.

본 발명의 다른 실시예에 따른 데이터 복원 장치는, 데이터 압축 장치로부터 대상 이미지에 대한 압축 이미지, 신경망 모델에 대한 정보 및 잔차 이미지를 수신하는 수신부, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부, 상기 신경망 모델에 대한 정보 및 상기 클러스터링 된 집단 중 적어도 하나 이상의 집단을 이용하여 신경망 모델을 생성하는 모델 생성부 및 상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지를 복원하는 복원부를 포함할 수 있다.A data restoration apparatus according to another embodiment of the present invention comprises a receiver for receiving a compressed image for a target image, information about a neural network model, and a residual image from a data compression apparatus, and clustering a plurality of pre-stored images into at least one group ( clustering), a model generator that generates a neural network model using at least one or more of the information about the neural network model and the clustered group, and the target image from the compressed image using the generated neural network model. It may include a restoration unit to restore.

상기 데이터 복원 장치에 있어서, 상기 복원부는, 상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지에 대한 예측 이미지를 생성하고, 상기 예측 이미지에 상기 잔차 이미지를 더하여 상기 대상 이미지를 복원할 수 있다.In the data restoration apparatus, the restoration unit may generate a prediction image for the target image from the compressed image using the generated neural network model, and restore the target image by adding the residual image to the prediction image. have.

상기 데이터 복원 장치에 있어서, 상기 분류부는, K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링할 수 있다.In the data restoration apparatus, the classification unit is based on at least one of K-means clustering, K-nearest neighbor algorithm, spectral hashing algorithm, and semantic hashing algorithm. Images can be clustered.

상기 데이터 복원 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함할 수 있다.In the data restoration apparatus, the information on the neural network model may include a number of times of learning used to generate the neural network model, a training data set, and a random seed.

상기 데이터 복원 장치에 있어서, 상기 신경망 모델에 대한 정보는, 상기 신경망 모델 자체를 포함할 수 있다.In the data restoration apparatus, the information on the neural network model may include the neural network model itself.

상기 데이터 복원 장치에 있어서, 상기 모델 생성부는, GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성할 수 있다.In the data restoration apparatus, the model generator may generate the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).

상기 데이터 복원 장치에 있어서, 상기 생성된 신경망 모델은, 상기 데이터 압축 장치에서 생성된 신경망 모델과 동일한 신경망 모델일 수 있다.In the data restoration apparatus, the generated neural network model may be the same neural network model as the neural network model generated in the data compression apparatus.

본 발명에 따르면, 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치가 제공될 수 있다.According to the present invention, a data compression and restoration apparatus for lossless image compression may be provided.

또한, 본 발명에 따르면, 무손실 이미지 압축을 위해, 대상 이미지와 유사성이 있는 기 저장된 다른 이미지들에 기초한 신경망 모델을 이용하는 데이터 압축 장치 및 데이터 복원 장치가 제공될 수 있다.Further, according to the present invention, for lossless image compression, a data compression apparatus and a data restoration apparatus using a neural network model based on other pre-stored images having similarity to a target image may be provided.

또한, 본 발명에 따르면, 무손실 이미지 압축을 위해, 압축 대상 이미지와 중복성 또는 유사성 있는 복수 개의 이미지들 중에서 참조할 이미지를 빠르게 탐색 및 선정할 수 있는 데이터 압축 장치 및 데이터 복원 장치가 제공될 수 있다.In addition, according to the present invention, for lossless image compression, a data compression apparatus and a data restoration apparatus that can quickly search for and select an image to be referenced from among a plurality of images having redundancy or similarity to a compression target image may be provided.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art from the following description. will be.

도 1은 본 발명의 일 실시예에 따른 데이터 압축 및 전송 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 신경망 모델 중 GAN(Generative Adversarial Networks)를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 신경망 모델 중 AE(Auto Encoder)를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 데이터 압축 장치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 데이터 복원 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 데이터 압축 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 데이터 복원 방법을 설명하기 위한 도면이다.1 is a diagram for explaining a data compression and transmission process according to an embodiment of the present invention.
2 is a diagram for explaining Generative Adversarial Networks (GANs) among neural network models according to an embodiment of the present invention.
3 is a diagram for explaining an Auto Encoder (AE) in a neural network model according to an embodiment of the present invention.
4 is a diagram for explaining a data compression apparatus according to an embodiment of the present invention.
5 is a diagram for explaining a data restoration apparatus according to an embodiment of the present invention.
6 is a diagram for explaining a data compression method according to an embodiment of the present invention.
7 is a diagram for explaining a data restoration method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Hereinafter used '… Wealth', '... A term such as 'group' means a unit for processing at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.

현재까지의 무손실 이미지 압축 기술(예: JPEG-lossless, PNG, WebP-lossless 등)은, 자신의 데이터 내부의 공간적 제거(Spatial Elimination)만을 이용해 데이터를 압축하고 있다.Until now, lossless image compression techniques (eg, JPEG-lossless, PNG, WebP-lossless, etc.) compress data using only spatial elimination within its own data.

본 발명의 실시예에 따르면, 데이터가 압축될 때 기존의 이미지 압축 기술인 공간적 및/또는 시간적 중복성이 제거되는 것을 넘어, 이미 동기화된(저장된) 복수의 이미지 데이터 간의 중복성 또는 유사성이 이용될 수 있다.According to an embodiment of the present invention, when data is compressed, redundancy or similarity between a plurality of already synchronized (stored) image data can be used, beyond that spatial and/or temporal redundancy, which is an existing image compression technique, is removed.

즉, 압축 대상 이미지 내에서의 정보만을 이용해 압축(Intra-image compression)하는 기존의 이미지 압축 기술과 달리, 본 발명의 실시예에 따르면, 서로 다른 복수의 이미지들 간의 중복성 또는 유사성(Inter-image cross-correlation)을, 인터-이미지 압축 모델(inter-image compression model)을 이용해 압축 및 복원하는 기술이 제공될 수 있다. 이때, 인터-이미지 압축 모델은 이미지들의 대표적인 특징의 집합인 dictionary 형태 또는 딥러닝 모델(deep learning model) 중 적어도 하나일 수 있다. 이하 본 명세서에서는, 인터-이미지 압축 모델이 딥러닝 모델임을 전제로 하여 설명한다. 이때, 딥러닝 모델은 신경망 모델과 동일한 의미로 사용될 수 있다. That is, unlike a conventional image compression technique that compresses using only information within a compression target image, according to an embodiment of the present invention, overlap or similarity between a plurality of different images (Inter-image cross) -correlation), a technique for compressing and decompressing using an inter-image compression model may be provided. In this case, the inter-image compression model may be at least one of a dictionary form that is a set of representative features of images or a deep learning model. Hereinafter, in this specification, it is assumed that the inter-image compression model is a deep learning model. In this case, the deep learning model may be used in the same meaning as the neural network model.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 데이터 압축 및 전송 과정을 설명하기 위한 도면이다.1 is a diagram for explaining a data compression and transmission process according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 데이터 압축 장치(110)는 전송 및 동기화의 대상에 해당하는 대상 이미지(111)를 압축하여, 압축 이미지(112)를 생성할 수 있다. 이때, 상기 압축 이미지(112)의 생성 과정에는, 기존에 동기화된(또는 저장된) 복수 개의 이미지 데이터(130)가 이용될 수 있다. Referring to FIG. 1 , the data compression apparatus 110 according to an embodiment of the present invention may generate a compressed image 112 by compressing a target image 111 corresponding to a transmission and synchronization target. In this case, in the process of generating the compressed image 112 , a plurality of previously synchronized (or stored) image data 130 may be used.

데이터 압축 장치(110)는 기존에 동기화된 복수 개의 이미지 데이터(130) 중 새롭게 동기화 할 대상 이미지(111)와 유사한 적어도 하나 이상의 이미지를 이용하여 신경망 모델(140)을 생성할 수 있다. 이때, 상기 신경망 모델(140)은 대상 이미지(111)를 압축함에 있어, 압축 이미지 및 무손실 복원을 위한 잔차 이미지의 크기를 최소화하도록 학습된 신경망 모델을 의미할 수 있다. 또한, 상기 신경망 모델(140)은 GAN(Generative Adversarial Networks) 및 AE(Adversarial Networks)를 포함하는 심층 신경망 모델 중 하나일 수 있다. 상기 GAN 및 AE에 대해서는 도 2 및 도 3과 관련된 설명에서 후술한다.The data compression apparatus 110 may generate the neural network model 140 by using at least one image similar to the target image 111 to be newly synchronized among a plurality of previously synchronized image data 130 . In this case, the neural network model 140 may refer to a neural network model trained to minimize the size of the compressed image and the residual image for lossless reconstruction in compressing the target image 111 . In addition, the neural network model 140 may be one of deep neural network models including Generative Adversarial Networks (GAN) and Adversarial Networks (AE). The GAN and AE will be described later in the description related to FIGS. 2 and 3 .

데이터 압축 장치(110)는 상기 신경망 모델(140)을 통해 압축된 압축 이미지(112), 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치(120)로 송신할 수 있다. 이때, 상기 잔차 이미지는, 대상 이미지(111)에서 압축 이미지(112)가 상기 신경망 모델을 통해 복원된 예측 이미지를 뺀 이미지 영역을 의미할 수 있다. 또한, 상기 잔차 이미지는 추후에 대상 이미지(111)의 무손실 복원을 위해 사용될 수 있다.The data compression apparatus 110 may transmit the compressed image 112 compressed through the neural network model 140 , information on the neural network model, and a residual image to the data restoration apparatus 120 . In this case, the residual image may mean an image region in which the compressed image 112 is subtracted from the predicted image reconstructed through the neural network model from the target image 111 . Also, the residual image may be used for lossless reconstruction of the target image 111 later.

신경망 모델에 대한 정보는, 생성된 신경망 모델(140)에 대한 학습 매뉴얼을 포함할 수 있다. 이때, 신경망 모델(140)에 대한 학습 매뉴얼은 학습 횟수, 학습 데이터 셋 및/또는 랜덤 시드(random seed) 등의 신경망(neural network) 모델의 학습에 필요한 정보를 포함할 수 있다. The information on the neural network model may include a learning manual for the generated neural network model 140 . In this case, the learning manual for the neural network model 140 may include information necessary for learning the neural network model, such as the number of times of learning, a learning data set, and/or a random seed.

본 발명의 다른 실시예에 의하면, 상기 신경망 모델에 대한 정보는, 생성된 신경망 모델(140) 자체를 포함할 수 있다. According to another embodiment of the present invention, the information on the neural network model may include the generated neural network model 140 itself.

데이터 압축 장치(110)의 구성 요소에 대해서는 도 4와 관련된 설명에서 보다 자세히 설명한다. The components of the data compression apparatus 110 will be described in more detail in the description related to FIG. 4 .

데이터 복원 장치(120)는 데이터 압축 장치(110)로부터 압축 이미지(112), 신경망 모델에 대한 정보 및 잔차 이미지를 수신하고, 기존에 동기화된 복수 개의 이미지 데이터(130)를 이용하여 대상 이미지(111)를 복원하여 복원 이미지(113)를 생성할 수 있다. 이때, 본 발명의 실시예에 따르면, 무손실 압축이 가능하므로 복원 이미지(113)는 대상 이미지(111)와 동일한 해상도를 갖는 고해상도 이미지일 수 있다.The data restoration device 120 receives the compressed image 112 , information on the neural network model, and the residual image from the data compression device 110 , and uses a plurality of previously synchronized image data 130 to obtain the target image 111 . ) to create a restored image 113 . At this time, according to an embodiment of the present invention, since lossless compression is possible, the restored image 113 may be a high-resolution image having the same resolution as the target image 111 .

구체적으로, 데이터 복원 장치(120)는 데이터 압축 장치(110)로부터 수신한 신경망 모델(140)에 대한 학습 매뉴얼을 이용하여, 데이터 압축 장치(110)에서 생성한 이미지 압축에 이용된 신경망 모델(140)과 동일한 신경망 모델(140)을 재구축(reconstruction)할 수 있다. Specifically, the data restoration apparatus 120 uses the training manual for the neural network model 140 received from the data compression apparatus 110 , and the neural network model 140 used for image compression generated by the data compression apparatus 110 . ) and the same neural network model 140 can be reconstructed.

즉, 데이터 복원 장치(120)는 신경망 모델(140)에 대한 학습 매뉴얼을 기초로 하여, 기존에 동기화된 복수 개의 이미지 데이터(130) 중 상기 신경망 모델(140)의 학습에 사용된 것과 동일한 이미지를 사용하여 데이터 압축 장치(110)에서 생성된 신경망 모델(140)과 동일한 신경망 모델(140)을 생성할 수 있다. 상기 신경망 모델(140)은, 대상 이미지(111)의 압축 이미지(112)와 잔차 이미지의 크기를 최소화하도록 학습된 신경망 모델을 의미할 수 있다. That is, the data restoration apparatus 120 uses the same image used for learning the neural network model 140 among a plurality of previously synchronized image data 130 based on the learning manual for the neural network model 140 . The same neural network model 140 as the neural network model 140 generated by the data compression device 110 can be generated by using it. The neural network model 140 may mean a neural network model trained to minimize the size of the compressed image 112 and the residual image of the target image 111 .

그리고, 데이터 복원 장치(120)는 생성된 신경망 모델(140)에 기초하여, 압축 이미지(112)를 이용해 고해상도 이미지인 예측 이미지를 생성할 수 있다. 또한, 데이터 복원 장치(120)는, 예측 이미지에 잔차 이미지를 더하여 복원 이미지(113)를 생성함으로써, 대상 이미지(111)를 무손실 복원할 수 있다. In addition, the data restoration apparatus 120 may generate a high-resolution prediction image using the compressed image 112 based on the generated neural network model 140 . Also, the data restoration apparatus 120 may losslessly restore the target image 111 by adding the residual image to the prediction image to generate the restored image 113 .

데이터 복원 장치(120)의 구성요소에 대해서는 도 5와 관련된 설명에서 보다 자세히 설명한다.The components of the data restoration apparatus 120 will be described in more detail in the description related to FIG. 5 .

한편, 본 발명의 다른 실시예에 의하면, 데이터 복원 장치(120)에서 신경망 모델(140)을 재구축하는 비용을 줄이기 위해, 데이터 압축 장치(110)는 신경망 모델(140)의 학습 매뉴얼이 아닌 데이터 압축에 이용된 신경망 모델(140) 자체를 압축 이미지(112)와 함께 데이터 복원 장치(120)로 송신할 수 있다. On the other hand, according to another embodiment of the present invention, in order to reduce the cost of reconstructing the neural network model 140 in the data restoration device 120, the data compression device 110 is not a training manual of the neural network model 140. The neural network model 140 itself used for compression may be transmitted to the data restoration apparatus 120 together with the compressed image 112 .

이하, 도 2에서 본 발명의 일 실시예에 따른 신경망 모델(140) 중 GAN에 대한 원리에 대해 설명한다.Hereinafter, the principle of the GAN among the neural network model 140 according to an embodiment of the present invention will be described with reference to FIG. 2 .

도 2는 본 발명의 일 실시예에 따른 신경망 모델 중 GAN(Generative Adversarial Networks)를 설명하기 위한 도면이다.2 is a diagram for explaining Generative Adversarial Networks (GANs) among neural network models according to an embodiment of the present invention.

도 2를 참조하면, GAN은 머신 러닝 중 비지도 학습(Unsupervised learning)에 해당하는 신경망 모델로서, 생성 모델(Generator) 및 구분 모델(Discriminator)을 포함할 수 있다. 이때, GAN은 실제 데이터와 동일한 데이터를 생성하려는 생성 모델 및 실제 데이터 및 가상 데이터를 판별하려는 분류 모델이 존재하여 서로 적대적으로 학습이 수행되는 모델을 의미할 수 있다.Referring to FIG. 2 , a GAN is a neural network model corresponding to unsupervised learning among machine learning, and may include a generator model and a discriminator. In this case, the GAN may mean a model in which learning is performed hostilely to each other because there are a generative model for generating the same data as real data and a classification model for discriminating real data and virtual data.

본 발명의 실시예에 따른 데이터 압축 장치(110) 및 데이터 복원 장치(120)에서 사용되는 신경망 모델(140)로서 GAN이 이용되는 경우, 생성 모델은 저해상도 이미지를 고해상도 이미지로 복원하고, 분류 모델은 생성 모델에 의해 생성된 고해상도 이미지가 원본 이미지인지 아닌지를 판단할 수 있다. When GAN is used as the neural network model 140 used in the data compression apparatus 110 and the data restoration apparatus 120 according to an embodiment of the present invention, the generative model restores a low-resolution image to a high-resolution image, and the classification model is It can be determined whether the high-resolution image generated by the generative model is the original image.

이하, 도 3에서 본 발명의 일 실시예에 따른 신경망 모델(140) 중 AE에 대한 원리에 대해 설명한다.Hereinafter, the principle of AE among the neural network model 140 according to an embodiment of the present invention will be described with reference to FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 신경망 모델 중 AE(Auto Encoder)를 설명하기 위한 도면이다.3 is a diagram for explaining an Auto Encoder (AE) in a neural network model according to an embodiment of the present invention.

도 3을 참조하면, 이미지 데이터 압축 및 복원에 이용되는 딥러닝 모델의 다른 실시예로, AE가 도시되어있다. AE는 인코더 네트워크(Encoder)(310)를 통해 입력 데이터(Input)를 압축 이미지(Compressed Image)(320)로 압축하고, 디코더(Decoder) 네트워크(330)를 통해 압축 이미지를 복원하여 출력 데이터(Output)를 생성할 수 있다. 즉, AE는 입력 데이터와 출력 데이터의 차이가 적어지는 방향으로 인코더 네트워크(310) 및 디코더 네트워크(330)를 동시에 학습시키는 신경망 모델을 의미할 수 있다.Referring to FIG. 3 , as another embodiment of a deep learning model used for image data compression and reconstruction, AE is shown. AE compresses input data (Input) into a compressed image (Compressed Image) 320 through an encoder network (Encoder) 310, and restores the compressed image through a decoder network (330) to output data (Output) ) can be created. That is, AE may refer to a neural network model that simultaneously trains the encoder network 310 and the decoder network 330 in a direction in which the difference between input data and output data decreases.

본 발명의 실시예에 따른 데이터 압축 장치(110) 및 데이터 복원 장치(120)에서 사용되는 신경망 모델(140)로서 AE가 이용되는 경우, 입력 데이터로 대상 이미지(111)가 인코더 네트워크(310)에 입력되어, 압축 이미지(320)가 생성되고, 디코더 네트워크(330)가 이용되어 압축 이미지(320)가 복원될 수 있다. 이때, 압축 이미지(320)와 복원된 이미지와 대상 이미지의 차를 의미하는 잔차 이미지의 크기가 최소화되는 방향으로 인코더 네트워크(310) 및 디코더 네트워크(330)가 동시에 학습될 수 있다.When AE is used as the neural network model 140 used in the data compression apparatus 110 and the data restoration apparatus 120 according to an embodiment of the present invention, the target image 111 as input data is transmitted to the encoder network 310. It is input, a compressed image 320 is generated, and the decoder network 330 is used to restore the compressed image 320 . In this case, the encoder network 310 and the decoder network 330 may be simultaneously trained in a direction in which the size of the residual image, which means the difference between the compressed image 320 and the reconstructed image and the target image, is minimized.

본 발명의 실시예에 따른 신경망 모델(140)로서, 상술한 GAN 및 AE 외에도 다양한 심층 신경망 모델이 이용될 수 있다.As the neural network model 140 according to the embodiment of the present invention, various deep neural network models in addition to the GAN and AE described above may be used.

이하, 도 4에서 본 발명의 일 실시예에 따른 데이터 압축 장치(110)의 구성에 대해 설명한다.Hereinafter, the configuration of the data compression apparatus 110 according to an embodiment of the present invention will be described with reference to FIG. 4 .

도 4는 본 발명의 일 실시예에 따른 데이터 압축 장치를 설명하기 위한 도면이다. 도 4에 도시된 데이터 압축 장치(400)는 도 1에 도시된 데이터 압축 장치(110)에 대응될 수 있다. 4 is a diagram for explaining a data compression apparatus according to an embodiment of the present invention. The data compression apparatus 400 illustrated in FIG. 4 may correspond to the data compression apparatus 110 illustrated in FIG. 1 .

도 4를 참조하면, 데이터 압축 장치(400)는 분류부(410), 모델 생성부(420), 인코딩부(430) 및 송신부(440)를 포함할 수 있다. 그러나, 반드시 이에 제한되지는 않고, 데이터 압축을 위해 필요한 모듈을 추가적으로 더 포함할 수 있다.Referring to FIG. 4 , the data compression apparatus 400 may include a classifying unit 410 , a model generating unit 420 , an encoding unit 430 , and a transmitting unit 440 . However, the present invention is not necessarily limited thereto, and may further include a module necessary for data compression.

분류부(410)는 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)할 수 있다. 구체적으로, 분류부(410)는 기 저장된 복수 개의 이미지 데이터(130) 중에서 중복성 또는 유사성 있는 이미지들을 적어도 하나 이상의 집단으로 클러스터링할 수 있다. 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.The classification unit 410 may cluster a plurality of pre-stored images into at least one or more groups. Specifically, the classification unit 410 may cluster images having redundancy or similarity among a plurality of pre-stored image data 130 into at least one group. In this case, the clustering is at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm. can be performed based on

모델 생성부(420)는 상기 클러스터링된 적어도 하나 이상의 집단을 학습 데이터 셋으로 이용하여, 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. 이때, 모델 생성부(420)는 압축 이미지의 크기 및 잔차 이미지의 크기 모두에 기초하여 상기 신경망 모델(140)을 생성할 수 있다.The model generator 420 may generate the neural network model 140 trained to compress and restore the target image 111 by using the at least one clustered group as a training data set. In this case, the model generator 420 may generate the neural network model 140 based on both the size of the compressed image and the size of the residual image.

구체적으로, 모델 생성부(420)는 상기 클러스터링된 적어도 하나의 집단 중에서 대상 이미지(111)의 압축에 이용될 학습 데이터 셋을 선정하는 데이터 셋 선정부 및 상기 선정된 학습 데이터 셋을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성하는 생성부를 포함할 수 있다. 즉, 상기 데이터 셋 선정부는 상기 클러스터링 된 집단 중에서 상기 신경망 모델의 학습에 이용될 학습 데이터 셋을 선정할 수 있다.Specifically, the model generator 420 includes a data set selector that selects a training data set to be used for compression of the target image 111 from among the at least one clustered group and a target image using the selected training data set. It may include a generator that generates the neural network model 140 trained to compress and restore (111). That is, the data set selector may select a learning data set to be used for learning the neural network model from among the clustered groups.

이때, 상기 신경망 모델(140)은 GAN 및 AE를 포함하는 심층 신경망 모델 중 하나의 신경망 모델일 수 있다.In this case, the neural network model 140 may be one of the deep neural network models including GAN and AE.

데이터 셋 선정부는 클러스터링된 적어도 하나 이상의 집단과 대상 이미지(111)의 유사도를 정량적으로 판단할 수 있다. 예를 들어, 데이터 셋 선정부는 픽셀 간 색상 차를 이용하는 방법, 이미지 간의 윤곽선 및 색상의 특성과 같은 이미지 특성(feature)를 추출해 유사도를 산출하는 이미지 특징 매칭(feature matching), 문맥 기반 시맨틱 매칭(context-based semantic matching) 및 문맥 기반 시각적 매칭(context-based visual matching) 중 적어도 하나에 기초하여, 클러스터링된 적어도 하나 이상의 집단과 대상 이미지(111)의 유사도를 정량적으로 판단할 수 있다.The data set selector may quantitatively determine the similarity between at least one clustered group and the target image 111 . For example, the data set selector uses a method of using a color difference between pixels, an image feature matching that calculates similarity by extracting image features such as contour and color characteristics between images, and a context-based semantic matching method. The similarity between at least one clustered group and the target image 111 may be quantitatively determined based on at least one of -based semantic matching and context-based visual matching.

데이터 셋 선정부는 상기 유사도 판단 결과에 기초하여, 상기 유사도가 높은 순서대로 기 설정된 개수의 집단을 상기 학습 데이터 셋으로 설정할 수 있다.The data set selector may set a preset number of groups in the order of the highest similarity as the training data set, based on the similarity determination result.

또한, 생성부는 데이터 셋 선정부에 의해 선정된 학습 데이터 셋을 이용하여, 학습된 신경망 모델을 생성할 수 있다. 이때, 상기 학습은 압축 이미지(112) 및 잔차 이미지의 크기가 최소화되는 방향으로 학습될 수 있다.Also, the generator may generate a trained neural network model by using the training data set selected by the data set selector. In this case, the learning may be performed in a direction in which the sizes of the compressed image 112 and the residual image are minimized.

구체적으로, 전송할 대상 이미지(111)의 압축된 정도, 즉 화질 열화 정도에 따라 압축 이미지(112)의 크기가 달라질 수 있다. 또한, 잔차 이미지를 의미하는 offset bits의 크기 역시 달라질 수 있다. Specifically, the size of the compressed image 112 may vary according to the degree of compression of the target image 111 to be transmitted, that is, the degree of deterioration of image quality. In addition, the size of the offset bits indicating the residual image may also vary.

따라서, 본 발명의 실시예에 따른 학습은 단순히 최소의 크기를 갖는 압축 이미지(112)를 전송하고 이를 복원하는 것이 아니라, 전송할 압축 이미지(112)의 크기(reduced bits) 및 무손실 복원을 위한 잔차 이미지(offset bits)의 크기를 모두 고려해 최적화된 크기의 압축 이미지(112) 및 잔차 이미지를 전송하기 위한 학습일 수 있다.Therefore, learning according to an embodiment of the present invention does not simply transmit the compressed image 112 having the minimum size and restore it, but the size (reduced bits) of the compressed image 112 to be transmitted and the residual image for lossless restoration. It may be training for transmitting the compressed image 112 and the residual image of an optimized size in consideration of all sizes of (offset bits).

인코딩부(430)는 상기 생성된 신경망 모델(140)을 이용하여, 대상 이미지(111)에 대한 압축 이미지(112)를 생성할 수 있다.The encoding unit 430 may generate a compressed image 112 for the target image 111 by using the generated neural network model 140 .

송신부(440)는 압축 이미지(112), 잔차 이미지 및 생성된 신경망 모델(140)에 대한 정보를 데이터 복원 장치(120)로 송신할 수 있다. 일 예로, 상기 압축 이미지, 잔차 이미지 및 생성된 신경망 모델에 대한 정보는 비트스트림 형태로 전송될 수 있다.The transmitter 440 may transmit the compressed image 112 , the residual image, and information on the generated neural network model 140 to the data restoration apparatus 120 . For example, information about the compressed image, the residual image, and the generated neural network model may be transmitted in the form of a bitstream.

이하, 도 5에서 본 발명의 일 실시예에 따른 데이터 복원 장치(120)의 구성에 대해 설명한다.Hereinafter, the configuration of the data restoration apparatus 120 according to an embodiment of the present invention will be described with reference to FIG. 5 .

도 5는 본 발명의 일 실시예에 따른 데이터 복원 장치를 설명하기 위한 도면이다. 도 5에 도시된 데이터 복원 장치(500)는 도 1에 도시된 데이터 복원 장치(120)에 대응될 수 있다.5 is a diagram for explaining a data restoration apparatus according to an embodiment of the present invention. The data restoration apparatus 500 illustrated in FIG. 5 may correspond to the data restoration apparatus 120 illustrated in FIG. 1 .

도 5를 참조하면, 데이터 복원 장치(500)는 수신부(510), 분류부(520), 모델 생성부(530) 및 복원부(540)를 포함할 수 있다. 그러나, 반드시 이에 제한되지는 않고, 데이터 복원을 위해 필요한 모듈을 추가적으로 더 포함할 수 있다.Referring to FIG. 5 , the data restoration apparatus 500 may include a receiving unit 510 , a classification unit 520 , a model generating unit 530 , and a restoration unit 540 . However, the present invention is not necessarily limited thereto, and may further include a module necessary for data restoration.

수신부(510)는 데이터 압축 장치(110)로부터 대상 이미지(111)에 대한 압축 이미지(112), 신경망 모델(140)에 대한 정보 및 잔차 이미지를 수신할 수 있다. 이때, 신경망 모델(140)에 대한 정보는, 데이터 압축 장치(110)의 모델 생성부(420)에서 신경망 모델(140)의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드 등 데이터 압축 장치(110)에서 생성된 신경망 모델과 동일한 신경망 모델이 생성되기 위한 정보를 포함할 수 있다.The receiver 510 may receive the compressed image 112 of the target image 111 , information about the neural network model 140 , and a residual image from the data compression apparatus 110 . At this time, the information on the neural network model 140 is a data compression device (such as the number of times of training used to generate the neural network model 140 in the model generator 420 of the data compression device 110 , a training data set and a random seed) 110) may include information for generating the same neural network model as the generated neural network model.

분류부(520)는 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)할 수 있다. 구체적으로, 분류부(520)는 기 저장된 복수 개의 이미지 데이터(130) 중에서 중복성 또는 유사성 있는 이미지들을 적어도 하나 이상의 집단으로 클러스터링할 수 있다. 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.The classifier 520 may cluster a plurality of pre-stored images into at least one or more groups. Specifically, the classifier 520 may cluster images having redundancy or similarity among a plurality of pre-stored image data 130 into at least one group. In this case, the clustering is at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm. can be performed based on

모델 생성부(530)는 신경망 모델(140)에 대한 정보 및 클러스터링된 적어도 하나 이상의 집단을 이용하여, 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다.The model generator 530 may generate the neural network model 140 trained to compress and restore the target image 111 by using the information on the neural network model 140 and at least one clustered group.

구체적으로, 모델 생성부(530)는 데이터 압축 장치(110)로부터 수신한 신경망 모델(140)에 대한 정보에 기초하여, 상기 클러스터링된 적어도 하나 이상의 집단 중에서 대상 이미지(111)의 압축에 이용된 학습 데이터 셋을 선정하고, 상기 선정된 학습 데이터 셋을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. 즉, 데이터 복원 장치(120)의 모델 생성부(530)에서 생성된 신경망 모델(140)은 데이터 압축 장치(110)의 모델 생성부(420)에서 생성된 신경망 모델(140)과 동일한 모델일 수 있다.Specifically, the model generation unit 530 is based on the information on the neural network model 140 received from the data compression device 110, the learning used for compression of the target image 111 among the at least one or more clustered groups. A data set may be selected, and the neural network model 140 trained to compress and restore the target image 111 may be generated using the selected training data set. That is, the neural network model 140 generated by the model generator 530 of the data restoration device 120 may be the same model as the neural network model 140 generated by the model generator 420 of the data compression device 110 . have.

이때, 상기 신경망 모델(140)은 GAN 및 AE를 포함하는 심층 신경망 모델 중 하나의 신경망 모델일 수 있다. In this case, the neural network model 140 may be one of the deep neural network models including GAN and AE.

복원부(540)는 상기 생성된 신경망 모델(140)을 이용하여, 수신한 압축 이미지(112)로부터 대상 이미지(111)에 대한 예측 이미지를 생성할 수 있다. 또한, 복원부(540)는 상기 생성된 예측 이미지에 수신한 잔차 이미지를 더하여 복원 이미지(113)를 생성할 수 있다. 이때, 복원 이미지(113)는 대상 이미지(111)와 동일한 이미지일 수 있다.The restoration unit 540 may generate a prediction image for the target image 111 from the received compressed image 112 by using the generated neural network model 140 . Also, the restoration unit 540 may generate the restored image 113 by adding the received residual image to the generated prediction image. In this case, the restored image 113 may be the same image as the target image 111 .

한편, 본 발명의 다른 실시예에 의하면, 데이터 복원 장치(120)에서 신경망 모델(140)을 재구축하는 비용을 줄이기 위해, 데이터 압축 장치(110)는 신경망 모델(140)의 학습 매뉴얼이 아닌 데이터 압축에 이용된 신경망 모델(140) 자체를 압축 이미지(112)와 함께 데이터 복원 장치(120)로 송신할 수 있다. 즉, 상기 신경망 모델(140)에 대한 정보는 신경망 모델(140) 자체를 포함할 수 있다. 이 경우, 데이터 복원 장치(120)는, 수신한 신경망 모델(140) 자체를 이용하여, 압축 이미지(112)로부터 예측 이미지를 생성할 수 있다. 또한, 데이터 복원 장치(120)는 예측 이미지에 잔차 이미지를 더하여 복원 이미지(113)를 생성할 수 있다.On the other hand, according to another embodiment of the present invention, in order to reduce the cost of reconstructing the neural network model 140 in the data restoration device 120, the data compression device 110 is not a training manual of the neural network model 140. The neural network model 140 itself used for compression may be transmitted to the data restoration apparatus 120 together with the compressed image 112 . That is, the information on the neural network model 140 may include the neural network model 140 itself. In this case, the data restoration apparatus 120 may generate a prediction image from the compressed image 112 using the received neural network model 140 itself. Also, the data restoration apparatus 120 may generate the restored image 113 by adding the residual image to the prediction image.

이하, 도 6 및 도 7에서, 본 발명의 일 실시예에 따른 데이터 압축 방법 및 데이터 복원 방법을 설명한다.Hereinafter, a data compression method and a data restoration method according to an embodiment of the present invention will be described with reference to FIGS. 6 and 7 .

도 6은 본 발명의 일 실시예에 따른 데이터 압축 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a data compression method according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 데이터 압축 장치(110)는, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링 할 수 있다(S601). 즉, 데이터 압축 장치(110)의 분류부(410)는 기 저장된 복수 개의 이미지 데이터(130) 중에서 중복성 또는 유사성 있는 이미지들을 적어도 하나 이상의 집단으로 클러스터링할 수 있다. 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.Referring to FIG. 6 , the data compression apparatus 110 according to an embodiment of the present invention may cluster a plurality of pre-stored images into at least one group ( S601 ). That is, the classification unit 410 of the data compression apparatus 110 may cluster images having redundancy or similarity among a plurality of pre-stored image data 130 into at least one group. In this case, the clustering is at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm. can be performed based on

그리고, 데이터 압축 장치(110)는, 적어도 하나 이상의 집단을 학습 데이터 셋으로 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다(S602). In addition, the data compression apparatus 110 may generate the neural network model 140 trained to compress and restore the target image 111 by using at least one group as a training data set ( S602 ).

구체적으로, 데이터 압축 장치(110)는, 클러스터링된 적어도 하나의 집단 중에서 대상 이미지(111)와 유사한 집단을 압축에 이용될 학습 데이터 셋으로 선정하고, 상기 선정된 학습 데이터 셋을 통해 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. 이때, 상기 신경망 모델(140)은 GAN 및 AE를 포함하는 심층 신경망 모델 중 하나의 신경망 모델일 수 있다.Specifically, the data compression apparatus 110 selects a group similar to the target image 111 from among at least one clustered group as a training data set to be used for compression, and uses the selected training data set to select the target image 111 ) to compress and restore the neural network model 140 . In this case, the neural network model 140 may be one neural network model among deep neural network models including GAN and AE.

그리고, 데이터 압축 장치(110)는, 상기 생성된 신경망 모델(140)을 이용하여 대상 이미지(111)에 대한 압축 이미지(112)를 생성할 수 있다(S603).In addition, the data compression apparatus 110 may generate a compressed image 112 for the target image 111 by using the generated neural network model 140 ( S603 ).

이때, 상기 신경망 모델(140)은, 실제로 전송 및 동기화될 이미지 데이터인 압축 이미지 및 무손실 복원을 위한 잔차 이미지의 크기가 최소화되도록 학습이 수행될 수 있다.In this case, the neural network model 140 may be trained to minimize the size of a compressed image that is image data to be transmitted and synchronized and a residual image for lossless restoration.

그리고, 데이터 압축 장치(110)는, 압축 이미지, 생성된 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치(120)로 송신할 수 있다(S604). 일 예로, 상기 압축 이미지, 잔차 이미지 및 생성된 신경망 모델에 대한 정보는 비트스트림 형태로 전송될 수 있다.Then, the data compression apparatus 110 may transmit the compressed image, information on the generated neural network model, and the residual image to the data restoration apparatus 120 ( S604 ). For example, information about the compressed image, the residual image, and the generated neural network model may be transmitted in the form of a bitstream.

도 7은 본 발명의 일 실시예에 따른 데이터 복원 방법을 설명하기 위한 도면이다.7 is a diagram for explaining a data restoration method according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 데이터 복원 장치(120)는, 데이터 압축 장치(110)로부터 대상 이미지(111)에 대한 압축 이미지(112), 신경망 모델에 대한 정보 및 잔차 이미지를 수신할 수 있다(S701). 이때, 신경망 모델(140)에 대한 정보는, 데이터 압축 장치(110)의 모델 생성부(420)에서 신경망 모델(140)의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드 등의 신경망 모델(140)의 생성에 필요한 정보를 포함할 수 있다. 또는, 신경망 모델(140)에 대한 정보는, 신경망 모델(140) 자체를 포함할 수 있다.Referring to FIG. 7 , the data restoration apparatus 120 according to an embodiment of the present invention provides a compressed image 112 for a target image 111, information on a neural network model, and a residual image from the data compression apparatus 110 . can be received (S701). At this time, the information on the neural network model 140 includes the number of times of training used to generate the neural network model 140 in the model generating unit 420 of the data compression apparatus 110, a neural network model such as a training data set and a random seed ( 140) may include information necessary for generation. Alternatively, the information on the neural network model 140 may include the neural network model 140 itself.

그리고, 데이터 복원 장치(120)는, 기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링할 수 있다(S702). 이때, 상기 클러스터링은, K-평균 클러스터링(K-means clustering), K-최근접 이웃(K-nearest neighbor) 알고리즘, 스팩트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hashing) 알고리즘 중 적어도 하나에 기초하여 수행될 수 있다.In addition, the data restoration apparatus 120 may cluster a plurality of pre-stored images into at least one group (S702). In this case, the clustering is at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm. can be performed based on

그리고, 데이터 복원 장치(120)는, 신경망 모델에 대한 정보 및 적어도 하나의 집단을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다(S703). Then, the data restoration apparatus 120 may generate the neural network model 140 trained to compress and restore the target image 111 by using the information on the neural network model and at least one group (S703).

구체적으로, 데이터 복원 장치(120)는, 데이터 압축 장치(110)로부터 수신한 신경망 모델(140)에 대한 정보에 기초하여, 상기 클러스터링된 하나 이상의 집단 중에서 데이터 압축 장치(110)에서 신경망 모델(140)의 생성에 사용됐던 학습 데이터 셋과 동일한 집단을 학습 데이터 셋으로 선정하고, 상기 선정된 학습 데이터 셋을 이용하여 대상 이미지(111)를 압축 및 복원하도록 학습된 신경망 모델(140)을 생성할 수 있다. Specifically, the data restoration apparatus 120, based on the information on the neural network model 140 received from the data compression apparatus 110, the neural network model 140 in the data compression apparatus 110 among the one or more clustered groups. ), the same group as the training data set used to generate the training data set is selected as the training data set, and the trained neural network model 140 can be created to compress and restore the target image 111 using the selected training data set. have.

즉, 데이터 복원 장치(120)의 모델 생성부(530)에서 생성된 신경망 모델(140)은 데이터 압축 장치(110)의 모델 생성부(420)에서 생성된 신경망 모델(140)과 동일한 모델일 수 있다.That is, the neural network model 140 generated by the model generator 530 of the data restoration device 120 may be the same model as the neural network model 140 generated by the model generator 420 of the data compression device 110 . have.

그리고, 데이터 복원 장치(120)는, 생성된 신경망 모델을 이용하여 압축 이미지로부터 대상 이미지를 복원할 수 있다(S704). Then, the data restoration apparatus 120 may restore the target image from the compressed image using the generated neural network model (S704).

구체적으로, 데이터 복원 장치(120)는 상기 생성된 신경망 모델(140)을 이용하여, 수신한 압축 이미지(112)로부터 대상 이미지(111)에 대한 예측 이미지를 생성할 수 있다. 또한, 복원부(540)는 상기 생성된 예측 이미지에 수신한 잔차 이미지를 더하여 복원 이미지(113)를 생성할 수 있다.Specifically, the data restoration apparatus 120 may generate a prediction image for the target image 111 from the received compressed image 112 by using the generated neural network model 140 . Also, the restoration unit 540 may generate the restored image 113 by adding the received residual image to the generated prediction image.

본 발명의 변형예로서, 데이터 압축 장치(110)는, 모든 카테고리에 대해 적용 가능한 대형 신경망(global neural network)를 데이터 복원 장치(120)에 미리 전송해두어, 데이터 압축 장치(110) 및 데이터 복원 장치(120)가 상기 대형 신경망을 이용하여 이미지 데이터의 압축 및 복원을 수행할 수도 있다. As a modification of the present invention, the data compression device 110 transmits a large neural network applicable to all categories in advance to the data recovery device 120, and the data compression device 110 and data recovery The device 120 may compress and restore image data using the large neural network.

본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block in the block diagram attached to this specification and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions performed by the processor of the computer or other programmable data processing equipment may be configured in the respective blocks of the block diagram or of the flowchart. Each step creates a means for performing the described functions. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing the functions described in each block of the block diagram or each step of the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present specification are for explanation rather than limiting the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

110: 데이터 압축 장치
111: 대상 이미지
112: 압축 이미지
113: 복원 이미지
120: 데이터 복원 장치
130: 기 저장된 복수 개의 이미지 데이터
140: 신경망 모델110: data compression device
111: target image
112: compressed image
113: restored image
120: data restoration device
130: a plurality of pre-stored image data
140: neural network model

Claims (16)

데이터 압축 장치에 있어서,
기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부;
상기 클러스터링된 집단 중 적어도 하나 이상의 집단을 이용하여 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 모델 생성부;
상기 생성된 신경망 모델을 이용하여 대상 이미지에 대한 압축 이미지를 생성하는 인코딩부; 및
상기 압축 이미지, 상기 생성된 신경망 모델에 대한 정보 및 잔차 이미지를 데이터 복원 장치로 송신하는 송신부를 포함하는 데이터 압축 장치.
A data compression device comprising:
a classification unit for clustering a plurality of pre-stored images into at least one group;
a model generator for generating a neural network model trained to compress and restore a target image by using at least one of the clustered groups;
an encoding unit for generating a compressed image of a target image by using the generated neural network model; and
and a transmitter configured to transmit the compressed image, information on the generated neural network model, and a residual image to a data restoration apparatus.
 제1항에 있어서,
상기 모델 생성부는,
상기 클러스터링된 집단 중에서 상기 신경망 모델의 학습에 이용될 학습 데이터 셋을 선정하는 데이터 셋 선정부; 및
상기 선정된 학습 데이터 셋을 이용하여 상기 대상 이미지를 압축 및 복원하도록 학습된 신경망 모델을 생성하는 생성부를 포함하는 데이터 압축 장치.
According to claim 1,
The model generation unit,
a data set selector for selecting a learning data set to be used for learning the neural network model from among the clustered group; and
and a generator for generating a neural network model trained to compress and restore the target image by using the selected training data set.
 제1항에 있어서,
상기 모델 생성부는,
GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성하는 데이터 압축 장치.
According to claim 1,
The model generation unit,
A data compression apparatus for generating the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).
 제1항에 있어서,
상기 모델 생성부는,
상기 압축 이미지의 크기 및 상기 잔차 이미지의 크기 모두에 기초하여 상기 신경망 모델을 생성하는 데이터 압축 장치.
According to claim 1,
The model generation unit,
A data compression apparatus for generating the neural network model based on both a size of the compressed image and a size of the residual image.
 제1항에 있어서,
상기 분류부는,
K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링하는 데이터 압축 장치.
According to claim 1,
The classification unit,
A data compression apparatus for clustering the plurality of pre-stored images based on at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm.
 제1항에 있어서,
상기 신경망 모델에 대한 정보는,
상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함하는 데이터 압축 장치.
According to claim 1,
Information about the neural network model,
A data compression apparatus including a number of times of training used to generate the neural network model, a training data set, and a random seed.
 제1항에 있어서,
상기 신경망 모델에 대한 정보는,
상기 신경망 모델 자체를 포함하는 데이터 압축 장치.
According to claim 1,
Information about the neural network model,
A data compression device including the neural network model itself.
 제2항에 있어서,
상기 데이터셋 선정부는,
상기 클러스터링된 적어도 하나 이상의 집단과 상기 대상 이미지의 유사도를 정량적으로 판단하고,
상기 유사도가 높은 순서대로 기 설정된 개수의 집단을 상기 학습 데이터 셋으로 선정하는 데이터 압축 장치.
3. The method of claim 2,
The data set selection unit,
Quantitatively determining the similarity between the clustered at least one group and the target image,
A data compression apparatus for selecting a preset number of groups in an order of high similarity as the training data set.
 제8항에 있어서,
상기 유사도는,
문맥 기반 시맨틱 매칭(context-based semantic matching) 및 문맥 기반 시각적 매칭(context-based visual matching) 중 적어도 하나에 기초하여 판단되는 데이터 압축 장치.
9. The method of claim 8,
The similarity is
A data compression apparatus determined based on at least one of context-based semantic matching and context-based visual matching.
 데이터 복원 장치에 있어서,
데이터 압축 장치로부터 대상 이미지에 대한 압축 이미지, 신경망 모델에 대한 정보 및 잔차 이미지를 수신하는 수신부;
기 저장된 복수 개의 이미지를 적어도 하나 이상의 집단으로 클러스터링(clustering)하는 분류부;
상기 신경망 모델에 대한 정보 및 상기 클러스터링 된 집단 중 적어도 하나 이상의 집단을 이용하여 신경망 모델을 생성하는 모델 생성부; 및
상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지를 복원하는 복원부를 포함하는 데이터 복원 장치.
A data recovery device comprising:
a receiver configured to receive a compressed image of a target image, information about a neural network model, and a residual image from the data compression device;
a classification unit for clustering a plurality of pre-stored images into at least one group;
a model generator for generating a neural network model using at least one or more of the information on the neural network model and the clustered group; and
and a restoration unit configured to restore the target image from the compressed image by using the generated neural network model.
 제10항에 있어서,
상기 복원부는,
상기 생성된 신경망 모델을 이용하여 상기 압축 이미지로부터 상기 대상 이미지에 대한 예측 이미지를 생성하고,
상기 예측 이미지에 상기 잔차 이미지를 더하여 상기 대상 이미지를 복원하는 데이터 복원 장치.
11. The method of claim 10,
The restoration unit,
generating a prediction image for the target image from the compressed image using the generated neural network model;
A data restoration apparatus for reconstructing the target image by adding the residual image to the prediction image.
 제10항에 있어서,
상기 분류부는,
K-평균 클러스터링, K-최근접 이웃 알고리즘, 스펙트럴 해싱(Spectral Hashing) 알고리즘 및 시맨틱 해싱(Semantic Hasing) 알고리즘 중 적어도 하나에 기초하여 상기 기 저장된 복수 개의 이미지를 클러스터링하는 데이터 복원 장치.
11. The method of claim 10,
The classification unit,
A data restoration apparatus for clustering the plurality of pre-stored images based on at least one of a K-means clustering, a K-nearest neighbor algorithm, a spectral hashing algorithm, and a semantic hashing algorithm.
 제10항에 있어서,
상기 신경망 모델에 대한 정보는,
상기 신경망 모델의 생성에 이용된 학습 횟수, 학습 데이터 셋 및 랜덤 시드(random seed)를 포함하는 데이터 복원 장치.
11. The method of claim 10,
Information about the neural network model,
including the number of times of training used to generate the neural network model, a training data set, and a random seed data recovery device.
 제10항에 있어서,
상기 신경망 모델에 대한 정보는,
상기 신경망 모델 자체를 포함하는 데이터 복원 장치.
11. The method of claim 10,
Information about the neural network model,
Data restoration apparatus including the neural network model itself.
 제10항에 있어서,
상기 모델 생성부는,
GAN(Generative Adversarial Networks) 및 AE(AutoEncoder)를 포함하는 심층 신경망 모델 중 적어도 하나에 기초하여 상기 신경망 모델을 생성하는 데이터 복원 장치.
11. The method of claim 10,
The model generation unit,
A data restoration apparatus for generating the neural network model based on at least one of a deep neural network model including Generative Adversarial Networks (GAN) and AutoEncoder (AE).
 제10항에 있어서,
상기 생성된 신경망 모델은,
상기 데이터 압축 장치에서 생성된 신경망 모델과 동일한 신경망 모델인 데이터 복원 장치.11. The method of claim 10,
The generated neural network model is
A data restoration device that is the same neural network model as the neural network model generated by the data compression device.
KR1020200131236A 2019-11-28 2020-10-12 Data compressing and restoring apparatus for loseless image compression KR102524547B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190155994 2019-11-28
KR1020190155994 2019-11-28

Publications (2)

Publication Number Publication Date
KR20210066707A true KR20210066707A (en) 2021-06-07
KR102524547B1 KR102524547B1 (en) 2023-04-24

Family

ID=76374435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131236A KR102524547B1 (en) 2019-11-28 2020-10-12 Data compressing and restoring apparatus for loseless image compression

Country Status (1)

Country Link
KR (1) KR102524547B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230075248A (en) * 2021-11-22 2023-05-31 서울대학교산학협력단 Device of compressing data, system of compressing data and method of compressing data
CN117528085A (en) * 2024-01-08 2024-02-06 中国矿业大学 Video compression coding method based on intelligent feature clustering
WO2024058494A1 (en) * 2022-09-13 2024-03-21 엘지전자 주식회사 Feature encoding/decoding method and apparatus based on training of prediction model, and recording medium having bitstream stored therein

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519653B1 (en) 2008-09-03 2015-05-12 엘지전자 주식회사 Image compressing apparatus of lossless and lossy type
KR20180052651A (en) * 2015-09-03 2018-05-18 미디어텍 인크. Method and apparatus for neural network-based processing in video coding
KR20190130478A (en) * 2018-04-24 2019-11-22 주식회사 지디에프랩 Artificial intelligence based resolution improvement system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519653B1 (en) 2008-09-03 2015-05-12 엘지전자 주식회사 Image compressing apparatus of lossless and lossy type
KR20180052651A (en) * 2015-09-03 2018-05-18 미디어텍 인크. Method and apparatus for neural network-based processing in video coding
KR20190130478A (en) * 2018-04-24 2019-11-22 주식회사 지디에프랩 Artificial intelligence based resolution improvement system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
조승현, 딥 러닝 기반의 이미지와 비디오 압축 기술 분석, 방송공학회논문지, 한국방송미디어공학회, 2018-05, pp. 383-394* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230075248A (en) * 2021-11-22 2023-05-31 서울대학교산학협력단 Device of compressing data, system of compressing data and method of compressing data
WO2024058494A1 (en) * 2022-09-13 2024-03-21 엘지전자 주식회사 Feature encoding/decoding method and apparatus based on training of prediction model, and recording medium having bitstream stored therein
CN117528085A (en) * 2024-01-08 2024-02-06 中国矿业大学 Video compression coding method based on intelligent feature clustering
CN117528085B (en) * 2024-01-08 2024-03-19 中国矿业大学 Video compression coding method based on intelligent feature clustering

Also Published As

Publication number Publication date
KR102524547B1 (en) 2023-04-24

Similar Documents

Publication Publication Date Title
KR102524547B1 (en) Data compressing and restoring apparatus for loseless image compression
Huang et al. Deep learning-based image semantic coding for semantic communications
US11475604B2 (en) Method and apparatus for adaptive point cloud attribute coding
US11657264B2 (en) Content-specific neural network distribution
KR20240010512A (en) Video encoding and decoding method and apparatus using the same
WO2018150083A1 (en) A method and technical equipment for video processing
CN111970509B (en) Video image processing method, device and system
KR20090007328A (en) Vision-based compression
KR20200095589A (en) Advanced system and method for video compression
US12058238B2 (en) Predictive joint compression and encryption for images and videos
AU2022286517A1 (en) Feature data encoding method and apparatus and feature data decoding method and apparatus
CN116233445B (en) Video encoding and decoding processing method and device, computer equipment and storage medium
Kim et al. Adversarial video compression guided by soft edge detection
US20240314390A1 (en) Electronic device, system, and method for intelligent horizontal-vertical image transform
Rahmani et al. A low distortion reversible data hiding scheme for search order coding of VQ indices
US11252408B2 (en) Image processing apparatus and data receiving apparatus, and methods thereof
CN113269140A (en) Image processing method and device, storage medium and electronic equipment
KR102072576B1 (en) Apparatus and method for encoding and decoding of data
Zhu Big data-based multimedia transcoding method and its application in multimedia data mining-based smart transportation and telemedicine
US12003719B2 (en) Method, apparatus and storage medium for image encoding/decoding using segmentation map
US20230100728A1 (en) A system, an arrangement, a computer software module arrangement, a circuitry arrangement and a method for improved image processing utilzing two entities
US20230351721A1 (en) Scalable feature stream
US20240089500A1 (en) Method for multiview video data encoding, method for multiview video data decoding, and devices thereof
KR20220073670A (en) Method, apparatus and recording medium for encoding/decoding image usign segmentation map
KR20130119781A (en) Apparatus and method for detecting video copy

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant