KR100214377B1 - 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법 - Google Patents

개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법 Download PDF

Info

Publication number
KR100214377B1
KR100214377B1 KR1019950031230A KR19950031230A KR100214377B1 KR 100214377 B1 KR100214377 B1 KR 100214377B1 KR 1019950031230 A KR1019950031230 A KR 1019950031230A KR 19950031230 A KR19950031230 A KR 19950031230A KR 100214377 B1 KR100214377 B1 KR 100214377B1
Authority
KR
South Korea
Prior art keywords
decoder
node
encoder
input
neural network
Prior art date
Application number
KR1019950031230A
Other languages
English (en)
Other versions
KR970019640A (ko
Inventor
박광훈
Original Assignee
김영환
현대전자산업주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영환, 현대전자산업주식회사 filed Critical 김영환
Priority to KR1019950031230A priority Critical patent/KR100214377B1/ko
Publication of KR970019640A publication Critical patent/KR970019640A/ko
Application granted granted Critical
Publication of KR100214377B1 publication Critical patent/KR100214377B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Discrete Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 종래의 신경 회로망 데이터 압축과 같은 수의 히든층 노드단 수를 유지하면서도 정확한 데이터 복원을 위해 엔코더단 또는 디코더단에 사전 정보를 이용한 부가 향상 노드를 추가함으로써 디코더단의 출력부에서 정확한 데이터 복원을 제공하는 개선된 신경 회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법에 관한 것이다.
엔코더(1)와, 히든층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더부의 입력단 또는 디코더 입력단에 사전 정보를 이용한 부가 향상 노드(5)를 포함하여, 엔코더단과 히든층 노드단 사이 또는 디코더 출력단과 히든층 노드단 사이의 가중치를 최적화하는 것을 특징으로 한다.

Description

개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법.
제1도는 종래의 신경 회로망을 이용한 데이터 압축 처리 구조의 콤프레서 구성도.
제2도는 제1도를 간략화란 형태로 나타낸 약식도.
제3도는 일반적인 신경 회로망에 있어서 디코더 부분을 간략화한 형태로 나타낸 구조도.
제4도는 본 발명에 따라서 신경 회로망의 엔코더 입력단에 사전 정보를 이용한 부가 향상 노드를 추가한 콤프레서 구성도.
제5도는 제4도를 간략화한 형태로 나타낸 약식도.
제6도는 본 발명에 따라서, 데이터의 사전 정보를 이용한 신경 회로망 데이터 콤프레서의 디코더 부분의 구성도.
제7도는 제6도를 간략화한 약식도.
제8도는 엔코더 출력을 벡터화한 모습을 나타낸 약식도.
* 도면의 주요부분에 대한 부호의 설명
1 : 엔코더 2 : 입력단
3 : 엔코더단 가중치 4 : 엔코더단 기본 입력 노드
5 : 엔코더단 사전 정보 노드 20 : 디코더
21 : 출력단 23 : 디코더단 가중치
24 : 디코더단 기본 입력 노드 25 : 디코더단 사전 정보 노드
30 : 히든층 노드단
본 발명은 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법에 관한 것이며, 보다 상세히는 종래의 신경 회로망 데이터 압축 방법과 같은 수의 히든층 노드단 수를 유지하면서도 정확한 데이터 복원을 위해 엔코더단 또는 디코더단에 사전 정보를 이용한 부가 향상 노드를 추가함으로써 디코더단의 출력부에서 정확한 데이터 복원을 제공하는 개선된 신경 회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법에 관한 것이다.
특히, 본 발명은 영상 전화, 영상회의 시스템, 음성사서함 및 데이터 압축 처리가 필요한 모든 시스템에서, 특히 MPEG-4와 같은 초 저 전송용 데이터 압축처리에서 필수적으로 필요한 지능적 코딩(lntelligent Coding) 기술의 기본 개념이 될 수 있다.
또한 제품에 이용시 변환 코딩을 사용하는 칩보다 하드웨어가 매우 간단해지므로 코스트 다운의 효과가 현저하며 기존이 벡터 양자화기(Vector Quantization) 기법에서 볼 수 없는 적응형 벡터 양자화기(Adaptive Vector Quantizer)구현에 용이하다.
영상이나 음성 등의 전송시 보내야할 데이터의 양을 최소화하도록 압축처리하는 것은 매우 중요하다. 압축처리방법에 일반적으로 변환 코딩(Transform Coding)이나 벡터 양자화기법(Vector Quantization)등을 많이 쓰고 있으나 초 저속 전송 방법에는 부족하여 여러 가지 개량 형태가 제안되고 있다.
패턴 인식의 한 방법으로 신경 회로망(Neural Network)이 있다. 인간 두뇌의 신경 회로망을 간략화한 모델로 만들어 정보 처리에 많이 응용되고 있다.
이를 제1도와 제2도를 참조하여 설명하면, 제1도는 기존의 신경 회로망을 이용한 데이터 콤프레서(Compressor)의 구성도로서, 선형노드(Linear Node)로 구성되며 데이터를 받아들이는 엔코더 입력단(2)과, 비선형노드(Nonlinear Node)로 구성되고 입력단에 비해 훨씬 적은 노드수를 갖는 히든층 노드단(30)과, 선형노드 또는 비선형 노드로 구성되고 엔코더입력단과 같은 수의 노드를 갖는 디코더 출력단(21)으로 구성되어 있다.
엔코더 입력단(2)과 디코더 출력단(21)에는 똑 같은 입력 데이터 벡터가 적용되어 학습되고, 히든층 노드단(30)의 숫자는 입력단(2) 노드의 수(또는 디코더 출력단 노드의 수)보다 훨씬 적게하여 데이터 압축 처리 효과를 얻는다.
상기 신경 회로망에서 학습(Training)에 의해 엔코더 입력단(2)과 히든층 노드단(30)사이의 가중치(3)와 출력단(21)과 히든층 노드단(30)사이의 가중치(2)를 실험적으로 최적화 한다. 최적화하는 방법은 스티피스트 디선트룰(Steepest Decent Rule)에 바탕을 둔 비선형 최적화 기법(Nonlinear Optimization)을 이용한다.
학습을 마친후 제2도에 도시한 바와같이 신경 회로망을 엔코더와 디코더로 분리한다. 분리된 엔코더단과 디코더단은 실험적으로 학습된 각각의 최적 가중치들을 포함하고 있다. 신경 회로망의 히든층노드 출력을 디코더로 전송하고 디코더에서는 그것을 입력으로 하여 원래의 엔코더 입력벡터를 재생한다.
상기와 같이 구성된 신경 회로망을 이용한 데이터 압축 방법을 이용하면 엔코더단에서는 압축율을 높이기 위해서 히든층 노드단의 수를 데이터의 복잡도(Complexiy)에 비해 입력 노드수 보다 훨씬 적게 함으로써 압축 효과는 발생하지만, 히든층 노드단의 수가 디코더 출력단 노드수에 비해 훨씬 적으므로 압축된 데이터를 디코더 출력단에서 입력된 데이터를 정확히 복원하기란 기대하기가 힘들다. 정확한 복원을 위해서는 가능한 많은 양의 히든층 노드단의 수가 있어야 하지만 이는 데이터 압축이란 면에서 서로 상반되는 것이다.
따라서, 본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명의 목적은 종래의 신경 회로망을 이용한 데이터 압축과 같은 수의 히든층 노드단 수를 유지하면서도 정확한 데이터 복원을 위해 엔코더단에 사전 정보를 이용한 부가 향상 노드를 추가하여, 입력되는 데이터를 보다 정확하게 디코더에서 복원할 수 있는 구조 및 방법을 제공하는데 있다.
상기 본 발명의 목적을 달성하기 위한 일예로서, 엔코더와 히든층 노드단 및 디코더로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더부의 입력단에 사전 정보를 이용한 부가 향상 노드를 더 포함하여, 엔코더 입력단과 히든층 노든단 사이의 가중치를 최적화하는 것을 특징으로 하는 개선된 신경 회로망 데이터 콤프레서이다.
본 발명의 다른 예로서, 엔코더와, 히든층 노든단 및 디코더로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 디코더부의 입력단에 사전 정보를 이용한 부가 향상 노든를 더 포함하여, 디코더 출력단과 히든층 노드단 사이의 가중치를 최적화하는 것을 특징으로 하는 개선된 신경 회로망 데이터 콤프레서이다.
또한 본 발명의 일예에 따르면 엔코더와, 히든층 노드단 및 디코더로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더단의 입력단에 사전 정보를 이용한 부가 향상 노드를 추가시키는 단계와 :
학습용 데이터 X를 기본 입력 노드 및 사전 정보 노드에 입력하고, 디코더 출력단에서 입력된 X데이터에 가장 유사한 데이터 x를 복원할 수 있는 엔코더 가중치와 디코더 가중치를 구하고, 입력 벡터 X와, 입력 벡터 X에 대한 히든층 노드단 출력 벡터 Y와, 히든층 노드단의 출력을 입력으로 하여 디코더단에서 입력 벡터 X에 가깝게 복원한 추정 벡터을 한짝(X, Y ,)으로 하여 기억하는 1차 학습 단계로 구성되는 것을 특징으로 하는 개선된 신경회로망 데이터 처리 방법이다.
더욱이, 본 발명의 예에 따르면, 엔코더와, 히든층 노드단 및 디코더로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 디코더단의 입력단에 사전 정보를 이용한 부가 향상 노드를 추가시키는 단계와 : 히든층 노드단 출력 벡터 Y를 분류하여 그 대표 분류 값을 디코더의 부가 향상 노드의 상수값으로 고정시킨 후, 디코더의 입력값 Y벡터와 출력 목표값 X를 짝으로 사용하여 디코더 부분의 가중치를 재학습시켜 디코더의 출력값이 X값에 보다 가깝도록 복원하는 2차 학습 단계로 구성되는 것을 특징으로 하는 개선된 신경 회로망 데이터 처리 방법이다.
또한 본 발명의 일예에 따르면, 엔코더와, 히든층 노드단 및 디코더로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더단의 입력단에 사전 정보를 이용한 부가 향상 노드를 추가시키고; 엔코더의 출력 부분을 벡터 양자화하여 1개의 벡터로 구분하여 그 대표 코드만 전송하고, 디코더에서는 전송된 대표코드를 미리 학습된 코드북을 이용하여 추정된 벡터로 복원한 후 엔코더에 입력된 데이터를 복원하는 것을 특징으로 하는 개선된 신경 회로망 데이터 처리 방법이다.
더욱이, 본 발명의 다른 예로서, 엔코더와, 히든층 노드단 및 디코더로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 디코더단의 입력단에 사전 정보를 이용한 부가 향상 노드를 추가시키고; 엔코더의 출력 부분을 벡터 양자화하여 여러개의 벡터로 구분하여 그 대표 코드만 전송하고, 디코더에서는 전송된 대표코드를 미리 학습된 코드북을 이용하여 추정된 벡터로 복원한 후 엔코더에 입력된 데이터를 복원하는 것을 특징으로 하는 개선된 신경 회로망 데이터 처리 방법이다.
이하, 본 발명의 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.
제4도를 참조하면, 기존 신경회로망의 엔코더단에 사전정보(Priori Knowledge)를 이용한 부가 향상 노드(5)(Additional Enhancement Nodes)를 추가한 것을 나타낸다.
여기서 서전정보란 부가 향상 노드에 공급되는 정보로써 학습용 입력데이터 중에서 필요한 정보를 추출하여 구한 것이다. 학습용 입력 데이터에서 정보를 추출하였으므로 이후 사전 정보라고 한다. 학습에서 구해진 부가 향상 노드의 정보는 학습할 때와 실제 압축 처리할 때 고정된다.
사전정보는 학습용 입력 데이터에서 정보를 추출하여 학습용 데이터를 분류(Classification)하여 그 대표 분류 값을 사전 정보 노드의 상수 벡터 값으로 고정한 것이다. 산전정보를 사전 정보 노드의 상수 벡터 값으로 고정한 후 엔코더와 디코더단의 가중치를 최적화하기 위하여 학습을 한다.
학습은 1차와 2차에 나눠하는데, 1차 학습은 제4도에 도시한 바와 같이 기본 입력 노드(4)와 사전정보 노드(5)를 기반으로 하는 엔코더 입력단에 신경 회로망 콤프레서를 구현하고, 학습용 데이터 X를 기본 입력 노드(4) 및 사전 정보 노드(5)에 각각 입력하고, 디코더 출력단(21)에서 입력된 X데이터에 가장 유사한 데이터를 복원할 수 있는 엔코더 가중치(3)와 디코더 가중치(23)를 구하는 것이다.
여기서 기본 입력 노드(4)와 사전 정보 노드(5)에 입력된 데이터를 입력벡터X라 하고, 입력벡터X에 대한 히든층 노드단 출력 벡터를 Y라 하고, 히드층 노드단(30)의 출력벡터Y를 입력으로 하여 디코더단(20)에서 엔코더 입력벡터X에 가깝게 복원한 추정 벡터를 X라고 할 때 (X,Y)를 한 짝(Pair)으로 하여 기억한다.
2차 학습은 디코더 부분에서 데이터 복원을 보다 정확하게 하기위해 행하는 것으로 종래에는 제3도에 도시한 바와같이 데이터 복원을 위하여 히든층 노드단의 출력벡터Y를 디코더단에 전송하여 디코더단이 학습된 가중치로 엔코더에 입력된 데이터를 디코더 출력단에서 복원하게 된다. 여기서 디코더의 입력 노드의 수가 출력단의 노드 수보다 훨씬 적으므로 엔코더 입력단에서 입력된 데이터를 디코더 출력단에서 정확히 복원하는 것은 어려우므로, 본 발명에서는 디코더단에도 데이터 복원을 위한 사전 정보를 이용한 부가 향상 노드를 독립적으로 추가한다.
도시한 제6도에서 디코더단에 사전 정보를 이용한 부가 향상 노드를 추가한 모습을 나타내고 있다. 제6도에 도시한 디코더 기본 입력 노드(24)는 제3도에 도시한 히든층 노드단(30)과 같은 것이고, 제6도의 도면 번호 25가 새롭게 추가한 사전 정보를 이용한 부가 향상 노드이다.
따라서 2차학습은 1차 학습에서 기억된 (X. Y)짝에서 Y벡터를 분류하여 그 대표 값을 디코더의 사전 정보용 부가 향상 노드의 상수 값으로 고정시킨 후 디코더의 입력값 Y벡터와 출력 목표 값 X를 짝으로 사용하여 디코더 부분의 가중치를 재학습시켜 디코더의 출력값이 X값에 보다 가깝게 하여 복원이 정확도를 높이는데 있다.
제7도는 제6도를 간략하게 나타낸 것으로 디코더단에 부가 향상 노드를 부가한 형태를 도시하고 있다.
제4도 및 제6도의 이해시 사전정보를 이용한 부가향상노드의 상수값들은 사전에 모아진 학습용 입력 벡터를 분류하여 고정된다는 것이다. 이들 상수값은 신경 회로망 학습시(엔코더 가중치(3)와 디코더 가중치(23)의 학습) 그리고 실제 압축처리할 때 고정된다. 상수값은 엔코더 입력 벡터 X와 같은 차원을 가진다. 상수 벡터를 A로 표기시 각각의 부가 향상 노드의 표현식은 다음과 같다.
시스모이드(Sigmoid) 형태의 비선형성(Nonlinearity)함수 g1(예 : Hypobolic Tangent, Sigmoidal Function)을 사용시 g1(A X +c), 여기서 상수 c는 임의의 상수이다. (식1)
Density Funtion g2(예 : Gaussian, Funtion Maxican Hat Funtion)를 사용시는 g2(∥X-A ∥)로 표현된다. (식2)
엔코더 입력 벡터를 X라 할 때, 엔코더단의 등식 표기는 다음과 같은 종류로 표기된다.
기본 입력 노드가 선형이고, 부가 향상 노드가 시그모이달(Sigmoidal)형태의 비선형 함수일 경우
기본 입력 노드가 선형이고, 부가 향상 노드가 덴서티 펀션(Density Function)형태의 비선형 함수일 경우
기본 입력 노드와 부가 향상 노드가 시그모이달 형태의 비선형 함수일 경우(j는 벡터 X의 차원)
기본 입력 노드와 부가 향상 노드가 덴서티 펀션(Density Function) 형태의 비션형 함수일 경우(j는 벡터 X의 차원)
기본 입력 노드는 시그모이달 형태의 함수이고, 부가 향상 노드가 덴서티 펀션(Density Function)형태의 비선형 함수일 경우(j는 벡터 X의 차원)
기본 입력 노드는 덴서티 펀션(Density Function)형태의 비선형 함수이고, 부가 향상 노드가 시그모이달 형태의 비선형 함수일 경우(j는 벡터 X의 차원)
디코더 입력 벡터를 Y라 하고, 학습에서 구해진 부가 향상 노드의 상수 벡터를 B, d를 임의의 상수항(Threshord)라 할 때 디코더 부분의 등식 표기는 다음과 같은 종류로 표기된다.
디코더 입력 노드가 선형이고, 부가 향상 노드가 시그모이달 형태의 비선형 함수일 경우
디코더 입력 노드가 선형이고, 부가 향상 노드가 덴서티 펀션 형태의 비선형 함수일 경우
디코더 입력 노드와 부가 향상 노드가 시그모이달 형태의 비선형 함수일 경우(j는 벡터 Y의 차원)
디코더 입력 노드와 부가 향상 노드가 덴서티 펀션(Density Function) 형태의 비선형 함수일 경우(j는 벡터 Y의 차원)
디코더 입력 노드는 시그모이달 형태의 비선형 함수이고, 부가 향상 노드가 덴서티 펀션(Density Function)형태의 비선형 함수일 경우(j는 벡터 Y의 차원)
디코더 입력 노드는 덴서티 펀션(Density Function)형태의 비선형 함수이고, 부가 향상 노드가 시그모이달 형태의 비선형 함수일 경우(j는 벡터 Y의 차원)
더욱 데이터의 압축 효과를 높이기 위해 제4도의 히드층 노드단과 제6도의 기본 입력 노드 부분을 벡터로 처리하는 방법을 제8도에 도시하고 있다. 벡터로 처리할 때는 엔코더의 출력부분을 벡터 양자화하여 그 대표 코드를 디코더에 전송하고 디코더에서는 전송된 대표코드를 미리 학습된 코드북을 이용하여 추정된 벡터로 복원한 후 상기에서 설명한 같은 방법으로 엔코더에 입력된 데이터를 복원한다.
상술한 바와같이 본 발명에 따른 신경 회로망을 이용한 데이터처리 방법을 이용하면, 종래의 신경 회로망을 이용한 데이터 압축과 같은 수의 히든층 노드단 수를 유지하면서도 정확한 데이터 복원을 위해 엔코더단 또는 디코더단에 사전 정보를 이용한 부가 향상 노드를 추가하여 입력되는 데이터를 보다 정확하게 복원할 수 있는 방법을 제공함으로써 보다 정확한 데이터 복원을 기능케하는 효과가 있다.

Claims (9)

  1. 엔코더(1)와, 히든층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더부의 입력단에 사전 정보를 이용한 부가 향상 노드(5)를 더 포함하여, 엔코더 입력단과 히든층 노드단 사이의 가중치를 최적화하는 것을 특징으로 하는 개선된 신경 회로망 데이터 콤프레서.
  2. 제1항에 있어서, 상기 사전 정보는 엔코더에 입력될 학습용 데이터에서 분류하여 부가 향상 노드의 상수벡터항으로 고정된 것임을 특징으로 하는 개선된 신경 회로망 데이터 콤프레서.
  3. 엔코더(1)와, 히드층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 디코더부의 입력단에 사전 정보를 이용한 부가 향상 노드(25)를 더 포함하여, 디코더 출력단과 히든층 노드단 사이의 가중치를 최적화하는 것을 특징으로 하는 개선된 신경 회로망 데이터 콤프레서.
  4. 제3항에 있어서, 상기 사전 정보는 디코더에 입력될 학습용 데이터에서 분류하여 부가 향상 노드의 상수벡터항으로 고정된 것임을 특징으로 하는 개선된 신경 회로망 데이터 콤프레서.
  5. 엔코더(1)와, 히든층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더부의 입력단에 사전 정보를 이용한 부가 향상 노드(5)를 더 포함하여, 엔코더 입력단과 히든층 노드단 사이의 가중치를 최적화하고, 디코더부의 입력단에 사전 정보를 이용한 부가 향상 노드(25)를 더 포함하여, 디코더 출력단과 히든층 노드단 사이의 가중치를 최적화하는 것을 특징으로 하는 개선된 신경 회로망 데이터 콤프레서.
  6. 엔코더(1)와, 히드층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더부의 입력단에 사전 정보를 이용한 부가 향상 노드(5)를 추가시키는 단계와 : 학습용 입력 데이터 벡터X를 기본 입력 노드(4) 및 사전 정보 노드(5)에 입력하고, 디코더 출력단(21)에서 입력된 X데이터에 가장 유사한 데이터 x을 복원할 수 있는 엔코더 가중치(3)와 디코더 가중치(23)를 구하고, 입력 벡터 X와, 입력벡터 X에 대한 히든층 노드단 출력 벡터 Y를 한짝(X,Y)으로 하여 기억하는 1차 학습 단계로 구성되는 것을 특징으로 하는 개선된 신경 회로망 데이터 처리 방법.
  7. 엔코더(1)와, 히드층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 디코더단의 입력단에 사전 정보를 이용한 부가 향상 노드(25)를 추가시키는 단계와; 히든층 노드단 출력 벡터Y를 분류하여 그 대표 분류값을 디코더의 부가 향상 노드의 상수벡터값으로 고정시킨 후 디코더의 입력값 Y벡터와 출력 목표값 X를 짝으로 사용하여 디코더 부분의 가중치를 재학습시켜 디코더의 출력값 X이 보다 X값에 가깝도록 복원하는 2차 학습 단계로 구성되는 것을 특징으로 하는 개선된 신경 회로망 데이터 처리 방법.
  8. 엔코더(1)와, 히든층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 엔코더부의 입력단에 사전 정보를 이용한 부가 향상 노드(5)를 추가시키고; 엔코더의 출력 부분을 벡터 양자화하여 1개의 벡터로 구분하여 그 대표 코드만 전송하고, 디코더에서는 전송된 대표코드를 미리 학습된 코드북을 이용하여 추정된 벡터로 복원한 후 엔코더에 입력된 데이터를 복원하는 것을 특징으로 하는 개선된 신경 회로망 데이터 처리 방법.
  9. 엔코더(1)와, 히든층 노드단(30) 및 디코더(20)로 구성된 3-층 신경 회로망 데이터 콤프레서에 있어서, 디코더단의 입력단에 사전 정보를 이용한 부가 향상 노드(5)를 추가시키고; 엔코더의 출력 부분을 벡터 양자화하여 여러개의 벡터로 구분하여 그 대표 코드만 전송하고, 디코더에서는 전송된 대표코드를 미리 학습된 코드북을 이용하여 추정된 벡터로 복원한 후 엔코더에 입력된 데이터를 복원하는 것을 특징으로 하는 개선된 신경 회로망 데이터 처리 방법.
KR1019950031230A 1995-09-21 1995-09-21 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법 KR100214377B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950031230A KR100214377B1 (ko) 1995-09-21 1995-09-21 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950031230A KR100214377B1 (ko) 1995-09-21 1995-09-21 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법

Publications (2)

Publication Number Publication Date
KR970019640A KR970019640A (ko) 1997-04-30
KR100214377B1 true KR100214377B1 (ko) 1999-08-02

Family

ID=19427528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950031230A KR100214377B1 (ko) 1995-09-21 1995-09-21 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법

Country Status (1)

Country Link
KR (1) KR100214377B1 (ko)

Also Published As

Publication number Publication date
KR970019640A (ko) 1997-04-30

Similar Documents

Publication Publication Date Title
Nagaraj et al. Competent ultra data compression by enhanced features excerption using deep learning techniques
Lee et al. Adaptive vector quantization using a self-development neural network
JP6789894B2 (ja) ネットワーク係数圧縮装置、ネットワーク係数圧縮方法およびプログラム
Chan et al. A fast method of designing better codebooks for image vector quantization
Barbalho et al. Hierarchical SOM applied to image compression
EP0576765A1 (en) Method for coding digital data using vector quantizing techniques and device for implementing said method
CN113747163A (zh) 基于上下文重组建模的图像编码、解码方法及压缩方法
KR100214377B1 (ko) 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법
Sitaram et al. Efficient codebooks for vector quantization image compression with an adaptive tree search algorithm
Truong et al. Structural image codebooks and the self-organizing feature map algorithm
Hajimolahoseini et al. Compressing pre-trained language models using progressive low rank decomposition
KR100220365B1 (ko) 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법
Rizvi et al. Nonlinear vector prediction using feed-forward neural networks
KR100214375B1 (ko) 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법
Theis et al. Importance weighted compression
KR100214376B1 (ko) 개선된 신경회로망 데이터 콤프레서 및 이를 이용한 데이터 처리 방법
KR20220005386A (ko) 신경망 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 이를 수행하는 부호화기 및 복호화기
Srikotr et al. Vector quantization of speech spectrum based on the vq-vae embedding space learning by gan technique
EP0962059B1 (en) Data compression system and method
Ferdowsi et al. A multi-layer image representation using regularized residual quantization: Application to compression and denoising
Wu et al. Source coding and vector quantization with codebook-excited neural networks
Lv et al. A universal PCA for image compression
Rizvi et al. Finite-state residual vector quantization using a tree-structured competitive neural network
Mohylnyi et al. USING NEURAL NETWORKS IN THE PROCESS OF IMAGE COMPRESSION
Perlmutter et al. Bayes risk weighted vector quantization with CART estimated class posteriors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110511

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee