KR0139154B1 - 신경망을 이용한 부호화방법 및 그 장치 - Google Patents

신경망을 이용한 부호화방법 및 그 장치

Info

Publication number
KR0139154B1
KR0139154B1 KR1019940016468A KR19940016468A KR0139154B1 KR 0139154 B1 KR0139154 B1 KR 0139154B1 KR 1019940016468 A KR1019940016468 A KR 1019940016468A KR 19940016468 A KR19940016468 A KR 19940016468A KR 0139154 B1 KR0139154 B1 KR 0139154B1
Authority
KR
South Korea
Prior art keywords
image
data
quantization step
neural network
step size
Prior art date
Application number
KR1019940016468A
Other languages
English (en)
Inventor
정제창
안우연
Original Assignee
김광호
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자 주식회사 filed Critical 김광호
Priority to KR1019940016468A priority Critical patent/KR0139154B1/ko
Priority to JP17234995A priority patent/JP3043599B2/ja
Priority to US08/499,378 priority patent/US5638125A/en
Priority to CN95115013A priority patent/CN1083216C/zh
Application granted granted Critical
Publication of KR0139154B1 publication Critical patent/KR0139154B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 신경망을 이용한 부호화방법 및 그 장치에 관한 것이다. 본 발명은 화상의 복잡도, 버퍼충만도, 동벡터 및 화상의 휘도를 이용하여 양자화스텝사이즈를 결정하는 방식에 학습능력을 갖춘 신경망을 이용한다. 따라서, 양자화스텝사이즈 결정조건들을 재평가한 결과를 통해 재조정하여 블록간의 경계선을 최소화시킬 수 있는 양자화스텝사이즈를 결정할 수 있다. 결과적으로 복호화시스템에서 복원되는 영상은 시각적으로 그 화질이 안정적으로 유지될 수 있다.

Description

신경망을 이용한 부호화방법 및 그 장치
제 1도는 일반적인 부호화 및 복호화장치를 나타내는 블록도,
제 2도는 제 1도에서의 데이타처리과정의 일부를 설명하기 위한 개념도,
제 3도는 제 1도에서의 가변장부호화부에서 호프만코딩시의 부호길이를 설명하기 위한 개념도,
제 4도는 본 발명의 바람직한 실시예에 따른 신경망을 이용한 부호화 장치를 나타내는 블록도.
* 도면의 주요 부분에 대한 부호의 설명
12:양자화부 14:버퍼
21:전방해석부 22:휘도해석부
23:신경망 24:재평가부
본 발명은 신경망을 이용한 부호화방법 및 그 장치에 관한 것으로서, 특히 부호화된 영상데이타를 저장하는 버퍼의 상태, 인간의 시각특성 등에 따라 결정되는 양자화스텝사이즈를 신경망개념을 이용하여 조절하는 부호화 방법 및 그 장치에 관한 것이다.
일반적으로, 고화질 TV, 고화질 VTR, 디지탈 VTR 및 디지탈캠코더 등 영상 및 음향신호를 디지탈처리하는 기기에서는 영상 및 음향신호를 디지탈데이타로 부호화하여 전송하거나 저장하고, 이를 다시 복호화하여 재생하는 시스템을 갖는다. 이와 같은 부호화 및 복호화시스템의 산업상 이용을 위해 국제적으로 표준화활동이 활발히 진행중이며, 각 응용분야에 적합한 표준방식을 결정하기 위한 노력중이다.
제 1(a)도는 일반적인 부호화장치의 블록도로서, 역양자화부, 역변환부, 프레임메모리, 동추정부 및 동보상부로 이루어지는 DPCM루프(Differential Pulse Code Modulation Loop)를 구비하여, 인트라모드 또는 인터모드로 영상데이타를 부호화한다. 또한, 제 1(b)도는 일반적인 복호화장치의 블록도로서, 제 1(a)도와 같은 부호화장치에 의해 부호화된 영상데이타를 복호화하여 재생한다. 제 1(a)도 및 제 1(b)도의 부호화장치 및 복호화장치는 일반적으로 사용되는 시스템이므로, 시스템동작에 대한 설명은 간략히 하기로 한다.
제 1(a)도에서, 입력되는 영상신호는 N×N변환부(11)에서 N×N블럭단 위로 주파수영역의 신호로 변환되고, 이 변환된 변환계수의 에너지는 주로 저주파쪽으로 모이게 된다. 각 블럭에 대한 데이타변환은 DCT(Discrete Cosine Transform), WHT(Walsh-Hadamard Transform), DFT(Discrete Fourier Transform) 및 DST(Discrete Sine Transform) 방식 등에 의해 행해진다. 양자화부(12)는 소정의 양자화과정을 통해 전술된 변환계수들을 일정레벨의 대표값들로 바꾸어준다. 가변장부호화부(13)는 상기 대표값들의 통계적 특성을 살려 가변장부호화함으로써 데이타를 더욱 압축시킨다.
한편, 가변장부호화된 데이타가 저정되는 버퍼(14)의 상태에 따라 변화되는 양자화스텝사이즈는 양자화부(12)를 제어하여 전송비트비를 조절하고, 수신측으로 전송되어 복호화장치에서 사용된다.
또한, 일반적으로 화면과 화면간에는 유사한 부분이 많으므로 움직임이 있는 화면인 경우 그 움직임을 추정하여 동벡터를 산출하고, 이 동벡터를 이용하여 데이타를 보상하여 주면 인접한 화면간의 차신호는 매우 작으므로 전송데이타를 더욱 압축시킬 수 있다. 이러한 동보상을 수행하기 위해 제 1(a)도에서 역양자화부(15) 및 N×N역변환부(16)는 양자화부(12)에서 출력되는 양자화데이타를 역양자화시킨 다음 역변환시켜 공간영역의 영상신호로 변환시킨다. 역변환부(16)에서 출력되는 영상신호는 프레임메모리(17)에서 프레임단위로 저장되고, 동추정부(18)는 프레임메모리(17)에 저장된 프레임데이타에서 입력되는 N×N블럭데이타와 가장 유사한 패턴의 블럭을 찾아 양블럭간의 움직임을 나타내는 동벡터를 산출한다. 이 동벡터는 수신측으로 전송되어 복호화장치에서 사용되고 아울러 동보상부(19)로 전송된다.
동보상부(19)는 동추정부(18)에서 동벡터를 공급받고, 프레임메모리(17)에서 출력되는 이전 프레임데이타에서 위의 동벡터에 상응하는 N×N블럭을 독출하여 가산기(A1)로 공급한다. 그러면, 가산기(A1)는 입력되는 N×N블럭과 동보상부(19)에서 공급되는 유사패턴의 N×N블럭간의 차를 산출한다. 가산기(A1)의 출력데이타는 전기한 바와 같이 부호화되어 수신측으로 전송된다. 즉, 처음에는 전체의 영상신호를 전송하고 이후에는 움직임에 의한 차신호만을 전송하게 된다.
한편, 동보상부(19)에서 움직임이 보상된 데이타는 가산기(A2)에서 N×N역변환부(16)로부터 출력되는 영상신호와 가산된 후 프레임메모리(17)에 저장된다. 리프레쉬스위치(SW)는 도시하지 않은 제어수단에 의해 수시로 오프되어, 입력영상신호가 PCM모드로 부호화되어 전송되도록 함으로써, 차신호만을 부호화하여 전송함에 따른 부호화에러의 누적을 일정시간간격으로 리프레쉬하고, 또한 채널상의 전송에러도 수신측에서 일정시간내에 벗어나도록 한다.
이와 같이 부호화된 영상데이타는 수신측으로 전송되어 제 1(b)도와 같은 복호화장치로 입력된다. 부호화된 영상데이타는 가변장복호화부(21)에서 부호화의 역과정을 통해 복호화된다. 가변장복호화부(21)에서 출력되는 데이타는 역양자화부(22)에서 역양자화된다. 이때, 역양자화부(22)는 부호화장치에서 공급되는 양자화스텝사이즈에 의해 출력변환계수의 크기가 조절된다. N×N역변환부(23)는 역양자화부(22)에서 공급되는 주파수영역변환계수를 공간영역의 영상데이타로 변환시킨다.
또한, 제 1(a)도에 도시한 바와 같은 부호화장치에서 전송되는 동벡터는 복호화장치의 동보상부(24)로 공급되고, 동보상부(24)는 프레임메모리(25)에 저장된 프레임데이타에서 동벡터에 상응하는 N×N블럭을 독출하여 움직임을 보상한 후 가산기(A3)로 공급한다. 그러면, 가산기(A3)는 역변화된 DPCM데이타와 동보상부(24)에서 공급되는 N×N블럭데이타를 가산하여 디스플레이부로 출력한다.
제 2(가)도 내지 제 2(다)도는 영상데이타의 양자화과정을 나타내는 개략도로서, 제 2(가)도에 도시된 바와같은 N×N블럭의 샘플링영상데이타는 DCT 등에 의하여 제 2(나)도에 도시된 바와같이 주파수영역의 변환계수(Transform Coefficients)로 변환된다. 이 변환계수를 양자화한 다음 제 2(다)도에 도시된 바와같이 지그재그형태로 스캔하면서 [런,레벨]의 형태로 부호화한다. N×N블럭을 스캔할 때 제 2(다)도에 도시된 바와 같이 저주파성분부터 시작하여 고주파성분으로 스캔하면서 런(Run) 및 레벨을 한쌍으로 하여 부호화시킨다. 여기서, 런은 N×N블럭의 양자화된 계수들에 있어서 0이 아닌 계수간에 존재하는 0이 갯수이고, 레벨은 0이 아닌 계수의 절대값에 해당한다. 예를 들어, 8×8블럭인 경우 런은 0부터 63까지의 값을 가질 수 있다. 레벨은 양자화부에서 출력되는 데이타값에 따라 달라지는데, 예를 드어 양자화 출력값이 -255부터 +255까지의 정수로 나타나는 경우 레벨은 1 부터255 까지의 값을 갖는다. 이때, + 혹은 -의 부호는 별도의 사인비트에 의해 표시된다.
이와같이, [런,레벨]을 하나의 심볼로 하는 경우, 런이 크거나 레벨이 크면 그 심볼의 발생빈도는 통게적으로 매우 낮다. 따라서, 제 3도에 도시된 바와 같이 심볼의 발생빈도에 따라 레귤러(Regular)영역과 에스케이프(Escape)영역을 구분하여 비교적 발생빈도가 높은 레귤러영역에 대해서는 허프만코드(Huffman Code)를 사용하여 부호화하고, 발생빈도가 낮은 에스케이프영역에 대해서는 소정의 고정길이의 데이타로 부호화한다. 여기서, 허프만코드는 심볼의 발생빈도가 높은 심볼일수록 길이가 짧은 부호를 배정하고, 확률이 낮은 심볼일수록 길이가 긴 부호를 배정한다.
또한, 에스케이프영역의 데이타를 부호화한 에스케이프시퀸스는 아래 식1과 같이 각각 소정의 비트수를 갖는 에스케이프부호(ESC)와 런과 레벨 및 사인데이타로 이루어진다.
에스케이프시퀸스 = ESC + RUN + L + S -------식1
예를 들면, 전술한 경우와 같이 8×8블럭에서 양자화값이 -225~255인 경우, 에스케이프시퀸스는 에스케이프부호데이타(ESC)가 6비트, 런데이타(RUN)가 6비트, 레벨데이타(L)가 8비트 및 사인데이타(S)가 1비트로 총 21비트의 고정데이타길이를 갖는다. 이 에스케이프시퀸스는 시스템에 따라 다른 방법을 쓸 수 있다.
이와같은 부호화장치에서는 화면을 소정크기의 블롤들로 구분하고, 각 블록단위로 영상처리를 하기 때문에 복원되는 화상의 블록간 경계선(Block artifact)이 시각적으로 크게 인식된다. 이 블록간 경계선(Block artifact)은 화상의 복잡영역에서는 잘 보이지 않지만 단순영역과 에지영역에서는 블록간의 조금만 차이가 있어도 크게 인식되어 시각적으로 화질에 악영향을 미치게 된다. 그래서, 화상의 화질을 결정하는 요소의 하나인 양자화스텝사이즈를 어떻게 결정할 것이냐가 매우 중요한 문제이다.
종래의 부호화장치에서는 양자화부의 양자화스텝사이즈를 버퍼의 데이타저장정도에 따라 결정한다. 그리고, 위의 방법이외에도 화상의 복잡단순 정도와 버퍼의 데이타저장상태를 함께 이용하여 양자화스텝사이즈를 결정하는 영상부호화기(Video Coder)는 미합중국특허번호 제 5,038,209호에 개시되어 있다. 따라서, 양자화를 이용하는 데이타의 부호화방식은 부호화되기 이전의 데이타와 복원된 데이타가 정확히 일치하지 않는 비복원부호화방식이므로 양자화부의 양자화스텝사이즈를 결정하는 방식은 복원되는 화상의 화질을 결정하는 중요한 요소가 된다. 그러나, 종래의 방식들에서는 화질을 크게 좌우하는 위에서 언급한 여러가지 조건들을 이용하여 양자화기의 양자화스텝사이즈를 결정하는 알고리즘이 복잡하고 매우 어려웠다. 따라서, HD-TV와 같이 높은 압축비의 데이타 부호화를 이용하는 시스템은 복원화상의 화질이 불안해질 수 잇다.
따라서, 본 발명의 목적은 전술한 문제점을 해결할 수 있도록 버퍼의 데이타저장정도, 블록의 복잡단순정도, 블록의 휘도 및 동벡터 등의 정보를 이용하여 신경망에 의해 양자화스텝사이즈를 결정함으로써 복원되는 화상의 화질을 시각적으로 더욱 개선시킬 수 있는 방법을 제공함에 있다.
본 발명의 다른 목적은 전술한 신경망을 이용한 부호화방법을 구현하기 위한 장치를 제공함에 있다.
이와 같은 목적들을 달성하기 위한 본 발명에 따른 신경망을 이용한 부호화방법은 적어도 하나의 이미지 표현을 담고 있는 프레임들로 구성되며, 각 프레임은 소정의 블록단위로 양자화스텝사이즈를 제어하여 양자화한 후 전송/기록하는 부호화방법에 있어서, 전프레임의 소정블록데이타와 현프레임의 소정 블록데이타간의 움직임정도를 검출하고, 검출된 움직임정도를 보상한 예측블록데이타를 추출하는 단계와, 상기 현프레임의 블록데이타와 움직임보상된 예측데이타의 차인 예측에러를 주파수영역의 변환계수로 변환한 후 소정의 양자화스텝사이즈로 양자화하는 단계와, 상기 움직임정도를 나타내는 동벡터와 상기 양자화된 변환계수를 저장하여 데이타의 저장정도를 출력하는 저장단계와, 상기 현프레임의 소정블록에 대해 화상의 복잡도를 검출하는 제 1검출단계와, 상기 현프레임의 소정블록에 대해 화상의 휘도를 검출하는 제 2검출단계와, 상기 검출된 동벡터, 화상의 복잡도, 화상의 휘도, 데이타의 저장정도중 적어도 하나 이상을 입력받아 사전 설정한 판단기준에 따라 상기 양자화단계의 양자화스텝사이즈를 결정하는 단계, 및 양자화되고 부호화된 화상을 복원하고, 그 복원된 화상의 시각적화질을 평가하여 그 결과에 따라 상기 판단기준을 재조정하는 단계를 포함한다.
본 발명의 다른 목적을 달성하기 위한 본 발명에 따른 신경망을 이용한 부호화장치는 적어도 하나의 이미지 표현을 담고 있는 프레임들로 구성되며, 각 프레임은 소정의 블록단위로 양자화스템사이즈를 제어하여 양자화한 후 전송/기록하는 부호화장치에 있어서, 전 프레임의 소정 블록데이타와 현프레임의 소정 블록데이타간의 움직임정도를 검출하고, 검출된 움직임정도를 보상한 예측블록데이타를 추출하는 수단과, 상기 현프레임의 블록데이타와 움직임보상된 예측데이타와의 차인 예측에러를 주파수영역의 변환계수로 변환한 후 소정의 양자화스텝사이즈로 양자화하는 양자화수단과, 상기 움직임정도를 나타내는 동벡터와 상기 양자화된 출력을 저장하여 버퍼의 충만도를 출력하는 버퍼와, 상기 현프레임의 소정블록에 대해 화상의 복잡도를 검출하는 전방해석수단과, 상기 현프레임의 소정블록에 대해 화상의 휘도를 검출하는 휘도해석수단과, 양자화스텝사이즈를 결정하기 위한 판단기준을 저장하고, 상기 검출된 동벡터, 화상의 복잡도, 화상의 휘도, 버퍼충만도중 적어도 하나이상을 입력받아 판단기준에 따라 상기 양자화수단의 양자화스텝사이즈를 결정하는 신경망, 및 양자화되고 부호화된 화상을 복원하고, 그 복원된 화상의 시각적 화질을 평가하여 그 결과에 따라 상기 신경망의 판단기준을 재조정하는 재평가부를 포함한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 기술하기로 한다.
제 4도는 본 발명에 따른 신경망을 이용한 부호화장치를 나타내는 블록도이다. 도시한 바와 같이, 본 발명의 부호화장치는 제 1(a)도에 도시된 구성과 비교해 볼때, 입력단(10)에 연결되어 N×N(기준블록)단위로 화상의 복잡정도를 판별하는 전방해석부(21)와, 기준블록단위로 휘도를 검출하는 휘도해석부(22)를 더 구비하고 있다. 또한, 버퍼(14), 전방해석부(21), 휘도해석부(22) 및 동추정부(18)의 각 출력단에 연결되어 버퍼충만도, 화면의 복잡정도, 휘도 및 동벡터를 입력받아 미리 설정된 판단기준에 따라 양자화스텝사이즈를 발생하는 신경망(23) 및 신경망(23)의 판단기준을 조정하는 재평가부(24)가 더 부가되도록 구성된다.
제 4도에서 제 1(a)도의 장치에 표시된 블록들과 동일한 블록들에는 동일한 번호를 부가하여 이후로 그 구성 및 구체적인 동작설명을 생략한다.
우선, 신경망(Neural Network)은 일반적인 계층적네트워크가 이용되고 있다. 계층적네트워크에도 여러가지 종류가 있지만 가장 기본적인 것으로 3층 퍼셉트론을 들 수 있다. 3층 퍼셉트론에는 입력층, 중간층, 출력층의 3개의 층이 있으면, 각층은 신경세포에 해당하는 단위가 모여 구성되어 있다. 일반적으로는 중간층의 각 단위는 입력층의 모든 단위로부터 출력층의 각 단위는 중간층의 모든 단위로부터 입력을 받고 있고, 단위사이의 결합의 강도; 즉 결합하중을 변화시킴으로써 네트워크 전체로 정보처리 능력을 얻고 있다.
제 4도에 의하면 입력단(10)을 통해 기준블록단위의 영상데이타가 동추정부(18)로 입력되면, 동추정부(18)는 현 프레임의 블록데이타와 가장 유사한 블록데이타를 프레임메모리(17)에서 서치하여 동벡터(MV)를 생성한다. 이 동벡터(MV)는 신경망(23) 및 제 2가변장부호화부(20)로 전송된다. 제 2가변장부호화부(20)에서는 동벡터(MV)를 가변장부호화하여 버퍼(14)로 전송한다. 제 1가변장부호화부(13)에서는 인트라프레임인 경우는 현재 프레임의 블록데이타를 가변장부호화하고, 인터프레임인 경우에는 현프레임의 블록데이타와 예측블록데이타와의 예측오차데이타를 가변장부호화하여 버퍼(14)에 전송한다.
한편, 전방해석부(21)는 입력단(10)을 통해 입력되는 영상데이타를 기준블록단위로 분석한다. 영상데이타의 분석은 공간영역(Spatial Domain)이나 주파수영역(Frequency Domain)에서 이루어질 수 있으며 위의 두 영역을 모두 이용할 수도 있다. 인간의 시각특성상 블록의 화상복잡도가 단순화상이나 에지화상에 가까울수록 보통화상일때보다 블록간의 경계선이 두드러지게 느껴지므로, 블록간의 경계선을 줄이기 위해 상대적으로 양자화스텝사이즈를 작게한다. 그리고, 복잡화상에 가까운 블록은 블록간의 경계선이 크게 눈에 뛰지 않으므로 양자화스텝사이즈를 크게 한다. 이와 같은 양자화스텝사이즈는 일반적으로 N×N블록보다 큰 매크로블록단위로 결정되므로, 전방 해석부(21)는 양자화스텝사이즈를 미세하게 결정하기 위해 N×N블록단위로 영상데이타를 분석하여 화상복잡도(FA)를 판정한다. 또한, 화면의 밝기에 따라 사람이 블록간의 경계선을 느끼는 정도가 다르므로, 휘도해석부(22)는 화상의 휘도를 입력 영상신호의 각 기준블록별로 검출하여 신경망(23)으로 출력한다.
신경망(23)은 네개의 입력변수값(FA,BR,MV,BF) 즉, 전방해석부(21)로부터 출력되는 화상복잡도(FA), 휘도해석부(22)로부터 출력되는 휘도(BR), 동추정부(18)로부터 출력되는 동벡터(MV), 버퍼(14)로부터 출력되는 버퍼충만도(BF)를 각각 입력받아 지금까지 양자화하고 재평가한 결과들을 기초로 하여 설정한 판단기준에 적용하여 양자화스텝사이즈를 선택한다. 이 양자화스텝사이즈(MQUANT)는 양자화부(12)로 입력되어 입력되는 변화계수들을 양자화시켜 출력한다.
한편, 재평가부(24)는 양자화부(12) 및 제 1가변장부호화부(13)에서 양자화 및 부호화된 화상을 복원하여 시각적으로 얼마만큼 블록간의 경계선(Block artifact)이 효과적으로 안보이게 하는지를 평가하여 그 결과를 통해 신경망(23)의 판단기준을 재조정(Update)시킨다. 그래서, 신경망(23)은 양자화스텝사이즈를 결정하기 위한 조건들이 재평가부(24)에 의해 갱신되며, 그 갱신되는 조건들에 따라 양자화스텝사이즈(MQUANT)도 조정되므로 각 블록에 할당하는 비트를 조정할 수 있다. 즉, 블록간의 경계선이 시각적으로 인식이 잘 되는 블록에는 좀 더 많은 비트를 할당하고, 블록간의 경계선이 시각적으로 덜 인식되는 블록에서는 적은 비트가 할당되도록 조정한다.
상술한 바와 같이, 본 발명은 신경망을 이용한 부호화방법 및 그 장치에 관한 것으로 양자화스텝사이즈를 결정하기 위한 조건들을 재조정하는 학습능력을 갖춘 신경망을 이용하여 양자화스텝사이즈를 결정함으로 양자화된 영상데이타 복원시 복원화상의 블록간 경계선을 감소시켜 시각적으로 안정된 화질을 유지시킬 수 있는 효과를 갖는다.

Claims (4)

  1. 적어도 하나의 이미지 표현을 담고 있는 프레임들로 구성되며, 각 프레임은 소정의 블록단위로 양자화스텝사이즈를 제어하여 양자화한 후 전송/기록하는 부호화장치에 있어서, 전프레임의 소정 블록데이타와 현프레임의 소정 블록데이타간의 움직임정도를 검출하고, 검출된 움직임정도를 보상한 예측블록데이타를 추출하는 수단; 상기 현프레임의 블록데이타와 움직임보상된 예측데이타와의 차인 예측에러를 주파수영역의 변환계수로 변환한 후 소정의 양자화스텝사이트로 양자화하는 양자화수단; 상기 움직임정도를 나타내는 동벡터와 상기 양자화된 출력을 저장하여 버퍼의충만도를 출력하는 버퍼; 상기 현프레임의 소정블록에 대해 화상의 복잡도를 검출하는 전방해석 수단; 상기 현프레임의 소정블록에 대해 화상의 휘도를 검출하는 휘도해석수단; 및 양자화스텝사이즈를 결정하기 위한 판단기준을 저장하고, 상기 검출된 동벡터, 화상의 복잡도, 화상의 휘도, 버퍼충만도 중 적어도 하나이상을 입력받아 판단기준에 따라 상기 양자화수단의 양자화스텝사이즈를 결정하는 신경망을 포함하는 신경망을 이용한 부호화장치.
  2. 제 1 항에 있어서, 상기 양자화수단과 신경망사이에는 양자화되고 부호화된 화상을 복원하고, 그 복원된 화상의 시각적 화질을 평가하여 그 결과에 따라 상기 신경망의 판단기준을 재조정하는 재평가부가 연결되는 것을 특징으로 하는 신경망을 이용한 부호화장치.
  3. 적어도 하나의 이미지 표현을 담고 있는 프레임들로 구성되며, 각 프레임은 소정의 블록단위로 양자화스텝사이즈를 제어하여 양자화한 후 전송/기록하는 부호화방법에 있어서, 전프레임의 소정블록데이타와 현프레임의 소정 블록데이타간의 움직임 정도를 검출하고, 검출된 움직임정도를 보상한 예측블록데이타를 추출하는 단계; 상기 현프레임의 블록데이타와 움직임보상된 예측데이타와의 차인 예측에러를 주파수영역의 변환계수로 변환한 후 소정의 양자화스텝사이즈로 양자화하는 단계; 상기 움직임정도를 나타내는 동벡터와 상기 양자화된 변화계수를 저장하여 데이타의 저장정도를 출력하는 저장단계; 상기 현프레임의 소정블록에 대해 화상의 복잡도를 검출하는 제 1검출단계; 상기 현프레임의 소정블록에 대해 화상의휘도를 검출하는 제 2검출단계; 및 상기 검출된 동벡터, 화상의 복잡도, 화상의 휘도, 데이타의 저장정도중 적어도 하나 이상을 입력받아 사전 설정한 판단기준에 따라 상기 양자화단계의 양자화스텝사이즈를 결정하는 단계를 포함하는 신경망을 이용한 부호화방법.
  4. 제 3 항에 있어서, 상기 양자화스텝사이즈결정단계는 상기 양자화단계에 의해 양자화되고 부호화된 화상을 복원하고, 그 복원된 화상의 시각적 화질을 평가하여 그 결과에 따라 상기 판단기준을 재조정하는 단계를 구비함을 특징으로 하는 신경망을 이용한 부호화방법.
KR1019940016468A 1994-07-08 1994-07-08 신경망을 이용한 부호화방법 및 그 장치 KR0139154B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019940016468A KR0139154B1 (ko) 1994-07-08 1994-07-08 신경망을 이용한 부호화방법 및 그 장치
JP17234995A JP3043599B2 (ja) 1994-07-08 1995-07-07 ニューラルネットワークを用いた量子化ステップサイズ制御装置
US08/499,378 US5638125A (en) 1994-07-08 1995-07-07 Quantization step size control apparatus using neural networks
CN95115013A CN1083216C (zh) 1994-07-08 1995-07-08 采用神经网络的量化步长控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019940016468A KR0139154B1 (ko) 1994-07-08 1994-07-08 신경망을 이용한 부호화방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR0139154B1 true KR0139154B1 (ko) 1998-06-15

Family

ID=19387603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940016468A KR0139154B1 (ko) 1994-07-08 1994-07-08 신경망을 이용한 부호화방법 및 그 장치

Country Status (4)

Country Link
US (1) US5638125A (ko)
JP (1) JP3043599B2 (ko)
KR (1) KR0139154B1 (ko)
CN (1) CN1083216C (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969764A (en) * 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization
JP3356004B2 (ja) * 1997-05-30 2002-12-09 日本ビクター株式会社 可変レート符号化装置及び方法
KR100246626B1 (ko) 1997-10-16 2000-03-15 정선종 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법
JP2000151974A (ja) * 1998-11-11 2000-05-30 Sony Corp 信号編集装置、信号編集方法
JP3403683B2 (ja) * 1999-11-26 2003-05-06 沖電気工業株式会社 画像符号化装置および方法
GB2357210A (en) * 1999-12-06 2001-06-13 Snell & Wilcox Ltd Inserting future bit rate information in a compressed data stream
WO2002080565A2 (en) * 2001-03-29 2002-10-10 Koninklijke Philips Electronics N.V. Video coding method and device
JP2005333609A (ja) * 2004-04-22 2005-12-02 Sanyo Electric Co Ltd 符号化制御回路及び符号化回路
CN100477794C (zh) * 2004-09-10 2009-04-08 松下电器产业株式会社 运动图像编码装置及其编码方法以及运动图像的成像装置
US20060239344A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for rate control in a video encoder
JP4485996B2 (ja) * 2005-06-13 2010-06-23 株式会社日立製作所 画像符号化装置及び画像符号化プログラム
CN101783961A (zh) * 2010-03-05 2010-07-21 厦门大学 基于感知质量的水下视频图像传输控制方法
GB2499671B (en) * 2012-02-27 2014-04-09 Broadcom Corp Apparatus and method for communication
GB201308073D0 (en) * 2013-05-03 2013-06-12 Imagination Tech Ltd Encoding an image
WO2016132145A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Online training of hierarchical algorithms
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
WO2016199330A1 (ja) * 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US10499056B2 (en) 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
WO2017178808A1 (en) 2016-04-12 2017-10-19 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
US10728553B2 (en) * 2017-07-11 2020-07-28 Sony Corporation Visual quality preserving quantization parameter prediction with deep neural network
US11363302B2 (en) 2017-10-12 2022-06-14 Mediatek Inc. Method and apparatus of neural network for video coding
JP7233875B2 (ja) * 2018-09-26 2023-03-07 株式会社Preferred Networks 作成方法、コンピュータ及びプログラム
CN114786011B (zh) * 2022-06-22 2022-11-15 苏州浪潮智能科技有限公司 一种jpeg图像压缩的方法、系统、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2639739B1 (fr) * 1988-11-25 1991-03-15 Labo Electronique Physique Procede et dispositif de compression de donnees d'image utilisant un reseau de neurones
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
US5157399A (en) * 1991-08-15 1992-10-20 Sony Corporation Neural network quantizer
JPH06164902A (ja) * 1992-11-17 1994-06-10 Mamoru Tanaka ニューラルネットワークによる画像の圧縮再生

Also Published As

Publication number Publication date
JP3043599B2 (ja) 2000-05-22
JPH0879748A (ja) 1996-03-22
US5638125A (en) 1997-06-10
CN1083216C (zh) 2002-04-17
CN1124434A (zh) 1996-06-12

Similar Documents

Publication Publication Date Title
KR0139154B1 (ko) 신경망을 이용한 부호화방법 및 그 장치
KR0155784B1 (ko) 영상데이타의 적응형 가변장 부호화/복호화방법
KR0166716B1 (ko) 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
KR0134343B1 (ko) 양자화레벨을 이용한 부호화방법 및 그 장치
JP3716931B2 (ja) 連続画像の適応型復号装置
KR950010913B1 (ko) 가변장부호화 및 복호화시스템
US6018366A (en) Video coding and decoding system and method
US8665965B2 (en) System, method and computer-readable medium for encoding a signal into macroblocks
KR0128881B1 (ko) 디지틀화상복호화장치
US5946421A (en) Method and apparatus for compensating quantization errors of a decoded video image by using an adaptive filter
US5508745A (en) Apparatus for controlling a quantization level to be modified by a motion vector
US5703651A (en) Motion picture expert group (MPEG) video coder/decoder apparatus
KR0157465B1 (ko) 영상데이타의 영상특성에 따른 양자화레벨결정방법 및 그 장치
KR100387229B1 (ko) 영상부호화장치
KR970003100B1 (ko) 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법
JPS63284974A (ja) 画像圧縮方式
KR0134342B1 (ko) 동작추정에 의한 부호화방법 및 그 장치
JPH01141483A (ja) 画像信号の圧縮装置
KR0166728B1 (ko) 에지특성을 고려한 영상신호부호화장치 및 양자화레벨결정방법
KR0148150B1 (ko) 영상데이타의 복잡도에 따른 적응양자화스텝사이즈 결정방법 및 그 장치
KR100213283B1 (ko) 동영상 부호화기
KR0157463B1 (ko) 영상데이타의 적응가변장 부호화/복호화방법
KR0178225B1 (ko) 영상기기의 부호화장치
KR0148136B1 (ko) 인터/인트라모드 부호화방법 및 장치
KR0165234B1 (ko) 영상신호 데이타 압축방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080130

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee