KR100200225B1 - 초저속 전송을 위한 영상처리 시스템 - Google Patents

초저속 전송을 위한 영상처리 시스템 Download PDF

Info

Publication number
KR100200225B1
KR100200225B1 KR1019950010587A KR19950010587A KR100200225B1 KR 100200225 B1 KR100200225 B1 KR 100200225B1 KR 1019950010587 A KR1019950010587 A KR 1019950010587A KR 19950010587 A KR19950010587 A KR 19950010587A KR 100200225 B1 KR100200225 B1 KR 100200225B1
Authority
KR
South Korea
Prior art keywords
motion
signal
frame
stage
motion compensation
Prior art date
Application number
KR1019950010587A
Other languages
English (en)
Other versions
KR960040021A (ko
Inventor
임종태
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019950010587A priority Critical patent/KR100200225B1/ko
Publication of KR960040021A publication Critical patent/KR960040021A/ko
Application granted granted Critical
Publication of KR100200225B1 publication Critical patent/KR100200225B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 초저속 전송에 알맞도록 부호화하고 복호화하는 영상처리 시스템에 관한 것으로, 부호화 장치(100)내 제1 프레임 메모리(116)의 출력 프레임 영상 신호를 입력하여 저장하는 제2 프레임 메모리(118)와; 제1 프레임 메모리(116)에 저장된 프레임 영상 신호를 기준으로하여 제2 프레임 메모리(118)에 저장된 프레임 영상 신호의 움직임 벡터 및 움직임 벡터에 의한 포워드 움직임 보상 영상 신호와 입력 프레임의 영상와의 신호대 잡음비를 출력하는 제1 움직임 예측단(122)과; 제2 프레임 메모리(118)에 저장된 프레임 영상 신호를 기준으로하여 제1 프레임 메모리(116)에 저장된 프레임 영상 신호의 움직임 벡터 및 움직임 벡터에 의한 백워드 움직임 보상 신호와 입력 프레임의 영상와의 신호대 잡음비를 출력하는 제2 움직임 예측단(124)과; 제1 및 제2 움직임 예측단(122),(124)의 움직임 벡터들의 평균 움직임 벡터 그리고 포워드 및 백워드 움직임 보상 신호의 평균 움직임 보상 신호를 검출하고, 평균 움직임 보상 신호와 입력 프레임의 영상와의 신호대 잡음비를 검출하는 제3 움직임 예측단(126)과, 제1,2,3 움직임 예측단(122, 124, 126)의 신호대 잡음비를 비교하여 상기 가장 작은 신호대 잡음비를 출력한 제1,2,3 움직임 예측단(122, 124, 126)의 신호대 잡음비를 비교하여 상기 가장 작은 신호대 잡음비를 출력한 제1, 2, 3 움직임 예측단(122, 124, 126)에서 검출된 움직임 벡터를 상기 엔트로피 부호기(130)로 송신하는 비교단(128)과; 연속적으로 입력되는 프레임을 교호적으로 선택하여 부호화 장치(1000) 및 상기 제1,2,3 움직임 예측단(122, 124, 126)에 선택적으로 인가하는 선택기(100)를 구비한다.

Description

초저속 전송을 위한 영상 처리 시스템
제1도는 종래의 영상 신호를 부호화하는 장치의 개략 블록도.
제2도는 종래의 부호기로부터 수신된 영상 신호를 복원하기 위한 복호화 장치의 개략 블록도.
제3도는 본 발명에 따른 초저속 전송을 위한 영상 부호화 장치의 개략 블록도.
제4도는 제3도의 특징점 움직임 예측부를 상세히 설명하기 위한 블록도.
제5도는 본 발명에 따른 초저속 전송을 위한 영상 복호화 장치의 개략 블록도.
제6도는 본 발명에 따른 부호화 방법을 도시한 도면.
제7도는 특징점이 아닌 점에 대하여 움직임 벡터를 구하는 방법을 도시한 도면.
* 도면의 주요부분에 대한 부호의 설명
100 : 선택기 102 : 감산기
102 : DCT 106 : 양자화기
108 : 역양자화기 110 : DCT
112 : 움직임 예측부 114 : 가산기
116,118 : 제1,2 프레임 메모리 30 : 특징점 움직임 예측부
130 : 엔트로피 부호기 60 : 엔트로피 복호기
210,212 : 제3,4 프레임 메모리 216 : 프레임 디코더
본 발명은 비디오 신호를 부호화하는 영상 처리 시스템에 관한 것으로, 특히 초저속 전송에 맞도록 영상 신호를 부호화할 수 있는 영상 처리 시스템에 관한 것이다.
통상적으로, 영상 전화기, 고화질 텔레비젼(HDTV)등에서와 같이 영상 신호를 디지탈 신호로 전송하기 위하여 고율의 데이타 압축 방법으로 영상 신호를 압축 부호화한다.
이러한 압축 방법은 영상 신호를 전송할때 영상 산호가 갖는 공간적, 시간적인 상관성을 이용하여 영상 신호를 압축한다. 특히, 송신측의 부호화 시스템에서는 이산 코사인 변환(Discrete Cosine Transform : 이하 DCT라 약칭함) 등의 변환 부호화를 이용하여 영상 신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측등을 통한 차분 부호화를 이용하여 영상 신호의 시간적인 중복성을 제거하므로써, 영상 신호를 효율적으로 압축한다.
데이타를 압축하기 위한 방법으로, 다양한 압축기법이 있는데, 특히 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
하이브리드 부호화 기법은 움직임 보상 DCPM(차분 펄스 부호 변조), 2차원 DCT(이산코사인 변환), DCT 계수의 양자화, 가변 길이 부호화 등의 방법을 이용한다. 움직임 보상 DPCM는 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 이전 프레임으로부터 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분 신호를 만들어 내는 방법이다.
상술하면, 움직임 보상 DPM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 물체의 움직임은 이전 프레임과 현재 프레임을 이전 프레임으로부터 예측한다. 물체의 움직임은 이전 프레임고 현재 프레임 간의 변위를 나타내는 2 차원 움직임 변위, 즉 움직임 벡터로 나타낼 수 있다.
한편, 물체의 움직임을 추정하는 방법으론 여러가지 방법이 있으나, 일반적으로 두개의 타입으로 분류되는데 하나는 블록 단위 방법이고 또하나는 화소 단위 움직임 추정이다.
블록 단위 움직임 추정에서는, 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적의 블록을 결정한다. 이로 부터, 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터 즉, 프레임간에 블록의 이동정도가 측정된다.
그러나, 블록 단위 움직임 추정에서는 움직임 보상 과정에서 블록 경계에 블록킹(blocking effect)이 발생될 수 있으며, 블록내의 모든 화소가 한방향으로 이동하지 않는 경우에는 추정값이 올바르지 않게 되어 부호화율이 감소한다는 문제가 잇다.
화소 단위 방법에서는 화소 각각에 대해 움직임의 변위를 구한다. 이 방법은 화소의 움직임을 정확하게 추정할 수 있고 스케일 변화도 용이하게 다룰 수 있다는 장점이 있다. 그러나 화소 단위 방법에서는 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임 벡터를 수신기에 전송하기란 불가능하다.
따라서, 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임 벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서, 수신기에서 비특징점에 대한 움직임 벡터는 특징점에 대한 움직임 벡터로부터 복원할 수 있다.
화소 단위 움직임 추정에 관해 기존에 출원된 바 있는 내용을 보면, 우선 특징점을 이용한 움직임 추정을 채용한 부호화기에서는 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고 난 후, 각 선택된 특징점에 대한 움직임 벡터를 결정하는데 이때 각 움직임 벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다. 상술하면, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색하는데 이때 탐색 영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의된다.
제1도는 영상 신호를 부호화하는 종래의 장치를 도시한 도면으로, 현재 입력되는 프레임과 움직임 예측부(20)에서 검출한 움직임 보상 영상 신호와의 차분을 구하는 감산기(10), 감산기(10)의 차분 영상 신호를 주파수 영역의 변환 계수로 처리하는 DCT(12), DCT(12)의 DCT 변환 계수를 양자화하는 양자화기(14), 양자화된 계수를 원래의 변환 계수로 복원하는 역양자화기(16), 역영자화된 변환 계수를 역이산 여현 변환하는 역DCT(18), 이전 프레임을 저장하는 프레임 메모리(22), 현 프레임과 프레임 메모리(22)에서 복원된 이전 프레임간의 움직임을 예측하여 움직임 벡터 및 움직임 보상 영상 신호로 출력하는 움직임 예측부(20), 움직임 예측부(20)의 움직임 보상 영상 신호와 역DCT된 계수를 합산하여 이전 프레임의 영상 신호로서 프레임 메모리(22)에 인가하는 가산기(24), 양자화된 변환 계수들을 부호화하여 도시하지 않은 송신기로 전송하는 엔트로피 부호기(26)로 구성된다.
제2도는 종래의 부호기로부터 수신된 영상 신호를 복원하기 위한 복호화 장치의 블록도로서, 제1도의 부호기로부터 입력되는 압축 데이타를 부호화시와 반대 순서로 복호화하게 된다.
즉, 엔트로피 복호기(28)는 수신된 데이타를 엔트로피 복호화한 후에 역양자화기(30)에 인가한다. 이때 엔트로피 복호기(28)는 인가되는 데이타중 부가 정보(예: 양자화 스텝 사이즈, 움직임 백터 등)들을 검출하고, 기 검출된 양자화 스텝 사이즈(QP)는 역양자화기(30)로 인가하고 움직임 벡터는 후술될 움직임 보상부(36)로 인가한다.
역양자화기(30)에서는 인가된 양자화 스텝 사이즈(QP)에 따라 역양자화 과정을 행한 후에 역DCT(32)에 인가한다. 역DCT(32)는 역양자화기(30)에서 출력되는 신호를 역방향으로 변환시키므로서 원래의 공간 영역의 신호로 변환시켜 출력한다.
한편, 움직임 보상부(36)는 움직임 벡터에 의하여 프레임 메모리(34)에 저장되어 있던 전 프레임의 영상 신호로부터 움직임 보상 영상 신호를 검출하여 가산기(38)에 제공한다. 가산기(38)는 역DCT(32)에서 출력되는 신호에 움직임 보상 영상 신호를 가산하여 복원된 프레임을 출력한다.
이와 같은 종래의 영상처리 시스템에서는 64kbps의 비트율(bit rate)에서의 부호화는 복호화시 정상적인 화질을 구현할 수 있다. 그러나, 64kbps 미만의 비트율(bit rate)에서는 전송 속도의 한계성 때문에 효과적으로 압축되지 않아 복호된 영상은 화질이 현저하게 떨어진다는 문제가 있었다.
본 발명은 이러한 문제를 해결하기 위하여 안출한 것으로서, 본 발명의 목적은 모든 프레임을 부호화하여 송신하는 것이 아니라 프레임을 격행적으로 부호화하고 부호화되지 않은 프레임은 특징점에 의한 움직임 벡터만을 전송하므로써 부호화율을 높여 초저속 전송에 알맞은 초저속 전송을 위한 영상 처리 시스템을 제공하는데에 있다.
이러한 목적을 달성하기 위한 본 발명은, 이전 프레임 영상 신호가 저장된 제1 프레임 메모리의 영상 신호와 입력 프레임 영상 신호간의 움직임 보상 영상 신호를 검출하고, 움직임 보상 영상 신호와 입력 프레임 영상 신호간의 차분 영상 신호를 검출한 후, 차분 영상 신호를 DCT및 양자화한 후 엔트로피 부호기로 엔트로피 부호화하여 송신하며, DCT및 양자화된 상기 차분 영상 신호를 복호하여 상기 움직임 보상 영상 신호와 가산 후 제1 프레임 메모리내에 이전 프레임 신호로서 저장하는 영상 부호화 장치에 있어서, 제1 프레임 메모리의 출력 프레임 영상 신호를 입력하여 저장하는 제2 프레임 메모리와; 제1 프레임 메모리에 저장된 프레임 영상 신호를 기준으로하여 제2 프레임 메모리에 저장된 프레임 영상 신호의 움직임 벡터 및 움직임 벡터에 의한 포워드 움직임 보상 영상 신호와 입력 프레임의 영상와의 신호대 잡음비를 출력하는 제1 움직임 예측단과; 제2 프레임 메모리에 저장된 프레임 영상 신호를 기준으로 하여 제1 프레임 메모리에 저장된 프레임 영상 신호의 움직임 벡터 및 움직임 벡터에 의한 백워드 움직임 보상 신호와 입력 프레임의 영상와의 신호대 잡음비를 출력하는 제2 움직임 예측단과; 제1 및 제2 움직임 예측단의 움직임 벡터들의 평균 움직임 벡터 그리고 포워드 및 백워드 움직임 보상 신호의 평균 움직임 보상 신호를 검출하고, 평균 움직임 보상 신호와 입력 프레임의 영상와의 신호대 잡음비를 검출하는 제3 움직임 예측단과; 제1,2,3 움직임 예측단의 신호대 잡음비를 비교하여 가장 작은 신호대 잡음비를 출력한 제1,2,3 움직임 예측단에서 검출된 움직임 벡터를 엔트로피 부호기로 송신하는 비교단과; 연속적으로 입력되는 프레임을 교호적으로 선택하여 부호화 장치 및 제1,2,3 움직임 예측단에 선택적으로 인가하는 선택기를 더 구비한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직임 실시예를 상세히 설명한다.
제3도는 본 발명에 따른 초저속 전송을 위한 영상 처리 부호화 장치도이고, 제 4 도는 제3도의 움직임 예측을 상세히 설명하기 위한 블럭구성도이다.
제3도 및 제4도에서, 본 발명에 대한 부호화 장치에서는 감산기(102), DCT(104), 양자화기(106), 역양자화기(108), 역DCT(110), 움직임 예측부(112), 가산기(114), 제1 프레임 메모리(118) 및 엔트로피 부호기(130)으로 구성되는 종래의 부호화 장치(1000)와, 이 부호화 장치(1000)에 더 부가되는 선택기(100), 특징점 움직임 예측부(120) 및 선택기(100)를 포함한다.
선택기(100)는 제6도에 도시된 바와 같이 홀수번째 프레임(#1, #3, #5,,)의 영상 신호는 라인(51)을 통하여 출력하고, 짝수번째 프레임(#2, #4, #6,,)의 영상 신호는 라인(62)을 통하여 출력한다.
라인(51)을 통하여 인가된 영상 신호들은 각각 감산기(102)와 움직임 예측부(112)로 제공되며, 라인(62)을 통하여 인가된 영상 신호들은 후술하는 특징점 움직임 예측부(120)에 제공된다.
움직임 예측부(112)는 라인(51)을 통해 입력되는 현재 프레임 신호와 제1 프레임 메모리(116)의 이전 프레임 신호를 대비시켜 블록간 움직임 벡터를 검출하여 엔트로피 부호기(130)에 전송하는 한편, 움직임 벡터에 의하여 얻어진 예측된 움직임 보상 영상 신호를 감산기(102)에 제공한다.
감산기(102)에서는 현재 입력되는 프레임 신호로부터 움직임 보상 신호를 감산하고, 그 차분 영상 신호를 DCT(104)에 제공되며 이산 코사인 변환시키고, 이 이산 코사인 변환된 신호는 양자화기(106)를 통하여 양자화된다.
이 부호화된 정보는 엔트로피 부호기(130)를 통하여 엔트로피 부호화된 후에 송신기로 전송되며, 또한, 양자화기(106)의 출력은 역양자화기(110)와 역DCT(110)에서 복호된 후에 가산기(110)에 제공된다.
역양자화기(110)에서 복호화된 차분 영상 신호는 움직임 예측부(108)로부터의 움직임 보상 영상 신호는 가산기(114)에서 가산된 후에 이전 프레임 신호로서 제1 프레임 메모리(116)에 제공된다. 이와 동시에 제1 프레임 메모리(116)에 저장되어 있던 프레임 신호는 제2 프레임 메모리(118)에 제공되어 저장된다. 예컨데, 제1 프레임 메모리(116)가 프레임(#1)의 영상 신호를 저장하고 있다가 프레임(#3)의 영상 신호가 새로이 저장되면, 제2 프레임 메모리(118)는 프레임 메모리(116)에 저장되어 있던 프레임(#1)의 영상 신호를 저장하는 것이다.
여기서, 제1,2 프레임 메모리(116)(118)에 저장되어 있는 프레임(#1, #3)은 제2도에 도시된 특징점 움직임 예측부(120)에 제공된다. 특징점 움직임 예측부(200)는 제2도에 도시된 바와 같이 제1,2,3 움직임 예측단(122),(124),(126) 그리고 비교단(128)으로 구성된다.
제1 움직임 예측단(122)을 설명하면, 제2 프레임 메모리(118)에 저장되어 있던 프레임 신호(프레임 #1)은 라인(63)을 통해 제1 특징점 선택단(1221)으로 제공되며, 이 제 1특징점 선택단(1221)은 프레임(#1)의 영상 신호로부터 물체의 움직임을 나타낼 수 있는 복수의 특징점들을 선택한다.
이렇게 선택된 복수개의 특징점들의 정보는 제1 움직임 벡터 검출단(1222)과 제1 비유사 특징점 검출단(1223)으로 제공된다. 제1 움직임 벡터 검출단(1222)은 제1 특징점 선택단(1221)으로부터 선택된 특징점들과 제1 프레임 메모리(116)에 저장되어 있던 프레임 신호(#3)를 대비시켜 선택된 특징점에 대한 모든 움직임 벡터를 검출하여 제1 비유사 특징점 검출단(1223)으로 제공한다.
제1 비유사 특징점 검출단(1223)에서는 제1 움직임 벡터 검출단(1222)에서 제공되는 움직임 벡터들과 제1 특징점 선택단(1221)으로부터 제공되는 물체의 특징점들을 근거로 비특징점에 대한 움직임 벡터를 검출한다.
즉, 제1 비유사 특징점 검출단(1223)에서는 제1 움직임 벡터 검출단(1222)에서 얻어진 움직임 벡터를 중심으로 일정한 반경내에 존재하는 특징점의 움직임 벡터로부터 거리에 반비례하는 보간(Interpolation)을 통해 그 특징점에 대한 움직임 벡터를 구한다.
이를 제7도에 도시되 도면을 참조하여 설명하면, 다수의 특징점이 현재 프레임 전체에 불규칙적으로 분포해 있다. 여기서 비특징점이 (K)라고 가정하며, 이 비특징점(K)에 대한 움직임 벡터는 비특징점(K)을 중심으로 한 특징점들의 움직임 벡터를 이용하여 검출한다. 즉, 비특징점(K)을 중심으로 반지름 dr＋da의 원의 경계에 포함되는 특징점들의 움직임 벡터를 평균함으로써 비특징점(K)의 움직임 벡터를 구하게 된다. 여기서, da는 비특징점(K)과 가장 가까운 특징점 위치(y)와의 거리이고, dr은 움직임 벡터 계산에 이용되는 다른 특징점(x)을 포함하도록 da로부터 확장된 기설정된 반지름이다. 여기서 가장 가까운 특징점이 y이고, 특징점 x가 dr＋da의 원의 경계에 포함되어 있으므로, 비특징점(K)에 대한 움직임벡터(MVx,MVy)는 다음과 같이 계산된다.
여기에서,와는 각각 비특징점(K)으로부터 특징점 X와 Y까지 거리이고; (MVx,MVy)x 와 (MVx,MVy)y는 각각 특징점에 대한 움직임 벡터들이다.
제1 움직임 보상단(1224)은 상술한 과정에서 얻어진 프레임간의 움직임 벡터(여기서, 바람직하게는 이 움직임 벡터는 1/2로 하여야 함음 본 발명의 기술 분야에서 통상의 지식을 가진 자는 용이하게 알 수 있는 것인 바, 본 명세서에서는 자세히 설명하지 않았다.)들 즉, 제1 비유사 특징점 검출단(223)에서 얻어진 움직임 벡터들 및 특징점 움직임 벡터들을 이용하여 제2 프레임 메모리(118)내의 프레임(#1) 영상 신호로부터 움직임 보상 영상 신호를 검출한다. 본 명세서에서는 이 움직임 보상된 영상 신호를 포워드 움직임 보상 신호라 칭하였다.
그리고, 이 포워드 움직임 보상 신호와 선택기(100)로부터 입력된 프레임(#2) 영상 신호를 제공받는 제1 계산 처리단(1225)에서는 프레임(#2) 영상 신호와 포워드 움직임 보상 신호와의 신호대 잡음비(PSNR, signal to noise ratio)를 계산하게 되고, 이 결과를 비교단(128)으로 제공한다. 신호대 잡음비의 계산 과정은 다음과 같이 규정된다.
MxN은 블록 크기, x,y는 각 화소의 좌표 데이타, I(x,y)는 원래의 좌표이다. 따라서 포워드 움직임 보상 신호(#1-1)와 현재 입력되는 프레임(#2)간의 잡음 정도를 구하게 된다.
다음으로 제2 움직임 예측단(124)을 보면 제1 프레임 메모리(116)에 저장되어 있던 프레임(#3) 영상 신호는 라인(64)을 통해 제2 특징점 선택단(1241)으로 제공되며, 이 제2 특징점 선택단(1241)은 프레임(#3)의 영상 신호로부터 물체의 움직임을 나타낼 수 있는 복수의 특징점들을 선택한다.
이렇게 선택된 복수의 특징점들의 정보는 제2 움직임 벡터 검출단(1242)과 제2 비유사 특징점 검출단(1243)으로 제공된다. 제2 움직임 벡터 검출단(1242)은 제2 특징점 선택단(1241)으로부터 선택된 특징점들과 제2 프레임 메모리(118)에 저장되어 있던 프레임 신호(#1)를 대비시켜 상기 선택된 특징점에 대한 모든 움직임 벡터를 검출하여 제2 비유사 특징점 검출단(1243)으로 제공한다.
제2 비유사 특징점 검출단(1243)은 제2 움직임 벡터 검출단(1242)에서 제공되는 움직임 벡터들과 제2 특징점 선택단(1241)으로부터 제공되는 물체의 특징점들을 근거로 비특징점에 대한 움직임 벡터를 검출한다. 즉, 제2 비유사 특징점 검출단(1243)에서는 제2 움직임 벡터 검출단(1242)에서 얻어진 움직임 벡터를 중심으로 일정한 반경내에 존재하는 특징점의 움직임 벡터로부터 거리에 반비례하는 보간(Intrepolation)을 통해 그 특징점에 대한 움직임 벡터(또한, 바람직하게는 이 움직임 벡터는 1/2로 하여야 함음 본 발명의 기술 분야에서 통상의 지식을 가진 자는 용이하게 알 수 있는 것인 바, 본 명세서에서는 자세히 설명하지 않았다.)를 구한다.
제2 움직임 보상단(1244)은 상술한 과정에서 얻어진 프레임간의 움직임 벡터들 즉, 제2 비유사 특징점 검출단(1243)에서 얻어진 움직임 벡터를 이용하여 제1 프레임 메모리(116)내의 프레임 신호(#3)로부터 움직임 보상 영상 신호를 검출한다. 본 명세서에서는 이 움직임 보상된 신호를 백워드 움직임 보상 신호라 칭하였다.
그리고, 이 백워드 움직임 보상 신호와 선택기(100)로부터 입력되는 프레임(#2) 영상 신호를 제공받은 제2 계산 처리단(1245)에서는 백워드 움직임 보상 신호와 프레임(#2) 영상 신호와의 신호대 잡음비(PSNR, signal to noise ratio)를 구한다.
한편, 제3 움직임 예측단(126)는 제1 및 제2 움직임 예측단(122),(124)으로부터 움직임 벡터들 그리고 포워드및 백워드 움직임 보상 신호를 입력하며, 이 움직임 벡터들의 평균값 그리고 포워드 및 백워드 움직임 보상 신호의 평균값을 평균값 처리단(1261)에서 검출한다. 그리고, 제3 움직임 예측단(126)은 제3 계산 처리단(1262)에서 평균 움직임 보상 신호와 프레임(#2) 영상 신호와의 신호대 잡음비를 검출한다.
비교단(128)에서는 제1,2,3 움직임 예측단(122),(124),(126)에서 인가되는 신호대 잡음비를 비교하여 비교 결과, 잡음비가 가장 적은 움직임 예측단(122, 124, 126들중 하나)을 선택하고, 이에 대항하는 움직임 예측단(122, 124, 126들중 하나)에서의 움직임 벡터를 선택 출력한다.
즉, 특징점 움직임 예측부(120)에서는 움직임 예측단(122, 124, 126)들에서 검출한 움직임 벡터들중에서 프레임(#2)과 가장 유사한 움직임 보상 신호를 출력할 수 있는 움직임 벡터를 검출하여 엔트로피 부호기(130)로 인가하는 것이다.
제5도에는 부호기로부터 전달되는 부호화 데이타를 복호하는 장치의 개략 블록도가 도시되어 있다.
엔트로피 복호화기(200)에서는 부호화된 데이타들을 엔트로피 복호화하여 출력하며, 엔트로피 복호화기(200)에 의해 복호화된 데이타는 역양자화기(202)와 역DCT(204)에 의해 역양자화 및 역 DCT 변환되어 가산기(208)로 제공된다.
한편, 움직임 보상단(206)은 제3도의 움직임 예측부(112)에서 검출한 움직임 벡터(블럭간 움직임 벡터)를 엔트로피 복호기(200)로부터 제공받으며, 제3 프레임 메모리(210)에 저장되어 있는 이전 프레임(예컨대, #1)의 영상 신호들중 움직임 벡터에 대응하는 영상 신호를 움직임 보상 영상 신호로서 가산기(208)에 제공한다.
따라서, 가산기(208)는 역DCT로부터의 신호와 움직임 보상 영상 신호를 가산하므로써 움직임 보상 부호화에 대한 복호화를 행한다. 이와 같이 가산기(208)에서 출력되는 영상 신호는 이전 프레임(#3)의 영상 신호로서 제3 프레임 메모리(210)에 제공된다.
이때, 제3 프레임 메모리(210)에 저장되어 있던 이전 프레임(#3)의 영상 신호는 제4 프레임 메모리(212) 및 특징점 움직임 예측부(214)에 인가되며, 제4 프레임 메모리(212) 역시 기저장되어 있던 프레임(#1)의 영상 신호를 특징점 움직임 예측부(214)에 제공한다,
이 특징점 움직임 예측부(214)는 제3,4 프레임 메모리(210)(212)로부터의 프레임 영상 신호(#1,#3)를 인가받는 한편, 제4도의 특징점 예측부(120)로부터의 특징점 움직임 벡터가 인가되므로 이 특징점 움직임 벡텨를 이용하여 프레임(#2)을 복원 한 후에 프레임 디코더(216)를 통해 미도시된 디스플레이 장치로 제공한다.
이상에서 설명한 바와 같이 본 발명은 초저속 전송에 알맞도록 영상 신호를 고압축이고, 이 고압축된 영상 신호를 복호화할 수 있는 장점이 있다.

Claims (4)

  1. 이전 프레임 영상 신호가 저장된 제1 프레임 메모리(116)의 영상 신호와 입력 프레임 영상 신호간의 움직임 보상 영상 신호를 검출하고, 상기 움직임 보상 영상 신호와 상기 입력 프레임 영상 신호간의 차분 영상 신호를 검출한 후, 상기 차분 영상 신호를 DCT및 양자화된 후 엔트로피 부호기(130)로 엔트로피 부호화하여 송신하며, 상기 DCT및 양자화된 상기 차분 영상 신호를 복호하여 상기 움직임 보상 영상 신호와 가산 후 상기 제1 프레임 메모리(116)내에 상기 이전 프레임 신호로서 저장하는 영상 부호화 장치(1000)에 있어서, 상기 제1 프레임 메모리(116)의 출력 프레임 영상 신호를 입력하여 저장하는 제2 프레임 메모리(118)와; 상기 제1 프레임 메모리(116)의 저장된 프레임 영상 신호에 대한 상기 제2 프레임 메모리(118)에 저장된 프레임 영상 신호의 움직임 벡터 및 상기 움직임 벡터에 의한 포워드 움직임 보상 영상 신호와, 상기 포워드 움직임 보상 영상 신호와 입력 프레임의 영상와의 신호대 잡음비를 출력하는 제1 움직임 예측단(122)과; 상기 제2 프레임 메모리(118)에 저장된 프레임 영상 신호에 대한 상기 제1 프레임 메모리(116)에 저장된 프레임 영상 신호의 움직임 벡터 및 상기 움직임 벡터에 의한 백워드 움직임 보상 신호와, 상기 백워드 움직임 보상 신호와 입력 프레임의 영상와의 신호대 잡음비를 출력하는 제2 움직임 예측단(124)과; 상기 제1 및 제2 움직임 예측단(122),(124)의 움직임 벡터들의 평균 움직임 벡터 그리고 포워드 및 백워드 움직임 보상 신호의 평균 움직임 보상 신호를 검출하고, 평균 움직임 보상 신호와 입력 프레임 영상와의 신호대 잡음비를 검출하는 제3 움직임 예측단(126)과;
    상기 제1,2,3 움직임 예측단(122, 124, 126)의 신호대 잡음비를 비교하여 가장 작은 신호대 잡음비를 출력한 제1,2,3 움직임 예측단(122, 124, 126)에서 검출된 움직임 벡터를 상기 엔트로피 부호기(130)로 송신하는 비교단(128)과; 연속적으로 입력되는 프레임을 교호적으로 선택하여 상기 부호화 장치(1000) 및 상기 제1,2,3 움직임 예측단(122, 124, 126)에 선택적으로 인가하는 선택기(100)를 더 구비하는 것을 특징으로 하는 초저속 전송을 위한 영상 처리 장치.
  2. 제3항에 있어서, 상기 제1 움직임 예측단(122)은, 상기 제2 프레임 메모리(118)의 프레임에 포함된 복수개의 특징점들을 선택하는 제1 특징점 선택단(1221)과, 상기 제1 특징점 선택단(1221)에서 선택된 특징점들과 상기 제1 프레임 메모리(116)의 프레임에 포함된 특징점들에 대한 움직임 벡터들을 구하는 제1 움직임 벡터 검출단(1222)과; 상기 제1 움직임 벡터 검출단(1222)의 움직임 벡터들과 상기 제1 특징점 선택단(1221)에서 제공되는 특징점들을 근거로 특징점외의 비특징점에 대한 움직임 벡터들을 검출하는 제1 비유사 특징점 검출단(1223)과; 제1 비유사 특징점 검출단(1223)에서 제공되는 움직임 벡터들에 대응하는 상기 포워드 움직임 보상 영상 신호를 검출하는 제1 움직임 보상단(1224)과; 상기 제1 움직임 보상단(1224)에서의 상기 포워드 움직임 보상 영상 신호와 상기 선택기(100)로부터 제공되는 현재 프레임과의 신호대 잡음비(PSNR)을 계산하는 제1 계산 처리단(1225)을 포함하는 것을 특징으로 하는 초저속 전송을 위한 영상 처리 시스템.
  3. 제3항에 있어서, 상기 제2 움직임 예측단(124)은; 상기 제1 프레임 메모리(116)의 이전 프레임에 포함된 복수개의 특징점들을 선택하는 제2 특징점 선택단(1241)과; 상기 제2 특징점 선택단(1241)에서 선택된 특징점들과 제2 프레임 메모리(118)의 프레임에 포함된 특징점들에 대한 움직임 벡터들을 구하는 제2 움직임 벡터 검출단(1242)과; 상기 제2 움직임 벡터 검출단(1242)의 움직임 벡터들과 상기 제2 특징점 선택단(1241)에서 제공되는 특징점들을 근거로 특징점외의 비특징점에 대한 움직임 벡터를 검출하는 제2 비유사 특징점 검출단(1243)과; 상기 제2 비유사 특징점 검출단(1243)에서 제공되는 움직임 벡터에 대응하는 상기 백워드 움직임 보상 신호를 출력하는 제2 움직임 보상단(1244)과; 상기 제2 움직임 보상단(1244)에서 보상된 상기 백워드 움직임 보상 신호와 상기 선택기(100)로부터 제공되는 현프레임과의 신호대 잡음비를 계산하는 제2 계산 처리단(1245)을 포함하는 것을 특징으로 하는 초저속 전송을 위한 영상 처리 시스템.
  4. 제3항에 있어서, 상기 제3 움직임 예측단(126)은, 상기 제1 움직임 예측단(122)의 제1 움직임 보상단(1224)에서 제공되는 움직임 벡터 및 포워드 움직임 보상 영상 신호와, 제2 움직임 예측단(124)의 제2 움직임 보상단(1244)에서 제공되는 움직임 벡터 및 백워드 움직임 보상 영상 신호들을 각각 평균하는 평균값 처리단(1261)과; 상기 평균값 처리단(1261)에서의 평균 움직임 받아 영상 신호와 상기 선택기(100)로부터 제공되는 현프레임 영상 신호와의 신호대 잡음비(PSNR)을 계산하는 제3 계산처리단(1261)으로 포함하는 것을 특징으로 하는 초저속 전송을 위한 영상 처리 시스템.
KR1019950010587A 1995-04-29 1995-04-29 초저속 전송을 위한 영상처리 시스템 KR100200225B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950010587A KR100200225B1 (ko) 1995-04-29 1995-04-29 초저속 전송을 위한 영상처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950010587A KR100200225B1 (ko) 1995-04-29 1995-04-29 초저속 전송을 위한 영상처리 시스템

Publications (2)

Publication Number Publication Date
KR960040021A KR960040021A (ko) 1996-11-25
KR100200225B1 true KR100200225B1 (ko) 1999-06-15

Family

ID=19413480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950010587A KR100200225B1 (ko) 1995-04-29 1995-04-29 초저속 전송을 위한 영상처리 시스템

Country Status (1)

Country Link
KR (1) KR100200225B1 (ko)

Also Published As

Publication number Publication date
KR960040021A (ko) 1996-11-25

Similar Documents

Publication Publication Date Title
US5617144A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5859668A (en) Prediction mode selecting device in moving image coder
US8401079B2 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method and communication apparatus
EP0634874B1 (en) Determination of motion vectors in a frame decimating video encoder
KR100703283B1 (ko) 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
KR100619377B1 (ko) 움직임 추정 방법 및 장치
US7961789B2 (en) Method and apparatus for determining search range for adaptive motion vector for use in video encoder
EP0721284B1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
US5862261A (en) Current frame prediction method and apparatus for use in an image signal encoding system
EP0577418B1 (en) Apparatus for motion compensation coding of digital video signal
US5790207A (en) Motion compensation method for use in an image encoding system
KR100200225B1 (ko) 초저속 전송을 위한 영상처리 시스템
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
KR0171152B1 (ko) 초저속 전송을 위한 영상처리 시스템
KR100200226B1 (ko) 초저속 전송을 위한 영상처리 장치
JPH11122620A (ja) 動きベクトル符号化装置
KR0152014B1 (ko) 화상데이타압축에서의 움직임추정방법 및 그 장치
KR0171122B1 (ko) 움직임 보상오차를 이용한 선택적 부호화장치
KR100200227B1 (ko) 동영상 부호화장치
KR0181051B1 (ko) 초저속 전송을 위한 동영상 부호화 장치
KR0171153B1 (ko) 움직임 보상오차를 이용한 동영상 부호화 장치
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR100226960B1 (ko) 초저속 전송을 위한 동영상부호화장치
KR100229794B1 (ko) 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110302

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee