KR100915097B1 - 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법 - Google Patents

오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법

Info

Publication number
KR100915097B1
KR100915097B1 KR1020070111443A KR20070111443A KR100915097B1 KR 100915097 B1 KR100915097 B1 KR 100915097B1 KR 1020070111443 A KR1020070111443 A KR 1020070111443A KR 20070111443 A KR20070111443 A KR 20070111443A KR 100915097 B1 KR100915097 B1 KR 100915097B1
Authority
KR
South Korea
Prior art keywords
picture
pixel
reconstructed
similarity
temporal
Prior art date
Application number
KR1020070111443A
Other languages
English (en)
Other versions
KR20090045558A (ko
Inventor
전병우
고봉혁
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020070111443A priority Critical patent/KR100915097B1/ko
Priority to PCT/KR2008/006403 priority patent/WO2009057956A1/en
Publication of KR20090045558A publication Critical patent/KR20090045558A/ko
Application granted granted Critical
Publication of KR100915097B1 publication Critical patent/KR100915097B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치 및 그 방법에 관한 것이다. 본 발명에 따른 복호화 장치는 부호화 장치로부터 전송되는 키픽춰를 복원하는 키픽춰 복호화부와; 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 보조정보를 생성하는 보조정보 생성부와; 상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와; 상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 WZ픽춰를 복원하는 영상복원부와; 상기 보조정보와 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 상기 WZ픽춰 상의 채널코드 복호화 오류가 발생하였는지 여부를 판별하고, 픽춰 유사도에 기초하여 상기 복원된 WZ픽춰의 오류를 보정하는 오류보정부를 포함하는 것을 특징으로 한다. 이에 따라, 복원된 영상에서 발생한 복호화 오류를 정정하여 복원영상의 주관적인 화질을 상당히 개선시킬 수 있다.

Description

오류정정을 이용한 분산비디오부호화 영상의 복호화 장치 및 그 방법 {APPARATUS AND METHOD OF DECOMPRESSING DISTRIBUTED VIDEO CODED VIDEO USING ERROR CORRECTION}
본 발명은 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치 및 그 방법에 관한 것으로서, 복원된 영상의 복호화 오류를 판별하고 판별된 오류를 보정하여 복원된 영상의 주관적인 화질을 개선시킬 수 있는 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치 및 그 방법에 관한 것이다.
화상회의, 주문형 비디오(VOD) 수신기, 디지털 방송 수신기 및 케이블 텔레비전(CATV)등에서 사용되는 디지털 영상 데이터는 일반적으로 상당량의 데이터 크기를 갖기 때문에 그대로 사용되기 보다는 효율적인 압축방법에 의해 압축된다.
이러한 영상의 압축기술로는 MPEG, H.26x 등의 압축 표준이 있는데 이러한 기술들은 비디오 플레이어, VOD, 영상 전화, DMB 등 많은 응용에 사용되고 있으며 최근에는 2.5G/3G 등의 무선 통신의 발달로 무선 모바일 환경(Wireless mobile base)에서의 영상 전송에도 사용되고 있다.
디지털 영상 데이터의 압축은 시간적인 중복성(Temporal redundancy)을 줄이는 방법과 공간적인 중복성(spatial redundancy)을 줄이는 방법, 그리고 발생 부호의 통계적인 중복성(statistical redundancy) 줄이는 방법의 세 가지를 주로 사용한다. 이중에서 시간적인 중복성을 줄이는 대표적인 방법이 바로 움직임 예측 및 보상 기술이다.
현재의 코딩 기술들은 이러한 시간적 중복성의 제거로 높은 부호화 효율을 달성 하였지만, 동영상 부호화기에서 가장 많은 연산량을 차지하는 부분 또한 움직임 탐색 및 보상 기술이기 때문에 센서 네트워크와 같은 한정적인 자원의 환경에서는 부호화기의 복잡도를 줄이는 것이 중요한 기술적 문제로 대두되고 있다.
Slepian-Wolf 이론을 기반으로 한 분산 소스 부호화(DSC: Distributed Source Coding) 기술은 이러한 부호화기의 복잡도 문제를 해결하기 위한 방법의 하나로 주목 받고 있다. Slepian-Wolf 이론은 상관성이 있는 소스들을 독립적으로 부호화 하여도 복호화를 서로 연계해서 한다면 각 소스를 같이 예측 부호화하여 얻을 수 있는 것과 동일한 정도까지의 부호화 이득을 얻을 수 있음을 수학적으로 증명한 것이다.
분산 비디오 부호화(DVC: Distributed Video Coding) 기술은 분산 소스 부호화 기술이 무손실압축에 해당하던 것을 손실압축의 경우로 확대한 것으로써, 역시 분산 소스 부호화 기술의 이론적 토대인 Slepian-Wolf 이론을 손실부호화 경우로 확대한 Wyner-Ziv 이론에 근거한다. 비디오 부호화 기술의 관점에서 보면 이 두 기술 모두, 종래의 픽춰(Picture)간 중복성을 줄이기 위해 행해졌던 움직임 예측 및 보상같은 처리절차를 별다른 부호화 이득 손실 없이 복호화기 쪽으로 옮길 수 있음을 의미한다.
분산 비디오 부호화 기술 중 알려진 것은 A. Aaron, S. Rane, R. Zhang, and B. Girod 등이 Proc. IEEE Data Compression Conference, 2003을 통해 발표한 논문인 "Wyner-Ziv coding for video: Applications to compression and error resilience"에 기반한 Wyner-Ziv 코딩 기술이다. 이 분산 비디오 부호화 기술은 복호화기에서 이웃 픽춰 간의 유사도를 이용하여 현재 픽춰에 대한 보조정보를 만들고, 이 보조정보는 복원하여야 할 현재 픽춰에 가상채널의 잡음이 부가된 것으로 간주하여, 부호화기에서 전송된 채널코드를 이용하여 보조정보 내의 잡음을 제거하는 방식으로 현재 픽춰를 재생하는 것이다.
도 1은 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)와 이에 상응하는 복호화기(130)의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)는 키픽춰 부호화부(114)와 블록단위화부(111), 양자화부(112), 채널코드 부호화부(113)를 포함하고, 이에 상응하는 복호화기(130)는 키픽춰 복호화부(133), 채널코드 복호화부(131), 보조정보 생성부(134), 영상복원부(132)를 포함한다.
Wyner-Ziv 코딩 기술에 따른 부호화기(110)는 부호화할 픽춰를 두 종류로 분류한다. 하나는 분산 비디오 부호화 방식에 의해 부호화할 픽춰(이하, 'WZ픽춰'라 함), 다른 하나는 분산 비디오 부호화 방식이 아닌 종래의 부호화방식에 의하여 부호화할 픽춰(이하, '키픽춰'라 함)이다.
키픽춰들은 통상 H.264/AVC의 인트라픽춰 부호화 방식과 같이 사용자가 선택한 소정의 방법으로 키픽춰 부호화부(114)에 의해 부호화되어 복호화기(130)로 전송된다. 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)에 상응하는 복호화기(130)의 키픽춰 복호화부(133)는 소정의 방법으로 부호화되어 전송된 키픽춰들을 복원하고, 보조정보 생성부(134)는 키픽춰 복호화부(133)에 의해 복원된 키픽춰를 이용하여 WZ픽춰에 해당하는 보조정보(Side Information)를 생성한다.
통상적으로 보조정보 생성부(134)는 WZ픽춰 전후에 위치한 키픽춰 간의 선형 움직임을 가정한 보간법을 이용하여 복원할 WZ픽춰에 해당하는 보조정보(Side Information)를 생성한다. 경우에 따라 보외법을 사용할 수도 있으나 성능 면에서 보간법이 보외법에 비해 앞서기 때문에 대부분의 경우 보간법이 사용되고 있다.
한편, WZ픽춰를 부호화하기 위해, 부호화기(110)의 블록단위화부(111)는 입력되는 WZ픽춰를 소정의 부호화단위로 구분하며, 양자화부(112)는 각 부호화단위에 대하여 양자화를 수행한다. 그리고, 채널코드부호화부는 채널코드를 이용하여 양자화된 값에 대한 패리티 비트를 생성한다.
생성된 패리티 비트는 패리티 버퍼(미도시)에 저장되었다가 피드백채널을 통한 복호화기(130)의 요청에 따라 순차적으로 전송된다. 도 1의 채널코드 복호화부(131)는 부호화기(110)로부터 전송되는 패리티를 받아 양자화된 값을 추정한다. 도 1의 영상복원부(132)는 채널코드 복호화부(131)에 의해 추정된 양자화값을 입력받아 이를 역양자화하여 복원된 WZ픽춰를 재생한다.
상기 과정에 있어 역양자화시에 발생하는 모호성(Ambiguity)은 보조정보 생성부(134)에 의해 입력되는 보조정보를 참조하여 해결한다. 이에 대한 구체적인 설명은 A. Aaron, S. Rane, R. Zhang, and B. Girod 등이 Proc. IEEE Data Compression Conference, 2003을 통해 발표한 논문인 "Wyner-Ziv coding for video: Applications to compression and error resilience"를 참조한다.
도 2는 도 1의 Wyner-Ziv 코딩 기술에서의 채널코드 복호화부(131)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 채널코드 복호화부(131)는 두개의 SISO 복호화부(210a,210b)와 인터리버(213a,213b), 역인터리버(214a,214b), 그리고 채널 확률값 계산부(211a,211b), 결정부(216) 및 디먹스(215)(DEMUX)를 포함한다.
양자화값에 대한 패리티와 이를 인터리빙한 값에 대한 패리티로 구성되어 부호화기(110)로부터 전송되는 패리티 비트는 도 2의 디먹스(215)(DEMUX)에 의해 분리되어 각각의 채널 확률 계산부(211a,211b)에 입력된다. 각각의 채널 확률값 계산부(211a,211b)에서는 보조정보와 잡음에 대한 확률통계특성 그리고 부호화기(110)에서 전송되는 패리티 비트를 입력받아 채널 확률값을 계산한다.
그리고, 각각의 SISO 복호화부(210a,210b)는 이 채널 확률값과 다른 SISO 복호화부(210a,210b)로부터 제공받은 APrP (A Priori Probability) 값을 기반으로 복호화를 진행한다. 여기서, 각각의 SISO 복호화부(210a,210b)는 격자도상의 처음상태에서 마지막 상태로 진행해가며 천이 메트릭으로부터 순 방향 상태 메트릭을 구하고 마지막 상태에 도달하면 다시 반대 방향으로 진행해가며 역방향 상태 메트릭을 구한다. 이와 같이 구해진 상태 메트릭 값과 천이 메트릭 값을 이용하여 APoP(A Posteriori Probability) 값과 extrinsic probability 값을 계산한다.
결정부(216)는 APoP로부터 에러율을 산출하며 이 값이 임계값 이하로 내려갈 경우 복호화를 끝마치고 그렇지 못할 경우 다른 SISO 복호화부(210a,210b)에서 상기와 동일한 과정을 반복한다. 하지만 소정의 반복 이후에도 에러율이 임계값 이하로 내려가지 않으면 복호화기(130)는 피드백 채널을 통하여 부호화기(110)에 추가적인 패리티 요청을 할 수 있다.
이러한 복호화 방법은 기본적으로 보조정보 내의 잡음을 채널코드를 이용하여 정정하는 것이다. 하지만 움직임이 복잡하고 큰 영상에서는 보조정보를 정확하게 만드는 것이 어렵기 때문에 보조정보 내 잡음이 크게 증가하며 결과적으로 전송되는 패리티 비트의 양이 충분하지 않을 경우 잘못된 천이과정을 올바른 것으로 추정하는 오류를 범한다.
한편 두개의 SISO 복호화부(210a,210b)는 서로 extrinsic probability를 주고받기 때문에 잘못 추정된 천이 결과는 다른 SISO 복호화부(210a,210b)로 넘어가서 또 다른 오류를 유발시킨다. 종래의 방법을 사용할 경우 이러한 문제점은 충분한 양의 패리티 비트를 수신하지 않는 이상 피할 수 없으며, 누적되는 오류의 영향으로 복원되는 값은 때때로 원본값과는 전혀 다른 값이 되어 영상에 마치 Salt & Pepper 같은 잡음을 발생시키므로 영상의 주관적인 화질을 상당히 저하시키는 문제점이 있다.
따라서, 발생하는 채널코드 복호화 오류를 미연에 소정의 값 이하 수준으로 방지하거나 발생한 오류를 주변 정보를 이용하여 보정할 수 있는 기술이 절실히 요구되어 왔다.
상기와 같은 기술적 요구에 부응하기 위해, 본 발명은 시간적, 공간적 유사도를 이용하여 복원된 영상에 채널코드의 복호화 오류가 발생하였는지의 여부를 판별하고, 그 결과에 따라 선택적으로 오류를 보정하여 복원된 영상의 화질을 개선하는 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 방법 및 그 장치를 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 장치에 있어서, 부호화 장치로부터 전송되는 키픽춰를 복원하는 키픽춰 복호화부와; 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 보조정보를 생성하는 보조정보 생성부와; 상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와; 상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 WZ픽춰를 복원하는 영상복원부와; 상기 보조정보와 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 상기 WZ픽춰 상의 채널코드 복호화 오류가 발생하였는지 여부를 판별하고, 픽춰 유사도에 기초하여 상기 복원된 WZ픽춰의 오류를 보정하는 오류보정부를 포함하는 것을 특징으로 하는 복호화 장치에 의해서 달성된다.
여기서, 상기 오류보정부는, 상기 보조정보 및 상기 복원된 키픽춰에 기초하여 상기 복원된 WZ픽춰 내의 화소 중 채널코드 복호화 오류가 발생한 보정 대상 화소를 판별하는 복호화오류 판별부와; 상기 복호화오류 판별부에 의해 판별된 상기 보정 대상 화소와 시간적 및/또는 공간적으로 대응 및/또는 이웃한 화소 간 유사도에 기초하여 상기 보정 대상 화소를 보정하는 복호화오류 보정부를 포함할 수 있다.
그리고, 상기 복호화오류 판별부는, 상기 복원된 WZ픽춰 내의 특정 화소와 이웃 화소 간의 공간적 유사도를 측정하는 공간적 유사도 측정부와, 상기 보조정보와 상기 복원된 WZ픽춰 간의 시간적 유사도를 측정하는 시간적 유사도 측정부 중 적어도 어느 하나와; 상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나를 기 설정된 임계값과 비교하고, 상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나가 상기 임계값보다 크거나 작은 경우 상기 보정 대상 화소가 존재하는 것으로 판단하는 최종판별부를 포함할 수 있다.
그리고, 상기 공간적 유사도 측정부는 상기 특정 화소와 상기 이웃 화소 간의 화소값의 차이를 이용하여 상기 공간적 유사도를 측정할 수 있다.
그리고, 상기 시간적 유사도 측정부는 상기 복원된 WZ픽춰와 상기 보조정보 간의 상호 대응하는 화소 간의 화소값의 차이를 이용하여 상기 시간적 유사도를 측정할 수 있다.
그리고, 상기 복호화오류 보정부는, 상기 보정 대상 화소와 이웃 화소 간의 공간적 유사도에 기초하여 공간적 후보값을 추정하는 공간적 후보값 추정부와, 상기 보정 대상 화소와 상기 복원된 키픽춰 내의 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 시간적 후보값 추정부 중 적어도 어느 하나와; 상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 최종 보정부를 포함할 수 있다.
여기서, 상기 공간적 후보값 추정부는 상기 보정 대상 화소의 이웃 화소들의 화소값들의 중간값을 상기 공간적 후보값으로 추정할 수 있다.
그리고, 상기 시간적 후보값 추정부는 상기 키픽춰 복호화부에 의해 복원된 적어도 하나의 상기 키픽춰를 참조영상으로 하여 상기 복원된 WZ픽춰에 대한 움직임 예측을 통해 상기 시간적 후보값을 추정할 수 있다.
한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 방법에 있어서, (a) 부호화 장치로부터 전송되는 키픽춰를 복원하는 단계와; (b) 상기 복원된 키픽춰를 이용하여 보조정보를 생성하는 단계와; (c) 상기 보조정보와 상기 부호화 장치로부터 전송되는 패리티 비트를 이용하여 양자화된 값을 추정하는 단계와; (d) 상기 추정된 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 WZ픽춰를 복원하는 단계와; (e) 상기 보조정보와 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 상기 WZ픽춰 상의 채널코드 복호화 오류가 발생하였는지 여부를 판별하는 단계와; (f) 픽춰 유사도에 기초하여 상기 복원된 WZ픽춰의 오류를 보정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법에 의해서도 달성될 수 있다.
여기서, 상기 (e) 단계는, 상기 복원된 WZ픽춰 내의 특정 화소와 이웃 화소 간의 공간적 유사도를 측정하는 단계와, 상기 보조정보와 상기 복원된 WZ픽춰 간의 시간적 유사도를 측정하는 단계 중 적어도 어느 한 단계와; 상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나를 기 설정된 임계값과 비교하는 단계와; 상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나가 상기 임계값보다 크거나 작은 상기 복원된 WZ픽춰 내에 채널코드 복호화 오류가 발생한 보정 대상 화소가 존재하는 것으로 판단하는 단계를 포함할 수 있다.
그리고, 상기 공간적 유사도는 상기 특정 화소와 상기 이웃 화소 간의 화소값의 차이에 기초하여 측정될 수 있다.
여기서, 상기 시간적 유사도는 상기 복원된 WZ픽춰와 상기 보조정보 간의 상호 대응하는 화소 간의 화소값의 차이에 기초하여 측정될 수 있다.
그리고, 상기 (f) 단계는, 상기 보정 대상 화소와 이웃 화소 간의 공간적 유사도에 기초하여 공간적 후보값을 추정하는 단계와, 상기 보정 대상 화소와 상기 복원된 키픽춰 내의 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 단계 중 적어도 어느 한 단계와; 상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 단계를 포함할 수 있다.
여기서, 상기 공간적 후보값은 상기 복원된 WZ픽춰 내의 상기 보정 대상 화소의 이웃 화소들의 화소값들의 중간값으로 추정될 수 있다.
그리고, 상기 시간적 후보값은 상기 키픽춰 복호화부에 의해 복원된 적어도 하나의 상기 키픽춰를 참조영상으로 하여 상기 복원된 WZ픽춰에 대한 움직임 예측을 통해 추정될 수 있다.
본 발명에 따르면, 복원영상의 각 화소에서 이웃 화소와의 시간적 유사도 측정과 공간적 유사도 측정, 그리고 소정의 판별기준을 바탕으로 해당 화소에 복호화 오류 발생여부를 판별할 수 있게 된다. 그리고, 오류가 발생하였다고 판별되는 화소에 한하여 이웃 화소와의 시간적 및/또는 공간적 유사도를 이용하여 합당한 후보값을 추정하여 이를 통해 보정할 수 있게 된다. 따라서, 본 발명에 따른 복원된 영상에서 발생한 복호화 오류를 정정하여 복원영상의 주관적인 화질을 상당히 개선시킬 수 있는 효과가 있다.
도 1은 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기와 이에 상응하는 복호화기의 구성을 도시한 도면이고,
도 2는 도 1의 Wyner-Ziv 코딩 기술에서의 채널코드 복호화부의 구성을 도시한 도면이고,
도 3은 본 발명에 따른 화소영역에서의 Wyner-Ziv 부호화 장치와 복호화 오류 판별 및 보정 기능이 포함된 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 장치의 구성을 도시한 도면이고,
도 4는 도 3의 복호화 장치의 오류보정부의 구성의 일 예를 도시한 도면이고,
도 5는 도 4의 오류보정부의 복호화오류 판별부의 구성의 일 예를 도시한 도면이고,
도 6은 도 4의 오류보정부의 복호화오류 보정부의 구성의 일 예를 도시한 도면이고,
도 7은 특정 화소 및 이웃 화소의 예를 도시한 도면이고,
도 8은 본 발명에 따른 오류보정부의 오류보정을 위해 사용되는 영상 정보들에 대한 예를 도시한 도면이고,
도 9는 도 4의 오류보정부의 복호화오류 보정부의 구성의 다른 예를 도시한 도면이고,
도 10 내지 도 13은 본 발명에 따른 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 방법을 설명하기 위한 도면이고,
도 14는 본 발명에 따른 변환영역에서의 Wyner-Ziv 부호화 장치와 복호화 오류 판별 및 보정 기능이 포함된 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 장치의 구성을 도시한 도면이고,
<도면의 주요 부분에 대한 부호의 설명>
10 : Wyner-Ziv 부호화 장치 30 : 복호화 장치
32 : 채널코드 복화화부 33 : 키픽춰 복화화부
34 : 영상복원부 35 : 보조정보 생성부
36 : 오류보정부
이하에서는 첨부된 도면들을 참조하여 본 발명을 보다 상세하게 설명한다.
도 3은 본 발명에 따른 Wyner-Ziv 부호화 장치(10)와 복호화 오류 판별 및 보정 기능이 포함된 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 장치(30)의 구성을 도시한 도면이다.
도 3을 참조하여 설명하면, 본 발명에 따른 Wyner-Ziv 부호화 장치(10)는 키픽춰 부호화부(12)와 WZ픽춰 부호화부(11)를 포함한다. 그리고, 본 발명에 따른 복호화 장치(30)는 키픽춰 복호화부(33), 채널코드 복호화부(32), 보조정보 생성부(35), 영상복원부(34) 및 오류보정부(36)를 포함한다.
키픽춰 복호화부(33)는 키픽춰 부호화부(12)로부터 전송받은 정보를 이용하여 키픽춰를 복원하고, 보조정보 생성부(35)는 복원된 키픽춰들을 이용하여 재생할 현재 WZ픽춰에 대한 보조정보를 생성한다.
채널코드 복호화부(32)는 보조정보 생성부(35)로부터 입력받은 보조정보와 Wyner-Ziv 부호화 장치(10)로부터 전송받은 패리티 비트를 이용하여 양자화된 값들을 추정한다. 그리고, 영상복원부(34)는 채널코드 복호화부(32)에 의해 추정된 양자화된 값과 보조정보를 이용하여 WZ픽춰를 복원한다.
여기서, 영상복원부(34)에 의해 복원된 WZ픽춰(a)는 오류보정부(36)로 입력되며, 오류보정부(36)는 보조정보 생성부(35)로부터의 보조정보(b)와 키픽춰 복호화부(33)에 의해 복원된 키픽춰(c)들을 이용하여, 복원된 WZ픽춰(a) 상의 채널코드 복호화 오류가 발생한 위치를 판별하고 이를 정정함으로써, 화질이 현저히 개선된 복원된 WZ픽춰(d)를 재현해 낸다.
도 3의 채널코드 복호화부(32)는 채널코드 복호화를 수행해가며 신뢰도있는 양자화된 값을 추정할 수 없다고 판별될 경우에, 신뢰도 있는 추정이 가능할 때까지 소정의 한도 내에서 계속적으로 패리티 비트를 Wyner-Ziv 부호화 장치(10)에 요청하여 받도록 구성된다.
이 경우, 복호화에 필요한 패리티 량만을 Wyner-Ziv 부호화 장치(10)로부터 전송받음으로써 비트율 감소측면에서 효율적이다. 이는 패리티 비트를 요청하는 역방향채널(즉, 피드백채널)이 존재할 경우에만 가능하다. 이런한 문제를 완화하기 위해 사용자의 구성에 따라, 미리 소정의 패리티 비트량을 매번의 패리티 요청없이 한 번에 채널코드 복호화부(32)가 받아 이것을 이용하는 도중에는 역방향채널로 패리티를 요청하지 않도록 구성할 수 있다.
또한 상기의 경우에도 보내진 패리티 비트에 대한 정보를 모두 소진한 후, 아직도 신뢰도가 낮다고 판단되는 경우 추가로 패리티 비트에 대한 정보를 더 보내도록 구성할 수도 있다. 또한, 역방향 채널을 사용하지 않는다고 가정하고 Wyner-Ziv 부호화 장치(10)는 미리 설정된 일정량의 패리티를 항상 복호화 장치(30)에 보내며, 복호화 장치(30)는 패리티 비트를 요구하지 않는 형태로 구성될 수도 있다.
또한 도 3의 채널코드 복호화부(32)에서 사용하는 채널코드는 Shannon 한계에 거의 도달한다고 밝여진 터보코드를 사용하거나 LDPC 채널코드를 사용하는 것이 바람직하다. 이외에도, 부호화효율과 에러정정이 좋은 여타의 채널코드를 사용할 수 있음도 또한 자명하다.
도 4는 본 발명에 따른 오류보정부(36)의 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명에 따른 오류보정부(36)는 복호화오류 판별부(361)와 복호화오류 보정부(362)를 포함한다.
복호화오류 판별부(361)는 영상복원부(34)에 의해 복원된 WZ픽춰(a)의 각 위치에서 채널코드 복호화 오류가 발생하였는지의 여부를 판별하며, 그 구성의 일 예는 도 5에 도시된 바와 같다. 그리고 복호화오류 보정부(362)는 공간적, 또는 시간적, 또는 둘다의 주변정보와의 유사도를 이용하여 오류가 발생한 화소를 보정하며, 그 구성의 일 예는 도 6에 도시된 바와 같다. 다시 말하면, 복호화오류 보정부(362)는 복호화오류 판별부(361)에 의해 판별된 보정 대상 화소와 이웃 화소 간의 공간적 유사도 및 보정 대상 화소와 복원된 키픽춰 내의 대응하는 화소 간의 시간적 유사도 중 적어도 하나에 기초하여 보정 대상 화소를 보정한다.
도 5를 참조하여 설명하면, 복호화오류 판별부(361)는 영상복원부(34)에 의해 입력된 복원영상인 WZ픽춰(a)내의 복원된 화소와 그 이웃 화소들 간의 유사도를 측정하는 공간적 유사도 측정부(361a)와, 보조정보 생성부(35)로부터 입력되는 보조정보(b)와 영상복원부(34)로부터의 복원영상인 WZ픽춰(a) 화소간의 시간적 유사도를 측정하는 시간적 유사도 측정부(361c)와, 공간적 유사도 측정부(361a)와 시간적 유사도 측정부(361c)의 측정 결과로부터 복원영상인 WZ픽춰(a)내 해당위치에 채널코드 복호화 오류가 있는지 여부를 소정의 판별기준에 기초하여 판별하는 최종 판별부(361b)를 포함한다. 여기서, 시간적 유사도 측정부(361c)는, 도 5에 도시된 바와 같이, 키픽춰 복호화부(33)에서 생성되는 키픽춰(c)를 같이 이용하도록 구성될 수도 있다.
복호화오류 판별부(361)의 공간적 유사도 측정부(361a)는 복원영상인 WZ픽춰(a) 내의 복원된 화소와 그 이웃 화소들 간의 유사도를 측정하기 위하여 해당 화소값과 도 7에 도시된 이웃 화소들 간의 최대값, 최소값과 복원영상인 WZ픽춰(a)의 차를 [수학식 1]과 같이 계산한다.
[수학식 1]
여기서, 는 (i,j) 위치에서의 복원영상인 WZ픽춰(a)내의 해당 화소값이며, 은 도 7에 도시된 바와 같이, 이에 대한 복원영상인 WZ픽춰(a)내 공간적 주변 화소값들이다.
한편 복호화오류 판별부(361)의 시간적 유사도 측정부(361c)는 보조정보(b)와 복원영상인 WZ픽춰(a) 화소간의 차에 해당하는 을 계산한다. 여기서, 는 (i,j) 위치에서의 보조정보(a) 내 화소값이다.
공간적 및 시간적 유사도 측정을 위해 사용한 상기의 수학식들은 공간적 또는 시간적 유사도 측정을 위한 하나의 예로 상기와 같은 실시예 이외에도 다양한 접근이 가능하다.
최종 판별부(361b)는 시간적 또는 공간적 유사도 중의 어느 하나, 또는 둘 다에 의거하여 채널코드 복호화 오류의 발생여부를 최종 판별한다. 예를 들어, 최종 판별부(361b)는 상기 계산된 을 오류판별기준 정보인 소정의 임계값 A와 비교하여, 그 값이 임계값 A 보다 크면 해당 화소에 복호화 오류가 발생했을 여지가 큰 것으로 판별한다. 이는 보조정보(b)와 현재픽춰의 유사도는 일반적으로 높으므로 복원영상인 WZ픽춰(a)의 화소값이 보조정보(b)와 어느 정도 이상으로 값 차이가 나면 해당 화소에 복호화 오류가 발생했을 여지가 클 것이라는 일반적 성질에 의거한다.
이 후 이렇게 복호화 오류가 발생할 여지가 큰 화소에 대하여 [수학식 1]의 또는 값이 이에 해당하는 오류판별 기준정보인 소정의 임계값 B 보다 크면 해당화소의 위치에 복호화 오류가 발생한 것으로 판별한다. 복호화 오류 판별부의 구현에는 여러 방법이 있을 수 있으며, 이에 설명한 어느 방법에 의해 본 특허가 제한받는 것은 아니다.
도 6을 참조하여 설명하면, 복호화 오류 보정부(120)는 복호화 오류가 있다고 판별되는 위치(e)에 대하여 도 8에 도시된 정보들 모두 또는 일부를 이용하여 채널복호화 오류 보정을 수행한다.
채널복호화 오류를 보정할 값을 계산할 때는 도 8에 도시된 Case 1 ~ Case 7 중에 표시된 어느 하나 또는 이의 조합된 형태로 구현될 수 있으며, 이 형태에 따라 복호화 오류 보정부가 필요로 하는 입력 데이터가 결정된다. 복호화 오류 보정부는 이웃 화소들과의 공간적 유사도에 기반하여 합당한 후보값을 추정하는 공간적 후보값 추정부(362a)와, 복원된 키픽춰(c)와 복원영상인 WZ픽춰(a) 간의 시간적 유사도에 기반하여 합당한 후보값을 추정하는 시간적 후보값 추정부(362c)와, 추정된 후보값들을 이용하여 오류가 발생한 화소를 보정하는 최종 보정부(362b)를 포함할 수 있다.
복호화오류 보정부(362)는 도 8에 도시된 바와 같이 보정값을 계산하기 위해 어떤 영상정보를 사용하는가에 따라, 다양한 형태로 구성될 수 있다. 즉, 공간적 후보값만을 고려하는 도 8의 Case 1의 경우를 사용하는 경우, 복호화 오류 보정부를 구성하는 시간적 후보값 추정부(362c)는 그 구성에서 생략될 수 있다.
복호화오류 보정부(362)의 공간적 후보값 추정부(362a)의 일 예로는 [수학식 2]를 이용하여 도 7에 나타난 이웃 화소들과의 중간값을 가장 합당한 후보값으로 추정하는 것이다. 이는, 도 8의 Case 1에 해당하는 것이다. 여기서, [수학식 2]에서 중간값 만이 유일한 방법은 아니며 사용자에 따른 다양한 함수의 사용이 가능하다. [수학식 2]에서 는 보정된 복원영상인 WZ픽춰(a)의 화소값이다
[수학식 2]
도 6에 도시된 시간적 후보값 추정부(362c)는, 도 6에 점선으로 표시된 것처럼 구현에 따라, 보조정보 생성부(35)에서 생성되는 보조영상(b)을 추가하여 이용하도록 구성될 수 있다.
그리고 공간적 후보값 추정부(362a)와 시간적 후보값 추정부(362c)는 최종 보정부(362b)에서 공간적 후보값 추정부(362a) 및 시간적 후보값 추정부(362c)의 추정 결과를 사용하도록 병렬적인 구성을 가질 수 있으며, 어느 하나의 추정 결과를 다른 하나에서 사용하기 위해 순차적 구조로도 구성될 수 있다. 또한 장치의 간략화 등을 목적으로 한가지의 후보값 추정부만을 사용하도록 하는 구성의 접근도 가능하므로 다양한 구성을 고려할 수 있다.
복호화 오류 보정부의 시간적 후보값 추정부(362c)는, 복원영상인 WZ픽춰(a)의 해당위치와 가장 유사한 후보를 도 8에 도시된 바와 같이 복원된 하나 또는 하나 이상의 복수개의 키픽춰(c1,c2,c3)를 참조영상으로 사용한 움직임 예측을 통해 찾는다. 이와 같은 움직임 예측시 사용하는 참조영상은 현재 보정하여 복원하려는 WZ픽춰를 기준으로 시간적으로 이전 키픽춰거나(이를 순방향 예측이라 하며, 도 8의 Case 3이 이에 해당한다), 이후 키픽춰거나(이를 역방향 예측이라 하며, 도 8의 Case 4가 이에 해당한다), 이전-이후 키픽춰 모두를 사용하는 경우일 수 있다 (이를 양방향 예측이라 하며, 도 8의 Case 5 또는 Case 7이 이에 해당한다).
여기서, 선택된 키픽춰 상의 탐색을 통하여 복원영상인 WZ픽춰(a)의 현재 위치와 가장 유사한 참조영상위치를 추정한다. 이러한 순방향으로의, 또는 역방향으로의 움직임 예측, 또는 양방향 예측을 수행하여 각각의 방향으로 유사도가 가장 높은 세 개의 후보 위치를 찾아내고 이 중 SAD가 가장 작은 것을 후보위치로 추정한다.
또는 상기 과정에서 찾아낸 세개 중 하나를 택하지 않고 소정의 절차를 거쳐 후보값 세개 전부 또는 일부를 조합하여 합당한 후보값을 생성하는 방향의 접근도 가능하다. 그리고 움직임 예측의 연산량을 줄이는 것을 목적으로 순방향과 역방향 움직임 예측 중 하나만을 수행하여 후보값을 추정하는 구성 또한 가능하다. 이 외에도 다양한 구성의 움직임 예측을 고려할 수 있기 때문에 본 발명의 범위는 합당한 모든 움직임 예측의 구성을 포함한다.
최종 보정부(362b)는 최종적으로 복원영상인 WZ픽춰(a)의 오류가 발생하였다고 판별된 각 위치의 값을 계산된 후보값으로 보정한다.
상기에 설명한 시간적 후보값 추정을 통한 오류보정의 정확도를 더욱 높히기 위해 도 4의 복호화오류 보정부(362)는 도 9에 도시된 바와 같이 구성될 수도 있다. 도 9를 참조하여 설명하면, 복호화오류 보정부(362')는 공간적 후보값 추정및 보정부(362'a)를 통해 도 6의 공간적 후보값 추정부(362a)가 수행하는 것처럼 공간적 정보를 이용해 보정 후보값을 구하여 오류발생위치 값을 보정한 후, 움직임 예측부(362'b)에 의해 기 설명한 움직임 예측을 통한 시간적 후보값 예측을 수행하고 이 값을 이용해 최종 보정부(362'c)가 오류발생위치 값을 다시 보정한다. 공간적 후보값 추정및 보정부(362'a)를 통해 더욱 향상된 오류보정이 가능하며 이 값을 이용해 움직임 예측을 하므로, 시간적 후보값 예측시 더욱 정확한 후보값을 추정할 수 있어 더욱 향상된 화질 개선이 가능하다.
이하에서는 도 10 내지 도 13을 참조하여 본 발명에 따른 오류정정을 이용한 분산 비디오 부호화 영상의 채널복호화 오류검출 및 보정방법에 대해 상세히 설명한다.
채널복호화 오류검출 단계(S10)는 여러가지로 구현될 수 있으나 그 일 실시예는 도 11에 도시된 바와 같다. 도 11을 참조하여 설명하면, 복원영상인 WZ픽춰(a)의 각 위치와 이웃한 화소들간의 유사도를 공간적 유사도 측정단계(S11)에서 계산한다. 이 공간적 유사도 측정은 복원영상인 WZ픽춰(a)의 각 화소값과, 이의 이웃화소값 중의 최대값, 최소값과의 각각의 차를 상술한 [수학식 1]과 같이 계산하는 것이다.
시간적 유사도 측정단계(S12)에서는 보조정보(b)와 복원영상인 WZ픽춰(a) 화소간의 차이를 시간적 유사도로 계산한다.
상기 유사도들을 측정하기 위해 값들의 차를 계산하는 것은 하나의 예일 뿐이며, 다른 계산 방식의 사용도 가능하다.
단계 S11 및 단계 S12에 의해 계산된 공간적, 시간적 유사도는 오류 발생여부 판별 단계(S13)에서, 상술한 바와 같이, 측정된 시간적 유사도값을 소정의 임계값 A와 비교하여, 만약 이 값이 임계값 A보다 크고 동시에 상기 측정된 공간적 유사도값, 즉, [수학식 1]의 ,값 중 하나가 소정의 임계값 B 보다 크면 해당 화소에 복호화 오류가 발생한 것으로 판별한다.
도 11에 도시된 도 10의 채널복호화오류 검출단계(S10)의 일 실시예에서는 공간적 또는 시간적 유사도 두 개를 오류발생여부 판별단계(S13)에서 모두 이용하는 구성을 보였으나 응용에 따라 오류발생여부 판별단계(S13)는 공간적 또는 시간적 유사도 중의 어느 하나만을 고려하도록 수행될 수 있음은 전술한 바와 같다.
도 10에 도시된 채널복호화 오류보정단계(S30)는 채널복호화 오류검출단계(S10)에 의해 채널복호화오류가 있다고 판별되는 위치에 대하여 도 8에 도시된 정보들 모두 또는 일부를 이용하여 채널복호화 오류 보정을 수행한다.
채널복호화 오류를 보정할 값을 계산할 때는 도 8에 도시된 Case 1 ~ Case 7중에 표시된 어느 하나 또는 이의 조합된 형태로 구현될 수 있으며, 이 형태에 따라 복호화 오류 보정단계(S30)에서 필요로 하는 데이터가 결정된다. 채널복호화 오류보정을 위해 도 12에 도시된 바와 같이 이웃 화소들과의 공간적 유사도에 기반하여 합당한 후보값을 추정하는 공간적 후보값 추정단계(S31)와, 복원된 키픽춰(c)와 복원영상(a) 간의 시간적 유사도에 기반하여 합당한 후보값을 추정하는 시간적 후보값 추정단계(S32), 그리고 추정된 후보값들을 이용하여 오류가 발생한 화소를 보정하는 최종 보정단계(S33)를 수행한다. 채널복호화 오류보정단계(S30)에서는 도 8에 도시된 바와 같이 보정값을 계산하기 위해 어떤 영상정보를 사용하는 가에 따라, 여러 형태의 데이터를 사용할 수 있다. 공간적 후보값만을 고려하는 도 8의 Case 1의 경우를 사용하는 경우, 도 12의 채널복호화 오류보정단계(S30)에서 시간적 후보값 추정단계(S32)는 생략될 수 있다.
한편, 공간적 후보값 추정단계(S31)와 시간적 후보값 추정단계(S32)는 사용자의 구성에 따라 병렬구조나 순차구조로 수행하거나, 단계의 편의성을 얻기 위해 둘 중의 하나만을 수행하도록 할 수 있다.
공간적 후보값 추정단계(S31)를 수행하는 일 실시예는 [수학식 2]를 이용하여 도 7에 나타난 이웃화소들과의 중간값을 가장 합당한 후보값으로 추정하는 것이다. 이는 도 8의 Case 1에 해당하는 것이다. 이때 [수학식 2]에서 중간값 만이 유일한 방법은 아니며 사용자에 따른 다양한 함수의 사용이 가능하다.
그리고 공간적 후보값 추정단계(S31)와 시간적 후보값 추정단계(S32)는 사용자의 구성에 따라 최종 보정단계(S33)에 이르기 전 병렬적인 수행을 하거나 한 쪽 후보값 추정단계의 결과를 다른 후보값 추정단계에서 사용하기 위해 순차적 구조로도 수행할 수도 있다. 또한 수행방법의 간단화 등을 목적으로 한가지의 후보값 추정단계만을 사용하도록 하는 수행도 가능하다.
시간적 후보값 추정단계(S32)에서는, 복원영상(a)의 해당위치와 가장 유사한 후보를 도 8에 도시된 바와 같이 복원된 하나 또는 하나이상의 복수개의 키픽춰(c)를 참조영상으로 사용한 움직임 예측을 통해 찾는다. 이 움직임 예측시 사용하는 참조영상은 현재 보정하여 복원하려는 WZ픽춰를 기준으로 시간적으로 이전 키픽춰거나, 이후 키픽춰거나, 이전-이후 키픽춰 모두를 사용하는 경우일 수 있음은 전술한 바와 같다.
여기서, 선택된 키픽춰 상의 탐색을 통하여 복원영상(a)의 현재 위치와 가장 유사한 참조영상위치를 추정한다. 이러한 순방향으로의, 또는 역방향으로의 움직임 예측, 또는 양방향 예측을 수행하여 각각의 방향으로 유사도가 가장 높은 세 개의 후보 위치를 찾아내고 이 중 SAD가 가장 작은 것을 후보위치로 추정한다. 또는 상기 과정에서 찾아낸 세개 중 하나를 택하지 않고 소정의 절차를 거쳐 세개 전부 또는 일부를 조합하여 합당한 후보값을 생성하는 방향의 접근도 가능하다. 그리고 움직임 예측의 연산량을 줄이는 것을 목적으로 순방향과 역방향 움직임 예측 중 하나만을 수행하여 후보값을 추정하는 구성 또한 가능하다. 이 외에도 다양한 구성의 움직임 예측을 고려할 수 있기 때문에 본 발명의 범위는 합당한 모든 움직임 예측의 구성을 포함한다.
최종 보정단계(S33)에서는 최종적으로 복원영상(a)의 오류가 발생하였다고 판별된 각 위치의 값을 계산된 후보값으로 보정한다.
상기에 설명한 시간적 후보값 추정을 통한 오류보정의 정확도를 더욱 높이기 위해 도 10의 채널복호화 오류보정단계(S30)는 도 13에 도시된 바와 같이 수행될 수도 있다. 도 13을 참조하여 설명하면, 공간적후보값추정및보정단계(S31a)를 통해 도 12의 공간적 후보값추정단계(S31)처럼 공간적 정보를 이용해 보정 후보값을 구하여 오류발생위치 값을 보정한 후, 기 설명한 움직임 예측을 통한 시간적 후보값예측을, 움직임예측단계(S31b)를 통해 수행하고 이 값을 이용해 오류발생위치 값을 최종 보정단계(S31c)에서 다시 보정하는 것이다. 공간적후보값추정및보정단계(S31a)의 수행을 통해 더욱 향상된 오류보정이 가능하며 이 값을 이용해 다시 추가로 움직임 예측을 하므로, 시간적 후보값 예측시 더욱 정확한 후보값을 추정할 수 있어 더욱 향상된 화질 개선이 가능하다.
본 발명에 따른 실시예에서는 양자화를 비롯한 제반 부호화 및 복호화 과정이 화소영역에서 이루어지는 것으로 설명되어 있으나, 본 발명의 요지는 부호화, 복호화가 이루어지는 영역이 화소영역이 아닌 변환영역이어도 무관하게 적용 가능하다. 본 발명이 변환영역에서 적용될 경우, 도 14에 도시된 바와 같이, 변환부(37) 및 역변환부(38)가 추가로 적용될 수 있다.
따라서 본 발명의 설명에 기술된 화소 또는 해당 위치의 표현은, 본 발명의 구현에 따라 화소영역뿐만 아니라 정수변환, DCT 또는 웨이블렛 변환과 같은 변환영역에서의 변환계수로도 생각할 수 있으며, 변환영역의 변환계수로 생각할 경우에는 도 3에 도시된 변환부 및 역변환부(38)가 마련되고, 이 경우 본 발명의 설명에 사용한 화소의 표현은 변환계수도 생각할 수 있다.
상기와 같이 본 발명의 바람직한 실시 예에 따른 Wyner-Ziv 코딩기술에서의 복호화 오류 보정방법 및 그 장치가 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 요지를 벗어나지 않는 범위에서 다양한 실시예가 있을 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범의와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (15)

  1. 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 장치에 있어서,
    부호화 장치로부터 전송되는 키픽춰를 복원하는 키픽춰 복호화부와;
    상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 보조정보를 생성하는 보조정보 생성부와;
    상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와;
    상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 WZ(Wyner-Ziv)픽춰를 복원하는 영상복원부와;
    상기 보조정보와 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 상기 WZ(Wyner-Ziv)픽춰 상의 채널코드 복호화 오류가 발생하였는지 여부를 판별하고, 픽춰 유사도에 기초하여 상기 복원된 WZ(Wyner-Ziv)픽춰의 오류를 보정하는 오류보정부를 포함하는 것을 특징으로 하는 복호화 장치.
  2. 제1항에 있어서,
    상기 오류보정부는,
    상기 보조정보 및 상기 복원된 키픽춰에 기초하여 상기 복원된 WZ(Wyner-Ziv)픽춰 내의 화소 중 채널코드 복호화 오류가 발생한 보정 대상 화소를 판별하는 복호화오류 판별부와;
    상기 복호화오류 판별부에 의해 판별된 상기 보정 대상 화소와 이웃 화소 간의 공간적 유사도 및 상기 보정 대상 화소와 상기 복원된 키픽춰 내의 대응하는 화소 간의 시간적 유사도 중 적어도 하나에 기초하여 상기 보정 대상 화소를 보정하는 복호화오류 보정부를 포함하는 것을 특징으로 하는 복호화 장치.
  3. 제2항에 있어서,
    상기 복호화오류 판별부,
    상기 복원된 WZ(Wyner-Ziv)픽춰 내의 특정 화소와 이웃 화소 간의 공간적 유사도를 측정하는 공간적 유사도 측정부와, 상기 보조정보와 상기 복원된 WZ(Wyner-Ziv)픽춰 간의 시간적 유사도를 측정하는 시간적 유사도 측정부 중 적어도 어느 하나와;
    상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나를 기 설정된 임계값과 비교하고, 상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나가 상기 임계값보다 크거나 작은 경우 상기 보정 대상 화소가 존재하는 것으로 판단하는 최종판별부를 포함하는 것을 특징으로 하는 복호화 장치.
  4. 제3항에 있어서,
    상기 공간적 유사도 측정부는 상기 특정 화소와 상기 이웃 화소 간의 화소값의 차이를 이용하여 상기 공간적 유사도를 측정하는 것을 특징으로 하는 복호화 장치.
  5. 제3항에 있어서,
    상기 시간적 유사도 측정부는 상기 복원된 WZ(Wyner-Ziv)픽춰와 상기 보조정보 간의 상호 대응하는 화소 간의 화소값의 차이를 이용하여 상기 시간적 유사도를 측정하는 것을 특징으로 하는 복호화 장치.
  6. 제2항에 있어서,
    상기 복호화오류 보정부는,
    상기 보정 대상 화소와 이웃 화소 간의 공간적 유사도에 기초하여 공간적 후보값을 추정하는 공간적 후보값 추정부와, 상기 보정 대상 화소와 상기 복원된 키픽춰 내의 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 시간적 후보값 추정부 중 적어도 어느 하나와;
    상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 최종 보정부를 포함하는 것을 특징으로 하는 복호화 장치.
  7. 제6항에 있어서,
    상기 공간적 후보값 추정부는 상기 보정 대상 화소의 이웃 화소들의 화소값들의 중간값을 상기 공간적 후보값으로 추정하는 것을 특징으로 하는 복호화 장치.
  8. 제6항에 있어서,
    상기 시간적 후보값 추정부는 상기 키픽춰 복호화부에 의해 복원된 적어도 하나의 상기 키픽춰를 참조영상으로 하여 상기 복원된 WZ(Wyner-Ziv)픽춰에 대한 움직임 예측을 통해 상기 시간적 후보값을 추정하는 것을 특징으로 하는 복호화 장치.
  9. 오류정정을 이용한 분산 비디오 부호화 영상의 복호화 방법에 있어서,
    (a) 부호화 장치로부터 전송되는 키픽춰를 복원하는 단계와;
    (b) 상기 복원된 키픽춰를 이용하여 보조정보를 생성하는 단계와;
    (c) 상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 단계와;
    (d) 상기 추정된 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 WZ(Wyner-Ziv)픽춰를 복원하는 단계와;
    (e) 상기 보조정보와 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰를 이용하여 상기 WZ(Wyner-Ziv)픽춰 상의 채널코드 복호화 오류가 발생하였는지 여부를 판별하는 단계와;
    (f) 픽춰 유사도에 기초하여 상기 복원된 WZ(Wyner-Ziv)픽춰의 오류를 보정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  10. 제9항에 있어서,
    상기 (e) 단계는,
    상기 복원된 WZ(Wyner-Ziv)픽춰 내의 특정 화소와 이웃 화소 간의 공간적 유사도를 측정하는 단계와, 상기 보조정보와 상기 복원된 WZ(Wyner-Ziv)픽춰 간의 시간적 유사도를 측정하는 단계 중 적어도 어느 한 단계와;
    상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나를 기 설정된 임계값과 비교하는 단계와;
    상기 공간적 유사도 및 상기 시간적 유사도 중 적어도 어느 하나가 상기 임계값보다 크거나 작은 상기 복원된 WZ(Wyner-Ziv)픽춰 내에 채널코드 복호화 오류가 발생한 보정 대상 화소가 존재하는 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  11. 제10항에 있어서,
    상기 공간적 유사도는 상기 특정 화소와 상기 이웃 화소 간의 화소값의 차이에 기초하여 측정되는 것을 특징으로 하는 복호화 방법.
  12. 제10항에 있어서,
    상기 시간적 유사도는 상기 복원된 WZ(Wyner-Ziv)픽춰와 상기 보조정보 간의 상호 대응하는 화소 간의 화소값의 차이에 기초하여 측정되는 것을 특징으로 하는 복호화 방법.
  13. 제10항에 있어서,
    상기 (f) 단계는,
    상기 보정 대상 화소와 이웃 화소 간의 공간적 유사도에 기초하여 공간적 후보값을 추정하는 단계와, 상기 보정 대상 화소와 상기 복원된 키픽춰 내의 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 단계 중 적어도 어느 한 단계와;
    상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  14. 제13항에 있어서,
    상기 공간적 후보값은 상기 복원된 WZ(Wyner-Ziv)픽춰 내의 상기 보정 대상 화소의 이웃 화소들의 화소값들의 중간값으로 추정되는 것을 특징으로 하는 복호화 방법.
  15. 제13항에 있어서,
    상기 시간적 후보값은 상기 키픽춰 복호화부에 의해 복원된 적어도 하나의 상기 키픽춰를 참조영상으로 하여 상기 복원된 WZ(Wyner-Ziv)픽춰에 대한 움직임 예측을 통해 추정되는 것을 특징으로 하는 복호화 방법.
KR1020070111443A 2007-11-02 2007-11-02 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법 KR100915097B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070111443A KR100915097B1 (ko) 2007-11-02 2007-11-02 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법
PCT/KR2008/006403 WO2009057956A1 (en) 2007-11-02 2008-10-30 Apparatus and method of decompressing distributed video coded video using error correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070111443A KR100915097B1 (ko) 2007-11-02 2007-11-02 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법

Publications (2)

Publication Number Publication Date
KR20090045558A KR20090045558A (ko) 2009-05-08
KR100915097B1 true KR100915097B1 (ko) 2009-09-02

Family

ID=40591249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070111443A KR100915097B1 (ko) 2007-11-02 2007-11-02 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법

Country Status (2)

Country Link
KR (1) KR100915097B1 (ko)
WO (1) WO2009057956A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180539B1 (ko) * 2009-07-23 2012-09-06 성균관대학교산학협력단 분산비디오 부호화 영상의 복호화 장치 및 그 방법
CN101860748B (zh) * 2010-04-02 2012-02-08 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
GB2487078B (en) * 2011-01-07 2014-08-06 Canon Kk Improved reconstruction of at least one missing area of a sequence of digital images
CN107027051B (zh) * 2016-07-26 2019-11-08 中国科学院自动化研究所 一种基于线性动态系统的视频关键帧提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070021284A (ko) * 2004-06-01 2007-02-22 퀄컴 인코포레이티드 분산된 소스 코딩 기술들에 기초한 사이드-채널을 이용한예측 비디오 코덱의 견고성을 개선시키는 방법, 장치, 및시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331445B2 (en) * 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US7860158B2 (en) * 2004-08-27 2010-12-28 Mitsubishi Electric Research Laboratories Inc. Coding correlated images using syndrome bits
US7965774B2 (en) * 2006-01-06 2011-06-21 International Business Machines Corporation Method for visual signal extrapolation or interpolation
US8184712B2 (en) * 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070021284A (ko) * 2004-06-01 2007-02-22 퀄컴 인코포레이티드 분산된 소스 코딩 기술들에 기초한 사이드-채널을 이용한예측 비디오 코덱의 견고성을 개선시키는 방법, 장치, 및시스템

Also Published As

Publication number Publication date
WO2009057956A1 (en) 2009-05-07
KR20090045558A (ko) 2009-05-08

Similar Documents

Publication Publication Date Title
Artigas et al. The DISCOVER codec: architecture, techniques and evaluation
US8599929B2 (en) Distributed video decoder and distributed video decoding method
Brites et al. Encoder rate control for transform domain Wyner-Ziv video coding
JP4373702B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
Natário et al. Extrapolating side information for low-delay pixel-domain distributed video coding
Brites et al. Evaluating a feedback channel based transform domain Wyner–Ziv video codec
KR101511230B1 (ko) 적응 양자화를 이용한 분산 비디오 부호화/복호화 장치 및 그 방법
US8446949B2 (en) Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data
EP2036360B1 (en) Method, apparatus and system for robust video transmission with auxiliary information channel
US20100166057A1 (en) Differential Data Representation for Distributed Video Coding
KR100915097B1 (ko) 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법
Martins et al. Statistical motion learning for improved transform domain Wyner–Ziv video coding
Chien et al. BLAST-DVC: BitpLAne SelecTive distributed video coding
KR101639434B1 (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR100969135B1 (ko) 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법
Kodavalla et al. Distributed video coding: feedback-free architecture and implementation
KR20020047459A (ko) 다해상도 기반 영상신호 부호화 및 복호화 방법과 장치
Min et al. Distributed video coding based on adaptive slice size using received motion vectors
Chien et al. Transform-domain distributed video coding with rate–distortion-based adaptive quantisation
KR101074919B1 (ko) 분산 비디오 부호화 영상의 복호화 장치 및 그 방법
KR100209133B1 (ko) 움직임 벡터정보에 대한 오류 복원기능을 갖는 영상 복호화기
Anantrasirichai et al. Enhanced Spatially Interleaved Techniques for Multi-View Distributed Video Coding
KR100229794B1 (ko) 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기
Louw et al. A system combining extrapolated and interpolated side information for single view multi-hypothesis distributed video coding
Lee et al. Hybrid wyner-ziv video coding with no feedback channel

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120724

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee