KR100969135B1 - 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법 - Google Patents

복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법 Download PDF

Info

Publication number
KR100969135B1
KR100969135B1 KR1020090006641A KR20090006641A KR100969135B1 KR 100969135 B1 KR100969135 B1 KR 100969135B1 KR 1020090006641 A KR1020090006641 A KR 1020090006641A KR 20090006641 A KR20090006641 A KR 20090006641A KR 100969135 B1 KR100969135 B1 KR 100969135B1
Authority
KR
South Korea
Prior art keywords
reliability
picture
information
image
auxiliary information
Prior art date
Application number
KR1020090006641A
Other languages
English (en)
Other versions
KR20090133065A (ko
Inventor
전병우
고봉혁
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to US12/392,168 priority Critical patent/US8446949B2/en
Publication of KR20090133065A publication Critical patent/KR20090133065A/ko
Application granted granted Critical
Publication of KR100969135B1 publication Critical patent/KR100969135B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법에 관한 것이다. 본 발명에 따른 복호화 장치는 부호화 장치로부터 전송되는 키픽춰를 복원하는 키픽춰 복호화부와; 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰 및/또는 복원된 이전 WZ픽춰를 이용하여 보조정보를 생성하는 보조정보 생성부와; 상기 보조정보 생성부에 의해 생성된 상기 보조정보와 영상보정부에 의해 보정된 복원영상을 이용하여 보조정보를 갱신하는 보조정보 갱신부와; 상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보 갱신부로부터의 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와; 상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보 갱신부의 보조정보를 이용하여 복호화 대상이 되는 현재 WZ픽춰를 복원하는 영상복원부와; 상기 채널코드 복호화부의 복호정보 신뢰도 및/또는 영상복원부로부터의 복원영상 신뢰도를 측정하여 복원정보 신뢰도를 계산하며 이를 바탕으로 복원영상의 보정여부 및 보정단위를 결정하고 픽춰 유사도에 기초하여 이를 보정하는 영상보정부를 포함하는 것을 특징으로 한다. 이에 따라, 보조정보를 계속해서 향상시킴으로 율-왜곡(Rate-Distortion) 성능을 상당히 개선시킬 수 있다.

Description

복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법 {APPARATUS AND METHOD OF DECOMPRESSING DISTRIBUTED WAY CODED VIDEO WITH SUCCESSIVELY IMPROVING SIDE INFORMATION ACCORDING TO　THE RELIABILITY OF THE　DECODED DATA}
본 발명은 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법에 관한 것으로서, 복원정보 신뢰도를 측정하여 상기 복원 결과로부터 보조정보를 향상시킬 수 있는지의 여부를 판별하고 이를 기반으로 보조정보를 갱신시킴으로 율-왜곡(Rate-Distortion) 성능을 계속적으로 개선하는 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법에 관한 것이다.
화상회의, 주문형 비디오(VOD) 수신기, 디지털 방송 수신기 및 케이블 텔레비전(CATV)등에서 사용되는 디지털 영상 데이터는 일반적으로 상당량의 데이터 크기를 갖기 때문에 그대로 사용되기 보다는 효율적인 압축방법에 의해 압축된다.
이러한 영상의 압축기술로는 MPEG, H.26x 등의 압축 표준이 있는데 이러한 기술들은 비디오 플레이어, VOD, 영상 전화, DMB 등 많은 응용에 사용되고 있으며 최근에는 2.5G/3G 등의 무선 통신의 발달로 무선 모바일 환경(Wireless mobile base)에서의 영상 전송에도 사용되고 있다.
디지털 영상 데이터의 압축은 시간적인 중복성(Temporal redundancy)을 줄이는 방법과 공간적인 중복성(spatial redundancy)을 줄이는 방법, 그리고 발생 부호의 통계적인 중복성(statistical redundancy) 줄이는 방법의 세 가지를 주로 사용한다. 이중에서 시간적인 중복성을 줄이는 대표적인 방법이 바로 움직임 예측 및 보상 기술이다.
현재의 코딩 기술들은 이러한 시간적 중복성의 제거로 높은 부호화 효율을 달성 하였지만, 동영상 부호화기에서 가장 많은 연산량을 차지하는 부분 또한 움직임 탐색 및 보상 기술이기 때문에 센서 네트워크와 같은 한정적인 자원의 환경에서는 부호화기의 복잡도를 줄이는 것이 중요한 기술적 문제로 대두되고 있다.
Slepian-Wolf 이론을 기반으로 한 분산 소스 부호화(DSC: Distributed Source Coding) 기술은 이러한 부호화기의 복잡도 문제를 해결하기 위한 방법의 하나로 주목 받고 있다. Slepian-Wolf 이론은 상관성이 있는 소스들을 독립적으로 부호화 하여도 복호화를 서로 연계해서 한다면 각 소스를 같이 예측 부호화하여 얻을 수 있는 것과 동일한 정도까지의 부호화 이득을 얻을 수 있음을 수학적으로 증명한 것이다.
분산 비디오 부호화(DVC: Distributed Video Coding) 기술은 분산 소스 부호 화 기술이 무손실압축에 해당하던 것을 손실압축의 경우로 확대한 것으로써, 역시 분산 소스 부호화 기술의 이론적 토대인 Slepian-Wolf 이론을 손실부호화 경우로 확대한 Wyner-Ziv 이론에 근거한다. 비디오 부호화 기술의 관점에서 보면 이 두 기술 모두, 종래의 픽춰(Picture)간 중복성을 줄이기 위해 행해졌던 움직임 예측 및 보상같은 처리절차를 별다른 부호화 이득 손실 없이 복호화기 쪽으로 옮길 수 있음을 의미한다.
분산 비디오 부호화 기술 중 알려진 것은 A. Aaron, S. Rane, R. Zhang, and B. Girod 등이 Proc. IEEE Data Compression Conference, 2003을 통해 발표한 논문인 "Wyner-Ziv coding for video: Applications to compression and error resilience"에 기반한 Wyner-Ziv 코딩 기술이다. 이 분산 비디오 부호화 기술은 복호화기에서 이웃 픽춰 간의 유사도를 이용하여 현재 픽춰에 대한 보조정보를 만들고, 이 보조정보는 복원하여야 할 현재 픽춰에 가상채널의 잡음이 부가된 것으로 간주하여, 부호화기에서 전송된 패리티 비트를 이용하여 보조정보 내의 잡음을 제거하는 방식으로 현재 픽춰를 재생하는 것이다.
도 1은 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)와 이에 상응하는 복호화기(130)의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)는 키픽춰 부호화부(114)와 양자화부(111), 블록단위화부(112), 채널코드 부호화부(113)를 포함하고, 이에 상응하는 복호화기(130)는 키픽춰 복호화부(133), 채널코드 복호화부(131), 보조정보 생성부(134), 영상복원부(132)를 포함한다.
Wyner-Ziv 코딩 기술에 따른 부호화기(110)는 부호화할 픽춰를 두 종류로 분류한다. 하나는 분산 비디오 부호화 방식에 의해 부호화할 픽춰(이하, 'WZ픽춰'라 함), 다른 하나는 분산 비디오 부호화 방식이 아닌 종래의 부호화방식에 의하여 부호화할 픽춰(이하, '키픽춰'라 함)이다.
키픽춰들은 통상 H.264/AVC의 인트라픽춰 부호화 방식과 같이 사용자가 선택한 소정의 방법으로 키픽춰 부호화부(114)에 의해 부호화되어 복호화기(130)로 전송된다. 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)에 상응하는 복호화기(130)의 키픽춰 복호화부(133)는 소정의 방법으로 부호화되어 전송된 키픽춰들을 복원하고, 보조정보 생성부(134)는 키픽춰 복호화부(133)에 의해 복원된 키픽춰를 이용하여 WZ픽춰에 해당하는 보조정보(Side Information)를 생성한다.
통상적으로 보조정보 생성부(134)는 WZ픽춰 전후에 위치한 키픽춰 간의 선형 움직임을 가정한 보간법을 이용하여 복원할 WZ픽춰에 해당하는 보조정보(Side Information)를 생성한다. 경우에 따라 보외법을 사용할 수도 있으나 성능 면에서 보간법이 보외법에 비해 앞서기 때문에 대부분의 경우 보간법이 사용되고 있다.
한편, WZ픽춰를 부호화하기 위해, 부호화기(110)의 양자화부(111)는 WZ픽춰에 대하여 양자화를 수행하며, 블록단위화부(112)는 양자화된 WZ픽춰를 소정의 부호화단위로 구분한다. 그리고, 채널코드부호화부(113)는 채널코드를 이용하여 각 부호화단위에 대한 패리티 비트를 생성한다.
생성된 패리티 비트는 패리티 버퍼(미도시)에 저장되었다가 역방향채널(즉, 피드백 채널)을 통한 복호화기(130)의 요청에 따라 순차적으로 전송된다. 도 1의 채널코드 복호화부(131)는 보조정보와 부호화기(110)로부터 전송되는 패리티를 참조하여 양자화된 값을 추정한다. 도 1의 영상복원부(132)는 채널코드 복호화부(131)에 의해 추정된 양자화값을 입력받아 이를 역양자화하여 복원된 WZ픽춰를 재생한다.
상기 과정에 있어 역양자화시에 발생하는 모호성(Ambiguity)은 보조정보 생성부(134)에 의해 입력되는 보조정보를 참조하여 해결한다.
Wyner-Ziv 코딩 기술의 복호화 방법은 기본적으로 보조정보 내의 잡음을 채널코드를 이용하여 정정하는 것이다. 하지만 부호화기에 채널에 대한 정보가 없기 때문에 잡음을 제거하기위해 필요한 패리티 비트의 양 역시 알 수 없고 따라서 복호화기에서 역방향 채널을 통해 점진적으로 패리티 비트를 부호화기에 요청하는 구조를 갖는다. 이에 대한 구체적인 설명은 A. Aaron, S. Rane, R. Zhang, and B. Girod 등이 Proc. IEEE Data Compression Conference, 2003을 통해 발표한 논문인 "Wyner-Ziv coding for video: Applications to compression and error resilience"를 참조한다.
한편 Wyner-Ziv 코딩 기술에서 역방향 채널에 기반을 둔 복호화 방법은 매 복호화마다 그 결과를 이용하여 보조정보를 갱신할 수 있는 이점이 있다. 이에 대한 구체적인 설명은 J. Ascenso, C. Brites, and F. Pereira 등이 Proc. of IEEE International Conference on Advanced Video and Signal Based Surveillance, 2005를 통해 발표한 논문인 "Motion compensated refinement for low complexity pixel based distributed video coding"과 Z. Xue, K. K. Loo, J. Cosmas 등이 Proc. of IEEE Intern. Conf. on Multimedia and Expo, 2007를 통해 발표한 논문인 "Embeded side information refinement for pixel domain Wyner-Ziv video coding towards UMTS 3G application"을 참조한다.
하지만 복원 결과를 이용하여 보조정보를 갱신하는 방법은 복원정보 신뢰도가 높을 경우에 한하여 가능하며 만약 복원정보 신뢰도가 낮을 경우에는 오히려 보조정보의 질이 계속해서 저하되는 문제점이 있다.
Wyner-Ziv 복호화 과정에서는 WZ 픽춰가 갔고있던 대부분의 에너지가 채널코드의 복호화 결과로 얻어지므로 복원정보 신뢰도가 높은 복원정보를 얻기 위해서는 우선 채널코드의 복호결과 신뢰도가 높아야 한다. 하지만 채널코드 복호화 시 보조정보에 발생한 잡음이 크거나 전송받은 패리티 비트의 양이 충분하지 않아 채널코드 복호화 오류가 많이 발생하면 채널코드 복호화부로부터 복호된 정보의 신뢰도(이하, 채널코드 복호정보 신뢰도) 및 영상복원부로부터 복원된 영상의 신뢰도(이하, 복원영상 신뢰도)가 크게 떨어진다. 따라서 키픽춰에 양자화 에러가 많거나 픽춰간 움직임이 복잡하고 커 보조정보를 정확하게 만드는 것이 어려운 경우 상기의 보조정보의 질이 계속해서 저하되는 문제가 더욱 심각해진다.
따라서 복원정보 신뢰도를 측정하여 상기 복원결과로부터 보조정보를 향상시킬 수 있는지의 여부를 판별하고 이를 기반으로 계속적으로 보조정보를 향상시켜 율-왜곡(Rate-Distortion) 성능을 개선할 수 있는 기술이 절실히 요구되어 왔다.
상기와 같은 기술적 요구에 부응하기 위해, 본 발명은 채널코드 복호화 결과 및/또는 부호화기로부터의 추가적인 정보 및/또는 복호화기에 유효한 시간적, 공간적 유사도를 이용하여 복원정보 신뢰도를 판별하고, 그 결과에 따라 복원영상을 선택적으로 보정하여 이를 새로운 보조정보로 갱신시키는 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치에 있어서, 부호화 장치로부터 전송되는 키픽춰를 복원하는 키픽춰 복호화부와; 상기 키픽춰 복호화부에 의해 복원된 상기 키픽춰 및/또는 복원된 이전 WZ픽춰를 이용하여 보조정보를 생성하는 보조정보 생성부와; 상기 보조정보 생성부에 의해 생성된 상기 보조정보와 영상보정부에 의해 보정된 복원영상을 이용하여 보조정보를 갱신하는 보조정보 갱신부와; 상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보 갱신부로부터의 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와; 상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보 갱신부의 보조정보를 이용하여 복호화 대상이 되는 현재 WZ픽춰를 복원하는 영상복원부와; 상기 채널코드 복호화부의 복호정보 신뢰도 및/또는 영상복원부로부터의 복원영상 신뢰 도를 측정하여 복원정보 신뢰도를 계산하며 이를 바탕으로 복원영상의 보정여부 및 보정단위를 결정하고 픽춰 유사도에 기초하여 이를 보정하는 영상보정부를 포함하는 것을 특징으로 하는 복호화 장치에 의해서 달성된다.
여기서, 상기 영상보정부는, 상기 채널코드 복호화부의 복호정보 신뢰도 및/또는 상기 영상복원부로부터의 복원영상 신뢰도를 측정하여 복원정보 신뢰도를 계산하는 복원정보 신뢰도 측정부와; 상기 복원정보 신뢰도 측정부에 의해 측정된 상기 복원정보 신뢰도를 기반으로 복원영상 보정여부 및 보정단위를 결정하는 복원영상 보정 결정부와 영상의 시간적, 공간적 유사성을 기반으로 복원영상을 보정하는 보정부를 포함할 수 있다.
그리고, 복원정보 신뢰도 측정부는, 상기 채널코드 복호화부의 복호정보 신뢰도를 측정하는 채널코드 복호정보 신뢰도 측정부와, 상기 영상복원부로부터의 복원영상 신뢰도를 측정하는 복원영상 신뢰도 측정부 중 적어도 어느 하나와; 상기 채널코드 복호정보 신뢰도 및 상기 복원영상 신뢰도 중 적어도 어느 하나를 이용하여 상기 복원정보 신뢰도를 계산하는 복원정보 신뢰도 계산부를 포함할 수 있다.
여기서, 상기 채널코드 복호정보 신뢰도 측정부는 채널코드의 연판정-출력(Soft-Output) 및/또는 부호화기로부터의 CRC와 같은 추가적인 정보에 기반하여 채널코드의 복호정보 신뢰도를 측정할 수 있다.
그리고, 상기 복원영상 신뢰도 측정부는 상기 복원된 현재 WZ픽춰 내의 특정 화소와 보조정보 및/또는 키픽춰 및/또는 이전 WZ픽춰상 대응하는 화소 간의 시간적 유사도 및/또는 상기 복원된 현재 WZ픽춰 내의 특정 화소와 이웃 화소 간의 공 간적 유사도에 기반하여 신뢰도를 측정할 수 있다.
그리고, 상기 복원영상 보정 결정부는 보정여부를 결정하는 보정여부 결정부와 보정 시 보정단위를 결정하는 보정단위 결정부를 포함할 수 있다.
여기서, 상기 보정여부 결정부는 사전에 수집된 통계적인 정보를 이용하여 보정여부를 결정할 수도 있고 "시행착오(Trial & Error)" 방식으로 우선 복원영상을 보정하고 그 신뢰도를 판별하여 보정여부를 결정할 수도 있다. 그리고 또한 두 가지 방법을 조합하여 결정하는 방식도 취할 수 있다.
그리고 상기 보정단위 결정부는 임의의 화소 및/또는 임의의 블록 및/또는 영상 전체에 보정을 취하도록 보정단위를 결정할 수 있다.
그리고, 상기 보정부는, 상기 보정 대상 화소와 이웃 화소 간의 공간적 유사도에 기초하여 공간적 후보값을 추정하는 공간적 후보값 추정부와, 상기 보정 대상 화소와 상기 복원된 키픽춰 및/또는 이전 WZ픽춰 및/또는 보조정보 내의 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 시간적 후보값 추정부 중 적어도 어느 하나와; 상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 최종 보정부를 포함할 수 있다.
여기서, 상기 공간적 후보값 추정부는 상기 보정 대상 화소의 이웃 화소들의 중간값을 상기 공간적 후보값으로 추정할 수 있다.
그리고, 상기 시간적 후보값 추정부는 복원된 적어도 하나의 상기 키픽춰 및/또는 이전 WZ픽춰를 참조영상으로 하여 상기 복원된 현재 WZ픽춰에 대한 움직임 예측을 통해 상기 시간적 후보값을 추정할 수 있다.
그리고 상기 최종 보정부는 보정하는 화소에 대해 전체 또는 일부분에 해당하는 값을 복원정보 신뢰도에 기반하여 보정할 수 있다.
한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산 비디오 부호화 영상의 복호화 방법에 있어서, (a) 부호화 장치로부터 전송되는 키픽춰를 복원하는 단계와; (b) 상기 복원된 키픽춰 및/또는 복원된 이전 WZ픽춰를 이용하여 보조정보를 생성하는 단계와; (c) 상기 보조정보와 보정된 복원영상으로 부터 보조정보를 갱신하는 단계와; (d) 상기 갱신단계로부터 도출된 보조정보와 상기 부호화 장치로부터 전송되는 패리티 비트를 이용하여 양자화된 값을 추정하는 채널코드 복호화하는 단계와; (e) 상기 추정된 양자화된 값과 상기 갱신단계로부터 도출된 보조정보를 이용하여 복호화 대상이 되는 현재 WZ픽춰를 복원하는 영상복원하는 단계와; (f) 상기 채널코드 복호화하는 단계의 채널코드 복호정보 신뢰도 및/또는 영상복원하는 단계의 복원영상 신뢰도로부터 복원정보 신뢰도를 계산하는 단계와; (g) 계산된 복원정보 신뢰도를 바탕으로 복원영상의 보정을 결정하는 단계와; (h) 픽춰 유사도에 기초하여 복원영상을 보정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법에 의해서도 달성될 수 있다.
여기서, 상기 (f) 단계는, 상기 채널코드 복호화하는 단계의 채널코드 복호정보 신뢰도를 측정하는 단계와, 상기 영상복원하는 단계로부터의 복원영상 신뢰도 를 측정하는 단계 중 적어도 어느 하나와; 상기 채널코드 복호정보 신뢰도 및 상기 복원영상 신뢰도 중 적어도 어느 하나를 이용하여 상기 복원정보 신뢰도를 계산하는 단계를 포함할 수 있다.
여기서, 상기 채널코드 복호정보 신뢰도 측정단계는 채널코드의 연판정-출력(Soft-Output) 및/또는 부호화기로부터 CRC와 같은 추가적인 정보에 기반하여 채널코드 복호정보 신뢰도를 측정할 수 있다.
그리고, 상기 복원영상 신뢰도 측정단계는 상기 복원된 현재 WZ픽춰 내의 특정 화소와 보조정보 및/또는 키픽춰 및/또는 이전 WZ픽춰상 대응하는 화소 간의 시간적 유사도 및/또는 상기 복원된 WZ픽춰 내의 특정 화소와 이웃 화소 간의 공간적 유사도에 기반하여 복원영상 신뢰도를 측정할 수 있다.
그리고, 상기 (g) 단계는, 보정여부를 결정하는 보정여부 결정단계와 보정 시 보정단위를 결정하는 보정단위 결정단계를 포함할 수 있다.
여기서, 상기 보정여부 결정단계는 사전에 수집된 통계적인 정보를 이용하여 보정여부를 결정할 수도 있고 "시행착오(Trial & Error)" 방식으로 우선 복원영상을 보정하고 그 신뢰도를 판별하여 보정여부를 결정할 수도 있다. 그리고 또한 두 가지 방법을 조합하여 결정하는 방식도 취할 수 있다.
여기서, 상기 보정단위 결정단계는 상기 복원된 현재 WZ픽춰상의 임의의 화소 및/또는 임의의 블록 및/또는 영상 전체에 보정을 취하도록 보정단위를 결정할 수 있다.
그리고, 상기 (h) 단계는, 상기 보정 대상 화소와 이웃 화소 간의 공간적 유 사도에 기초하여 공간적 후보값을 추정하는 단계와, 상기 보정 대상 화소와 상기 복원된 키픽춰 및/또는 이전 WZ픽춰 및/또는 보조정보 내의 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 단계 중 적어도 어느 한 단계와; 상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 단계를 포함할 수 있다.
여기서, 상기 공간적 후보값은 상기 복원된 현재 WZ픽춰 내의 상기 보정 대상 화소의 이웃 화소들의 중간값으로 추정될 수 있다.
그리고, 상기 시간적 후보값은 복원된 적어도 하나의 상기 키픽춰 및/또는 이전 WZ픽춰를 참조영상으로 하여 상기 복원된 현재 WZ픽춰에 대한 움직임 예측을 통해 추정될 수 있다.
본 발명에 따르면, 채널코드 복호화부의 복호화 결과 및/또는 부호화기로부터 전송받은 소정의 정보 및/또는 영상의 시간적 유사도 및/또는 공간적 유사도를 바탕으로 복원정보 신뢰도를 측정할 수 있게 된다. 그리고 측정된 복원정보 신뢰도를 기반으로 복원영상 보정여부 및 보정단위를 결정하게 된다. 그리고 픽춰 유사도에 기반하여 보정대상 화소에 대한 합당한 후보값을 추정하고 이를 통해 복원영상을 보정할 수 있게 된다. 따라서, 본 발명에 따른 복호화 과정에서 계속해서 복원영상을 보정하고 이를 보조정보로 갱신시키므로 율-왜곡 성능을 상당히 개선시킬 수 있는 효과가 있다.
이하에서는 첨부된 도면들을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명에 따른 Wyner-Ziv 부호화 장치(10)와 복원정보 신뢰도 측정 및 복원영상 보정 기능이 포함된 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산 비디오 부호화 영상의 복호화 장치(30) 구성을 도시한 도면이다.
도 2를 참조하여 설명하면, 본 발명에 따른 Wyner-Ziv 부호화 장치(10)는 키픽춰 부호화부(12)와 WZ픽춰 부호화부(11)를 포함할 수 있다. 그리고, 본 발명에 따른 복호화 장치(30)는 키픽춰 복호화부(33), 채널코드 복호화부(32), 보조정보 생성부(35), 보조정보 갱신부(36), 영상복원부(34) 및 영상보정부(37)를 포함한다.
키픽춰 복호화부(33)는 키픽춰 부호화부(12)로부터 전송받은 정보를 이용하여 키픽춰를 복원하고, 보조정보 생성부(35)는 복원된 키픽춰 및/또는 복원된 이전 WZ픽춰들을 이용하여 현재 WZ픽춰에 상응하는 보조정보를 생성한다. 그리고, 보조정보 갱신부(36)는 상기의 생성된 보조정보와 영상보정부(37)에 의해 보정된 복원영상으로부터 보조정보를 갱신한다.
채널코드 복호화부(32)는 보조정보 갱신부(36)로부터 입력받은 보조정보와 Wyner-Ziv 부호화 장치(10)로부터 전송받은 패리티 비트를 이용하여 양자화된 값들을 추정한다. 그리고, 영상복원부(34)는 채널코드 복호화부(32)에 의해 추정된 양자화된 값과 보조정보 갱신부(36)로부터의 보조정보를 이용하여 현재 WZ픽춰를 복 원한다.
여기서, 영상복원부(34)에 의해 복원된 현재 WZ픽춰(b)는 영상보정부(37)로 입력되며, 영상보정부(37)는 채널코드 복호화부(32)의 복호화 결과 및/또는 부호화기로부터의 추가적인 정보와(a) 보조정보 갱신부(36)로부터의 보조정보(c), 키픽춰 복호화부(33)에 의해 복원된 키픽춰 및/또는 복원된 이전 WZ픽춰(d)들을 이용하여, 복원정보 신뢰도를 측정하여 복원영상을 보정하고 이를 보조정보로 갱신함으로써(e), 보조정보를 계속적으로 향상시켜 더 적은 패리티 비트만으로도 화질이 현저
히 개선된 WZ픽춰(f)를 복원한다.
도 2의 채널코드 복호화부(32)는 채널코드 복호화를 수행해가며 신뢰도있는 양자화된 값을 추정할 수 없다고 판별될 경우에, 신뢰도 있는 추정이 가능할 때까지 소정의 한도 내에서 계속적으로 패리티 비트를 Wyner-Ziv 부호화 장치(10)에 요청하여 받도록 구성된다.
이 경우, 복호화에 필요한 패리티만을 Wyner-Ziv 부호화 장치(10)로부터 전송받음으로써 비트율 감소측면에서 효율적이다. 이는 패리티 비트를 요청하는 역방향채널이 존재할 경우에만 가능하다. 따라서 많은 패리티 비트를 요구하면 채널 복호화 횟수가 많아져 복호화부의 복잡도가 증가하고 역방향 채널을 통한 비트 전송량이 많아지는 문제점이 있다. 이러한 문제를 완화하기 위해 사용자의 구성에 따라, 미리 소정의 패리티 비트를 매번의 패리티 요청 없이 한 번에 복호화부(30)로 전송하고 추가로 여분의 잡음을 제거하기 위한 소량의 패리티 비트를 더 보내도록 구성할 수 있다.
또한 도 2의 채널코드 복호화부(32)에서 사용하는 채널코드는 Shannon 한계에 거의 도달한다고 밝여진 터보코드를 사용하거나 LDPC 채널코드를 사용하는 것이 바람직하다. 이외에도, 부호화효율과 에러정정이 좋은 여타의 채널코드를 사용할 수 있음도 또한 자명하다.
도 3은 본 발명에 따른 영상보정부(37)의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명에 따른 영상보정부(37)는 복원정보 신뢰도 측정부(371)와 복원영상 보정 결정부(372) 그리고 보정부(373)를 포함한다.
복원정보 신뢰도 측정부(371)는 채널코드 복호화부(32)의 복호화 결과 및/또는 부호화기로부터의 추가적인 정보(a) 및/또는 복원영상(b)내의 공간적 유사도 및/또는 복원영상(b)과 키픽춰 및/또는 이전 WZ픽춰(d) 및/또는 보조정보(c)간의 시간적 유사도를 이용하여 복원정보 신뢰도를 측정하며, 그 구성의 일 예는 도 4에 도시된 바와 같다. 복원영상 보정 결정부(372)는 측정된 신뢰도를 기반으로 보정여부 및 보정단위를 결정하며 그 구성의 일 예는 도 5에 도시된 바와 같다. 그리고 보정부(373)는 픽춰의 공간적 및/또는 시간적 유사도를 이용하여 복원영상을 보정하며, 그 구성의 일 예는 도 6에 도시된 바와 같다.
도 4를 참조하여 설명하면, 복원정보 신뢰도 측정부(371)는 채널코드 복호화부(32)에 의해 입력된 복호결과 및/또는 부호화기로부터의 추가적인 정보를(a) 이용하여 채널코드 복호정보 신뢰도를 측정하는 채널코드 복호정보 신뢰도 측정부(371a)와, 복호화기에 유효한 픽춰유사도를 이용하여 복원영상의 신뢰도를 측정하는 복원영상 신뢰도 측정부(371b)와 채널코드 복호정보 신뢰도 측정부(371a) 및/ 또는 복원영상 신뢰도 측정부(371b)의 측정 결과로부터 복원정보 신뢰도를 계산하는 복원정보 신뢰도 계산부(371c)를 포함한다. 여기서, 채널코드 복호정보 신뢰도 측정부는 채널코드의 연판정-출력(Soft-Output) 및/또는 부호화기로부터 CRC와 같은 정보를 받아 복호정보 신뢰도를 측정할 수 있다.
여기서, 연판정-출력(Soft-Output)을 기반으로 신뢰도를 측정하기 위해 Wyner-Ziv 복호화기(30)는 계산된 연판정-출력(Soft-Output)값이 최대가 되는 복호값에 대한 에러율을 임계값 ξ1과 비교하여 에러율이 임계값 이하일 경우 복호결과를 신뢰하고 그렇지 않을 경우 이를 신뢰하지 않을 수 있다. 이는 연-판정 출력결과 값의 신뢰도가 높지 않기 때문에 그 값으로부터 직접적으로 신뢰도를 산출하기보다는 어느 정도 이상의 신뢰도를 보일 때에만 그 정보를 이용하는 방법이다. 이는 아래의 수학식 1과 같다.
bit-level coding : q = 0, 1
symbol-level coding : q = [0, 2M-1]
where M is assigned bits for q, given threshold ξ1
Figure 112009005339935-pat00001
여기서, Y n 은 길이 n의 블록단위 보조정보이며,
Figure 112009005339935-pat00002
는 (i,j) 위치에서의 복원영상인 WZ 픽춰(b)내의 해당 화소값이며, q(i,j)는
Figure 112009005339935-pat00003
의 양자화 값 또는 그 값을 구성하는 일부의 비트를 나타낸다.그리고 ξ1은 복호정보 신뢰도 판별에 기준으로 사용되는 임계값이다.
채널코드 복호정보 신뢰도 측정을 목적으로 한 상기의 수학식은 신뢰도 측정을 위한 하나의 예로 상기와 같은 실시 예 이외에도 다양한 접근이 가능하다.
한편 복원영상 신뢰도 측정부(371b)는 복원영상인 WZ픽춰(b)내의 복원된 화소와 그 이웃 화소들 간의 공간적 유사도를 측정하기 위하여 해당 화소값과 도 7에 도시된 이웃 화소들 간의 최대값, 최소값의 차를 아래 수학식 2와 같이 계산한다.
Figure 112009005339935-pat00004
여기서,
Figure 112009005339935-pat00005
는 (i,j) 위치에서의 복원영상인 WZ픽춰(b)내의 해당 화소값이며,
Figure 112009005339935-pat00006
은 도 7에 도시된 바와 같이, 이에 대한 복원영상인 WZ픽춰(b)내 공간적 주변 화소값들이다. 그리고 ξ2는 복원영상 신뢰도 판별에 기준으로 사용되는 임계값이다.
이해를 돕기 위해 예를 들면 해당화소
Figure 112009005339935-pat00007
이 값은 152 이며 해당화소에 대한 공간적 이웃화소들인
Figure 112009005339935-pat00008
는 {70,68,91,78}과 같을 때
Figure 112009005339935-pat00009
는 91이며
Figure 112009005339935-pat00010
는 68이므로 수학식 2에따라
Figure 112009005339935-pat00011
는 61이며
Figure 112009005339935-pat00012
은 -84이다. 따라서
Figure 112009005339935-pat00013
는
Figure 112009005339935-pat00014
이므로
Figure 112009005339935-pat00015
인 61이 되며 ξ2를 주변화소들의 표준편차로 할 경우 ξ2값은 9.04이므로 계산 결과는 해당화소의 신뢰도가 낮으므로 해당위치에 오류가 있음을 알려준다.
한편 복원영상 신뢰도 측정부는 보조정보(c)와 복원영상인 WZ픽춰(b)의 대응하는 화소간의 시간적 유사도를 측정하기위해 차를 아래의 수학식 3과 같이 계산한다.
Figure 112009005339935-pat00016
여기서,
Figure 112009005339935-pat00017
는 (i,j) 위치에서의 보조정보(c) 내 화소값이며 ξ3는 복원영상 신뢰도 판별에 기준으로 사용되는 임계값이다.
공간적 및/또는 시간적 유사도로부터 복원영상 신뢰도 측정을 위해 사용한 상기의 수학식들은 복원영상 신뢰도 측정을 위한 하나의 예로 상기와 같은 실시 예 이외에도 다양한 접근이 가능하다.
복원정보 신뢰도 계산부(371c)는 채널코드 복호정보 신뢰도와 복원영상 신뢰도 중의 어느 하나, 또는 둘 다에 의거하여 복원정보 신뢰도를 계산한다. 예를 들어, 복원정보 신뢰도 계산부(371c)는 연-판정 출력으로부터 각 화소위치에 발생할 에러율과 오류판별기준 정보인 소정의 임계값 ξ1을 상술한 [수학식1]과 같이 비교하여, 그 값이 임계값 ξ1 보다 크면 해당 위치에 신뢰도가 낮은 화소가 발생했을 여지가 큰 것으로 판별한다. 그리고 채널코드 복호정보 신뢰도 측정결과 신뢰도가 높다고 판단되는 위치에 대해 [수학식 2]의
Figure 112009005339935-pat00018
값이 이에 해당하는 오류판별 기준정보인 임계값 ξ2 보다 크면 해당위치의 화소값의 신뢰도가 낮은 것으로 판별한 다. 임계값 ξ2는 소정의 값으로 미리 정할수도 있으며 주위화소들의 표준편차를 구하여 이를 사용할 수도 있다.
복원정보 신뢰도를 계산하는 방법의 구현에는 상기의 순차적인 구성 이외에도 여러 방법이 있을 수 있으며, 이에 설명한 어느 방법에 의해 본 특허가 제한받는 것은 아니다.
도 5를 참조하여 설명하면, 복원영상 보정 결정부(372)는 측정된 복원정보 신뢰도를 기반으로 복원영상의 보정여부를 결정하는 보정여부 결정부(372a)와 보정시 보정을 취할 단위를 결정할 보정단위 결정부(372b)를 포함할수 있다.
여기서 보정여부 결정부는 많은 실험을 통한 통계적인 값을 이용하여 보정여부를 결정할 수 있다. 보정여부 결정부는 복원정보 신뢰도 측정부로부터 각 화소 위치의 복원정보 신뢰도를 받아 영상 전체에 대한 평균적인 복원정보 신뢰도를 계산하며 이를 통계적인 정보가 제공하는 임계값과 비교하여 신뢰도가 임계값 이상이면 복원영상을 보정할 것을 결정하고 임계값 이하이면 보정하지 않을 것을 결정할 수 있다. 복원영상을 보정 할 것이 결정되면 이후 보정단위 결정부(372b)에서는 신뢰도가 떨어지는 화소의 분포를 보고 분포가 적은 영역은 화소단위로 갱신을 하도록 하여 보정시 공간적 및 시간적 유사도를 모두 이용할 수 있게 하고 신뢰도가 낮은 화소가 많이 분포한 영역은 갱신 단위를 블록단위로 하여 보정시 시간적 유사도만을 이용하여 보정하게 할 수 있다. 이는 신뢰도가 낮은 화소가 집중적으로 분포할 경우 공간적 유사도가 떨어지는 일반적인 성질에 의거한다. 보정여부 결정 부(372a) 및 보정단위 결정부(372b)의 구현에는 상기의 방법이외에도 여러 가지 가능한 방법이 있을 수 있으며, 이에 설명한 어느 방법에 의해 본 특허가 제한받는 것은 아니다.
도 6을 참조하여 설명하면, 보정부(373)는 복원정보 신뢰도가 낮은 화소가 있다고 판별되는 위치(h)에 대하여 도 8에 도시된 정보들 모두 또는 일부를 이용하여 보조정보 보정을 수행한다.
복원정보 신뢰도가 낮은 화소를 보정할 값을 계산할 때는 도 8에 도시된 Case 1 ~ Case 8 중에 표시된 어느 하나 또는 이의 조합된 형태로 구현될 수 있으며, 이 형태에 따라 보정부가 필요로 하는 입력 데이터가 결정된다. 보정부(373)는 이웃 화소들과의 공간적 유사도에 기반하여 합당한 후보값을 추정하는 공간적 후보값 추정부(373a)와, 복원된 키픽춰 및/또는 이전 WZ픽춰(d)와 복원영상인 WZ픽춰(b) 간의 시간적 유사도에 기반하여 합당한 후보값을 추정하는 시간적 후보값 추정부(373b)와, 추정된 후보값들을 이용하여 복원정보 신뢰도가 낮은 화소를 보정하는 최종 보정부(373c)를 포함할 수 있다.
보정부(373)는 도 8에 도시된 바와 같이 보정값을 계산하기 위해 어떤 영상정보를 사용하는가에 따라, 다양한 형태로 구성될 수 있다. 즉, 공간적 후보값만을 고려하는 도 8의 Case 1의 경우를 사용하는 경우, 보정부를 구성하는 시간적 후보값 추정부(373b)는 그 구성에서 생략될 수 있다.
보정부(373)의 공간적 후보값 추정부(373a)의 일 예로는 수학식 4를 이용하여 도 7에 나타난 이웃 화소들과의 중간값을 가장 합당한 후보값으로 추정하는 것 이다. 이는, 도 8의 Case 1에 해당하는 것이다.
Figure 112009005339935-pat00019
여기서, [수학식 4]에서 중간값 만이 유일한 방법은 아니며 사용자에 따른 다양한 함수의 사용이 가능하다. [수학식 4]에서
Figure 112009005339935-pat00020
는 보정된 복원영상인 WZ픽춰(f)의 화소값이다.
도 6에 도시된 시간적 후보값 추정부(373b)는, 도 6에 점선으로 표시된 것처럼 구현에 따라, 보조정보 갱신부(36)에서 갱신되는 보조영상(c)을 추가하여 이용하도록 구성될 수 있다.
그리고 공간적 후보값 추정부(373a)와 시간적 후보값 추정부(373b)는 최종 보정부(373c)에서 공간적 후보값 추정부(373a) 및 시간적 후보값 추정부(373b)의 추정 결과를 사용하도록 병렬적인 구성을 가질 수 있으며, 어느 하나의 추정 결과를 다른 하나에서 사용하기 위해 순차적 구조로도 구성될 수 있다. 또한 장치의 간략화 등을 목적으로 한가지의 후보값 추정부만을 사용하도록 하는 구성의 접근도 가능하므로 다양한 구성을 고려할 수 있다.
보정부의 시간적 후보값 추정부(373b)는, 복원영상인 WZ픽춰(b)의 해당위치와 가장 유사한 후보를 도 8에 도시된 바와 같이 복원된 하나 또는 하나 이상의 복수개의 키픽춰 및/또는 이전 WZ픽춰(c1, c2)를 참조영상으로 사용한 움직임 예측을 통해 찾는다. 이와 같은 움직임 예측시 사용하는 참조영상은 현재 보정하여 복원하려는 WZ픽춰를 기준으로 시간적으로 이전 키픽춰 및/또는 이전 WZ픽춰거나(이를 순방향 예측이라 하며, 도 8의 Case 3 또는 4가 이에 해당한다), 이후 키픽춰거나(이를 역방향 예측이라 하며, 도 8의 Case 5 또는 6이 이에 해당한다), 이전-이후 키픽춰 및/또는 이전 WZ픽춰 모두를 사용하는 경우일 수 있다 (이를 양방향 예측이라 하며, 도 8의 Case 7 또는 8이 이에 해당한다).
여기서, 선택된 키픽춰 및/또는 이전 WZ픽춰 상의 탐색을 통하여 복원영상인 WZ픽춰(b)의 현재 위치와 가장 유사한 참조영상위치를 추정한다. 이러한 순방향으로의, 또는 역방향으로의 움직임 예측, 또는 양방향 예측을 수행하여 각각의 방향으로 유사도가 가장 높은 세 개의 후보 위치를 찾아내고 이 중 SAD와같은 블록 정합오류가 가장 작은 것을 후보위치로 추정한다.
또는 상기 과정에서 찾아낸 세개 중 하나를 택하지 않고 소정의 절차를 거쳐 후보값 세개 전부 또는 일부를 조합하여 합당한 후보값을 생성하는 방향의 접근도 가능하다. 그리고 움직임 예측의 연산량을 줄이는 것을 목적으로 순방향과 역방향 움직임 예측 중 하나만을 수행하여 후보값을 추정하는 구성 또한 가능하다. 이 외에도 다양한 구성의 움직임 예측을 고려할 수 있기 때문에 본 발명의 범위는 합당한 모든 움직임 예측의 구성을 포함한다.
최종 보정부(373c)는 최종적으로 복원영상인 WZ픽춰(b)의 복원정보 신뢰도가 낮다고 판별된 각 위치의 화소값을 계산된 후보값으로 보정한다. 이때 일괄적으로 보정하지 않고 각 위치의 복원정보 신뢰도에 따라 화소에 대해 전체 또는 일부분에 해당하는 값을 선택적으로 보정 하게 할 수도 있다.
상기에 설명한 시간적 후보값 추정을 통한 오류보정의 정확도를 더욱 높히기 위해 도 3의 보정부(373)는 도 9에 도시된 바와 같이 구성될 수도 있다. 도 9를 참조하여 설명하면, 보정부(373')는 공간적 후보값 추정 및 보정부(373'a)를 통해 도 6의 공간적 후보값 추정부(373a)가 수행하는 것처럼 공간적 유사도를 이용해 보정 후보값을 구하여 복원정보 신뢰도가 낮은 화소 위치(이를 오류발생위치라 하자) 값을 보정한 후, 움직임 예측부(373'b)에 의해 기 설명한 움직임 예측을 통한 시간적 후보값 예측을 수행하고 이 값을 이용해 최종 보정부(373'c)가 오류발생위치 값을 다시 보정한다. 공간적 후보값 추정 및 보정부(373'a)를 통해 더욱 향상된 오류보정이 가능하며 이 값을 이용해 움직임 예측을 하므로, 시간적 후보값 예측시 더욱 정확한 후보값을 추정할 수 있어 더욱 향상된 화질 개선이 가능하다.
이하에서는 도 10 내지 도 13을 참조하여 본 발명에 따른 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산 비디오 부호화 영상의 복호화 방법에 대해 상세히 설명한다.
복원정보 신뢰도 측정 단계(S10)는 여러 가지로 구현될 수 있으나 그 일 실시예는 도 11에 도시된 바와 같다. 도 11을 참조하여 설명하면, 채널코드의 복호화 결과 및/또는 부호화기로부터 전송되는 정보를(a) 사용하여 채널코드 복호정보 신뢰도를 채널코드 복호정보 신뢰도 측정단계(S11)에서 측정한다. 실시예에서 이 채널코드 복호정보 신뢰도 측정은 각 화소위치의 연판정-출력(Soft-Output)이 최대가 되는 값에 대한 에러율과 상술한 임계값과의 대소관계로부터 상술한 [수학식 1] 과 같이 계산하는 것이다.
복원영상 신뢰도 측정단계(S12)에서는 복원영상인 WZ픽춰(b)의 각 화소값과, 이의 이웃화소값 중의 최대값, 최소값과의 차에 기반한 [수학식 2] 또는 보조정보(c)와 복원영상인 WZ픽춰(b) 화소간의 차에 기반한 [수학식 3] 등에 기반하여 복원영상 신뢰도를 계산한다.
상기 신뢰도들을 측정하기 위해 값들의 차를 계산하는 것은 하나의 예일 뿐이며, 다른 계산 방식의 사용도 가능하다.
단계 S11 및 단계 S12에 의해 계산된 신뢰도는 복원정보 신뢰도 계산단계(S13)에서, 상술한 바와 같이, 채널코드의 연판정-출력값으로부터 상술한 [수학식1]과 같이 측정한 에러율과 소정의 임계값 ξ1과 비교하여, 만약 이 값이 임계값 ξ1보다 크거나 또는 상기 측정된 복원영상 신뢰도값, 즉, [수학식 2]의 값이 소정의 임계값 ξ2보다 크면 해당 화소를 신뢰도가 낮은 화소로 판별한다.
도 11에 도시된 도 10의 복원정보 신뢰도 측정단계(S10)의 일 실시예에서는 채널코드의 복호결과 또는 복원영상의 시/공간적 유사도 두 개를 복원정보 신뢰도 계산단계(S13)에서 모두 이용하는 구성을 보였으나 응용에 따라 복원정보 신뢰도 측정단계(S13)는 채널코드 복호정보 신뢰도 또는 복원영상 신뢰도 중의 어느 하나만을 고려하도록 수행될 수 있음은 전술한 바와 같다.
도 10에 도시된 복원영상 보정 결정단계(S30)는 여러 가지로 구현될 수 있으나 그 일 실시예는 도 12에 도시된 바와 같다. 도 12를 참조하여 설명하면, 복원 정보 신뢰도 측정단계(S10)에 의해 계산된 복원정보 신뢰도에 기반하여 복원영상에 대한 보정을 취할 것인지 아닌지를 보정여부 결정단계(S31)에서 결정한다. 실시예에서는 상술한 바와 같이 보정여부 결정은 통계적인 방법으로 구한 임계값을 사전에 복호화기에 주어 이를 계산한 평균 복원정보 신뢰도와 비교하고 그 결과에 따라 보정여부를 결정한다. 그리고 보정단위 결정단계(S32)에서는 신뢰도가 떨어지는 화소의 분포를 보고 분포가 적은 영역은 화소단위로 보정을 하도록 하여 보정 시 공간적 유사도 및 시간적 유사도를 모두 이용할 수 있게 하고 복원정보 신뢰도가 낮은 화소가 많이 분포한 영역은 갱신보정 단위를 블록단위로 하여 보정 시 시간적 유사도만을 이용하여 보정을 하게 한다. 보정 결정부의 구현에는 상기의 방법이외에도 여러 가지 가능한 방법이 있을 수 있으며, 이에 설명한 어느 방법에 의해 본 특허가 제한받는 것은 아니다.
도 13에 도시된 보정단계(S50)는 복원정보 신뢰도 측정단계에서 복원정보 신뢰도가 낮다고 판별되는 위치에 대하여 도 8에 도시된 정보들 모두 또는 일부를 이용하여 이의 화소에 대한 보정을 수행한다.
복원정보 신뢰도가 낮은 화소를 보정할 값을 계산할 때는 도 8에 도시된 Case 1 ~ Case 8중에 표시된 어느 하나 또는 이의 조합된 형태로 구현될 수 있으며, 이 형태에 따라 보정단계(S50)에서 필요로 하는 데이터가 결정된다. 복원정보 신뢰도가 낮은 화소보정을 위해 도 13에 도시된 바와 같이 이웃 화소들과의 공간적 유사도에 기반하여 합당한 후보값을 추정하는 공간적 후보값 추정단계(S51)와, 복원된 키픽춰 및/또는 이전 WZ픽춰(d)와 복원영상(b) 간의 시간적 유사도에 기반하 여 합당한 후보값을 추정하는 시간적 후보값 추정단계(S52), 그리고 추정된 후보값들을 이용하여 오류가 발생한 화소를 보정하는 최종 보정단계(S53)를 수행한다. 보정단계(S50)에서는 도 8에 도시된 바와 같이 보정되는 화소값을 계산하기 위해 어떤 영상정보를 사용하는 가에 따라, 여러 형태의 데이터를 사용할 수 있다. 공간적 후보값만을 고려하는 도 8의 Case 1의 경우를 사용하는 경우, 도 12의 보정단계(S50)에서 시간적 후보값 추정단계(S52)는 생략될 수 있다.
한편, 공간적 후보값 추정단계(S51)와 시간적 후보값 추정단계(S52)는 사용자의 구성에 따라 병렬구조나 순차구조로 수행하거나, 단계의 편의성을 얻기 위해 둘 중의 하나만을 수행하도록 할 수 있다.
공간적 후보값 추정단계(S51)를 수행하는 일 실시예는 [수학식 4]을 이용하여 도 7에 나타난 이웃화소들과의 중간값을 가장 합당한 후보값으로 추정하는 것이다. 이는 도 8의 Case 1에 해당하는 것이다. 이때 [수학식 4]에서 중간값 만이 유일한 방법은 아니며 사용자에 따른 다양한 함수의 사용이 가능하다.
그리고 공간적 후보값 추정단계(S51)와 시간적 후보값 추정단계(S52)는 사용자의 구성에 따라 최종 보정단계(S53)에 이르기 전 병렬적인 수행을 하거나 한 쪽 후보값 추정단계의 결과를 다른 후보값 추정단계에서 사용하기 위해 순차적 구조로도 수행할 수도 있다. 또한 수행방법의 간단화 등을 목적으로 한가지의 후보값 추정단계만을 사용하도록 하는 수행도 가능하다.
시간적 후보값 추정단계(S52)에서는, 복원영상(b)의 해당위치와 가장 유사한 후보를 도 8에 도시된 바와 같이 복원된 하나 또는 하나이상의 복수개의 키픽춰 및 /또는 이전 WZ픽춰(d)를 참조영상으로 사용한 움직임 예측을 통해 찾는다. 이 움직임 예측시 사용하는 참조영상은 현재 보정하여 복원하려는 WZ픽춰를 기준으로 시간적으로 이전 키픽춰 및/또는 이전 WZ픽춰거나, 이후 키픽춰거나, 이전-이후 키픽춰 및/또는 이전 WZ픽춰 모두를 사용하는 경우일 수 있음은 전술한 바와 같다.
여기서, 선택된 키픽춰 및/또는 이전 WZ픽춰 상의 탐색을 통하여 복원영상(b)의 현재 위치와 가장 유사한 참조영상위치를 추정한다. 이러한 순방향으로의, 또는 역방향으로의 움직임 예측, 또는 양방향 예측을 수행하여 각각의 방향으로 유사도가 가장 높은 세 개의 후보 위치를 찾아내고 이 중 SAD와같은 블록정합오류가 가장 작은 것을 후보위치로 추정한다. 또는 상기 과정에서 찾아낸 세개 중 하나를 택하지 않고 소정의 절차를 거쳐 세개 전부 또는 일부를 조합하여 합당한 후보값을 생성하는 방향의 접근도 가능하다. 그리고 움직임 예측의 연산량을 줄이는 것을 목적으로 순방향과 역방향 움직임 예측 중 하나만을 수행하여 후보값을 추정하는 구성 또한 가능하다. 이 외에도 다양한 구성의 움직임 예측을 고려할 수 있기 때문에 본 발명의 범위는 합당한 모든 움직임 예측의 구성을 포함한다.
최종 보정단계(S53)에서는 최종적으로 복원영상(b)의 오류가 발생하였다고 판별된 각 위치의 값을 계산된 후보값으로 보정한다. 이때 화소의 복원정보 신뢰도에 따라 화소값 전체 또는 일부만을 선택적으로 보정할 수 있음은 상술한 바와같다.
상기에 설명한 시간적 후보값 추정을 통한 오류보정의 정확도를 더욱 높이기 위해 도 10의 보정단계(S50)는 도 14에 도시된 바와 같이 수행될 수도 있다. 도 14을 참조하여 설명하면, 공간적 후보값 추정및 보정단계(S51')를 통해 도 13의 공간적 후보값 추정단계(S51)처럼 공간적 정보를 이용해 보정 후보값을 구하여 오류발생위치 값을 보정한 후, 기 설명한 움직임 예측을 통한 시간적 후보값 예측을, 움직임예측단계(S52')를 통해 수행하고 이 값을 이용해 오류발생위치 값을 최종 보정단계(S53')에서 다시 보정하는 것이다. 공간적 후보값 추정 및 보정단계(S52')의 수행을 통해 더욱 향상된 오류보정이 가능하며 이 값을 이용해 다시 추가로 움직임 예측을 하므로, 시간적 후보값 예측시 더욱 정확한 후보값을 추정할 수 있어 더욱 향상된 화질 개선이 가능하다.
본 발명에 따른 실시예에서는 영상보정부가 영상복원부 이후에 위치하는 것으로 설명되어 있으나, 본 발명의 요지는 영상보정부가 영상복원부의 전, 후 어디에 위치하여도 적용 가능하다. 본 발명의 영상보정부가 영상복원부 앞에 위치할 경우, 도 15에 도시된 것과 같은 구성을 지닌다. 이 경우에는 복원정보 신뢰도를 측정할 때 채널코드의 복호정보 신뢰도만을 이용하며 보정결정 및 보정 시에도 복원영상의 정보를 참조하던 부분을 채널코드의 복호화 결과를 참조하게 함으로 동일한 기능이 가능하다.
그리고 본 발명에 따른 실시예에서는 양자화를 비롯한 제반 부호화 및 복호화 과정이 화소영역에서 이루어지는 것으로 설명되어 있으나, 본 발명의 요지는 부호화, 복호화가 이루어지는 영역이 화소영역이 아닌 변환영역이어도 무관하게 적용 가능하다. 본 발명이 변환영역에서 적용될 경우, 도 16에 도시된 바와 같이, 변환부(38) 및 역변환부(39)가 추가로 적용될 수 있다. 그리고 구성에 따라 도 16에 도 시된 변환부(38) 및 역변환부(39)의 위치는 변동 가능하므로 본 발명이 요지를 벗어나지 않는 한 다양한 구성이 가능하다.
따라서 본 발명의 설명에 기술된 화소, 해당 위치 또는 영상의 표현은, 본 발명의 구현에 따라 화소영역뿐만 아니라 정수변환, DCT 또는 웨이블렛 변환과 같은 변환영역에서의 변환계수 또는 변환영역의 영상으로도 생각할 수 있으며, 변환영역의 변환계수로 생각할 경우에는 도 2에 도 16에 도시된 변환부(38) 및 역변환부(39)가 마련되고, 이 경우 본 발명의 설명에 사용한 화소의 표현은 변환계수도 생각할 수 있다.
상기와 같이 본 발명의 바람직한 실시 예에 따른 Wyner-Ziv 코딩기술에서의 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시킬 수 있는 복호화방법 및 그 장치가 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 요지를 벗어나지 않는 범위에서 다양한 실시예가 있을 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범의와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기와 이에 상응하는 복호화기의 구성을 도시한 도면.
도 2는 본 발명에 따른 화소영역에서의 Wyner-Ziv 부호화 장치와 복원정보 신뢰도 측정에 기반을 둔 복원영상 보정기능이 포함된 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산 비디오 부호화 영상의 복호화 장치의 구성을 도시한 도면.
도 3은 도 2의 복호화 장치의 영상보정부의 구성의 일 예를 도시한 도면.
도 4는 도 3의 영상보정부의 복원정보 신뢰도 측정부의 구성의 일 예를 도시한 도면.
도 5는 도 3의 영상보정부의 복원영상 보정 결정부의 구성의 일 예를 도시한 도면.
도 6은 도 3의 영상보정부의 보정부의 구성의 일 예를 도시한 도면.
도 7은 특정 화소 및 이웃 화소의 예를 도시한 도면.
도 8은 본 발명에 따른 보정부에서 복원영상보정을 위해 사용되는 영상 정보들에 대한 예를 도시한 도면.
도 9는 도 2의 영상보정부의 보정부의 구성의 다른 예를 도시한 도면.
도 10 내지 도 14는 본 발명에 따른 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산 비디오 부호화 영상의 복호화 방법을 설명하기 위한 도면.
도 15는 본 발명에 따른 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산 비디오 부호화 영상의 복호화 장치의 구성의 다른 예를 도시한 도면.
도 16은 본 발명에 따른 변환영역에서의 Wyner-Ziv 부호화 장치와 복원정보 신뢰도 측정 및 복원영상 보정 기능이 포함된 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산 비디오 부호화 영상의 복호화 장치의 구성을 도시한 도면.

Claims (26)

  1. 분산비디오 부호화 영상 복호화 장치에 있어서,
    부호화 장치로부터 전송되는 키픽춰를 복원하는 키픽춰 복호화부;
    상기 키픽춰 복호화부에 의해 복원된 키픽춰 및 이전에 복원된 WZ픽춰 중 적어도 하나를 이용하여 보조정보를 생성하는 보조정보 생성부;
    상기 보조정보 생성부에 의해 생성된 보조정보와 영상보정부에 의해 보정된 복원영상을 이용하여 상기 보조정보를 갱신하는 보조정보 갱신부;
    상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보 갱신부로부터의 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부;
    상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보 갱신부의 보조정보를 이용하여 복호화 대상이 되는 현재 WZ픽춰를 복원하는 영상복원부; 및
    상기 채널코드 복호화부로부터 복호된 정보의 채널코드 복호정보 신뢰도 또는 영상복원부로부터의 복원영상의 복원영상 신뢰도 중 적어도 하나를 이용하여 복원정보 신뢰도를 계산하며, 이를 바탕으로 복원영상의 보정여부 또는 보정단위 중 적어도 하나를 결정하야 복원영상을 보정하는 영상 보정부를 포함하는 분산비디오 부호화 영상 복호화 장치.
  2. 제1항에 있어서,
    상기 영상 보정부는,
    상기 채널코드 복호정보 신뢰도 및 상기 복원영상 신뢰도 중 적어도 하나를 측정하여 복원정보 신뢰도를 계산하는 복원정보 신뢰도 측정부;
    상기 복원정보 신뢰도를 기반으로 복원영상 보정여부 및 보정단위를 결정하는 복원영상 보정 결정부; 및
    영상의 시간적, 공간적 유사성을 기반으로 복원영상을 보정하는 보정부를 포함하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  3. 제2항에 있어서,
    상기 복원정보 신뢰도 측정부는,
    채널코드의 연판정-출력(Soft-Output) 및 부호화기로부터 수신한 CRC 정보 중 적어도 하나를 이용하여 상기 채널코드 복호정보 신뢰도를 연산하는 채널코드 복호정보 신뢰도 측정부를 포함하는 분산비디오 부호화 영상 복호화 장치.
  4. 제3항에 있어서,
    상기 채널코드 복호정보 신뢰도 측정부는,
    아래 수학식에 의하여 상기 채널코드 복호정보 신뢰도를 연산하는 것을 특징 으로 하는 분산비디오 부호화 영상 복호화 장치.
    bit-level coding : q = 0, 1
    symbol-level coding : q = [0, 2M-1]
    where M is assigned bits for q, given threshold ξ1
    Figure 112009005339935-pat00021
    (여기서, Y n 은 길이 n의 블록단위 보조정보이며,
    Figure 112009005339935-pat00022
    는 (i,j) 위치에서의 복원영상인 WZ 픽춰(b)내의 해당 화소값이며, q(i,j)는
    Figure 112009005339935-pat00023
    의 양자화 값 또는 그 값을 구성하는 일부의 비트를 나타낸다. ξ1은 복호정보 신뢰도 판별에 기준으로 사용되는 임계값)
  5. 제2항에 있어서,
    상기 복원정보 신뢰도 측정부는,
    상기 복원된 현재 WZ픽춰 내 화소들간 공간적 유사도 및 상기 WZ픽춰의 화소와 상기 WZ 픽춰의 화소에 대응되는 보조정보, 키픽춰 또는 이전 WZ픽춰 중 적어도 하나의 화소 간 시간적 유사도 중 적어도 하나를 이용하여 상기 복원영상의 신뢰도 를 연산하는 복원영상 신뢰도 측정부를 포함하는 분산비디오 부호화 영상 복호화 장치.
  6. 제5항에 있어서,
    상기 복원영상 신뢰도 측정부는,
    아래 수학식을 이용하여 복원한 WZ픽춰 내 화소들간 공간적 유사도를 측정하여 복원영상 신뢰도를 연산하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
    Figure 112009005339935-pat00024
    (여기서,
    Figure 112009005339935-pat00025
    는 (i,j) 위치에서의 복원영상인 WZ픽춰(b)내의 해당 화소값이며,
    Figure 112009005339935-pat00026
    은 복원영상인 WZ픽춰 내 공간적 주변 화소값, ξ2는 복원영상 신뢰도 판별에 기준으로 사용되는 임계값)
  7. 제5항에 있어서,
    상기 복원영상 신뢰도 측정부는,
    아래 수학식을 이용하여 상기 WZ픽춰의 화소와 상기 보조정보 간 시간적 유사도를 측정하여 복원영상 신뢰도를 연산하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
    Figure 112009005339935-pat00027
    여기서,
    Figure 112009005339935-pat00028
    는 (i,j) 위치에서의 보조정보(c) 내 화소값이며 ξ3는 복원 영상 신뢰도 판별에 기준으로 사용되는 임계값)
  8. 제2항에 있어서,
    상기 복원영상 보정 결정부는,
    보정여부를 결정하는 보정여부 결정부; 와
    보정단위를 결정하는 보정단위 결정부를 포함하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  9. 제8항에 있어서,
    상기 보정여부 결정부는,
    기설정된 조건을 이용하여 보정여부를 결정하는 방식 및 복원영상을 보정하고 그에 따른 신뢰도를 연산하여 보정여부를 결정하는 방식 중 적어도 하나를 이용하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  10. 제8항에 있어서,
    상기 보정단위 결정부는,
    임의의 화소, 임의의 블록 및 영상 전체 중 하나의 보정단위에 따라 영상을 보정하도록 결정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  11. 제2항에 있어서,
    상기 보정부는,
    보정 대상 화소와 이웃 화소 간의 공간적 유사도에 기초하여 공간적 후보값 을 추정하는 공간적 후보값 추정부;
    보정 대상 화소와 상기 복원된 키픽춰, 이전 WZ픽춰 및 보조정보 중 적어도 하나의 영상 내 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 시간적 후보값 추정부; 및
    상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 최종 보정부를 포함하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  12. 제11항에 있어서,
    상기 공간적 후보값 추정부는,
    상기 보정 대상 화소의 이웃 화소들의 중간값을 상기 공간적 후보값으로 추정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  13. 제11항에 있어서,
    상기 시간적 후보값 추정부는,
    복원된 키픽춰, 이전 WZ픽춰 및 보조정보 중 적어도 하나를 참조영상으로 하여 상기 복원된 현재 WZ픽춰에 대한 움직임 예측을 통해 상기 시간적 후보값을 추정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  14. 제11항에 있어서,
    상기 최종 보정부는,
    보정하는 화소들의 전체 또는 일부분을 각각의 복원정보 신뢰도에 기반하여 선택적으로 보정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 장치.
  15. 분산비디오 부호화 영상 복호화 방법에 있어서,
    (a) 부호화 장치로부터 전송되는 키픽춰를 복원하는 키픽춰 복원 단계;
    (b) 상기 복원된 키픽춰 및 이전에 복원된 WZ픽춰 중 적어도 하나를 이용하여 보조정보를 생성하는 보조정보 생성 단계;
    (c) 상기 보조정보와 보정된 복원영상을 이용하여 보조정보를 갱신하는 보조정보 갱신 단계;
    (d) 부호화 장치로부터 전송되는 패리티 비트와 상기 갱신된 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호 단계;
    (e) 상기 양자화된 값과 상기 갱신된 보조정보를 이용하여 복호화 대상이 되는 현재 WZ픽춰를 복원하는 영상복원 단계;
    (f) 상기 채널코드 복호 단계로부터의 채널코드 복호정보 신뢰도 또는 상기 영상복원 단계로부터의 복원영상 신뢰도 중 적어도 하나를 이용하여 복원정보 신뢰 도를 계산하는 복원정보 신뢰도 측정 단계;
    (g) 상기 계산된 복원정보 신뢰도에 따라 복원영상의 보정여부 또는 보정단위 중 적어도 하나를 결정하는 복원영상 보정 결정단계;
    (h) 픽춰유사도에 기초하여 상기 복원영상을 보정하는 단계를 포함하는 분산비디오 부호화 영상 복호화 방법.
  16. 제15항에 있어서,
    상기 (f) 단계는,
    채널코드의 연판정-출력(Soft-Output) 및 부호화기로부터 수신한 CRC 정보 중 적어도 하나를 이용하여 상기 채널코드 복호정보 신뢰도를 연산하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
  17. 제16항에 있어서,
    상기 채널코드 복호정보 신뢰도 연산은,
    아래 수학식에 의하여 채널코드 복호정보 신뢰도를 연산하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
    bit-level coding : q = 0, 1
    symbol-level coding : q = [0, 2M-1]
    where M is assigned bits for q, given threshold ξ1
    Figure 112009005339935-pat00029
    (여기서, Y n 은 길이 n의 블록단위 보조정보이며,
    Figure 112009005339935-pat00030
    는 (i,j) 위치에서의 복원영상인 WZ 픽춰(b)내의 해당 화소값이며, q(i,j)는
    Figure 112009005339935-pat00031
    의 양자화 값 또는 그 값을 구성하는 일부의 비트를 나타낸다. ξ1은 복호정보 신뢰도 판별에 기준으로 사용되는 임계값.
  18. 제15항에 있어서,
    상기 (f) 단계는,
    상기 복원된 현재 WZ픽춰 내 화소들간 공간적 유사도 및 상기 WZ픽춰의 화소와 상기 WZ 픽춰의 화소에 대응되는 보조정보, 키픽춰, 이전 WZ픽춰 중 적어도 하나의 화소 간 시간적 유사도를 이용하여 상기 복원영상의 신뢰도를 연산하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
  19. 제18항에 있어서,
    상기 복원영상의 신뢰도 연산은,
    아래 수학식을 이용하여 복원한 WZ픽춰 내 화소들간 공간적 유사도를 측정하는 단계를 포함하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
    Figure 112009005339935-pat00032
    (여기서,
    Figure 112009005339935-pat00033
    는 (i,j) 위치에서의 복원영상인 WZ픽춰(b)내의 해당 화소값이며,
    Figure 112009005339935-pat00034
    은 이에 대한 복원영상인 WZ픽춰 내 공간적 주변 화소값, ξ2는 복원영상 신뢰도 판별에 기준으로 사용되는 임계값)
  20. 제18항에 있어서,
    상기 복원영상의 신뢰도 연산은,
    아래 수학식을 이용하여 상기 WZ픽춰의 화소와 상기 보조정보 간 시간적 유사도를 측정하는 단계를 포함하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
    Figure 112009005339935-pat00035
    (여기서,
    Figure 112009005339935-pat00036
    는 (i,j) 위치에서의 보조정보(c) 내 화소값이며 ξ3는 복원영상 신뢰도 판별에 기준으로 사용되는 임계값)
  21. 제15항에 있어서,
    상기 (g)단계의 보정여부 결정 단계는,
    기설정된 조건을 이용하여 보정여부를 결정하는 방식 및 복원영상을 보정하고 그에 따른 신뢰도를 판별하여 보정여부를 결정하는 방식 중 적어도 하나를 이용하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
  22. 제15항에 있어서,
    상기 (g)단계의 보정단위 결정 단계는,
    임의의 화소, 임의의 블록 및 영상 전체 중 하나의 보정단위에 따라 영상을 보정하도록 결정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
  23. 제15항에 있어서,
    상기 (h) 단계는,
    보정 대상 화소와 이웃 화소 간의 공간적 유사도에 기초하여 공간적 후보값을 추정하는 단계;
    보정 대상 화소와 상기 복원된 키픽춰, 이전 WZ픽춰 및 보조정보 중 적어도 하나의 영상 내 대응하는 화소 간의 시간적 유사도에 기초하여 시간적 후보값을 추정하는 단계; 및
    상기 시간적 후보값 및 상기 공간적 후보값 중 적어도 어느 하나를 이용하여 상기 보정 대상 화소를 보정하는 최종 보정 단계를 포함하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
  24. 제23항에 있어서,
    상기 공간적 후보값 추정 단계는,
    상기 보정 대상 화소의 이웃 화소들의 중간값을 상기 공간적 후보값으로 추정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
  25. 제23항에 있어서,
    상기 시간적 후보값 추정 단계는,
    복원된 키픽춰, 이전 WZ픽춰 및 보조정보 중 적어도 하나를 참조영상으로 하여 상기 복원된 현재 WZ픽춰에 대한 움직임 예측을 통해 상기 시간적 후보값을 추정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
  26. 제23항에 있어서,
    상기 최종 보정 단계는,
    보정하는 화소들의 전체 또는 일부분을 각각의 복원정보 신뢰도에 기반하여 선택적으로 보정하는 것을 특징으로 하는 분산비디오 부호화 영상 복호화 방법.
KR1020090006641A 2008-06-23 2009-01-28 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법 KR100969135B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/392,168 US8446949B2 (en) 2008-06-23 2009-02-25 Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080058764 2008-06-23
KR20080058764 2008-06-23

Publications (2)

Publication Number Publication Date
KR20090133065A KR20090133065A (ko) 2009-12-31
KR100969135B1 true KR100969135B1 (ko) 2010-07-09

Family

ID=41691977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090006641A KR100969135B1 (ko) 2008-06-23 2009-01-28 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100969135B1 (ko)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sequential motion estimation using luminance and chrominance information for distributed video coding of Wyner-Ziv frames, A.B.B. Adikari et al., IEEE, ELECTRONICS LETTERS 30th March 2006 Vol. 42 No.7
복호 신뢰도에 기반하여 점진적으로 보조정보를 향상시키는 변환영역 Wyner-Ziv 부호화 방법 고봉혁; 심혁재; 전병우 / 한국방송공학회논문지, v.13, no.6, pp.892-904, 2008년 11월

Also Published As

Publication number Publication date
KR20090133065A (ko) 2009-12-31

Similar Documents

Publication Publication Date Title
JP4373702B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
Brites et al. Studying temporal correlation noise modeling for pixel based Wyner-Ziv video coding
US8599929B2 (en) Distributed video decoder and distributed video decoding method
KR101511230B1 (ko) 적응 양자화를 이용한 분산 비디오 부호화/복호화 장치 및 그 방법
KR20060101131A (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
JP2008511185A (ja) 相関画像組を表現する方法及びシステム
US8446949B2 (en) Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data
US20100166057A1 (en) Differential Data Representation for Distributed Video Coding
Zhou et al. Distributed video coding using interval overlapped arithmetic coding
Huang et al. Improved side information generation for distributed video coding
Martins et al. Statistical motion learning for improved transform domain Wyner–Ziv video coding
KR100915097B1 (ko) 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법
Kodavalla et al. Distributed video coding: codec architecture and implementation
KR101639434B1 (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
KR100969135B1 (ko) 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법
KR101152482B1 (ko) 고속 부호율-적응 저밀도 패리티 코드를 이용한 복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
Kim et al. An efficient side information generation using seed blocks for distributed video coding
Kodavalla et al. Distributed video coding: feedback-free architecture and implementation
KR100935492B1 (ko) 1 비트 변환을 이용한 움직임 추정 장치 및 방법, 그리고,영상 부호화 장치 및 방법
KR101074919B1 (ko) 분산 비디오 부호화 영상의 복호화 장치 및 그 방법
KR100209133B1 (ko) 움직임 벡터정보에 대한 오류 복원기능을 갖는 영상 복호화기
Min et al. Distributed video coding based on adaptive slice size using received motion vectors
Taieb et al. Low complexity hybrid rate control schemes for distributed video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee