KR101639434B1 - 와이너-지브 부호화 및 복호화 시스템 및 방법 - Google Patents

와이너-지브 부호화 및 복호화 시스템 및 방법 Download PDF

Info

Publication number
KR101639434B1
KR101639434B1 KR1020090049707A KR20090049707A KR101639434B1 KR 101639434 B1 KR101639434 B1 KR 101639434B1 KR 1020090049707 A KR1020090049707 A KR 1020090049707A KR 20090049707 A KR20090049707 A KR 20090049707A KR 101639434 B1 KR101639434 B1 KR 101639434B1
Authority
KR
South Korea
Prior art keywords
information
hash
hash information
unit
auxiliary information
Prior art date
Application number
KR1020090049707A
Other languages
English (en)
Other versions
KR20100082700A (ko
Inventor
전병우
도태원
심혁재
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to US12/588,388 priority Critical patent/US8599929B2/en
Publication of KR20100082700A publication Critical patent/KR20100082700A/ko
Application granted granted Critical
Publication of KR101639434B1 publication Critical patent/KR101639434B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 와이너-지브(Wyner-Ziv) 부호화 및 복호화 시스템에 있어서, 와이너-지브 코딩 방식에 따라 키 프레임들을 부호화하여 출력하고 와이너-지브 프레임들을 복원하는데 사용되는 패리티 비트들을 생성하여 출력하는 부호화 장치와, 상기 부호화된 키 프레임들과 패리티 비트들을 수신하며, 상기 부호화된 키 프레임들을 복원하고, 상기 복원된 키프레임들로부터 보조 정보를 생성하는데, 보조 정보 생성시 잡음이 잘 제거된 보조 정보를 위해 해쉬 정보가 필요한 지를 판단하고, 해쉬 정보가 필요하면 상기 부호화 장치로 요청하는 복호화 장치를 포함하고, 상기 부호화 장치는 상기 복호화 장치로부터 해쉬 정보를 요청받으면, 상기 요청된 해쉬 정보를 생성하여 상기 복호화 장치로 출력하는 것을 특징으로 한다. 이에 따라, 해쉬정보를 선택적으로 이용하여 잡음이 잘 제거된 보조정보를 생성함으로써, 부호화 장치로부터 전송되는 패리티 비트의 양을 줄여서 복호화기의 성능을 향상 시킬 수 있다.

Description

와이너-지브 부호화 및 복호화 시스템 및 방법{Wyner-Ziv coding and decoding system and method}
본 발명은 해쉬정보를 이용한 분산비디오부호화 영상의 복호화 장치 및 그 방법에 관한 것으로서, 보조정보 생성시에 해쉬정보의 필요성을 판별하고 판별된 해쉬정보를 이용하여 잡음이 잘 제거된 보조정보를 생성하여, 복호화기의 성능 향상과 함께 최종 복원된 영상의 화질을 개선시킬 수 있는 와이너 지브 부호화 및 복호화 시스템 및 방법에 관한 것이다.
비디오 플레이어, 맞춤영상정보 서비스(VOD), 영상 전화, 디지털 멀티미디어 브로드캐스팅(DMB), 무선 모바일 환경에서의 영상전송 등에 효율적인 압축기술로서 MPEG, H.26x 등의 압축 표준이 널리 사용되고 있다. 상기 압축 표준들은 시간적인 중복성(Temporal redundancy)를 제거함으로써 부호화 효율에서 큰 이득이 있는데, 상기 시간적인 중복성을 줄이기 위한 대표적인 방법으로서 움직임 예측 및 보상 기술이 있다. 하지만, 상기 움직임 예측 및 보상 기술은 동영상 부호화기에서 상대적으로 많은 연산량을 요구하기 때문에, 전력 소비가 큰 단점이 있다. 따라서, 센서 네트워크와 같은 한정된 자원의 환경에서는 부호화기의 저전력화를 위해서, 부호화 기의 복잡도를 줄이는 것이 중요한 기술적 문제로 대두되고 있다.
이러한 부호화기의 복잡도 문제를 해결하기 위한 방법의 하나로 Wyner-Ziv 이론에 근거하고 있는 분산 비디오 부호화(DVC: Distributed Video Coding) 방법이 각광받고 있다. 이 분산 비디오 부호화 기술(DVC : Distributed Vidoe Coding)은 비디오 프레임들을 서로 독립적으로 부호화하며 기존 기술과 같이 비디오 프레임들 사이의 유사도를 검출하기 위해 비디오 프레임들을 스캔하지 않기 때문에 부호화기의 연산량을 줄일 수 있다.
와이너-지브(Wyner-Ziv) 이론에 근거한 분산 비디오 부호화 기술을 도 1을 참조하여 이하 설명한다.
도 1은 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)와 이에 상응하는 복호화기(130)의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)는 키프레임 부호화부(114)와 양자화부(111), 블록단위화부(112), 채널코드 부호화부(113)를 포함하고, 이에 상응하는 복호화기(130)는 키프레임 복호화부(133), 채널코드 복호화부(131), 보조정보 생성부(134), 영상복원부(132)를 포함한다.
Wyner-Ziv 코딩 기술에 따른 부호화기(110)는 소스 비디오 컨텐트(source video content)의 프레임들을 두 종류로 분류한다. 하나는 분산 비디오 부호화 방식에 의하여 부호화할 프레임(이하, 'WZ프레임'라 함)이고, 다른 하나는 분산 비디오 부호화 방식이 아닌 종래의 부호화방식에 의하여 부호화할 프레임(이하, '키프 레임'라 함)이다.
키프레임들은 키프레임 부호화부(114)에서 통상적으로 H.264/AVC의 인트라 부호화 방식으로 부호화되어 복호화기(130)로 전송된다. 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)에 상응하는 복호화기(130)의 키프레임 복호화부(133)는, 전송된 키프레임들을 복원하고 보조정보 생성부(134)는, 키프레임 복호화부(133)에 의해 복원된 키프레임을 이용하여 WZ프레임에 해당하는 보조정보(Side Information)를 생성하고 보조정보를 채널코드 복호화부(131)로 출력한다.
통상적으로 보조정보 생성부(134)는, 현재 WZ프레임 전후에 위치한 키프레임 간의 선형 움직임을 가정하고, 보간법을 이용하여 복원할 WZ프레임에 해당하는 보조정보(Side Information)를 생성한다. 경우에 따라, 보간법 대신에 보외법을 사용할 수도 있으나 보간법으로 생성된 보조정보에서의 잡음이 보외법으로 생성된 보조정보에서의 잡음보다 적기 때문에, 대부분의 경우에서 보간법이 사용되고 있다.
한편, WZ프레임을 부호화하기 위해서, 부호화기(110)의 양자화부(111)는 WZ프레임에 대한 양자화를 수행하고, WZ 프레임의 양자화 값을 블록단위화부(112)로 출력한다. 블록단위화부(112)는 입력되는 WZ프레임의 양자화된 값을 소정의 부호화 단위로 구분한다. 그리고, 채널코드 부호화부(113)는 채널코드를 이용하여 각 부호화단위에 대한 패리티 비트를 생성한다.
생성된 패리티 비트는 패리티 버퍼(미도시)에 일시적으로 저장되었다가 복호화기(130)에서 피드백채널을 통하여 패리티를 요청하면 순차적으로 복호화기(130)로 전송된다.
복호화기(130)의 채널코드 복호화부(131)는 부호화기(110)로부터 전송되는 패리티를 받아서 양자화 된 값을 추정한다. 도 1의 영상복원부(132)는 채널코드 복호화부(131)에 의해 추정된 양자화 값을 입력받아 이를 역양자화 하여 복원된 WZ프레임을 재생한다.
상기 Wyner-Ziv 이론에 기초한 분산비디오부호화 방법은, 복호화기에서 생성된 보조정보에 추가되어 있는 잡음을 패리티를 사용해서 정정함으로써 현재 WZ프레임을 복원하는 기술이다. 따라서, 생성된 보조정보에 추가된 잡음이 적을수록 요구하는 패리티의 양이 적게 되므로, Rate Distortion 관점에서 좋은 성능을 가지기 위해서는 보조정보를 잡음 없이 잘 생성하는 것이 중요하다. 종래의 보조정보 생성방법은 복원된 키프레임 간의 움직임 벡터를 추정하고 복원하고자 하는 보조정보의 움직임 벡터를 프레임 간의 거리를 고려하여 상기 복원된 키프레임 간의 움직임 벡터로부터 얻는다. 이렇게 얻어진 보조정보의 움직임 벡터가 지시하는 키프레임 내의 복호화단위를 보조정보로 생성하는 것이다.
도 2는 종래의 보조정보 생성을 예시한 것이다. 복원 할 보조정보의 움직임 벡터를 복원된 키프레임 간의 움직임 벡터로부터 얻는 과정을 예시한 것이며, 프레임 간의 거리를 고려하면 보조정보의 움직임 벡터는 키프레임 간의 움직임 벡터의 1/2임을 알 수 있다. 물론, 키프레임 사이에 보조정보가 여러 개 존재할 수 있으며, 키프레임 간의 움직임 벡터는 양방향에서 얻을 수도 있다.
이와 같이, 생성하고자 하는 보조정보의 움직임 벡터를 상기 복원된 키프레임의 움직임 벡터로부터 얻게 되면, 프레임 간에 움직임이 복잡한 경우 또는 움직 임이 선형적으로 변하지 않는 경우 또는 물체 및 배경이 갑자기 사라지거나 나타나는 경우에 잘못된 보조정보를 생성 할 수 있다. 상기의 경우에 생성된 보조정보는 잡음이 많이 첨가되어 있기 때문에, 전송된 패리티로 잡음을 충분히 제거 할 수 없다. 따라서, 부호화되기 전의 WZ 프레임에 대한 정보가 필요한데(이하, '해쉬정보'라 함), 해쉬정보는 보조정보를 잡음 없이 생성하는데 유용하지만 해쉬정보 자체가 상당한 양의 비트이기 때문에, Rate를 증가시키는 문제가 발생한다. 상기와 같은 문제가 발생하기 때문에, 패리티를 사용해도 잡음을 제거하기 어려운 보조정보에만 선택적으로 해쉬정보를 전송하여, 해쉬정보로 인하여 증가되는 비트양을 줄이면서 잡음을 제거하기 어려운 보조정보의 질을 향상시킬 필요성이 있다.
본 발명은 전술한 점을 고려하여 안출된 것으로서, 보조정보를 생성하는데 사용되는 해쉬정보를 효과적으로 선택하여 보조정보에 첨가되는 잡음을 줄임으로써, 압축률을 증가시키고 또한 복호화기의 성능을 개선하는 와이너 지브 부호화 및 복호화 시스템 및 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 와이너-지브(Wyner-Ziv) 부호화 및 복호화 시스템은 와이너-지브 코딩 방식에 따라 키 프레임들을 부호화하여 출력하고 와이너-지브 프레임들을 복원하는데 사용되는 패리티 비트들을 생성하여 출력하는 부호화 장치와, 상기 부호화된 키 프레임들과 패리티 비트들을 수신하며, 상기 부호화된 키 프레임들을 복원하고, 상기 복원된 키프레임들로부터 보조 정보를 생성하는데, 보조 정보 생성시 잡음이 잘 제거된 보조 정보를 위해 해쉬 정보가 필요한 지를 판단하고, 해쉬 정보가 필요하면 상기 부호화 장치로 요청하는 복호화 장치를 포함하고, 상기 부호화 장치는 상기 복호화 장치로부터 해쉬 정보를 요청받으면, 상기 요청된 해쉬 정보를 생성하여 상기 복호화 장치로 출력한다.
상기한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 와이너-지브(Wyner-Ziv) 부호화 및 복호화 방법은 부호화 장치에서 와이너-지브 코딩 방식에 따라 키 프레임들을 부호화하여 출력하고, 와이너-지브 프레임들을 복원하는데 사용되는 패리티 비트들을 생성하여 출력하는 단계와, 복호화 장치에서 상기 부호화된 키 프레임들을 복원하는 단계와, 상기 복호화 장치에서 상기 복원된 키프레임들로부터 보조 정보를 생성하는 단계와, 상기 복호화 장치에서 상기 보조 정보 생성시 잡음이 잘 제거된 보조 정보를 위해 해쉬 정보가 필요한 지를 판단하고, 해쉬 정보가 필요하면, 상기 부호화 장치로 요청하는 단계와, 상기 부호화 장치에서 상기 복호화 장치로부터 해쉬 정보를 요청받으면, 상기 요청된 해쉬 정보를 생성하여 상기 복호화 장치로 출력하는 단계를 포함한다.
본 발명에 따르면, 보조정보 생성시에 움직임 예측 신뢰도를 측정하며, 소정의 판별기준을 바탕으로 해당 보조정보 생성시에 해쉬정보가 필요한지의 여부를 판별할 수 있다. 그리고, 해쉬정보가 필요하다고 판별되는 보조정보에 한하여 소정의 판별기준을 적용하여 효과적인 해쉬정보를 선택하고 선택된 해쉬정보를 사용하여 잡음이 잘 제거된 보조정보를 생성할 수 있다. 따라서, 본 발명에 따른 해쉬정보를 선택적으로 사용하여 보조정보를 생성함으로써, 압축률을 증가시키고 또한 복호화기의 성능을 상당히 개선시킬 수 있는 효과가 있다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 3은 본 발명의 제1 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
Wyner-Ziv 부호화 및 복호화 시스템은 Wyner-Ziv 부호화 장치(10)와 선택적으로 해쉬정보를 이용하여 보조정보를 생성하는 기능이 포함된 해쉬정보를 이용한 분산 비디오 부호화 영상의 복호화 장치(30)를 포함한다.
Wyner-Ziv 부호화 장치(10)는 Wyner-Ziv 코딩 방식에 따라 소스 비디오 컨텐트의 프레임들을 와이너 지브 프레임들과 키 프레임들로 나눈다. 예컨대, 소스 비디오 컨텐트의 짝수 번째 프레임들이 키 프레임으로서 선택되거나, 홀수 번째 프레임들이 와이너-지브 프레임으로 선택될 수 있다.
Wyner-Ziv 부호화 장치(10)는 와이너 지브 프레임들과 키 프레임들을 부호화 하고, 복호화 장치(30)에 제공한다.
도 3을 참조하여 설명하면, 본 발명에 따른 Wyner-Ziv 부호화 장치(10)는 키프레임 부호화부(13)와 WZ프레임 부호화부(11), 그리고 해쉬정보 생성부(12)를 포함한다.
키프레임 부호화부(13)는 키 프레임들을 부호화하여 복호화 장치(30)로 출력한다. WZ프레임 부호화부(11)는 WZ프레임들에 대한 양자화를 수행하고 WZ 프레임의 양자화 값들로부터 WZ 프레임을 복원하기 위한 패리티 비트를 생성하여 복호화 장치(30)로 출력한다. 이를 위해 WZ프레임 부호화부(11)는 양자화기, LDPC(Low Density Parity Check) 부호화기 등을 포함할 수 있는데, 이에 관해서는 당업계에 잘 알려져 있다.
그리고, 본 발명에 따른 복호화 장치(30)는 키프레임 복호화부(33), 채널코드 복호화부(32), 영상복원부(35), 보조정보 생성부(36) 및 해쉬정보 선택부(37)를 포함한다.
키프레임 복호화부(33)는 키프레임 부호화부(13)로부터 전송받은 정보를 이용하여 키프레임을 복원하고, 해쉬정보 선택부(37)는 보조정보 생성시에 해쉬정보가 필요한 부분을 선택하고, 해쉬정보 생성부(12)는 선택된 해쉬정보에 따라서 필요한 해쉬정보를 생성한다. 보조정보 생성부(36)는 복원된 키프레임 및/또는 생성된 해쉬정보를 이용하여 재생할 현재 WZ프레임에 대한 보조정보를 생성한다.
채널코드 복호화부(32)는 보조정보 생성부(35)로부터 입력받은 보조정보와 Wyner-Ziv 부호화 장치(10)로부터 전송받은 패리티 비트를 이용하여 양자화 된 값 들을 추정한다. 그리고, 영상복원부(34)는 채널코드 복호화부(32)에 의해 추정된 양자화 된 값과 보조정보를 이용하여 현재 WZ프레임을 복원한다.
도 3의 채널코드 복호화부(32)는 채널코드 복호화를 수행해가며 신뢰도있는 양자화된 값을 추정할 수 없다고 판별될 경우에, 신뢰도 있는 추정이 가능할 때까지 소정의 한도 내에서 계속적으로 패리티 비트를 Wyner-Ziv 부호화 장치(10)에 요청하여 받도록 구성된다.
이 경우, 복호화에 필요한 패리티 량만을 Wyner-Ziv 부호화 장치(10)로부터 전송받음으로써 율-왜곡 성능 측면에서 효율적이다. 이는 패리티 비트를 요청하는 역방향채널(즉, 피드백채널)이 존재할 경우에만 가능하다. 이러한 문제를 완화하기 위해 사용자의 구성에 따라, 미리 소정의 패리티 비트량을 매번의 패리티 요청 없이 한 번에 채널코드 복호화부(32)가 받아 이것을 이용하는 도중에는 역방향채널로 패리티를 요청하지 않도록 구성할 수 있다.
또한, 상기의 경우에도 보내진 패리티 비트에 대한 정보를 모두 소진한 후, 아직도 신뢰도가 낮다고 판단되는 경우 추가로 패리티 비트에 대한 정보를 더 보내도록 구성할 수도 있다. 또한, 역방향 채널을 사용하지 않는다고 가정하고 Wyner-Ziv 부호화 장치(10)는 미리 계산 또는 설정된 일정량의 패리티를 복호화 장치(30)에 보내며, 복호화 장치(30)는 패리티 비트를 요구하지 않는 형태로 구성될 수도 있다.
또한 도 3의 채널코드 복호화부(32)에서 사용하는 채널코드는 Shannon 한계에 거의 도달한다고 밝여진 터보코드를 사용하거나 LDPC 채널코드를 사용하는 것이 바람직하다. 이외에도, 부호화효율과 에러정정이 좋은 여타의 채널코드를 사용할 수 있음도 또한 자명하다.
도 4은 본 발명에 따른 해쉬정보 선택부(37)의 구성을 도시한 도면이다. 프레임 간에 움직임이 복잡한 경우, 또는 움직임이 선형적으로 변하지 않는 경우 또는 물체 및 배경이 갑자기 사라지거나 나타나는 경우에는 보조정보 생성시에 사용하는 움직임 벡터 예측이 정확하지 않게 때문에, 잡음이 많이 추가된 보조정보를 생성할 가능성이 크다. 이런 경우에, 부호화기로부터 전송되는 해쉬정보를 이용하면, 정확한 움직임 예측이 가능하기 때문에 잡음이 크게 제거된 보조정보를 생성할 수 있다. 하지만, 추가로 해쉬정보에 할당되는 비트량이 많기 때문에, Rate 측면에서 손해를 보게 된다. 따라서, 반드시 필요한 곳에서만 해쉬정보를 이용하여 보조정보를 생성하는 것이 필요하다. 상기 해쉬정보 선택부(37)는 보조정보 생성시에 해쉬정보가 필요한 부분을 선택함으로써, 추가되는 비트량을 감소시킬 수 있으며 또한 잡음이 잘 제거된 보조정보를 생성할 수 있다.
도 4에 도시된 바와 같이, 본 발명에 따른 해쉬정보 선택부(37)는 움직임 예측 신뢰도 측정부(371)와 해쉬정보 결정부(372)를 포함한다.
상기 움직임 예측 신뢰도 측정부(371)는, 그 구성의 일 예는 도 5에 도시된 바와 같이, 상기 키프레임 복호화부(33)으로부터 복원된 키프레임(a) 간의 및/또는 상기 복원된 키프레임과 상기 보조정보 생성부(36)으로부터 생성된 보조정보(b) 간의 시간적 유사도 측정부(371a) 및/또는 공간적 유사도 측정부(371b)와 최종 신뢰도 측정부(371c)를 포함한다.
그리고, 상기 움직임 예측 신뢰도 측정부(371)의 상기 시간적 유사도 측정 과정의 일례는 도 6에 도시된 바와 같이, 복원된 키프레임(a) 와 생성된 보조정보(b) 간의 움직임 벡터간의 차이를 기반으로 프레임들 간의 유사도를 [수학식 1]과 같이 계산할 수 있다.
Figure 112009034041533-pat00001
여기서, N(x)는 x가 발생하는 횟수이고 mv-KEY는 키프레임간의 움직임 벡터이며 mv-RE는 보조정보를 생성한 후, 보조정보와 키프레임간의 움직임 벡터이다. 하나의 보조정보 내에서, mv-KEY의
Figure 112009034041533-pat00002
이 mv-RE와 같은 경우가 발생하는 횟수를 측정한다. σ 1 은 시간적 신뢰도 판별에 기준으로 사용되는 임계값으로 N(x)가 상기 임계값보다 작으면, 해쉬정보를 전송하는 것으로 선택한다.
상기 [수학식 1]이 프레임 단위로 해쉬가 필요한 보조정보를 선택하기 위해 시간적 움직임 예측 신뢰도를 구하는 경우라면, [수학식 2]는 매크로블록 단위로 해쉬가 필요한 보조정보를 선택하기 위해 시간적 움직임 예측 신뢰도를 구하는 방법이다.
Figure 112009034041533-pat00003
여기서, 복원된 키프레임간의 움직인 벡터인 mv-KEY와 복원된 키프레임과 생 성된 보조정보의 움직임 벡터인 mv-RE의 차이의 절대값을 측정한다. σ 2 은 시간적 신뢰도 판별에 기준으로 사용되는 임계값으로 상기 두개의 움직임 벡터 차이의 절대값이 상기 임계값보다 작으면, 해쉬정보를 전송하는 것으로 선택한다.
상기 [수학식 1]과 [수학식 2]가 움직임 벡터를 이용하여 해쉬정보가 필요한 보조정보를 선택하기 위해 시간적 움직임 예측 신뢰도를 구하는 경우라면, 움직임 벡터를 사용하지 않고 해쉬정보가 필요한 보조정보를 선택하기 위하여, 매크로블록 단위로 시간적 움직임 예측 신뢰도를 구하는 방법의 일례로 [수학식 3]과 도 7에 도시된 바를 참고할 수 있다.
Figure 112009034041533-pat00004
Figure 112009034041533-pat00005
여기서, A가 생성된 보조정보의 픽셀값 및/또는 주파수영역의 값이라면, B는 복원된 이전 키프레임 및/또는 복원된 이후 키프레임의 픽셀값 및/또는 주파수영역의 값이라고 생각할 수 있다. 또는, 생성된 보조정보를 고려하지 않는다면, A는 복원된 이전 키프레임의 픽셀값 및/또는 주파수영역의 값이고 B는 복원된 이후 키프레임의 픽셀값 및/또는 주파수영역의 값이라고 생각할 수 있다. 상기 [수학식 3]과 도 7에 도시된 그림은 매크로 블록의 크기가 8X8인 경우이지만, 다른 크기의 매크로 블록에도 상기 수식은 유효하다.
아울러, 상기 움직임 예측 신뢰도 측정부(371)의 상기 공간적 유사도 측정부(361b)는 복원된 현재 키프레임 내에서 및/또는 생성된 보조정보 내에서 해당 화소값과 도 8에 도시된 이웃 화소들 간의 차를 기반으로, 복원된 현재 키프레임 내의 및/또는 생성된 보조정보 내의 복원된 화소와 그 이웃 화소들 간의 유사도를 [수학식 4]와 같이 계산할 수 있다.
Figure 112009034041533-pat00006
Figure 112009034041533-pat00007
Figure 112009034041533-pat00008
Figure 112009034041533-pat00009
Figure 112009034041533-pat00010
Figure 112009034041533-pat00011
여기서,
Figure 112009034041533-pat00012
는 (i,j) 위치에서의 복원된 현재 키프레임 내의 및/또는 생성된 보조정보 내의 해당 화소 값이며,
Figure 112009034041533-pat00013
은 도 8에 도시된 바와 같이, 이에 대한 복원된 현재 키프레임 내의 및/또는 생성된 보조정보 내의 공간적 주변 화소 값들이다. 그리고
Figure 112009034041533-pat00014
은 측정된 공간적 유사도이며
Figure 112009034041533-pat00015
는 신뢰도 판별에 기준으로 사용되는 임계값이다.
이해를 돕기 위해 예를 들면 해당화소
Figure 112009034041533-pat00016
이 값은 152 이며 해당화소에 대한 공간적 이웃화소들인
Figure 112009034041533-pat00017
는
Figure 112009034041533-pat00018
과 같을 때
Figure 112009034041533-pat00019
는 91이며
Figure 112009034041533-pat00020
는 68이므로 [수학식 4]에따라
Figure 112009034041533-pat00021
는 61이며
Figure 112009034041533-pat00022
은 -84이다. 따라서
Figure 112009034041533-pat00023
는
Figure 112009034041533-pat00024
이므로
Figure 112009034041533-pat00025
인 61이 되며
Figure 112009034041533-pat00026
은 0.02가 된다.
Figure 112009034041533-pat00027
를 주변화소들의 표준편차의 역수로 할 경우 이 값은 0.11이므로 계산 결과는 해당화소의 신뢰도가 낮아 해당위치에 해쉬정보가 필요함을 알려준다.
시간적 및 공간적 유사도 측정을 위해 사용한 상기의 수학식들은 시간적 또는 공간적 유사도 측정을 위한 하나의 예로 상기와 같은 실시예 이외에도 다양한 접근이 가능하다.
그리고, 상기 움직임 예측 신뢰도 측정부(371)의 상기 최종 신뢰도 측정부(371c)는, 상기 시간적 유사도 측정부(371a)에서 측정된 유사도 및/또는 상기 공간적 유사도 측정부(371b)에서 측정된 유사도 및/또는 상기 시간적 유사도와 상기 공간적 유사도를 고려하여 최종 움직임 벡터 예측의 신뢰도를 측정한다.
아울러, 상기 해쉬정보 선택부(37)의 해쉬정보 결정부(372)는, 그 구성의 일 예는 도 9에 도시된 바와 같이, 상기 움직임 예측 신뢰도 측정부(371)에서 측정된 움직임 벡터의 신뢰도(h)와 소정의 임계값을 제공하는 해쉬선택 기준정보에 따라서, 해쉬정보가 필요한 곳의 위치를 결정하는 해쉬정보 위치 결정부(372a)와 선택된 해쉬정보의 위치에서 유용한 해쉬정보의 유형을 선택하는 해쉬정보 유형 결정부(372b)와 선택된 위치와 결정된 유형의 해쉬정보에 대해서, 적절한 해쉬정보의 양을 결정하는 해쉬정보 양 결정부(372c)를 포함하며, 보조정보 생성시에 해쉬정보가 필요한 부분을 결정한다.
상기 해쉬정보 위치 결정부(372a)는, 도 10의 (a)에 도시된 바와 같이 프레임 단위로 해쉬정보가 필요한 부분의 위치를 선택하는 경우와 도 10의 (b)에 도시된 바와 같이 매크로블럭 단위로 해쉬정보가 필요한 부분의 위치를 선택할 수 있다.
그리고 상기 해쉬정보 유형 결정부(372b)는, 적당한 유형의 해쉬정보를 선택할 수 있는데, 도 10의 (c)에는 가능한 여러 가지의 해쉬정보의 유형들이 도시되어 있다.
그리고 상기 해쉬정보 양 결정부(372c)는, 적절한 양의 해쉬정보를 선택할 수 있는데, 도 10의 (d)에 도시된 바는 프레임 단위 및/또는 매크로블럭 단위 내에서 해쉬정보를
Figure 112009034041533-pat00028
만 보내는 경우를 일 예로 든 것이다.
도 11은 본 발명에 따른 해쉬정보 생성부(12)의 구성을 도시한 도면이다. 상기 해쉬정보 생성부(12)는, 상기 해쉬정보 선택부(37)에서 결정된 해쉬선택 정보(e)에 따라서, WZ프레임 부호화부(11)부터 전송된 WZ프레임에 대한 정보(a)를 기반으로 해쉬정보를 생성한다. 상기 WZ프레임 부호화부(11)로부터 전송된 정보는 원본 WZ프레임에 대한 정보로서, 상기 WZ프레임 부호화부(11)에서 부호화가 화소영역 및/또는 변환영역의 어느 영역에서 이루어지는지에 따라서 다양한 값의 원본 정보가 가능하다.
도 11에 도시된 바와 같이, 본 발명에 따른 해쉬정보 생성부(12)는 해쉬정보 위치 생성부(121)와 해쉬정보 유형 생성부(122), 그리고 해쉬정보 양 생성부(123)를 포함한다.
상기 해쉬정보 위치 생성부(121)는, 상기해쉬정보 선택부(37)에서 결정된 해쉬정보 선택정보에 따라서, 보조정보 생성시에 해쉬정보가 필요한 위치를 선택한다. 생성할 해쉬정보의 위치는 WZ 프레임들 중에서, WZ프레임 단위(도 10의 (a))로 선택되거나 또는 WZ프레임 내에서 부호화단위(도 10의 (b))로 선택될 수 있다.
그리고, 상기 해쉬정보 유형 생성부(122)는, 상기 해쉬정보 선택부(37)에서 결정된 해쉬정보 선택정보에 따라서, 상기 해쉬정보 위치 생성부(121)에서 선택된 생성할 해쉬정보 위치에 대하여, 생성할 해쉬정보의 유형을 선택한다. 생성할 해쉬정보의 유형은, 도 10의 (c)에 도시된 바와 같이, 여러 가지 경우가 가능하다.
그리고, 상기 해쉬정보 양 생성부(123)는, 상기 해쉬정보 선택부(37)에서 결정된 해쉬정보 선택정보에 따라서, 상기 해쉬정보 위치 생성부(121)에서 선택된 해쉬정보를 생성할 위치인 WZ프레임 단위 및/또는 부호화 단위와 상기 해쉬정보 유형 생성부(122)에서 선택된 해쉬정보를 생성할 유형에 대하여, 필요한 해쉬정보의 양을 선택한다. 도 10의 (d)에 도시된 바는, 선택하여 생성할 해쉬정보가 필요한 부호화 단위에 대하여, 해쉬정보의 양을
Figure 112009034041533-pat00029
만 보내는 경우를 도시한 경우이며, 상기 해쉬정보의 양은 선택된 부호화 단위에 대하여 전부를 보낼 수도 있으며, 그보다 더 적은 양의 해쉬정보의 양을 선택할 수 있다. 또는, 선택된 해쉬정보의 유형에 대하여, 할당되는 비트량을 다르게 함으로써, 해쉬정보의 양을 다르게 하여 해쉬정보를 생성할 수 있다.
도 12는 본 발명에 따른 보조정보 생성부(36)의 구성을 도시한 도면이다. 상기 보조정보 생성부(36)는, 이웃 프레임 간의 유사도를 이용하여 복원하여야 할 현재 프레임에 가상채널의 잡음이 부가된 것으로 간주되는 보조정보를 생성한다. 상기 보조정보는, 상기 복원된 키프레임으로부터 움직임 벡터 예측을 이용한 보간법으로 생성되거나, 또는 상기 복원된 키프레임 간의 움직임 벡터 예측이 정확하지 않은 경우에 부호화기로부터 전송되는 해쉬정보를 이용하여 생성된다.
도 12에 도시된 바와 같이, 본 발명에 따른 보조정보 생성부(36)는 해쉬정보 판별부(361), 제1 보조정보 생성부(362), 제2 보조정보 생성부(363) 그리고 최종 보조정보 생성부(364)를 포함한다.
상기 해쉬정보 판별부(361)는, 상기 해쉬정보 생성부(12)에서 생성된 해쉬정보(b)가 전송되었는지를 판단하고, 해쉬정보가 전송되었을 경우에는 상기 제1 보조정보 생성부(363)으로 해쉬정보를 전송하여, 보조정보 생성시에 해쉬정보를 사용하도록 한다. 해쉬정보가 전송되지 않았을 경우에는 상기 제2 보조정보 생성부(364)에서 해쉬정보 없이 복원된 키프레임만으로 보조정보가 생성되도록 한다.
그리고, 상기 제1 보조정보 생성부(362)는, 상기 해쉬정보 판별부(361)에서 전송된 해쉬정보와 상기 복원된 키프레임으로부터 보조정보를 생성하는데, 상기 전송된 해쉬정보를 사용하여 정확한 움직임 예측을 할 수 있기 때문에 잡음이 잘 제거된 보조정보를 생성한다.
그리고, 상기 제2 보조정보 생성부(363)는, WZ프레임 전후에 위치한 상기 복원된 키프레임만으로 보조정보를 생선하는데, 선형 움직임을 가정한 보간법을 이용하여 복원할 WZ프레임에 해당하는 보조정보(Side Information)를 생성한다. 경우에 따라 보외법을 사용할 수도 있으나 성능 면에서 보간법이 보외법에 비해 앞서기 때문에 대부분의 경우 보간법이 사용되고 있다.
이하에서는 도 13 내지 도 18을 참조하여 본 발명에 따른 선택적 해쉬정보를 이용한 분산비디오부호화 영상의 복호화 장치 및 그 방법에 대해 상세히 설명한다.
해쉬정보 선택 단계(S10)는 여러가지로 구현될 수 있으나 그 일 실시예는 도 14와 도 15 그리고 도16에 도시된 바와 같다. 도 14를 참조하여 설명하면, 움직임 예측 신뢰도 측정 단계(S11)에서 보조정보 생성시에 사용되는 프레임간의 움직임 벡터의 예측 신뢰도를 측정하고, 해쉬정보 결정 단계(S13)에서 상기 움직임 예측 신뢰도와 소정의 해쉬선택 기준정보를 이용하여, 보조정보 생성시에 움직임 벡터를 예측하는데 사용되는 해쉬정보의 위치, 해쉬정보의 유형 그리고 해쉬정보의 양을 선택한다.
움직임 예측 신뢰도 측정 단계(S11)에서는, 도 15를 참조하여 설명하면, 시간적 유사도 측정단계(S11a)에서는 복원된 현재 키프레임(a)와 생성된 보조정보(g) 간의 시간적 유사도를 상술한 [수학식 1] 및/또는 [수학식 2]와 같이 계산한다. 또는, 생성된 보조정보(g)를 이용하지 않고 복원된 현재 키프레임(a)간의 시간적 유사도를 상술한 [수학식 3]과 같이 계산한다.
복원된 현재 키프레임(a) 및/또는 생성된 보조정보(g)의 각 위치와 이웃한 화소들 간의 유사도를 공간적 유사도 측정 단계(S11b)에서 계산한다. 이 공간적 유사도 측정은 복원된 키프레임(a) 및/또는 생성된 보조정보(g)의 각 화소값과, 이의 이웃화소값 간의 차를 기반으로 상술한 [수학식 4]과 같이 계산하는 것이다.
상기 유사도들을 측정하기 위해 계산하는 것은 하나의 예일 뿐이며, 다른 계산 방식의 사용도 가능하다.
단계 S11a 및 단계 S11b에 의해 계산된 공간적, 시간적 유사도는 최종 신뢰도 측정 단계(S11c)에서, 상기 측정된 시간적 유사도 값과 공간적 유사도 값을 소정의 임계값
Figure 112009034041533-pat00030
와 비교하여, 임계값
Figure 112009034041533-pat00031
보다 작으면 해당 프레임은 움직임 예측 신뢰도가 낮은 것으로 판별되어, 해쉬정보가 선택적으로 필요하다고 간주할 수 있다.
도 15에 도시된, 도 14의 움직임 예측 신뢰도 측정 단계(S11)의 일 실시예에서는 공간적 또는 시간적 유사도 두 개를 최종 신뢰도 측정 단계(S11c)에서 모두 이용하는 구성을 보였으나 응용에 따라 최종 신뢰도 측정 단계(S11c)는 공간적 또는 시간적 유사도 중의 어느 하나만을 고려하도록 수행될 수 있다.
해쉬정보 결정 단계(S13)에서는, 도 16을 참조하여 설명하면, 상기 움직임 예측 신뢰도 측정 단계(S11)에 의해 움직임 예측 신뢰도가 낮다고 판별되는 프레임에 대하여 소정의 해쉬선택 기준정보를 기준으로 선택적으로 해쉬정보를 결정하는데, 해쉬정보 위치 결정부(S13a)는, 도 10의 (a)와 (b)를 참조하여 설명하면, 보조정보 생성시에 해쉬정보가 필요한 프레임의 위치를 결정하거나, 또는 프레임내에서 해쉬정보가 필요한 매크로블럭의 위치를 결정한다. 해쉬정보 유형 결정부(S13b)는, 도 10의 (c)를 참조하여 설명하면, 보조정보 생성시에 움직임 벡터 예측에 유 용한 해쉬정보의 유형을 결정한다. 해쉬정보의 유형은 픽셀 값, 블록 내의 픽셀 값의 합, 블록 내의 픽셀 값의 평균, 블록내의 픽셀 값의 표준편차, 경계선 정보, DC 정보, AC 정보, 또는 이들의 적절한 조합이 될 수 있다.
그리고 해쉬정보 양 결정부(S13c)는, 추가되는 비트량을 고려하여 적절한 양의 해쉬정보를 결정한다. 도 10의 (d)를 참조하면, 단계 S13a와 단계 13b에서 결정된 해쉬정보의 위치와 해쉬정보의 유형에 대하여, 해쉬정보의 양을 체크보드 모양으로
Figure 112009034041533-pat00032
만 선택된 경우의 일례를 나타내고 있다. 또는, 해쉬정보의 양은 지그재그 순서에 따라서 일부만 선택될 수도 있으며, 여타의 다른 방식으로 적절한 양의 해쉬정보가 선택될 수 있다.
해쉬정보 생성 단계(S30)는 상기 WZ프레임 부호화부(11)에서 전송되는 현재 WZ프레임에 대한 정보(a)와 상기 해쉬정보 선택부(37)에서 선택된 정보(e)에 따라서, 상기 보조정보 생성부(36)에서 보조정보를 생성시에 움직임 벡터를 정확히 예측하는데 도움이 되는 해쉬정보(b)를 생성한다. 상기 해쉬정보 생성 단계(S30)는, 여러가지로 구현될 수 있으나 그 일 실시예는 도 17에 도시된 바와 같다.
해쉬정보 위치 생성 단계(S31)는, 상기 해쉬정보 선택부(37)의 해쉬정보 위치 결정 단계(S13a)에서 선택된 정보(e)에 따라서, 도 10의 (a)와 (b)를 참조하여 설명하면, 보조정보 생성시에 해쉬정보가 필요한 프레임의 위치, 또는 프레임 내에서 매크로블럭의 위치에 해당되는 현재 WZ프레임에 대한 정보(a)를 통과 시키면서 해쉬정보를 생성한다.
해쉬정보 유형 생성 단계(S33)는, 상기 해쉬정보 선택부(37)의 해쉬정보 유형 결정 단계(S13b)에서 선택된 정보(e)에 따라서, 상기 해쉬정보 위치 결정단계(S13a)에서 선택된 프레임 또는 프레임내 매크로블럭에 대하여, 보조정보 생성시에 움직임 벡터 예측에 유용하게 사용되는 해쉬정보의 유형에 해당되는 현재 WZ프레임에 대한 정보(a)를 통과 시키면서 해쉬정보를 생성한다. 해쉬정보의 유형은, 도 10의 (c)에서 도시된, Case 1 ~ Case 8중에 어느 하나, 또는 여타의 다른 유형의 해쉬정보가 생성될 수 있다.
해쉬정보 양 생성 단계(S35)는, 상기 해쉬정보 선택부(37)의 해쉬정보 양 결정 단계(S13c)에서 선택된 정보(e)에 따라서, 상기 해쉬정보 위치 결정 단계(S13a)에서 선택된 프레임 또는 프레임 내 매크로블럭과 상기 해쉬정보의 유형 결정 단계(S13b)에서 선택된 해쉬정보의 유형에 대하여, 적절한 양의 현재 WZ프레임에 대한 정보(a)를 통과 시키면서 해쉬정보를 생성한다. 해쉬정보 양 결정 단계(S13c)는, 도 10의 (d)를 참조하여 설명하면, 추가되는 비트량을 고려하여 적절한 양의 해쉬정보를 결정한다. 도 10의 (d)를 참조하면, 해쉬정보의 양을 체크보드 모양으로
Figure 112009034041533-pat00033
만 선택된 경우의 일례를 나타내고 있다. 또는, 해쉬정보의 양은 지그재그 순서에 따라서 일부만 선택될 수도 있으며, 여타의 다른 방식으로 적절한 양의 해쉬정보가 선택될 수 있다.
한편, 해쉬정보 위치 생성 단계(S31)와 해쉬정보 유형 생성 단계(S33) 그리고 해쉬정보 양 생성 단계(S35)는 사용자의 구성에 따라 병렬구조 수행하거나, 순 차구조로 수행시에 상기 순서대로 수행할 필요는 없다.
보조정보 생성 단계(S50)는 상기 해쉬정보 생성부(12)에서 생성된 해쉬정보(b)와 상기 프레임버퍼(34)에 저장되어 있던, 상기 복원된 과거 및/또는 미래 키프레임(c)를 이용하여 보조정보를 생성한다. 또는, 상기 해쉬정보 생성부(12)에서 해쉬정보(b)가 전송되지 않았다면, 상기 복원된 과거 및/또는 미래 키프레임(c)만을 이용하여 보조정보를 생성한다. 상기 보조정보 생성 단계(S50)는, 여러가지로 구현될 수 있으나 그 일 실시예는 도 18에 도시된 바와 같다. 도 18을 참조하여 설명하면, 보조정보 생성 전에 해쉬정보(b)가 전송되었는지를 해쉬정보 판별단계(S51)에서 판별한다.
제1 보조정보 생성 단계(S53)에서는, 상기 해쉬정보 판별 단계(S51)에서 해쉬정보가 생성되었다고 판단이 되었을 때, 전송되는 해쉬정보와 상기 복원된 키프레임(c)를 이용하여, 보조정보를 생성한다.
제2 보조정보 생성 단계(S55)에서는, 상기 해쉬정보 판별 단계(S51)에서 해쉬정보가 생성되지 않았다고 판단이 되었을 때, 상기 복원된 키프레임(c)만을 이용하여, 보조정보를 생성한다.
최종 보조정보 생성 단계(S57)에서는, 최초에는 선택된 해쉬정보가 전송되지 않기 때문에, 상기 제2 보조정보 생성 단계(S55)에서 해쉬정보 없이 생성되는 보조정보가 저장되어 있다. 이렇게 생성된 보조정보(g)는 상기 해쉬정보 선택부(37)로 전송되어, 잡음이 더 잘 제거된 보조정보를 다시 생성하기 위해서 필요한 해쉬정보를 선택하는데 이용된다. 또는, 해쉬정보가(b)가 전송되었다면, 상기 제1 보조정보 생성 단계(S53)에서 생성되는 보조정보가 재저장된다. 상기 최종 보조정보 생성 단계(S57)에서 최종 저장된 보조정보(f)는, 채널코드 복호화부(32)로 전송되어 부호화기로부터 채널코드로 생성된 패리티비트를 전송받아 잡음이 제거된 후, 양자화 된 값을 추정하는데 사용된다. 또한, 상기 최종 보조정보 생성 단계(S57)에서 최종 저장된 보조정보(f)는, 영상 복원부(35)로 전송되어 상기 추정된 양자화 된 값과 함께 역영자화하여 복원된 WZ프레임을 재생하는 것에 사용된다.
본 발명에 따른 실시예에서는 양자화를 비롯한 제반 부호화 및 복호화 과정이 화소영역에서 이루어지는 것으로 설명되어 있으나, 본 발명의 요지는 부호화, 복호화가 이루어지는 영역 및 또는 선택되는 해쉬정보가 화소영역이 아닌 변환영역이어도 무관하게 적용 가능하다. 본 발명이 변환영역에서 적용될 경우, 도 19에 도시된 바와 같이, 변환부(38) 및 역변환부(39)가 추가로 적용될 수 있다. 도 19는 본 발명의 제2 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
따라서, 본 발명의 설명에 기술된 화소 또는 해당 위치의 표현은, 본 발명의 구현에 따라 화소영역뿐만 아니라 정수변환, DCT 또는 웨이블렛 변환과 같은 변환영역에서의 변환계수로도 생각할 수 있으며, 변환영역의 변환계수로 생각할 경우에는 도 19에 도시된 변환부(38) 및 역변환부(39)가 마련되고, 이 경우 본 발명의 설명에 사용한 화소의 표현은 변환계수도 생각할 수 있다.
도 20은 본 발명의 제3 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
본 발명의 제3 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템은 Wyner- Ziv 부호화 장치(10)와, 생성되는 보조정보의 노이즈의 양을 예측하여 선택적으로 인트라 코딩을 하는 기능이 포함된 분산 비디오 부호화 영상의 복호화 장치(30)를 포함한다.
도 20을 참조하여 설명하면, 본 발명에 따른 Wyner-Ziv 부호화 장치(10)는 키프레임 부호화부(13)와 WZ프레임 부호화부(11)를 포함한다. 그리고, 본 발명에 따른 복호화 장치(30)는 키프레임 복호화부(33), 채널코드 복호화부(32), 영상복원부(35), 보조정보 생성부(36) 및 인트라 코딩 선택부(37)를 포함한다.
키프레임 복호화부(33)는 키프레임 부호화부(13)로부터 전송받은 정보를 이용하여 키프레임을 복원하고, 인트라 코딩 선택부(37)는 생성되는 보조정보의 노이즈의 양을 예측하여, 노이즈가 많다고 예측되는 보조정보(WZ 프레임 단위)나 보조정보 내의 부호화단위(WZ 매트로블록 단위)를 선택(m)한다. 상기의 인트라 코딩으로 선택 되는 보조정보나 보조정보 내의 부호화 단위에 대해서는 분산 비디오 부호화 방법을 적용하지 않으며, 종래의 인트라 코딩 방식으로 부호화(m)를 한다. 상기의 인트라 코딩으로 부호화가 선택되지 않은 보조정보나 보조정보 내의 부호화 단위에 대하여서는 상기의 분산 비디오 부호화 방법을 적용한다.
상기의 인트라 코딩 선택부(37)에서 인트라 코딩을 적용할 보조정보나 보조정보 내의 부호화 단위를 선택하는 방법은 상기의 해쉬 정보를 선택하는 방법과 동일하다 (상기 수학식 1, 2, 3, 4). 상기 해쉬 정보 선택부에서 사용했던 상기 수학식 1, 2, 3, 4에 의하면, 생성하는 보조정보의 노이즈의 양을 예측하고 예측된 노이즈의 양이 많을 경우를 판단하는 방법이다. 따라서, 상기 수학식에 의하여 예측 되는 보조정보의 노이즈가 많을 경우에 한하여, 상기의 해쉬 정보를 선택적으로 전송 받아 보조정보의 화질을 향상시키는 방법을 실시할 수도 있으며, 또는 상기의 선택적 해쉬정보를 사용하는 방법과 다른 방법으로 인트라 코딩(m)을 선택적으로 분산 비디오 부호화 방법에 적용 할 수 있다.
도 21은 본 발명의 제4 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
도 21를 참조하여 설명하면, 본 발명에 따른 Wyner-Ziv 부호화 장치(10)는 키프레임 부호화부(13)와 WZ프레임 부호화부(11)를 포함한다. 그리고, 본 발명에 따른 복호화 장치(30)는 키프레임 복호화부(33), 채널코드 복호화부(32), 영상복원부(35), 보조정보 생성부(36) 및 패리티 요청 스킵 선택부(37)를 포함한다.
키프레임 복호화부(33)는 키프레임 부호화부(13)로부터 전송받은 정보를 이용하여 키프레임을 복원하고, 패리티 요청 스킵 선택부(37)는 생성 된 보조정보의 화질을 판단한다. 상기의 패리티 요청 스킵 선택부(37)에서, 생성 된 보조정보의 화질이 좋다고 판단되는 경우(원본 WZ 프레임과 비교하여 노이즈가 거의 없음)에 한하여, 상기 복호화 장치(30)는 보조정보의 노이즈를 정정하기 위한 패리티를 요청을 스킵하고 화질이 좋은 보조정보를 복원된 영상으로 사용(n)한다.
상기의 패리티 요청 스킵 선택부(37)에서, 선택적으로 화질이 좋은 보조정보의 오류정정을 위한 패리티 요청을 스킵하는 방법은, 인코더로부터 전송되는 패리티의 양을 감소시켜 율(rate) 측면에서 이점이 있으며, 그리고 화질이 좋은 보조 정보를 복원된 영상으로 사용(n)함으로써 최종적으로 디코더에서 복원된 영상의 화 질이 크게 저하되지 않는다.
상기의 패리티 요청 스킵 선택부(37)에서, 화질이 좋은 보조정보 또는 보조정보 내의 부호화 단위를 선택하는 방법은 상기의 해쉬 정보를 선택하는 방법(상기 수학식 1, 2, 3, 4)과 반대의 경우로서 다음과 같다.
Figure 112009034041533-pat00034
Figure 112009034041533-pat00035
Figure 112009034041533-pat00036
Figure 112009034041533-pat00037
Figure 112009034041533-pat00038
Figure 112009034041533-pat00039
Figure 112009034041533-pat00040
Figure 112009034041533-pat00041
Figure 112009034041533-pat00042
Figure 112009034041533-pat00043
상기 수학식 5, 6, 7 8에 의하면, 생성되는 보조정보에서 노이즈의 양을 예측하고 예측된 노이즈의 양이 적은 경우를 판단하는 방법이다. 따라서, 상기 수학식에 의하여 예측된 노이즈가 적다고 판단되는 보조정보에 대하여, 상기의 좋은 화질의 보조정보 또는 보조정보 내의 부호화 단위는, 선택적으로 오류정정을 하지 않고 최종 WZ 프레임으로 복원하여도 복원된 영상의 전체적인 화질을 저하시키지 않는다. 상기의 선택된 좋은 화질의 보조정보에 대하여, 오류정정을 위한 패리티 요청을 스킵 함으로써, 인코더로부터 디코더로 전송되는 패리티의 양을 줄일 수 있으며, 이것은 율(rate)측면에서 시스템의 전체적인 성능 향상을 가져온다.
도 22는 본 발명의 제4 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
구체적으로 도 22는 본 발명에 따른 Wyner-Ziv 부호화 장치(10)와 선택적으로 해쉬정보를 이용하여 보조정보를 생성하는 기능과 또는 선택적으로 인트라 코딩을 실시하는 방법과 또는 선택적으로 패리티 전송을 스킵하는 방법이 포함된 해쉬정보를 이용한 분산 비디오 부호화 영상의 복호화 장치(30)의 구성을 도시한 도면이다.
도 22를 참조하여 설명하면, 본 발명에 따른 Wyner-Ziv 부호화 장치(10)는 키프레임 부호화부(13)와 WZ프레임 부호화부(11), 그리고 해쉬정보 생성부(12)를 포함한다. 그리고, 본 발명에 따른 복호화 장치(30)는 키프레임 복호화부(33), 채널코드 복호화부(32), 영상복원부(35), 보조정보 생성부(36) 및 해쉬정보 선택부 또는 인트라 코딩 선택부 또는 패리티 요청 스킵 선택부(37)를 포함한다.
키프레임 복호화부(33)는 키프레임 부호화부(13)로부터 전송받은 정보를 이용하여 키프레임을 복원하고, 해쉬정보 선택부 또는 인트라 코딩 선택부 또는 패리티 요청 스킵 선택부(37)는 생성되는 보조정보의 노이즈의 양을 예측하여, 노이즈가 많다고 예측되는 보조정보(WZ 프레임 단위)나 보조정보 내의 부호화단위(WZ 매트로블록 단위)를 선택한다. 상기의 예측되는 노이즈가 많아서 선택 된 보조정보나 보조정보 내의 부호화 단위에 대해서는, 분산 비디오 부호화 방법을 적용하지 않으며, 종래의 인트라 코딩 방식으로 부호화(m)를 실시 하거나, 또는 해쉬정보를 사용(e)하여 보조정보의 화질을 향상시킨다.
한편, 해쉬정보 선택부 또는 인트라 코딩 선택부 또는 패리티 요청 스킵 선택부(37)에서, 노이즈가 적다고 예측되어 선택 된 보조정보 또는 보조정보 내의 부호화 단위의 대하여, 디코더는 보조정보의 오류정정을 위한 패리티 전송을 스킵 함으로써 율(rate) 측면에서 성능 향상을 가져오며, 아울러 선택된 좋은 화질의 보조정보를 최종 복원된 WZ 프레임 영상으로 사용하여도 화질의 큰 저하가 발생하지 않는다.
상기의 인트라 코딩 부호화(m) 또는 해쉬정보를 사용(e)하여 보조정보의 화질을 향상시키는 방법 또는 패리티 요청을 스킵(n)하는 방법으로 선택되지 않은 보조정보나 보조정보 내의 부호화 단위에 대하여서는, 상기의 분산 비디오 부호화 방 법을 적용한다.
상기의 해쉬정보 선택부 또는 인트라 코딩 선택부 또는 패리티 요청 선택부(37)에서 인트라 코딩을 적용하거나 또는 해쉬정보를 사용 할 보조정보나 보조정보 내의 부호화 단위를 선택하는 방법은, 상기의 해쉬 정보를 선택하는 방법과 동일하다 (상기 수학식 1, 2, 3, 4). 상기 해쉬 정보 선택부에서 사용했던 상기 수학식 1, 2, 3, 4에 의하면, 생성되는 보조정보의 노이즈의 양을 예측하고 예측된 노이즈의 양이 많을 경우를 판단하는 방법이다. 따라서, 상기 수학식에 의하여 예측되는 보조정보의 노이즈가 많을 경우에 한하여, 상기의 선택적 인트라 코딩 방법, 또는 상기의 해쉬 정보를 선택적으로 전송 받아 보조정보의 화질을 향상시키는 방법을 적용하여 전체적인 시스템의 성능을 율-왜곡(rate-distortion) 측면에서 향상시킬 수 있다.
또는, 상기의 해쉬정보 선택부 또는 인트라 코딩 선택부 또는 패리티 요청 선택부(37)에서, 패리티 요청을 스킵하여 오류정정을 실시하지 않고 최종 복원된 WZ 프레임 영상으로 사용 할, 보조정보나 보조정보 내의 부호화 단위를 선택하는 방법은, 상기의 해쉬 정보를 선택하는 방법(상기 수학식 1, 2, 3, 4)과 비교하여 반대의 경우이다. 상기 수학식 5 6, 7, 8에 의하면, 생성되는 보조정보의 노이즈의 양을 예측하고 예측된 노이즈의 양이 적은 경우를 판단하는 방법이다. 따라서, 상기 수학식에 의하여 예측되는 보조정보의 노이즈가 많을 적은 경우에 한하여, 상기의 패리티 요청을 선택적으로 스킵함으로써 전체적인 시스템의 성능을 율-왜곡(rate-distortion) 측면에서 향상시킬 수 있다.
도 23은 패리티 요청 선택부(37)의 기능을 보여주는 흐름도(N37)를 나타낸다.
도 23은 본 발명에 따른 Wyner-Ziv 부호화 장치(10)와 선택적으로 해쉬정보를 이용하여 보조정보를 생성하는 기능과 또는 선택적으로 인트라 코딩을 실시하는 방법과 또는 선택적으로 패리티 전송을 스킵하는 방법이 포함된 해쉬정보를 이용한 분산 비디오 부호화 영상의 복호화 장치(30)의 구성을 도시한 도면(도 22)에서, 해쉬정보 선택부 또는 인트라 코딩 선택부 또는 패리티 요청 선택부(37)의 기능을 보여주는 흐름도(N37)이다.
도 23에서, 보조정보 노이즈 예측 단계는(N37a) 상기의 생성된 보조정보(g) 의 노이즈의 양을 예측하거나, 또는 상기의 복원된 키프레임(d) 로부터 생성될 보조정보의 노이즈의 양을 예측한다.
상기의 예측된 보조정보의 노이즈의 양이 많은 경우에는, 인트라 코딩 방법을 선택(N37b)하거나, 또는 해쉬정보를 사용하여 보조정보를 향상시키는 방법을 선택(N37c)할 수 있다. 상기의 두가지 방법은 예측된 보조정보의 노이즈의 양이 많은 경우에 선택될 수 있는 부호화 방법을 보여준다.
한편, 예측된 보조정보의 노이즈의 양이 적은 경우에는, 생성된 좋은 화질의 보조정보는 상기의 영상 복원부(도22, 35)로 보내진다. 그리고, 보조정보의 오류정정을 위한 패리티의 전송을 스킵하고 좋은 화질의 보조정보를 WZ 프레임으로 복원하는 방법을 선택(N37c)할 수 있다. 상기의 패리티 스킵 방법은 인코더로부터 전송되는 패리티의 양을 감소시킴으로써, 율(rate) 측면에서 전체적인 성능 향상을 가 져오며 보조정보의 화질이 좋기 때문에 복원된 영상의 화질도 크게 나빠지지 않는다.
상기의 예측된 보조정보의 노이즈의 양이 많을 경우, 또는 상기의 예측된 보조정보의 노이즈의 양이 적을 경우를 제외하면, 선형보간법으로 생성된 보조정보는 상기의 영상 복원부(도22, 35)로 보내지고, 상기의 분산 비디오 부호화 방법을 선택(N37d)한다. 따라서, 인코더로부터 패리티를 전송받아 보조정보의 오류를 정정하고 최종 WZ 프레임 영상을 복원한다.
상기와 같이 본 발명의 바람직한 실시 예에 따른 Wyner-Ziv 코딩기술에서의 복호화에 있어서, 선택적 해쉬정보 이용방법 및 그 장치가 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 요지를 벗어나지 않는 범위에서 다양한 실시예가 있을 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범의와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)와 이에 상응하는 복호화기(130)의 구성을 도시한 도면이다.
도 2는 종래의 보조정보 생성을 예시한 도면이다.
도 3는 본 발명의 제1 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
도 4은 본 발명에 따른 해쉬정보 선택부(37)의 구성을 도시한 도면이다.
도 5는 본 발명에 따른 본 발명에 따른 움직임 예측 신뢰도 측정부(371)의 구성의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 상기 움직임 예측 신뢰도 측정부(371)의 상기 시간적 유사도 측정 과정의 일례를 나타낸 도면이다.
도 7은 매크로 블록의 크기가 8X8인 경우 매크로블록 단위로 시간적 움직임 예측 신뢰도를 구하는 방법의 일례를 설명하기 위한 도면이다.
도 8은 복원된 현재 키 내에서 및/또는 생성된 보조정보 내에서 해당 화소값과 이웃 화소들 간의 차를 기반으로 복원된 현재 키 내의 및/또는 생성된 보조정보 내의 복원된 화소와 그 이웃 화소들 간의 유사도를 계산하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 해쉬정보 선택부(37)의 해쉬정보 결정부(372)를 나타낸 블록도이다.
도 10은 단위로 해쉬정보가 필요한 부분의 위치를 선택하고, 매크로블럭 단 위로 해쉬정보가 필요한 부분의 위치를 선택하고, 적당한 유형의 해쉬정보를 선택하고, 선택하여 생성할 해쉬정보가 필요한 부호화 단위에 대하여 해쉬정보의 양을 1/2만 보내는 경우를 도시한 도면이다.
도 11은 본 발명에 따른 해쉬정보 생성부(12)의 구성을 도시한 도면이다.
도 12는 본 발명에 따른 보조정보 생성부(36)의 구성을 도시한 도면이다.
도 13 내지 도 18은 본 발명에 따른 선택적 해쉬정보를 이용한 분산비디오부호화 영상의 복호화 방법을 나타낸 순서도이다.
도 19는 본 발명의 제2 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
도 20은 본 발명의 제3 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
도 21은 본 발명의 제4 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
도 22은 본 발명의 제5 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템을 나타낸다.
도 23은 해쉬정보 선택부 또는 인트라 코딩 선택부 또는 패리티 요청 선택부의 기능을 보여주는 흐름도이다.

Claims (37)

  1. 와이너-지브(Wyner-Ziv) 부호화 및 복호화 시스템에 있어서,
    와이너-지브 코딩 방식에 따라 키 프레임들을 부호화하여 출력하고 와이너-지브 프레임들을 복원하는데 사용되는 패리티 비트들을 생성하여 출력하는 부호화 장치와,
    상기 부호화된 키 프레임들과 패리티 비트들을 수신하며, 상기 부호화된 키 프레임들을 복원하고, 상기 복원된 키프레임들로부터 보조 정보를 생성하는데, 상기 보조 정보의 생성에 해쉬 정보가 필요한 지 여부를 판단하고, 상기 보조 정보의 생성에 해쉬 정보가 필요한 것으로 판단됨에 따라 움직임 예측 신뢰도와 미리 결정된 기준 정보에 상응하는 해쉬 정보를 결정하며, 상기 부호화 장치에 상기 결정된 해쉬 정보의 전송을 요청하는 복호화 장치를 포함하되,
    상기 부호화 장치는 상기 복호화 장치로부터 상기 결정된 해쉬 정보의 전송을 요청받으면, 상기 요청된 해쉬 정보를 생성하여 상기 복호화 장치로 출력하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  2. 제1항에 있어서, 상기 복호화 장치는
    상기 부호화 장치로부터 전송되는 키 프레임을 복원하는 키프레임 복호화부와;
    상기 복원된 키프레임 및/또는 생성된 이전 보조정보를 이용하여 상기 움직임 예측 신뢰도를 측정하고 상기 미리 결정된 기준 정보에 의하여 필요한 해쉬정보를 결정하고 상기 결정된 해쉬 정보를 상기 부호화 장치로 출력하는 해쉬정보 선택부와;
    상기 복원된 키프레임 및/또는 상기 부호화 장치로부터 전송되는 해쉬정보를 이용하여 보조정보를 생성하는 보조정보 생성부와;
    상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와;
    상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재 WZ 프레임을 복원하는 영상복원부를 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  3. 제2항에 있어서, 상기 부호화 장치는
    상기 키 프레임들을 부호화하여 출력하는 키 프레임 부호화부와,
    상기 와이너-지브 프레임들을 복원하는데 사용되는 패리티 비트들을 생성하여 출력하는 와이너-지브 프레임 부호화부와,
    상기 해쉬정보 선택부에 의해 결정된 정보에 따라서 해당 해쉬정보를 생성하는 해쉬정보 생성부를 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  4. 제3항에 있어서, 상기 해쉬정보 선택부는,
    상기 복원된 키프레임 및/또는 상기 생성된 이전 보조정보에 기초하여 복원할 현재 보조정보 내의 움직임 벡터의 신뢰성을 측정할 수 있는 움직임 예측 신뢰도 측정부와;
    상기 움직임 예측 신뢰도 측정부에 의해 측정된 상기 움직임 예측 신뢰도와 소정의 기준정보를 바탕으로 잡음이 잘 제거된 보조정보를 생성하기 위해서 필요한 해쉬정보를 결정하는 해쉬정보 결정부를 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  5. 제4항에 있어서, 상기 움직임 예측 신뢰도 측정부는,
    상기 복원된 키프레임 간의 또는 상기 복원된 키프레임과 생성된 이전 보조정보 간의 시간적 유사도 측정부와 상기 복원된 키프레임 및/또는 생성된 이전 보조정보 내의 특정 화소와 이웃 화소 간의 공간적 유사도를 측정하는 공간적 유사도 측정부 중 적어도 어느 하나와;
    상기 시간적 유사도 및/또는 상기 공간적 유사도에 기초하여 최종적으로 움직임 예측 신뢰도를 판단하는 최종 신뢰도 결정부를 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  6. 제5항에 있어서, 상기 시간적 유사도 측정부는, 상기 복원된 키프레임 간의 상호 대응하는 부호화단위 내의 화소 간의 화소 값의 차이의 합을 이용하여 상기 시간적 유사도를 측정하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  7. 제5항에 있어서, 상기 시간적 유사도 측정부는,
    상기 복원된 키프레임 간의 움직임 벡터와 상기 복원된 키프레임과 생성된 이전 보조정보 간의 움직임 벡터를 비교하여 상기 시간적 유사도를 측정하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  8. 제5항에 있어서, 상기 공간적 유사도 측정부는, 상기 특정 화소와 상기 이웃 화소 간의 화소값의 차이를 이용하여 상기 공간적 유사도를 측정하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  9. 제5항에 있어서, 상기 최종 신뢰도 결정부는, 상기 측정된 시간적 유사도와 공간적 유사도를 고려하여 최종 신뢰도를 판단하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  10. 제9항에 있어서, 상기 해쉬정보 결정부는,
    상기 최종 신뢰도와 소정의 해쉬선택 기준정보를 이용하여, 해쉬정보가 필요한 곳을 선택하는 해쉬정보 위치 결정부와;
    상기 선택된 위치에서 사용되는 해쉬정보의 유형을 결정하는 해쉬정보 유형 결정부와;
    상기 선택된 위치에서 상기 결정된 유형의 해쉬정보의 양을 결정하는 해쉬정보 양 결정부를 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  11. 제10항에 있어서, 상기 해쉬정보 위치 결정부는, 보조정보 생성시에 해쉬정보가 필요한 프레임 또는 프레임내의 부호화 단위의 위치를 선택하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  12. 제11항에 있어서, 상기 부호화 단위는 매크로블록인 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  13. 제10항에 있어서, 상기 결정된 해쉬정보의 유형은 픽셀 값, 블록 내의 픽셀 값의 합, 블록 내의 픽셀 값의 평균, 블록내의 픽셀 값의 표준편차, 경계선 정보, DC 정보 및 AC 정보 중 적어도 하나 이상을 이용하여 결정되는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  14. 제10항에 있어서, 상기 해쉬정보 양 결정부는, 상기 선택된 위치와 상기 결정된 유형에 따른 해쉬정보를 전부 출력하거나, 더 적은 양의 해쉬정보를 출력하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  15. 제3항에 있어서, 상기 해쉬정보 생성부는,
    상기 해쉬정보가 필요한 프레임 또는 프레임내의 부호화 단위를 선택하는 해 쉬정보 위치 생성부와;
    상기 선택된 해쉬정보의 위치에 대하여 해쉬정보의 유형을 선택하는 해쉬정보 유형 생성부와;
    상기 선택된 해쉬정보의 위치와 유형에 따라 필요한 해쉬정보의 양을 선택하는 해쉬정보 양 생성부를 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  16. 제15항에 있어서, 상기 해쉬정보 위치 생성부는, 상기 해쉬정보 선택부로부터 입력받은 정보에 따라서 상기 와이너-지브 프레임 부호화부로부터 제공된 와이너-지브 프레임에 대한 정보 중, 상기 보조정보를 생성하는데 필요한 최소한의 해쉬정보를 프레임 단위 또는 프레임 내의 부호화 단위로 선택하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  17. 제15항에 있어서,
    상기 해쉬정보 유형 생성부는, 상기 해쉬정보 생성부로부터 입력받은 정보에 따라서, 상기 선택된 프레임 단위 또는 프레임 내의 부호화 단위에 대하여, 해쉬 정보의 유형을 픽셀 값, 블록 내의 픽셀 값의 합, 블록 내의 픽셀 값의 평균, 블록내의 픽셀 값의 표준편차, 경계선 정보, DC정보 및 AC 정보 중 적어도 하나 이상을 이용하여 결정하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  18. 제15항에 있어서, 상기 해쉬정보 양 생성부는, 상기 해쉬정보 선택부로부터 입력받은 정보에 따라서, 상기 해쉬정보 위치 생성부로부터 선택된 프레임단위 또는 프레임 내의 부호화 단위와 상기 해쉬정보의 유형에 따라서, 상기 와이너-지브 프레임 부호화부로부터 제공된 와이너-지브 프레임에 대한 정보를 전부 출력하거나 그보다 적게 출력하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  19. 제3항에 있어서, 상기 보조정보 생성부는,
    상기 해쉬정보 생성부로부터 해쉬정보가 전송되었는지를 판단하는 해쉬정보 판별부와;
    상기 복원된 키프레임과 상기 해쉬정보를 이용하여 보조정보를 생성하는 제1 보조정보 생성부와;
    상기 복원된 키프레임만으로 보조정보를 생성하는 제2 보조정보 생성부와;
    상기 채널코드 복호화부와 상기 영상복원부로 전송될 최종 보조정보를 저장하는 최종 보조정보 생성부를 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  20. 제19항에 있어서, 상기 해쉬정보 판별부는, 상기 해쉬정보 생성부로부터 해쉬정보가 전송되었는지를 판단하여, 해쉬정보가 전송이 되었다면 상기 제1 보조정보 생성부로 상기 복원된 키프레임과 상기 해쉬정보를 전송하며, 해쉬정보가 전송이 되지 않았다면 상기 제2 보조정보 생성부로 상기 복원된 키프레임만 전송하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  21. 제2항에 있어서,
    상기 와이너-지브 프레임들에 대한 부호화 및 복호화 영역이 화소 영역이 아닌 변환 영역인 경우, 상기 복호화된 키 프레임들을 변환 영역으로 옮기는 변환부와,
    상기 영상 복원부로부터 출력되는 복원된 프레임들을 화소 영역으로 옮기는 역변환부를 더 포함하는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 시스템.
  22. 비디오 디코딩 장치에 있어서,
    부호화 장치로부터 전송되는 키 프레임을 복원하는 키프레임 복호화부와;
    상기 복원된 키프레임을 이용하여 보조정보를 생성하는 보조정보 생성부와;
    상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와;
    상기 생성되는 보조정보의 노이즈의 양을 예측하여, 노이즈가 많다고 예측되는 보조정보나 보조정보 내의 부호화단위를 선택하는 인트라 코딩 선택부와;
    상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재 WZ 프레임을 복원하는 영상복원부를 포함하되,
    상기 비디오 디코딩 장치는,
    상기 보조 정보의 생성에 해쉬 정보가 필요한 지 여부를 판단하고, 상기 보조 정보의 생성에 해쉬 정보가 필요한 것으로 판단됨에 따라 움직임 예측 신뢰도와 미리 결정된 기준 정보에 상응하는 해쉬 정보를 결정하며, 상기 부호화 장치에 상기 결정된 해쉬 정보의 전송을 요청하는 해쉬 정보 선택부를 포함하고,
    상기 보조정보 생성부는,
    상기 부호화 장치로부터 상기 해쉬 정보가 전송된 것으로 판단되는 경우 상기 복원된 키프레임과 상기 전송된 해쉬 정보를 이용하여 보조정보를 생성하는 것을 특징으로 하는 비디오 디코딩 장치.
  23. 비디오 디코딩 장치에 있어서,
    부호화 장치로부터 전송되는 키 프레임을 복원하는 키프레임 복호화부와;
    상기 복원된 키프레임을 이용하여 보조정보를 생성하는 보조정보 생성부와;
    상기 생성된 보조정보의 화질을 판단하는 패리티 요청 스킵 선택부와,
    상기 생성된 보조정보의 화질이 좋다고 판단되는 경우, 상기 부호화 장치에 대한 패리티 비트의 요청을 스킵하고, 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와;
    상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재 WZ 프레임을 복원하는 영상복원부를 포함하되,
    상기 비디오 디코딩 장치는,
    상기 보조 정보의 생성에 해쉬 정보가 필요한 지 여부를 판단하고, 상기 보조 정보의 생성에 해쉬 정보가 필요한 것으로 판단됨에 따라 움직임 예측 신뢰도와 미리 결정된 기준 정보에 상응하는 해쉬 정보를 결정하며, 상기 부호화 장치에 상기 결정된 해쉬 정보의 전송을 요청하는 해쉬 정보 선택부를 포함하고,
    상기 보조정보 생성부는,
    상기 부호화 장치로부터 상기 해쉬 정보가 전송된 것으로 판단되는 경우 상기 복원된 키프레임과 상기 전송된 해쉬 정보를 이용하여 보조정보를 생성하는 것을 특징으로 하는 비디오 디코딩 장치.
  24. 와이너-지브(Wyner-Ziv) 부호화 및 복호화 방법에 있어서,
    부호화 장치에서 와이너-지브 코딩 방식에 따라 키 프레임들을 부호화하여 출력하고, 와이너-지브 프레임들을 복원하는데 사용되는 패리티 비트들을 생성하여 출력하는 단계와,
    복호화 장치에서 상기 부호화된 키 프레임들을 복원하는 단계와,
    상기 복호화 장치에서 상기 복원된 키프레임들로부터 보조 정보를 생성하는 단계와,
    상기 복호화 장치에서 상기 보조 정보의 생성에 해쉬 정보가 필요한 지 여부를 판단하고, 상기 보조 정보의 생성에 해쉬 정보가 필요한 것으로 판단됨에 따라 움직임 예측 신뢰도와 미리 결정된 기준 정보에 상응하는 해쉬 정보를 결정하며, 상기 부호화 장치에 상기 결정된 해쉬 정보의 전송을 요청하는 단계와,
    상기 부호화 장치에서 상기 복호화 장치로부터 상기 결정된 해쉬 정보의 전송을 요청받으면, 상기 요청된 해쉬 정보를 생성하여 상기 복호화 장치로 출력하는 단계를 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  25. 제24항에 있어서, 상기 부호화 장치로 요청하는 단계는
    상기 복원된 키프레임 및/또는 생성된 이전 보조정보를 이용하여 해쉬정보를 선택하는 단계를 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  26. 제24항에 있어서, 상기 보조 정보를 생성하는 단계는 상기 복원된 키프레임 및/또는 상기 부호화 장치로부터 전송되는 해쉬정보를 이용하여 보조정보를 생성하는 단계인 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  27. 제24항에 있어서,
    상기 복호화 장치에서 상기 부호화 장치로부터 전송되는 패리티 비트를 이용하여 양자화된 값을 추정하는 단계와;
    상기 복호화 장치에서 상기 추정된 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재 WZ프레임을 복원하는 단계를 더 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  28. 제25항에 있어서, 상기 해쉬 정보를 선택하는 단계는
    상기 복원된 키프레임 간의 및/또는 상기 복원된 키프레임과 상기 이미 생성된 보조정보 간의 움직임 예측 신뢰도를 측정하는 단계와;
    상기 측정된 움직임 예측 신뢰도와 소정의 해쉬선택 기준정보에 따라서 선택적으로 필요한 해쉬정보를 결정하는 단계를 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  29. 제24항에 있어서, 상기 움직임 예측 신뢰도를 측정하는 단계는
    상기 복원된 키프레임 간의 및/또는 상기 복원된 키프레임과 상기 이미 생성된 보조정보 간의 시간적 유사도를 측정하는 단계와, 상기 복원된 키프레임 내의 및/또는 상기 이미 생성된 보조정보 내의 특정 화소와 이웃 화소 간의 공간적 유사도를 측정하는 단계 중 적어도 어느 한 단계와;
    상기 시간적 유사도 및/또는 상기 공간적 유사도 중 적어도 어느 하나로부터 상기 프레임 간에 최종 신뢰도를 측정하는 단계를 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  30. 제29항에 있어서, 상기 시간적 유사도는 상기 복원된 키프레임 간의 및/또는 상기 복원된 키프레임과 상기 이미 생성된 보조정보 간의 복호화 단위 내에서 상호 대응하는 화소 간의 화소 값들의 차이의 합에 기초하여 측정되거나 상기 복원된 키프레임 간의 및/또는 상기 복원된 키프레임과 상기 이미 생성된 보조정보 간의 움직임 벡터의 차이에 기초하여 측정되는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  31. 제29항에 있어서, 상기 공간적 유사도는 상기 복원된 키프레임 내의 및/또는 상기 이미 생성된 보조정보 내의 특정 화소와 상기 이웃 화소 간의 화소 값의 차이에 기초하여 측정되는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  32. 제28항에 있어서, 상기 선택적으로 필요한 해쉬정보를 결정하는 단계는
    상기 측정된 움직임 예측 신뢰도와 소정의 해쉬선택 기준정보에 따라서, 해쉬정보가 필요한 보조정보 및/또는 보조정보 내의 부호화 단위를 선택하는 해쉬정보 위치를 결정하는 단계와;
    상기 선택된 해쉬정보가 필요한 보조정보 및/또는 보조정보 내의 부호화 단위의 위치에서 해쉬정보의 유형을 결정하는 단계와;
    상기 해쉬정보의 위치와 유형이 결정된 후, 해쉬정보의 양을 결정하는 단계를 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  33. 제32항에 있어서, 상기 해쉬정보 위치는 해쉬정보가 필요한 보조정보 및/또는 보조정보 내의 부호화 단위의 위치를 선택되는 것을 특징으로 하는 와이너-지브 부호화 및 복호화 방법.
  34. 제32항에 있어서, 상기 해쉬정보 유형은 픽셀 값, 블록 내의 픽셀 값의 합, 블록 내의 픽셀 값의 평균, 블록내의 픽셀 값의 표준편차, 경계선 정보, DC 정보 및 AC 정보 중 적어도 하나 이상을 이용하여 결정되는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  35. 제32항에 있어서, 상기 해쉬정보 양은 상기 해쉬정보의 위치와 양이 선택된 후, 해당되는 해쉬정보의 전부 또는 이보다 적게 결정되는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  36. 제24항에 있어서, 상기 해쉬정보를 생성하는 단계는
    상기 해쉬정보가 필요한 보조정보 및/또는 보조정보 내의 부호화 단위의 위치에 해당하는 해쉬정보를 생성하는 단계와;
    상기 선택된 해쉬정보가 필요한 보조정보 및/또는 보조정보 내의 부호화 단위의 위치에서 해쉬정보의 유형을 생성하는 단계와;
    상기 해쉬정보의 위치와 유형이 생성된 후, 해당되는 해쉬정보의 양을 생성하는 단계를 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
  37. 제24항에 있어서, 상기 보조정보를 생성하는 단계는
    상기 해쉬정보가 전송되었는지를 판별하는 해쉬정보 판별하는 단계와;
    상기 해쉬정보가 전송되었다고 판별되면, 상기 해쉬정보와 상기 복원된 키프레임을 이용하여 제1 보조정보를 생성하는 단계와;
    상기 해쉬정보가 전송되지 않았다고 판별되면, 상기 복원된 키프레임만을 이용하여 제2 보조정보를 생성하는 단계와;
    상기 제1 보조정보 및 제2 보정정보에 기초하여 최종 보조정보를 결정하는 최종 보조정보 생성 단계를 포함하는 것을 특징으로 하는 와이너-지브부호화 및 복호화 방법.
KR1020090049707A 2009-01-09 2009-06-05 와이너-지브 부호화 및 복호화 시스템 및 방법 KR101639434B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/588,388 US8599929B2 (en) 2009-01-09 2009-10-14 Distributed video decoder and distributed video decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090002093 2009-01-09
KR1020090002093 2009-01-09

Publications (2)

Publication Number Publication Date
KR20100082700A KR20100082700A (ko) 2010-07-19
KR101639434B1 true KR101639434B1 (ko) 2016-07-13

Family

ID=42642729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090049707A KR101639434B1 (ko) 2009-01-09 2009-06-05 와이너-지브 부호화 및 복호화 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101639434B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101141063B1 (ko) * 2010-11-04 2012-05-03 한국과학기술원 Ｗｙｎｅｒ Ｚｉｖ 비디오 코딩을 위한 보조정보 생성시스템 및 생성방법
KR101308735B1 (ko) * 2011-11-23 2013-09-16 한밭대학교 산학협력단 패리티 비트량 예측에 의한 고속 분산 비디오 부호기/복호기 및 부호화/복호화 방법
KR101307469B1 (ko) * 2012-05-29 2013-09-12 서울대학교산학협력단 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100249407B1 (ko) 1995-10-20 2000-03-15 모리시타 요이찌 비디오 신호 디코딩 시스템에 사용하기 위한 장치 및 소음의 범 위를 억제하기 위한 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100249407B1 (ko) 1995-10-20 2000-03-15 모리시타 요이찌 비디오 신호 디코딩 시스템에 사용하기 위한 장치 및 소음의 범 위를 억제하기 위한 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Anne Aaron, et al., ‘Wyner-Ziv video coding with hash-based motion compensation at the receiver’, IMAGE PROCESSING, 2004. ICIP '04. 2004 INTERNATIONAL CONFERENCE ON(VOLUME:5), 2004.10.24.~27., pages 3
David V. et al., ‘Wyner-Ziv coding of video with unsupervised motion vector learning’, SIGNAL PROCESSING: IMAGE COMMUNICATION, 2008.04.04., pages 369~378
Joao Ascenso et al., ‘Adaptive hash-based information exploitation for efficient Wyner-Ziv video coding’, image processing, 2007, ICIP 2007. IEE International Conference on (Vol 3), 2007. 9.16~10.19,*

Also Published As

Publication number Publication date
KR20100082700A (ko) 2010-07-19

Similar Documents

Publication Publication Date Title
US8599929B2 (en) Distributed video decoder and distributed video decoding method
US20070081589A1 (en) Adaptive quantization controller and methods thereof
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
WO2006070787A1 (ja) 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム
KR20100027384A (ko) 예측 모드 결정 방법 및 장치
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP5133290B2 (ja) 動画像符号化装置および復号装置
US8446949B2 (en) Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data
Huang et al. Improved side information generation for distributed video coding
KR101639434B1 (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR101359500B1 (ko) 양자화/역 양자화 장치 및 방법과 그를 이용한 영상부호화/복호화 장치
KR100915097B1 (ko) 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법
JP4570098B2 (ja) ビデオデータストリームを符号化するための装置
JP5016561B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
JP4642033B2 (ja) 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
Kodavalla et al. Distributed video coding: feedback-free architecture and implementation
KR101074919B1 (ko) 분산 비디오 부호화 영상의 복호화 장치 및 그 방법
KR101311410B1 (ko) 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치
KR100969135B1 (ko) 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법
JP3938679B2 (ja) 最適符号化モード選択型動画像符号化方式
Chien et al. Transform-domain distributed video coding with rate–distortion-based adaptive quantisation
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법
KR101038205B1 (ko) 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
GRNT Written decision to grant