KR101038205B1 - 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치 - Google Patents
분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치 Download PDFInfo
- Publication number
- KR101038205B1 KR101038205B1 KR1020100004181A KR20100004181A KR101038205B1 KR 101038205 B1 KR101038205 B1 KR 101038205B1 KR 1020100004181 A KR1020100004181 A KR 1020100004181A KR 20100004181 A KR20100004181 A KR 20100004181A KR 101038205 B1 KR101038205 B1 KR 101038205B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual channel
- dct
- modeling
- difference
- frequency band
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
분산 비디오 압축 기법에 이용되는 보조 정보를 생성하는데 이용되는 가상 채널을 모델링하는 방법 및 장치가 개시된다. 가상 채널 모델링 방법은 움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 단계, 생성된 차분 프레임에 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 단계, 변환된 차분 프레임에 속하는 모든 차분값(residual) x i 의 확률 질량 함수(PMF) y i 를 연산하는 PMF 연산 단계, 라플라시안 확률 밀도값 f(x i ) 및 확률 질량 함수 y i 의 차이값의 자승을 합산한 자승 오류 연산 단계 및 αk 중에서 자승 오류값(Squared error)을 최소화하는 값을 최적 채널 파라미터 αopt로서 결정하는 최적 채널 파라미터 추정 단계를 포함한다. 본 발명에 의하여 연산 복잡도를 적게 증가시키면서도 가상 채널을 정확하게 모델링할 수 있다.
Description
본 발명은 영상 처리 분야에 관한 것으로서, 특히, 화질의 열화 없이 영상 부호기의 연산 부담을 줄일 수 있는 DVC(Distributed Video Coding) 기법이 적용되는 비디오 신호 처리 장치에서, 가상 채널을 효과적으로 모델링함으로써, 최종적으로 얻어지는 결과물의 품질을 개선하기 위한 방법 및 장치에 관한 것이다.
전자 공학의 발달에 힘입어 정지 영상뿐만 아니라 동영상 콘텐츠도 개인이 자유롭게 생성할 수 있게 되었다. 그런데, 동영상 처리 기술은 정지 영상과는 비교할 수 없을 만큼의 엄청난 연산량과 데이터 처리 속도를 요구한다. 즉, 비디오 콘텐츠는 다른 멀티미디어 콘텐츠와는 달리 양적인 면에서는 제한된 대역폭을 가지고 많은 데이터를 전송하는데 제한이 따르고, 질적인 면에서는 제한된 하드웨어 리소스의 한계에 기인하여 화질의 열화가 발생할 수 있다.
이러한 하드웨어적 한계를 극복하기 위하여, 최근 비디오 코덱 분야에서 주목 받고 있는 분산 비디오 압축 기술(Distributed Video Coding, DVC)은 부호기에서의 연산 부담을 줄인다. 즉, 부호기에서 움직임 예측(Motion Estimation)이 수행되어 움직임 정보를 전송하는 H.264/AVC와 같은 기존의 비디오 압축 시스템과 다르게, 분산 비디오 압축 기술(DVC)은 움직임 예측 및 보상(Motion Compensation) 동작을 복호기에서 수행한다. 이와 같은 비디오 코덱 구조의 변화로 인해 움직임 예측으로 발생하는 복잡도가 복호기로 옮겨져 간단한 부호기의 구현이 가능해진다. 따라서 분산 비디오 압축 기술을 이용함으로서 상대적으로 제한된 계산량과 소비전력을 가지는 이동 휴대 단말 장치에서도 고해상도 비디오 서비스를 제공할 수 있게 된다.
이와 같은 분산 비디오 압축(DVC) 기술은, 부호기에서 상관성 있는 두 소스 X와 Y를 독립적으로 압축할지라도 복호기에서 압축된 두 소스를 결합적으로 복호한다면 최소 무손실 압축율인 결합 엔트로피로 압축할 수 있음을 증명한 Slepian-Wolf 이론에 근거를 두고 있다. 그 후 Slepian-Wolf 이론은 손실 압축에 관한 Wyner-Ziv 이론으로 확장되었고, Wyner-Ziv 정리는 상관성 있는 두 소스 중 하나가 복호기의 보조 정보(Side information)로 제공되었을 때의 손실 압축의 이론적 경계를 제시한다. 일반적으로 Wyner-Ziv 코덱은 Slepian-Wolf 인코더 및 양자화기로 구성되어 있는 것으로 볼 수 있다. Wyner-Ziv 코딩 구조에서는 홀수 프레임들은 키 프레임으로 여겨지고 이것들은 인트라프레임(intra-frame)으로서 인코딩된다. 반면, Wyner-Ziv 프레임으로 불리는 짝수 프레임들에 대해서는 각 픽셀이 양자화되며, 오류 정정 부호기를 거쳐 신드롬 형태로 전송 버퍼에 저장된다. 신드롬 비트는 압축률에 따라 다른 길이로 축적될 수 있으며 이 신드롬 비트들은 요청에 의해 디코더로 전송된다. 그러면, 디코더는 짝수 프레임에 대한 예측을 하기 위해 인접한 키 프레임으로부터 보조 정보를 생성하고 받은 신드롬 비트를 이용하여 오류 정정 복호기로 보조 정보의 질을 향상시킨다. 만일 디코더가 신뢰성있게 심볼들을 디코딩할 수 없으면, 역방향 링크를 통하여 인코더 버퍼로부터 더 긴 길이의 신드롬 비트를 요청한다.
이러한 Wyner-Ziv 영상 부호기는 많은 비용을 줄일 수 있으며, 각각의 영상 프레임 자체만을 압축하기 때문에 처리량을 현저히 감소시킬 수 있다. 네트워크 상의 고정된 부분에 위치한 복호기는 훨씬 복잡한 인터프레임(inter-frame) 처리를 통해 프레임 사이의 통계적 의존성을 찾아낼 수 있다.
그런데, 분산 비디오 코딩의 성능 향상을 위해서는 오류 정정 복호기와 최적 복원 과정의 성능 향상이 필요하다. 또한, 이러한 성능을 향상시키기 위해서는 가상 상관 채널(virtual correlation channel)의 정확도를 향상시켜야 한다. 이와 같이 가상 상관 채널을 정확히 모델링함으로써, 오류 정정 복호기로 들어가는 연판정(Soft decision) 값을 시간과 공간에 대한 오류 정도에 따라 정확하게 할당할 수 있게 되며, 복원 블록에서 정확한 조건부 기대값을 계산할 수 있게 된다. 종래 기술에 의한 가상 채널 모델링 방법에서는 밴드별 샘플들의 통계적 분산에 기초하여 채널 파라미터 α를 추정한다.
그러나, 샘플 분산을 이용하여 계산된 채널 파라미터 α에 의한 라플라시안 분포는 실제 차분 밴드의 확률 질량 함수와는 차이가 있으며, 이러한 오차는 상관도가 낮은 밴드에서는 더욱 커진다. 그 결과, 최적화되지 않은 채널 파라미터 α에 의한 오류는 오류 정정 복호기는 물론 복원 과정에서도 오차를 야기하므로 복호화 결과가 열화된다.
그러므로, 채널 파라미터 α를 연산량을 현저히 증가시키지 않으면서 실제 분포와 가장 일치되는 분포를 얻을 수 있는 파라미터와 근접하도록 가상 채널을 모델링하는 기법이 절실히 요구된다.
본 발명의 목적은 라플라시안 분포가 실제 분포와 가장 일치되는 분포를 얻을 수 있는 파라미터를 찾도록 가상 채널을 모델링함으로써, 비디오 복호화 품질을 향상시키기 위한 가상 채널 모델링 방법을 제공하는 것이다.
본 발명의 다른 목적은 최소 자승법으로 라플라시안 분포의 파라미터를 측정함으로써, 연산량을 적게 증가시키면서도 가상 채널을 정확하게 모델링할 수 있는 장치를 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 샘플 분산으로부터 가상 채널의 채널 파라미터를 추정하는 종래의 방법에서, 이상치들을 제거한 새로운 샘플 집합만을 대상으로 채널 파라미터를 추정하도록 함으로써, 연산 복잡도를 유지시키면서도 연산 결과의 신뢰도를 더욱 높일 수 있는 가상 채널 모델링 기법을 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 제1 측면은 인코딩된 영상 및 보조 정보(side information)를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법에 관한 것이다. 본 발명의 제1 측면에 의한 가상 채널 모델링 방법은, 움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 단계, 생성된 차분 프레임에 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 단계, 변환된 차분 프레임에 속하는 모든 차분값(residual) x i 의 확률 질량 함수(PMF) y i 를 연산하는 PMF 연산 단계, 차분값 x i 에 해당하는 라플라시안 확률 밀도값 f( x i )를 연산하는 라플라시안 확률 밀도값 연산 단계, 라플라시안 확률 밀도값 f(x i ) 및 확률 질량 함수 y i 의 차이값의 자승을 합산한 자승 오류 연산 단계, 및 자승 오류값(Squared error)을 최소화하는 채널 파라미터 α를 최적 채널 파라미터 αopt로서 결정하는 최적 채널 파라미터 추정 단계를 포함한다. 특히, PMF 연산 단계는 원본 영상에 이산 코사인 변환(DCT)을 행한 후 각 주파수 대역별로 샘플 집합을 형성하는 단계, 샘플 집합 중에서 일부의 샘플들을 선택하기 위한 소정 규칙에 따라서 주파수 대역 별 샘플 집합들 각각의 부분 집합을 선택하는 부분 집합 선택 단계, 및 부분 집합에 포함되는 샘플들에 대해서만 확률 질량 함수 y i 를 측정하는 단계를 포함한다. 더 나아가, 자승 오류 연산 단계는 연산 복잡도를 낮추기 위하여 확률 질량 함수 y i 의 BL을 감소시키는 단계, 및 감소된 BL을 이용하여 자승 오류를 연산하는 단계를 포함한다. 바람직하게는, 최적 채널 파라미터 추정 단계는 αk에 대한 자승 오류(Squared error) 값을 나타내는 그래프로부터 반복적으로(iteratively) 최소값을 추적하는 이분(bi-section) 알고리즘 및 기울기 감소(gradient descent) 알고리즘 중 하나를 이용하여 최적 채널 파라미터 αopt를 결정하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 제2 측면은 인코딩된 영상 및 보조 정보를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법에 대한 것이다. 본 발명의 제2 측면에 의한 가상 채널 모델링 방법은 움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 단계, 생성된 차분 프레임에 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 단계, 변환된 차분 프레임 Tb(u,v)에 포함되는 샘플들 중에서 소정의 신뢰 구간에 속하는 샘플들만으로 구성된 부분 집합을 결정하는 단계, 부분 집합에 포함되는 샘플들에 대하여, 차분 프레임 Tb(u,v)의 샘플 분산을 연산하는 단계, 주파수 대역별 샘플 분산으로부터 채널 파라미터를 연산하는 채널 파라미터 추정 단계, 및 가상 채널의 채널 파라미터에 상응하는 라플라시안 분포로서 가상 채널을 모델링하는 단계를 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 제3 측면은 인코딩된 영상 및 보조 정보를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 장치에 관한 것이다. 본 발명의 제3 측면에 의한 가상 채널 모델링 장치는 컴퓨터에 의하여 실행될 수 있는 명령들을 실행하기 위한 프로세서, 및 프로세서에 연결되며, 컴퓨터에 의하여 실행될 수 있는 명령들을 저장하기 위한 메모리를 포함하며, 컴퓨터에 의하여 실행될 수 있는 명령들은, 움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 동작, 생성된 차분 프레임에 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 동작, 변환된 차분 프레임에 속하는 모든 차분값 x i 의 확률 질량 함수(PMF) y i 를 연산하는 PMF 연산 동작, 차분값 x i 에 해당하는 라플라시안 확률 밀도값 f( x i )를 연산하는 라플라시안 확률 밀도값 연산 동작, 라플라시안 확률 밀도값 f( x i ) 및 확률 질량 함수 y i 의 차이값의 자승을 합산한 자승 오류 연산 동작, 및 자승 오류값(Squared error)을 최소화하는 채널 파라미터 α를 최적 채널 파라미터 αopt로서 결정하는 최적 채널 파라미터 추정 동작을 수행하도록 적응된다. 특히, 컴퓨터에 의하여 실행될 수 있는 명령들은 PMF 연산 동작을 수행하기 위하여, 원본 영상에 이산 코사인 변환(DCT)을 행한 후 각 주파수 대역별로 샘플 집합을 형성하는 동작, 샘플 집합 중에서 일부의 샘플들을 선택하기 위한 소정 규칙에 따라서 주파수 대역 별 샘플 집합들 각각의 부분 집합을 선택하는 부분 집합 선택 동작, 및 부분 집합에 포함되는 샘플들에 대해서만 확률 질량 함수 y i 를 연산하는 동작을 수행하도록 더욱 적응된다. 더 나아가, 컴퓨터에 의하여 실행될 수 있는 명령들은 자승 오류 연산 동작을 수행하기 위하여 연산 복잡도를 낮추기 위하여 확률 질량 함수 y i 의 BL을 감소시키는 동작, 및 감소된 BL을 이용하여 자승 오류를 연산하는 동작을 수행하도록 더욱 적응된다. 특히, 컴퓨터에 의하여 실행될 수 있는 명령들은 최적 채널 파라미터 추정 동작을 수행하기 위하여, αk에 대한 자승 오류 값을 나타내는 그래프로부터 반복적으로 최소값을 추적하는 이분 알고리즘 및 기울기 감소 알고리즘 중 하나를 이용하여 최적 채널 파라미터 αopt를 결정하는 동작을 수행하는 것을 특징으로 한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 제4 측면은 인코딩된 영상 및 보조 정보를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 장치에 관한 것이다. 본 발명의 제4 측면에 의한 가상 채널 모델링 장치는 컴퓨터에 의하여 실행될 수 있는 명령들을 실행하기 위한 프로세서, 및 프로세서에 연결되며, 컴퓨터에 의하여 실행될 수 있는 명령들을 저장하기 위한 메모리를 포함하며, 컴퓨터에 의하여 실행될 수 있는 명령들은, 움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 동작, 생성된 차분 프레임에 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 동작, 변환된 차분 프레임 Tb(u,v)에 포함되는 샘플들 중에서 소정의 신뢰 구간에 속하는 샘플들만으로 구성된 부분 집합을 결정하는 동작, 부분 집합에 포함되는 샘플들에 대하여, 차분 프레임 Tb(u,v)의 샘플 분산을 연산하는 동작, 주파수 대역별 샘플 분산으로부터 채널 파라미터를 연산하는 채널 파라미터 추정 동작, 및 가상 채널의 채널 파라미터에 상응하는 라플라시안 분포로서 가상 채널을 모델링하는 동작을 수행하도록 적응되는 것을 특징으로 한다.
본 발명에 의하여, 가상 채널의 채널 파라미터의 라플라시안 분포가 실제 분포와 잘 일치되도록 가상 채널을 모델링할 수 있다. 그러므로, 양호한 채널 파라미터 α를 이용한 분산형 비디오 복호 결과의 품질이 향상된다.
또한, 본 발명에 의하여 최소 자승법으로 라플라시안 분포의 파라미터를 측정함으로써, 연산량을 적게 증가시키면서도 가상 채널을 정확하게 모델링할 수 있다.
뿐만 아니라, 본 발명에 의하여, 이상치들을 제거한 새로운 샘플 집합만을 대상으로 샘플 분산을 연산하고, 이를 이용하여 채널 파라미터를 추정함으로써, 연산 복잡도를 유지하면서 연산 결과의 신뢰도가 개선된다.
도 1은 본 발명의 제2 측면에 의한 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법을 개념적으로 나타내는 흐름도이다.
도 2는 본 발명의 제2 측면에 의한 가상 채널 모델링 방법에서 신뢰 구간을 설정하는 과정을 설명하기 위한 그래프이다.
도 3은 본 발명의 제1 측면에 의한 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법을 개념적으로 나타내는 흐름도이다.
도 4는 차분 밴드의 확률 질량 함수와 본 발명 및 종래 기술에 의한 가상 채널들 간의 정합 정도를 예시하는 그래프이다.
도 5는 본 발명의 제1 측면에 의한 자승 오류(Squared error)를 연산하는 과정을 설명하는 그래프이다.
도 6은 본 발명에 의한 가상 채널 모델링 방법에 적용되는 채널 파라미터 αk에 대한 자승 오류를 나타내는 그래프이다(Hall monitor, DC 밴드).
도 7은 본 발명에 의한 가상 채널 모델링 방법이 적용될 수 있는 변환 영역 분산 비디오 압축 장치를 개념적으로 나타내는 블록도이다.
도 8은 본 발명에 의하여 추정된 채널 파라미터를 Mother 영상에 적용했을 때의 율-왜곡 성능(15 Hz)을 예시하는 그래프이다.
도 9는 본 발명에 의하여 추정된 채널 파라미터를 Foreman 영상에 적용했을 때의 율-왜곡 성능(15 Hz)을 예시하는 그래프이다.
도 2는 본 발명의 제2 측면에 의한 가상 채널 모델링 방법에서 신뢰 구간을 설정하는 과정을 설명하기 위한 그래프이다.
도 3은 본 발명의 제1 측면에 의한 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법을 개념적으로 나타내는 흐름도이다.
도 4는 차분 밴드의 확률 질량 함수와 본 발명 및 종래 기술에 의한 가상 채널들 간의 정합 정도를 예시하는 그래프이다.
도 5는 본 발명의 제1 측면에 의한 자승 오류(Squared error)를 연산하는 과정을 설명하는 그래프이다.
도 6은 본 발명에 의한 가상 채널 모델링 방법에 적용되는 채널 파라미터 αk에 대한 자승 오류를 나타내는 그래프이다(Hall monitor, DC 밴드).
도 7은 본 발명에 의한 가상 채널 모델링 방법이 적용될 수 있는 변환 영역 분산 비디오 압축 장치를 개념적으로 나타내는 블록도이다.
도 8은 본 발명에 의하여 추정된 채널 파라미터를 Mother 영상에 적용했을 때의 율-왜곡 성능(15 Hz)을 예시하는 그래프이다.
도 9는 본 발명에 의하여 추정된 채널 파라미터를 Foreman 영상에 적용했을 때의 율-왜곡 성능(15 Hz)을 예시하는 그래프이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 제2 측면에 의한 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법을 개념적으로 나타내는 흐름도이다.
분산 비디오 압축 기법에서는 보조 정보를 원본 영상에 잡음이 더해진 형태로 해석한다. 그러므로, 분산 비디오 압축 기법이 좋은 성능을 가지기 위해서는 정확한 보조 정보를 생성하여 잡음을 최소화함과 동시에 오류 정정 능력이 뛰어난 채널 부호를 이용하여 보조 정보(side information)의 오류를 정정해야 한다. 보조 정보란 원본 영상이 가상 상관 채널(Virtual Correlation Channel)을 통과하여 수신된 신호로 해석될 수 있다.
효과적인 오류 정정 복호를 위해서는 보조 정보와 원본 영상 간의 상관 채널을 정확하게 예측할 필요가 있다. 이러한 상관 채널은 Wyner-Ziv(WZ) 영상과 보조 정보간의 차분(residual)에 대한 조건부 확률밀도 함수로 표현되며, 일반적으로 이 차분의 분포는 라플라시안(Laplacian) 확률 밀도 함수로 모델링한다. 시/공간적으로 가변적인 상관 채널은 다양한 단계에서 모델링할 수 있는데, 픽셀영역(Pixel domain)에서는 프레임, 블록, 픽셀 단계에서 이루어 질 수 있으며, 변환 영역(Transform domain)에서는 프레임, 밴드, 계수 단계에서 이루어 질 수 있다. 단계가 정교해 짐에 따라 실제 오류 분포에 대한 정확한 예측이 이루어 질 수 있다. 본 발명에 의하여, 변환영역에서 이산 코사인 변환(DCT) 주파수 대역별 가상 상관 채널 모델링 방법은 아래 과정과 같다.
우선, 복호기에는 원본 WZ 프레임이 존재하지 않으므로 수학식 1과 같이 움직임 보상된 앞, 뒤 키 프레임간의 차를 이용하여 차분 프레임을 생성한다(S100). 이 과정에서 차분 프레임은 원본 WZ 영상과 보조 정보간의 차로 정의된다.
여기서 (dx b , dy b )와 (dx f , dy f )는 각각 Wyner-Ziv 프레임의 앞, 뒤 움직임 보상된 프레임인 XB와 XF를 생성하기 위한 움직임 벡터를 나타낸다. 또한, (x, y) 는 픽셀의 위치를 나타낸다.
차분 프레임 R(x,y)가 생성되면, 생성된 차분 프레임 R(x,y)에 수학식 2와 같이 절대값을 취한 후 4x4 DCT 변환을 수행한다. 그리고, 얻어지는 변환 결과로부터 DCT 계수끼리 묶고 16개의 대역을 형성한다(S110).
수학식 2에서, (u, v)는 변환 영역의 차원을 나타내고, ABS(.)는 절대값을, DCT[.]는 이산 코사인 변환(DCT)연산자를 의미하며, b는 주파수 대역을 나타낸다. 또한, 본 발명의 제2 측면에 의한 가상 채널 모델링 방법에서는, Tb(u,v)에 속하는 샘플들 중에서 소정 신뢰 구간 내에 속하는 샘플들만을 선택한다(S120). 신뢰 구간 내의 샘플들만을 선택하는 이유를 설명하기 위하여 도 2를 참조한다.
도 2는 본 발명의 제2 측면에 의한 가상 채널 모델링 방법에서 신뢰 구간을 설정하는 과정을 설명하기 위한 그래프이다.
종래 기술에 의한 샘플 분산 기반의 가상 상관 채널 모델링 결과가 실제 확률 분포와 일치되지 않는 원인은 차분 값의 크기가 큰 소수의 샘플들 때문이다. 이것들은 도 2의 점선으로 표시된 영역 외부에 존재하는 샘플들에 해당된다. 따라서 전체 샘플 집합에서 차분 크기가 큰 소수의 샘플들을 제외하고 샘플 분산을 구하여 파라미터 을 추정한다면 실제 분포와 근사한 가상 상관 채널을 모델링 하면서도 최소자승법 계산보다 복잡도도 줄일 수 있게 된다.
그러므로, 본 발명에서 제안하는 신뢰 구간 영역 기반의 가상 상관 채널 모델링은 샘플들의 평균값으로부터 도 2와 같이 신뢰 구간을 설정하여, 그 구간에 존재하는 샘플들의 분산을 구하여 채널 파라미터 를 추정한다. 이 때 신뢰 구간은 도 2와 같이 전체 샘플의 밀집 지역인 평균(거의 0)으로부터 구간이며 은 전체 샘플에 대한 샘플 표준 편차이다. 도 2에 도시된 바와 같이 구간을 택하면 이는 전체 샘플 중 99.65%의 샘플을 취함을 의미하며 신뢰 구간 영역 기반의 샘플 분산은 다음 수학식 3을 이용하여 계산된다(S130).
수학식 3에서, 는 범위 내의 샘플들의 집합이다. 또한, N은 주파수 대역의 길이로서 DCT 연산된 블록의 총 개수를 나타내며, t b ,k 는 b번째 대역의 k번째 계수를 나타낸다.
그러면, 가상 채널 파라미터는 다음 수학식 4와 같이 연산된다(S140).
이와 같이 채널 파라미터가 얻어지면 얻어진 채널 파라미터를 이용하여 가상 채널을 모델링하여 최적의 확률 분포를 구할 수 있다(S150).
이와 같이, 샘플 분산 계산시 샘플 값의 크기를 확인하여 신뢰 구간 내에 있는 샘플들만을 이용하여 샘플 분산을 계산함으로써, 종래의 방법과는 달리 이상점들을 제거할 수 있다. 그러므로, 실제 관찰된 확률 분포와 근사한 가상 상관 채널을 모델링할 수 있다.
이제, 본 발명의 제1 측면에 의한 가상 채널 모델링 방법을 도 3을 참조하여 설명하면 다음과 같다.
도 3은 본 발명의 제1 측면에 의한 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법을 개념적으로 나타내는 흐름도이다.
도 3에 도시된 가상 채널 모델링 방법은 차분 샘플의 확률 분포와 일치하는 정확한 가상 상관 채널 모델링을 가능하게 한다. 즉, 상관도가 낮은 대역의 경우, 차분 샘플의 측정된 확률 질량 함수(Probability Mass Function, PMF)가 라플라시안 확률 분포를 따르고 있지만, 샘플 분산을 통하여 추정한 으로 모델링한 라플라시안 확률 밀도 함수(Probability Density Function, PDF)와는 일치하지 않는 경우가 발생할 수 있다. 이것은 도 4를 참조하면 쉽게 이해된다.
도 4는 차분 밴드의 확률 질량 함수와 본 발명 및 종래 기술에 의한 가상 채널들 간의 정합 정도를 예시하는 그래프이다. 도 4의 가로축은 차분치를 나타내고, 세로축은 확률 질량 함수(PMF)와 측정치 및 라플라시안 분포 함수를 각각 나타낸다. 이 중 x 마크로 표시된 그래프를 참조하면, 이것은 종래 기술에 의한 샘플 분산을 이용한 가상 채널 모델링 방법을 이용한 결과를 의미하는데, 이것은 PMF와는 차이가 크다는 것을 알 수 있다.
그러므로, 본 발명의 제2 측면에 의한 가상 채널 모델링 방법은 샘플 분산이 아니라 최소 자승법을 이용하여 가상 채널을 모델링하는 기법을 제안한다.
다시 도 3을 참조하면, 움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 단계(S310) 및 생성된 차분 프레임에 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 단계(S320)는 제1 측면에 의한 모델링 방법과 동일하다. 그러면, 변환된 차분 프레임 Tb(u,v)에 속하는 모든 차분값 x i 의 확률 질량 함수 y i 를 연산한다(S330). 이와 같이 확률 질량 함수 y i 가 획득되면, 차분값 x i 에 해당하는 라플라시안 확률 밀도값 f( x i )를 연산한다(S340). 확률 질량 함수 y i 및 라플라시안 확률 밀도값 f( x i )가 모두 획득되면 수학식 5를 이용하여 라플라시안 확률 밀도값 f( x i ) 및 확률 질량 함수 y i 의 차이값의 자승을 합산한 자승 오류를 연산한다(S350).
수학식 5에서, BL은 확률 질량 함수 y i 의 빈(bin)의 개수이고 αk는 k번째 채널 파라미터를 나타낸다. 즉, 최소 자승법 가상 상관 채널 모델링이란, 측정값과 이론적 모델과의 차의 제곱 합이 최소가 되게 하는 파라미터 αopt를 찾는 것을 말한다.
수학식 5를 이용하여 얻어진 최소 자승값(Squared error)을 과정은 도 5를 이용하여 쉽게 이해될 수 있다.
도 5는 본 발명의 제2 측면에 의한 자승 오류(Squared error)를 연산하는 과정을 설명하는 그래프이다.
도 5의 x축은 차분값 x i 에 해당하고, y축은 각각 차분값 x i 에 해당하는 확률 질량 함수 y i 및 차분값 x i 의 라플라시안 확률 밀도값 f( x i )를 도시한다. 본 명세서에서 확률 밀도값이란 이산 확률 변수에서 특정 값에 대한 확률을 나타내는 함수를 의미한다. 따라서, 확률 밀도함수는 일정 빈(bin)에 걸쳐 동일한 값을 가진다.
수학식 5를 이용하여 연산된 자승 오류값(Squared error)을 채널 파라미터 αk에 대해 도시하면 도 6을 얻을 수 있다.
도 6은 본 발명에 의한 가상 채널 모델링 방법에 적용되는 채널 파라미터 αk에 대한 자승 오류를 나타내는 그래프이다(Hall monitor, DC 밴드).
도 6에 도시된 바와 같이, 수학식 5를 이용하여 연산된 자승 오류값(Squared error)은 아래로 볼록한 형태의 그래프를 가진다. 그러므로, 실제 분포와 오류를 최소화 하는 라플라시안 모델의 파라미터 α가 유일하게 존재함을 알 수 있으며, 이러한 최적값을 찾아낼 수 있으면 가상 채널을 최적화되도록 모델링할 수 있다.
즉, αk 중에서 수학식 6을 만족하는 최적 채널 파라미터 αopt를 다양한 수학적 기법을 통해서 획득한다(S360).
2차원 볼록 함수의 최소값을 찾는 최적화 기법은 다양하다. 하지만 연산량을 줄이기 위하여 다양한 알고리즘 중에서 자승 오류를 측정하는 횟수를 최소로 할 수 있게 하는 알고리즘이 적합하다. 적합한 알고리즘에는 해당 범위 내에서 중간 값의 기울기를 측정하여 범위를 반으로 줄이며 찾아가는 이분(bi-section) 알고리즘이 간단히 적용될 수 있다. 또한, 현재의 위치에서 기울기를 측정하여 단계적으로 함수의 최소값에 접근하는 방식인 기울기 감소(Gradient descent) 알고리즘과 기울기 하강 알고리즘이 변형된 다양한 방식들도 역시 적용될 수 있다. 이와 같이 최적 채널 파라미터 αopt가 결정되면, 이를 이용하여 가상 채널을 모델링한다(S370).
다시 도 4를 참조하면, 수학식 6을 이용하여 얻어낸 최적 채널 파라미터 αopt를 이용하여 가상 채널을 모델링한 결과가 실제 라플라시안 분포와 매우 흡사하게 일치한다는 것을 알 수 있다.
따라서, 본 발명의 제2 측면에 의한 가상 채널 모델링 방법에 의하여, 기존의 모델링 방식인 샘플 분산을 이용한 채널보다 실제 차분의 확률 질량 함수와 매우 일치하는 모델을 얻을 수 있다. 그러므로, 개선된 가상 상관 채널 파라미터를 이용하여 저밀도 패리티 체크(Low-Density Parity-Check, LDPC) 복호기의 성능 향상과 더불어 최적화 복원 부분의 성능 개선 효과를 얻을 수 있다.
그런데, 최소 자승법으로 가상 상관 채널의 파라미터를 구하는 방법은 실제 분포와 모델간의 오차 관점에서 최적이지만, 복호기의 복잡도가 샘플 분산을 이용하여 파라미터를 계산하는 알고리즘에 비해 늘어날 수 있다. 그러므로, 연산량을 감소시키기 위한 추가적인 기법이 적용되는 것이 바람직하다.
최소 자승법으로 채널 파라미터를 찾아내는 알고리즘의 복잡도는 실제 차분값의 확률 질량 함수를 구하는 부분과 자승 오류를 측정하는 부분에서 기인된다.
각 DCT 변환 후에 생성되는 주파수 대역은 한 프레임의 전체 블록 수만큼의 샘플을 가지게 되는데 이 샘플 수가 매우 많기 때문에 확률 질량 함수를 구하는데 많은 시간이 소모된다. 그렇다고 샘플 수를 줄이기 위해 특정 지역의 샘플을 무작위적으로 취하여 부분 집합을 생성하면 영상이 공간적으로 일정한 분포를 가지고 있지 않으므로 이 부분 집합은 전체 샘플 집합의 특성을 대변할 수 없게 된다.
그러므로, 본 발명에 의한 가상 채널 모델링 방법은 전체 샘플 집합으로부터 일관된 규칙에 따라서 샘플들을 취하여 부분 집합을 형성한다. 예를 들어, 일관된 규칙이란 일정 간격마다 일정한 개수의 샘플을 취하는 것일 수 있다. 예를 들어, 3개의 샘플마다 하나의 샘플을 취한다면, 복잡도는 1/3 수준 이하로 감소할 수 있을 것이다. 따라서, 이러한 규칙에 의하여 생성된 부분 집합에 대해서 확률 질량 함수를 구함으로써 전체 샘플 집합의 확률 질량 함수와 오차가 없이 복잡도를 낮출 수 있다.
또는, 자승 오류를 측정할 때, 확률 질량 함수의 빈(bin)마다 라플라시안 확률 밀도 함수와의 차분 및 자승 연산들이 이루어지므로, 이 빈의 개수를 줄임으로써 자승 오류 값 측정으로 기인한 복잡도를 낮출 수 있다.
도 7은 본 발명에 의한 가상 채널 모델링 방법이 적용될 수 있는 변환 영역 분산 비디오 압축 장치를 개념적으로 나타내는 블록도이다.
도 7에 도시된 분산 비디오 압축 장치(700)는 Wyner-Ziv 인코더(710) 및 Wyner-Ziv 디코더(740)를 포함한다. Wyner-Ziv 인코더(710)는 DCT부(715), 양자화부(720), LDPC 인코더(725), 버퍼(730) 및 인트라프레임 인코더(735)를 포함한다. Wyner-Ziv 디코더(740)는 최적 복원부(745), LDPC 디코더(750), 인트라프레임 디코더(755), 보조 정보 생성부(760), DCT부(765), 가상 채널 모델링부(770), 및 IDCT부(775)를 포함한다.
키 프레임들의 코딩된 비트 스트림이 수신되면, Wyner-Ziv 인코더(710) 내의 DCT부(715)는 Wyner-Ziv 프레임에 4X4 이산 코사인 변환을 수행하고, Wyner-Ziv 프레임 내의 모든 블록의 각 주파수 대역을 정렬한다. 그러면, 양자화부(720)는 주파수 대역의 각 그룹을 양자화하여 LDPC 인코더(725)로 전달한다. LDPC 인코더(725)는 각 비트 평면에 대하여 패리티 비트를 생성하고, 이것을 버퍼(730)에 저장한다. 보조 정보가 원본 영상에 잡음이 결합된 것으로 간주되기 때문에, LDPC 인코더(725)로부터 잡음이 아닌 것들은 버려진다. 버퍼(730)에 저장된 패리티 비트들은 요청이 있으면 연속적으로 Wyner-Ziv 디코더(740)로 전달된다. 버퍼(730) 및 LDPC 디코더(750) 사이에는 피드백 경로가 형성된다.
인트라프레임 디코더(755)는 인코더로부터 수신된 키 프레임들을 복원하는데, 복원된 키 프레임이 보조 정보 생성부(760)가 보조 정보를 생성하는데 이용된다. 보조 정보 생성부(760)에서 생성된 보조 정보는 DCT부(765)를 통하여 가상 채널 모델링부(770)에 전달된다.
가상 채널 모델링부(770)는 본 발명에 의한 가상 채널 모델링 방법을 수행하기 위한 프로세서(미도시) 및 컴퓨터 프로그램을 저장하는 메모리(미도시)를 포함한다. 또한, 메모리에 저장되는 컴퓨터 프로그램은 본 발명에 따른 모델링 방법을 구현하기 위하여 적응된다. 즉, 가상 채널 모델링부(770)는 본 발명의 제1 측면에 의한 신뢰 구간 내의 샘플들에 대한 샘플 분산을 이용하는 방법이나, 본 발명의 제2 측면에 의한 자승 오류값(Squared error)의 최소값을 이용하는 방법 중 하나를 수행할 수 있다. 또한, 이 과정에서 연산 복잡도를 제거하기 위하여 전술된 다른 부가적인 방법들도 적용될 수 있음은 물론이다.
가상 채널에 대한 추정된 통계적 속성, 즉, 채널 파라미터 α가 수신되면, LDPC 디코더(750)는 보조 정보, 패리티 비트, 및 채널 파라미터 α를 이용하여 연입력(soft input) 및 연출력(soft-output)을 연산한다. 또한, 추정된 채널 파라미터 α는 최적 복원부(745)로 전달되어, 영상이 최적 조건에서 복원될 수 있도록 이용된다. 복원된 영상은 IDCT부(775)를 거쳐서 최종 Wyner-Ziv 프레임으로 디코딩된다.
도 7에서, 종래 기술과 유사한 구성 요소에 대해서는 명세서의 간략화를 위하여 부가적인 설명이 생략되었음에 주의한다.
이와 같이, 본 발명에서는 분산 비디오 압축 기술에서 원본 Wyner-Ziv 대역과 보조 정보 대역 간 가상의 가상 상관 채널의 정확한 모델링 알고리즘들을 제안하였다. 제안한 알고리즘으로 실제 차분의 확률 질량 함수와 매우 일치하는 모델을 얻을 수 있으며, 개선된 가상 상관 채널 파라미터로 LDPC 복호기의 성능 향상과 최적화 복원 부분의 성능 개선을 얻을 수 있다.
도 8 및 도 9는 각각 본 발명에 의하여 추정된 채널 파라미터를 Mother 영상 및 Foreman 영상에 적용했을 때의 율-왜곡 성능(15 Hz)을 예시하는 그래프들이다.
도 8 및 도 9에서 종래 기술에 의한 샘플 분산을 이용한 방식은 원으로 표시되고, 본 발명의 제1 측면에 의한 신뢰 구간 내의 샘플들만을 이용하는 방식은 역삼각형으로 표시되며, 본 발명의 제2 측면에 의한 최소 자승법을 이용한 방식은 사각형으로 표시된다.
도 8 및 9에서 알 수 있는 바와 같이, 본 발명에 의한 가상 상관 채널 모델링을 통해 율-왜곡 성능이 Foreman 영상에서는 최대 PSNR 이득 1.1 dB, Mother 영상에서는 최대 1.8 dB를 얻을 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 모바일 영상 서비스와 센서 네트워크와 같은 저전력, 저복잡도의 비디오 부호기를 필요로 하는 분야의 수요가 증대됨에 따라 프레임간의 상관성을 이용하지 않고 압축함으로써 낮은 복잡도로도 높은 압축률을 얻을 수 있는 분산 비디오 코딩(Distributed Video Coding) 기법에 적용될 수 있다.
700: 분산 비디오 압축 장치, 710: Wyner-Ziv 인코더
740: Wyner-Ziv 디코더, 770: 가상 채널 모델링부
740: Wyner-Ziv 디코더, 770: 가상 채널 모델링부
Claims (12)
- 인코딩된 영상 및 보조 정보(side information)를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법에 있어서,
움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 단계(여기서, (x, y)는 픽셀 영역에서의 픽셀의 위치를 나타낸다);
생성된 차분 프레임에 다음 수학식과 같이 이산 코사인 변환(Discrete Cosine Transform, DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 단계
(여기서, (u, v)는 변환 영역의 차원을 나타내고, ABS(.)는 절대값을, DCT[.]는 이산 코사인 변환(DCT) 연산자를 의미하며, b는 주파수 대역을 나타낸다);
상기 변환된 차분 프레임에 속하는 모든 차분값(residual) x i 의 확률 질량 함수(PMF) y i 를 연산하는 PMF 연산 단계;
상기 차분값 x i 에 해당하는 라플라시안 확률 밀도값 f( x i )를 연산하는 라플라시안 확률 밀도값 연산 단계;
다음 수학식을 이용하여 상기 라플라시안 확률 밀도값 f( x i ) 및 상기 확률 질량 함수 y i 의 차이값의 자승을 합산한 자승 오류 연산 단계
(여기서, BL은 확률 질량 함수 y i 의 빈(bin)의 개수이고 αk는 k번째 채널 파라미터를 나타낸다); 및
αk 중에서 다음 수학식을 만족하는 것을 최적 채널 파라미터 αopt로서 결정하는 최적 채널 파라미터 추정 단계
;
를 포함하는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법. - 제1항에 있어서, 상기 PMF 연산 단계는,
상기 원본 영상에 이산 코사인 변환(DCT)을 행한 후 각 주파수 대역별로 샘플 집합을 형성하는 단계;
상기 샘플 집합 중에서 일부의 샘플들을 선택하기 위한 소정 규칙에 따라서 주파수 대역 별 샘플 집합들 각각의 부분 집합을 선택하는 부분 집합 선택 단계; 및
상기 부분 집합에 포함되는 샘플들에 대해서만 상기 확률 질량 함수 y i 를 연산하는 단계를 포함하는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법. - 제2항에 있어서, 상기 자승 오류 연산 단계는,
상기 확률 질량 함수 y i 의 BL을 감소시키는 단계; 및
감소된 BL을 이용하여 자승 오류를 연산하는 단계를 포함하는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법. - 제1항에 있어서, 상기 최적 채널 파라미터 추정 단계는,
αk에 대한 상기 자승 오류(Squared error) 값을 나타내는 그래프로부터 반복적으로(iteratively) 최소값을 추적하는 이분(bi-section) 알고리즘 및 기울기 감소(gradient descent) 알고리즘 중 하나를 이용하여 상기 최적 채널 파라미터 αopt를 결정하는 단계를 포함하는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법. - 인코딩된 영상 및 보조 정보를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 방법에 있어서,
움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 단계(여기서, (x, y)는 픽셀 영역에서의 픽셀의 위치를 나타낸다);
생성된 차분 프레임에 다음 수학식과 같이 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 단계
(여기서, (u, v)는 변환 영역의 차원을 나타내고, ABS(.)는 절대값을, DCT[.]는 이산 코사인 변환(DCT) 연산자를 의미하며, b는 주파수 대역을 나타낸다);
상기 변환된 차분 프레임 Tb(u,v)에 포함되는 샘플들 중에서 소정의 신뢰 구간에 속하는 샘플들만으로 구성된 부분 집합을 결정하는 단계;
상기 부분 집합에 포함되는 샘플들에 대하여, 다음 수학식을 이용하여 차분 프레임 Tb(u,v)의 샘플 분산을 연산하는 단계
(여기서, N은 주파수 대역의 길이이고, t b ,k 는 b번째 주파수 대역의 k번째 DCT 계수를 나타낸다);
다음 수학식을 이용하여 주파수 대역별 샘플 분산으로부터 채널 파라미터 를 연산하는 채널 파라미터 추정 단계
; 및
상기 가상 채널의 채널 파라미터 에 상응하는 라플라시안 분포로서 상기 가상 채널을 모델링하는 단계를 포함하는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법. - 인코딩된 영상 및 보조 정보를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 장치에 있어서,
컴퓨터에 의하여 실행될 수 있는 명령들을 실행하기 위한 프로세서; 및
상기 프로세서에 연결되며, 상기 컴퓨터에 의하여 실행될 수 있는 명령들을 저장하기 위한 메모리를 포함하며, 상기 컴퓨터에 의하여 실행될 수 있는 명령들은,
움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 동작(여기서, (x, y)는 픽셀 영역에서의 픽셀의 위치를 나타낸다);
생성된 차분 프레임에 다음 수학식과 같이 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 동작
(여기서, (u, v)는 변환 영역의 차원을 나타내고, ABS(.)는 절대값을, DCT[.]는 이산 코사인 변환(DCT) 연산자를 의미하며, b는 주파수 대역을 나타낸다);
상기 변환된 차분 프레임에 속하는 모든 차분값 x i 의 확률 질량 함수(PMF) y i 를 연산하는 PMF 연산 동작;
상기 차분값 x i 에 해당하는 라플라시안 확률 밀도값 f( x i )를 연산하는 라플라시안 확률 밀도값 연산 동작;
다음 수학식을 이용하여 상기 라플라시안 확률 밀도값 f( x i ) 및 상기 확률 질량 함수 y i 의 차이값의 자승을 합산한 자승 오류 연산 동작
(여기서, BL은 확률 질량 함수 y i 의 빈(bin)의 개수이고 αk는 k번째 채널 파라미터를 나타낸다); 및
αk 중에서 다음 수학식을 만족하는 것을 최적 채널 파라미터 αopt로서 결정하는 최적 채널 파라미터 추정 동작
;
을 수행하도록 적응되는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 장치. - 제7항에 있어서, 상기 컴퓨터에 의하여 실행될 수 있는 명령들은 상기 PMF 연산 동작을 수행하기 위하여,
상기 원본 영상에 이산 코사인 변환(DCT)을 행한 후 각 주파수 대역별로 샘플 집합을 형성하는 동작;
상기 샘플 집합 중에서 일부의 샘플들을 선택하기 위한 소정 규칙에 따라서 주파수 대역 별 샘플 집합들 각각의 부분 집합을 선택하는 부분 집합 선택 동작; 및
상기 부분 집합에 포함되는 샘플들에 대해서만 상기 확률 질량 함수 y i 를 연산하는 동작을 수행하도록 더욱 적응되는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 장치. - 제8항에 있어서, 상기 컴퓨터에 의하여 실행될 수 있는 명령들은 상기 자승 오류 연산 동작을 수행하기 위하여,
연산 복잡도가 하드웨어 성능에 비하여 높은지 판단하는 동작;
연산 복잡도가 높다고 판단될 경우 상기 확률 질량 함수 y i 의 BL을 감소시키는 동작; 및
감소된 BL을 이용하여 새로운 자승 오류를 연산하는 동작을 수행하도록 더욱 적응되는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 장치. - 제7항에 있어서, 상기 컴퓨터에 의하여 실행될 수 있는 명령들은 상기 최적 채널 파라미터 추정 동작을 수행하기 위하여,
αk에 대한 상기 자승 오류(Squared error) 값을 나타내는 그래프로부터 반복적으로(iteratively) 최소값을 추적하는 이분(bi-section) 알고리즘 및 기울기 감소(gradient descent) 알고리즘 중 하나를 이용하여 상기 최적 채널 파라미터 αopt를 결정하는 동작을 수행하도록 더욱 적응되는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 장치. - 인코딩된 영상 및 보조 정보를 결합 디코딩하여 원본 영상을 획득하는 분산 비디오 압축 기법에 이용되는 가상 채널을 모델링하는 장치에 있어서,
컴퓨터에 의하여 실행될 수 있는 명령들을 실행하기 위한 프로세서; 및
상기 프로세서에 연결되며, 상기 컴퓨터에 의하여 실행될 수 있는 명령들을 저장하기 위한 메모리를 포함하며, 상기 컴퓨터에 의하여 실행될 수 있는 명령들은,
움직임 보상된 연속된 키 프레임들 간의 차이를 이용하여 차분 프레임 R(x,y)을 생성하는 동작(여기서, (x, y)는 픽셀 영역에서의 픽셀의 위치를 나타낸다);
생성된 차분 프레임에 다음 수학식과 같이 이산 코사인 변환(DCT)을 수행하여 변환된 차분 프레임 Tb(u,v)를 연산하는 동작
(여기서, (u, v)는 변환 영역의 차원을 나타내고, ABS(.)는 절대값을, DCT[.]는 이산 코사인 변환(DCT) 연산자를 의미하며, b는 주파수 대역을 나타낸다);
상기 변환된 차분 프레임 Tb(u,v)에 포함되는 샘플들 중에서 소정의 신뢰 구간에 속하는 샘플들만으로 구성된 부분 집합을 결정하는 동작;
상기 부분 집합에 포함되는 샘플들에 대하여, 다음 수학식을 이용하여 차분 프레임 Tb(u,v)의 샘플 분산을 연산하는 동작
(여기서, N은 주파수 대역의 길이이고, t b ,k 는 b번째 주파수 대역의 k번째 DCT 계수를 나타낸다);
다음 수학식을 이용하여 주파수 대역별 샘플 분산으로부터 채널 파라미터 를 연산하는 채널 파라미터 추정 동작
; 및
상기 가상 채널의 채널 파라미터 에 상응하는 라플라시안 분포로서 상기 가상 채널을 모델링하는 동작을 수행하도록 적응되는 것을 특징으로 하는 분산 비디오 압축 기법을 위한 가상 채널 모델링 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100004181A KR101038205B1 (ko) | 2010-01-18 | 2010-01-18 | 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100004181A KR101038205B1 (ko) | 2010-01-18 | 2010-01-18 | 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101038205B1 true KR101038205B1 (ko) | 2011-05-31 |
Family
ID=44366825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100004181A KR101038205B1 (ko) | 2010-01-18 | 2010-01-18 | 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101038205B1 (ko) |
-
2010
- 2010-01-18 KR KR1020100004181A patent/KR101038205B1/ko not_active IP Right Cessation
Non-Patent Citations (4)
Title |
---|
"Finding a Near Optimal Dependency Channel Model for a LDPC-based Wyner-Ziv Video Compression Scheme", by Westerlaken, Ronald P., Borchert Stefan, Klein Gunnewiek Rene, and Lagendijk Reginald L. |
"Improved virtual channel noise model for transform domain Wyner-Ziv video coding", by Xin Huang, DTU Fotonik, Technical University of Denmark, Building 343, Lyngby 2800, Denmark Soren Forchhammer, DT |
"Optimal Reconstruction in Wyner-Ziv Video Coding with Multiple Side Information", by Denis Kubasov , Jayanth Nayak , Christine Guillemot |
"The role of the virtual channel in Distributed Source Coding of Video", by Westerlaken, R.P.; Gunnewiek, R.K.; Lagendijk, R.L.; |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10009611B2 (en) | Visual quality measure for real-time video processing | |
US8599929B2 (en) | Distributed video decoder and distributed video decoding method | |
US20120020409A1 (en) | Estimating sample-domain distortion in the transform domain with rounding compensation | |
Huang et al. | Cross-band noise model refinement for transform domain Wyner–Ziv video coding | |
KR101511230B1 (ko) | 적응 양자화를 이용한 분산 비디오 부호화/복호화 장치 및 그 방법 | |
US8446949B2 (en) | Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data | |
JP2009141688A (ja) | 画像符号化・復号化方法及びシステム及び画像符号化プログラム及び画像復号化プログラム | |
Majid et al. | Visual saliency based redundancy allocation in HEVC compatible multiple description video coding | |
Slowack et al. | Rate-distortion driven decoder-side bitplane mode decision for distributed video coding | |
Zhou et al. | Distributed video coding using interval overlapped arithmetic coding | |
Chien et al. | BLAST-DVC: BitpLAne SelecTive distributed video coding | |
Kodavalla et al. | Distributed video coding: codec architecture and implementation | |
JP5004877B2 (ja) | 画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラム | |
KR101035746B1 (ko) | 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법 | |
Milani et al. | Distributed video coding based on lossy syndromes generated in hybrid pixel/transform domain | |
KR101639434B1 (ko) | 와이너-지브 부호화 및 복호화 시스템 및 방법 | |
US20130329792A1 (en) | Method and device for optimizing the compression of a video stream | |
KR101038205B1 (ko) | 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치 | |
Taieb et al. | Spatial correlation-based side information refinement for distributed video coding | |
KR101152482B1 (ko) | 고속 부호율-적응 저밀도 패리티 코드를 이용한 복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치 | |
Hanca et al. | Real-time distributed video coding for 1K-pixel visual sensor networks | |
Chen et al. | A frame-level encoder rate control scheme for transform domain Wyner-Ziv video coding | |
KR101074919B1 (ko) | 분산 비디오 부호화 영상의 복호화 장치 및 그 방법 | |
Kodavalla et al. | Distributed video coding: feedback-free architecture and implementation | |
Min et al. | Adaptive distributed video coding with motion vectors through a back channel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140422 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |