KR20120126500A

KR20120126500A - 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법

Info

Publication number: KR20120126500A
Application number: KR1020110044349A
Authority: KR
Inventors: 이명진; 이종두
Original assignee: 한국항공대학교산학협력단
Priority date: 2011-05-12
Filing date: 2011-05-12
Publication date: 2012-11-21
Also published as: KR101220097B1

Abstract

본 발명에 따른 분산비디오 코덱 장치는 WZ 프레임과 키 프레임을 부호화 하는 PDWZ 부호부 및 PDWZ 부호부와 연결되어, WZ 프레임과 키 프레임을 복호화하여 제공하는 PDWZ 복호부를 포함하되, 상기 PDWZ 복호부는 부호화된 영상프레임으로부터 전경영역과 배경영역을 분리하여, 전경영역과 배경영역을 고려한 보조정보를 생성하는 보조정보생성부를 포함하는 것을 기술적 특징으로 하며, 전경영역 분할에 따른 보조정보를 생성하는 보조정보생성부를 복호부에 포함하여, 부호화에 따른 복잡도를 낮추고, 부호화에 따른 효율을 상향시키는 것을 기술적 목적으로 한다.

Description

분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법{MULTI-VIEW DISTRIBUTED VIDEO CODEC AND SIDE INFORMATION GENERATION METHOD ON FOREGROUND SEGMENTATION}

본 발명은 다시점 카메라 환경에서의 분산비디오 코딩에서의 보조정보 생성 장치에 관한 것으로, 좀 더 상세하게는 단일 카메라에서 생성된 보조정보는 배경영역의 성능은 우수하지만 움직임이 큰 전경영역의 성능은 물체의 형태 및 움직임 유형에 따라 달라지며, 비선형적인 움직임이나 움직임 탐색범위를 넘어선 영역에 대해서의 효율은 떨어지는 한계가 존재하는데, 이를 해결하기 위하여 단일 카메라에서 획득한 비디오 시퀀스만을 활용하는 것이 아닌 전경분할에 기반한 인접한 다중 카메라를 활용한 보조정보 생성을 통해 부호화 효율을 높일 수 있는 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법에 관한 것이다.

일반적으로 단일 카메라 네트워크 환경에서는 네트워크의 전송률을 낮추기 위해 H.264와 같은 고화질 영상용 코덱으로 부호화한 멀티미디어 데이터 스트림을 전송하는 구조를 띄고 있다. 하지만 이러한 H.264와 같은 전통적인 비디오 코딩은 부호기 복잡도가 복호기 복잡도보다 높은 구조이며 이러한 구조는 단일 부호기가 다수의 저성능 복호기를 서비스하는 방송형 서비스에 적합하며 부호화 시 움직임 추정에 많은 연산을 수행한다는 한계가 존재하는 문제점이 있다.

또한, 이러한 부호화 시 움직임 추정과 같은 연산을 하기 위해서 각 감시 카메라들은 영상의 부호화를 위해 고속의 CPU 및 메모리를 가지는 높은 비용의 하드웨어 성능이 요구된다. 즉 각 카메라의 PC 성능을 높이기 위해 높은 비용을 지불해야 하는 문제가 존재한다.

이에 따라 최근에는 저성능 및 이동형 단말에서 적은 연산으로도 부호화가 가능한 분산비디오 코딩 (DVC : Distributed Video coding)에 대한 연구가 진행되고 있다.

즉, 종래 분산비디오 코딩에 있어 복호기는 원본과 유사한 보조정보(SI: Side Information)를 생성하고, 원본과 보조정보간 차이는 부호기와 복호기 사이의 채널 잡음으로 모델링하여 채널 코딩기법으로 복원하는 구조로 구성되어, 보조정보의 정확도는 부호화 효율에 직접적인 영향을 주도록 하였다.

하지만 종래 보조정보 생성방식들은 대부분 단일 카메라 환경에서 시간방향으로의 복원된 키 프레임(KF: Key Frame)간 MCTI(Motion Compensated Temporal Interpolation)에 기반하기 때문에 종래 기술로 생성된 보조정보는 배경영역의 성능은 우수하지만 움직임이 큰 전경영역의 성능은 물체의 형태 및 움직임 유형에 따라 차이가 나는 문제점이 발생하였다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로,

본 발명에 따른 분산비디오 코덱 장치의 목적은 인접한 다수의 카메라 환경에서, 전경영역 분할에 따른 보조정보를 생성하는 보조정보생성부를 복호부에 포함하여, 부호화에 따른 복잡도를 낮추고, 부호화에 따른 효율을 향상시키는데 있다.

다른 목적은 PDWZ 부호부를 포함하여, 스칼라 양자화 및 비트 플레인 단위로 부호화하여, 정보량이 감소된 패리티 정보만을 전송하는데 있다.

또 다른 목적은, PDWZ 복호부를 포함하여, 배경영역과 전경영역의 보조정보 생성을 위한 WZ프레임 및 키프레임을 제공하는데 있다.

또 다른 목적은, 보조정보생성부를 포함하여, 전경영역 및 배경영역을 분리하고, 각 영역에 따른 보조정보를 제공하는데 있다.

또 다른 목적은, 필터링부를 더 포함하여, 전경영역으로 추출된 블록에 존재하는 배경영역을 제거하는데 있다.

또 다른 목적은, 최종보조정보생성부를 더 포함하여, 전경영역과 배경영역에 따른 보조정보를 선택하여, 최종 보조정보를 제공하는데 있다.

본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법의 목적은, 단일 카메라에서 획득한 비디오 시퀀스만을 활용하는 것이 아닌 다수의 카메라를 활용하는 보조정보를 생성하는데 있다.

다른 목적은, 기준 블록 단위 및 움직임 벡터를 적용한 전경마스크를 생성하는데 있다.

또 다른 목적은, 전경영역으로 추출된 블록에 존재하는 배경영역을 인접 키프레임과의 SAD(Sum of absolute difference) 연산으로 제거하는데 있다.

또 다른 목적은, 배경영역과 전경영역의 보조정보를 선택하여, 최종 보조정보를 생성하는데 있다.

본 발명에 따른 분산비디오 코덱 장치는 WZ 프레임과 키 프레임을 부호화 하는 PDWZ 부호부 및 PDWZ 부호부와 연결되어, WZ 프레임과 키 프레임을 복호화하여 제공하는 PDWZ 복호부를 포함하되, 상기 PDWZ 복호부는 부호화된 영상프레임으로부터 전경영역과 배경영역을 분리하여, 전경영역과 배경영역을 고려한 보조정보를 생성하는 보조정보생성부를 포함하는 것을 특징으로 한다.

본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법은 PDWZ 부호부 및 PDWZ 부호부와 연결되어, 보조정보생성부를 포함하는WZ 프레임과 키 프레임을 복호화하여 제공하는 PDWZ 복호부를 포함하는 분산비디오 코덱 장치를 이용한 비디오 코딩 방법에 있어서, 상기 보조정보생성부의 시간적보조정부생성부를 이용하여, 단일 카메라 내 인접키프레임을 활용한 시간적보조정보(Temporal SI)를 생성하는 단계, 전경영역추출부를 이용하여, 시간적보조정보생성부로부터 생성된 상기 시간적보조정보 내 움직임 벡터의 크기 및 위상의 크기를 활용하여, 전경영역을 추출하는 단계 및 전경보조정보생성부를 이용하여, 전경영역의 대블록에 대해 인접 카메라들과 동일 위치의 키프레임간의 디스패리티 보간을 통한 전경블록의 보조정보인 인터뷰보조정보(Interview SI)를 생성하는 단계를 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명에 따른 분산비디오 코덱 장치는 본 발명에 따른 전경 영역 분할 보조정보 생성 방법은 인접한 다수의 카메라 환경에서, 전경영역 분할에 따른 보조정보를 생성하는 보조정보생성부를 복호부에 포함함으로써, 부호화에 따른 복잡도를 낮출 수 있으며, 비선형적인 움직임에 따른 부호화에 따른 효율을 향상시킬 수 있는 효과가 있다.

또한, PDWZ 부호부를 포함함으로써, WZ프레임의 화소값에 대해 스칼라 양자화 및 비트 플레인 단위로 부호화하여, 정보량이 감소된 패리티 정보만을 전송할 수 있는 효과가 있다.

또한, PDWZ 복호부를 포함함으로써, 배경영역과 전경영역의 보조정보가 적용된 WZ프레임 및 키프레임을 제공할 수 있는 효과가 있다.

또한, 보조정보생성부를 포함함으로써, 전경영역 및 배경영역을 분리하고, 각 영역에 따른 보조정보를 체계적으로 제공할 수 있는 효과가 있다.

또한, 필터링부를 더 포함함으로써, 전경영역으로 추출된 블록에 존재하는 배경영역을 효율적으로 제거할 수 있는 효과가 있다.

또한, 최종보조정보생성부를 더 포함함으로써, 전경영역과 배경영역에 따른 보조정보를 선택하여, 최종 보조정보를 제공할 수 있는 효과가 있다.

본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법은, 단일 카메라에서 획득한 비디오 시퀀스만을 활용하는 것이 아닌 다수의 카메라를 활용하는 보조정보를 생성할 수 있는 효과가 있다.

또한, 전경영역으로 추출된 블록에 존재하는 배경영역을 인접 키프레임과의SAD(Sum of absolute difference) 연산으로 제거할 수 있는 효과가 있다.

또한, 기준 블록 단위 및 움직임 벡터를 적용한 전경마스크를 생성할 수 있는 효과가 있다.

또한, 배경영역과 전경영역의 보조정보를 선택하여, 최종 보조정보를 생성하고 제공할 수 있는 효과가 있다.

또한, 저성능/저전력 비디오 기반 다중 센서 네트워크를 활용하여 감시시스템 서비스가 가능하므로 높은 부호화 효율과 함께 비용을 절감할 수 있는 효과가 있다.

또한, 듀얼 카메라를 탑재한 핸드폰 등의 저전력 모바일 기기에서 동영상 녹화 활용이 가능이 가능하며, 나아가 다중 카메라를 이용한 파노라마 영상 제작 및 가공 등의 콘텐츠 산업 등에도 적용할 수 있는 효과가 있다.

도 1은 본 발명에 따른 분산비디오 코덱 장치의 전체 구성도.
도 2는 본 발명에 따른 분산비디오 코덱 장치의 보조정보생성부의 상세구성도.
도 3은 본 발명에 따른 분산비디오 코덱 환경에서 카메라 프레임 구조.
도 4는 본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법의 전체 흐름도.
도 5는 본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법의 시간적보조정보 생성 개념도.
도 6은 본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법에 있어, 전경영역의 인터뷰 보조정보 생성 개념도.
도 7은 본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법의 일실시예를 나타내는 영상.

이하, 본 발명에 따른 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.

[도 1]은 본 발명에 따른 분산비디오 코덱 장치의 전체 구성도를 나타내는 도면으로, 본 발명의 사용된 WZ 코덱 구조는 화소영역 WZ(PDWZ : Pixel-Domain Wyner-Ziv)코덱을 사용하며 PDWZ 부호부(10) 및 PDWZ 복호부(40)를 포함한다.

상기 PDWZ 부호부(10)는 WZ 프레임과 키 프레임을 부호화 하는 역할을 하며, 상기 WZ 프레임을 부호화하기 위한 구성으로는 양자화부(11), LDPC부호부(12), 버퍼(13)의 구성이 있으며, 키프레임을 부호화하기 위한 구성으로는 화면내부호부(15)가 있다.

상기 양자화부(11)는 WZ 프레임의 화소값을 스칼라 양자화하여 비트플레인 단위로 상기 LDPC(Low Density)부호부(12)에 전달하며, 상기 LDPC(Low Density)부호부(12)는 비트플레인 단위로 부호화하여, 상기 버퍼(13)에 패리티 정보만 전송하는 역할을 한다.

또한, 상기 화면내부호부(15)는 키프레임을 H.264/AVC 화면내 부호화방식으로 부호화하는 역할을 하며, 부호화된 신호는 제1프레임메모리(14)를 통해, 상기 양자화기와 연결된 차신호기에 전달하게 된다.

더불어, 본 발명에 따른 PDWZ 부호부(10)에 있어, 상기 WZ 프레임과 상기 키프레임은 교차적 순서로 부호화되는 것을 특징으로 한다.

[도 3]은 본 발명에 따른 다중 카메라 네트워크 상의 채널 별 프레임 배치 구조를 도시한 것으로, 카메라 1-N 의 화각은 거의 일치한다고 가정한다. 본 발명에 사용된 다시점 비디오 시퀀스들은 인접 카메라와 80~90% 화면이 겹쳐 있으며, 인접 카메라의 입력 비디오 시퀀스 상의 키 프레임과 WZ 프레임 부호화 순서는 서로 엇갈려 있기 때문에 WZ camera2의 WZ 프레임에서 보조정보를 생성하기 위해 유효한 프레임은 이전 키 프레임, 이후 키 프레임, WZ camera1 의 키 프레임 과 WZ camera 3의 키 프레임 총 4가지이다.

상기 PDWZ 복호부(40)는 상기 PDWZ 부호부(10)에서 부호화된 WZ 프레임과 키 프레임 신호를 복호화하여 제공하는 역할을 하며, 키프레임을 복호화하는 구성으로는 화면내부호부(44) 및 프레임메모리(45)를 포함한다.

상기 화면내부호부(44)는 상기 화면내복호부(15)와 연결되어, 부호화된 키프레임 신호를 H.264/AVC 화면내 복호화 방식으로 복호화하는 역할을 하며, 복호화된 신호는 상기 보조정보생성부(30)에 제2프레임메모리(45)를 통해, 보조정보생성부(30)에 전달된다.

보조정보생성부(30)는 부호화된 영상프레임으로부터 전경영역과 배경영역을 분리하여, 전경영역과 배경영역을 고려한 보조정보를 생성하는 역할을 하며, [도 2]에 도시된 바와 같이, 시간적보조정보생성부(31), 전경영역추출부(32), 필터링부(33), 전경보조정보생성부(34) 및 최종보조정보생성부(35)를 포함한다.

상기 시간적보조정보생성부(31)는 단일 카메라 내 인접 키프레임을 이용하여, 시간적보조정보(Temporal SI)를 생성하는 역할을 하며, 생성된 상기 시간적보조정보는 상기 전경영역추출부(32)에 전달된다.

상기 전경영역추출부(32)는 상기 시간적보조정보생성부(31)에서 생성된 시간적보조정보 내 움직임 벡터의 크기 및 위상을 이용하여, 전경영역을 추출하는 역할을 하며, 추출된 상기 전경영역 정보는 상기 필터링부(33)에 전달된다.

상기 필터링부(33)는 단일 카메라 내 인접 키 프레임의 동일위치의 대블록간 전경영역 내 배경영역을 SAD(Sum of absolute difference)를 이용하여 제거하는 역할을 한다.

상기 전경보조정보생성부(34)는 상기 필터링부(33)와 연결되어, 전경영역의 대블록에 대해 인접 카메라들과 동일 위치인 키프레임의 디스패리티 보간을 통해 전경블록의 인터뷰보조정보(Interview SI)를 생성하는 역할을 한다.

상기 최종보조정보생성부(35)는 전경보조정보생성부와 연결되어, 배경영역은 시간적 보조정보를 선택하고 전경영역은 인터뷰보조정보를 선택하여, 최종 보조정보를 생성하는 역할을 한다.

또한, 본 발명에 따른 상기 PDWZ 복호부(40)의 WZ 프레임을 복호화하는 구성으로는 LDPC복호부(41), 역양자화부(42) 및 보조정보양자화부(43)를 포함하여, 상기 보조정보양자화부(43)는 상기 보조정보생성부(30)와 연결되어, 산출된 보조정보를 양자화하며, 상기 LDPC복호부(41)는 상기 보조정보양자화부(43) 및 상기 버퍼(13)와 연결되어, 부호화된 패리티 정보와 보조정보를 이용하여, 비트플레인 단위로 LDPC 복호화하는 역할을 하며, 역양자화부(42)는 상기 LDPC복호부(41)와 연결되어, 복호된 신호를 역양자화하여, 제공하는 역할을 한다.

상기에서 설명한 본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법을 설명하면 다음과 같다.

[도 4]는 본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법의 전체 흐름도를 나타내는 도면으로, 먼저, 상기 보조정보생성부(30)의 시간적보조정부생성부(31)를 이용하여, 단일 카메라 내 인접키프레임을 활용한 시간적보조정보(Temporal SI)를 생성하는 단계를 수행한다.(S10)

상기 S10 단계는 MCTI(Motion Compensated Temporal Interpolation) 방식을 이용하여, 배경과 같이 움직임이 거의 없거나 선형적 움직임을 갖는 블록들에 대해 보조정보를 생성하는 단계로, [도 5]에 도시된 바와 같이, 해당 WZ 프레임의 8x8 대블록들은 이전 키 프레임의 동일 위치 대블록으로부터 이후 키 프레임에 대해 일정 움직임 탐색 범위 안에서 SAD(sum of absolute difference)가 최소가 되는 위치의 대블록을 순방향 예측블록으로 지정한다.

또한, 이후 키 프레임의 동일 위치 대블록으로부터 이전 키 프레임에 대해 동일한 움직임 탐색 범위 안의 SAD 최소화 위치 대블록을 역방향 예측 블록으로 선택한다. 이 두 순방향 예측블록과 역방향 예측블록의 평균을 WZ 프레임의 Temporal SI로 사용하는 것이다.

상기 생성된 Temporal SI안에서 비교적 움직임이 적은 배경의 블록들은 예측 성능이 좋지만 움직임이 많은 전경의 블록들은 대체적으로 예측이 잘 안 된다.

따라서 본 발명에 따른 블록 단위로 전경과 배경을 분리하여 움직임이 적은 배경블록은 시간적보조정보(Temporal SI)를 사용하고 움직임이 큰 전경블록은 인터뷰보조정보(Interview SI)를 사용한다.

다음으로, 상기 전경영역추출부(20)를 이용하여, 생성된 상기 시간적보조정보 내 움직임 벡터의 크기 및 위상의 크기를 활용하여, 전경영역을 추출하는 단계를 수행한다.(S20)

상기 S20 단계는 전경 분리는 8x8대블록 단위로 Temporal SI 생성시 MCTI 과정에서 구한 현재 WZ 프레임을 기준으로 이전 키 프레임과 이후 키 프레임 사이의 순방향 움직임 벡터와 역방향 움직임 벡터의 크기 및 위상 기준으로 삼으며, [수학식 1] 및 [수학식 2]의 순방향과 역방향 전경 마스크들을 생성하는 단계를 말한다.

여기서 i, j는 화면 내 블록의 가로좌표와 세로 좌표이고,

은 인접 키 프레임간의 순방향 움직임 벡터의 크기 및 위상이다.

여기서 i, j는 화면 내 블록의 가로좌표와 세로 좌표이고,

다음으로, 상기 필터링부(33)를 이용하여, 단일 카메라 내 인접 키 프레임의 동일위치의 대블록간 전경영역 내 배경영역을 제거하는 단계를 수행한다.(S30)

상기 S30 단계는 [수학식 1] 및 [수학식 2]의 마스크를 이용한 전경 분리 시 움직임이 큰 전경 영역의 다수 블록들이 검출되지만 일부 배경 블록들도 잡음으로 포함되는데, 이 경우 실제 배경 블록이지만 전경 블록으로 판단된 블록들의 움직임 벡터는 크기는 크긴 하지만, 해당 배경 블럭과 인접 키 프레임들의 동일 위치 블록과의 상관도는 상당히 높다.

따라서 해당 배경 블록 잡음들은 [수학식 3]과 같이 인접 키 프레임의 동일위치 블록들과의 SAD를 계산하여 마스크를 생성하여 필터링이 가능하다.

이와 같이 생성된 움직임 기반 전경 분리 및 배경 블록 잡음 제거마스크를 이용하여 다음과 같이 최종 전경 분리 마스크를 생성한다.

다음으로, 전경보조정보생성부(34)를 이용하여, 전경영역의 대블록에 대해 인접 카메라들과 동일 위치의 키프레임간의 디스패리티 보간을 통한 전경블록의 보조정보인 인터뷰보조정보(Interview SI)를 생성하는 단계를 수행한다.(S40)

상기 S40 단계는 최종 Mask의 값이 1인 블록들은 [도 7]의 (가)로 판단되고 그 이외의 블록은 배경으로 결정된다.

위와 같이 전경 분리 후 전경 블록들은 인접 카메라로부터 획득한 키 프레임을 이용하여 [도 6]과 같이 디스패리티 탐색을 통한 Interview SI를 사용한다.

[도 7]의 (나)에 도시된 전경블록들은 동일시각의 인접 카메라와의 동일위치 블록을 기준으로 일정 범위 안의 탐색을 수행하며 SAD가 최소인 블록을 Interview SI로 선택하는 것이다.

다음으로, 최종보조정보생성부(35)를 이용하여, 시간적 보조정보와 인터뷰보조정보를 선택하여, 최종 보조정보를 생성하는 단계를 수행한다.(S50)

상기 S50 단계는 [도 7]의 (다)에 도시된 바와 같이, 최종적으로 최종 보조정보는 배경영역에 대해서는 카메라 내 MCTI에 기반한 Temporal SI를 선택하고 전경영역에 대해서는 인접 카메라를 활용한 디스패리티 보간에 기반한 Interview SI를 선택하는 것이다.

이상에서 설명한 바와 같이, 본 발명에 따른 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법은, 단일 카메라에서 획득한 비디오 시퀀스만을 활용하는 것이 아닌 다수의 카메라를 활용하는 보조정보를 생성할 수 있는 효과가 있다.

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 본 발명에 따른 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법으로 구현할 수 있다.

10 : PDWZ 부호기 11 : 양자화기
12 : LDPC부호기 13 : 버퍼
14 : 제1프레임메모리 15 : 화면내부호기
30 : 보조정보생성기 31 : 시간적보조정보생성부
32 : 전경영역추출부 33 : 필터링부
34 : 전경보조정보생성부 35 : 최종보조정보생성부
40 : PDWZ복호기 41 : LDPC복호기
42 : 역양자화기 43 : 보조정보양자화기
44 : 화면내복호기 45 : 제2프레임메모리
46 : 제3프레임메모리 100 : 비디오 코덱 장치

Claims

WZ 프레임과 키 프레임을 부호화 하는 PDWZ 부호부 및 PDWZ 부호부와 연결되어, WZ 프레임과 키 프레임을 복호화하여 제공하는 PDWZ 복호부를 포함하되,
상기 PDWZ 복호부는 부호화된 영상프레임으로부터 전경영역과 배경영역을 분리하여, 전경영역과 배경영역을 고려한 보조정보를 생성하는 보조정보생성부를 포함하는 것을 특징으로 하는 분산비디오 코덱 장치.
제1항에 있어서,
상기 PDWZ 부호부는,
WZ 프레임을 양자화부에 의해 화소값을 스칼라 양자화하여 비트플레인 단위로 LDPC부호부로 부호화하여, 버퍼에 패리티 정보만 전송하는 WZ 프레임부호부 및
키프레임을 화면내부호화부를 이용하여, H.264/AVC 화면내 부호화방식으로 부호화하는 키프레임 부호부를 포함하며,
상기 WZ 프레임과 상기 키프레임은 교차적 순서로 부호화되는 것을 특징으로 하는 분산비디오 코덱 장치.
제2항에 있어서,
상기 PDWZ 복호부는,
상기 보조정보생성부와 연결되어, 보조정보를 양자화하는 보조정보양자화부; 상기 보조정보양자화부 및 상기 버퍼와 연결되어, 부호화된 패리티 정보화 보조정보를 이용하여, 비트플레인 단위로 LDPC 복호화하는 LDPC복호부 및 상기 LDPC복호부와 연결되어, 복호된 신호를 역양자화하는 역양자화부를 포함하는 WZ프레임복호부 및
상기 화면내부호화부와 연결되어, 키프레임을 H.264/AVC 화면내 복호화 방식으로 복호화하는 화면내복호부 및 상기 화면내복호부와 연결되어, 복호화된 키프레임을 제공하는 프레임메모리를 포함하는 키프레임복호부를 포함하는 것을 특징으로 하는 분산비디오 코덱 장치.
제3항에 있어서,
상기 보조정보생성부는,
단일 카메라 내 인접 키프레임을 이용하여, 시간적보조정보(Temporal SI)를 생성하는 시간적보조정보생성부;
상기 시간적보조정보생성부와 연결되어, 생성된 시간적보조정보 내 움직임 벡터의 크기 및 위상을 이용하여, 전경영역을 추출하는 전경영역추출부 및
상기 전경영역추출부와 연결되어, 전경영역의 대블록에 대해 인접 카메라들과 동일 위치인 키프레임의 디스패리티 보간을 통해 전경블록의 인터뷰보조정보(Interview SI)를 생성하는 전경보조정보생성부를 포함하는 것을 특징으로 하는 분산비디오 코덱 장치.
제4항에 있어서,
상기 전경영역추출부와 상기 전경보조정보생성부 사이에, 단일 카메라 내 인접 키 프레임의 동일위치의 대블록간 전경영역 내 배경영역을 SAD(Sum of absolute difference)를 이용하여 제거하는 필터링부를 더 포함하는 것을 특징으로 하는 분산비디오 코덱 장치.
제4항에 있어서,
상기 전경보조정보생성부와 연결되어, 시간적 보조정보와 인터뷰보조정보를 선택하여, 최종 보조정보를 생성하는 최종보조정보생성부를 더 포함하는 것을 특징으로 하는 분산비디오 코덱 장치.
PDWZ 부호부 및 PDWZ 부호부와 연결되어, 보조정보생성부를 포함하는 WZ 프레임과 키 프레임을 복호화하여 제공하는 PDWZ 복호부를 포함하는 분산비디오 코덱 장치에 있어서,
상기 보조정보생성부의 시간적보조정부생성부를 이용하여, 단일 카메라 내 인접키프레임을 활용한 시간적보조정보(Temporal SI)를 생성하는 단계;
전경영역추출부를 이용하여, 상기 시간적보조정부생성부로부터 생성된 상기 시간적보조정보 내 움직임 벡터의 크기 및 위상의 크기를 활용하여, 전경영역을 추출하는 단계 및
전경보조정보생성부를 이용하여, 전경영역의 대블록에 대해 인접 카메라들과 동일 위치의 키프레임간의 디스패리티 보간을 통한 전경블록의 보조정보인 인터뷰보조정보(Interview SI)를 생성하는 단계를 포함하는 것을 특징으로 하는 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법.
제7항에 있어서,
상기 전경영역을 추출하는 단계는 기준 블록단위와 움직임 벡터의 크기로 전경마스크를 생성하는 것을 특징으로 하는 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법.
제8항에 있어서,
상기 전경영역을 추출하는 단계 이후에,
필터링부를 이용하여, 단일 카메라 내 인접 키 프레임의 동일위치의 대블록간 전경영역 내 배경영역을 제거하는 단계를 더 포함하는 것을 특징으로 하는 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법.
제9항에 있어서,
상기 전경영역 내 배경영역을 제거하는 단계는,
SAD(Sum of absolute difference) 산출을 이용하여, 전경으로 검출된 배경블록 제거를 위한 잡음제거마스크를 생성하는 단계 및
상기 전경마스크와 잡음제거마스크를 연산하여, 최종전경분리마스크를 생성하는 단계를 포함하는 것을 특징으로 하는 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법.
제7항에 있어서,
상기 인터뷰보조정보(Interview SI)를 생성하는 단계 이후에,
최종보조정보생성부를 이용하여, 시간적 보조정보와 인터뷰보조정보를 선택하여, 최종 보조정보를 생성하는 단계를 더 포함하며,
상기 최종 보조정보를 생성하는 단계는, 배경영역은 시간적보조정보를 선택하고, 전경영역은 인터뷰보조정보를 선택하여, 최종 보조정보를 생성하는 것을 특징으로 하는 분산비디오 코덱 장치를 이용한 전경 영역 분할 보조정보 생성 방법.