KR100235357B1 - 프로그레시브 전송시 손실 셀 은폐를 위한 피라미드 복호 장치 - Google Patents

Abstract

본 발명은 프로그레시브 전송시에 손실 셀을 은폐하는 피라미드 복호 장치에 관한 것으로, 본 장치는 전송 채널을 통하여 전송되는 제 1 및 제 2 패킷 데이터를 각기 복호하는 하위 및 상위 계층 복호부를 구비하며, 상기 하위 계층 복호부는 전송된 제 2 패킷의 손실 셀에 대응하는 손실 영상 영역을 상기 상위 계층 복호부내 프레임 버퍼/움직임 보상부로부터의 움직임 벡터를 업스케일한 움직임 벡터를 이용하여 복원하는 것을 특징으로한다.

Description

프로그레시브 전송시 손실 셀 은폐를 위한 피라미드 복호 장치

본 발명은 프로그레시브(progressive) 전송에 사용되는 피라미드 구조 부호/복호 시스템에 관한 것으로, 특히 프로그레시브 전송시 발생하는 손실 셀(lost cell)을 은폐(concealment)하는 피라미드 구조의 복호 장치에 관한 것이다.

이 기술분야에 잘 알려진 바와같이, 이산화된(discreted) 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 영상 ＂프레임＂으로 구성된 텔레비젼 신호가 디지탈 형태로 표현될 때, 예를들면 칼라 그래픽, 고품질 텔레비젼(HDTV) 방송등의 경우 상당한 양의 데이타가 전송되어야 한다. 그러나, 통상의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송하고자 하는 데이타를 압축하여 그 전송량을 줄일 필요가 있다. 따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송 채널을 통해 압축 부호화된 영상신호를 복호화 시스템을 갖는 수신측의 사용자 단말이나 개인용 컴퓨터 등에 전송하게 된다.

통상적으로, 연속되는 화면 사이의 시간적 중복성을 제거하는 방식은 화면간, 프레임간 부호화 기법을 포함하며, 화소간의 공간적인 중복성을 제거하여 압축하는 방식은 변환 부호화(transform coding), 벡터 양자화(vector quantization) 기법을 포함한다. 또한 상기한 시간적 및 공간적 중복성 제거 압축 방식을 모두 이용하는 하이브리드 부호화 기법이 있으며, 이는 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변DCT 계수의 양자화), VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임 보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다.

최근에, 영상을 상이한 크기(scale)로 표현하는 피라미드 코딩 방식이 제안되어있다. 피라미드의 최저 레벨 또는 베이스 계층에서, 영상의 다수의 영역에 대하여 일련의 연산이 실행되고, 그 결과들이 피라미드의 상위 계층으로 패스 업되고, 이 상위 계층에서 여러 베이스 계층의 결과를 조합하여 또다시 상위 계층으로 전달하는 방식으로 처리하는 방식이다. 각 계층에서 처리된 데이터는 프로그레시브하게 수신측으로 전송된다.

상술한 바와같이, 부호화된 영상 신호를 전송하기위한 방식중의 하나는 가변 비트율(variable bit rate : VBR) 네트워크를 통하여 전송하는 비동기 전송 모드(asynchronous transfer mode : ATM)가 있다. 비동기 전송 모드에서, 각각의 비디오 소스로부터의 출력은 패킷으로 조합되고나서 멀티플렉스 링크를 통하여 전송된다. 만일 하나의 패킷이 즉시 전송될 수 없다면, 이 패킷이 전송될때까지 저장된다. 따라서, 비동기 전송 시스템에서 정보의 손실은 지연으로 나타난다.

실제로, 비동기 전송 시스템은 네트워크내에서 버퍼가 오버플로우하는 경우와 검출은 되지만 정정되지않은 셀 헤더에서의 비트 에러에의한 두가지 이유로 인하여 손실된다. ATM 스위치 네트워크에서, 일시적으로 너무많은 셀이 스위치 네트워크의 내부 또는 외부의 동일한 링크에 집중되는 경우가 있다. 스위치내에서 하나의 큐(queue) 이상의 셀이 저장된다는 것은 그 큐를 향해 서로 경쟁하는 것이기때문에, 셀은 유실될 수있다.

따라서, ATM 네트워크에서 필연적으로 발생하는 손실 셀은 적절하게 은폐되어야한다. 이 은폐 방법은 손실 셀에 대응하는 손실 영역을 상응하는 이전 프레임으로부터 대체하는 시간적 보간(temporal interpolation) 방식과, 손실 영역을 주변 값을 이용하여 선형 보간(linear interpolation)하는 공간적 보간(spatial interpolation) 방식과, 손실된 영역을 이전 프레임에서 움직임 벡터를 이용하여 이동된 영역으로 대치하는 움직임 보상 손실 셀 은폐 방식등이 있다.

그러나, 이러한 방식은 점진적 전송 방식의 계층적 특성을 이용할 수 없다는 문제가 있었다.

그러므로, 본 발명은 점진적 전송 시스템의 피라미드에서 손실 셀 은폐 방법을 제공하는 것을 그 목적으로한다.

상술한 목적을 달성하기위한 본 발명에 따르면, 프로그레시브 전송 시스템에사용하는 피라미드 구조 복호 장치는 전송 채널을 통하여 전송되는 가우시안 영상으로부터 유도된 제 1 라플라시안 영상과 상기 제 1 라플라시안 영상을 다운샘플링한 제 2 라플라시안 영상이 부호화된 제 1 패킷 및 제 2 패킷 데이터를 각기 복호하는 하위 및 상위 계층 복호부를 구비하며,

상기 상위 계층 복호부는: 상기 전송된 제 2 패킷을 제 2 라플라시안 영상으로 복호하는 제 1 디코더; 상기 전송된 제 2 패킷의 손실 셀을 검출하는 제 1 손실 셀 검출기; 상기 제 1 손실 셀 검출기로부터 검출된 손실 셀에 대응하는 영상 영역을 식별하는 제 1 손실 영역 식별 유니트; 상기 제 1 디코더에의해 복호된 제 2 라플라시안 영상을 일시 저장하며, 상기 제 1 손실 영역 식별 유니트에 의해 식별된 상기 손실 영상 영역을 복원하는 프레임 버퍼/손실 영역 복원부를 구비하며;

상기 하위 계층 복호부는: 상기 전송된 제 1 패킷을 제 1 라플라시안 영상으로 복호하는 제 2 디코더; 상기 전송된 제 1 패킷의 손실 셀을 검출하는 제 2 손실 셀 검출기; 상기 제 2 손실 셀 검출기로부터 검출된 손실 셀에 대응하는 손실 영상 영역을 식별하는 제 2 손실 영역 식별 유니트; 상기 제 2 디코더에 의해 복호된 제 1 라플라시안 영상을 일시 저장하며 상기 제 2 손실 영역 식별 유니트에 의해 지정된 손실 영상 영역을 상기 제 1 프레임 버퍼/움직임 보상부로부터의 움직임 벡터를 업스케일한 움직임 벡터를 이용하여 복원하는 제 2 프레임 버퍼/움직임 보상부; 상기 제 1 디코더로부터의 제 2 라플라시안 영상과 상기 제 1 라플라시안 영상을 가산하여 가우시안 복원 영상을 출력하는 가산기를 구비하는 것을 특징으로한다.

도 1은 본 발명에 따른 손실 셀 은폐를 위한 피라미드 부호 및 복호 시스템의 상세 블록 구성도.

＜도면의 주요부분에 대한 부호의 설명＞

100, 200, 300, 400 : 제 1, 제 2, 제 3, 제 4 부호부

110, 210, 310 : 다운샘플링부 670, 770, 870 : 업샘플링부

500, 600, 700, 800 : 제 1, 제 2, 제 3, 제 4 복호부

510, 610 : 손실 셀 검출기 530, 630 : 손실 영역 식별 유니트

본 발명의 상기 및 기타 목적과 여러가지 장점은 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

첨부 도면을 참조하면, 프로그레시브 전송 방식에 이용되는 피라미드 구조의 부호/복호 시스템의 구성이 도시된다.

이 피라미드 부호/복호 시스템의 부호부는 제 1 내지 제 4 부호부(100, 200, 300, 400)를 구비하며, 제 1 내지 제 4 부호부(100, 200, 300, 400)는 점진적(progressive)으로 저주파 성분으로부터 고주파 성분으로 분포되는 영상 신호를 각기 부호화하여 전송 채널을 통하여 복호부로 전송한다. 예로, 원(original) 입력 영상이 200 * 200 블록으로 구성되어있다면, 제 1 부호부(100)는 이 영상 신호 블록을 부호화하며, 제 2 부호부(200)는 200 * 200 영상 신호 블록을 반(1/2)으로 서브샘플링한 100 * 100 영상 신호 블록을 부호화하며, 제 3부호부(200)는 100 * 100 영상 신호 블록을 반(1/2)으로 서브샘플링한 50 * 50 영상 신호 블록을 부호화하며, 제 4부호부(300)는 50 * 50 영상 신호 블록을 반(1/2)으로 서브샘플링한 25 * 25 영상 신호 블록을 부호화한다. 각각의 제 1 내지 제 4 부호부(100, 200, 300, 400)로부터 부호화된 신호는 ATM 네크워크를 이용하여 각각의 채널을 통하여 대응하는 복호부(500, 600, 700, 800)로 전송된다.

각각의 복호부(500, 600, 700, 800)에서는 각각의 채널을 통하여 전송된 패킷 데이터를 복호한다. 이때, 각각의 복호부(500, 600, 700, 800)에의해 복호된 영상은 점진적으로 크기가 증가하는 25 * 25, 50 * 50, 100 * 100 및 200 * 200 크기를 갖는 영상신호로서 출력된다.

이러한 점진적 전송 방식에 이용되는 피라미드 계층 구조는 각 계층에서 상이한 우선순위 레벨로 영상 정보를 패킷화하고 패킷화된 패킷 데이터의 셀 손실을 점진적으로 허용할 수 있을 것이다. 따라서, 피라미드 계층 구조는 2 계층, 즉, 우선순위(priority)가 높은 부호부(300, 400) 및 복호부(500, 600)로 구성되는 베이스 계층과 우선순위가 낮은 부호부(100, 200) 및 (700, 800)로 구성되는 제 2 계층으로 형성된다. 우선순위가 높은 베이스 계층의 채널은 셀 손실을 허용하지않으며 제 2 계층의 채널은 셀 손실을 어느정도 허용한다.

제 2 계층 부호부에서, 제 1 부호부(100)는 다운샘플링부(110), 감산기(120) 및 인코더(130)를 구비하며, 제 2 부호부(200)는 다운샘플링부(210), 감산기(220), 인코더(130) 및 디코더(240)를 구비한다. 베이스 계층 부호부에서, 제 3 부호부(300)는 다운샘플링부(310), 감산기(320), 인코더(330) 및 디코더(340)를 구비하며, 제 4 부호부(400)는 인코더(430) 및 디코더(440)를 구비한다.

1 내지 제 3 부호부(100, 200, 300)에서 각각의 다운샘플링부(110, 210, 310)는 입력 영상을 가우시안(Gaussian) 영상을 생성하여 각각의 대응하는 감산기(120, 220, 320)로 제공한다. 보다 상세히 말해서, 제 1 부호부(100)는 저주파 성분의 분포가 높은 원(original) 입력 영상을 제 1 가우시안 영상으로서 수신한다. 제 1 가우시안 영상은 다운샘플링부(110)에 의해 다운샘플링되고, 다운샘플링된 영상은 제 2 가우시안 영상으로써 제 2 부호부(200)로 제공된다. 제 2 가우시안 영상은 다운샘플링부(210)에 의해 다운샘플링되고, 다운샘플링된 영상은 제 3 가우시안 영상으로써 제 3 부호부(300)로 제공된다. 마찬가지로, 제 3 가우시안 영상은 다운샘플링부(310)에 의해 다운샘플링되고, 다운샘플링된 영상은 제 4 가우시안 영상으로써 제 4 부호부(400)로 제공된다.

제 1 내지 제 3 가우시안 영상은 각기 제 1 내지 제 3 부호부(100, 200, 300)의 감산기(120, 220, 320)의 일입력으로 제공되며, 각각의 감산기(120, 220, 320)의 출력은 대응하는 인코더(130, 230, 330)로 제공된다. 제 4 가우시안 영상은 직접 인코더(430)로 제공된다. 제 1 내지 제 4 부호부(100, 200, 300, 400)내 각각의 인코더(130, 230, 330, 430)는 입력 신호를 부호화하여 부호화된 영상 신호를 출력한다.

한편, 제 2 내지 제 4 부호부(200, 300, 400)내 디코더(240, 340, 440)는 각각의 인코더(230, 330, 430)로부터 부호화된 영상 신호를 복호한다. 각각의 디코더(240, 340, 440)에 의해 복호된 영상신호는 업샘플링부(250, 350, 450)에 의해 업샘플링되어 하위 계층의 제 1 내지 제 3 부호부(100, 200, 300)내 감산기(120, 220, 320)의 타 입력단자로 제공한다.

제 1 부호부(100)에서, 감산기(120)는 제 1 가우시안 영상으로부터 제 2 부호부(200)내 디코더(240)의 출력을 감산하여 제 1 라플라시안 영상을 생성한다. 제 2 부호부(200)에서, 감산기(220)는 제 2 가우시안 영상으로부터 제 3 부호부(300)내 디코더(340)의 출력을 감산하여 제 2 라플라시안 영상을 생성한다. 마찬가지로, 제 3 부호부(300)에서, 감산기(320)는 제 3 가우시안 영상으로부터 제 4 부호부(400)내 디코더(440)의 출력을 감산하여 제 3 라플라시안 영상을 생성한다.

제 1 내지 제 3 부호부(100, 200, 300)에서, 각각의 인코더(130, 230, 330)는 대응하는 감산기(120, 220, 320)의 제 1 내지 제 3 라플라시안 영상을 부호화하여 부호화된 신호를 생성한다. 제 4 부호부(400)는 제 4 가우시안 영상을 직접 부호화하여 부호화된 신호를 출력한다. 각각의 제 1 내지 제 4 부호부(100, 200, 300, 400)로부터 부호화된 데이터는 ATM 네크워크를 이용하여 복호부로 제공된다.

제 1 복호부(500)는 손실 셀 검출기(cell-loss detector)(510), 디코더(520), 손실 영역 식별 유니트(lost-area identifier unit : AIV)(530), 프레임 버퍼(540), 가산기(570)를 구비하며, 제 2복호부(600)는 손실 셀 검출기(610), 디코더(620), 손실 영역 식별 유니트(630), 프레임 버퍼(640), 가산기(660) 및 업샘플링부(670)를 구비하며, 제 3 복호부(700)는 디코더(720), 가산기(760) 및 업샘플링부(770)를 구비하며, 제 4 복호부(800)는 디코더(820) 및 업샘플링부(870)를 구비한다.

제 2 계층의 제 1 및 제 2 복호부(500, 600)에서, 각각의 손실 셀 검출기(510, 610)는 대응하는 전송 채널을 통하여 전송된 패킷의 손실 셀을 검출하고, 검출된 손실 셀의 위치를 손실 영역 식별 유니트(530, 630)로 제공한다. 각각의 디코더(520, 620)는 손실 셀 검출기(510, 610)를 통과한 셀들을 복호화한다. 각각의 디코더(520, 620)에의해 복호화된 영상은 제 1 및 제 2 라플라시안 복원 영상으로서 가산기(560, 660)의 일입력 단자로 제공되며, 또한 프레임 버퍼(540, 640)에 움직임 벡터와 함께일시 저장된다.

각각의 손실 영역 식별 유니트(530, 630)는 손실 셀 검출기(510, 610)에 의해 검출된 손실 셀에 대응하는 손실 영역을 식별하여 프레임 버퍼/움직임 보상부(540, 640)로 제공한다. 각각의 프레임 버퍼/움직임 보상부(540, 640)는 손실 영역 식별 유니트(530, 630)로부터 제공된 식별 신호에 응답하여 손실 영역을 움직임 벡터를 이용하여 과거 프레임으로부터 복원한다.

본 발명에 따르면, 제 1 및 제 2 라플라시안 복원 영상은 서로 연관성이 있기때문에, 움직임 벡터도 각기 대응한다. 보다 상세히 말해서, 제 2 라플라시안 영상은 제 1 라플라시안 영상을 서브샘플링한 신호로 구성되기때문에, 제 2 라플라시안 영상 블록의 움직임 벡터는 제 1 라플라시안 영상 블록의 움직임 벡터를 업스케일한 것과 일치한다. 따라서, 제 1 복호부(500)에서 프레임 버퍼/움직임 보상부(540)는 손실 영역을 복원하는 움직임 보상을 수행할 때 프레임 버퍼/움직임 보상부(640)에 저장된 제 1 라플라시안 블록 영상의 움직임 벡터를 이용할 수 있다. 따라서, 각각의 프레임 버퍼/움직임 보상부(540, 640)에의해 손실 영역에 대하여 움직임 보상된 영상 블록은 스위치(550, 650)를 통하여 상술한 가산기(560, 660)로 제공된다.

한편, 베이스 계층의 제 3 및 제 4 복호부(700, 800)에서, 각각의 디코더(720, 820)는 제 3 및 제 4 채널을 통하여 전송된 패킷 데이터를 복호화하여 제 3 및 제 4의 라플라시안 복원 영상으로 출력한다. 제 4 복호부(800)의 디코더(820)으로부터 생성된 제 4 라플라시안 영상은 제 4 가우시안 복원 영상으로서 업샘플링부(870)로 제공되며 또한 그대로 외부로 출력된다. 업샘플링부(870)는 제 4 가우시안 영상을 업샘플링하여 제 3 복호부(700)내 가산기(760)의 일입력단자로 제공한다.

제 3 복호부(700)에서, 감산기(760)는 디코더(720)로부터 생성된 제 3 라플라시안 영상과 제 4 복호부(800)로부터의 업샘플링된 제 4 가우시안 복원 영상을 가산하여 제 3 가우시안 복원 영상을 생성한다. 제 3 가우시안 영상은 직접 외부로 출력되며 또한 업샘플링부(770)로 제공된다. 업샘플링부(770)는 제 3 가우시안 복원 영상을 업샘플링하여 제 2 복호부(600)내 가산기(660)의 타입력단자로 제공한다.

제 2 복호부(600)에서, 가산기(660)는 디코더(620)로부터 제공된 제 2 라플라시안 영상과 제 3 복호부(700)로부터의 업샘플링된 제 3 가우시안 복원 영상을 가산하여 제 2 가우시안 복원 영상을 생성한다. 제 2 가우시안 영상은 직접 외부로 출력되며 또한 업샘플링부(670)로 제공된다. 업샘플링부(670)는 제 2 가우시안 복원 영상을 업샘플링하여 제 1 복호부(500)내 가산기(560)의 타입력단자로 제공한다.

제 1 복호부(500)에서, 가산기(560)는 디코더(520)로부터 제공된 제 1 라플라시안 영상과 제 2 복호부(600)로부터의 업샘플링된 제 2 가우시안 복원 영상을 가산하여 제 1 가우시안 복원 영상을 생성하며, 제 1 가우시안 복원 영상은 외부로 출력된다.

ATM 네트워크를 이용한 프로그레시브 전송 시스템에서 모든 계층마다 움직임 보상을 수행하여 손실 셀을 보상하는 작업을 상위 계층에서 저장된 움직임 벡터를 하위 계층에서 이용함으로써 손실 셀에 대한 움직임 보상 작업과 시간을 줄여줄 수 있는 효과가 제공된다.

Claims (1)

1. 프로그레시브 전송 시스템에서 전송 채널을 통하여 전송되는 가우시안 영상으로부터 유도된 제 1 라플라시안 영상과 상기 제 1 라플라시안 영상을 다운샘플링한 제 2 라플라시안 영상이 부호화된 제 1 패킷 및 제 2 패킷 데이터를 각기 복호하는 하위 및 상위 계층 복호부를 구비하는 피라미드 구조 복호 장치에있어서,

   상기 상위 계층 복호부는:

   상기 전송된 제 2 패킷을 제 2 라플라시안 영상으로 복호하는 제 1 디코더;

   상기 전송된 제 2 패킷의 손실 셀을 검출하는 제 1 손실 셀 검출기;

   상기 제 1 손실 셀 검출기로부터 검출된 손실 셀에 대응하는 영상 영역을 식별하는 제 1 손실 영역 식별 유니트;

   상기 제 1 디코더에의해 복호된 제 2 라플라시안 영상을 일시 저장하며, 상기 제 1 손실 영역 식별 유니트에 의해 식별된 상기 손실 영상 영역을 복원하는 프레임 버퍼/손실 영역 복원부를 구비하며;

   상기 하위 계층 복호부는:

   상기 전송된 제 1 패킷을 제 1 라플라시안 영상으로 복호하는 제 2 디코더;

   상기 전송된 제 1 패킷의 손실 셀을 검출하는 제 2 손실 셀 검출기;

   상기 제 2 손실 셀 검출기로부터 검출된 손실 셀에 대응하는 손실 영상 영역을 식별하는 제 2 손실 영역 식별 유니트;

   상기 제 2 디코더에 의해 복호된 제 1 라플라시안 영상을 일시 저장하며 상기 제 2 손실 영역 식별 유니트에 의해 지정된 손실 영상 영역을 상기 제 1 프레임 버퍼/움직임 보상부로부터의 움직임 벡터를 업스케일한 움직임 벡터를 이용하여 복원하는 제 2 프레임 버퍼/움직임 보상부;

   상기 제 1 디코더로부터의 제 2 라플라시안 영상과 상기 제 1 라플라시안 영상을 가산하여 가우시안 복원 영상을 출력하는 가산기를 구비하는 것을 특징으로하는 프로그레시브 전송 시스템의 피라미드 복호 장치.

Images