KR20040064970A - 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법 - Google Patents

Abstract

본 발명은 영상전화 시스템에서 픽쳐 타입 손실에 대응하여 H.263+ 복호화를 수행하는 방법에 관한 것이다.

본 발명은 H.263+ 비트 스트림에 PSC 정보가 있다면 해당 픽쳐 타입을 디코딩하고 그 결과에 따른 복호화를 진행한다. PSC 정보가 없다면 RTP H.263+ 패이로드(Payload)를 분석하여 패킷화 타입에 따라 픽쳐 세그먼트 패킷(Picture Segment Packets)이면 현재 패킷에서 픽쳐 타입 정보를 찾아 복호화를 하고, 팔로우-온 패킷(Follow-On Packet)이면 이전 픽쳐 세그먼트 패킷에서 픽쳐 타입 정보를 찾아 복호화를 수행한다. 이와 같이 본 발명은 패킷 에러 환경에서 픽쳐 타입 손실 발생시 이에 대응하여 H.263+ 복호화를 수행할 수 있게 되므로 고품질 영상 재현이 가능하게 된다.

Description

영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법{ERROR RESILIENT DECODING METHOD IN PACKET-BASED VIDEO TELEPHONY SYSTEM}

본 발명은 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법에 관한 것으로서, 특히 패킷 기반 영상 전화 서비스 시스템에서 패킷 에러 환경에 따라 픽쳐 타입의 손실이 발생하는 경우 이를 보정하여 멀티미디어 비트 스트림 디코딩 에러를 효율적으로 처리할 수 있도록 한 픽쳐타입 손실 대응 복호화 기법에 관한 것이다.

알려진 바와 같이, 패킷 기반 멀티미디어 통신 규약인 H.263에서 정의하는 유/무선 패킷(인터넷 또는 패킷 기반 IMT-2000망) 기반의 영상 전화 서비스 시스템은 도1에 나타낸 바와 같이 패킷 망(Packet Network)(101)을 기반으로 하여 H.323단말(H.323 Terminal)(102)(103)간의 영상 통신을 지원하고 있다.

도1에 나타낸 바와 같이 패킷 응용 H.263 패킷화 기반의 영상 전화 서비스 시스템에서 영상 전송시 비디오 코덱(Video CODEC)은 비트율 조절을 통하여 각각 응용 타겟 비트(application target bit)에 맞추어 데이터를 보내는 방식을 취하고 있다.

도2는 이와 같은 패킷 망 기반의 H.323 단말의 내부 구성을 개략적으로 보여주고 있다. 도2에 나타낸 바와 같이 패킷 망(200)을 기반으로 하여 H.323 단말기(송신단/수신단)가 서로 영상 통신을 수행할 수 있게 되며, 영상 전화 단말은 영상 취득과 디스플레이를 위한 카메라/LCD(201), 전송할 영상신호의 부호화 및 수신한 영상신호의 복호화를 위한 동영상 부호화기/복호화기(CODEC)(202), H.263+ 통신규약을 기반으로 하여 상기 전송할 영상신호(bit-stream)의 패킷화 및 수신한 영상 패킷의 디패킷화를 위한 패킷화/디패킷화부(203), 실시간으로 음성이나 동영상을 송수신하기 위한 통신 제어부(Protocol Layer)로 RTP/RTCP(204), UDP(205), IP(206)를 포함하고 있다.

카메라/LCD(201)는 송신할 사용자 영상을 취득하고 또 수신한 상대방 영상을 재생하여 디스플레이하며, 동영상 부호화기/복호화기(202)는 카메라로 취득한 사용자 영상신호를 압축 부호화 규격을 기반으로 하여 압축 부호화하거나, 수신한 상대방 영상신호를 복호화하여 재생한다. 패킷화/디패킷화부(203)는 H.263+를 기반으로 해서 전송할 영상신호를 패킷화하거나, 수신한 영상 패킷을 디패킷화하며, 앞서 기술한 바와 같이 패킷 망(200)을 기반으로 상기 영상신호 등의 송수신을 위한 통신제어부(204,205,206)가 구동된다.

상기 RTP/RTCP(204)에서 RTP(real-time transport protocol)는 실시간으로 음성이나 동화를 송수신하기 위한 트랜스포트층 통신 규약으로서, RFC 1889에 RTCP(RTP control protocol)와 함께 규정되어 있다. 자원 예약 프로토콜(RSVP)과는 달리 라우터 등의 통신망 기기에 의지하지 않고 단말 간에 실행되는 것이 특징이며, RTP는 보통 사용자 데이터그램 프로토콜(UDP)의 상위 통신 규약으로 이용된다.

송신 측은 타임 스탬프(time stamp)를 근거로 재생 동기를 취해서 지연이 큰 패킷을 포기할 수 있고, 또 수신 측에서 전송 지연이나 대역폭 등을 점검, RTCP를 사용해서 송신 측의 상위층 응용(application)에 통지하는 것으로 부호화 속도 등의 조정을 통해서 서비스 품질(QoS) 제어를 실현할 수 있다.

그리고, UDP(user datagram protocol)(사용자 데이터그램 프로토콜)(205)는 인터넷의 표준 프로토콜 집합인 TCP/IP의 기반이 되는 프로토콜의 하나로서, TCP/IP에서는 망 계층(OSI의 제3계층에 해당) 프로토콜인 IP와 전송 계층(OSI의 제4계층에 해당) 프로토콜인 전송 제어 프로토콜(TCP) 또는 사용자 데이터그램 프로토콜(UDP)의 어느 하나를 조합하여 데이터를 주고받는다. TCP에서는 세션(접속)을 설정한 후에 통신을 개시하지만, UDP에서는 세션을 설정하지 않고 데이터를 상대의 주소로 송출한다. UDP의 특징은 프로토콜 처리가 고속이라는 점이지만, TCP와 같이 오류 정정이나 재송신 기능은 없고, 신뢰성보다도 고속성이 요구되는 멀티미디어 응용 등에서 일부 사용되고 있다.

한편, IP(internet protocol)(인터넷 프로토콜)(206)은 OSI 기본 참조 모델을 기준으로 하면 제3계층(네트워크 계층)에 해당되는 프로토콜이며, TCP/IP의 일부로 사용된다. IP 주소에 따라 다른 망(network) 간 패킷의 전송, 즉 경로 제어를 위한 규약으로 다른 망 간의 데이터 전송을 가능하게 하는 것이 이 프로토콜의 특징이다. 그러나 패킷이 발신된 순서대로 도착하는 것은 보증하지 않는다. 전송 제어 프로토콜(TCP) 또는 사용자 데이터그램 프로토콜(UDP)과 함께 사용한다.

즉, H.263+ 기반 영상 전화 서비스 시스템의 송신단 측에서 보면, 카메라를 통해 입력된 동영상을 부호화하고 패킷화 과정을 수행한 후, 패킷 전송을 위해 필요한 RTP, UDP, IP(Internet Protocol) 헤더를 붙여 전송하며, 수신단 측면에서는 이의 역순으로 RTP, UDP, IP 헤더를 떼어 내고, 디패킷화, 복호화 후 디스플레이를 통하여 화면에 표시하는 과정을 걸친다.

H.263+ 비디오 코덱은 기존 H.263 기본 모드에 선택적으로 H.263+ 에 규정된 총 17 가지의 옵션(ANNEX D ~ ANNEX T) 모드를 선택할 수 있게 만든 것을 말한다.

이 중에서 일반적인 H.263 부호화기를 살펴보면 도면 3과 같다.

도3은 상기 H.263+ 기반 영상전화 서비스 시스템에 적용될 수 있는 동영상 부호화기의 구조를 보여준다. 도3에 나타낸 바와 같이 기존의 동영상 부호화기는 입력된 영상신호를 인트라/인터 모드에 따라 I프레임과 P프레임으로 스위칭하기 위한 스위칭부(301)와, 상기 스위칭부(301)에서 선택된 프레임 영상을 DCT 변환하는 DCT 변환부(302)와, 상기 DCT 변환된 영상신호를 양자화하는 양자화기(303)와, 상기 양자화된 영상신호를 역양자화하는 역양자화기(304)와, 상기 역양자화된 영상신호를 역DCT 변환하는 IDCT변환부(305)와, 상기 역양자화 및 역DCT 변환된 영상신호와 움직임 예측 정보를 기반으로 움직임 예측을 위한 영상 메모리(306)와, 상기 영상 메모리에 재구성된 영상과 현재 프레임 영상정보를 이용해서 움직임 예측을 수행하는 움직임 예측기(307)와, 상기 양자화된 영상신호의 엔트로피 부호화(entrophy coding)를 위한 부호화기(308)와, 상기 부호화된 영상신호가 전송되는 전송 채널(309)을 포함하여 이루어지고 있다.

도3을 참조하여 동영상 부호화 동작을 살펴본다. 영상신호가 입력되면 스위칭부(301)는 인트라 모드(INTRA MODE)/인터 모드(INTER MODE)에 따라 I프레임 또는 P프레임 영상을 선택하여 DCT 변환부(302)에 인가한다. 이 때 첫 장은 I프레임 픽쳐 타입이라 정의하고, 입력 영상을 DCT 변환부(302)에서 이산 코사인 변환(Discrete Cosine Transform)하고, 양자화기(303)는 DCT 계수를 양자화하여 출력한다. 부호화기(308)는 양자화된 영상신호를 엔트로피 코딩(예: VLC = 가변길이 부호화 등)하여 전송채널(309)을 통해서 전송하게 된다. 한편, 상기 DCT 변환부(302) 및 양자화기(303)에 의해서 변환 및 양자화된 영상신호는 다시 역양자화기(304)와 IDCT 변환부(305)에 의해서 역양자화 및 DCT 역변환 과정을 거쳐 원래의 정보로 재구성되고, 이 정보는 영상 메모리(106)에 저장된다.

움직임 예측기(307)는 상기 영상 메모리(306)에 저장된 이전 프레임의 영상정보와 현재 입력되는 영상신호를 이용해서 현재 프레임 영상의 움직임 정보를 예측하여 상기 스위칭부(301)가 인트라/인터 모드에 따른 I프레임 혹은 P프레임 영상을 선택할 수 있도록 해주며, 또한 움직임 벡터 정보를 부호화기(308)에 인가하여 엔트로피 코딩이 이루어질 수 있도록 해준다. 즉, 다음 입력 영상은 P프레임 픽쳐타입이라 정의하고, 각 블록에 대하여 움직임 예측 여부 결정을 하는 INTRA/INTER모드 결정을 한 후 INTER 매크로 블록에 대해서는 움직임 예측 및 보상을 한 후 그 에러 신호를, INTRA 매크로 블록은 현재 영상 값을 I프레임 부호화와 같은 방식으로 부호화하게 된다.

복호화기에서는 이와 같이 정의된 픽쳐 타입에 따라 같은 절차로 디코딩 과정을 수행하게 된다.

그러나, 상기한 바와 같이 패킷 망을 통한 실시간 영상 전화 서비스 시에, 수신단에서는 패킷 망의 환경에 따라 패킷 지연 및 손실이 발생하게 되고, 이로 인하여 픽쳐 타입이 손실될 수 있으며, 픽쳐 타입이 손실된다면, 복호화기에서의 복호화 시 잘못된 처리 결과 및 화질의 손상을 일으키게 된다.

그 이유는 P-프레임에도 불구하고 패킷 손실로 인해 픽쳐 타입 오류 시, I-프레임이라고 잘못 판단하게 되어 움직임 벡터에 의한 움직임 보상이 이루어지지 않음과 동시에 신택스 에러(Syntax Error)에 의한 디코딩 오류를 발생시키게 된다. 또한 반대인 경우도 마찬가지이다.

따라서 H.263+ 디코딩 시 이러한 픽쳐 타입 손실로 인한 디코딩 에러 방지를 위한 처리 및 대응이 필요하게 된다.

본 발명은 영상 전화 서비스 시스템에서 픽쳐 타입 손실로 인한 복호화 처리시의 에러에 대응하여 멀티미디어 비트 스트림 복호화를 효율적으로 수행할 수 있도록 한 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법을 제공하는데 그 목적이 있다.

본 발명의 또 다른 목적은 패킷화 방법을 이용하는 유/무선 패킷 기반 영상 전화 서비스 시스템에서 복호화 시의 영상의 품질을 향상시킬 수 있도록, 송신단에서 압축 부호화된 영상 데이터와 함께 이전 디패킷화 시에 전송된 RTP 패이로드 포맷 정보를 비디오 코덱(Video CODEC) 내의 픽쳐 타입 정보와 함께 이용해서 픽쳐 타입 손실로 인한 픽쳐 타입 정보를 복구함으로써 이로 인한 복호화 오류를 줄일 수 있도록 한 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법을 제공하는데 있다.

도1은 패킷 기반 영상 전화 서비스 망의 개략적인 구성을 나타낸 도면

도2는 패킷 기반 영상 전화 서비스 시스템의 개략적인 구성을 나타낸 도면

도3은 기존의 동영상 부호화기의 개략적인 구성을 나타낸 블록도

도4는 본 발명의 에러 대응 복호화 방법을 나타낸 플로우차트

본 발명의 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법은, H.263+ 패킷 기반의 영상 전화 서비스 시스템에 있어서,

디패킷화된 멀티미디어 비트 스트림에서 PSC(Picture Start Code) 정보를 이용해서 패킷 오류 여부를 판별하는 단계, 상기 PSC 정보가 존재하는 경우 정상 패킷으로 간주하여 해당 픽쳐 타입에 따른 복호화를 수행하는 단계, 상기 PSC 정보가 없는 경우 오류 패킷으로 간주하여 RTP 패이로드 정보를 분석하는 단계, 상기 RTP 패이로드 분석 결과에 따른 패킷화 타입에 따라 손실된 패킷 픽쳐 타입 정보를 복원하여 해당 패킷의 복호화를 수행하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

또한 본 발명의 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법에서, 상기 RTP 패이로드 정보를 분석한 결과 상기 분류된 패킷화 타입이 픽쳐 세그먼트 패킷(Picture Segment Packets)인 경우 현재 패킷에서 픽쳐 타입 정보를 찾아 복호화를 수행하는 것을 특징으로 한다.

또한 본 발명의 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법에서, 상기 RTP 패이로드 정보를 분석한 결과 상기 분류된 패킷화 타입이 팔로우-온 패킷(Follow-On Packet)인 경우 이전 픽쳐 세그먼트 패킷에서 픽쳐 타입 정보를 찾아 복호화를 수행하는 것을 특징으로 한다.

도4는 상기한 바와 같이 이루어지는 본 발명의 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법을 나타낸 플로우차트로서, 본 발명에서는 전술한 바와 같이, 패킷 기반 영상 전화 시스템에서 픽쳐 타입 손실로 인한 디코딩 처리 시의 에러에 대응하기 위하여, 디코딩 시, 코덱 내 픽쳐 타입 정보 뿐 아니라, 이전 디패킷화 시 전송된 RTP H.263+ Payload 포맷 정보를 함께 이용해서, 패킷 망 에러에 따라 발생된 손실로 인한 픽쳐 타입 정보를 복구함으로써, 이로 인한 디코딩 오류를 없애는 효율적인 방법을 제시하고 있다.

즉, H.263+ 비디오 코덱의 동영상 복호화기에서 수신된 패킷을 디패킷화하고, PSC 정보의 존재유무 및 RTP H.263+ 패이로드 정보의 분석에 따른 패킷화 타입 분류를 이용해서 정상 패킷으로 간주한 복호화 과정을 수행하거나, 현재 패킷에서 픽쳐 타입 정보를 찾아 복호화를 수행하거나, 이전 패킷의 픽쳐 타입을 그대로 사용하는 방법으로 복호화를 수행함으로써, 픽쳐 타입 에러에 적응적으로 대응하는 복호화 기법을 보여주고 있다.

이 과정을 보다 더 상세하게 살펴본다.

패킷 망을 통하여 전송된 패킷의 복호화를 위해서는 디패킷화를 통하여 영상 복호화를 위한 H.263+ 비트스트림을 생성하게 하는데, 이때, 송신단에서는 H.263+ 패킷화 시 현재 패킷의 픽쳐 타입 정보를 함께 보내게 된다. 따라서, 복호화기에서는 패킷 망의 에러 환경에 따라 상기 픽쳐 타입 손실이 발생하는 경우 이러한 정보를 이용할 수 있다.

본 발명의 첫번째 단계(S401)는 패킷 입력단계이다. 두번째 단계(S402)는 상기 입력된 패킷을 디패킷화하는 단계이다. 다음 단계(S403)는 일단 PSC(Picture Start Code; 22 bits) 유무를 판별하는 단계이다. PSC 정보의 존재 유무를 판별하는 이유는 픽쳐 타입 정보가 픽쳐 헤더에 포함되어 있고, 픽쳐 헤더 내의 첫번째 신택스(Syntax) 가 PSC 이고, 패킷 단위 전송에서는 전술한 바와 같이 비트 단위의 에러보다는 패킷 단위의 에러가 나타나므로 PSC가 있으면 반드시 그 뒤에는 픽쳐 타입 정보가 있기 때문이다.

PSC 가 있는 경우는 전술한 바와 같이 그 뒤에 픽쳐 헤더가 따라 오는 경우 이고, 정상적인 패킷으로 판단하여 단계(S404)로 이행하여 픽쳐 타입을 복호화(디코딩) 한 다음, 픽쳐 타입에 따른 처리 루틴 셋팅 후 일반적인 복호화 과정을 행한다(S405, S406).

그러나, 상기 PSC 정보의 존재 유무 판별단계(S403)에서 PSC 정보가 없는 경우는 영상 프레임의 첫 패킷이 손실된 경우이며, 여기에 포함된 픽쳐 헤더 정보 손실에 의한 픽쳐 타입 정보가 없는 상황이다.

따라서, 이러한 경우 코덱 내부에서는 픽쳐 타입 오류에 대한 보정이 어려우므로, 본 발명에서는 H.263+ 비트스트림을 생성하기 위한 디패킷화 단계에서의 H.263+ Payload 정보를 이용한다(S407). 그 이유는 이미 전송단에서 H.263+ 패킷화 시, 패킷화 타입에 따라 현 패킷의 픽쳐 타입 정보를 포함한 픽쳐 헤더 정보를 복사하여 Payload 정보에 함께 실어 보내게 되므로 복호화기에서 픽쳐 타입 손실 시 이러한 정보를 이용할 수 있기 때문이다.

H.263+ Payload 정보는 타입에 따라 픽쳐 세그먼트 패킷(Picture Segment Packet) 또는 팔로우-온 패킷(Follow-On Packet)으로 나누어 지는데, 전자의 경우는 픽쳐 타입을 포함한 픽쳐 헤더 정보를 복사하여 보내는 경우이고, 후자의 경우는 그러한 정보가 없는 경우이다.

따라서, RTP H.263+ Payload 정보를 분석하고 그 분석 결과를 기반으로 패킷화 타입을 분류한다(S408). 그리고 패킷화 타입 분류를 통하여 들어온 패킷이 픽쳐 세그먼트 패킷(Picture Segment Packet) 인지 팔로우-온 패킷(Follow-On Packet)인지를 구분한다.

패킷화 타입 분류를 구분한 결과 픽쳐 세그먼트 패킷의 경우(S409)는 그 자체에 이미 픽쳐 타입 정보를 가지고 있기 때문에 현재 패킷에서 픽쳐 타입 정보를 찾은 다음 복호화 과정에 이용한다(S410).

그러나 패킷화 타입 분류를 구분한 결과 팔로우-온 패킷의 경우(S411)는 현재 패킷에서 픽쳐 타입 정보를 이용할 수 없기 때문에 그 이전에 들어온 픽쳐 세그먼트 패킷에서 픽쳐 타입 정보를 찾은 후 복호화기의 픽쳐 타입에 따른 처리 루틴 과정에 이용하여 복호화를 수행한다(S412).

이때 도4에 나타낸 바와 같이 RTP H.263+ Payload 정보 분석 및 패킷화 타입 분석, 이를 통한 픽쳐 타입 보정을 디패킷화 과정에서 수행할 수도 있고, 응용에 따라서는 코덱 내부에서 할 수도 있다. 이와 같이 패킷 손실로 인한 픽쳐 타입 오류를 보정할 수 있다.

지금까지 설명한 바와 같이 본 발명은 패킷 기반 영상 전화 시스템에서 픽쳐 타입 손실로 인한 디코딩 처리 시의 에러에 대응하기 위하여, 디코딩 시, 비디오 코덱 내의 픽쳐 타입 정보 뿐만 아니라, 이전 디패킷화 시 전송된 RTP H.263+ Payload 포맷 정보를 함께 이용하여 픽쳐 타입 정보를 복구함으로써, 픽쳐 타입 손실로 인한 디코딩 오류를 줄일 수 있게 된다.

본 발명은 패킷 기반 영상 전화 시스템에서 픽쳐 타입 손실로 인한 디코딩 처리 시의 에러에 대응하기 위하여, 디코딩 시, 코덱 내 픽쳐 타입 정보 뿐 아니라, 이전 디패킷화 시 전송된 RTP H.263+ Payload 포맷 정보를 함께 이용해서 손실로 인한 픽쳐 타입 정보를 복구함으로써 이로 인한 디코딩 오류를 없애는 효율적인 방법을 제시했다.

따라서 본 발명에 의하면 패킷 손실로 인한 영상 품질 저하를 최소로 줄임으로써 수신단의 재현 영상 품질을 향상시킬 수 있고, H.263+ 패킷화 기반 IMT-2000영상 전화 서비스용 단말 뿐 아니라 인터넷 응용 PC 용 영상 전화 등의 H.263+ 디코더에 이용 가능하다.

Claims (3)

1. 디패킷화된 멀티미디어 비트 스트림에서 PSC(Picture Start Code) 정보를 이용해서 패킷 오류 여부를 판별하는 단계, 상기 PSC 정보가 존재하는 경우 정상 패킷으로 간주하여 해당 픽쳐 타입에 따른 복호화를 수행하는 단계, 상기 PSC 정보가 없는 경우 오류 패킷으로 간주하여 RTP 패이로드 정보를 분석하는 단계, 상기 RTP 패이로드 분석 결과에 따른 패킷화 타입에 따라 손실된 패킷 픽쳐 타입 정보를 복원하여 해당 패킷의 복호화를 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법.
2. 제 1 항에 있어서, 상기 RTP 패이로드 정보를 분석한 결과 상기 분류된 패킷화 타입이 픽쳐 세그먼트 패킷(Picture Segment Packets)인 경우 현재 패킷에서 픽쳐 타입 정보를 찾아 복호화를 수행하는 것을 특징으로 하는 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법.
3. 제 1 항에 있어서, 상기 RTP 패이로드 정보를 분석한 결과 상기 분류된 패킷화 타입이 팔로우-온 패킷(Follow-On Packet)인 경우 이전 픽쳐 세그먼트 패킷에서 픽쳐 타입 정보를 찾아 복호화를 수행하는 것을 특징으로 하는 영상전화 시스템의 픽쳐타입 손실 대응 복호화 방법.