KR100586101B1 - 동영상 코딩 방법 - Google Patents

Abstract

본 발명에 따른 동영상 코딩 방법은, 동영상 전송 시스템에서 에러 은닉을 수행하는 동영상 코딩 방법에 있어, 인코더에서 입력된 영상에 대한 픽쳐 헤더 정보를 추출하는 단계와; 상기 추출된 픽쳐 헤더 정보에 대하여 인코딩 시 데이터 숨김을 통하여 전송하는 단계; 및 디코더에서 상기 데이터 숨김에 의하여 전송된 픽쳐 헤더 정보를 추출하고, 그 추출된 픽쳐 헤더 정보를 이용하여 에러 은닉을 수행하는 단계; 를 포함한다.

여기서 본 발명에 의하면, 상기 픽쳐 헤더 정보는 인코딩되는 픽쳐 헤더의 구조적 정보와 인코딩 시 매번 바뀌는 헤더 정보를 포함한다. 여기서, 상기 인코딩되는 픽쳐 헤더의 구조적 정보는 픽쳐 헤더의 확장 유무에 대한 정보를 포함하며, 상기 인코딩 시 매번 바뀌는 헤더 정보는 해당 픽쳐의 양자화 파라메터(PQUANT)와 해당 픽쳐가 참조한 픽쳐 정보(temporal reference 값)를 포함한다.

또한 본 발명에 의하면, 상기 데이터 숨김을 수행함에 있어, 입력된 영상에 대한 양자화 파라메터 및/또는 DCT가 수행되는 블록 내의 레벨 값(DCT 계수를 양자화 파라메타로 나눈 값)을 이용하여 데이터 숨김을 수행하는 점에 그 특징이 있다.

Description

동영상 코딩 방법{Moving picture coding method}

도 1은 일반적인 동영상 코딩 방법에 의하여 코딩이 수행되는 과정을 개략적으로 나타낸 도면.

도 2는 일반적인 동영상 코딩 방법에서의 영상 계층을 설명하기 위한 도면.

도 3은 일반적인 동영상 코딩 방법에서, 각 영상 계층에 에러가 발생될 경우의 영향을 설명하기 위한 도면.

도 4는 본 발명에 따른 동영상 코딩 방법에 의하여, 양자화 파라미터를 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면.

도 5는 본 발명에 따른 동영상 코딩 방법에 의하여, 레벨 값을 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면.

도 6은 본 발명에 따른 동영상 코딩 방법에 의하여, 데이터 숨김을 수행할 픽쳐 헤더의 구조를 설명하기 위한 도면.

도 7은 본 발명에 따른 동영상 코딩 방법에 의하여, 데이터 숨김을 수행할 픽쳐 헤더의 파라메터 셋 구성 예를 나타낸 도면.

도 8은 본 발명에 따른 동영상 코딩 방법에 의하여, 데이터 숨김을 수행할 픽쳐 헤더 정보를 설명하기 위한 도면.

도 9는 본 발명에 따른 동영상 코딩 방법에 의하여 인코더에서 코딩이 수행 되는 과정을 나타낸 순서도.

도 10은 본 발명에 따른 동영상 코딩 방법에 의하여 디코더에서 코딩이 수행되는 과정을 나타낸 순서도.

본 발명은 동영상 코딩에 관한 것으로서, 특히 멀티미디어 영상이 네트워크를 통해 전송될 때, 인코딩 과정에서의 데이터 숨김을 통해, 디코딩 과정에서 발생되는 에러에 대하여 효율적으로 에러 은닉을 처리할 수 있는 동영상 코딩 방법에 관한 것이다.

최근 들어 IMT2000 등 초고속 이동 통신이 가시화되면서 음성, 정지영상뿐 아니라 동영상 같은 멀티미디어 서비스도 확대되고 있다. 동영상의 멀티미디어 서비스의 예로는 VOD 같은 단방향 서비스와 화상통화 같은 양방향 서비스가 있다. 비디오 통신은 음성 통화보다 데이터양이 훨씬 많기 때문에 기본적으로 비디오 압축을 수행한다.

일반적인 동영상 코딩 과정은, 도 1에 나타낸 바와 같이, 입력 영상에 대하여 움직임 보상(motion compensation)과 움직임 예측(motion estimation)을 통해 움직임 벡터(motion vector)를 추출하고, 그 차 영상에 대해서는 DCT와 양자화 과정을 수행한다. 양자화가 수행된 데이터에 대하여 데이터 압축을 좀 더 효율적으로 처리하기 위해 가변장 부호화(VLC encoding)를 수행한다.

그리고 역 양자화와 역 DCT(IDCT)를 수행한 것과 이전 영상을 합해 기존 영상으로 복원하고 그 영상을 가지고 또 다음 영상의 차 영상을 구한다. 이러한 방식으로 비디오 데이터 압축이 이루어진다.

이후, 이러한 비디오 압축 후 네트워크를 통해 상대편과 통화가 이루어진다. 이때 데이터가 이동하는 네트워크에는 노이즈가 발생된다. 즉, 통신하는 데이터는 그대로 수신단에 전해지지 않고 데이터의 손상이나 손실이 발생되게 된다. 이러한 전송 데이터의 손실이나 손상을 에러라고 한다.

이러한 에러는 에러가 발생한 프레임뿐 아니라 그 이후에도 연속적으로 영향을 미치게 된다. 그 이유는 비디오에 대하여 압축이 수행되기 때문인데, 시공간 움직임 예측은 한번 일어난 데이터의 에러가 연속된 프레임에 영향을 미치게 한다. 또한, 가변 부호화 방식은 데이터 에러가 발생했을 때 동기(Sync)를 잃어버려 그 프레임에서 다음 동기(Sync)를 찾을 때 까지 영향을 미치게 한다. 즉 비디오 압축으로 인해 데이터 손실에 대한 화질의 저하게 매우 커지고 연속적으로 이어지게 된다.

특히, 데이터 압축의 전체적인 정보를 포함하고 있는 헤더 정보의 손실은 데이터 정보의 손실보다 화질에 미치는 영향이 훨씬 크다. 일반적인 비디오 압축 방법은 영상 한 장을 여러 계층으로 나누어 각 계층마다 헤더를 붙여 하위 계층의 공통적인 정보를 포함시킨다. 그렇기 때문에 어떤 계층의 헤더가 깨졌을 경우 그 하위 계층 정보는 모두 잃게 되어 화질 저하가 매우 커지게 된다.

위와 같은 영상의 화질 저하는 동영상 서비스의 커다란 장애물이다. 비디오 압축 표준에서도 위와 같은 에러에 대한 복원과 은닉에 대한 방법이 있으나 각각 한계점이 있다.

에러에 대한 복원방법은 주로 인코더에서 추가적인 데이터의 삽입으로 행해지는 방법으로 에러가 발생했을 때 디코더에서 에러의 전파를 막기 위한 방법이다. 인코딩 되는 스트림에 동기화(Sync) 비트를 추가로 삽입하거나 인코딩 되는 스트림을 같은 길이의 묶음으로 잘라 에러의 전파를 막는 방법이다. 이러한 에러 복원 방법은 디코더가 인코더의 에러 복원 방법을 모르면 디코딩을 수행할 수 없다는 단점이 있다.

에러 복원 방법 중 또 하나의 방법은 인코더와 디코더가 동시에 수행하는 방법이 있다. 이 방법은 백 채널(back channel)을 이용하는 방법으로 디코더가 인코더에게 에러의 발생 위치를 알려주면 인코더가 그 정보를 이용하여 에러 복원을 할 수 있는 방법으로 인코딩 하는 것이다. 이러한 경우에는 시스템에서 백 채널을 추가적으로 지원해 주어야 하는 단점이 있다.

그리고, 에러 은닉 방법은 디코더에서 행해지는 방법으로, 에러가 발생한 부분을 디코더에서 가지고 있는 영상을 이용하여 최대한 원 영상과 유사하게 만드는 방법이다. 이러한 경우, 디코더에서 제한된 정보만을 이용하여 에러를 은닉하기 때문에 에러 은닉의 정확성에 한계가 있다.

이상에서 설명된 에러 복원 방법과 에러 은닉 방법을 각각 이용하는 방법만으로는 발생된 에러를 모두 제거 시킬 수 없는 단점을 가지고 있다.

본 발명은, 멀티미디어 영상이 네트워크를 통해 전송될 때, 인코딩 과정에서의 데이터 숨김을 통해 픽쳐의 헤더 정보를 제공함으로써, 디코딩 과정에서 발생되는 에러에 대하여 효율적으로 에러 은닉을 처리할 수 있는 동영상 코딩 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 동영상 코딩 방법은, 동영상 전송 시스템에서 에러 은닉을 수행하는 동영상 코딩 방법에 있어,

인코더에서 입력된 영상에 대한 픽쳐 헤더 정보를 추출하는 단계와;

상기 추출된 픽쳐 헤더 정보에 대하여 인코딩 시 데이터 숨김을 통하여 전송하는 단계; 및

디코더에서 상기 데이터 숨김에 의하여 전송된 픽쳐 헤더 정보를 추출하고, 그 추출된 픽쳐 헤더 정보를 이용하여 에러 은닉을 수행하는 단계; 를 포함하는 점에 그 특징이 있다.

여기서 본 발명에 의하면, 상기 픽쳐 헤더 정보는 인코딩되는 픽쳐 헤더의 구조적 정보와 인코딩 시 매번 바뀌는 헤더 정보를 포함하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 인코딩되는 픽쳐 헤더의 구조적 정보는 픽쳐 헤더의 확장 유무에 대한 정보를 포함하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 인코딩 시 매번 바뀌는 헤더 정보는, 해당 픽쳐의 양자화 파라메터(PQUANT)와 해당 픽쳐가 참조한 픽쳐 정보(temporal reference 값)를 포함하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 추출된 픽쳐 헤더 정보에 대하여 데이터 숨김을 수행함에 있어, 상기 추출된 픽쳐 헤더 정보의 동일 정보를 여러번 반복하여 숨기는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 데이터 숨김을 수행함에 있어, 입력된 영상에 대한 양자화 파라메터 및/또는 DCT가 수행되는 블록 내의 레벨 값(DCT 계수를 양자화 파라메타로 나눈 값)을 이용하여 데이터 숨김을 수행하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 추출된 픽쳐 헤더 정보에 대한 데이터 숨김을 수행함에 있어, 상기 픽쳐 헤더 정보가 추출된 프레임보다 한 프레임 뒤에 상기 추출된 픽쳐 헤더 정보를 숨기는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 디코더에서 추출된 픽쳐 헤더 정보를 이용하여 에러 은닉을 수행함에 있어, 입력되는 N 번째 프레임으로부터 픽쳐 헤더에 에러가 발생되었지의 여부를 판단하는 단계와; 상기 입력된 N 번째 프레임의 픽쳐 헤더에 에러가 발생된 경우에는 해당 픽쳐 데이터를 버퍼에 저장하고, (N+1) 번째 프레임의 픽쳐를 디코딩하여 에러가 발생된 N 번째 프레임의 픽쳐 헤더 정보를 추출하는 단계; 및 상기 추출된 N 번째 프레임의 픽쳐 헤더 정보를 참조하여, 상기 버퍼에 저장된 N 번째 프레임의 픽쳐 데이터에 대한 디코딩을 수행하는 단계; 를 포함하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 N 번째 프레임의 픽쳐 데이터에 대한 디코딩을 수행한 이후에, 상기 N 번째 프레임의 영상을 참조하여, 상기 (N+1) 번째 프레임의 픽쳐에 대한 디코딩을 다시 수행하는 점에 그 특징이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.

본 발명은 인코딩 과정에서 데이터의 숨김을 통해 픽쳐 헤더의 정보를 숨겨 전송함으로써, 디코더에서 에러가 발생했을 때 에러의 은닉을 좀 더 효과적으로 처리할 수 있는 동영상 코딩 방법을 제시한다.

알려진 바와 같이, 비디오 화상 통신에서 비디오는 데이터의 양이 많기 때문에 압축을 수행하여 전송하게 된다. 비디오 데이터를 모두 압축하면 압축된 데이터양도 많기 때문에 이전 영상과 유사한 부분을 찾아 움직임 벡터를 구하고 그에 대한 차분치만을 인코딩한 후 가변장 부호화를 수행하여 전송한다.

이러한 방법으로 비디오 데이터를 압축하였을 경우 데이터 압축은 많이 할 수 있지만, 에러가 발생하였을 경우 에러의 전파가 발생한다. 즉 가변장 부호화를 통해 압축하였기 때문에 한 비트에서 에러가 발생하여도 다음 동기(Sync)부호를 만날 때까지 에러가 이어지고, 이전 영상을 참조하여 인코딩 하기 때문에 이전 영상에서 에러가 발생하였을 경우 다음 영상까지 에러가 전파되게 된다.

또한 움직임 예측과 움직임 보상을 통해 압축하는 일반적인 비디오 압축 방법은 영상을 계층으로 분할하고 계층을 이용하여 압축을 수행하게 되는데, 계층을 이용하는 것이 하위 계층의 공통적인 정보를 헤더에 포함시킬 수 있기 때문이다. 일반적인 움직임 예측, 움직임 보상 비디오 압축 방법인 H.263의 계층을 도 2에 나타내었다. 도 2는 일반적인 동영상 코딩 방법에서의 영상 계층을 설명하기 위한 도면이다.

도 2에 나타낸 바와 같이, 영상의 계층은 픽쳐층, GOB층, 매크로 블록(MB) 층, 블록층의 4 계층으로 나누어 진다. 여기서, 픽쳐는 프레임 한 장을 의미하고 9 개의 GOB를 포함한다. 그리고, GOB는 매크로 블록 단위의 한 열을 의미하고 11 개의 매크로 블록을 포함한다. 매크로 블록은 움직임 벡터를 찾는 단위로 4 개의 휘도 블록과 2 개의 색차 블록을 포함한다. 블록은 데이터 압축의 가장 기본 단위로 8*8 화소를 포함한다.

좀 더 부연하여 살펴보면, 각 계층마다 헤더가 붙어 그 하위 계층의 구조적 정보를 나타낸다. 픽쳐 헤더에는 픽쳐의 인코딩 타입, 추가 모드의 사용 여부, 참조 프레임 번호, 영상의 사이즈 등 한 프레임의 전체 골격의 정보를 담고 있다. GOB 헤더에는 GOB 시작 코드와 GOB 번호 그리고 프레임 ID 등의 정보가 포함되어 있다. 즉, 매크로 블록 단위의 한 열에 대한 정보가 포함되어 있다. 매크로 블록 헤더에는 16*16의 픽셀 단위로 움직임 벡터, 매크로 블록 인코딩 타입 등의 정보가 포함되어 있다.

위에서 설명하였듯이 각 계층은 그 하위 계층의 구조적 정보를 포함하는 헤더를 가지고 있다. 비디오 통신 환경에서 각 계층의 헤더에 에러가 발생하였을 경우, 데이터에 에러가 발생했을 경우보다 화질 저하가 훨씬 크다. 도 3은 각 계층의 헤더에 에러가 발생하였을 경우 어떤 화질 저하 현상이 생기고 그 영향이 어느 정도인지 나타내주고 있다.

도 3에 나타낸 바와 같이, 가장 상위 계층인 픽쳐 헤더에 에러가 발생하였을 경우 한 프레임 전체를 디코딩 할 수 없어 그 프레임을 참조하는 다음 프레임에 큰 화질 저하가 발생한다. 특히 움직임이 클 때 이전 영상을 참조하지 못했을 경우 화 질 저하는 더욱 심해진다.

또한, GOB 헤더에 에러가 발생되는 경우에는 GOB 한 줄을 정상적으로 디코딩하지 못하게 되며, 매크로블록 헤더에 에러가 발생되는 경우에는 에러가 발생된 매크로블록부터 마지막 매크로블록까지 정상적인 디코딩이 수행되지 않게 된다.

이러한 화질 저하를 방지하기 위해 데이터 숨김 기술을 이용하여 픽쳐 헤더의 정보를 인코딩되는 데이터에 숨겨 전송하여 에러 복원을 할 수 있다.

그러면, 본 발명에서 수행되는 데이터 숨김에 대하여 살펴 보기로 한다.

데이터 숨김이라는 것은 디지털 멀티미디어에 원하는 정보를 숨겼다가 필요할 때 숨겨진 정보를 추출하는 기술이다. 데이터를 숨기는 기술로는 크게 숨긴 정보를 추출하기 위해 원본이 필요한 기술과 원본이 필요 없는 기술로 나눌 수 있다. 본 발명에서는 사용할 데이터 숨김 방법으로서 원본 데이터를 필요로 하지 않는 방법을 이용하고자 한다.

본 발명에서의 데이터 숨김은 비디오 압축 시 수행된다. 데이터의 숨김은 입력 영상을 압축할 때 데이터 압축 시 이용되는 파라메터나 입력 영상에 의존적인 값을 변형하여 수행할 수 있다. 비디오 압축을 수행할 때 데이터 숨김을 할 수 있으려면, 데이터 숨김을 하여 원래 파라메터나 원본 데이터가 변형되더라도 화질이나 압축되는 데이터 양에 큰 영향을 미치지 않는 부분이어야 한다. 그러한 값으로는 양자화 파라메터(QP)와, DCT 계수를 양자화 파라메터로 나눈 'level' 값이 있다.

양자화 파라메터를 이용하여 데이터 숨김을 수행하는 것에 대하여 도 4에 나 타내었다. 도 4는 본 발명에 따른 동영상 코딩 방법에 의하여, 양자화 파라미터를 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면이다.

알려진 바와 같이, 인코딩되는 데이터 양을 조절하는 것이 양자화 파라메터이다. 양자화 파라메터는 입력 영상이나 입력 영상의 차분치를 DCT한 계수 값을 나눠주는 파라메터이다. 양자화 파라메터가 커지면 DCT 계수를 나눠주는 값이 커지기 때문에 인코딩되는 데이터양이 줄어들고 양자화 파라메터가 줄어들면 DCT계수를 나눠주는 값이 작아지기 때문에 인코딩되는 데이터양이 늘어난다.

그리고, 네트워크를 통해 비디오 동영상을 주고 받을 때 네트워크의 대역폭에 맞게 데이터를 압축하게 된다. 네트워크의 대역폭이 넓으면 통신할 수 있는 데이터 양이 많기 때문에 인코딩되는 양은 많아지고 화질은 좋아지게 된다. 반대로 네트워크의 대역폭이 좁으면 통신할 수 있는 데이터 양이 적기 때문에 인코딩되는 양은 적어지고 화질은 나빠지게 된다. 위와 같이 네트워크 상황을 보고 인코딩되는 데이터 양을 양자화 파라메터를 이용하여 조절하게 되는데 이때 데이터 숨김을 하게 된다.

도 4에 나타낸 바와 같이, 입력 영상이나 입력 영상의 차분치 영상에 대하여 DCT를 한 후 네트워크의 대역폭을 고려하여 적절한 양자화 파라메터를 설정한다. 양자화 파라메터는 매크로블록 헤더로 들어가 압축한 영상을 디코딩 할 때 사용하게 된다. 이때 실제 양자화 파라메터를 이용하여 양자화하기 전에 데이터 숨김을 수행하게 된다. 여기서 데이터 숨김은 다음과 같이 수행할 수 있다.

QP_new %2 == Hide bit[k]

QP_new 변동 없음

QP_new %2 != Hide bit[k]

QP_new = QP_new + 1 ;

Hide bit[k] : 숨길 데이터의 비트 스트림

위와 같이 데이터 숨김을 하게 되면 디코더에서 압축된 데이터를 디코딩 하면서 양자화 파라미터의 값을 보고 숨겨진 데이터를 추출할 수 있게 된다. 디코더에서 양자화 파라메터가 짝수이면 숨겨진 데이터는 '0'이 되고 양자화 파라메터가 홀수이면 숨겨진 데이터는 '1'이 되는 것이다.

이때, 데이터 숨김을 위해 인코더에서는 양자화 파라메터를 약간 변경하게 된다. 즉, 숨길 데이터와 양자화 파라메터가 2로 나눴을 때 나머지가 같지 않다면 양자화 파라메터 값을 1만큼 증가시켜 2로 나눴을 때 나머지를 같게 해준다. 이렇게 되면 DCT 계수를 나눠주는 값이 커지기 때문에 인코딩되는 데이터양은 줄어들게 된다. 하지만 사람 눈으로 느껴지는 화질 저하는 거의 발생되지 않는다.

한편, 입력 영상이나 차분치 영상의 DCT 계수 값을 양자화 한 값인 'level' 값에 데이터 숨김을 수행하는 것에 대하여 도 5에 나타내었다. 도 5는 본 발명에 따른 동영상 코딩 방법에 의하여, 레벨 값을 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면이다.

본 발명에 따른 동영상 코딩 방법에 의하면, 압축을 위해 입력 영상이나 차분치 영상에 대하여 DCT를 한다. 그 후 전송할 대역폭을 살펴보고 양자화 파라메터를 지정하여 인코딩되는 비트량을 조절하게 된다. 양자화 파라메터가 나누는 값은 DCT 계수이다.

도 5에서 DCT는 8*8 블록 단위로 수행된다. DCT가 수행된 블록에 양자화 파라메터가 적용되어 계수 값을 나눠주게 되는데, 이때 양자화 파라메터로 나눈 몫을 'level' 이라고 한다. 각 블록마다 나온 몫인 'level'을 이용하여 데이터 숨김을 수행하게 된다. 여기서, 데이터의 숨김은 다음과 같이 할 수 있다.

LevelSum %2 == Hide Bit[k]

Level 변경 없음

LevelSum %2 != Hide Bit[k]

Level 중 중요도가 가장 낮은 level 값을 1 줄임

LevelSum : 블록의 level을 모두 더한 값

각각의 'level'에 데이터 숨김을 하지 않고 블록 단위로 'level'을 합한 값에 데이터 숨김을 하는 이유는 각 'level'에 대해 데이터 숨김을 할 경우 화질에 영향을 주기 때문이다. 'Level'은 양자화 파라메터로 DCT 계수를 나눈 값의 몫이기 때문에 양자화 파라메터가 클수록 'level' 하나가 의미하는 DCT 계수의 범위는 커지게 된다.

예를 들어 'level' 값이 똑같이 '1'이더라도 양자화 파라메터가 10이면 가능한 DCT 범위는 10에서부터 19이고, 양자화 파라메터가 30이면 가능한 DCT 범위는 30부터 59까지이다. 그러므로 8*8 블록 단위로 'level'의 'sum'을 구한 뒤, 'level'의 'sum'을 2로 나눈 나머지와 숨길 데이터 비트가 동일하면 'level'의 변동이 없고 같지 않다면 중요도가 가장 낮은 'level'의 값을 1 만큼 줄인다.

여기서, 중요도가 가장 낮은 'level'이라 함은 사람의 눈에 가장 민감도가 낮은 부분을 말한다. 사람의 눈은 고주파 영역에 대해 민감도가 낮으므로 숨길 데이터 비트와 'level sum'을 2로 나눈 나머지가 같지 않을 경우 가장 고주파를 갖는 'level'의 값에 대하여 1을 줄인다.

즉, 'level sum'이 '16'이고 삽입해야 할 비트가 '1'이면 그 블록의 가장 고주파 영역인 'level'의 값을 '1' 줄여 블록 'level sum'이 '15'가 되게 하여 숨길 비트와 'level sum'을 2로 나눴을 때 나머지를 같게 해 준다.

하지만 만일 'level sum'이 '1'일 때는 문제가 생긴다. 'Level sum'이고 숨길 비트가 '1'이면 가장 민감도가 낮은 부분의 'level'을 '1'을 줄여 전체 블록의 합이 '0'이 된다. 하지만 원래 블록의 합이 '0'인 블록은 더 이상 'level'을 줄일 수 없기 때문에 데이터를 숨기지 않는다. 그렇게 되면 원래 'level sum'이 '1'이었다가 데이터를 숨겨 'level sum'이 '0'으로 된 블록과 처음부터 level sum이 '0'이고 데이터 숨김이 없는 블록을 구분할 수 없게 된다.

본 발명에서는 이러한 오류를 막고자 다음과 같은 방법을 사용하였다. 'Level'의 합이 '1'일 때 숨길 데이터가 '1' 이면 그 블록에 데이터를 삽입하였다. 그래도 'level'의 합은 변하지 않는다. 만일 'level'의 합이 '1'이고 숨길 데이터가 '0'이면 그 블록의 'level'의 합을 '0'으로 바꾸고 데이터 숨김은 하지 않는다. 디코더에서는 'level'의 합이 '0'일 때는 그 블록에 데이터 숨김이 없다고 여기게 된다.

이러한 방법으로 'level'의 합이 '1'인 블록을 제외하고 모든 블록은 숨길 데이터와 자신의 블록의 합을 2로 나눈 나머지 값이 같으면 블록의 'level'이 변화가 없고 그렇지 않으면 가장 민감도가 낮은 부분의 'level'을 '1' 만큼 감소시켜 데이터를 숨길 수 있다.

'Level'의 합이 '1'인 블록은 숨길 데이터가 '1' 이면 데이터를 숨기고 숨김 데이터가 '0'이면 데이터를 숨기지 않고 블록의 'level' 값만 '0'으로 변경시킨다. 'Level'의 합이 0'일 때도 데이터 숨김은 이루어 지지 않는다.

한편 본 발명에서는, 양자화 파라메터나 'level' 값을 이용하여 데이터 숨김을 수행함에 있어, 픽쳐 헤더의 정보에 대하여 데이터 숨김을 수행한다.

하지만, 전체 픽쳐 헤더 정보를 숨겨서 보낼 수 없기 때문에 픽쳐 헤더 정보 중에서 픽쳐를 디코딩 할 때 꼭 필요한 정보만을 축약해서 파라메터 셋을 만든다. 그리고 그 축약된 파라메터 셋과, 축약할 수 없지만 디코딩 할 때 중요한 정보들을 묶어서 데이터 숨김을 수행하도록 한다.

여기서, 픽쳐 헤더의 파라메터 셋이란 픽쳐 헤더의 구조적 특징과 픽쳐 헤더의 중요 정보 중 인코딩 시 매번 바뀌지 않는 헤더 정보를 표현한 값이다. 도 6에 나타낸 바와 같이, 픽쳐 헤더는 크게 3가지 구조를 갖는다. 픽쳐 헤더 구조는 픽쳐 헤더 내에서 픽쳐 헤더의 확장을 나타내는 값에 따라 확정된다. PTYPE은 픽쳐의 가장 기본적인 값을 가지고 있다. PTYPE의 6 번째에서 8 번째 비트가 '111'이 아니면 픽쳐 헤더는 확장되지 않은 가장 기본적인 50 비트의 헤더가 된다.

만일 PTYPE의 6 번째에서 8 번째 비트가 '111'이면 픽쳐 헤더는 확장되는데, 확장되는 헤더도 두 가지 타입으로 분류된다. 이때, 확장된 PTYPE에 뒤따라오는 UFEP(Update Full Extended PTYPE)의 값이 '001'이냐 또는 '000'이냐에 따라 확장되는 픽쳐 헤더의 값이 달라진다. UFEP의 값이 '001'이면 OPPTYPE(The optional part of PLUSPTYPE)과 MPPTYPE(The mandatory part of PLUSPTYPE when PLUSPTYPE present)이 붙고 UFEP의 값이 '000'이면 MPPTYPE이 붙는다.

UFEP의 값이 '001'이면 확장되는 PTYPE이 현재 헤더에 모두 포함되었다는 의미로 모든 확장 옵션이 어떻게 되는지를 나타낸다. UFEP의 값이 '000'이면 모든 픽쳐 헤더에 들어가야 할 확장 부분이 포함되어 있음을 나타낸다.

PTYPE의 6 번째에서 8 번째 비트가 '111'일 때는 UFPE의 값이 5 초에 한번 혹은 5 번째 픽쳐 헤더마다 '001'이 되어야 한다. 대부분의 영상 압축에서 픽쳐 헤더는 고정된 파라메터 값을 갖는다. 추가적인 'annex'를 사용하거나 UFEP의 확장 모드가 달라질 때만 제외하고는 거의 이전 픽쳐 헤더와 유사한 값을 갖는 것이 픽쳐 헤더의 특성이다. 이 점에 유의하여 픽쳐 헤더의 파라메터 셋을 구성하였다. 픽쳐 헤더의 파라메터 셋은 도 7에 나타낸 바와 같다. 도 7은 본 발명에 따른 동영상 코딩 방법에 의하여, 데이터 숨김을 수행할 픽쳐 헤더의 파라메터 셋 구성 예를 나타낸 도면이다.

본 발명에서는 픽쳐 헤더의 확장에 따른 세 가지 구조와 두 가지 픽쳐 타입(intra picture, inter picture)을 이용하여 6 가지의 픽쳐 헤더 파라메터 셋을 정의하였다. 픽쳐 헤더의 파라메터 셋이 모든 픽쳐 헤더 정보를 표현할 수는 없는데, 이는 매 픽쳐마다 그 값이 변경되는 헤더 값이 있기 때문이다. 이와 같은, 매 픽쳐마다 그 값이 변경되는 헤더 값으로는 'PQUANT' 값과 'temporal reference' 값이 있다.

여기서, 'PQUANT' 값은 픽쳐의 양자화 파라메터 값으로 하위 계층에서 양자화 파라메터 값이 변경되지 않는 한, 전체 픽쳐가 'PQUANT' 값을 양자화 파라메터 값으로 갖는다. 이 값은 픽쳐마다 변경되기 때문에 픽쳐 헤더 파라메터 셋으로 들어가진 않지만 데이터 숨김을 이용하여 전송해야 하는 중요한 헤더 값이다.

또한, 'temporal reference' 값도 따로 전송해야 할 중요한 헤더 값이다. 'Temporal reference'는 현재 픽쳐가 참조한 영상의 픽쳐 번호를 전송하는 것으로 참조 영상이 달라졌을 경우 화질 저하 현상이 매우 크게 나타나기 때문에 정확한 정보의 전송이 필요하다.

이와 같이, 픽쳐 헤더 파라메터 셋과 'PQUANT' 값 그리고 'temporal reference' 값을 픽쳐 헤더의 중요 골격 정보로 데이터 숨김 기술을 이용하여 전송한다. 픽쳐 헤더의 파라메터 셋과 'PQUANT' 값 그리고 'temporal reference' 값을 모두 전송하는데 총 11 bits가 사용된다. 이와 같은 픽쳐 헤더 정보의 구조를 도 8에 나타내었다.

한편, 픽쳐 헤더 정보를 이용하여 데이터 숨김을 수행할 때는 한 프레임 뒤(N+1 번째 프레임)에 이루어 진다. 픽쳐 헤더가 인코딩되는 픽쳐의 맨 앞에 나오는 정보이기 때문에, 픽쳐 헤더 정보를 해당하는 픽쳐(N 번째 프레임)에 숨기면 픽쳐 헤더에 에러가 발생하였을 때 픽쳐 헤더 정보를 추출할 수 없기 때문이다.

때문에 픽쳐 헤더 정보는 한 프레임 뒤에 숨겨 전송하였다가 픽쳐 헤더에 에러가 발생하면 에러가 발생한 픽쳐는 디코딩하지 않고 버퍼에 저장을 수행한다. 그 리고, 다음 프레임이 전송되어 제대로 디코딩되면 이전 프레임의 픽쳐 헤더 정보를 추출하여 버퍼에 저장하였던 픽쳐를 추출된 픽쳐 헤더 정보를 이용하여 정상적으로 디코딩 하도록 한다.

이때, 픽쳐 헤더에 에러가 발생한 픽쳐 뒤에 받은 픽쳐는 자신의 참조 프레임이 디코딩되지 않아 잘못된 참조 프레임을 이용하여 디코딩 하였기 때문에 이전 프레임이 정상적으로 디코딩되면 그 프레임을 이용하여 다시 한번 디코딩을 수행한다.

이와 같은 일련의 과정을 인코더 측면에서 나타낸 것은 도 9와 같으며, 디코더 측면에서 나타낸 것은 도 10과 같다.

한편, 동영상 통신에서 에러 비율은 환경에 따라 다르게 변한다. 심하게는 10E-3이고 거의 에러가 없는 환경도 있다. 이때 에러 발생 비율이 높은 환경에서는 숨기는 데이터도 에러에 의해 깨질 수가 있으므로 여러 번 반복해서 보내주어야 한다. 복원하는 데이터에 에러가 발생하였을 경우 숨겨진 데이터를 추출하여 에러를 은닉하게 되는데, 데이터 숨김 자체가 인코딩 되는 비트 스트림에 숨겨져 있기 때문에 인코딩된 데이터가 에러에 의해 깨졌으면 숨겨진 데이터도 깨지게 되기 때문이다.

따라서, 깨어진 정보를 이용하여 에러 은닉을 수행하면 화질 저하는 더욱 심해지므로, 숨길 데이터를 여러 번 중복하여 보내 디코더에서 숨겨진 데이터가 에러에 의해 깨졌을 경우에도 중복된 다른 데이터를 이용할 수 있도록 한다.

한편, 종래에 수행되는 에러 은닉방법은 디코더에서 받은 영상만을 이용하여 최대한 원 영상과 유사하게 복원하게 된다. 즉, 이용할 수 있는 정보가 제한되어 있기 때문에 복원된 영상이 원 영상과 차이를 갖게 된다. 일반적인 비디오 압축 방식은 이전 영상과의 차분치를 이용하여 압축하기 때문에 어떤 시점에서 에러가 발생하면 그 부분의 에러를 완벽히 제거하지 않는 한 다음 영상에 에러가 전파되게 된다. 즉, 발생된 시점의 에러를 최대한 제거 시키는 것이 필요하다.

본 발명에서 제시한 동영상 코딩 방법을 이용하면 에러 은닉을 수신단에서만 하는 것이 아니고 송신단에서 추가적인 정보를 받아서 하기 때문에 발생된 에러를 최대한 제거시킬 수 있게 된다.

본 발명에 따른 동영상 코딩 방법을 이용하면, IMT-2000 등의 비디오 통신 서비스에서 에러가 발생했을 때 에러 은닉을 좀 더 효율적으로 해 주어 일반적인 비디오 코덱 표준(H.26X, MPEG 1,2,4)을 사용하고 있는 동영상 통신 서비스에 효과적으로 사용될 수 있다.

이상의 설명에서와 같이 본 발명에 따른 동영상 코딩 방법에 의하면, 멀티미디어 영상이 네트워크를 통해 전송될 때, 인코딩 과정에서의 데이터 숨김을 통해 픽쳐의 헤더 정보를 제공함으로써, 디코딩 과정에서 발생되는 에러에 대하여 효율적으로 에러 은닉을 처리할 수 있는 장점이 있다.

Claims (9)

1. 동영상 전송 시스템에서 에러 은닉을 수행하는 동영상 코딩 방법에 있어,

   인코더에서 입력된 영상에 대한 픽쳐 헤더 정보를 추출하는 단계와;

   상기 추출된 픽쳐 헤더 정보에 대하여 인코딩 시 입력된 영상에 대한 양자화 파라메터 및/또는 DCT가 수행되는 블록 내의 레벨 값(DCT 계수를 양자화 파라메타로 나눈 값)을 이용하여 데이터 숨김을 수행하고 전송하는 단계; 및

   디코더에서 상기 데이터 숨김에 의하여 전송된 픽쳐 헤더 정보를 추출하고, 그 추출된 픽쳐 헤더 정보를 이용하여 에러 은닉을 수행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
2. 제 1항에 있어서,

   상기 픽쳐 헤더 정보는, 인코딩되는 픽쳐 헤더의 구조적 정보와 인코딩 시 매번 바뀌는 헤더 정보를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
3. 제 2항에 있어서,

   상기 인코딩되는 픽쳐 헤더의 구조적 정보는, 픽쳐 헤더의 확장 유무에 대한 정보를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
4. 제 2항에 있어서,

   상기 인코딩 시 매번 바뀌는 헤더 정보는, 해당 픽쳐의 양자화 파라메터(PQUANT)와 해당 픽쳐가 참조한 픽쳐 정보(temporal reference 값)를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
5. 제 1항에 있어서,

   상기 추출된 픽쳐 헤더 정보에 대하여 데이터 숨김을 수행함에 있어, 상기 추출된 픽쳐 헤더 정보의 동일 정보를 여러번 반복하여 숨기는 것을 특징으로 하는 동영상 코딩 방법.
6. 삭제
7. 제 1항에 있어서,

   상기 추출된 픽쳐 헤더 정보에 대한 데이터 숨김을 수행함에 있어, 상기 픽쳐 헤더 정보가 추출된 프레임보다 한 프레임 뒤에 상기 추출된 픽쳐 헤더 정보를 숨기는 것을 특징으로 하는 동영상 코딩 방법.
8. 제 1항에 있어서,

   상기 디코더에서 추출된 픽쳐 헤더 정보를 이용하여 에러 은닉을 수행함에 있어,

   입력되는 N 번째 프레임으로부터 픽쳐 헤더에 에러가 발생되었지의 여부를 판단하는 단계와;

   상기 입력된 N 번째 프레임의 픽쳐 헤더에 에러가 발생된 경우에는 해당 픽쳐 데이터를 버퍼에 저장하고, (N+1) 번째 프레임의 픽쳐를 디코딩하여 에러가 발생된 N 번째 프레임의 픽쳐 헤더 정보를 추출하는 단계; 및

   상기 추출된 N 번째 프레임의 픽쳐 헤더 정보를 참조하여, 상기 버퍼에 저장된 N 번째 프레임의 픽쳐 데이터에 대한 디코딩을 수행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
9. 제 8항에 있어서,

   상기 N 번째 프레임의 픽쳐 데이터에 대한 디코딩을 수행한 이후에,

   상기 N 번째 프레임의 영상을 참조하여, 상기 (N+1) 번째 프레임의 픽쳐에 대한 디코딩을 다시 수행하는 것을 특징으로 하는 동영상 코딩 방법.

Images