KR100586100B1 - 동영상 코딩 방법 - Google Patents

Abstract

본 발명에 따른 동영상 코딩 방법은, 동영상 전송 시스템에서 에러 은닉을 수행하는 동영상 코딩 방법에 있어, 인코더에서 입력된 영상에 대한 관심영역 정보를 추출하는 단계와; 추출된 관심영역 정보에 대하여 인코딩 시 데이터 숨김을 통하여 전송하는 단계; 및 디코더에서 데이터 숨김에 의하여 전송된 관심영역 정보를 추출하고, 그 추출된 관심영역 정보를 이용하여 에러 은닉을 수행하는 단계; 를 포함한다.

또한 본 발명에 의하면, 입력된 영상에 대한 관심영역 정보를 추출함에 있어, 오브젝트 추출 기술을 이용하여 입력된 영상에서 관심영역을 추출하고, 입력된 영상을 인코딩 할 때 관심영역이 어떻게 인코딩 되는지의 정보를 추출한다.

또한 본 발명에 의하면, 추출되는 관심영역의 인코딩 정보는 관심영역의 위치, 움직임 벡터, 인코딩 타입의 정보를 포함하며, 추출된 관심영역 정보에 대하여 데이터 숨김을 수행함에 있어 관심영역의 헤더 정보에 대한 데이터 숨김을 수행한다.

또한 본 발명에 의하면, 데이터 숨김을 수행함에 있어, 입력된 영상에 대한 양자화 파라메터 및/또는 DCT가 수행되는 블록 내의 레벨 값(DCT 계수를 양자화 파라메타로 나눈 값)을 이용하여 데이터 숨김을 수행한다.

Description

동영상 코딩 방법{Moving picture coding method}

도 1은 일반적인 동영상 코딩 방법에 의하여 코딩이 수행되는 과정을 개략적으로 나타낸 도면.

도 2는 본 발명에 따른 동영상 코딩 방법에 의하여, 양자화 파라미터를 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면.

도 3은 본 발명에 따른 동영상 코딩 방법에 의하여, 레벨 값을 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면.

도 4는 일반적인 화상 통신에서 가장 관심영역인 사용자의 얼굴, 몸과 사용자 영역이 포함된 부분을 매크로 블록단위로 나타낸 도면.

도 5는 본 발명에 따른 동영상 코딩 방법에 의하여 동영상 코딩이 수행되는 과정을 나타낸 순서도.

본 발명은 동영상 코딩에 관한 것으로서, 특히 멀티미디어 영상이 네트워크를 통해 전송될 때, 인코딩 과정에서의 데이터 숨김을 통해, 디코딩 과정에서 발생되는 에러에 대하여 효율적으로 에러 은닉을 처리할 수 있는 동영상 코딩 방법에 관한 것이다.

최근 들어 IMT2000 등 초고속 이동 통신이 가시화되면서 음성, 정지영상뿐 아니라 동영상 같은 멀티미디어 서비스도 확대되고 있다. 동영상의 멀티미디어 서비스의 예로는 VOD 같은 단방향 서비스와 화상통화 같은 양방향 서비스가 있다. 비디오 통신은 음성 통화보다 데이터양이 훨씬 많기 때문에 기본적으로 비디오 압축을 수행한다.

일반적인 동영상 코딩 과정은, 도 1에 나타낸 바와 같이, 입력 영상에 대하여 움직임 보상(motion compensation)과 움직임 예측(motion estimation)을 통해 움직임 벡터(motion vector)를 추출하고, 그 차 영상에 대해서는 DCT와 양자화 과정을 수행한다. 양자화가 수행된 데이터에 대하여 데이터 압축을 좀 더 효율적으로 처리하기 위해 가변장 부호화(VLC encoding)를 수행한다.

그리고 역 양자화와 역 DCT(IDCT)를 수행한 것과 이전 영상을 합해 기존 영상으로 복원하고 그 영상을 가지고 또 다음 영상의 차 영상을 구한다. 이러한 방식으로 비디오 데이터 압축이 이루어진다.

이후, 이러한 비디오 압축 후 네트워크를 통해 상대편과 통화가 이루어진다. 이때 데이터가 이동하는 네트워크에는 노이즈가 발생된다. 즉, 통신하는 데이터는 그대로 수신단에 전해지지 않고 데이터의 손상이나 손실이 발생되게 된다. 이러한 전송 데이터의 손실이나 손상을 에러라고 한다.

이러한 에러는 에러가 발생한 프레임뿐 아니라 그 이후에도 연속적으로 영향을 미치게 된다. 그 이유는 비디오에 대하여 압축이 수행되기 때문인데, 시공간 움 직임 예측은 한번 일어난 데이터의 에러가 연속된 프레임에 영향을 미치게 한다. 또한, 가변 부호화 방식은 데이터 에러가 발생했을 때 동기(Sync)를 잃어버려 그 프레임에서 다음 동기(Sync)를 찾을 때 까지 영향을 미치게 한다. 즉 비디오 압축으로 인해 데이터 손실에 대한 화질의 저하게 매우 커지고 연속적으로 이어지게 된다.

위와 같은 영상의 화질 저하는 동영상 서비스의 커다란 장애물이다. 비디오 압축 표준에서도 위와 같은 에러에 대한 복원과 은닉에 대한 방법이 있으나 각각 한계점이 있다.

에러에 대한 복원방법은 주로 인코더에서 추가적인 데이터의 삽입으로 행해지는 방법으로 에러가 발생했을 때 디코더에서 에러의 전파를 막기 위한 방법이다. 인코딩 되는 스트림에 동기화(Sync) 비트를 추가로 삽입하거나 인코딩 되는 스트림을 같은 길이의 묶음으로 잘라 에러의 전파를 막는 방법이다.

에러 복원 방법 중 또 하나의 방법은 인코더와 디코더가 동시에 수행하는 방법이 있다. 이 방법은 백 채널(back channel)을 이용하는 방법으로 디코더가 인코더에게 에러의 발생 위치를 알려주면 인코더가 그 정보를 이용하여 에러 복원을 할 수 있는 방법으로 인코딩 하는 것이다.

그리고, 에러 은닉 방법은 디코더에서 행해지는 방법으로, 에러가 발생한 부분을 디코더에서 가지고 있는 영상을 이용하여 최대한 원 영상과 유사하게 만드는 방법이다.

하지만, 이상에서 설명된 에러 복원 방법과 에러 은닉 방법을 각각 이용하는 방법만으로는 발생된 에러를 모두 제거 시킬 수 없는 단점을 가지고 있다.

본 발명은, 멀티미디어 영상이 네트워크를 통해 전송될 때, 인코딩 과정에서의 데이터 숨김을 통해 관심영역의 정보를 제공함으로써, 디코딩 과정에서 발생되는 에러에 대하여 효율적으로 에러 은닉을 처리할 수 있는 동영상 코딩 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 동영상 코딩 방법은, 동영상 전송 시스템에서 에러 은닉을 수행하는 동영상 코딩 방법에 있어,

인코더에서 입력된 영상에 대한 관심영역 정보를 추출하는 단계와;

상기 추출된 관심영역 정보에 대하여 인코딩 시 데이터 숨김을 통하여 전송하는 단계; 및

디코더에서 상기 데이터 숨김에 의하여 전송된 관심영역 정보를 추출하고, 그 추출된 관심영역 정보를 이용하여 에러 은닉을 수행하는 단계; 를 포함하는 점에 그 특징이 있다.

여기서 본 발명에 의하면, 상기 관심영역은 사용자가 영상을 볼 때 영상의 다른 부분보다 집중하여 보는 부분이며, 인물이 포함된 영상에서의 인물 표시 영역인 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 입력된 영상에 대한 관심영역 정보를 추출함에 있어, 오브젝트 추출 기술을 이용하여 입력된 영상에서 관심영역을 추출하고, 입력 된 영상을 인코딩 할 때 관심영역이 어떻게 인코딩 되는지의 정보를 추출하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 추출되는 관심영역의 인코딩 정보는, 관심영역의 위치, 움직임 벡터, 인코딩 타입의 정보를 포함하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 추출된 관심영역 정보에 대하여 데이터 숨김을 수행함에 있어, 상기 관심영역의 헤더 정보에 대한 데이터 숨김을 수행하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 추출된 관심영역 정보에 대하여 데이터 숨김을 수행함에 있어, 상기 추출된 관심영역의 동일 정보를 여러번 반복하여 숨기는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 데이터 숨김을 수행함에 있어, 입력된 영상에 대한 양자화 파라메터 및/또는 DCT가 수행되는 블록 내의 레벨 값(DCT 계수를 양자화 파라메타로 나눈 값)을 이용하여 데이터 숨김을 수행하는 점에 그 특징이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.

본 발명은 인코딩 과정에서 데이터의 숨김을 통해 사용자에게 중요한 관심영역의 정보를 숨겨 전송함으로써, 디코더에서 에러가 발생했을 때 에러의 은닉을 좀 더 효과적으로 처리할 수 있는 동영상 코딩 방법을 제시한다.

먼저, 본 발명에서 수행되는 데이터 숨김에 대하여 살펴 보기로 한다.

데이터 숨김이라는 것은 디지털 멀티미디어에 원하는 정보를 숨겼다가 필요할 때 숨겨진 정보를 추출하는 기술이다. 데이터를 숨기는 기술로는 크게 숨긴 정 보를 추출하기 위해 원본이 필요한 기술과 원본이 필요 없는 기술로 나눌 수 있다. 본 발명에서는 사용할 데이터 숨김 방법으로서 원본 데이터를 필요로 하지 않는 방법을 이용하고자 한다.

본 발명에서의 데이터 숨김은 비디오 압축 시 수행된다. 데이터의 숨김은 입력 영상을 압축할 때 데이터 압축 시 이용되는 파라메터나 입력 영상에 의존적인 값을 변형하여 수행할 수 있다. 비디오 압축을 수행할 때 데이터 숨김을 할 수 있으려면, 데이터 숨김을 하여 원래 파라메터나 원본 데이터가 변형되더라도 화질이나 압축되는 데이터 양에 큰 영향을 미치지 않는 부분이어야 한다. 그러한 값으로는 양자화 파라메터(QP)와, DCT 계수를 양자화 파라메터로 나눈 'level' 값이 있다.

양자화 파라메터를 이용하여 데이터 숨김을 수행하는 것에 대하여 도 2에 나타내었다. 도 2는 본 발명에 따른 동영상 코딩 방법에 의하여, 양자화 파라미터를 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면이다.

알려진 바와 같이, 인코딩되는 데이터 양을 조절하는 것이 양자화 파라메터이다. 양자화 파라메터는 입력 영상이나 입력 영상의 차분치를 DCT한 계수 값을 나눠주는 파라메터이다. 양자화 파라메터가 커지면 DCT 계수를 나눠주는 값이 커지기 때문에 인코딩되는 데이터양이 줄어들고 양자화 파라메터가 줄어들면 DCT계수를 나눠주는 값이 작아지기 때문에 인코딩되는 데이터양이 늘어난다.

그리고, 네트워크를 통해 비디오 동영상을 주고 받을 때 네트워크의 대역폭에 맞게 데이터를 압축하게 된다. 네트워크의 대역폭이 넓으면 통신할 수 있는 데 이터 양이 많기 때문에 인코딩되는 양은 많아지고 화질은 좋아지게 된다. 반대로 네트워크의 대역폭이 좁으면 통신할 수 있는 데이터 양이 적기 때문에 인코딩되는 양은 적어지고 화질은 나빠지게 된다. 위와 같이 네트워크 상황을 보고 인코딩되는 데이터 양을 양자화 파라메터를 이용하여 조절하게 되는데 이때 데이터 숨김을 하게 된다.

도 2에 나타낸 바와 같이, 입력 영상이나 입력 영상의 차분치 영상에 대하여 DCT를 한 후 네트워크의 대역폭을 고려하여 적절한 양자화 파라메터를 설정한다. 양자화 파라메터는 매크로블록 헤더로 들어가 압축한 영상을 디코딩 할 때 사용하게 된다. 이때 실제 양자화 파라메터를 이용하여 양자화하기 전에 데이터 숨김을 수행하게 된다. 여기서 데이터 숨김은 다음과 같이 수행할 수 있다.

QP_new %2 == Hide bit[k]

QP_new 변동 없음

QP_new %2 != Hide bit[k]

QP_new = QP_new + 1 ;

Hide bit[k] : 숨길 데이터의 비트 스트림

위와 같이 데이터 숨김을 하게 되면 디코더에서 압축된 데이터를 디코딩 하면서 양자화 파라미터의 값을 보고 숨겨진 데이터를 추출할 수 있게 된다. 디코더에서 양자화 파라메터가 짝수이면 숨겨진 데이터는 '0'이 되고 양자화 파라메터가 홀수이면 숨겨진 데이터는 '1'이 되는 것이다.

이때, 데이터 숨김을 위해 인코더에서는 양자화 파라메터를 약간 변경하게 된다. 즉, 숨길 데이터와 양자화 파라메터가 2로 나눴을 때 나머지가 같지 않다면 양자화 파라메터 값을 1만큼 증가시켜 2로 나눴을 때 나머지를 같게 해준다. 이렇게 되면 DCT 계수를 나눠주는 값이 커지기 때문에 인코딩되는 데이터양은 줄어들게 된다. 하지만 사람 눈으로 느껴지는 화질 저하는 거의 발생되지 않는다.

한편, 입력 영상이나 차분치 영상의 DCT 계수 값을 양자화 한 값인 'level' 값에 데이터 숨김을 수행하는 것에 대하여 도 3에 나타내었다. 도 3은 본 발명에 따른 동영상 코딩 방법에 의하여, 레벨 값을 이용하여 데이터 숨김이 수행되는 과정을 설명하기 위한 도면이다.

본 발명에 따른 동영상 코딩 방법에 의하면, 압축을 위해 입력 영상이나 차분치 영상에 대하여 DCT를 한다. 그 후 전송할 대역폭을 살펴보고 양자화 파라메터를 지정하여 인코딩되는 비트량을 조절하게 된다. 양자화 파라메터가 나누는 값은 DCT 계수이다.

도 3에서 DCT는 8*8 블록 단위로 수행된다. DCT가 수행된 블록에 양자화 파라메터가 적용되어 계수 값을 나눠주게 되는데, 이때 양자화 파라메터로 나눈 몫을 'level' 이라고 한다. 각 블록마다 나온 몫인 'level'을 이용하여 데이터 숨김을 수행하게 된다. 여기서, 데이터의 숨김은 다음과 같이 할 수 있다.

LevelSum %2 == Hide Bit[k]

Level 변경 없음

LevelSum %2 != Hide Bit[k]

Level 중 중요도가 가장 낮은 level 값을 1 줄임

LevelSum : 블록의 level을 모두 더한 값

각각의 'level'에 데이터 숨김을 하지 않고 블록 단위로 'level'을 합한 값에 데이터 숨김을 하는 이유는 각 'level'에 대해 데이터 숨김을 할 경우 화질에 영향을 주기 때문이다. 'Level'은 양자화 파라메터로 DCT 계수를 나눈 값의 몫이기 때문에 양자화 파라메터가 클수록 'level' 하나가 의미하는 DCT 계수의 범위는 커지게 된다.

예를 들어 'level' 값이 똑같이 '1'이더라도 양자화 파라메터가 10이면 가능한 DCT 범위는 10에서부터 19이고, 양자화 파라메터가 30이면 가능한 DCT 범위는 30부터 59까지이다. 그러므로 8*8 블록 단위로 'level'의 'sum'을 구한 뒤, 'level'의 'sum'을 2로 나눈 나머지와 숨길 데이터 비트가 동일하면 'level'의 변동이 없고 같지 않다면 중요도가 가장 낮은 'level'의 값을 1 만큼 줄인다.

여기서, 중요도가 가장 낮은 'level'이라 함은 사람의 눈에 가장 민감도가 낮은 부분을 말한다. 사람의 눈은 고주파 영역에 대해 민감도가 낮으므로 숨길 데이터 비트와 'level sum'을 2로 나눈 나머지가 같지 않을 경우 가장 고주파를 갖는 'level'의 값에 대하여 1을 줄인다.

즉, 'level sum'이 '16'이고 삽입해야 할 비트가 '1'이면 그 블록의 가장 고주파 영역인 'level'의 값을 '1' 줄여 블록 'level sum'이 '15'가 되게 하여 숨길 비트와 'level sum'을 2로 나눴을 때 나머지를 같게 해 준다.

하지만 만일 'level sum'이 '1'일 때는 문제가 생긴다. 'Level sum'이고 숨길 비트가 '1'이면 가장 민감도가 낮은 부분의 'level'을 '1'을 줄여 전체 블록의 합이 '0'이 된다. 하지만 원래 블록의 합이 '0'인 블록은 더 이상 'level'을 줄일 수 없기 때문에 데이터를 숨기지 않는다. 그렇게 되면 원래 'level sum'이 '1'이었다가 데이터를 숨겨 'level sum'이 '0'으로 된 블록과 처음부터 level sum이 '0'이고 데이터 숨김이 없는 블록을 구분할 수 없게 된다.

본 발명에서는 이러한 오류를 막고자 다음과 같은 방법을 사용하였다. 'Level'의 합이 '1'일 때 숨길 데이터가 '1' 이면 그 블록에 데이터를 삽입하였다. 그래도 'level'의 합은 변하지 않는다. 만일 'level'의 합이 '1'이고 숨길 데이터가 '0'이면 그 블록의 'level'의 합을 '0'으로 바꾸고 데이터 숨김은 하지 않는다. 디코더에서는 'level'의 합이 '0'일 때는 그 블록에 데이터 숨김이 없다고 여기게 된다.

이러한 방법으로 'level'의 합이 '1'인 블록을 제외하고 모든 블록은 숨길 데이터와 자신의 블록의 합을 2로 나눈 나머지 값이 같으면 블록의 'level'이 변화가 없고 그렇지 않으면 가장 민감도가 낮은 부분의 'level'을 '1' 만큼 감소시켜 데이터를 숨길 수 있다.

'Level'의 합이 '1'인 블록은 숨길 데이터가 '1' 이면 데이터를 숨기고 숨김 데이터가 '0'이면 데이터를 숨기지 않고 블록의 'level' 값만 '0'으로 변경시킨다. 'Level'의 합이 0'일 때도 데이터 숨김은 이루어 지지 않는다.

한편 본 발명에서는, 양자화 파라메터나 'level' 값을 이용하여 데이터 숨김을 수행함에 있어, 입력되는 영상 중에서 관심영역(ROI:Region Of Interest)의 정보에 대하여 데이터 숨김을 수행한다.

여기서 관심영역이란, 도 4에 나타낸 바와 같이, 화상 통신에서 통신하는 사람들의 얼굴 등 사용자가 화질의 변화에 가장 민감하게 반응하는 부분을 말한다. 도 4는 화상 통신에서 가장 관심 영역인 사용자의 얼굴, 몸과 사용자 영역이 포함된 부분을 매크로 블록단위로 나타낸 그림이다.

사용자 영역과 같은 관심영역에 에러가 발생하였을 경우에는 사용자가 느끼는 화질 저하가 매우 크게 발생된다. 앞에서도 설명했듯이 일반적인 움직임 보상과 움직임 예측을 이용한 비디오 압축은 에러가 발생했을 경우 다음 프레임에도 에러가 전파되기 때문에 뒤로 갈수록 에러가 축적되어 화질이 더욱 안 좋아지게 된다. 이러한 화질 저하를 방지하기 위하여 일반적으로 디코더에서 에러 은닉을 행하지만 사용자의 관심영역과 그 이외 영역에 대한 정보가 없기 때문에 단순한 에러 은닉 방법이 행해져 에러 은닉이 부정확해지게 된다.

이러한 단점을 극복하기 위하여 본 발명에서는, 인코더에서 사용자 관심 영역 정보를 추출하여, 인코딩 시 사용자 관심영역의 정보에 대하여 데이터 숨김을 수행한다. 데이터를 숨길 때 인코딩 되는 데이터 양이 증가해서도 안되고 화질이 변해서도 안 된다. 그러한 조건을 만족시키는 위치는 양자화 파라메터와, DCT 계수 값을 양자화 파라메터로 나눈 'level' 값이다.

본 발명에서는, 양자화 파라메터가 설정된 후 설정된 값을 관심영역의 추출된 정보를 이용하여 적절히 변경한다. 또한 양자화 파라메터로 나눈 'level' 값에도 관심영역의 추출된 정보를 숨긴다. 양자화 파라메터와 'level' 값에 관심영역의 정보를 숨기면 인코딩 된 데이터 값이 약간 변경되지만, 인코딩 되는 데이터가 늘 어나지도 않고 화질 변화도 없다. 이러한 일련의 과정을 도 5에 나타내었다.

한편, 데이터 숨김을 통하여 전송하는 사용자 관심영역 정보는 디코더에서 그 정보가 없었을 때 정확히 예측하기가 어려운 정보를 숨겨 전송한다. 그러한 정보로는 사용자 관심영역의 위치와 움직임 벡터 그리고 인코딩 타입 정보 등의 헤더 정보를 들 수 있다.

전체 영상에 대해 위와 같은 정보를 숨겨 보내면 더욱 에러 은닉을 잘 할 수 있지만, 데이터를 숨길 자리가 많지 않고 에러가 생겼을 때 화질 저하를 크게 느끼는 부분이 사용자의 관심영역이기 때문에 사용자 관심영역의 정보만을 숨기도록 한다. 사용자 관심영역의 위치뿐 아니라 움직임 벡터와 인코딩 타입 정보를 숨기는 이유는 비디오 압축 방법의 특징 때문이다.

비디오 압축 시 중요한 정보는 헤더로 빼내고 적은 양의 데이터만을 실제로 인코딩 해서 보낸다. 그 중 움직임 벡터라는 것은 비디오 데이터를 압축하기 위해 이전 영상과 가장 유사한 위치를 매크로 블록 단위로 찾는 것을 말한다. 가장 유사한 위치를 찾아 움직임 벡터로 보내주면 실제로 인코딩 하는 데이터는 이전 영상과의 차분치 뿐이기 때문에 인코딩 되는 데이터의 양을 크게 줄일 수 있다.

하지만 통신 중에 움직임 벡터의 정보를 잃어버리면 실제 인코딩 된 데이터는 이전 영상과의 차분치 뿐이기 때문에 이전 영상의 어느 부분에서 정보를 가져와야 하는지 몰라 정확한 에러 은닉을 수행하기가 어렵게 된다. 디코더에서는 움직임 벡터를 정확히 찾을 수 없기 때문에 주위 매크로 블록의 움직임 벡터를 이용하여 에러 은닉을 수행한다.

이때, 움직임 벡터가 주위 매크로 블록과 유사성을 갖지 않을 경우에는 복원되는 영상에 새로운 에러를 삽입하는 결과가 된다. 이에 따라, 뒤따라 오는 영상의 화질을 저하시키는 원인이 된다. 그렇기 때문에 정확한 움직임 벡터의 정보가 에러 은닉의 중요한 정보가 될 수 있다. 즉, 인코더에서 사용자 관심영역을 추출한 후 각 매크로블록 혹은 공통 열의 평균 움직임 벡터를 숨겨 전송하면, 디코더에서는 숨겨진 데이터를 추출하여 좀 더 정확한 움직임 벡터를 찾아 효과적인 에러 은닉을 수행할 수 있게 된다.

그리고, 인코딩 타입 또한 에러 은닉에 있어 필요한 중요 정보라고 할 수 있다. 일반적인 비디오 압축 시스템에서 인코딩 타입은 크게 인트라 타입(intra type)과 인터 타입(inter type)이 있다.

여기서 인트라 타입이란, 이전 영상에서 유사한 위치를 찾지 않고 영상 자체를 DCT하고 양자화 하는 것을 말한다. 즉, 이전 영상을 참조하지 않기 때문에 인코딩 되는 데이터는 많지만 이전 영상의 에러에 대한 영향을 받지 않는다.

그리고 인터 타입이란, 이전 영상에서 유사한 위치를 찾아 움직임 벡터를 찾고 그 차분치 만을 인코딩 하는 것을 말한다. 즉, 이전 영상을 참조하여 가장 유사한 부분과의 차분치 만을 인코딩 하기 때문에 인코딩 되는 데이터양은 적지만 이전 영상의 에러에 대한 영향을 받게 된다.

따라서, 인코딩 타입을 부정확하게 받아 디코딩 했을 경우에도 복원되는 영상에 새로운 에러를 삽입하는 결과가 된다. 예를 들어, 인트라 타입을 인터 타입으로 잘못 설정했을 경우에는 필요 없는 움직임 벡터를 찾고 잘못된 차분치 영상을 가져오게 된다. 또한, 인터 타입을 인트라 타입으로 잘 못 설정했을 경우에는 가지고 있는 데이터가 이전 영상과의 차분치 뿐인데 그 데이터로 영상을 복원하기 때문에 화질 저하가 심하게 나타나게 된다.

위에서 설명한 중요 정보들은 주로 헤더 정보를 나타낸다. 인코딩 시에 헤더에 많은 정보를 넣고 데이터는 적은 양을 압축하여 보내기 때문에 헤더 정보를 잃어버렸을 경우 뒤따라오는 데이터를 복원할 수 없다. 그래서 데이터 숨김 과정을 통하여 숨기는 데이터도 사용자 관심영역의 헤더 정보이다.

그리고, 동영상 통신에서 에러 비율은 환경에 따라 다르게 변한다. 심하게는 10E-3이고 거의 에러가 없는 환경도 있다. 이때 에러 발생 비율이 높은 환경에서는 숨기는 데이터도 에러에 의해 깨질 수가 있으므로 여러 번 반복해서 보내주어야 한다. 복원하는 데이터에 에러가 발생하였을 경우 숨겨진 데이터를 추출하여 에러를 은닉하게 되는데, 데이터 숨김 자체가 인코딩 되는 비트 스트림에 숨겨져 있기 때문에 인코딩된 데이터가 에러에 의해 깨졌으면 숨겨진 데이터도 깨지게 되기 때문이다.

따라서, 깨어진 정보를 이용하여 에러 은닉을 수행하면 화질 저하는 더욱 심해지므로, 숨길 데이터를 여러 번 중복하여 보내 디코더에서 숨겨진 데이터가 에러에 의해 깨졌을 경우에도 중복된 다른 데이터를 이용할 수 있도록 한다.

한편, 종래에 수행되는 에러 은닉방법은 디코더에서 받은 영상만을 이용하여 최대한 원 영상과 유사하게 복원하게 된다. 즉, 이용할 수 있는 정보가 제한되어 있기 때문에 복원된 영상이 원 영상과 차이를 갖게 된다. 일반적인 비디오 압축 방 식은 이전 영상과의 차분치를 이용하여 압축하기 때문에 어떤 시점에서 에러가 발생하면 그 부분의 에러를 완벽히 제거하지 않는 한 다음 영상에 에러가 전파되게 된다. 즉, 발생된 시점의 에러를 최대한 제거 시키는 것이 필요하다.

본 발명에서 제시한 동영상 코딩 방법을 이용하면 에러 은닉을 수신단에서만 하는 것이 아니고 송신단에서 추가적인 정보를 받아서 하기 때문에 발생된 에러를 최대한 제거시킬 수 있게 된다.

본 발명에 따른 동영상 코딩 방법을 이용하면, IMT-2000 등의 비디오 통신 서비스에서 에러가 발생했을 때 에러 은닉을 좀 더 효율적으로 해 주어 일반적인 비디오 코덱 표준(H.26X, MPEG 1,2,4)을 사용하고 있는 동영상 통신 서비스에 효과적으로 사용될 수 있다.

이상의 설명에서와 같이 본 발명에 따른 동영상 코딩 방법에 의하면, 멀티미디어 영상이 네트워크를 통해 전송될 때, 인코딩 과정에서의 데이터 숨김을 통해 관심영역의 정보를 제공함으로써, 디코딩 과정에서 발생되는 에러에 대하여 효율적으로 에러 은닉을 처리할 수 있는 장점이 있다.

Claims (8)

1. 동영상 전송 시스템에서 에러 은닉을 수행하는 동영상 코딩 방법에 있어,

   인코더에서 입력된 영상에 대한 오브젝트 추출기법을 이용하여 관심영역 정보를 추출하는 단계와;

   상기 추출된 관심영역 정보에 대하여 인코딩 시 입력된 영상에 대한 양자화 파라메터 및/또는 DCT가 수행되는 블록 내의 레벨 값(DCT 계수를 양자화 파라메타로 나눈 값)을 이용하여 데이터 숨김을 수행하여 전송하는 단계; 및

   디코더에서 상기 데이터 숨김에 의하여 전송된 관심영역 정보를 추출하고, 그 추출된 관심영역 정보를 이용하여 에러 은닉을 수행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 코딩 방법..
2. 제 1항에 있어서,

   상기 관심영역은, 사용자가 영상을 볼 때 영상의 다른 부분보다 집중하여 보는 부분인 것을 특징으로 하는 동영상 코딩 방법.
3. 제 1항에 있어서,

   상기 관심영역은, 인물이 포함된 영상에서의 인물 표시 영역인 것을 특징으로 하는 동영상 코딩 방법.
4. 제 1항에 있어서,

   상기 입력된 영상에 대한 관심영역 정보를 추출함에 있어, 오브젝트 추출 기 술을 이용하여 입력된 영상에서 관심영역을 추출하고, 입력된 영상을 인코딩 할 때 관심영역이 어떻게 인코딩 되는지의 정보를 추출하는 것을 특징으로 하는 동영상 코딩 방법.
5. 제 4항에 있어서,

   상기 추출되는 관심영역의 인코딩 정보는, 관심영역의 위치, 움직임 벡터, 인코딩 타입의 정보를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
6. 제 1항에 있어서,

   상기 추출된 관심영역 정보에 대하여 데이터 숨김을 수행함에 있어, 상기 관심영역의 헤더 정보에 대한 데이터 숨김을 수행하는 것을 특징으로 하는 동영상 코딩 방법.
7. 제 1항에 있어서,

   상기 추출된 관심영역 정보에 대하여 데이터 숨김을 수행함에 있어, 상기 추출된 관심영역의 동일 정보를 여러번 반복하여 숨기는 것을 특징으로 하는 동영상 코딩 방법.
8. 삭제

Images