KR20070075043A - 고속 움직임 및 변이 추정 방법 - Google Patents

Abstract

본 발명은 고속 움직임 및 변이 추정 방법에 관한 것으로, 필터링을 통해 예측한 제1벡터와 카메라 배열을 이용하여 예측한 제2벡터의 차이값을 결정하여, 상기 차이값에 따라 탐색 범위를 결정할 수 있다. 본 발명에 따르면, 검색 범위를 제한하여 고속 추정을 수행하도록 한다.

고속, 움직임, 변위, 벡터, 추정, 카메라

Description

고속 움직임 및 변이 추정 방법{Method for estimating fast motion and disparity}

도 1a는 본 발명이 적용되는 다시점 프로파일을 이용한 스테레오 영상 부호화/복호화 시스템의 구조도,

도 1b는 본 발명에 사용된 다시점 부호화기 GGOP의 구조의 일예,

도 2는 카메라 배열을 이용한 변이 벡터를 예측하는 것을 설명하기 위한 예시도,

도 3은 본 발명에 따른 움직임 및 변이 동시 추정 방법을 설명하기 위한 일실시예 개략도,

도 4는 본 발명에서

의 결정 방법을 설명하기 위한 일예시도,

도 5는 본 발명에 따라

와

사이의 관계를 나타낸 일예시도,

도 6a는 본 발명에 따른

의 조건을 나타낸 일예시도,

도 6b는 본 발명에 따른 임계값 설정을 설명하기 위한 일실시예 그래프,

도 7은 본 발명에 의해 두 참조 프레임 사이의 변이 벡터를 이용해 현재 프레임의 변이가 예측되는 것을 설명하기 위한 일예시도,

도 8은 본 발명에 따른 블록 위치 매칭을 위한 참조 선택 기준을 설명하기 위한 일예시도,

도 9a 및 도 9b는 본 발명에 따라 움직임 예측을 위한 블록 위치 매칭 과정을 설명하기 위한 일예시도.

본 발명은 고속 움직임 및 변이 추정 방법에 관한 것으로서, 보다 상세하게는 다시점 동영상 부호화기에 사용하기 위한 고속 움직임 및 변이 추정 방법에 관한 것이다.

일반적인 2차원 동영상 부호화기에서 벡터를 추정하기 위해서는 예측 벡터 주변으로 일정한 크기의 검색 범위를 탐색하는 전방향 탐색 알고리즘을 수행하게 된다.

그러나, 이러한 과정을 다시점 동영상 부호화기에 적용할 경우에는 그 계산이 매우 복잡해지는 문제점이 있다.

이러한 종래 기술의 문제를 해결하기 위해서 효율적인 변이 벡터와 움직임 벡터의 예측을 수행하는 방법이 다수 개발되어 있다.

이에 따라 정확한 벡터를 예측한 경우 작은 검색 범위를 가지고도 정확한 벡터를 예측할 수 있기 때문에 빠른 추정을 수행할 수 있다. 하지만 예측 벡터의 신 뢰도는 각 블록마다 달라지기 때문에 이 작은 검색 범위만을 적용할 경우 잘못된 벡터들을 추정하게 되는 경우가 발생하는 문제점이 있다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 신뢰도에 따라서 검색 범위를 제어함으로써, 안정적이면서도 간단하게 추정을 수행하기 위한, 고속 움직임 및 변이 추정 방법을 제공하는데 그 목적이 있다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 실시예에 따르면, 필터링을 통해 예측한 제1벡터와 카메라 배열을 이용하여 예측한 제2벡터의 차이값을 결정하는 단계(a); 및 상기 차이값에 따라 탐색 범위를 결정하는 단계(b)를 포함하는 고속 추정 방법이 제공된다.

이때, 상기 제1벡터는, 메디안 필터링을 수행하여 결정하고, 상기 제2벡터는, 변이 예측의 경우

(단,

는 두 참조 시점간의 거리에 대한 참조 시점과 현재 시점간의 거리의 비율이고,

은 두 참조 시점간의 거리임)에 의해 결정하거나, 움직임 예측의 경우

(단,

와

는 시간 t와 t+1에서의 변이 벡터이고,

는 왼쪽 시점 영상간의 움직임 벡터임)에 의해 결정하는 것이 바람직하다.

또한, 상기 차이값은,

(단,

은 제1벡터이며,

는 제2벡터임)에 의해 결정한다.

상기 단계(b)는, 탐색 범위 변수를 결정하는 단계(c); 및 상기 탐색 범위 변수에 따라 새로운 탐색 범위를 결정하는 단계(d)를 포함하여 구성되는 것이 바람직하며, 상기 단계(c)는, 상기 차이값이 소정의 임계값1보다 작은 경우에는, 상기 탐색 범위 변수에 1보다 큰 일정한 값을 할당하는 단계(e); 상기 차이값이 상기 임계값1보다 크고, 소정의 임계값2보다 작은 경우에는, 상기 탐색 범위 변수에 상기 차이값에 반비례하는 1보다 큰 값을 할당하는 단계(f); 및 상기 차이값이 상기 임계값2보다 큰 경우에는, 상기 탐색 범위 변수에 실질적으로 1을 할당하는 단계(g)를 포함하는 것이 바람직하다. 이때, 상기 임계값1 및 상기 임계값2는,

(단,

는 상기 제2벡터가 안정적으로 새로운 탐색 범위 내에 있도록 하기 위해 곱해진 1보다 큰 수임)와 같은 조건에 의해 설정되고, 상기 상기 새로운 탐색 범위는,

(단,

는 새로운 탐색 범위,

은 원래 탐색 범위,

은 상기 탐색 범위 변수임)에 의해 결정된다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능 한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1a는 본 발명이 적용되는 다시점 프로파일을 이용한 스테레오 영상 부호화/복호화 시스템의 구조도이다.

도면에 도시된 바와 같이, 기본계층(Base layer)은 움직임 보상 및 이산 여현 변환(DCT: Discrete Cosine Transform)을 이용하여 부호화하고 역과정을 통하여 복호화하며, 확장 계층(Enhancement layer)은 기본 계층을 참조하여 변이 추정 부호화기를 이용하여 부호화하여 전송된다.

즉, 두 개의 변이 예측 또는 각각 한 개의 변이 예측 및 움직임 보상 예측이 여기에 사용될 수 있으며, 기본계층(base layer)의 부호화 및 복호화기와 마찬가지로 확장 계층의 부호화는 보조의 시점 부호화기(Auxiliary view encoder)를 이용하여 변이 및 움직임 보상 DCT 부호화기 및 복호화기를 포함한다.

또한, 움직임 예측/보상 부호화 과정에서 움직임 예측기와 보상기가 필요한 것처럼 변이 보상 부호화 과정은 변이 예측기와 보상기가 필요하며, 블록 기반의 움직임/변이 예측 및 보상에 덧붙여 부호화 과정에서는 예측된 결과 영상과 원영상과 차영상들의 DCT, DCT 계수의 양자화, 그리고 가변장 부호화 등이 포함된다.

반대로 복호화 과정은 가변장 복호화, 역양자화, 역DCT등의 과정을 거쳐 수행된다.

본 발명은 블록 기반의 움직임/변이 예측에 적용되는 것이다.

보다 더 현실적이고 자연스러운 영상의 구현을 위해 3D 영상 시스템에 대한 연구가 활발히 진행 중이다. 3D 영상은 시청자에게 깊이 정보를 제공하여 입체감을 느끼게 하는데, 이러한 깊이 정보는 인간의 양안 시차만큼 떨어진 시점에서 획득된 두 개 이상의 영상을 통해 얻을 수 있다. 넓은 시각과 시점의 이동을 허용하는 다시점 영상은 일반 2D 영상에 비해 수배의 데이터 양을 요구하며 이를 처리하기 위해서 효과적인 압축 알고리듬을 필요로 한다. 다시점 부호화기는 같은 시간에 획득된 다시점 영상 사이의 상관성을 이용하여 부호화를 수행한다.

도 1b는 본 발명에 사용된 다시점 부호화기 GGOP(Group of GOP)의 구조의 일예로서, 평행식 8시점의 다시점 동영상의 경우를 예를 든 것이다. 각 사각형은 하나의 프레임을 나타내고, 가로축은 시점, 세로축은 시간을 나타낸다. 부호화 과정에서 가장 먼저 참조 프레임 없이 압축되는 프레임을 I-프레임, 이 I 프레임을 참조로 하여 한 방향으로 추정이 수행되는 프레임을 P-프레임, 그리고 이 I 또는 P 프레임 여러 개를 사용하여 양 방향 추정이 수행되는 프레임을 B-프레임이라 하자.　　

종래에는,　대응되는 블록이나 픽셀, 또는 물체를 찾기 위하여, 가장 일반적으 로 탐색 범위 내의 모든 픽셀에 대해 탐색을 수행(전방향 탐색 알고리즘)하였다. 그러나, 이 방식은 엄청난 계산량이 요구된다. 즉, 전방향 탐색 방법을 사용하면 비용 함수를 최소화 하는 가장 정확한 벡터를 찾을 수 있어 좋은 화질을 유지할 수 있지만, 이를 위한 과정이 전체 부호화 과정에서 많은 부분을 차지하기 때문에 비용 감소를 위해서 고속 알고리듬을 필요로 한다.

벡터 추정을 수행하기 전에 인과적인 블록들의 추정된 벡터를 중간값 필터링 하여 현재 블록의 벡터를 예측한다. 이 예측 벡터를 기준으로 일정한 크기의 탐색 범위를 할당하는데 이 벡터의 신뢰성이 크다면 큰 탐색 범위를 사용할 필요가 없다. 따라서 본 발명에서는 예측된 벡터의 신뢰성에 따라 탐색 범위를 제어하는 방법을 제안하고자 한다.

예측 벡터의 신뢰성을 조사하기 위해서 본 발명에서는 두 가지 예측 방법을 사용한다. 첫 번째 방법은 인과적인 블록들로부터 중간값 필터링을 수행하여 구하고 두 번째 방법은 움직임과 변이 벡터의 성질을 이용하여 또 다른 예측 벡터

를 계산한다. 중간값 필터링을 이용해 구한 예측 벡터

과

의 차이를 구하는데 이 차이가 작다면 먼저 구한 예측 벡터

의 신뢰성이 높다고 판단할 수 있고, 따라서 탐색 범위를 줄일 수 있다. 그리고 이 차이가 크다면

의 예측이 잘못되었을 수 있고, 이 블록에 대해서는 원래 크기의 탐색 범위를 사용해야 한다.

이러한 방법을 사용하기 위해서는 또 다른 예측 벡터

를 구하기 위한 논리적인 예측 방법이 필요하다. 변이 벡터는 카메라 배열과 변이가 밀접한 관계가 있다는 사실을 이용하여 예측할 수 있다. 이를 도 2를 참조로 설명하기로 하자.

도 2는 카메라 배열을 이용한 변이 벡터를 예측하는 것을 설명하기 위한 예시도로서, Image1, 2, 3은 같은 시간에 획득된 다른 시점의 세 프레임을 나타낸다. Image1과 Image2 사이의 간격을

, Image1과 Image3 사이의 간격을

라 하고, 다 음의 수학식과 같은 관계를 가지는 값

를 정의하는데, 이는 두 참조 시점간의 거리에 대한 한 참조 시점과 현재 시점간의 거리의 비율과 같다.

Image2를 부호화하기 전에 Image1과 Image3 사이의 변이 벡터

을 가지고 있다면, Image1과 Image2 사이의 예측 변이 벡터

는 다음과 같이 구할 수 있다.

보다 정확한

를 구하기 위해서는

도 더욱 정확하게 계산되어야 한다.

도 3은 본 발명에 따른 움직임 및 변이 동시 추정 방법을 설명하기 위한 일실시예 개략도이다.

도면에 도시된 바와 같이, 본 발명은 움직임 벡터를 예측하기 위해서 두 개의 다른 시점을 가진 영상들 사이에서 변이 벡터와 움직임 벡터 사이의 관계를 이용할 수 있다. 이러한 방법은 동시 추정 기법이라 한다.

도 3의 왼쪽 시점에 있는 영상들은 오른쪽 시점의 영상을 추정하기 위해 참조된다. 우리가 시간 t와 t+1에서의 변이 벡터

와

, 그리고 왼쪽 시점 영상간의 움직임 벡터

를 미리 알고 있다고 가정하면

는 다음과 같이 예측할 수 있 다.

만약 변이 추정 이전에 움직임 추정이 수행될 경우 우리가

를 예측하고자 할 때에 현재 시간의 변이 벡터

는 존재하지 않을 수도 있다. 이 경우 시간상에서의 주변 프레임들 간의 상관성을 이용해

는

와 같은 값을 갖는다고 가정한다. 이 가정 하에서 위의 식은 간단히

가 되지만 각 블록의 위치가 정확히 해당 블록의 위치에 매칭이 되지 않으므로 블록 위치 매칭 알고리듬이 필요하다. 이러한 방법으로 예측된 움직임 또는 변이 벡터

와 메디안 필터링을 통해 예측된 벡터

사이의 차는

의 신뢰성을 의미한다. 따라서 이 차이

는

로 정의되며 새로운 탐색 범위를 결정하는데 사용된다.

에 따라 각 블록에 탐색 범위 변수

의 값이 할당되고, 새로운 탐색 범위는 다음과 같이 계산된다.

여기서

는 새로운 탐색 범위를,

은 원래 탐색 범위를 나타낸다. 따라서

의 값이 커질수록 새로운 탐색 범위는 작아지므로, 신뢰성이 높은 블록에 큰 값이 할당되어야 한다. 이렇게 각 블록에서

를 결정하기 위한 방법이 도 4에 나타내 있다.

도 4는 본 발명에서

의 결정 방법을 설명하기 위한 일예시도이다.

각 블록은

의 값에 따라 세 개의 다른 섹션에 할당되고, 이를 위해 두 개의 임계값이 필요하다. 이 중 작은 값을

, 큰 값을

라 한다.

가

보다 작을 경우(S401), 예측 벡터

이 신뢰성이 높다고 보고 1보다 큰 일정한 값을

에 할당한다(S403). 그리고 이를 ‘sect1’으로 정의한다.

가 두 임계값의 사이 값을 가진다면(S405), 이

에 반비례하는 1보다 큰 값이

에 할당되고(S407) 이를 ‘sect2’로 정의한다. 마지막으로

가

보다 크다면(S405), 이는 이 잘못된 값을 가질 수 있다는 것을 의미하므로

에 1이 할당되어 탐색 범위는 변하지 않는다(S409). 이를 ‘sect3’으로 정의한다. 따라서 많은 블록이 sect1에 할당될수록 추정에 걸리는 시간이 많이 줄어들 것이고, 많은 블록이 sect3에 할당될수록 수행 시간에 변화가 없어질 것이다. 도 5는 본 발명에 따라

와

사이의 관계를 나타낸 일예시도이다.

이러한 과정에서 임계값은 전체 고속 알고리듬의 성능을 좌우하는 중요한 요소가 된다. 이를 논리적으로 정하기 위해

와

사이에 유지되어야 하는 조건을 이용한다. 도 6a는 본 발명에 따른

의 조건을 나타낸 일예시도이고, 도 6b는 본 발명에 따른 임계값 설정을 설명하기 위한 일실시예 그래프이다. 도 6a를 참조로 하면,

는

보다 작아야 하므로 다음의 수학식과 같은 조건이 필요하다.

여기서

는 예측 벡터

가 안정적으로 새로운 탐색 범위 내에 있도록 하기 위해 곱해진 1보다 큰 수이다.

가 클수록 안정성은 높아지지만

이 작게 지정되므로 속도 면에서 성능 향상이 덜해지고

가 작아지면

은 커질 수 있지만 안정성이 떨어지므로 이는 실험적으로 결정될 수 있다.

수학식 5와 이에 따른 각 섹션의 할당이 도 6b에 나타난 바와 같다. 초기값은 실험적으로 4로 두고 sect2에서의 기울기는 반비례 곡선에 접하도록 하여 안정적이면서도 많은 블록이 sect1과 sect2에 할당될 수 있도록 할 수 있다.

예측된 벡터의 신뢰성을 판단하기 위해 또 다른 벡터를 새로운 방법으로 예측할 때 다른 프레임의 벡터도 참조로 사용된다. 이때 정확한 참조 블록을 선택하기 위해서는 같은 위치에 있는 블록이 아니라 같은 내용을 가진 대응되는 블록을 사용해야 한다. 이를 찾기 위한 알고리듬을 블록 위치 매칭 알고리듬이라 하고, 이 는 변이와 움직임 추정에 각각 적용된다.

본 발명에서는, B-프레임의 변이 벡터를 예측하기 위해서 I 또는 P-프레임의 변이 벡터를 참조한다. 이 때, 보다 정확한 벡터를 참조하기 위해서는 B-프레임을 부호화하기 전에 두 참조 프레임과 현재 B-프레임의 블록들의 대응하는 위치를 찾을 수 있는 블록 위치 맵이 만들어져야 한다. 도 7은 본 발명에 의해 두 참조 프레임 사이의 변이 벡터를 이용해 현재 프레임의 변이가 예측되는 것을 설명하기 위한 일예시도이며, 도 8은 본 발명에 따른 블록 위치 매칭을 위한 참조 선택 기준을 설명하기 위한 일예시도이다.

도 8과 같이, 대응되는 블록의 위치를 계산할 때 찾아진 위치는 프레임의 매크로 블록 단위로 딱 맞아떨어지지 않기 때문에 한 참조 블록은 현재 프레임에서 여러 블록 위에 걸쳐지게 된다. 현재 프레임의 관점에서 볼 경우 한 개의 블록이 여러 개의 참조 블록을 가질 수도 있다. 도 8에서는 두 개의 다른 참조 블록이 현재 프레임의 블록 A 위에 걸쳐있고, 세 개의 다른 블록이 블록 B 위에 걸쳐 있다. 이 중 하나의 참조 블록만을 선택하기 위해서, 가장 큰 넓이를 현재 프레임의 블록과 공유하고 있는 블록을 선택하기로 했다. 따라서 블록 A와 B의 경우 진한 색의 참조 블록이 선택된다. 블록 C, D, E, F의 경우 오직 하나의 참조 블록이 이들 위에 걸쳐 있기 때문에, 네 블록 모두 이 참조 블록의 벡터를 사용하게 된다. 마지막으로 블록 G의 경우 참조 블록이 전혀 없기 때문에 블록 E와 참조 벡터를 공유하도록 한다.

움직임 벡터 예측을 위한 블록 위치 매칭은 변이 벡터 예측의 경우와 기본적 으로 비슷하다.

의 값이

와 같다고 가정했기 때문에 구하고자 하는 움직임 벡터는 왼쪽 영상의 움직임 벡터를 그대로 사용하게 된다. 그러나 이 때 상대적으로 같은 위치에 있는 벡터를 사용하면 큰 오차가 생길 가능성이 높으므로 변이 벡터를 이용해 실제 대응되는 위치에 있는 벡터를 참조해야 한다. 이를 도면을 참조로 설명하기로 하자.

도 9a 및 도 9b는 본 발명에 따라 움직임 예측을 위한 블록 위치 매칭 과정을 설명하기 위한 일예시도이다.

먼저, 도 9a에서

와

를 이용하여 t시간의 왼쪽 참조 프레임(왼쪽 위 프레임)에서의 대응되는 블록 위치를 찾는다. 이 과정을 통해 현재 프레임을 제외한 세 개의 참조 프레임들의 대응되는 블록이 연결된다. 이전 시간의 왼쪽 프레임의 블록들은 나머지 두 참조 프레임들에서의 대응되는 위치를 가지고 있게 된다.

이후, 도 9b와 같이 이전 시간의 왼쪽 프레임이 가지고 있는 블록 위치 정보를 이용해, t+1 시간의 왼쪽 프레임에서 변이 벡터

의 부호를 반대로 하여 현재 프레임에서의 대응되는 블록을 찾을 수 있다. 이를 통해 네 개의 프레임의 대응되는 블록들이 모두 연결된다.

이러한 과정을 통해 현재 프레임의 블록과 대응되는 현재 시간의 왼쪽 참조 프레임의 블록 위치를 찾을 수 있다. 따라서 현재 블록의 움직임 예측 벡터

는 대응되는 블록의 움직임 벡터

와 같은 값을 가지게 된다. 이 과정에서도 역시 앞 에서 설명했던 참조 블록 선택 기준이 사용된다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 다시점 영상간의 상관성을 이용하여 현재 영상의 움직임 및 변이 벡터를 효율적으로 예측하고, 이 예측 벡터를 기준으로 검색 범위를 제한하여 고속 추정을 수행하도록 하는 효과가 있다.

Claims (9)

1. 필터링을 통해 예측한 제1벡터와 카메라 배열을 이용하여 예측한 제2벡터의 차이값을 결정하는 단계(a); 및

   상기 차이값에 따라 탐색 범위를 결정하는 단계(b)를 포함하는 고속 추정 방법.
2. 제1항에 있어서, 상기 제1벡터는, 메디안 필터링을 수행하여 결정하는 고속 추정 방법.
3. 제1항에 있어서, 상기 제2벡터는, 변이 예측의 경우 다음 식에 의해 결정하는 고속 추정 방법.

   

   (단,

   

   는 두 참조 시점간의 거리에 대한 한 참조 시점과 현재 시점간의 거리의 비율이고,

   

   은 두 참조 시점간의 거리임)
4. 제1항에 있어서, 상기 제2벡터는, 움직임 예측의 경우 다음 식에 의해 결정하는 고속 추정 방법.

   

   (단,

   

   와

   

   는 시간 t와 t+1에서의 변이 벡터이고,

   

   는 왼쪽 시점 영상간의 움직임 벡터임)
5. 제1항에 있어서, 상기 차이값은, 다음 식에 의해 결정하는 고속 추정 방법.

   

   (단,

   

   은 제1벡터이며,

   

   는 제2벡터임)
6. 제1항에 있어서, 상기 단계(b)는,

   탐색 범위 변수를 결정하는 단계(c); 및

   상기 탐색 범위 변수에 따라 새로운 탐색 범위를 결정하는 단계(d)를 포함하는 고속 추정 방법.
7. 제6항에 있어서, 상기 단계(c)는,

   상기 차이값이 소정의 임계값1보다 작은 경우에는, 상기 탐색 범위 변수에 1보다 큰 일정한 값을 할당하는 단계(e);

   상기 차이값이 상기 임계값1보다 크고, 소정의 임계값2보다 작은 경우에는, 상기 탐색 범위 변수에 상기 차이값에 반비례하는 1보다 큰 값을 할당하는 단계(f); 및

   상기 차이값이 상기 임계값2보다 큰 경우에는, 상기 탐색 범위 변수에 실질적으로 1을 할당하는 단계(g)를 포함하는 고속 추정 방법.
8. 제7항에 있어서, 상기 임계값1 및 상기 임계값2는, 다음 조건에 의해 설정되는 고속 추정 방법.

   

   (단,

   

   는 상기 제2벡터가 안정적으로 새로운 탐색 범위 내에 있도록 하기 위해 곱해진 1보다 큰 수임)
9. 제6항에 있어서, 상기 새로운 탐색 범위는, 다음 식에 의해 결정되는 고속 추정 방법.

   

   (단,

   

   는 새로운 탐색 범위,

   

   은 원래 탐색 범위,

   

   은 상기 탐색 범위 변수임)

Images