KR20070056885A - 동영상에서 카메라의 움직임에 따른 특징점 검출 방법 및그 방법으로 이루어진 프로그램을 기록한 컴퓨터로 읽을 수있는 매체 - Google Patents

Abstract

본 발명은 동영상에서 카메라의 움직임에 따른 특징점 검출 방법에 관한 것이다. 본 발명은, 분석하기 위한 동영상을 동영상 데이터베이스로부터 로딩(Loading)하는 과정과(S110), 상기에서 로딩된 동영상으로부터 카메라의 움직임에 따른 특징 부위를 분석하기 위해 계산에 적용될 픽셀의 영역을 설정하는 과정과(S120), 상기에서 계산에 적용될 픽셀의 영역이 설정되면 이웃한 프레임 사이에서 H(Horizontal), V(Vertical), R(Radial) 이동 방향에 대한 평균값인 MAD값을 계산하는 과정과(S130), 상기 과정으로부터 H, V, R 각 방향에 대한 MAD 값을 구한 후, 최소의 MAD값을 가지는 움직임 H, V, R값을 찾아내는 과정과(S140), 상기의 H, V, R의 움직임과 Static한 정도의 분석을 통해 DM(Dominant Motion)그래프를 얻는 과정과(S150), 상기 과정에서 얻어진 DM그래프에 대해 노이즈를 제거하는 과정과(S160), 상기 과정을 통해 노이즈가 제거된 DM그래프를 통해 동영상에 흐름에 있어서 특징이 되는 시점을 분석하는 과정(S180)을 포함하여 구성된 것을 특징으로 하며,

상기에서 H, V, R의 움직임 중 최소의 MAD값들로 나타낸 그래프를 형성 후 그래프의 극값(peak)을 이용하여 영상에서 샷(shot:화면전환)의 경계를 분석하는 과정(S170)을 더 포함하는 것을 특징으로 한다.

동영상의 특징점 분석, 카메라의 움직임 분석, 샷 경계 분석

Description

동영상에서 카메라의 움직임에 따른 특징점 검출 방법 및 그 방법으로 이루어진 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 {Extracting method for feature points in moving pictures and computer readable record medium on which a program there for is recorded}

도 1은 본 발명의 실시예에 의한 동영상에서 카메라의 움직임에 따른 특징점 검출 방법을 구현하기 위한 기능 구성도이며,

도 2는 본 발명에 따른 동영상에서 카메라의 움직임에 따른 특징점 검출 방법을 개략적으로 나타낸 흐름도이며,

도 3은 본 발명의 실시예에 따른 계산에 적용될 픽셀의 영역을 나타낸 예시도이며,

도 4는 본 발명의 실시예에 따른 예시 동영상에 대해 상기의 방법으로 구한 H, V, R 값들의 분석 결과를 나타낸 실시도이며,

도 5는 MAD를 최소화하는 모션(H, V, R, Static)을 통해 얻어진 최초 DM그래프와 이에 대해 노이즈를 제거한 후를 나타낸 그래프이며,

도 6은 동영상에서 카메라의 움직임이 변하는 부분과 샷의 경계에 특정한 가중치를 주어 특징점을 배열한 그래프이다.

본 발명은 동영상에서 카메라의 움직임에 따른 특징점 검출 방법 및 그 방법으로 이루어진 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 관한 것으로서, 보다 상세하게는 동영상의 흐름에 있어서 카메라의 움직임 또는 샷(Shot)의 경계와 같이 동영상 흐름에 특징이 되는 시점을 분석하는 방법에 관한 것이다.

동영상의 특징 분석은 많은 영상처리기법 및 시각인식기법에 기반을 두고 있다. Yu-Fei Ma 등이 저술한 'A User Attention Model for Video Summarization'에서는 영상의 집중도(Attention Score)를 물체의 모션, 화면의 색변화, 얼굴의 변화, 카메라 동작의 변화 등을 통해서 분석한다. 그리고 Xian-Sheng Hua 등이 저술한 'Creating Music Videos using Automatic Media Analysis‘에서는 카메라의 동작과 화면의 밝기 변화로써 동영상의 특징변화를 분석한다.

동영상의 분석을 필요로 하는 많은 어플리케이션에서는 동영상의 특징 분석이 필수적이다. 동영상에서 분석될 수 있는 특징은 영상의 종류와 내용에 따라 매우 다양하겠지만 가장 일반적으로 간주되는 특징은 샷(Shot)의 경계와 카메라의 움직임일 것이다.

종래에는 동영상의 특징점을 분석하기 위해서는 사용자의 감각에 따라 육안으로 직접 동영상을 분석하던 방법을 적용하였다. 이는 작업시간이 길어짐과 더불 어 작업자의 감각과 집중력을 요구하던 매우 어려운 작업으로 여러 문제점을 야기시켰다.

따라서, 본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 동영상에서 카메라의 움직임을 분석함으로써 시간에 따른 카메라 움직임의 종류와 속도 및 샷의 경계를 분석하여 특징점을 추출하고자 함에 발명의 목적이 있다.

상술한 목적을 달성하기 위해, 본 발명은, 분석하기 위한 동영상을 동영상 데이터베이스로부터 로딩(Loading)하는 과정과, 상기에서 로딩된 동영상으로부터 카메라의 움직임에 따른 특징 부위를 분석하기 위해 계산에 적용될 픽셀의 영역을 설정하는 과정과, 상기에서 계산에 적용될 픽셀의 영역이 설정되면 이웃한 프레임 사이에서 H(Horizontal), V(Vertical), R(Radial) 이동 방향에 대한 평균값인 MAD값을 계산하는 과정과, 상기 과정으로부터 H, V, R 각 방향에 대한 MAD 값을 구한 후, 최소의 MAD값을 가지는 움직임 H, V, R값을 찾아내는 과정과, 상기의 H, V, R의 움직임과 Static한 정도의 분석을 통해 DM(Dominant Motion)그래프를 얻는 과정과, 상기 과정에서 얻어진 DM그래프에 대해 노이즈를 제거하는 과정과, 상기 과정을 통해 노이즈가 제거된 DM그래프를 통해 동영상에 흐름에 있어서 특징이 되는 시 점을 분석하는 과정을 포함하여 구성된 것을 특징으로 한다.

바람직하게, 상기에서 H, V, R의 움직임 중 최소의 MAD값들로 나타낸 그래프를 형성 후 그래프의 극값(peak)을 이용하여 영상에서 샷(shot:화면전환)의 경계를 분석하는 과정을 더 포함하는 것을 특징으로 한다.

바람직하게, 상기의 계산영역 설정 과정은 프레임의 중앙과 테두리 부분을 제외한 픽셀 영역으로부터 카메라의 움직임을 분석하기 위한 영역을 지정하는 것을 특징으로 한다.

바람직하게, 상기의 계산영역 설정 과정에서 계산이 적용될 픽셀 영역을 down-sampling 하여 계산량을 줄이는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하면서 본 발명에 대해 상세하게 설명한다.

도 1은 본 발명의 실시예에 의한 동영상에서 카메라의 움직임에 따른 특징점 검출 방법을 구현하기 위한 기능 구성도이다.

도 1에 도시한 바와 같이, 본 발명은 다수의 동영상 파일이 저장되어 있는 동영상 데이터베이스(100)와, 상기 동영상 데이터베이스(100)로부터 동영상 파일을 로딩(Loading)하여 플레이하고 동영상을 분석하는 영상분석부(200)와, 상기 영상분석부(200)를 통해 분석한 동영상에서 카메라의 움직임 및 샷(Shot)의 경계와 같이 영상의 흐름에 특징이 되는 부분을 검출해 내는 특징점검출부(300)와, 상기 특징점검출부(300)에서 검출해 낸 영상의 흐름에 영향을 미치는 영상의 특징 부위를 사용자가 시각적으로 확인할 수 있도록 그래프와 같은 다양한 방법으로 출력하는 출력 부(400)를 포함하여 구성된다.

도 2는 본 발명에 따른 동영상에서 카메라의 움직임에 따른 특징점 검출 방법을 개략적으로 나타낸 흐름도이다.

도 2에 도시한 바와 같이, 동영상에서 카메라의 움직임을 기준으로 영상의 흐름에 영향을 미치는 특징점을 검출함에 있어서, 먼저 동영상 데이터베이스(100)에 저장되어 있는 동영상 파일을 로딩(Loading)하여 플레이하는 과정을 수행한다(S110).

다음으로, 상기에서 플레이된 동영상에서 카메라의 움직임에 따른 영상의 특징점을 검출하기 위해 동영상을 분석하기 위한 계산 영역 설정 과정을 수행한다(S120).

일반적으로 동영상에서 카메라의 움직임은 크게 panning(좌우 움직임), tilting(상하 움직임), zooming(확대, 축소)로 나눌 수 있다. 영상에서 Rotation(회전)도 분류할 수 있지만, 일반적인 비디오 촬영에서 Rotation(회전)은 많이 사용되지 않으므로 본 발명에서는 이를 고려하지 않는다.

동영상에서 카메라의 주요 움직임을 분석하기 위해서는 이전 프레임과의 픽셀 차이를 계산하게 되는데, 모든 픽셀에 대하여 계산을 수행한다면 비디오를 분석하는데 많은 시간이 소요될 것이다. 따라서, 카메라의 움직임에 따른 동영상을 분석시 프레임의 중앙과 테두리 부분을 제외한 일부 픽셀만을 고려하여 계산한다. 또 한, 본 발명에서는 각각의 프레임에 대해 픽셀의 움직임을 나타내는 변수를 H(Horizontal), V(Vertical), R(Radial)로 표현한다.

일반적으로 화면의 중앙은 보통 배경보다는 인물이나 물체와 같은 촬영의 대상이 되는 피사체가 위치하며, 카메라는 이러한 피사체를 따라 이동하게 된다. 즉, 카메라의 움직임을 계산시 프레임의 중앙 부분은 움직임이 많지 않아 카메라의 이동을 분석함에 악영향을 끼칠 수 있으므로 계산에서 제외하고, 또한 피사체를 제외한 모든 픽셀을 계산에 적용할 필요는 없으므로 영상의 테두리 부분도 계산에서 제외한다.

바람직하게, 상기에서 계산을 수행하기 전에 계산이 적용될 픽셀 부위를 down-sampling 함으로써 계산량을 더욱 줄일 수 있음을 특징으로 한다. 상기의 down-sampling 기법은 계산속도의 향상을 위해 모든 영역의 픽셀을 계산에 적용하지 않고 일부 픽셀만을 계산에 적용하는 기법을 말한다.

도 3은 본 발명의 실시예에 따른 계산에 적용될 픽셀의 영역을 나타낸 예시도이다.

다음으로, 상기에서 계산에 적용될 픽셀의 영역이 설정되면 이웃한 프레임 사이에서 H, V, R 이동 방향에 대한 평균값인 MAD값을 계산한다(S130).

k번째 프레임과 k+1번째 프레임 사이에 해당하는 MAD(Mean Absolute Difference)값은 다음과 같은 공식에 의해 정의될 수 있다.

‥‥‥ (1)

여기서 T는 계산에 사용되는 픽셀의 집합을 말하며, N은 픽셀들의 총 개수이며, L은 해당 픽셀의 Luminance(밝기)값을 말하며, x는 픽셀의 좌표값을 말한다.

상기 과정으로부터 H, V, R 각 방향에 대한 MAD 값을 구한 후, 최소의 MAD값을 가지는 움직임 H, V, R값을 찾아내는 과정이 이루어진다(S140).

‥‥‥‥‥‥ (2)

여기서 ψ는 가능한 모든 카메라 모션의 집합을 나타낸다.

본 발명에 따른 각 프레임의 주요 모션 분석과정에서 상기의 제 (2)식을 계산하는 과정은 다음과 같은 제한을 두어 검색시간을 최소화하였다. 즉, 본 발명의 실시예에 따라 제 (2)식을 계산시 H방향으로는 양옆으로 8픽셀씩을 검사하여 MAD가 가장 작은 값을 선택한다. 예를 들어 k+1프레임을 좌로 5픽셀 움직인 데이터와, k프레임 사이의 MAD가 최소라면 k번째 프레임에서 카메라의 모션을 횡축으로 -5라고 정의한다. H의 값도 유사한 방법으로 계산하지만, 일반적인 비디오에서 상하 움직임보다 좌우 움직임이 더 많이 발생하므로 ±4 픽셀만 검사한다. R의 경우 모든 픽셀이 동일하게 이동하지 않는다. 따라서 중앙에서의 거리에 비례하여 픽셀의 위치 이동을 계산한다. R은 ±2픽셀을 검사하여 구한다.

도 4는 본 발명의 실시예에 따른 예시 동영상에 대해 상기의 방법으로 구한 H, V, R 값들의 분석 결과를 보여주고 있다.

도 4에서 H, V, R이 나타내고 있는 것은 각 프레임 사이의 H, V, R 이동 방향에 대한 평균값을 가르키고 있으며, MAD는 상기 세 방향(H, V, R)의 값 중 최소값을 선택하여 나타낸 그래프이다.

다음으로, 상기의 H, V, R의 움직임과 Static 한 정도의 분석을 통해 DM(Dominant Motion)그래프를 얻는 과정이 이어진다(S150). 상기의 DM그래프는 해당 프레임의 가장 주요한 카메라 모션을 나타내는 값으로, 도 4에 도시한 바와 같이 세 방향(H, V, R)의 최소값을 나타낸 MAD곡선으로부터 얻어진다.

상기 과정에서 DM그래프의 최초 계산값은 많은 노이즈를 갖고 있다. 즉, 프레임의 주요 카메라 모션을 나타내는 DM그래프를 깨끗하게 분류하기 위해서는 DM그래프의 노이즈 제거 과정이 뒤따른다(S160).

바람직하게, 상기의 노이즈 제거 과정으로는 이중 윈도우 기법을 적용한다. 이중 윈도우 기법은 복잡한 신호를 간략화하는데 사용되는 일반적인 기법으로 시그널의 값을 주위의 일정구간에 대한 평균을 구하고 현재 위치 값을 대치하는 방법이다. 본 발명의 실시예에 따르면 60픽셀 길이의 큰 윈도우와 15픽셀 길이의 작은 윈도우를 차례대로 적용하여 DM그래프의 노이즈 제거 효과를 얻었다.

도 5는 MAD를 최소화하는 모션(H, V, R, Static)을 통해 얻어진 최초 DM그래프와 이에 대해 노이즈를 제거한 후의 DM그래프를 나타내었다. 도 5에서 상위에 있 는 (a)그래프가 최초의 DM그래프이며, 하위에 있는 (b)그래프가 노이즈를 제거한 후의 DM그래프이다.

상기 과정에서 H, V, R 각 방향에 대한 MAD 값을 구한 후, 최소의 MAD값을 가지는 움직임 H, V, R값을 찾아내는 과정(S140) 후에 그 값들로 형성된 그래프로부터 샷의 경계를 분석할 수도 있다(S170). 도 4에 도시한 MAD그래프는 세 방향(H, V, R)의 값 중 최소값을 선택하여 나타낸 것으로 이는 프레임 사이의 유사도를 측정하는데 좋은 척도로 사용된다. MAD의 값이 일정하면 이전 프레임과의 차이가 많이 나지 않는다는 것으로 카메라의 움직임이 적음을 나타낸다. 또한, MAD그래프에서 볼 수 있듯이, 드문드문 있는 극(peak)값들은 이전 프레임과의 유사도가 매우 낮음을 나타내며 이는 샷(shot: 화면전환)의 경계로 분석할 수 있다.

상기에서 카메라의 움직임에 따라 영상의 주요 모션과 샷의 경계를 분석한 후 그 결과를 이용하여 동영상의 특징점을 분석한다(S180). 상기에서 특징점이란 사람이 보편적으로 인지하는 동영상 특징의 시점을 말한다. 샷의 경계와 카메라 움직임 변화가 특징점의 대표적인 예로 볼 수 있다. 샷의 경계와 카메라의 움직임 변하는 부분에 특정한 가중치를 주어 도 6에 도시한 바와 같이 특징점 배열을 만들 수도 있다. 이렇게 분석된 특징점은 수많은 어플리케이션에 적용이 가능하며 가장 대표적인 예로 동영상에 배경음악을 삽입히고자 할 때, 이 특징점을 고려하여 배경음악을 삽입히면 동기화를 쉽게 이룰 수 있다.

이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 가장 양호한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

상술한 바와 같이, 본 발명에 의한 동영상에서 카메라의 움직임에 따른 특징점 검출 방법에 의하면 다음과 같은 효과가 있다.

첫째, 사용자의 감각에 따라 육안으로 직접 동영상을 분석하던 종래의 방법을 프로그램에 의해 자동으로 분석함으로써, 사용자가 편리하게 동영상을 분석할 수 있으며 동영상의 분석 시간도 단축할 수 있는 효과가 있다.

둘째, 동영상의 흐름에 영향을 주는 카메라의 움직임 또는 샷의 경계에 따른 특징점을 분석한 후, 특징점에 따라 배경음악 박자를 일치시키면 영상의 편집 작업으로 이루어진 뮤직비디오와 같은 효과를 얻을 수 있는 효과도 있다.

Claims (5)

1. 분석하기 위한 동영상을 동영상 데이터베이스로부터 로딩(Loading)하는 과정과(S110),

   상기에서 로딩된 동영상으로부터 카메라의 움직임에 따른 특징 부위를 분석하기 위해 계산에 적용될 픽셀의 영역을 설정하는 과정과(S120),

   상기에서 계산에 적용될 픽셀의 영역이 설정되면 이웃한 프레임 사이에서 H(Horizontal), V(Vertical), R(Radial) 이동 방향에 대한 평균값인 MAD값을 계산하는 과정과(S130),

   상기 과정으로부터 H, V, R 각 방향에 대한 MAD 값을 구한 후, 최소의 MAD값을 가지는 움직임 H, V, R값을 찾아내는 과정과(S140),

   상기의 H, V, R의 움직임과 Static한 정도의 분석을 통해 DM(Dominant Motion)그래프를 얻는 과정과(S150),

   상기 과정에서 얻어진 DM그래프에 대해 노이즈를 제거하는 과정과(S160),

   상기 과정을 통해 노이즈가 제거된 DM그래프를 통해 동영상에 흐름에 있어서 특징이 되는 시점을 분석하는 과정(S180)을 포함하여 구성된 것을 특징으로 하는 동영상에서 카메라의 움직임에 따른 특징점 검출 방법.
2. 분석하기 위한 동영상을 동영상 데이터베이스로부터 로딩(Loading)하는 과정 과(S110),

   상기에서 로딩된 동영상으로부터 카메라의 움직임에 따른 특징 부위를 분석하기 위해 계산에 적용될 픽셀의 영역을 설정하는 과정과(S120),

   상기에서 계산에 적용될 픽셀의 영역이 설정되면 이웃한 프레임 사이에서 H(Horizontal), V(Vertical), R(Radial) 이동 방향에 대한 평균값을 계산하는 과정과(S130),

   상기 과정으로부터 H, V, R 각 방향에 대한 MAD 값을 구한 후, 최소의 MAD값을 가지는 움직임 H, V, R값을 찾아내는 과정과(S140),

   상기에서 H, V, R의 움직임 중 최소의 MAD값들로 나타낸 그래프를 형성 후 그래프의 극값(peak)을 이용하여 영상에서 샷(shot:화면전환)의 경계를 분석하는 과정과(S170),

   상기 과정에서 샷의 경계를 통하여 동영상에 흐름에 있어서 특징이 되는 시점을 분석하는 과정(S180)을 포함하여 구성된 것을 특징으로 하는 동영상에서 카메라의 움직임에 따른 특징점 검출 방법.
3. 제 1항 또는 제 2항에 있어서,

   상기의 계산영역 설정 과정(S120)은 프레임의 중앙과 테두리 부분을 제외한 픽셀 영역으로부터 카메라의 움직임을 분석하기 위한 영역을 지정하는 것을 특징으로 하는 카메라 움직임에 따른 동영상의 특징점 검출 방법.
4. 제 1항 또는 제 2항에 있어서,

   상기의 계산영역 설정 과정(S120)에서 계산이 적용될 픽셀 영역을 down-sampling 하여 계산량을 줄이는 것을 특징으로 하는 카메라 움직임에 따른 동영상의 특징점 검출 방법.
5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,

   상기의 방법을 포함하여 이루어진 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.

Images