KR101670187B1 - 영상 자동 편집 방법 및 장치 - Google Patents

Abstract

영상 자동 편집 장치 및 방법이 개시된다. 개시된 장치는, 대상 영상으로부터 카메라의 이동, 카메라의 흔들림 및 카메라의 확대/축소를 포함하는 카메라의 움직임을 분석하는 분석부; 상기 분석부의 카메라 움직임 정보에 기초하여 영상의 프레임별로 영상의 퀄리티를 판단하며 불만족 퀄리티를 가지는 프레임이 미리 설정된 개수 이상 연속될 경우 해당 프레임 영역을 불만족 프레임 영역으로 설정하고 상기 불만족 프레임 영역을 상기 대상 영상에서 제거하는 제거부; 및 상기 불만족 프레임 영역이 제거된 대상 영상에서 카메라의 갑작스런 이동 및 흔들림을 보정하는 보정부를 포함한다. 개시된 장치 및 방법에 의하면, 사용자가 촬영한 영상에서 낮은 퀄리티를 가지는 영역의 프레임들을 자동으로 제거할 수 있으며, 영상 편집에 소요되는 시간을 줄이고 비전문가가 쉽게 사용할 수 있는 장점이 있다.

Description

영상 자동 편집 방법 및 장치{Method and Device for Automatically Editing Image}

본 발명의 실시예들은 영상 편집 방법 및 장치에 관한 것으로서, 더욱 상세하게는 자동으로 촬영된 영상을 편집하는 방법 및 장치에 관한 것이다.

근래에 들어 유튜브와 같이 사용자가 직접 촬영하고 편집한 동영상을 업로드하는 동영상 공유 사이트가 등장하면서 편리한 동영상 편집 장치에 대한 요구가 증대되고 있다.

유튜브와 같은 사이트에 동영상을 업로드하는 사용자들은 대부분 영상 편집에 대한 비전문가들이기에 기존의 영상 편집 장치로는 적절한 편집을 수행하기 어려운 문제점이 있었다. 대부분의 영상 편집 장치들은 전문가들을 위해 제작된 장치이기에 경험이 부족한 일반인들은 영상 편집 장치의 기능을 모두 활용하기 어려우며 영상 편집에 상당한 시간을 소요하여야 하는 문제점이 있었다.

본 발명의 일 측면은 사용자가 촬영한 영상에서 낮은 퀄리티를 가지는 영역의 프레임들을 자동으로 제거할 수 있는 영상 자동 편집 방법 및 장치를 제안하는 것이다.

본 발명의 다른 측면은 영상 편집에 소요되는 시간을 줄이고 비전문가가 쉽게 사용할 수 있는 영상 자동 편집 방법 및 장치를 제안하는 것이다.

상기한 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 대상 영상으로부터 카메라의 이동, 카메라의 흔들림 및 카메라의 확대/축소를 포함하는 카메라의 움직임을 분석하는 분석부; 상기 분석부의 카메라 움직임 정보에 기초하여 영상의 프레임별로 영상의 퀄리티를 판단하며 불만족 퀄리티를 가지는 프레임이 미리 설정된 개수 이상 연속될 경우 해당 프레임 영역을 불만족 프레임 영역으로 설정하고 상기 불만족 프레임 영역을 상기 대상 영상에서 제거하는 제거부; 및 상기 불만족 프레임 영역이 제거된 대상 영상에서 카메라의 갑작스런 이동 및 흔들림을 보정하는 보정부를 포함하는 영상 자동 편집 장치가 제공된다.

상기 영상 자동 편집 장치는, 상기 불만족 프레임 영역을 제거한 후 남겨진 영역을 이어 붙이는 과정에서 전환 효과를 부가하는 전환 개선부를 더 포함한다.

상기 분석부는 카메라의 이동 정도, 카메라의 흔들림 정도 및 카메라의 확대/축소 정도를 수치화한 카메라 움직임 정보를 생성하며 상기 제거부는 상기 수치화된 카메라 움직임 정보를 이용하여 프레임별로 불만족 퀄리티를 가지는 프레임인지 여부를 판단한다.

상기 제거부에 의해 불만족 프레임 영역이 제거된 후 남겨진 영역의 시간적 길이가 미리 설정된 임계값 이하일 경우 상기 제거부는 해당 남겨진 영역을 추가적으로 제거한다.

상기 보정부는 영상의 색상 분포를 특정 색상 분포 패턴에 맞게 조절한다.

본 발명의 다른 측면에 따르면, 대상 영상으로부터 카메라의 이동, 카메라의 흔들림 및 카메라의 확대/축소를 포함하는 카메라의 움직임을 분석하는 단계(a); 상기 분석부의 카메라 움직임 정보에 기초하여 영상의 프레임별로 영상의 퀄리티를 판단하며 불만족 퀄리티를 가지는 프레임이 미리 설정된 개수 이상 연속될 경우 해당 프레임 영역을 불만족 프레임 영역으로 설정하고 상기 불만족 프레임 영역을 상기 대상 영상에서 제거하는 단계(b); 및 상기 불만족 프레임 영역이 제거된 대상 영상에서 카메라의 갑작스런 이동 및 흔들림을 보정하는 단계(c)를 포함하는 영상 자동 편집 방법이 제공된다.

본 발명에 의하면, 사용자가 촬영한 영상에서 낮은 퀄리티를 가지는 영역의 프레임들을 자동으로 제거할 수 있으며, 영상 편집에 소요되는 시간을 줄이고 비전문가가 쉽게 사용할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 영상 자동 편집 장치의 구조를 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 제거부의 세부 구성을 도시한 블록도.
도 3은 본 발명의 일 실시예에 따른 불만족 영역 제거부의 동작을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 색 분포 조절 방법의 일례를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 영상 편집 방법의 전체적인 흐름을 도시한 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 자동 편집 장치의 구조를 도시한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 편집 장치는 분석부(100), 제거부(110), 보정부(120) 및 전환 개선부(130)를 포함한다.

본 발명의 일 실시예에 따른 영상 자동 편집 장치는 사용자가 촬영한 대상 영상에 대해 편집을 수행한다. 본 발명의 일 실시예에 따른 영상 자동 편집 장치는 다양한 형태로 구현될 수 있으며, 일례로 사용자의 컴퓨터에 설치되는 소프트웨어의 형태로 구현될 수도 있으며, 다른 예로 촬영 장치에 내장되는 모듈의 형태로 구현될 수도 있을 것이다.

분석부(100)는 대상 카메라의 움직임을 분석하는 기능을 한다. 여기서 카메라의 움직임은 카메라의 이동, 카메라의 흔들림 또는 카메라의 확대/축소 등을 포함할 수 있다. 분석부(100)는 카메라의 이동 정도, 흔들림 정도 및 확대/축소 정도를 계산하여 출력한다.

본 발명의 일 실시예에 따르면, 카메라의 움직임을 분석하기 위해 영상 내에서 특정 객체가 움직임을 방향을 추적하고 이를 이용하여 역으로 카메라의 움직임을 분석하는 방법이 사용될 수 있다.

일례로, 영상 내에서 특정 객체가 움직이는 방향을 추적하는 기술로 호모그래피(Homography)가 사용될 수 있다.

호모그래피는 영상에 존재하는 특정 객체의 움직임을 특정 두 프레임에서의 객체의 픽셀 위치(x,y) 변화를 통해 움직임을 추적한다. 예를 들어, 특정 두 프레임 F_a 및 F_b가 있을 때 F_b에서 특정 객체의 픽셀 위치(x,y)에 대해 F_a에서의 픽셀 위치(x_{b ,a}, y_{b ,a})를 구한다. 이때 F_a에서의 위치 (x_{b ,a}, y_{b ,a})를 구하는 식은 다음의 수학식 1과 같이 표현될 수 있다.

위 수학식1의 계산을 위해 필요한 값인 c_{b ,a,1} ~ c_{b ,a,9}는 SIFT(Scale-Invariant Feature Trasform) 또는 SURF(Speeded Up Robust Feature) 등을 이용하여 구할 수 있다.

호모 그래피를 통해 특정 객체의 이동이 감지될 경우 객체의 이동 정도를 통해 카메라의 움직임을 추정하고, 특정 객체가 흔들릴 경우 흔들림 정도를 통해 카메라의 흔들림을 추정하며, 객체의 크기 변화를 통해 카메라의 확대/축소 정도를 추정한다.

분석부(100)는 카메라 이동 정도, 흔들림 정도 및 카메라의 확대/축소 정도를 각각 수치화한다.

제거부(110)는 분석부에 의해 출력되는 카메라 이동 정도, 흔들림 정도 및 카메라의 확대/축소 정도를 이용하여 영상 퀄리티가 낮은 프레임 영역을 선택하고 선택된 프레임 영역을 대상 영상으로부터 제거하는 기능을 한다.

카메라의 급격한 이동 또는 흔들림이 발생한 경우 해당 프레임 영역은 낮은 퀄리티를 가지게 되며 이러한 프레임 영역은 편집 과정에서 삭제되는 것이 바람직하였다. 기존의 영상 편집 장치에서 이러한 낮은 퀄리티의 프레임 영역은 사용자가 육안으로 확인한 후 제거할 수 밖에 없었다. 또한, 육안을 통해 확인이 이루어지기에 양질의 동영상을 유지하려면 상당한 주의를 가지고 편집을 수행하여야 했으며 많은 시간이 소요되는 문제점이 있었다.

본 발명의 제거부(110)는 낮은 영상 퀄리티로 인해 사용자가 불만족스럽게 생각되는 프레임 영역을 자동적으로 제거하여 편집에 소요되는 시간과 노력을 현저하게 줄일 수 있게 한다.

도 2는 본 발명의 일 실시예에 따른 제거부의 세부 구성을 도시한 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 제거부(110)는 영상 퀄리티 판단부(200), 불만족 프레임 영역 설정부(210) 및 불만족 프레임 영역 제거부(220)를 포함할 수 있다.

영상 퀄리티 판단부(200)는 프레임 단위로 영상 퀄리티를 판단한다. 영상 퀄리티 판단부(200)는 수치화된 카메라 이동 정도, 카메라 흔들림 정도 및 카메라 확대/축소 정도를 이용하여 영상 퀄리티를 판단할 수 있다.

본 발명의 일 실시예에 따르면, 위의 수치화된 정보들을 합산하거나 가중치 합산한 값을 이용하여 영상 퀄리티를 판단할 수 있을 것이다. 예를 들어, 수치화된 카메라 이동 정도를 x, 수치화된 카메라 흔들림 정도를 y, 수치화된 확대/축소 정도를 z라고 하고 각 정보의 가중치를 a, b, c라고 할 때 ax+by+cz에 의해 영상 퀄리티를 판단할 수 있을 것이다.

영상 퀄리티 판단부(200)는 위 수학식에 의해 계산되는 값이 미리 설정된 임계치 이상일 경우 불만족스러운 퀄리티를 가진 프레임으로 판단한다.

불만족 프레임 영역 설정부(210)는 영상 퀄리티 판단부(200)에서 불만족한 퀄리티를 가지는 것으로 판단되는 프레임들이 미리 설정된 수 이상으로 연속될 경우 해당 프레임 영역을 불만족 프레임 영역으로 설정한다.

예를 들어, 51번 프레임에서 100번 프레임이 불만족한 퀄리티를 가지는 것으로 판단되는 경우 51번 프레임에서 100번 프레임 영역을 불만족 프레임 영역으로 설정하는 것이다.

불만족 프레임 영역 제거부(220)는 불만족 프레임 영역으로 설정된 프레임 영역을 대상 영상으로부터 제거한다.

도 3은 본 발명의 일 실시예에 따른 불만족 영역 제거부의 동작을 도시한 도면이다.

도 3을 참조하면, 대상 영상에 대해 프레임 단위로 퀄리티가 판단되며 불만족 퀄리티를 가진 프레임이 연속되면 해당 프레임 영역을 불만족 프레임 영역으로 설정한다. 그러나, 불만족 프레임이 간헐적으로 발생하고 연속되지 않는다면 불만족 프레임 영역으로 설정하지 않는다.

영상 전체에 대해 불만족 프레임 영역이 설정되며, 불만족 프레임 영역으로 설정된 프레임 영역이 불만족 프레임 영역 제거부(220)에 의해 제거된다.

불만족 프레임 영역 제거부(220)에 의해 불만족 프레임 영역이 제거되면서 남겨진 프레임 영역이 미리 설정된 길이(시간적 길이) 이하일 경우 남겨진 프레임 영역 역시 제거된다. 남겨진 프레임 영역이 매우 짧은 시간동안 유지될 경우 해당 프레임 영역은 영상에서 큰 의미가 없으므로 이를 함께 제거하는 것이 바람직하다.

남겨진 프레임 영역을 제거할지 여부를 결정하는 시간은 사용자에 의해 조절될 수 있는 것이 바람직하다.

보정부(120)는 불만족 프레임 영역이 제거되고 난 후 남겨진 영역을 보정하는 기능을 한다. 불만족 프레임 영역으로 설정되지는 않아 제거되지는 않았지만 특정 프레임 영역은 여전히 낮은 퀄리티를 가질 수 있으며 보정부는 이러한 낮은 퀄리티 영역에 대한 보정을 수행한다.

일례로, 보정부(120)는 카메라의 움직임 또는 흔들림이 감지된 경우 해당 카메라의 움직임 및 흔들림을 보정할 수 있을 것이다. 구체적으로 보정부는 카메라의 움직임이 미리 설정된 속도 이상으로 빠르거나 카메라의 흔들림이 미리 설정된 기준 이상일 경우 카메라의 이동 속도가 느려지도록 보정을 수행할 수 있을 것이다.

또한, 보정부(120)는 대상 영상에서 남겨진 영역의 색상 분포를 조절할 수도 있다. 일례로, 보정부(120)는 영상의 색상 분포가 미리 정해진 특정 색상 분포 패턴에 상응하도록 영상을 보정할 수 있을 것이다. 이때, 미리 정해진 색상 분포 패턴 중 어떤 색상 분포 패턴에 맞도록 보정할지 여부는 영상의 장르에 의해 정해질 수 있을 것이며 영상의 장르는 사용자가 설정할 수 있도록 하는 것이 바람직하다.

도 4는 본 발명의 일 실시예에 따른 색 분포 조절 방법의 일례를 도시한 도면이다.

도 4를 참조하면, 남겨진 영상의 대상 영상에서 특정 영역의 색상 분포만 가지도록 색상 분포를 조절하는 일례가 도시되어 있다.

전환 개선부(130)는 불만족 프레임 영역이 제거됨으로 인해 발생하는 남겨진 영역 사이의 전환을 개선한다. 불만족 프레임 영역이 제거됨으로 인해 연속되는 프레임 사이에 키 프레임 변화가 있을 수 있으며 이러한 갑작스런 프레임 변화가 자연스럽게 이루어질 수 있도록 전환 효과를 부가하는 개선 작업을 수행한다.

본 발명의 일 실시예에 따르면, 전환 효과는 페이딩, 다음 영역으로의 변화 속도 조절 및 영상의 특정 위치로 확대 후 축소하면서 다음 영역을 표시하는 동작을 포함할 수 있을 것이다. 물론 위에서 설명된 전환 효과 이외에도 알려진 다양한 전환 효과가 부가될 수 있다는 점은 당업자에게 있어 자명할 것이다.

전환 효과는 남겨진 영역을 연결하는 과정에서 장면 전환(키프레임 변화)이 이루어질 때만 부가되는 것이 바람직하다. 불만족 프레임 영역을 제거하면서 남겨진 영역을 이어 붙이더라도 장면 전환이 이루어지지 않는다면 별도의 전환 효과를 부가하지 않는 것이 바람직하다.

도 5는 본 발명의 일 실시예에 따른 영상 편집 방법의 전체적인 흐름을 도시한 순서도이다.

도 5를 참조하면, 우선 대상 영상에서 각 프레임의 퀄리티를 판단하기 위한 분석 작업을 수행한다(단계 500). 분석 단계에서는 카메라의 이동 정도, 흔들림 정도 및 확대/축소 정도를 수치화한다.

앞서 설명한 바와 같이, 카메라의 이동 정도, 흔들림 정도 및 확대/축소 정도를 수치화하기 위해 호모그래피를 사용할 수 있으며 영상 내에서 특정 객체가 움직이는 방향을 추적하여 카메라의 움직임을 수치화한다.

분석이 완료되면, 대상 영상에서 불만족 프레임 영역을 제거한다(단계 510). 불만족 프레임 영역의 제거를 위해 1차적으로 각 프레임의 퀄리티를 판단하며, 프레임의 퀄리티 판단은 분석 단계에서 출력되는 수치화된 카메라의 이동 정도, 흔들림 정도 및 확대/축소 정도에 기초하여 이루어진다.

앞서 설명한 바와 같이, 수치화된 정보를 합산하거나 가중치 합산을 한 값이 미리 설정된 임계치를 초과할 경우 해당 프레임을 불만족 프레임으로 판단한다.

불만족 프레임이 미리 설정된 개수 이상 연속되는 경우 해당 프레임 영역을 불만족 프레임 영역으로 설정되며, 불만족 프레임 영역을 대상 영상으로부터 제거한다.

불만족 프레임 영역이 제거되고 난 후 남겨진 영역의 시간적 길이가 미리 설정된 임계값 이하일 경우 남겨진 해당 영역 역시 제거하는 것이 바람직하다.

불만족 프레임 영역이 제거되면, 남겨진 프레임 영역에 대한 보정 작업을 수행한다(단계 520). 남겨진 프레임 영역 중 카메라의 움직임 및 흔들림이 감지될 경우 해당 프레임 영역의 카메라 움직임이 둔감하게 이루어지도록 보정을 수행할 수 있다.

또한, 색상 분포를 특정 색상 분포 패턴에 맞도록 보정하는 작업이 보정 단계에서 이루어질 수도 있을 것이다.

보정 작업이 완료되면, 남겨진 프레임 영역을 이어 붙이면서 발생하는 남겨진 영역 사이의 전환을 개선하는 전환 개선 작업을 수행한다(단계 530). 예를 들어, 페이딩, 다음 영역으로의 변화 속도 조절 및 영상의 특정 위치로 확대 후 축소하면서 다음 영역을 표시하는 동작과 같은 전환 효과가 부가될 수 있을 것이다.

앞서 설명한 바와 같이, 실질적인 장면 전환이 이루어질 때 전환 효과를 부가하는 것이 바람직하다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

1. 대상 영상으로부터 카메라의 이동, 카메라의 흔들림 및 카메라의 확대/축소를 포함하는 카메라의 움직임을 분석하는 분석부;
   상기 분석부의 카메라 움직임 정보에 기초하여 영상의 프레임별로 영상의 퀄리티를 판단하며 불만족 퀄리티를 가지는 프레임이 미리 설정된 개수 이상 연속될 경우 해당 프레임 영역을 불만족 프레임 영역으로 설정하고 상기 불만족 프레임 영역을 상기 대상 영상에서 제거하는 제거부; 및
   상기 불만족 프레임 영역이 제거된 대상 영상에서 카메라의 갑작스런 이동 및 흔들림을 보정하는 보정부
   를 포함하되,
   상기 제거부는
   상기 불만족 프레임 영역이 제거된 후 남겨진 영역의 시간적 길이가 미리 설정된 임계값 이하일 경우 해당 남겨진 영역을 추가적으로 제거하는 것을 특징으로 하는 영상 자동 편집 장치.
2. 제1항에 있어서,
   상기 불만족 프레임 영역을 제거한 후 남겨진 영역을 이어 붙이는 과정에서 전환 효과를 부가하는 전환 개선부를 더 포함하는 것을 특징으로 하는 영상 자동 편집 장치.
3. 제1항에 있어서,
   상기 분석부는 카메라의 이동 정도, 카메라의 흔들림 정도 및 카메라의 확대/축소 정도를 수치화한 카메라 움직임 정보를 생성하며 상기 제거부는 상기 수치화된 카메라 움직임 정보를 이용하여 프레임별로 불만족 퀄리티를 가지는 프레임인지 여부를 판단하는 것을 특징으로 하는 영상 자동 편집 장치.
4. 삭제
5. 제1항에 있어서,
   상기 보정부는 영상의 색상 분포를 특정 색상 분포 패턴에 맞게 조절하는 것을 특징으로 하는 영상 자동 편집 장치.
6. 대상 영상으로부터 카메라의 이동, 카메라의 흔들림 및 카메라의 확대/축소를 포함하는 카메라의 움직임을 분석하는 단계(a);
   상기 분석된 카메라 움직임 정보에 기초하여 영상의 프레임별로 영상의 퀄리티를 판단하며 불만족 퀄리티를 가지는 프레임이 미리 설정된 개수 이상 연속될 경우 해당 프레임 영역을 불만족 프레임 영역으로 설정하고 상기 불만족 프레임 영역을 상기 대상 영상에서 제거하는 단계(b); 및
   상기 불만족 프레임 영역이 제거된 대상 영상에서 카메라의 갑작스런 이동 및 흔들림을 보정하는 단계(c)
   를 포함하되,
   상기 단계(c)는
   상기 불만족 프레임 영역이 제거된 후 남겨진 영역의 시간적 길이가 미리 설정된 임계값 이하일 경우 해당 남겨진 영역을 추가적으로 제거하는 것을 특징으로 하는 영상 자동 편집 방법.
7. 제6항에 있어서,
   상기 불만족 프레임 영역을 제거한 후 남겨진 영역을 이어 붙이는 과정에서 전환 효과를 부가하는 단계(d)를 더 포함하는 것을 특징으로 하는 영상 자동 편집 방법.
8. 제6항에 있어서,
   상기 단계(a)는 카메라의 이동 정도, 카메라의 흔들림 정도 및 카메라의 확대/축소 정도를 수치화한 카메라 움직임 정보를 생성하며, 상기 단계 (b)는 상기 수치화된 카메라 움직임 정보를 이용하여 프레임별로 불만족 퀄리티를 가지는 프레임인지 여부를 판단하는 것을 특징으로 하는 영상 자동 편집 방법.
9. 삭제
10. 제6항에 있어서,
    상기 단계(c)는 영상의 색상 분포를 특정 색상 분포 패턴에 맞게 조절하는 것을 특징으로 하는 영상 자동 편집 방법.
11. 제6항 내지 제8항 및 제10항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 기록 매체.

Images