KR101588031B1

KR101588031B1 - 비디오의 전역 움직임 벡터들에 기초한, 동일한 이벤트의 비디오 및 정지 사진들의 병합

Info

Publication number: KR101588031B1
Application number: KR1020117013924A
Authority: KR
Inventors: 프란체스코 이. 보나리고; 마르코 이. 캄파넬라; 마우로 바비에리; 요하네스 웨다
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2008-11-21
Filing date: 2009-11-13
Publication date: 2016-02-12
Also published as: JP2012509635A; CN102224545B; US20110229111A1; JP5451769B2; EP2359368A1; KR20110086619A; WO2010058334A1; US8649660B2; EP2359368B1; CN102224545A

Abstract

이용자가 동일한 이벤트를 나타내는 비디오 및 사진 자료를 모두 가지는 것이 매우 흔하다. 홈 비디오에 사진들을 추가하는 것은 콘텐츠를 풍부하게 한다. 그러나, 단지 정지 사진들을 비디오 시퀀스에 추가하는 것은 혼란스런 효과를 갖는다. 본 발명은 비디오 내에 추정된 카메라 움직임으로 정렬되는 사진에서 가상 카메라 움직임을 생성함으로써 사진들을 비디오로 중단 없이 통합하는 방법에 관한 것이다. 합성된 비디오 시퀀스는 정지 사진이 포함될 비디오 시퀀스 내의 삽입 지점에서 비디오 시퀀스 내의 비디오 카메라 움직임을 추정하고, 정지 사진의 서브 프레임들의 가상 비디오 시퀀스를 생성함으로써 생성되고, 여기서 가상 비디오 시퀀스는 삽입 지점에서 비디오 카메라 움직임과 상관되는 가상 카메라 움직임을 갖는다.

Description

비디오의 전역 움직임 벡터들에 기초한, 동일한 이벤트의 비디오 및 정지 사진들의 병합{MERGING OF A VIDEO AND STILL PICTURES OF THE SAME EVENT, BASED ON GLOBAL MOTION VECTORS OF THIS VIDEO}

본 발명은 비디오 시퀀스 내에 정지 사진을 통합하는 방법에 관한 것이다. 더욱이 본 발명은 비디오 시퀀스 내에 정지 사진을 통합하기 위한 디바이스 및 컴퓨터 프로그램 제품에 관한 것이다.

오늘날에, 더욱더 많은 사람들이 비디오 및 사진 캡처링(capturing)을 구비한 디지털 디바이스들에 의해, 자신들의 체험들의 시청각 메모리들을 캡처한다. 시청각 메모리 기록 기술은 더욱더 확산되고 효율화되고 있다. 실제로 오늘날 짧은 비디오 시퀀스들을 기록하는 능력들을 갖춘 사진 카메라들, 또는 임베딩된 고해상도 사진 및 비디오 카메라들을 구비한 모바일 전화기들을 흔히 발견한다. 이 디지털 디바이스들의 유용성이 널리 퍼져 있으므로, 사실상 대부분의 이용자들은 동일한 이벤트들의 사진 및 비디오 메모리들 이 둘 모두를 기록하거나, 또는 또한 상기 이벤트에 존재했던 하나 이상의 사람들로부터 사진 및 비디오 메모리들을 수신하는데 익숙하다. 그러므로 이용자가 동일한 행사, 장소, 및 시간을 나타내는 비디오 및 사진 자료를 가지는 것은 매우 흔하다.

이용자들이 자신의 개인용 시청각 메모리들을 편집하고 관리하는데 도움을 주기 위해, 자동 비디오 에디팅(editing) 및 반-자동 홈 비디오 에디팅을 위한 시스템들과 같이, 많은 개념들 및 시스템들이 제공되어 왔다.

스토리지 디바이스(storage device)의 용량이 계속 증가함으로써 이용자들은 아주 많은 사진들을 찍고 그 사진들을 어떠한 선택도 하지 않고 저장하는 것이 가능하다. 이 굉장한 데이터의 양이 적절한 시각화 툴(tool)들의 부족함에 봉착하면, 이용자들은 자신들의 기록된 메모리들을 거의 시청하지 못하게 될 수 있다.

사진 세트는 또한 비디오 내의 일부 사진들을 추가함으로써 비디오를 풍성하게 하는데 이용될 수 있다. 제공된 사진의 순차적인 서브-파트들을 추출함으로써, 일부 작은 비디오 클립(video clip)들이 인공적으로 발생하여, 비디오 내에 포함될 수 있다. 기본 가정은, 일부 콘텐츠 관련 사진들을 비디오 스트림 내에 추가함으로써, 그 결과적인 비디오가 단일 비디오 소스를 고려하는 것보다 이용자에게 훨씬 더 많은 정보를 제공할 것이라는 점이다. Muvee Technologies로부터의 Muvee Reveal AutoProducer은 비디오에 사진들을 삽입하는 것을 가능하게 하는 상업용 소프트웨어 패키지의 예이다. 사진들은 일부 가상 카메라 움직임에 의해 동영상화(animated)된다. 이 개념은 상기와 같이 함으로써 사진을 보는 것이 이용자에게 더욱 즐거운 체험이 될 수 있다는 것이다.

비록 이용자들이 동일한 이벤트들을 나타내는 비디오 및 사진 자료 이 둘 모두를 가지는 것이 매우 흔할지라도, 이 정보를 결합하여 이용하고자 하는 시도들이 거의 없었으며, 반면에 매체의 미적 규칙(aesthetic rule)에 따라 두 데이터 소스들을 혼합하기 위하여 공지되어 있는 시도가 실행되지 않았었다.

그러므로, 비디오 및 정지 사진들을 결합하는 대안의 방법이 유용할 것이고, 특히 사진들 및 비디오의 결합이 시각적으로 더욱 어필하는 체험으로 인해 강화된 이용자 체험을 제공하는 방법이 유용할 것이다.

따라서, 본 발명은 상술한 단점들 중 하나 이상을 단독으로 또는 임의의 결합으로 경감하거나, 줄이거나 제거하도록 한다. 특히, 정지 사진들 및 비디오 사이의 전이(transition)들의 시각적 외양(visual appearance)을 개선하는 방법을 제공하는 것이 본 발명의 목적으로써 인식될 수 있다.

상기 목적 및 여러 다른 목적들은 본 발명의 제 1 양태에서 비디오 시퀀스 내에 정지 사진을 통합하는 방법을 제공함으로써 달성되고, 상기 방법은:

- 동일한 행사, 장소 및 시간을 나타내는 비디오 시퀀스 및 정지 사진을 획득하는 단계,

- 합성된 비디오 시퀀스를 생성하는 단계를 포함하고,

상기 합성된 비디오 시퀀스를 생성하는 단계는,

- 정지 사진이 포함될 비디오 시퀀스 내의 삽입 지점에서 비디오 시퀀스 내의 비디오 카메라 움직임을 추정하는 단계로서, 상기 삽입 지점은 상기 비디오 시퀀스의 프레임들의 범위 내에서 시간적인 삽입 지점(temporal insertion position)인, 상기 비디오 카메라 움직임 추정 단계,

- 정지 사진의 서브 프레임들의 가상 비디오 시퀀스를 생성하는 단계로서, 상기 가상 비디오 시퀀스는 상기 비디오 시퀀스 내의 이미지들의 치수로 재스케일링되는 각각의 서브 프레임을 갖는 정지 사진의 서브 프레임들의 시퀀스이고, 상기 가상 비디오 시퀀스는 가상 카메라 움직임을 갖고, 상기 가상 비디오 시퀀스의 가상 카메라 움직임은 상기 삽입 지점에서 상기 비디오 카메라 움직임과 상관되는, 상기 정지 사진의 서브 프레임들의 가상 비디오 시퀀스 생성 단계, 및

- 비디오 시퀀스 및 가상 비디오 시퀀스를 합성된 비디오 시퀀스로 결합하는 단계를 포함한다.

비디오 내의 삽입의 지점에서 비디오 카메라 움직임에 상관되는 가상 카메라 움직임을 갖는 정지 사진의 서브 프레임들의 가상 비디오 시퀀스를 생성함으로써, 비디오로부터 사진으로의 중단없는 전이(transition)가 달성될 수 있다. 단지 정지 이미지들을 비디오 스트림 내에 추가하는 것은 시각의 연속성을 방해할 것이다. 단지 임의의 가상 카메라 움직임을 추가함으로써 사진들을 동영상화하는 것은 부자연스럽고 이상한 효과들을 발생시킬 것이다. 가상 카메라 움직임을 비디오 카메라 움직임과 상관시킴으로써, 사진들은 어떠한 방해가 되는 시각 또는 오디오 효과들을 생성하지 않고도 중단 없이 그리고 연속해서 비디오 스트림 내에 혼합된다.

용어 "상관된다"는 "연관된다" 또는 "관련된다"와 같은 뜻을 의미하고, 어구 "가상 카메라 움직임은 비디오 카메라 움직임에 상관된다"는 가상 카메라 움직임의 결정 동안 비디오 카메라 움직임이 고려되고, 어느 정도까지의 가상 카메라 움직임이 비디오 카메라 움직임에 합치되도록 행해짐을 표현하는 것을 의미한다. 가상 카메라 움직임은 비디오 카메라 움직임과 유사하게 또는 동일하게 행해지는 것이 하나의 예이다.

용어 "가상 비디오 시퀀스"는 정지 사진의 서브 프레임들의 각각의 서브 프레임이 비디오 시퀀스 내의 이미지들의 치수들로 재스케일링(rescaling)되는, 상기 서브 프레임들의 시퀀스, 및 움직이고 있는 장면들을 가능하면 함께 나타내는 서브 프레임들의 시퀀스를 나타내는 것을 의미한다. "가상 카메라 움직임"은 예를 들어 크롭핑(cropping) 및/또는 재스케일링에 의해, 사진의 부분들로부터 획득되는 프레임들의 시퀀스에서 시뮬레이팅되는 카메라 움직임에 대응하는 가상 비디오 시퀀스에서의 시각적 효과이다. 가상 카메라 움직임의 프레임은 "서브 프레임들" 또는 "정지 사진의 서브 프레임들"로 표시된다. 그러므로, 용어 "서브 프레임"은 정지 사진의 연속하는 서브-파트를 나타내는 것을 의미하고; 서브 프레임은 전형적으로 서브 프레임 상에서의 줌 인(zoom in)에 대응하는, 정지 사진의 픽셀 치수들까지 보간된다. 용어 "삽입 지점"은 비디오 시퀀스의 프레임들의 범위 내의 위치, 즉, 시의 시간적인 지점을 나타내는 것을 의미한다. 그러므로, 상기 용어는 비디오 시퀀스의 단일 프레임 내에 정지 사진의 삽입 부분과 관련되지 않는다.

가상 카메라 움직임의 효과를 명확하게 볼 수 있도록 하기 위해, 비디오 및 동영상화된 사진들 사이의 하드 컷(hard cut)이 취해질 수 있다. 그러나, 페이딩(fading) 또는 디졸브 전이(dissolve transition)들은 전이를 더욱 매끄럽게 하도록 적용될 수 있다.

상기 방법의 양태에 따르면, 가상 비디오 시퀀스의 시작에서의 가상 카메라 움직임은 삽입 지점 이전의 비디오 시퀀스 내의 추정된 카메라 움직임에 상관된다. 그로 인해, 비디오 시퀀스로부터 정지 사진의 서브 프레임의 가상 비디오 시퀀스로의 매끄러운 전이가 달성된다. 추가 또는 대안으로, 가상 비디오 시퀀스의 종료에서의 가상 카메라 움직임은 상기 삽입 지점에 후속하는 비디오 시퀀스 내의 추정된 카메라 움직임과 상관된다. 이로 인해, 정지 사진의 서브 프레임의 가상 비디오 시퀀스로부터 비디오 시퀀스로의 매끄러운 전이가 달성된다.

상기 방법의 다른 양태에 따르면, 상기 방법은 상기 삽입 지점을 결정하는 단계를 더 포함한다. 그와 같은 삽입 위치의 결정은 동기화에 기초, 예를 들어 정지 사진 및 비디오 시퀀스와 함께 저장되는 시간 스탬프(time stamp) 정보에 기초할 수 있다. 삽입 지점은 유용하게도 정지 자신이 정지 사진을 촬영한 시간의 순간에 근접한 시간 지점에 기록되는 비디오 세그먼트들 사이에 삽입되도록 결정된다. 삽입 지점은 또한 비디오 시퀀스 및 정지 사진 이 둘 상에서 등장하는 관광 명소와 같이, 비디오 시퀀스 및 정지 사진상에서 식별되는 유사한 물체들에 기초할 수 있다.

상기 방법의 또 다른 양태에 따르면, 상기 결정은 상기 비디오 시퀀스를 비디오 세그먼트들로 세그먼트하는 단계 및 비디오 시퀀스 내의 상기 삽입 지점을 두 비디오 세그먼트들 사이의 지점으로 결정하는 단계를 포함한다. 비디오 시퀀스의 비디오 세그먼트들로의 세그먼트는 비디오 시퀀스의 관련되는 비디오 프레임들의 세그먼트들로의 분할일 수 있고, 여기서 상이한 세그먼트들은 상이한 장면들, 카메라 각들, 시간에서의 순간들 등과 관련된다. 이로 인해, 정지 사진에 대응하는 가상 비디오 시퀀스의 삽입은, 가상 비디오 시퀀스가 원래의 비디오 시퀀스 내의 기존 해체(breakup)의 위치 내에 삽입되는 점에서, 비디오 시퀀스 내의 추가 해체들을 생성하지 않는다.

상기 방법의 또 다른 양태에 따르면, 사진의 하나 이상의 특정한 관심 영역들은 상기 가상 비디오 시퀀스를 생성하는 단계에서 고려된다. 그러므로, 가상 비디오 시퀀스는 예를 들어 정지 사진 내의 특정한 관심 부분의 줌-인을 포함할 수 있다.

비디오 카메라 움직임의 추정은 팬(pan), 틸트(tilt), 및/또는 줌을 추정하는 단계를 포함할 수 있다. 그러나, 다른 카메라 움직임 파라미터들이 또한 고려될 수 있다.

상기 방법의 다른 양태에 따르면, 본 발명은 또한 정지 사진의 서브 프레임들을 가상 비디오 시퀀스에 대하여 선택하는 단계를 포함할 수 있고, 정지 사진의 서브 프레임들 중 어느 것도 정지 사진의 경계들을 서브 프레임들에 적용될 줌 팩터(zoom factor)들에 대하여 초과하지 않는다. 그와 같은 서브 프레임들의 선택은 정지 사진의 복수의 서브 프레임들의 대한 디퍼런셜(differential) 줌 팩터의 결정 및 적용을 포함할 수 있다. 디퍼런셜 줌 팩터는 정지 사진의 줌 아웃이 다른 방식으로는 정지 사진의 경계를 초과하는 결과를 발생시킬 수 있는 상황에서 줌 팩터에 추가될 수 있는 보조 줌 팩터이다.

더욱이 본 발명은 비디오 시퀀스 내에 정지 사진을 통합하기 위한 디바이스에 관한 것이다. 최종적으로, 본 발명은 자신과 연관되는 데이터 저장 수단을 갖는 적어도 하나의 컴퓨터를 포함하는 컴퓨터 시스템이 본 발명에 따라 디바이스를 제어할 수 있도록 적응되는 컴퓨터 프로그램 제품에 관한 것이다.

본 발명의 이 양태는 특히, 그러나 배타적이지 않게, 컴퓨터 시스템으로 하여금 본 발명의 방법을 실행하도록 할 수 있는 컴퓨터 프로그램 제품에 의해 구현될 수 있는 점에서 유용하다. 그러므로, 비디오 카메라 디바이스와 같이, 일부 공지되어 있는 디바이스는 디바이스를 제어하는 컴퓨터 시스템에 컴퓨터 프로그램 제품을 설치함으로써 본 발명에 따라 동작하도록 변경될 수 있음이 고려된다. 그와 같은 컴퓨터 프로그램 제품은 임의의 종류의 컴퓨터 판독 가능 매체, 예를 들어 자기 또는 광학 기반 매체 상에, 또는 컴퓨터 기반 네트워크, 예를 들어 인터넷을 통해 제공될 수 있다.

본 발명의 상이한 양태들은 각각 다른 양태들 중 임의의 양태와 결합될 수 있다. 본 발명의 상기 및 다른 양태들은 이후에 설명되는 실시예들로부터 명확할 것이고 상기 실시예들을 참조하여 분명해질 것이다.

도 1은 본 발명에 따른 방법의 흐름도.
도 2는 본 발명에 따른 방법의 예의 개략도.
도 3은 도 2의 비디오 전이 합성에서 실행되는 단계들의 예의 개략도.
도 4는 세 카메라 움직임 파라미터들의 다이어그램들을 도시한 도면들.
도 5는 줌 파라미터, 조정된 줌 파라미터, 및 조정 이후의 결과적인 줌 파라미터의 다이어그램들을 도시한 도면들.
도 6은 상이한 줌 값들에 대한 허용된 전이 값들을 나타내는 도면.

본 발명은, 단지 예를 통해, 이제 첨부 도면들을 참조하여, 설명될 것이다.

도 1은 본 발명에 따른 방법(10)의 흐름도이다. 방법(10)은 11에서 시작해서 12로 계속되며, 여기서 비디오 시퀀스 및 정지 사진이 획득된다.

상기 방법은 단계 13으로 계속되고, 여기서 합성된 비디오 시퀀스가 생성된다.

단계 13은 단계 14 내지 단계 16을 포함하고, 이의 단계 14는 정지 사진이 포함될 비디오 시퀀스 내에 있는 삽입 지점에서 비디오 시퀀스 내의 비디오 카메라 움직임을 추정하는 단계를 포함한다. 카메라 움직임 추정은 전형적으로 비디오 시퀀스의 팬, 틸트, 및 줌 파라미터들을 포함한다. 후속 단계 15에서, 정지 사진의 서브 프레임들의 가상 비디오 시퀀스가 생성되고, 여기서 가상 비디오 시퀀스는 가상 카메라 움직임을 포함하고 가상 비디오 시퀀스의 가상 카메라 움직임은 상기 삽입 지점에서 비디오 카메라 움직임에 상관된다. 후속해서, 단계 16에서, 비디오 시퀀스 및 가상 비디오 시퀀스는 합성된 비디오 시퀀스로 결합된다. 상기 방법은 단계 17에서 종료된다.

도 2는 본 발명에 따른 방법(100)의 예의 개략적인 도이다. 방법(100)에서, 입력은 원래의 비디오(20) 및 사진 세트(21)로부터의 다수의 정지 사진들로 구성된다. 22에서, 원래의 비디오 내의 카메라 움직임이 추정된다. 카메라 움직임은 카메라 움직임 파라미터들; 팬, 틸트 및 줌을 추정함으로써 추정될 수 있다. 그러나, 추가적으로 다음의 카메라 움직임 파라미터들이 또한 추정된다: 회전, 트래킹(tracking), 부밍(booming), 돌링(dolling). Akio Nagasaka, Takafumi Miyatake의 문서 "Real-time video mosaics using Luminance-Projection Correlation", IEICE Transactions on Information and Systems, Pt.2(일본판) vol.J82-D-2; no.10; 페이지 1572 - 1580(1999)은 카메라 움직임 파라미터들이 추정될 수 있는 방법의 예를 기술한다. 블록 22의 결과로 비디오 및 사진들 사이의 코히어런트 전이(coherent transition)들을 합성하도록 후속해서 이용되는 추정된 움직임 파라미터들(25)의 세트가 발생한다.

블록 23에서 비디오에서의 다른 저 레벨의 이미지들의 피처(feature)들이 추정되어, 추정된 저 레벨 피처들(26)의 세트가 발생한다. 그와 같은 저 레벨 피처들은 다음 중 하나 이상을 포함할 수 있다: 에지(edge) 검출, 코너 검출, 블럽(blob) 검출, 리지(ridge) 검출, 스케일 불변 피처 변환. 추정된 저 레벨 피처들(26)의 세트는 후속해서 비디오의 세그먼테이션, 요약 프로세스 및 비디오 전이 합성에 대한 시작 및 종료 파라미터들의 결정 프로세스 동안 이용된다.

블록 28에서 추정된 움직임 파라미터들(25)의 세트 및 추정된 저 레벨 피처들(26)의 세트는 세그먼테이션 프로세스에서 채용되고, 세그먼테이션 프로세스에서 원래의 비디오(20)는 비디오 세그먼트들(29)의 세트로 분할된다.

블록 24에서, 원래의 비디오(20) 및 사진 세트(21) 사이의 시간 동기화는 예를 들어 시간 스탬프 정보를 이용함으로써 실행된다. 그러나, 다른 적절한 동기화 방법은 예를 들어 Yuichiro Takeuchi, Masanori Sugimoto의 2006년 10월의 8차 ACM international workshop on Multimedia Information Retrieval의 회보, "Video Summarization using Personal Photo Libraries", 또는 Aya Aner-Wolf, Lior Wolf의 2002년의 6차 IEEE Workshop on Application of Computer Vision의 회보, "Video de-Abstraction or how to save money on your wedding video"에 기술된 것과 같이 이용될 수 있다. 동기화 프로세스(24)의 결과는 동기화된 비디오 및 사진 세트(27)이다.

블록 30에서, 요약 프로세스가 실행되고, 여기서 비디오 요약을 형성하는데 적합한 비디오 세그먼트들이 선택된다: 요약을 위한 비디오 세그먼트들의 적합성은 예를 들어 세그먼트의 저 레벨 피처들 및 상기 세그먼트에서 동기화된 사진들의 수에 의해 결정될 수 있다. 프로세스 30의 결과는 비디오-사진 구성 세그먼트 세트(31)이다.

블록 32에서, 비디오 및 사진들 사이의 전이들이 합성된다. 프로세스(32)는 추정된 움직임 파라미터들(25), 사진 세트(21)로부터 또는 동기화된 사진 세트(27)로부터의 사진, 원래의 비디오(20)로부터 또는 비디오-사진 구성 세그먼트 세트(31)로부터의 비디오의 일부뿐만 아니라 비디오 내의 사진의 삽입의 시간의 지점에 대한 정보를 이용한다. 더욱이, 프로세스(32)는 하나 이상의 사진의 관심 영역들을 고려할 수 있다. 프로세스(32)는 도 3과 관련하여 더욱 자세하게 설명된다. 프로세스(32)의 결과는 블록 34에서 선택적인 후속 재 인코딩 프로세스에서 이용되는, 전이 세그먼트들(33)의 세트이다. 이 재 인코딩 프로세스(34)에서 비디오 스트림은 사진 세트(21)로부터의 사진(들)에 의해 풍부해진 원래의 비디오(20)의 일부 및 원래의 비디오 및 삽입된 사진(들) 사이의 전이들을 포함할 수 있는 합성된 비디오 시퀀스(35)를 제공하기 위해 재 인코딩된다. 상술한 바와 같이, 재 인코딩 프로세스는 모든 동작들이 시퀀스를 렌더링하는 동안 실시간으로 실행되었음이 고려되는 점에서 선택적이다. 대안으로, 최종 비디오를 획득하는데 적용되어야만 하는 변환들 및 전이들의 서술이 재생목록(playlist), 멀티미디어 프리젠테이션 서술, 또는 코드의 형태로 저장될 수 있다. 렌더링 동안, 적절한 재생기는 상기 서술을 해석하도록 배열되어 최종 시퀀스를 그때 그때 생성할 수 있다. 이용될 수 있는 언어들 및 재생기들의 예들은 매크로미디어 플래시(Macromedia Flash)(독점) 및 SMIL(표준)이다.

도 3은 도 2의 비디오 전이 합성(32)에서 실행되는 단계들의 예의 개략도이다. 비디오 합성(32)은 임의의 전이, 즉 두 정지 사진들 사이의 전이, 정지 사진으로부터 비디오 세그먼트로의 전이 또는 비디오 세그먼트로부터 정지 사진으로의 전이와 관련된다. 단계 40에서, 전이가 사진으로부터 사진으로의 전이인지가 결정된다. 긍정인 경우, 상기 방법은 단계 50으로 진행하고, 여기서 두 정지 사진들 사이의 페이딩 효과가 실행되고, 후속해서 상기 방법은 종료한다. 부정인 경우, 상기 방법은 단계 41로 계속되고, 여기서 전이가 페이드-아웃(fade-out) 전이, 즉 가능하면 비디오 세그먼트 및 사진 사이의 페이딩 효과를 가지는, 비디오 세그먼트로부터 사진으로의 전이인지가 결정된다. 그와 같은 페이딩 효과는 선택 단계 46과 관련하여 기술된다. 전이가 페이드 아웃 전이가 아니라고 결정되는 경우, 상기 방법은 단계 42로 계속되고, 여기서 도 2에서의 방법(100)의 단계(22)의 결과로서 추정된 움직임 파라미터들이 블록 25에서 재배열된다. 하나의 정지 사진으로부터 다른 정지 사진 또는 비디오 세그먼트로부터 정지 사진으로의 전이 이 둘 모두가 아닌 전이는 정지 사진으로부터 비디오 세그먼트로의 전이임에 틀림없으며, 그와 같은 전이는 추정된 움직임 파라미터들을 미러링(mirroring)하고 그 전이를 비디오 세그먼트로부터 정지 사진으로의 전이로 처리함으로써 취급될 수 있다. 상기 방법은 블록 42로부터 43으로 계속된다; 상기 방법은 또한 블록 41에서의 결과가 긍정인 경우 블록 41로부터 블록 43으로 계속된다.

블록 43에서, 서브 프레임들에 대한 세 움직임 파라미터 곡선들이 계산된다. 세 움직임 파라미터들, 즉, 팬, 틸트, 줌은 사진을 둘러싸는 비디오 세그먼트들의 검출된 움직임에 대응할 필요가 있다. 도 2와 관련하여 언급되는 바와 같이, 가상 카메라 움직임은 또한 사진의 관심 영역들(도면들에 도시되지 않음)에 좌우될 수 있다.

블록 43의 가능한 구현예가 도 4와 관련하여 기술된다. 도 4에서, 움직임 파라미터들 팬, 틸트, 및 줌의 다이어그램들의 예가 도시된다. X 축을 따른 지점들은 비디오의 프레임들을 시간 순서로 나타낸다. 그러므로, 프레임 a는 프레임 b보다 앞서고 나머지도 마찬가지이다. 도 4는 도 4에서의 그래프들에서 지점 a에서 b까지의, 조절 가능한 움직임 값들의 간격이 비디오 프레임에 대해서와 동일한 예를 도시한다. 후속하는 조절 가능한 프레임들의 간격에서 지점 b로부터 c까지 선형의 감소가 적용되고, 이후의 부분에서, 지점 c로부터 d까지, 값들은 사진이 계속해서 유지되는 상황에 대응하여 영(0)으로 설정된다. 그러므로, 도 4의 예는 시작시에 비디오 프레임들에 대한 추정된 움직임 파라미터들이 뒤따르고, 매끄럽게 서서히 하향하고, 종단에서 중지되는 상황에 대응한다.

각각의 곡선에 대해, 지점 b에서의 그래프 값의 계산은 다음의 공식을 이용하여, 데이터의 간격 [a, b] 내의 값들의 가중 평균에 의해 실행되고, 여기서 x는 움직임 파라미터(팬, 틸트, 또는 줌)를 나타내고 n은 b-a+1과 같다:

다시 도 3을 참조하면, 상기 방법은 블록 44로 계속되고, 여기서 추정된 움직임 파라미터인 줌에 추가될 추가 줌 팩터가 결정된다. 추가 줌 팩터는 가상 비디오 시퀀스에 포함될 서브 프레임이 정지 사진의 일부인 정지 사진의 경계들을 초과하지 않는 것을 보장하도록 계산된다. 예를 들어, 높은 줌 팩터가 정지 사진의 경계에 근접한 서브 프레임에 적용되고 줌-아웃이 시작되는 경우, 줌 아웃된 서브 프레임의 모든 부분들에 대한 충분한 정보가 존재하지 않는 상황이 발생할 수 있다. 서브 사진 프레임에 나타나는 원치 않는 검은 줄들을 발생시킬 수 있는 이 상황을 방지하기 위해, 움직임 파라미터들로부터 적절한 서브 사진 프레임들을 선택하기 위한 알고리즘이 이용된다.

서브 사진 프레임들을 합성하기 위해, 상기 알고리즘은 이들 중 각각의 하나에 대한 중심 및 치수를 필요로 한다. 다음의 식들은 움직임의 선형 감소 이후에 전체 사진의 정지 샷이 후속하는 이전의 상황에 적용된다:

여기서,

i = [전이프레임,...,1]

= 프레임 i에 대한 수평의 중심 좌표

= 프레임 i에 대한 수직의 중심 좌표

scale(i) = 2^zoom ⁽ⁱ⁾

프레임 f-1에 대한 좌표 파라미터들이 전적으로 프레임 f에서 자신들의 값, 그리고 프레임 f-1에서의 움직임 파라미터들에 의존하므로, 움직임 파라미터들이 사진 경계를 초과하도록 하지 않는 우선적인 보장이 존재하지 않는다. 이것이 발생해야 하는 경우, 서브-사진 프레임의 이 부분에 대한 정보가 합성될 수 없으므로, 일부 원하지 않는 검은 줄들이 보간된 서브-사진 프레임들에 나타날 것이다. 이 문제를 피하기 위해, 상기 알고리즘은 각각의 프레임 동안, 사진 경계들이 초과되는지를 검사하고, 초과된다면 상기 특정 프레임에 대한 줌 팩터를 충분히 증가시켜 치수들이 다시 맞도록 한다.

그렇게 하는데에 있어서의 이점은 줌 팩터를 증가시킴으로써, 서브-사진 프레임이 사진의 제한된 부분을 나타낼 것이라는 점이다. 이 조건들에서, 특정한 변환의 공칭 값은 하위의 절대값에 대응한다. 예를 들어 1의 줌 팩터에 대응하는 서브-사진의 경우, 전체의 서브-사진 모두에 걸친 팬은 서브-사진 프레임이 일부인 정지 사진의 절반만을 통하는 팬에 대응할 것이다.

다음에 이 효과의 예가 기술된다. 전체 사진(폭 1024 및 높이 768의)을 나타내는 서브-사진 프레임에 의해 시작되어, 이전의 프레임에 대한 줌 팩터에 기초하여, 허용된 변환 값들, 즉, 허용된 팬 및 틸트는 상이한 줌 값들에 대해 허용된 변환 값들을 나타내는 도 6에 도시된 바와 같이 증가하는 경향이 있다.

도 5는 세 줌 파라미터들, 즉 초기 줌 파라미터, 줌, 디퍼런셜 줌 파라미터 및 그 결과에 따른 파라미터인 조정 이후의 줌'의 다이어그램들을 도시한다. 줌 파라미터들은 지점 d로부터 지점 b로 역으로 계산된다.

디퍼런셜 줌 파라미터는 줌-아웃이 정지 사진의 경계들을 초과하게 할 수 있는 어떠한 상황도 방지하기 위해 계산되고 적용된다.

도 5는 영과는 상이한 디퍼런셜 줌 파라미터가 결정된 상황을 도시한다. 지점 e에서의 프레임에서, 디퍼런셜 줌 팩터는 필요한 서브 프레임이 정지 사진의 경계를 초과하지 않을 상황을 방지하기 위해 필요할 것이다. 이는 도 5의 가운데 곡선에서 지점 e에서의 정점으로 나타난다. 그러나, 계산된 디퍼런셜 줌 파라미터는 그것이 필요한 프레임 e에서 별개로 추가되지 않아야 하는데, 왜냐하면 이 집중 값은 줌 팩터 곡선의 급격한 변화를 발생시킬 것이기 때문이다. 디퍼런셜 줌 파라미터는 그것이 필요한 프레임 및 최종 프레임, 도 5에서의 지점 d 및 지점 e 사이의 진로의 반인 지점 f에 있는 줌 팩터 곡선에 적용된다. 가우시안 분포는 급작스런 전이가 방지되는 그러한 방식으로, 간격 [e, d]에 걸친 줌 양을 확산시키는데 이용된다. 그 결과에 따른 줌 팩터인, 줌'(도 5에서 하부 곡선)은 디퍼런셜 줌 팩터(도 5에서 가운데 곡선)를 줌 팩터(도 5에서 상부 곡선)에 추가하는 것에 대응한다.

디퍼런셜 줌 팩터는 그것이 필요한 프레임 이전에 계산되고 줌 팩터에 완전히 추가되어야만 한다. 그 결과에 따른 줌 파라미터를 지점들 d 및 e 사이의 서브 프레임들에 적용하는 것은 가상 비디오 시퀀스 내에 개시된 정지 사진의 서브 프레임의 변화에 대응한다. 지점 d에서, 서브 프레임은 도 5의 모든 세 그래프들에서 동일하다; 그러나 지점 e에서 그리고 프레임 d 및 프레임 e 사이의 지점들에서, 서브 프레임은 도 5에서의 상부 곡선의 줌 파라미터들이 적용되었던 서브 프레임들과 비교되는 디퍼런셜 줌 파라미터의 적용 이후에 상이하다.

프레임 치수들을 계산하기 위한 알고리즘에 대한 의사 코드(pseudo code)의 예는 다음과 같이 제공된다:

서브 프레임이 정지 사진의 경계들을 초과하면, 모든 서브 프레임들의 치수 및 위치의 계산이 재시작된다. 일단 이 연산이 실행되었다면, 각각의 서브 프레임의 중심 및 치수를 포함하는 어레이가 이용 가능하다. 사진의 각각의 서브 프레임의 경우, 이의 중심 및 치수는 공지된다. 그러므로 서브 프레임의 각각의 픽셀에 대해, 정지 사진 내의 대응하는 픽셀을 결정하기 위해 보간 방법을 적용하는 것이 가능하다.

도 3을 다시 참조하면, 상기 방법은 블록 45로 계속되고 여기서 각각의 서브 프레임에 대한 중심, 폭 및 높이가 계산되고 블록 46으로 더 계속되어 여기서 사진의 보간에 의해 정지 사진의 서브 프레임들이 합성된다.

후속해서, 그러나 선택적으로, 단계 47은 비디오 프레임들 및 정지 사진의 서브 프레임들 사이의 페이딩 효과가 초래된다. 단계 48에서, 전이가 페이드-아웃 전이, 즉, 비디오 세그먼트로부터 사진으로의 전이인지가 결정된다. 부정의 경우, 상기 방법은 단계 49로 계속되고 여기서 합성된 전이에 대한 프레임 차수가 반전된다. 그 후에 상기 방법이 종료된다. 단계 48이 긍정인 경우, 상기 방법이 또한 종료된다.

상술한 바와 같이, 도 3에서의 방법(32)은 도 2의 방법(100)의 방법 단계(32)의 예이다. 방법 단계(32)의 결과는 합성된 비디오 시퀀스(35)를 획득하기 위해 재 인코딩될 수 있는 전이 세그먼트들(33)의 세트이다.

본 발명은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 결합을 포함하는 임의의 적절한 형태로 구현될 수 있다. 본 발명 또는 본 발명의 일부 특징들은 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 운영되는 컴퓨터 소프트웨어로서 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 물리적, 기능적, 그리고 논리적으로 임의의 적절한 방식으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛들에서, 또는 다른 기능 유닛들의 일부로 구현될 수 있다. 그와 같으므로, 본 발명은 단일 유닛에서 구현되거나, 또는 상이한 유닛들 및 프로세서들 사이에서 물리적 그리고 기능적으로 분배될 수 있다.

본 발명이 특정한 실시예들을 참조하여 상술되었을지라도, 본원에 진술되는 특정한 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명은 첨부 청구항들에 의해서만 제한된다. 청구항들에서, 용어 "comprising"은 다른 요소들 및 단계들의 존재를 배제하지 않는다. 추가로, 개별 특징들이 상이한 청구항들에서 포함될 수 있을지라도, 이것들은 가능한 한 유용하게 결합될 수 있고, 상이한 청구항들에 포함되는 것이 특징들의 결합이 실현 불가능하고/하거나 유용하지 않음을 의미하지 않는다. 게다가, 단수를 언급하는 것이 복수를 배제하지 않는다. 용어들 "a", "an", "first", "second" 등은 복수를 배제하지 않는다. 청구항들 내의 참조 신호들은 단지 명확한 예로 제공되고 어떤 식으로도 청구항들의 범위를 제한하는 것으로 해석되어서는 안 된다.

20 : 원래의 비디오 21 : 사진 세트
25 : 추정된 움직임 파라미터들 29 : 비디오 세그먼트들

Claims

비디오 시퀀스 내에 정지 사진을 추가하는 방법에 있어서:
비디오 시퀀스 및 정지 사진을 획득하는 단계,
합성된 비디오 시퀀스를 생성하는 단계를 포함하고, 상기 합성된 비디오 시퀀스를 생성하는 단계는:
상기 정지 사진이 포함되어야 할 비디오 시퀀스 내의 삽입 지점에서 상기 비디오 시퀀스 내의 비디오 카메라 움직임을 추정하는 단계,
상기 정지 사진의 서브 프레임들의 가상 비디오 시퀀스를 생성하는 단계로서, 상기 가상 비디오 시퀀스는 가상 카메라 움직임을 갖고, 상기 가상 비디오 시퀀스의 상기 가상 카메라 움직임은 상기 삽입 지점에서 상기 비디오 카메라 움직임과 상관되고, 상기 정지 사진의 상기 서브 프레임들의 각각의 서브 프레임은 상기 비디오 시퀀스 내의 이미지들의 치수로 재스케일링되고, 상기 가상 카메라 움직임은 상기 정지 사진의 부분들로부터 얻어진 상기 서브 프레임들의 시퀀스에서 시뮬레이트된 카메라 움직임에 대응하는 상기 가상 비디오 시퀀스에서의 가상 효과를 포함하는, 상기 가상 비디오 시퀀스를 생성하는 단계, 및
상기 비디오 시퀀스와 상기 가상 비디오 시퀀스를 상기 합성된 비디오 시퀀스로 결합하는 단계를 포함하고, 상기 비디오 카메라 움직임의 상기 추정은 팬(pan), 틸트(tilt) 및 줌(zoom) 중 적어도 하나를 추정하는 것을 포함하고, 상기 방법은:
상기 정지 사진의 서브 프레임들을 상기 가상 비디오 시퀀스에 대하여 선택하는 단계를 추가로 포함하고, 상기 정지 사진의 서브 프레임들 중 어느 것도 상기 정지 사진의 경계들을 상기 서브 프레임들에 적용될 줌 팩터(zoom factor)들에 대하여 초과하지 않는, 비디오 시퀀스 내에 정지 사진을 추가하는 방법.
제 1 항에 있어서,
상기 가상 비디오 시퀀스의 시작에서의 상기 가상 카메라 움직임은 상기 삽입 지점 이전의 상기 비디오 시퀀스 내의 추정된 카메라 움직임에 상관되는, 비디오 시퀀스 내에 정지 사진을 추가하는 방법.
제 1 항 또는 제 2 항에 있어서,
상기 가상 비디오 시퀀스의 끝에서의 상기 가상 카메라 움직임은 상기 삽입 지점 이후의 상기 비디오 시퀀스 내의 추정된 카메라 움직임에 상관되는, 비디오 시퀀스 내에 정지 사진을 추가하는 방법.
삭제
삭제
삭제
제 1 항에 있어서,
상기 사진의 하나 이상의 특정한 관심 영역들은 상기 가상 비디오 시퀀스를 생성하는 단계에서 고려되는, 비디오 시퀀스 내에 정지 사진을 추가하는 방법.
삭제
삭제
삭제
비디오 시퀀스 내에 정지 사진을 추가하기 위한 디바이스에 있어서:
비디오 시퀀스 및 정지 사진을 획득하기 위한 입력부,
합성된 비디오 시퀀스를 생성하기 위한 프로세싱 수단을 포함하고,
상기 합성된 비디오 시퀀스를 생성하기 위한 프로세싱 수단은:
상기 정지 사진이 포함되어야 할 비디오 시퀀스 내의 삽입 지점에서 상기 비디오 시퀀스 내의 비디오 카메라 움직임을 추정하기 위한 수단,
상기 정지 사진의 서브 프레임들의 가상 비디오 시퀀스를 생성하기 위한 수단으로서, 상기 가상 비디오 시퀀스는 가상 카메라 움직임을 가지며, 상기 가상 비디오 시퀀스의 상기 가상 카메라 움직임은 상기 삽입 지점에서 상기 비디오 카메라 움직임과 상관되고, 상기 정지 사진의 상기 서브 프레임들의 각각의 서브 프레임은 상기 비디오 시퀀스 내의 이미지들의 치수로 재스케일링되고, 상기 가상 카메라 움직임은 상기 정지 사진의 부분들로부터 얻어진 상기 서브 프레임들의 시퀀스에서 시뮬레이트된 카메라 움직임에 대응하는 상기 가상 비디오 시퀀스에서의 가상 효과를 포함하는, 상기 가상 비디오 시퀀스를 생성하기 위한 수단, 및
상기 비디오 시퀀스와 상기 가상 비디오 시퀀스를 상기 합성된 비디오 시퀀스로 결합하는 수단을 포함하고, 상기 비디오 카메라 움직임의 상기 추정은 팬, 틸트 및 줌 중 적어도 하나를 추정하는 것을 포함하고, 상기 디바이스는
상기 정지 사진의 서브 프레임들을 상기 가상 비디오 시퀀스에 대하여 선택하기 위한 수단을 추가로 포함하고, 상기 정지 사진의 서브 프레임들 중 어느 것도 상기 정지 사진의 경계들을 상기 서브 프레임들에 적용될 줌 팩터들에 대하여 초과하지 않는, 비디오 시퀀스 내에 정지 사진을 추가하기 위한 디바이스.
컴퓨터 시스템 상에서 실행될 때 제 1 항의 방법의 모든 단계들을 실행하도록 적응된 프로그램 코드 수단을 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.