KR20110094010A - 여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기 - Google Patents

Abstract

여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기
여러 개 비디오 클립이 오디오 트랙의 컨텐츠에 기반하여 시간적으로 조정되는 방법이 제안되고, 둘 또는 그 이상의 비디오 클립으로부터 매체를 결합하여 새로운 비디오 제작을 생성하기위해 편집됩니다.

Description

여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기{Creating a new video production by intercutting between multiple video clips}

본 발명은 비디오 제작의 컴퓨터 세대에 일반적으로 관련되어 있다. 본 발명은 특히, 실질적으로 일반 오디오 트랙에 동기화된 하나의 비디오 제작으로 여러 개 비디오 클립의 자동 편집에 관한 것이다.

지난 몇 년간은 "사용자가 만든 콘텐츠" 또는 "UGC"로 알려진 유형 특히 동영상 콘텐츠의 생성에서 급격한 상승을 보여준다. 이것은 말 그대로 비디오 콘텐츠를 녹화할 수 있는 디바이스를 구비한 사람인 비전문 비디오 제작자에 의해 생성된 비디오이다. 이러한 콘텐츠는 때때로 촬영 장치로부터 녹화 재생에 의해 공유되고, 예를 들어 경우에 따라 비디오 카메라는 텔레비전에 연결되지만 점점 이것은 스토리지 및/또는 공유의 다른 형태로 활성화하기 위해 컴퓨터로 전송된다. 이들은 이메일로 전달을 포함하고 유튜브, 야후 비디오, shwup.com 등의 비디오-호스팅 사이트에 업로드된다.

비디오 제작에서 이러한 성장의 주요 원동력은 디지털 비디오를 촬영 가능한 디바이스의 범위에서 급속한 증가이며, 이와 함께 이들 디바이스의 가격이 빠른 하락이다. 몇 년 전까지, 비디오 촬영을 위해 소비자에게 가능한 실질적으로 유일한 장치는 테이프 기반 캠코더였고, 장치는 꽤 크고 비싸고, 일반적으로 천달러 선이었다. 이러한 캠코더는 여전히 사용할 수 있고 아직도 널리 사용되고 있지만, 최근 몇 년동안 그 숫자는 다른 유형의 장치에 의해 추월될 것이며, 다른 유형의 장치는 하드 디스크와 솔리드-스테이트(예, 플래시) 메모리에 녹화하는 캠코더, 비디오와 스틸 이미지를 녹화할 수 있는 현재의 "디지털 스틸 카메라" 또는 "DSCs", 모빌 폰에 카메라가 탑재되어 일반적으로 스틸 이미지와 비디오를 녹화할 수 있는 카메라폰이다. 이러한 장치의 가격은 많은 경우 백달러 아래로 극적으로 전통적인 캠코더보다 낮다.

비디오 촬영이 성장 외에도, 비디오를 빠르고 쉽게 편집하고자 하는 욕구에 상응하는 성장이 행해졌다. 비디오 문구에서 "편집" 용어는 단지 원시 입력 비디오의 불필요한 부분을 제거하는 의미로 사용될 뿐만 아니라 텔레비전을 통해 대부분의 사람에게 익숙한 비디오 처리 및 향상 기술의 넓은 범위의 애플리케이션에 해당한다. : 촬영 사이에 전환, 특수 효과, 그래픽, 텍스트 오버레이 등

편집은 때때로 애플 iMovie, 어도비 프리미어 또는 윈도우 무비 메이커와 같은 비선형 편집기(Non-Linear Editors) 또는 "NLEs"로 알려진 프로그램을 사용하여 컴퓨터에서 수동으로 수행된다. 그러나 또한 최종 편집 생산을 극적으로 쉽고 빠르게 훨씬 더 많은 사람들이 접근할 프로세스를 만드는 자동 편집 소프트웨어의 성장이 있다. 그런 다음 경험이 풍부한 인간 비디오 편집자로 알려진 편집 규칙을 적용한다. 예를 들어, 이 필드 중 하나 지수는 윈도우 PC, 인터넷, 노키아와 LG의 카메라폰을 포함하는 여러 플랫폼에 대한 자동 편집 소프트웨어를 만들었던 muvee 테크놀러지 주식 회사이다.

특허 GB2380599(피터 로완 켈록 외)는 자동 또는 반자동으로 비디오, 사진 및 음악을 포함하여 입력 미디어에서 출력 미디어 제품을 만드는 것에 관한다. 입력 미디어는 주석되거나 입력 미디어를 설명하고 입력 미디어로부터 파생된 미디어 설명자의 세트가 파생 분석된다. 편집 스타일은 일반적으로 사용자가 지정한 스타일 데이터를 사용하여 제어된다. 그 다음 스타일 데이터와 서술자는 출력 제품 결과가 수행될 때 입력 데이터에 대한 작업 세트를 생성하는데 사용된다. 이 단계는 인간의 뮤직 비디오 편집기의 감성을 캡처하는데 이용될 수 있는 기술을 통합한다.-편집, 효과 및 전환은 입력 음악 트랙에 정해진 시간으로 생산된다. 중요한 제약 조건은 입력 미디어에 놓여 있지 않고 지루한 작업의 대부분은 컴퓨터에 의해 자동화되기 때문에 이는 보통 캠코더/카메라 사용자가 즐겁고 세련된 생산물을 만드는데 최소한 노력 경로를 제공한다. muvee 오토프로듀서로 명명된 muvee 테크놀러지에 의한 상용 제품은 위 발명에 기반한다.

특허 US7027124(조나단 포트 외)는 자동으로 뮤직 비디오를 제작하는 방법을 설명한다. 오디오와 비디오 신호에서 전환 포인트는 감지되고 오디오 신호로 비디오 신호를 정렬하는데 사용된다. 비디오 신호는 오디오 신호로 정렬함에 따라 편집되고 결과적으로 편집된 비디오 신호는 뮤직 비디오를 형성하기 위해 오디오 신호와 합성된다.

공개된 특허 출원 GB2440181(제럴드 포마스 베우레가드 외)는 새로운 제품을 생성하기 위해 기존의 뮤직 비디오로 사용자가 제공한 매체를 인터커팅하는 방법을 설명한다. 기존 뮤직 비디오에서, 비디오 콘텐츠는 뮤직 트랙과 동기화된다; 예를 들어, 가수의 입 운동은 노래와 함께 조정된다.(노래가 뮤직 비디오를 만들기 위해 립싱크되었더라도) 새로운 제품에서, 기존 뮤직 비디오로부터 가져온 자료는 뮤직 트랙과 동기화된 비디오/오디오를 유지한다. 그러나, 사용자가 제공한 비디오로 구성된 세그먼트는 뮤직 트랙과 특별한 동기화를 가지지 않는다. 예를 들어, 노래에 아마추어 립싱크한 사용자가 제공한 비디오는 새로운 제품에 올바로 립싱크되지 않는다.

따라서 선행 기술은 자동 비디오 편집, 뮤직 비디오의 어떤 특별한 생성에 수많은 접근을 포함한다. 그러나, 선행 기술은 특별하고 중요한 시나리오 세트에서 제품의 생성을 자동화하는 수단을 제공하지 않는다. 제품에서 시나리오는 실제적으로 보통 사운드 트랙을 가지는 장점에 의해 서로 상대적인 기존 동기화 관계를 가지는 원시 비디오의 몇 조각의 일부를 구성하고 시나리오에서 그것은 제품에서 이들 관계를 유지하기 위해 필요하다. 이러한 시나리오의 예는 다음과 같다.

a) 멀티 카메라 라이브 이벤트 시나리오에서 여러 개 카메라는 동시에 싱글 라이브 이벤트(일반적으로 다른 각도에서 각각의 카메라 촬영)를 캡처하고 목표는 하나 이상의 카메라로부터 발췌한 부분을 구성하는 편집된 제품을 자동으로 생성하는 것이다. 이들은 뮤직, 댄스, 연극 등의 라이브 공연을 포함한다.

b) 립-싱크 시나리오에서 수많은 뚜렷한 시각적 공연이 보통 사운드트랙과 동기화되어 각각의 하나가 수행된다. 이들은 한 사람 이상의 댄스, 립-싱크, 에어 기타 놀이를 포함하고 또는 별도로 녹음된 뮤직의 동일한 조각을 수행하고 각 공연은 다른 시간 및/또는 다른 장소에서 있을 수 있다. 좋아하는 팝송에 맞춰 노래하거나 악기를 연주하는 척하는 장면은 유투브와 같은 온라인 미디어 호스팅 사이트에서 공유된 사용자 제작 비디오에 인기있는 주제임을 주목한다.

위의 a) 시나리오를 고려하면, 멀티-카메라 싱글-이벤트 시나리오, 몇가지 접근 방법은 여러 개 카메라에 동시에 비디오 촬영을 구성하는 동기화된 제품을 생성하기 위해 전통적으로 사용된다. 널리 전문 비디오 제작자가 사용하는 하나의 방법은 촬영 당시 SMPTE 시간 코드와 같은 일반적인 동기화 신호로 모든 카메라를 (유선 또는 무선으로) 연결하는 것이다. 이후에 이것의 일반적인 신호(또는 거기서부터 파생된 데이터)는 수동으로 편집하는 동안 비디오 클립을 정렬하는데 사용된다. 또 다른 방법은 녹음의 시작에서 공통 시청각 참조를 기록하고 편집시에 수동으로 여러 조각을 정렬하기 위해 사용된다.; 예를들어 "클래퍼보드", 필름 제작의 아이콘이 영화의 초기부터 사용되었고, 이들 목적을 제공한다. 다른 옵션은 이러한 정렬을 지원하기 위해 특별한 기술 없이, 시각적인 주의 관찰 및/또는 기록 매체의 오디오 부분에 의지하여 비디오 뿐만 아니라 단순히 가능한 편집 중의 조각을 정렬하는 것이다.

위 방법은 UGC에 적합하고, 특히 자동 비디오 편집이 적용되고 있다. 소비자 캠코더, DSCs, 카메라폰, 및 다른 대량 시장 비디오 녹화 장치는 일반적인 타이밍 참조에 연결을 지원하지 않는다. 아마추어 비디오 제작자는 클래퍼보드를 사용하지 않고, 많은 경우 그것은 예를 들어 공연이 시작되기 직전 또는 사회적으로 그렇게 하도록 용납 불가능하다. 주위깊은 관찰에 의해 편집 당시의 정렬은 지루하고 자동 비디오 편집, 즉 속도, 편의성, 단순, 및 전문 제작 기술에 대한 욕구의 부족의 주요 이점에서 크게 떨어진다.

본 발명은 새롭고 유용한 비디오 편집 시스템 및 방법을 제공하는 것으로, 특히 최소한 일부 또는 전부의 제한을 극복하는 것을 목표로 한다.

본 발명의 바람직한 실시예는 여러 개 입력 비디오 클립으로부터 완성된 제품을 생성하는 것을 가능하게 만들고, 선행 기술로 가능함보다 훨씬 적은 사람 개입 또는 완전히 자동으로 가능하게 만든다. 이것은 본질적으로 두 단계를 수행한다.

1. 이것은 위에 나열된 것과 같은 시나리오에서, 오디오 트랙은 동일하고, 또는 그들 사이의 동기화를 확립하기 위해 모든 입력 비디오 클립(또는 각 클립의 적어도 일부)에 대해 사실상 유사하다는 사실을 사용한다. 이것은 각 클립의 오디오 트랙의 신호 분석에 의해 추출된 오디오 매개 변수에 대해 가장 높은 상호 상관값을 제공하는 상대적인 동기화를 수립과 같은 선행 기술로 알려진 오디오 동기화를 위한 기술에 기반한다.

2. 이것은 클립으로부터 선택된 비디오의 세그먼트를 합성하여 완성된 제품을 만드는데 입력 비디오 클립에 자동 편집 기술을 적용한다.

본 발명은 멀티-카메라 라이브 시나리오와 위에서 설명한 립 싱크 시나리오에 응용 프로그램을 가지고, 게다가 다음과 같은 단계를 포함하는 수많은 다른 경우를 가진다.

·멀티-테이크(take) 시나리오에서 하나 이상의 카메라는 동일한 작업의 "테이크" 시리즈를 캡처하지만 작업의 이전 녹화된 공연에 완벽한 동기는 아니다. 예를 들어, 밴드는 각 테이크의 녹화된 비디오, 동일한 노래의 여러 개 테이크를 녹화할 수 있다. 본 발명은 각 테이크의 공연 속도에서 차이에 대한 가치에 "시간 뒤틀림(time warping)"을 사용하여 하나의 테이크로부터 오디오 녹음을 동기화되는 모든 것, 서로 다른 테이크로부터 장면을 포함하는 완성된 비디오를 만들 수 있도록 한다.

·부분 오버랩 시나리오에서 비디오 클립은 완전히 동시적이지 않지만, 부분 오버랩하고, 오버랩 섹션은 크게 일반적인 사운드 트랙을 가진다. 예를 들어 군중은 스포츠 이벤트에 있고 많은 사람이 전체 이벤트보다 짧은(일반적으로 훨씬 짧은) 비디오 클립을 녹화한다. 서로 다른 시간에 시작과 끝을 가진 충분히 그러한 클립이 있다면, 오버랩의 많은 섹션이 존재할 것이다, 그리고 -군중에서 서로 다른 위치에 사람이 있을지라도- 이들 오버랩한 섹션의 오디오에서 유사점이 있을 것이다. 이들은 클립의 일부 또는 전체에 일반적인 동기화를 확립하는데 사용될 수 있고, 클립은 상대적인 동기화를 보존하는 최종 제품에 자동으로 편집될 수 있다. 이와 같은 경우 또 다른 예는 여러 사람이 도로 또는 트랙과 차량, 사람, 동물 등을 지나치는 녹화 비디오의 측면을 따라 서로 다른 위치에 위치되는 하나이다. 이것은 비디오 제작을 행렬, 경주, 등에서 자동으로 생성되도록 하고 제작은 어느 한 비디오 클립(잠재적으로 전체 행렬 또는 경주)보다 더 긴 이벤트의 섹션을 걸칠 수 있다.

본 발명의 바람직한 실시예의 주요 기능은 공동 제작의 생성에 대한 선험적인 지식에 대한 필요가 없다는 것이다. 예를 들어, 이벤트의 비디오를 촬영하는 서로 다른 사람은 공동 제작을 만들고자 하는 의도가 없고, 공동 제작이 이루어질 수 있다는 예지도 없고, 다른 사람이 동일 이벤트를 촬영한다는 지식조차도 없다. 마찬가지로, 독특한 시각 공연의 경우 별도로 공연되지만 서로 다른 장소 및/또는 서로 다른 시간에 동일한 작품 뮤직으로 서로 다른 사람이 마임하는 것처럼 각 공연은 동일한 사운드 트랙으로 동기화하고, 서로 다른 사람이 각각 어떤 식으로 협력하고자 연루될 필요가 없고, 실제로도 다른 공연의 존재를 알고 있을 필요가 없다. 모든 경우에 있어서 여러 개 입력 비디오 클립으로부터 완성된 제품을 만들기 위한 결정은 일부 또는 전부 비디오 촬영 후 만들 수 있다.

본 발명의 바람직한 기능은 아래 도면을 참조하여 예시도에 따라 설명될 것이다.
도 1은 본 발명의 실시예가 오디오 트랙의 유사성을 사용하여 시간 정렬된 비디오 클립의 세트로부터 새로운 비디오 제품을 생성하기 위한 방법의 단계를 요약한 플로우 차트이다.
도 2는 단일 별도로 지정된 참조 오디오 트랙에 여러 개 비디오 클립을 연관지어 예시하고, 새로운 제품을 생성하기 위해 이들 비디오 클립을 인터커팅하는 제작 다이어그램이다.
도 3은 비디오 클립 중 하나의 오디오 트랙이 참조로 사용되어 여러 개 비디오 클립의 정렬을 보여주는 제작 다이어그램이다.
도 4는 결과 제품의 전체 기간을 커버하는 단일 비디오 트랙이 없는 경우에 이들 오디오 트랙에 기반하는 여러 개 비디오 클립의 정렬을 도시하는 제작 다이어그램이다.
도 5는 어떻게 싱글 비디오 파일에 녹화된 여러 개 테이크가 여러 개 클립으로 분할되고, 오디오 트랙에 기반하여 시간 정렬되고, 출력 제품을 생성하기 위해 인터컷됨을 보이는 제작 다이어그램이다.
도 6은 도 1, 도 2, 또는 도 3에 따라 제작에 알맞은 입력 자료를 생성할 수 있는 라이브 시나리오의 계획 도면이다.
도 7은 여러 사람이 가능한 다른 위치와 다른 시간에서 그들 스스로 기존 녹음된 오디오 트랙에 동기를 실행하여 비디오 클립을 생성하는 마임밍(miming) 시나리오의 개략도이다.
도 8은 여러 사람이 서로 다른 위치로부터 라이브 이벤트의 비디오 녹화를 만드는 거리 퍼레이드 시나리오의 개략도이다.
도 9는 참조 오디오 트랙의 음 크기 포락선(envelope)과 비디오 클립의 오디오 트랙간의 교차 상관을 사용하여 참조 오디오 트랙으로 비디오 클립을 정렬하는 단계를 요약한 흐름도이다.
도 10은 주어진 적어도 두 개의 시간 정렬된 비디오 클립으로 출력 제품을 제작하기 위한 방법에 대한 흐름도이다.
도 11은 예를 들어 도 12에 도시된 사용자 인터페이스를 통해 사용자가 하이라이트 및/또는 제외(exclusion)를 마크하기 위해 허용하는 추가 단계를 가진 도 1의 다른 예이다.
도 12는 여러 개 시간 정렬된 비디오 클립에서 하이라이트와 제외를 지시하는 가능한 사용자 인터페이스를 보인다.
도 13은 사용자가 일부분을 하이라이트 또는 제외로 마크한 참조 오디오 트랙에 정렬된 여러 개의 비디오 클립으로부터 출력 제품의 생성을 보이는 제작 다이어그램이다.

일반 케이스

도 1은 본 발명의 실시예가 오디오 트랙의 유사성을 사용하여 시간 정렬된 비디오 클립의 세트로부터 새로운 비디오 제품을 생성하기 위한 방법의 단계를 요약한 플로우 차트이다.

첫번째 단계(102)에서, 실질적으로 유사하거나 오버랩핑한 오디오 트랙을 가지는 비디오 클립의 세트가 획득된다. 두번째 단계(104)에서, 이들 비디오 클립은 그들의 오디오 트랙의 유사성을 사용하여 시간 정렬된다. 세번째 단계(106)에서, 세그먼트는 입력 비디오 클립의 적어도 2로부터 선택된다. 마지막 단계(108)에서, 출력 비디오는 공통 오디오 트랙에 상대적으로 비디오 세그먼트의 동기화를 보존하면서 비디오 세그먼트를 연결시킴에 의해 생성된다.

오디오 트랙에 기반하여 비디오 트랙을 정렬하는 세가지 일반 케이스가 있고, 이들은 도 2, 도 3, 및 도 4에서 제작 다이어그램에 도시된다.

독립형 참조 오디오 트랙

도 2는 어떤 비디오 클립과 연관되지 않은 독립형 참조 오디오 트랙 "오디오" (201라벨)가 있는 케이스를 도시한 제작 다이어그램이다. 예를 들어, 참조 오디오 트랙(201)은 CD 또는 mp3로부터 가져온 노래의 녹음일 수 있다. 대신에, 멀티-카메라 라이브 이벤트 시나리오에서, 참조 오디오는 이벤트동안 독립적으로 어떤 카메라로부터, 독립형 오디오 녹음 장치와 마이크로폰을 사용하거나 아마도 믹서 또는 PA(public address) 시스템으로부터 스테레오 믹스를 통해 녹음될 수 있다.

비디오 클립(“Vid1”, “Vid2”, “Vid3”, “Vid4”, Vid5”, “Vid6”) 자체 각각은 자신의 오디오 트랙을 가진다. 일부는 아래에 기술된 잘 알려진 오디오 신호 처리 방법을 사용하여, 비디오 클립은 참조 오디오 트랙(201)으로 시간 정렬된다.

비디오 파일은 Vid1(202 라벨)처럼 참조 오디오 트랙의 전체 구간에 걸쳐 있거나 Vid5(204 라벨)처럼 오직 참조 오디오 트랙의 일부 구간만 커버할 수 있다.

아래 상세하게 기술될 방법을 사용하여 세그먼트는 집단으로 여러 개 비디오 트랙으로부터 선택되고, 세그먼트는 참조 오디오 트랙의 전체 구간에 걸쳐 있다. 비디오 클립(204)의 음영 지역(203)은 출력 제품(205)에 포함함을 위해 선택된 하나의 세그먼트이다.

최종 제품(205)의 시각적 부분은 집단으로 여러 개 비디오 트랙으로부터 선택된 세그먼트(“segA”, “segB”, “segC”, “segD”, “segE”, “segF”, “segG”)로 구성되고, 세그먼트는 참조 오디오 트랙의 전체 구간에 걸쳐 있다. 최종 제품(205)의 오디오 부분은 참조 오디오 트랙(201)의 사본(208)이다.

최종 제품(205)의 시각적 부분에서, 한 세그먼트로부터 다음으로의 전환이 순간 컷(206)일 수 있거나 이것은 기간(Tx1)동안 영이 아닌 길이의 해산(207)의 전환일 수 있거나 와이프(wipe), 기술에서 당업자에게 잘 알려진 전환의 어떤 형태일 수 있다. 기간(Tx1)에서 최종 제품(205)의 비디오 트랙은 segC와 segD의 엘리먼트를 포함하고, 기간(Tx2)에서 segE와 segF의 엘리먼트를 포함한다.

이 제작 다이어그램은 특히 립-싱크 시나리오에 잘 적용되고, 립-싱크 시나리오에서 여러 사람은 자신의 댄싱, 립 싱크, 또는 미리 녹음된 노래가 스테레오로 재생함과 함께 연주됨의 비디오 녹화를 만든다. 물론 비디오 녹화의 오디오 트랙은 노래 부분이 그 테이크 동안 스테레오로 재생함을 포함한다.

하나의 비디오 클립으로부터 참조 오디오

도 3은 비디오 클립 중 하나의 오디오 트랙이 참조로 사용되어 여러 개 비디오 클립의 정렬을 보여주는 제작 다이어그램이다. 도 3은 도 2와 매우 유사하다, 참조 오디오 트랙의 원본에서 주요 차이점은 다음과 같다: 도 2에서 참조 오디오 트랙은 별도 오디오 트랙이고, 반면 도 3에서 참조 오디오 트랙은 오디오 파트(301)와 비디오 파트(302)로 구성된 입력 비디오 파일의 하나로부터 가져온다.

이 제작 다이어그램은 멀티-카메라 라이브 이벤트 시나리오에 특히 잘 적용되고, 시나리오에서 여러 비디오 카메라가 동시에 라이브 공연을 녹화한다. 참조 오디오 트랙은 공연의 비디오 카메라 녹화의 하나의 오디오 트랙으로부터 가져올 수 있다.

도 3의 특별한 경우 참조 오디오 트랙으로 사용되는 오디오 트랙을 가진 비디오는 기존 뮤직 비디오이다. 이러한 경우, 도 3에서 제작 다이어그램에서 출력 제품은 기존 뮤직 비디오로 인터컷되어 최종 사용자에 의해 촬영된 비디오 클립에서 하나로 생각될 수 있다.

전체 구간에 걸치지 않은 참조 오디오 트랙

도 4는 결과 제품의 전체 기간을 커버하는 단일 비디오 또는 오디오 트랙이 없는 경우에 이들 오디오 트랙에 기반하는 여러 개 비디오 클립의 정렬을 도시하는 제작 다이어그램이다.

이러한 경우는 전체 이벤트에 카메라 캡처가 없고 라이브 이벤트에 여러 개 카메라 캡처 일부분이 있을 때 적용할 수 있다. 이 경우에 작동하는 방법에 대한 주요 요구 사항은 전체 클립이 이벤트의 전체 구간을 커버하고, 각 클립이 적어도 하나의 다른 클립과 중복하는 것이다. 한 예로는 도 8에 참조로 상세하게 기술될 퍼레이드의 여러 개 카메라 촬영 비디오이다.

입력 비디오 클립 Vid1, Vid2, Vid3 (401, 402, 403 라벨)은 총칭하여 최종 제품의 전체 구간을 커버한다. 연속 비디오 클립의 쌍은 대체로(예: 클립 401, 402) 또는 전용 비트(예: 클립 402, 403)로 오버랩할 수 있다.

최종 제품의 시각적 부분(404)은 여러 개 비디오 클립으로부터 세그먼트를 선택하여 생성된다. 출력 제품의 약간의 시간 범위 동안, 세그먼트는 하나 이상의 클립으로부터 가져올 수 있다. 예를 들어, 도 4에 도시된 제품의 제1 부분의 대부분에 대해, 세그먼트는 두 비디오 클립(401, 402) 중 하나롭터 선택될 수 있다. 그러나 제품의 후 부분에 대해, 출력 세그먼트는 그 시간 범위에서 사용할 수 있는 유일한 클립에서, 하나의 특정한 클립(403)으로부터 가져와야 한다.

이 경우, 출력 제품의 전체 구간에 걸쳐 있는 단일 오디오 트랙은 없고, 그래서 출력 제품의 오디오 부분(405)은 클립으로부터 오디오 트랙의 세그먼트를 합쳐서 생성된다. 이는 아래 기술되는 기술을 사용하여 완성된다. 상황과 원하는 효과에 따라, 그것은 하나의 오디오 세그먼트로부터 다음까지(예를 들어 406, 407로 각각 표시되는 Tx1과 Tx2에서) 크로스페이드에 바람직하고, 다르게 그것은 단순히 커트(408)에 바람직할 수 있다.

하나의 가능한 접근은 만약 영상에 커트가 있다면 오디오 트랙에서 커트를 사용하는 것이고, 만약 디졸브나 영상에서 다른 0이 아닌 길이 전환이 있다면 오디오 크로스페이드를 사용하는 것이다. 그러나 이것은 오직 하나의 가능성이고, 사실 오디오 트랙에서 커팅 및/또는 크로스페이드는 본질적으로 영상 편집에 독립할 수 있다.

도 2, 도 3, 및 도 4에 도시된 일반적인 세 가지 경우에 대해, 출력 제품은 비디오 트랙과 오디오 트랙을 포함하는 단일 비디오 파일로 저장될 수 있다. 예를 들어 이것은 도 4에 도시되고, 출력 제품의 영상 부분(404)과 오디오 부분(405)은 단일 파일(410)을 생성하기 위해 결합된다. 저장된 비디오 파일은 수많은 점점 다양한 종류의 비디오 파일, 예를 들어 (그러나 이에 국한되지 않음) MPEG-1, MPEG-2, MOV, AVI, ASF, 또는 MPEG-4 중 어느 하나일 수 있다.

도 2, 도 3, 및 도 4에 도시된 위의 일반적인 세 가지 경우에서, 모든 입력 비디오 자료는 일반적인 오디오 소스와 함께 고유의 동기를 가진다. 물론 그것은 출력 제품에서 스틸 이미지, 추상 합성 비디오, 또는 일반 오디오 소스와 함께 시간에서 촬영되지 않은 비디오와 같이 동기화되지 않은 추가 또는 대체 자료를 포함하는 것이 가능하다. 예를 들어, 팝 뮤직 비디오는 노래를 부르는(또는 부르는 척하는) 밴드 멤버를 보여 주지만, 또한 뮤직에 안무 없는 그들의 행위에 스토리라인에서 행동하는 밴드 멤버를 보여줄 수 있다.

멀티-테이크 시나리오

도 5는 어떻게 싱글 비디오 파일에 녹화된 여러 개 테이크가 여러 개 클립으로 분할되고, 오디오 트랙에 기반하여 시간 정렬되고, 출력 제품을 생성하기 위해 인터컷됨을 보이는 제작 다이어그램이다.

입력 비디오 파일(501)은 여러 장면을 포함하고, 각 장면은 단일 공연 또는 작품의 "테이크"에 해당한다. 만약 비디오 녹화가 기존 테이프 기반 DV 캠코더를 사용하여 만들어진 경우, 각 테이크는 사용자가 캠코더의 녹화 버튼을 누를 때 시작하고 일시 정지 또는 정지 버튼을 누를 때 정지한다. 비디오가 PC로 전송("캡처")될 때, 각각의 테이크는 별도의 파일로 캡처될 수 있다. 이 경우에 장면 경계는 많은 문헌에 기술된, 샷 경계 검출 기법을 사용하여 자동으로 검출될 수 있다.

입력 비디오의 일부는 비디오 트랙(503)과 오디오 트랙(504)으로 구성된, 출력 제품(502)을 생성하기 위해 결합된다. 우리는 지금 어떻게 오디오 트랙(504)이 생성되는지를 설명한다.

멀티-테이크 시나리오에서, 테이크는 반드시 참조 오디오 트랙에 맞춰 엄격하게 수행되지 않는다. 예를 들어, 클래식 피아노 경연 대회에서 모든 연주자가 동일한 종류의 뮤직(모차르트 피아노 소나타 등)을 연주한다고 가정하자. 공연자가 모두 같은 선생에게서 지도받고, 동일한 음반에 의해 영감되어 있을지라도, 각각의 공연은 약간 다른 타이밍을 가진다.

그럼에도 불구하고, 비디오의 오디오 트랙을 기반으로, 그것은 참조 오디오 트랙(504), 즉 단일 종류의 녹음에 각각의 경쟁자 공연의 비디오를 정렬하는 것이 가능하다. 참조 오디오 트랙(504)은 테이크 중 하나, 또는 또다른 모두의 음반, 예를 들어 동일한 모차르트 피아노 소나타를 연주하는 유명한 거장의 CD 음반으로부터 오디오 트랙일 수 있다. 예를 들어, 이는 참조 오디오 트랙에 개별 테이크의 오디오 트랙의 스펙트럼(혹은 더 엄밀히 말하면, 단기 시간 푸리에 변환 크기(Short-Time Fourier Transform Magnitude, STFTM)에 각각 최적의 정렬을 찾기 위해 동적 타임 뒤틀림(Dynamic Time-Warping, DTW) 알고리즘을 적용하여 수행될 수 있다.

시간 정렬과 시간-변화 뒤틀림 변수가 알려지면, 다양한 테이크로부터 비디오 세그먼트를 포함하는 출력 제품이 비디오를 동적으로 참조 오디오 트랙에 적절한 싱크를 유지함을 위해 필요한 것처럼 속도를 올리거나 낮춤에 따라, 만들어질 수 있다. 출력 제품의 각각의 세그먼트(segA, segB, segC, segD, segE)는 오디오 트랙(504)에 시간 정렬된다. 예를 들어, 세그먼트(505)는 오디오 트랙(504)에서 오디오는 입력 비디오 파일(501)에서 소스 위치에서 오디오에 가장 유사한, 하나의 지점에 시간 정렬된다. 세그먼트는 단순히 합쳐지거나(예: segB와 segC), 그들 사이에, 예를 들어 기간(Tx1와 Tx2) 동안 혼합되는, 전환될 수 있다.

시간-뒤틀림의 또다른 응용 프로그램은 밴드가 뮤직 비디오를 생성하고, 비디오가 라이브 공연으로부터 클립을 포함하는 경우이다. 일반적으로 뮤직 비디오에서, 노래의 스튜디오 녹음은 최상의 음질을 제공함에 따라, 사운드 트랙으로 사용된다. 노래의 라이브 공연은 필연적으로 서로 스튜디오 녹음과는 약간 다른 타이밍을 가진다. 그럼에도 불구하고, 위에서 언급한 동적 시간 뒤틀림 방법을 사용하여, 스튜디오 녹음과 라이브 공연의 시간 정렬 비디오가 가능할 수 있다. 또한, 입력 비디오 자료는 그들의 스튜디오 녹음;(립-싱크 클립, 시간-뒤틀림이 필요하지 않은)에 밴드 립-싱크한 클립을 포함한다. 또한, 입력 비디오는 녹화 과정 동안 스튜디오에서 뮤지션의 비디오를 포함할 수 있다.

비-뮤지컬 경우

"공연"은 반드시 뮤직의 한 부분이 될 필요가 없다는 것에 주지하자. 그것은 오디오가 여러 개 공연의 정렬이 가능하게 충분히 유사한 타이밍을 가지고 생성되는 어떤 형태의 공연일 수 있다. 예는 개인 또는 기도(주님의 기도 등)하는 사람의 그룹 또는 서약인(충성의 미국 서약 등)을 포함한다. 이들 경우에, 여러 공연에 걸쳐 사용되는 단어는 동일하게(단어는 본질적으로 일련의 스크립트를 따름) 될 가능성이 있고, 타이밍은 공평하게 유사할 가능성(단어는 일반적으로 그룹에서 배우고 암송되고, 사회적 압력은 일반 타이밍에 도달할 가능성이 높음)이 있다. 이러한 경우에, 동적 시간-뒤틀림을 사용하여, 비디오 클립은 스크립트 기도 또는 서약의 단일 녹음을 포함하는 참조 오디오 트랙으로 시간 정렬될 수 있다.

멀티-카메라 라이브 이벤트 시나리오

도 6은 도 2, 또는 도 3에 따라 제작에 알맞은 입력 자료를 생성할 수 있는 라이브 시나리오의 계획 도면이다. 이 시나리오에서, 여러 멤버(606, 607, 608)를 가진 밴드는 스테이지(610) 위에서 공연한다. 공연은 다양한 각도로 촬영하는 여러 비디오 카메라(601, 602, 603, 609)에 의해 녹화된다.

카메라는 일반적으로 공연의 가장 흥미로운 측면, 예를 들어 각각의 밴드 멤버의 클로즈-업, 전체 밴드의 와이드 장면, 그리고 스테이지로부터 떨어져 가리키는 하나 이상의 카메라, 관객의 반응을 캡처하기 위해, 을 캡처하기 위해 위치된다. 카메라는 스테이지 위에 또는 떨어져 있거나, 고정되어(예: 삼각대 마운트) 있거나 핸드헬드(handheld)일 수 있다.

카메라는 서로 연결되어 있지 않고, 어떤 공통 타이밍 참조로 연결되어 있지 않다. 카메라는 다른 시간에 시작되고 정지될 수 있다. 그것은 모든 카메라가, 심지어는 어떤 카메라가 단일 샷(shot)에 전체 공연을 캡처할 필요는 없다.

대부분의 비디오 카메라는 마이크(내장 또는 첨부)를 장착하고 있고, 각각의 비디오 카메라는 단지 영상을 캡처할 뿐만 아니라 공연에서 사운드를 캡처한다. 각각의 카메라가 다른 위치에 있기 때문에 다소 다른 사운드를 캡처한다.-예를 들어, 스테이지로부터 멀리 떨어진 카메라는 보다 더 청중 소음을 캡처할 수 있고 스테이지에 가까운 위치에 놓인 다른 카메라보다 객실 반향을 보다 더 캡처할 수 있다.

공연의 "마스터" 오디오 녹음은 마이크(604)와 오디오 레코더(605)와 같은 전용 오디오 녹음 수단을 사용하여 캡처될 수 있다. 이러한 레코더로 캡처한 녹음은 앞서 언급한 비디오 카메라로 촬영한 비디오/오디오에 동기화를 위한 "마스터" 오디오 트랙 역할을 한다.

이는 마스터 오디오 트랙을 캡처할 수 있는 많은 방법 중 하나이다. 많은 라이브 공연에서, 공연자의 악기와 목소리는 여러 개의 마이크에 의해 캡처되고, 신호는 믹싱 데스크로 결합되고, 증폭되고, 스피커를 통해 관객에게 연주된다. (전기 또는 전자 악기의 경우, 예를 들어 전자 키보드, 악기도 믹싱 데스크에 직접 연결될 수 있다.) 이러한 경우, 마스터 오디오 트랙은 믹싱 데스크로부터 녹음될 수 있다.

마스터 오디오 트랙은 일반적으로 스테레오(2채널)일 수 있고, 일부 응용 프로그램을 통해 더 적거(1채널 모노)나 그 이상(멀티 트랙 오디오 캡처)일 수 있다.

저예산 상황에서, 마스터 오디오 트랙은 단순히 단일 샷에서 전체 공연을 캡처한 카메라로 제공되는 비디오 카메라 중 하나로부터의 오디오 트랙일 수 있다. 이러한 경우에는 별도의 마이크(604)와 오디오 레코더(605)가 필요하지 않다. 이 경우 도 3에 참고로 위에서 설명한 시나리오에 해당한다.

공연 후, 여러 개의 카메라로부터의 비디오 녹화에 더해 마스터 오디오 트랙이 컴퓨터로 전송된다. 다양한 비디오 녹화는 마스터 오디오 트랙으로 정렬되고 도 2에서의 제작 다이어그램에 따라 서로 인터컷된다.

밴드의 라이브 공연은 여러 개의 비디오 클립이 오디오 트랙에 기반하여 시간 정렬될 수 있는 것에 대한 라이브 이벤트의 단지 한 예이다. 다른 예는 뮤지컬 공연의 다른 종류를 포함한다; 파티/열변(raves), 비디오는 사람의 춤을 보여줄 수 있음; 연설이나 강의; 및 연극 공연.

하나의 파일에 여러 개의 테이크를 가진 여러 개의 카메라

위의 아이디어에 하나의 유용한 확장은 여러 개의 카메라를 가지는 것이고, 각각은 여러 개의 테이크를 캡처한다. 스튜디오에서 이전에 녹음된 노래에 대해 뮤직 비디오를 만드는 밴드를 고려하자. 라이브 공연 시나리오에서처럼, 여러 개의 카메라가 다양한 각도에서 밴드 멤버가 노래를 연주하고/노래함을 캡처하는 것은 바람직하다. 밴드는 여러 개의 테이크를 행할 수 있고, 각각의 테이크는 노래의 모두 또는 일부분을 커버한다. 각각의 테이크에 대해, 카메라는 다른 위치로 움직이게 될 수 있다; 예를 들어, 기타 솔로가 있다면, 여러 개의 테이크 동안 모든 가능한 카메라가 리드 기타리스트의 동작만을 캡처하는 것이 바람직할 수 있다.

각각의 카메라로부터 비디오가 PC에 "캡처"될 때, 그것은 개별 파일의 집합으로 캡처되거나 여러 장면을 포함하는 단일 파일로 캡처될 수 있다. 여러 캠코더가 사용된다면, 확실히 여러 개의 파일이 있을 것이고, 각각의 파일은 여러 개의 장면을 포함할 것이다. 위에서 기술한 방법으로 사소한 확장을 사용하여, 각각의 비디오 파일은 장면 경계 검출 기법을 사용하여 여러 개의 장면으로 나뉠 수 있고, 각각의 장면은 참조 오디오 트랙에 시간 정렬될 수 있고, 출력 제품을 생성하기 위해 결합될 수 있다.

오디오를 사용하여 테이크의 검출

각각의 테이크에 대해 비디오 카메라(또는 여러 개의 비디오 카메라)를 정지하고 시작하는 것은 불편할 수 있다. 일반적으로 카메라가 연속적으로 실행하도록 남겨 두는 것은 더 편리하고, 공연자가 립-싱크하고, 댄싱하는 등에 참조 오디오 트랙의 오직 시작/정지 녹음 재생이 편리할 수 있다. 이러한 경우에, 비디오 파일의 오디오 트랙을 사용하여 테이크를 감지하고 구분하는 것이 여전히 가능하다.

대부분의 뮤지컬 공연에 적용할 하나의 간단한 방법은 긴 시간 동안 오디오 레벨이 이례적으로 낮은 오디오 트랙에서 섹션을 감지하는 것이다. 뮤직 자체가 일반적으로 매우 긴 조용한 섹션을 포함하지 않는다고 가정할 때, 오디오 레벨이 이례적으로 낮은 이들 시간은 연속하는 테이크 사이에 공백으로 해석될 수 있다.

립-싱크 시나리오

도 7은 여러 사람이, 가능한 다른 위치와 다른 시간에서 서로 완전히 모르는, 그들 스스로 기존 녹음된 오디오 트랙에 동기를 실행하여 비디오 클립을 생성하는 립-싱크 시나리오의 개략도이다. 기존 녹음된 오디오 트랙은 가장 일반적으로 뮤직일 수 있고, 예를 들어 상업적으로 녹음된 팝송, 반면 예를 들어 필름 또는 희극 촌극에서 대화인 가능하게 뮤직이 아닐 수 있다.

몇 가지 가능한 녹음 시나리오가 기술된다. 첫번째 위치(701)에서, 사람(711)은 기존 녹음된 오디오 트랙(예를 들어 CD 또는 MP3플레이어)을 재생하기 위해 홈 스테레오 시스템(721)을 사용함이 도시된다. 참조 트랙에 맞춰 사람 립-싱크 및/또는 댄스. 비디오 카메라(731)는 사용자의 마임 또는 립-싱크 공연을 캡처한다; 마이크를 통해, 또한 비디오 카메라는 오디오 시스템(721)을 통해 재생되는 기존 녹음된 오디오 트랙을 캡처한다.

다른 위치(702, 703)에서 시나리오는 유사하고, 유일한 차이점은 사용되는 오디오 재생 시스템의 종류이다. 위치(702)에서, 사람(712)은 참조 오디오 트랙을 재생하기 위해 휴대용 스테레오 오디오 시스템(722)을 사용하고 있다. 사용자의 공연과 기존 녹음된 오디오는 비디오 카메라(732)를 통해 캡처된다. 위치(703)에서, 사람(713)은 기존 녹음된 오디오를 재생하기 위해 1채널(monophonic) 오디오 시스템을 사용하고 있다. 사용자의 공연과 기존 녹음된 오디오는 비디오 카메라(733)를 통해 캡처된다.

사용자에 의한 공연은 실질적으로 일반 오디오 트랙에 기반하여 동기화된 여러 공연이 위치하는 중앙 위치(714)에 전달되고(751, 752, 753), 하나의 일관된 제품을 형성하기 위해 편집된다. 각각의 사용자에 의해 사용되는 오디오 플레이어와 캠코더의 종류(모노, 스테레오, 서라운드 사운드, CD 또는 MP3 플레이어 등에서)에 상세하게 관계 없음에 주시하고, 캠코더에 의해 녹음된 오디오는, 위에서 기술된 잘 알려진 오디오 교차 상관 기법은 오디오 사이에 필요한 동기화를 쉽게 설정할 수 있다는 점에서, 상당히 유사하다.

각각의 사용자 위치로부터 중앙 위치까지의 전송은 일반적으로 다른 시간에 일어날 것이다. 다양한 전송 방법은, 우편으로 비디오 테이프를 보내는 것부터 예를 들어 인터넷의 컴퓨터 네트워크를 통해 비디오 파일을 보내는 것까지, 가능하다.

오직 도식화에 대해, 도 7은 여러 위치에서 여러 사용자, 각각의 사용자가 하나의 카메라로 공연을 캡처함을 보여준다. 많은 사용자, 위치, 및 카메라의 다른 많은 변종이 가능하다. 사용자는 여러 테이크에서 여러 비디오를 생성할 수 있고, 각각은 전체 또는 노래의 일부분을 커버할 수 있다. 각각의 테이크는 하나 이상의 카메라에 의해 캡처될 수 있다. 제품을 생성하기 위해 사용되는 모든 비디오 자료는 단일 사용자로부터 얻을 수 있다. 모든 비디오는 단일 위치에서 장면일 수 있다. 각각의 비디오는 단일 사용자와는 반대로 둘 이상의 사람에 의한 공연으로 구성할 수 있다.

노래에 대한 기존의 뮤직 비디오가 있다면, 그것은 또 다른 입력 비디오로 사용될 수 있다. 노래에 사람의 댄싱, 마임, 립-싱크의 비디오 클립은 오디오 트랙에 기반하여 노래에 동기화될 수 있고, 그 다음 출력 제품을 생성하기 위해 기존 뮤직 비디오로 인터컷될 수 있다. 이러한 제품의 많은 측면은-세그먼트 구간, 전환, 및 효과- GB2440181와 GB2380599에 기술된 방법을 사용하여 선택될 수 있다, 본 발명에서 중요한 특징으로, 참조 오디오로 동기하여 촬영된 사용자가 제공한 비디오는 출력 제품에 적절하게 동기화된 것이다.

장비가 적절한 연결을 가지면, 비디오 카메라는 마이크 대신 직접적으로 미리 녹음된 오디오 트랙을 캡처할 수 있다. 예를 들어, 위치(701)에서, 스테레오 시스템(721)이 "라인 아웃" 연결을 가지면, "라인 아웃" 단자는 비디오 카메라에 "라인 인" 커넥터에 알맞은 케이블을 통해 연결될 수 있다. 이렇게 하는 장점은 비디오 클립의 오디오 트랙은 다소 관련 없는 잡음을 가지고, 따라서 참조 미리 녹음된 오디오 트랙에 더 유사하고 더 쉽게 동기화할 수 있다. 비디오 카메라가 (적어도) 스테레오 오디오 입력을 가진다고 가정하면, 미리 녹음된 오디오 트랙은 선택적으로 비디오 카메라의 오디오 입력(예. 스테레오 경우에 왼쪽 입력)의 하나 이상의 채널에 공급될 수 있고, 실제로 사용자 노래와 같은 라이브 오디오는 하나 이상의 다른 채널(예. 오른쪽 채널)에 공급될 수 있다. 스테레오 예에서, 왼쪽 채널은 참조 트랙으로 동기화를 위해 사용된다.

부분 오버랩 시나리오

도 8은 여러 사람이 서로 다른 위치로부터 라이브 이벤트의 비디오 녹화를 만드는 거리 퍼레이드 시나리오의 개략도이다.

이 시나리오에서, 거리(821)를 따라 다양한 위치에서 카메라(801, 802, 803, 804, 805)를 들고 있는 여러 사람은 각각, 플롯(floats)(811, 812, 813, 814, 815)으로 거리 퍼레이드 경우에서, 모든 또는 이벤트의 일부분을 녹화한다.

전형적인 퍼레이드에서, 수레(floats)에서 요동치는 뮤직, 궁중 소음과 같은 다른 많은 갖가지 소리가 있다. 이벤트를 녹화하는 사람은 소리 소스와 비디오 카메라가 지시하는 방향에 상대적인 위치에 의존하는 약간 다른 전반적인 소리 "믹스(mixes)"를 캡처한다.

이벤트의 녹화는 반드시 이벤트의 전체 구간을 커버하지 못하고, 따라서 비디오 녹화의 어떤 하나의 오디오 구성 요소가 모든 다른 것이 정렬될 수 있는 마스터 또는 참조 트랙으로 제공하는 것은 불가능하다. 그럼에도 불구하고, 몇 가지 조건이 만족되게 제공되는 모든 녹화를 정렬하는 것이 가능하다. 첫째, 집합적으로 모든 카메라로부터 녹화는 전체 이벤트의 구간을 커버해야 한다(또는 적어도 이벤트의 부분이 마지막 비디오 제품에 의해 커버될 수 있음); 둘째, 카메라로부터 오디오 녹음의 부분 정렬을 수행하기 위해 서로 인접한 카메라 사이에(충분히 유사한 오디오 트랙을 가짐) 충분히 임시적 오버랩이 있어야 한다.

도 8에 도시된 경우에 대해, 예를 들어, 카메라(801, 802)가 캡처한 오디오가 두 카메라로부터 임시적인 오버랩 클립의 임시 정렬을 허용할 수 있게 충분히 가깝다고 가정하자. 카메라(801, 803)가 캡처한 오디오가 오디오 트랙에 기반하여 안정적인 정렬을 허용하기 위해 다른 것을 멀리 충분히 떨어져 있다고 가정하자. 카메라(801, 803)에 의해 캡처된 클립의 정렬은 이 경우 카메라(802)에서 두 카메라에 충분히 가까운 세번째 카메라로 캡처된 클립에 두 카메라로의 클립을 정렬함에 의해 여전히 가능하다.

첫째, 카메라 801과 802로부터의 클립은 후에 기술될 방법을 사용하여 정렬된다(예를 들어 음 크기의 교차 상관 또는 오디오 신호로부터 추출된 다른 특징). 다음, 카메라 802와 803로부터의 클립은 오디오 트랙에 기반하여 시간 정렬된다. 이제 카메라(803)로부터의 클립은 카메라(802)로부터의 클립에 정렬되고, 또한 카메라(801)로부터의 클립은 카메라(802)로부터의 클립에 정렬되고, 그것은 카메라(803)로부터의 클립에 상대적인 카메라(801)로부터의 클립의 정렬을 계산하는 간단한 문제이다.

더 일반적으로, 이벤트의 전체 구간을 총체적으로 커버하는 N 클립의 세트가 주어지지만, 상대적인 시간 정렬은 초기에 알려져 있지 않고, 상대적인 정렬은 다음과 같이 결정된다. 첫째, 우리는 모든 N x (N-1) 클립의 가능한 쌍에 대해 오디오 트랙의 특징의 교차 상관을 계산한다. 교차 상관에서 가장 높은 피크를 가지는 쌍에 대해, 우리는, 오버랩한 시간 범위에서 두 오디오 트랙 사이에 크로스-페이딩, 쌍에서 두 클립의 오디오 트랙을 결합함에 의해 새로운 오디오 트랙을 생성한다. 지금 두 클립의 상대적인 정렬이 성립됨과 함께, 지금 실제로 N-1 클립의 상대적인 정렬이 결정될 필요가 있다. 그런 다음에 우리는 (N-1) x (N-2) 클립이 최대 교차 상관 피크를 가지는 새로운 클립 쌍을 산출하는 위 과정을 반복하고, 새로운 쌍에 대해 또다른 새로운 오디오 트랙을 생성한다. 따라서 각각의 반복으로, 오디오 클립의 쌍 수는 1로 줄어들고, N-1 반복 후, 우리는 이벤트의 전체 구간을 커버하는 하나의 오디오 트랙을 가진다.

N 클립이 M 카메라를 사용한 장면이고, M이 N보다 작다면, 다른 카메라로부터 클립의 상대적인 정렬이 알려져 있지 않더라도, 같은 카메라로부터 촬영된 모든 여러 개의 클립의 상대적인 정렬에 제한이 있다. 예를 들어, 대부분의 카메라는 시계를 가지고, 시계가 설정되어 있지 않더라도, 어떤 단일 카메라로부터 클립 상에 타임 스탬프에서 차이는 여전히 유효할 것이다. 따라서 타임 스탬프는 우리가 단일 카메라 상에 모든 클립의 상대적인 정렬을 결정하는 것을 허용한다. 전혀 타임 스탬프가 없을지라도, 주어진 카메라로부터 클립의 순서는 일반적으로 알려진 것이다. 예를 들어, DV 카메라가 사용된다면, 클립이 테이프에 기록된 순서는 일반적으로 실제 생황에서 일어나는 클립에 나타난 이벤트에서 순서에 해당한다(누군가가 클립을 녹화하기 전에 테이프를 되감는 경우를 제외하고).

오디오 트랙을 정렬

도 9는 참조 오디오 트랙의 음 크기 포락선(envelope)과 비디오 클립의 오디오 트랙간의 교차 상관을 사용하여 참조 오디오 트랙-"공통 오디오" 트랙-으로 비디오 클립을 정렬하는 단계를 요약한 흐름도이다.

첫번째 단계 901에서, 지정된 공통 오디오 트랙의 진폭 포락선이 추출된다. 일반적으로 진폭 포락선은 처음 각각의 샘플의 절대값을 가지고, 그 결과를 로우-패스-필터링하고, 그 다음 다운-샘플링하여 계산된다. 포락선의 샘플링 레이트, 포스트-다운-샘플링, 매우 높을 필요는 없다- 단지 다음 정렬 단계에서 적당한 시간 해상도를 허용하는데 충분히 높으면 된다. 일반적으로 비디오 프레임 레이트가 25-30 프레임/s로 주어지면, 10 ms의 해상도에 시간 정렬이 충분하고, 따라서 100 Hz의 포락선 샘플 레이트는 충분하다.

단계 902에서, 비디오 클립의 오디오 트랙의 진폭 포락선은 공통 오디오 트랙에 대해 위에서 기술된 같은 방법을 사용하여 계산된다.

단계 903에서, 우리는 공통 오디오 트랙의 진폭 포락선과 비디오 클립의 오디오 트랙의 포락선 간에 교차 상관 관계를 계산한다.

단계 904에서, 우리는 교차 상관 함수에서 피크가 위치함에 의해 두 트랙의 상대적인 시간 오프셋을 계산한다. 두 벡터의 교차 상관은 시프트 또는 "지연(lag)"의 함수로 두 벡터의 수학적 "근사함(closeness)"의 표시를 주는 값을 갖는 또 다른 벡터를 산출한다. 교차 상관 함수의 피크는 최상의 정렬에 해당한다.

단계 905에서, 우리는 단계 904에서 계산된 오프셋을 사용하여 오디오 트랙에 대해 비디오 트랙을 정렬한다.

정렬을 위한 다른 방법

위 단계는 오디오 트랙을 시간 정렬하는데 존재하는 다양한 방법 중 단지 하나를 말한다. 기술의 변종은 가능하고 아마도 우수하다. 모두 본질적으로 트랙의 오디오 샘플로부터 도출되는 하나 이상의 특징을 계산함과 트랙의 특징 사이에 상관이 최대화되는 것과 같은 상대적인 정렬 또는 시프트를 결정함을 포함한다(또는 다른 방법으로, 트랙의 특징 사이에 차이가 최소화됨).

진폭 포락선은 정렬을 위해 사용될 수 있는 많은 가능한 특징 중의 단지 하나이다. 다른 것은 전력 포락선; 캡스트럼(cepstrum); 스펙트럼 또는 STFTM(Short-Time Fourier Transform Magnitude); 또는 여러 대역 통과 필터의 출력을 포함한다.

각각은 오디오 자료의 특정 유형에 대해 장점을 가질 수 있다. 예를 들어, 캡스트럼은 종종 음성 신호의 분석에 사용되고, 음성 신호의 가장 현저한 특징인 컴팩트한 형태를 캡처하고, 특히 음소 구별에 관련된 특징을 캡처한다. 연설에 여러 개의 녹음을 정렬함에 대해, 캡스트럼은 탁월한 선택이고, 진폭 포락선 보다 훨씬 더 신뢰도 있는 시간 정렬을 줄 것이다.

정렬에 대한 추가 힌트

본 발명은 주로 오디오 트랙의 컨텐츠에 기반한 비디오 파일을 정렬하는데 관련이 있지만, 정렬에 대해 힌트로서 제공할 수 있는 추가 정보가 있을 수 있다.

비디오를 녹화할 수 있는 장치는 시계를 내장하고, 장치가 생성하는 비디오 파일은 절대 타임 스탬프를 포함한다. 단일 이벤트로부터 여러 개의 비디오가 정렬되는 경우, 타임 스탬프는 비디오의 상대적인 시간 정렬에 첫번째 추측을 계산하는데 사용될 수 있다. 장치 상의 시계는 정확하지 않고 사용자에 의해 정확하게 설정되지 않을 수 있기 때문에(또는 최악의 경우 설정되지 않음), 타임 스탬프에 기반한 정렬은 일반적으로 대략적이다. 타임 스탬프에 기반한 초기 정렬이 수행된 후, 오디오 트랙의 분석에 기반한 특징의 교차 상관이 보다 더 정확한 정렬을 제공하는데 사용될 수 있다.

일부 라이브 녹화 상황에서, 특정 비디오 카메라는 훨씬 더 멀리 떨어진 피사체와 다른 것보다 공통 오디오의 소스에 위치될 수 있다. 정렬이 오직 오디오에 기반하여 행해진다면 이는 시각적인 시간 정렬에서 다소 부정확할 수 있다. 하나의 비디오 카메라가 피사체로부터 5미터 떨어져 있고, 또다른 비디오 카메라는 20미터 떨어져 있다고 가정하자. 소리는 대략 350 m/s로 전파되고, 따라서 두 개의 카메라가 카메라에 장착된 마이크를 사용하여 피사체로부터 오디오를 캡처한다면, 보다 가까운 위치에 있는 카메라가 보다 멀리 떨어진 카메라보다 약 43ms더 빠르게 소리를 녹음할 것이다. 빛은 - 우리의 목적을 위해, 효과적으로 즉시 소리에 비교하여, 훨씬 빠르게(~ 10억km/h) 진행한다. 그래서 두 개의 카메라로부터의 비디오가 소리에 기반하여 동기화되면, 비디오 컨텐츠는, 일반적인 프레임 레이트에 하나의 프레임 구간 보다 더, 43 ms에 의해 동기가 벗어날 것이다. 이것을 지시하기 위해, 오디오 트랙에 기반한 비디오 동기화 후, 하나는 비디오의 분석을 통해 얻어지는 특징에 기반한 정렬로 보다 더 자동적인 작은(몇 프레임의 순서로) 조정을 행할 수 있다. 예를 들어, 비디오가 락 콘서트에서 장면이면, 불꽃 놀이 또는 여러 개의 카메라로 촬영된 비디오에서 쉽게 보일 수 있는 밝기에서 갑작스런 변화가 있을 것이다. 대신에, 인터페이스는 여기서 기술된 자동 동기화가 적용된 후 각각의 카메라에 대해 타이밍을 수동으로 미세 조정하도록 사용자에게 제공될 수 있다.

주어진 적어도 두 클립을 제작하는 방법

도 10은 주어진 적어도 두 개의 시간 정렬된 비디오 클립으로 출력 제품을 제작하기 위한 방법에 대한 흐름도이다. 그것은 도 1에서 단계 106과 108의 하나의 가능한 확장이다. 단계 1001에서, 우리는 출력 제품에서 특정 세그먼트에 대한 구간을 결정한다. 단계 1002에서, 우리는 소스 비디오 클립 하나로부터 세그먼트를 채우기 위해 자료를 선택한다; 그 비디오 클립은 필요한 세그먼트의 시간 범위를 완전히 커버해야 한다. 단계 1003에서, 선택된 비디오 클립은 제작 중인 비디오에 첨부된다.

우리는 세그먼트 구간을 결정하고, 원하는 출력 제품 구간이 도달될 때까지 시간 정렬된 소스 비디오 클립으로부터 세그먼트를 채우기 위해 자료를 선택하는 과정을 반복한다. 이러한 하나의 반복은 본 발명의 범위 내에서 다양한 방법으로 수행될 수 있음에 주시하자. 예를 들어, 실시예는 도 10의 모든 단계를 반복하거나(즉, 연속하여 여러 번 단계 1001과 1003의 세트를 수행하고, 따라서 효과적으로 단계 108이 시작되기 전 도 1의 단계 106이 완료되지 않음) 각각의 개별 단계를 반복한다. 예를 들어, 우리는 먼저 모든 세그먼트 구간을 계산할 수 있고(즉 단계 1001을 여러 번 수행), 그 다음 세그먼트를 채우기 위해 자료를 선택하고자 수행하고(즉 단계 1002를 여러 번 수행하고, 따라서 도 1의 단계 106을 완료), 그 다음 세그먼트를 함께 첨부한다(즉 단계 1003을 여러 번 수행하고, 따라서 도 1의 단계 108을 수행). 대신에, 우리는 각각의 세그먼트 구간이 계산된 후 즉시 자료를 선택할 수 있다.

하이라이트/제외

같은 공통 오디오 트랙에 모두 정렬된 여러 개의 비디오 파일로 제품을 만들 때, 출력 제품에 포함하기 위해 특히 바람직한 어떤 특정 장면이 있을 가능성이 높고, 낮은 품질의 다른 것 또는 그 밖에 바람직하지 않고 가능한 피해져야 한다.

그러한 결정이 자동으로 어느 정도 만들어져 있어야 가능하다. 예를 들어, 비디오를 분석하고, 단일 흑색 또는 초점 밖을 감지하는 잘 알려진 방법이 있다. 이러한 분석의 결과가 주어질 때, 출력 제품에서 객관적으로 나쁜 자료를 사용하는 것을 피함이 올바르다.

다른 경우에, 그러나, 결정은 컨텐츠의 깊히 의미 있는 이해에 의존함으로써, 모두 적절한 편집 결정을 자동으로 만드는 것은 거의 불가능하다. 예를 들어, 도 6에 도시된 밴드의 공연을 캡처하는 여러 개의 카메라를 가진 시나리오를 고려하자. 밴드 멤버 중 하나가 기타리스트라고 가정하자. 기타리스트가 솔로로 연주할 때, 카메라 앵글이 그를 최상으로 보여주도록 전환하는 것이 바람직하다. 반대로, 기타리스트가 상대적으로 재미없는 따르는 리듬 파트를 연주한다면, 기타리스트에 부당한 초점을 두고 카메라 앵글을 사용하는 것을 피하는 것이 아마도 최상이다.

이러한 질적 편집 결정을 내리는 것이 자동으로 행하는 것이 거의 불가능하지만, 사용자가 입력 비디오 클립의 부분을 하이라이트("포함해야 함") 또는 제외("포함해서는 안됨")로 마크하는 것에 의해 쉽게 행해질 수 있다.

도 11은 사용자가 하이라이트 및/또는 제외를 마크하기 위해 허용하는 추가 단계를 가진 도 1의 다른 예이다. 첫번째 단계 1102에서, 실질적으로 유사하거나 오버랩한 오디오 트랙을 가지는 비디오 클립의 세트가 획득된다. 두번째 단계 1104에서, 이 비디오 클립은 위에서 기술된 것처럼 오디오 트랙에서 유사점을 사용하여 시간 정렬된다. 세번째 단계 1105에서, 사용자는 임의의 비디오 클립에 하이라이크 및/또는 제외를 마킹하는 옵션이 주어진다(예를 들어 도 12에 도시된 사용자 인터페이스를 통해). 네번째 단계 1106에서, 세그먼트는 하나 이상의 비디오 클립으로부터 자동으로 선택된다. 마지막 단계 1108에서, 출력 비디오는 동기화를 공통 오디오 트랙에 상대적으로 유지하면서 선택된 비디오 세그먼트를 합쳐 생성된다.

도 12는 여러 개 시간 정렬된 비디오 클립에서 하이라이트와 제외를 지시하는 가능한 사용자 인터페이스의 부분을 보인다. 여러 소스 비디오 클립(예: 1202)은 공통 오디오 트랙(1201)으로 시간 정렬됨을 표시된다. 마우스 포인터(1221)를 사용하여 비디오 클립을 클릭하고 재생 버튼(1224)을 클릭함에 의해, 사용자는 미리보기 화면에 소스 비디오 클립 중 하나를 볼 수 있다.

사용자는 마우스 포인터(1221)를 사용하여 클릭과 드래깅에 의해 비디오 클립의 어떤 부분을 선택할 수 있다. 사용자는 하이라이트 버튼(1222)을 클릭하여 선택 부분을 하이라이트로 마크할 수 있다. 하이라이트와 제외는 쉐이딩(shading), 컬러링(colouring), 및/또는 아이콘, 예를 들어 하이라이트(1212)에 대해 엄지 업 아이콘, 및 제외(1213)에 대해 엄지 다운 아이콘을 통해 사용자 인터페이스에서 지시될 수 있다.

비디오 클립의 어떤 부분이 하이라이트로 마크되면, 하이라이트의 시간 범위내에서 멀어진 다른 부분의 비디오 클립은 제품에서 분명히 나타나지 않는다(출력 제품이, 전형적인 비디오 제품을 위한 경우가 아닌, 분할 화면 보기에서 동시에 여러 비디오 소스를 표시하지 않는 한). 따라서 다른 클립에서 자료는 효과적으로 제외된다. 예를 들어, 이것은 클립(1211)의 유효한 부분을 음영(shading)하여 사용자 인터페이스에서 지시될 수 있다.

타겟 사용 경우에 따라, 추가 사용자 인터페이스 기능은 바람직할 수 있다. 이들 기능 중 몇 가지는 여기서 간단히 설명된다:

·별도로 녹음된 참조 오디오 트랙이 없는 경우에(도 3에서 제작 다이어그램에 도시된), 기능은 사용자가 참조 오디오 트랙으로 입력 비디오 파일 중 하나의 오디오 트랙을 선택함에 제공될 수 있다.

·한 번에 모든 비디오 클립을 보여주는 사용자 인터페이스에서 하이라이트와 제외를 지정하는 것 보다, 사용자 인터페이스는 사용자가 한 번에 하나의 비디오 파일에 하이라이트와 제외를 지정하고 표시하도록 허용할 수 있다. 대신에, 비디오 파일이 여러 장면을 포함한다면, 비디오 파일은 자동으로 개별 장면으로 분할될 수 있고, 사용자 인터페이스는 사용자가 한 번에 하나의 장면을 하이라이트와 제외를 지정하고 표시하도록 허용할 수 있다.

·어떤 경우에 참조 오디오 트랙과 관련한 비디오 클립의 정렬이 모호할 수 있다. 예를 들어, 노래의 뮤직 비디오를 만드는 밴드는 오직 노래의 짧은 부분을 커버하는 많은 테이크를 촬영할 수 있다. 그 부분은 다른 파트에 매우 유사한 소리일 것이다, 예를 들어 전형적인 팝송에서, "코러스"는 여러 번 반복되고, 코러스 사운드의 모든 실예는 매우 유사하다. 이러한 경우에, 몇 개의 거의 동등하게 잘된 정렬은 존재할 수 있다. 사용자 인터페이스는 한 번에 시간 정렬을 변경하기 위해 사용자가 비디오 클립을 앞과 뒤로 드래그함을 허용하는 수단을 제공될 수 있다, 가능하게 "스냅핑(snapping)" 정렬은 가장 가깝게 자동으로 결정된 정렬로.

·참조 오디오 트랙은 원하는 출력 제품보다 더 길 수 있다. 이는 아닐 것이다 참조 오디오 트랙이 미리 녹음된 오디오 트랙이면, 예를 들어 CD 또는 MP3로부터 팝송, 그러나 이는 매우 가능성이 높다 비디오 클립 중 하나로부터 오디오 트랙이 참조 트랙으로 선택되면. 이러한 경우를 커버하기 위해, 원하는 구간에 참조 오디오 트랙을 정돈하는 사용자 인터페이스 기능은 제공될 수 있다.

도 13은 사용자가 일부분을 하이라이트 또는 제외로 마크한 참조 오디오 트랙에 정렬된 여러 개의 비디오 클립으로부터 출력 제품의 생성을 보이는 제작 다이어그램이다.

여러 입력 비디오 클립(1351, 1352, 1353, 1354)은 참조 오디오 트랙(1350)으로 정렬된다. 비디오 클립은 참조 오디오 트랙의 전체 구간을 커버할 수 있다, 클립 1351과 1352에 대한 경우처럼, 또는 비디오 클립은 오직 구간의 일부를 커버할 수 있다, 클립 1353과 1354에 대한 경우처럼.

비디오 클립 중 하나의 부분(1361)은 하이라이트로 마크되고, 그것은 출력 제품에 포함되어야 하는 의미이다. 클립(1354) 중 일부(1366)는 제외로 마크되고, 그것은 출력 제품에 표시되지 않아야 함을 의미한다.

설명한 것과 같은 오디오 분석 방법을 사용하여, 참조 오디오 트랙에서 두드러진 순간(1340, 1341, 1343, 1344)은 식별된다. 뮤직의 경우에, 두드러진 순간은 일반적으로 강한 비트일 수 있다. 비트를 감지하는 많은 방법은 문헌에 기술되어 있다, 예를 들어 GB2380599에서.

입력 비디오 클립의 세그먼트는 하이라이트는 포함되고, 제외는 사용되지 않고, 및 참조 오디오 트랙에서 두드러진 순간에 세그먼트 시작과 끝의 방식으로 출력 제품의 비디오 부분을 생성하기 위해 자동으로 선택된다. 또한 세그먼트 구간은 값 사이클링(value-cycling)에 의해 또는 뮤직 크기에 따라 결정되거나 영향 받을 수 있다. 예를 들어, 출력 제품은 노래의 높은 에너지 부분에서 다른 소스 비디오 클립 사이에 극도로 빠르게 인터컷할 수 있고, 부드로운 부분 동안 더 길게 각각의 비디오 소스 상에 오래 남을 수 있다.

하이라이트(1361)는 세그먼트(1371)의 일부로 나타난다. 세그먼트(1371)는 참조 오디오 트랙에서 음악적으로 두드러진 순간(1340)에 대응하여 선택된 종료 시간으로 하이라이트 보다 더 길다. 하이라이트(1361)의 결과로, 클립(1352)의 부분(1362)은 효과적으로 제외된다(사용자에 의해 제외된 것처럼 명시적으로 마크되지 않을지라도). 입력 비디오 클립의 각종 세그먼트(1363, 1364, 1365, 1366)는 출력 제품의 보다 더 세그먼트(1373, 1374, 1375, 1376)를 생성하는데 사용된다.

더 재미있는 제품을 만들기 위해, 출력 제품에서 비디오 전환을 사용하는 것이 바람직할 수 있다, 단순히 커트로 세그먼트를 합치는 것과는 반대로, 예를 들어 시간(Tx)동안 세그먼트 1374와 1375 사이에 디졸브(dissolve)(1380)로 표시되는 것처럼. 다양한 방법이 GB2380599에 기술된 것처럼, 값 사이클링 및/또는 뮤직 크기에 기반하여 선택함을 포함하여, 전환과 지속(durations)을 자동으로 선택하는 것이 존재한다. 예를 들어, 디졸브(1380)의 지속 시간은 일반적으로 전환의 중간 지점에 또는 근처에, 시간(1342)에서의 뮤직 크기에 의해 결정될 수 있다. 부드러운 뮤직동안 보다 긴 전환과 뮤직의 높은 에너지 부분 동안 보다 짧은 전환은 편집된 영상과 오디오 트랙 사이에 강한 상관을 유지하는데 효과적으로 간주된다.

도식화의 편의를 위해, 도 13에서 입력 비디오 파일의 오직 하나가 어떤 주어진 시간에(기간(Tx)동안 떨어져) 출력 제품에 사용된다. 그러나, 또한 "분할 화면" 보기에 동시에 나타나는 여러 개의 입력 비디오 파일로부터 자료에서 출력 제품을 생성하는 것이 가능하다.

입력 비디오 클립으로부터 자료의 선택

위에서 기술된 모든 경우에서, 입력 비디오 클립으로부터의 자료가 출력 제품에서 세그먼트를 채우기 위해 선택될 수 있다는 하나 이상의 가능한 방법이 있을 수 있다. 예를 들어, 도 2를 참조하여, 비디오 클립(204)으로부터 세그먼트(203)는 출력 제품에 사용된다. 그러나, 대신에 세그먼트는 203, 예를 들어 비디오 클립(202)으로 동일한 시간을 커버하는 어떤 다른 비디오 클립으로부터 가져올 수 있다.

사용자가 하이라이트와 제외를 지정한다면, 예를 들어 도 13에 도시된 사용자 인터페이스를 통해, 입력 비디오 클립으로부터 비디오 세그먼트를 선택하기 위한 가능한 방법의 수를 줄일 수 있다. 그러나 여전히 입력 비디오 클립으로부터 선택된 세그먼트에 대한 여러 개의 가능한 방법이 있을 수 있다.

사용자에 의해 지정된 하이라이트가 없는 시점에, 시스템은 하나 이상의 입력 클립으로부터 비디오를 자동으로 선택할 것이다. 다양한 알고리즘과 추론(heuristics)이 사용될 수 있다.

·무작위로 전환. 연속되는 각각의 세그먼트에 대해, 클립에 필요한 시간 범위를 커버하는 클립에서 무작위로 선택한 다른 클립으로부터 자료를 사용한다.

·라운드 로빈. 출력에서 각각의 연속되는 세그먼트에 대해, 사용 가능한 다음 비디오 클립으로부터 자료를 사용한다. 예를 들어, 세 개의 클립(클립 1, 클립 2, 및 클립 3)이 있다면, 모든 클립은 출력 제품의 전체 구간을 커버하고, 클립 1, 클립 2, 및 클립 3으로부터 연속된 세그먼트를 선택하고, 다음 클립 1로 루프 백한다.

·달리 명시되지 않는 한 글로벌 보기를 사용한다. 라이브-이벤트의 경우, 전체 이벤트의 전체 글로벌 보기를 갖는 잘 위치된 하나의 카메라가 있을 수 있다, 예를 들어 카메라는 모든 밴드 멤버를 보기 위해 스테이지로부터 충분히 뒤에 위치한다. 출력 제품에 대해 자료를 선택하는데 하나의 가능한 규칙은 글로벌 보기로부터 피트(footage)를 항상 사용할 수 있다, 다른 카메라 중 하나로부터 비디오 클립에 하이라이트가 있을지라도.

·큰 소리로 컷(cut). 주어진 어떤 출력 세그먼트에 대해, 오디오 트랙이 세그먼트의 시간 범위에서 가장 큰 곳에서 비디오 클립으로부터 자료를 사용한다. 이벤트가 패널 토론이면, 각각의 패널리스트에 가까운 카메라(마이크를 가진)가 있다, 이러한 추론은 카메라가 현재 말하는 사람을 가리키는데 자동으로 컷한다.

·비디오의 특징에 기반한 바이어스 선택(bias selection). 비디오의 주제에 따라, 특정 카메라에 컷하는 것이 바람직하다 / 비디오에서 쉽게 감지 가능한 특징에 기반하는 입력 클립-밝기, 얼굴의 존재, 및 모션 또는 카메라 쉐이크(shake). 사용자 인터페이스에서 기능은 사용자가 이들 특징에 기반한 선택 바이어스를 지정하도록 허용할 수 있다. 예를 들어, 이것은 사용자가 얼굴과 밝은 불확실하지 않은 내용으로 각각의 세그먼트에 대해 선택하도록 허용한다.

템플릿

참조 오디오 트랙이 미리 녹음되어 있다면, 비디오 파일 중 하나로부터 가져온 것과는 다른, 여러 제품이 같은 참조 오디오를 사용하여 만들어졌다고 예상되면, 세그먼트 지속, 전환 및 효과로서 제품의 측면을 지정하는 템플릿을 생성하는 것이 바람직할 수 있다. 참조 오디오 트랙으로 사용자-공급된 비디오를 정렬한 후, 사용자 공급된 비디오 클립으로부터의 세그먼트는 템플릿에 빈 세그먼트를 채우기 위해 자동 또는 반자동으로 선택될 수 있다.

참조 오디오가 노래이면, 그 노래를 위한 기존의 뮤직 비디오가 있다, 템플릿은 출력 제품의 어떤 세그먼트는 기존의 뮤직 비디오로부터 가져온 자료로 구성하도록 더 지정할 수 있다.

스타일

제작의 다양한 측면은 GB2380599에서 기술된 것처럼, "스타일" 편집의 사용자 지정 선택에 의해 영향을 받을 수 있다. 스타일에 의해 영향받을 수 있는 제작의 측면은 선호된 세그먼트 구간을 포함한다; 지속 시간과 전환 형태; 출력 제품에 적용되는 효과의 종류. 효과는 제품의 전체 구간에 대해 적용되는 글로벌 효과를 포함할 수 있다.(예를 들어, 그레이 스케일 또는 다른 특색(colouration) 효과); 제품의 개별 세그먼트에 적용된 세그먼트-레벨 효과; 및 줌 또는 뮤직의 강한 비트에 트리거된(triggered) 플래쉬(flashes)와 같은 뮤직-트리거 효과.

본 발명은 서버 또는 개인용 컴퓨터와 같은 범용 목적 컴퓨터 상에 동작하는 소프트웨어로 구현될 수 있다. 예를 들어, 그것은 dx2700 타워와 Windows XP Professional 운영 체제와 함께 HP 컴팩 개인 컴퓨터에서 수행될 수 있다.

컴퓨터는 신호(예를 들어 인터넷을 통해 전송되는 전기 또는 광학 신호) 또는 CD-ROM처럼 유형 기록 매체에 기록된 컴퓨터 프로그램 제품의 일부로서 수신되는 운영 프로그램 지시에 의해 본 발명을 수행할 수 있다. 유사하게 출력 제품은 신호 또는 CD-ROM에 기록된 것처럼 전송될 수 있다.

이 문서에서 사용되는 "자동"이라는 용어는 프로세스 단계 동안 사람 입력을 사용하지 않고 컴퓨터 프로그램에 의해 수행되는 프로세스 단계를 의미한다. 즉, 자동 프로세스 단계는 사람에 의해 실행될 수 있고, 프로세스의 실행이 시작됨에 따라 사람에 의해 설정된 변수를 포함할 수 있지만, 프로세스 단계의 동작 동안 사람 개입은 없다.

발명의 단지 하나의 실시예가 위에서 기술되었지만, 청구항에 의해 정의되는 본 발명의 범위 내에서 많은 변형예가 가능하다.

Claims (13)

1. 출력 오디오 트랙과 출력 비디오 트랙을 포함하는 비디오 제작물을 제작하기 위한 컴퓨터로 구현된 방법에 있어서,
   (a) 미리 정의된 시간적 일치를 가지는 각각의 입력 비디오 트랙과 입력 오디오 트랙을 포함하는 복수의 입력 비디오 클립을 획득하는 단계;
   (b) 참조 오디오 트랙을 획득하는 단계;
   (c) 상기 입력 비디오 클립의 각각에 대해, 상기 각각의 입력 오디오 트랙과 참조 오디오 트랙과의 상관 관계의 측정을 최대화 함에 의해, 상기 입력 비디오 클립의 상기 각 입력 오디오 트랙과 상기 참조 오디오 트랙 사이에 각각의 제1 시간적 매핑을 수립하는 단계 - 상기 제1 시간적 매핑과 상기 미리 정의된 시간적 일치는, 상기 참조 오디오 트랙과 상기 일치하는 입력 비디오 클립의 상기 각 입력 비디오 트랙 사이에 각각의 제2 시간적 매핑을 결정함 -;
   (d) 상기 참조 오디오 트랙의 섹션의 일련 각각에 대해, 하나 이상의 상기 입력 비디오 트랙을 선택하고, 상기 하나 이상의 선택된 입력 비디오 트랙의 세그먼트를 형성하는 단계 - 상기 하나 이상의 선택된 입력 비디오 트랙은, 상기 하나 이상의 각 제2 시간적 매핑 하에서 상기 참조 오디오 트랙의 섹션에 일치하는 하나 이상의 선택된 입력 비디오 트랙의 상기 하나 이상의 각 일부분임 -; 및
   (e) 상기 참조 오디오 트랙에 시간적 일치를 가지는 상기 출력 비디오 트랙을 생성하기 위해 상기 세그먼트를 결합하는 단계 - 각 세그먼트는 상기 상응하는 제2 시간적 매핑에 따른 상기 출력 비디오 트랙과, 상기 참조 오디오 트랙에 존재하는 비디오 제작물의 상기 출력 오디오 트랙에서 시간적 위치를 가짐 -
   을 포함하는, 컴퓨터로 구현된 방법.
2. 제1항에 있어서,
   상기 참조 오디오 트랙은, 기존의 오디오 트랙이고,
   상기 (b) 단계는, 상기 참조 오디오 트랙을 수신하는 단계
   를 포함하는, 컴퓨터로 구현된 방법.
3. 제1항에 있어서,
   상기 참조 오디오 트랙은,
   상기 입력 비디오 클립 중 하나의 상기 입력 오디오 트랙인, 컴퓨터로 구현된 방법.
4. 제1항에 있어서,
   상기 (b) 단계는,
   복수의 상기 입력 비디오 클립의 상기 각 입력 오디오 트랙의 일부를 결합하여 상기 참조 오디오 트랙을 만드는 단계
   를 포함하는, 컴퓨터로 구현된 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 선택된 세그먼트를 결합하는 상기 (e) 단계는,
   상기 참조 오디오 트랙에 기존의 시간적 관계를 가지는 기존의 비디오 트랙의 적어도 일부를 결합하여, 상기 출력 비디오 트랙이 상기 시간적 관계에 의해 결정된 시간적 위치에 기존의 비디오 트랙의 일부를 포함하도록 하는 단계
   를 더 포함하는, 컴퓨터로 구현된 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 (d) 단계는,
   사용자에 의해 지정된 지시에 따라 수행되고,
   상기 지시는,
   적어도 하나의 상기 비디오 클립이 상기 참조 오디오 트랙의 지정된 섹션 동안 선택되는 지시; 및
   적어도 하나의 상기 입력 비디오 클립이 상기 참조 오디오 트랙의 지정된 섹션 동안 선택되지 않는 지시, 중 적어도 하나인, 컴퓨터로 구현된 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 (d) 단계는,
   상기 참조 오디오 트랙의 상기 각 섹션에 대해,
   상기 참조 오디오 트랙의 섹션에 상기 제1 매핑 하에서 상응하는 입력 오디오 트랙의 일부 동안 상기 각 입력 오디오 트랙의 속성을 결정하는 단계; 및
   상기 결정된 속성이 가장 큰 상기 입력 오디오 트랙에 상응하는 상기 입력 비디오 트랙을 선택하는 단계
   를 포함하는, 컴퓨터로 구현된 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   사용자에게 표시되는 그래픽 사용자 인터페이스는,
   상기 제2 시간적 매핑에 기반하여 결정되는 시간을 나타내는 축에 대해 공간적 위치를 가지는 각각의 상기 입력 비디오 클립의 표현을 포함하는, 컴퓨터로 구현된 방법.
9. 제8항에 있어서,
   상기 인터페이스는,
   제2 시간적 매핑을 변경하는 사용자로부터 명령을 받도록 동작하는, 컴퓨터로 구현된 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 (c) 단계는,
    상기 각각의 입력 오디오 트랙과 상기 참조 오디오 트랙 사이의 시간 왜곡에 대해 상관 관계의 상기 측정을 극대화하는 단계
    를 포함하는, 컴퓨터로 구현된 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    하나 또는 그 이상의 상기 입력 비디오 클립은 시간 스탬프 데이터를 포함하고,
    상기 하나 또는 그 이상의 입력 비디오 클립에 대해,
    상기 (c) 단계는,
    상기 시간 스탬프 데이터에 기반하여, 상기 참조 오디오 트랙과 상기 각각의 입력 오디오 트랙 사이에 근접한 시간적 매핑을 생성하는 단계; 및
    상기 제1 시간적 매핑을 만들기 위해 상관 관계의 상기 측정을 극대화 함에 의해 상기 근접한 시간적 매핑을 개선하는 단계
    를 포함하는, 컴퓨터로 구현된 방법.
12. 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하기 위해, 소프트웨어를 실행할 때, 동작하는 프로세서와 소프트웨어를 구비하는 컴퓨터 시스템.
13. 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하기 위해, 프로세서에 의해 동작할 때, 프로그램 지시 안내를 저장하는 컴퓨터 프로그램 제품.

Images