KR20160145171A - 카메라 모션의 상호작용적 스타일화 - Google Patents

Abstract

본 개시는, 현존하는 비디오로부터의 겉보기 카메라 경로를, 수정된 스타일화된 비디오로 수정하는 것을 대상으로 한다. 수평 및 수직 병진, 회전 및 줌과 같은 카메라 모션 파라미터는, 이퀄라이저와 같은 상호작용식 제어부의 세트에 의한 것을 비롯하여, 개별적으로 수정될 수도 있다. 카메라 모션 파라미터는 또한, 프리셋 데이터, 예컨대 다른 비디오 클립으로부터 획득되는 모션 데이터를 로딩하는 것에 의해 설정될 수도 있다.

Description

카메라 모션의 상호작용적 스타일화{INTERACTIVELY STYLIZING CAMERA MOTION}

비디오 안정화(video stabilization)는 비디오를 더욱 안정적으로 보이게 만드는 널리 공지된 기술이다. 일반적으로, 비디오 안정화는 카메라 모션의 대부분을 제거하기 위해 비디오에서 무빙 크롭 윈도우(moving crop window)를 조작한다(manipulate).

대조적으로, 영화 감독 및 영화 촬영 기사(cinematographer)는, 종종, 비디오의 일부로서 카메라 움직임을 사용할 것을 의도적으로 원할 수도 있다. 예를 들면, 촬영 동안의 카메라 움직임은, 페이스(pace), 시점, 장면에서의 리듬 및 등등을 확립하기 위해 사용될 수 있다.

이러한 카메라 모션은, 수 년의 경험을 통해 통상적으로 학습되는 다른 비디오 기술, 예컨대 프레이밍(framing), 컬러, 조명 및 등등과 함께, 비디오에 스타일을 부여한다. 그러나, 이러한 경험, 사전 계획 및 고가의 기기가 없으면, 비디오의 스타일적 양태(stylistic aspect)를 제어하는 것은 아주 어렵다.

이 개요는 하기 상세한 설명에서 더 설명되는 엄선된 개념을 간소화된 형태로 소개하기 위해 제공된다. 이 개요는 청구되는 주제의 주요한 피쳐 또는 본질적인 피쳐를 식별하도록 의도된 것이 아니며, 또한 청구되는 주제의 범위를 어떤 식으로든 한정하는 방식으로 사용되도록 의도된 것도 아니다.

요약하면, 본원에서 설명되는 주제의 다양한 양태는, 현존하는 비디오(existing video)의 카메라 모션 파라미터를 수정된 비디오의 수정된 모션 파라미터로 수정하여, 스타일화된 비디오(stylized video)의 생성을 가능하게 하는 것을 대상으로 한다. 하나 이상의 양태는, 상호작용식 유저 인터페이스 콤포넌트(interactive user interface component)에 커플링되는 또는 상호작용식 유저 인터페이스 콤포넌트를 통합하는 카메라 스타일화용 컨트롤러(camera stylizing controller)를 대상으로 한다. 상호작용식 유저 인터페이스 콤포넌트는, 현존하는 비디오를, 현존하는 비디오의 원래의 카메라 모션과는 상이한 겉보기 카메라 모션(apparent camera motion)을 갖는 수정된 비디오로 수정하기 위해 전력 레벨에 가산하는 것을 비롯하여, 현존하는 비디오에 대응하는 하나 이상의 모션 파라미터 값 중 전력 레벨의 조정을 허용하도록 구성된다.

하나 이상의 양태는, 현존하는 비디오로부터의 모션 파라미터 값을, 편집된 비디오의 조정된 모션 파라미터 값으로 조정하는 것을 대상으로 한다. 이것은, 각각의 모션 파라미터에 대한 조정 가능한 모션 설정에 기초하여 복수의 모션 파라미터에 대한 독립적으로 제어 가능한 모션 파라미터 값을 제어하는 것을 포함할 수도 있다.

하나 이상의 양태는, 현존하는 비디오 클립의 원래의 카메라 모션 경로(camera motion path)에 대응하는 원래의 비디오 신호로부터 원래의 카메라 모션 파라미터 값을 획득하는 것, 및 원래의 카메라 모션 파라미터 값의 도메인(예를 들면, 주파수) 표현을 계산하는 것을 대상으로 하는데, 여기서 도메인 표현은 원래의 카메라 모션 파라미터의 각각에 대한 복수의 도메인 대역(domain band)을 포함한다. 조정된 전력 레벨로의 각각의 도메인 대역에서의 개개의 전력 레벨 설정의 조정을 위해 인터페이스가 제공되고, 조정된 전력 레벨의 역 도메인 표현(inverse domain representation)에 대응하는 수정 데이터가 계산된다. 원래의 카메라 모션 파라미터 값은, 원래의 카메라 모션 경로와는 상이한 겉보기 카메라 모션 경로를 갖는 수정된 비디오를 제공하기 위해, 수정 데이터에 기초하여 수정된다.

하기의 상세한 설명이 첨부의 도면과 연계하여 취해지면, 하기의 상세한 설명으로부터 다른 이점이 명확해질 수도 있다.

본 발명은 예로서 예시되는 것이며, 동일한 도면부호가 동일한 엘리먼트를 나타내는 첨부의 도면에서 제한되지 않는데, 도면에서,
도 1은, 하나 이상의 예시적인 구현예에 따른, 유저 상호작용에 기초하여 스타일화된 비디오를 생성하도록 배열되는 예시적인 콤포넌트의 구성을 나타내는 블록도이다.
도 2는, 하나 이상의 예시적인 구현예에 따른, 유저 상호작용에 기초하여 스타일화된 비디오를 생성하도록 배열되는 예시적인 콤포넌트의 대안적인 구성을 나타내는 블록도이다.
도 3은, 하나 이상의 예시적인 구현예에 따른, 수정된 비디오를 생성하도록 모션 파라미터 값을 조정하는 유저 상호작용을 용이하게 하는 슬라이드 바로서 예시화된 상호작용식 제어부(interactive control)의 세트의 표현이다.
도 4a, 도 4b, 도 5a 및 도 5b는, 하나 이상의 예시적인 구현예에 따른, 수평(도 4a), 수직(도 4b), 회전(도 5a) 및 줌/스케일(도 5b) 모션 파라미터에 대한 예시적인 원래의 그리고 스타일화된 모션 플롯 및 전력 스펙트럼 플롯의 표현이다.
도 6은, 하나 이상의 예시적인 구현예에 따른, 원래의 비디오를 스타일화된 비디오로 수정함에 있어서 사용될 수도 있는 예시적인 콤포넌트를 나타내는 블록도이다.
도 7은, 하나 이상의 예시적인 구현예에 따른, 원래의 비디오를 스타일화된 비디오로 수정함에 있어서 취해질 수도 있는 예시적인 단계를 나타내는 흐름도이다.
도 8은, 하나 이상의 예시적인 구현예에 따른, 수정된 비디오를 생성하도록 모션 파라미터 값을 조정하는 유저 상호작용을 용이하게 하는 상호작용식 유저 인터페이스 콤포넌트의 표현이다.
도 9는, 하나 이상의 예시적인 구현예에 따른, 수정된 비디오를 생성하도록 각각의 대역에서 모션 파라미터 전력 레벨을 개별적으로 제어하기 위해, 주파수 대역으로 슬라이더 바가 어떻게 매핑될 수도 있는지의 표현이다.
도 10은, 본원에서 설명되는 다양한 실시형태의 하나 이상의 양태가 구현될 수 있는 예시적인 비제한적 컴퓨팅 시스템 및/또는 동작 환경을 나타내는 블록도이다.

본원에서 설명되는 기술의 다양한 양태는, 일반적으로, 기존의(already-existing) 비디오의 겉보기 카메라 모션(및 어쩌면 다른 스타일적 양태)을 선택적으로 제어하는 것을 대상으로 한다. 하나 이상의 구현예에서, 이것은, 비디오의 겉보기 카메라 모션 경로의 전력 스펙트럼을 조작하기 위해 사용될 수도 있는 상호작용식 이퀄라이저와 같은 제어부의 세트(interactive equalizer-like set of control)를 통해 달성될 수도 있다.

대안적으로, 또는 상호작용식 제어부의 사용 외에, 유저는, 다른 비디오 클립으로부터 전송되는 및/또는 저장된 모션 스타일과 같은 미리 저장된 데이터로부터 스타일적 설정을 선택할 수도 있다. 예로서, 유저는 걷고 있는 동안 비디오를 캡쳐할 수도 있다. 유저는 나중에 "보트 타기(boating)" 모션 스타일을 선택할 수도 있는데, "보트 타기" 모션 스타일은, 캡쳐된 "걷기" 비디오에 부여되는 경우, 비디오를, 파도와 맞닥뜨림에 따라 아래 위로 움직이는 보트 상에 유저가 있었던 동안 기록된 것으로 보이게 만든다. 유저는, 소망되는 경우, 겉보기 파도를 소망하는 것만큼 커지게 만들고 소망하는 비율로 맞닥뜨리게 만들기 위해, 설정을 조정할 수도 있다.

본원의 예 중 임의의 것은 비제한적이라는 것이 이해되어야 한다. 하나의 예의 경우, 카메라 모션을 조정하기 위한 소정의 이차원 모션 변환(예를 들면, 병진(translation), 회전, 및 스케일)이 주로 예시되지만, 다른 치수, 위상, 겉보기 속도, 및 등등과 같은 다른 양태도 또한 본원에서 설명되는 기술에 기초하여 제어될 수도 있다. 또한, 본원에서 설명되는 기술은, 예컨대 깊이 데이터가 깊이 카메라로부터 또한 이용 가능한 경우, 여섯 개(병진의 3차원 및 회전의 3차원)까지의 차원에서 카메라 모션 경로에 적용된다. 이와 같이, 본 발명은, 본원에서 설명되는 임의의 특정한 실시형태, 양태, 개념, 구조, 기능성 또는 예에 제한되지 않는다. 오히려, 본원에서 설명되는 실시형태, 양태, 개념, 구조, 기능성 또는 예 중 임의의 것은 비제한적이며, 본 발명은 일반적으로 비디오를 스타일화함에 있어서 이익 및 이점을 제공하는 다양한 방식으로 사용될 수도 있다.

도 1은, 다수의 프레임의 몇몇 비디오 클립(또는 전체 비디오)을 포함하는 현존하는 기록 비디오(existing recorded video; 102)를 편집된 비디오(104)의 프레임으로 프로세싱하는 콤포넌트를 포함하는 일반화된 블록도 예를 도시하는데, 여기서, 편집은 통상적으로 겉보기 카메라 모션을 제공하는 것을 대상으로 한다. 본원에서 설명되는 기술 및/또는 다른 편집 툴에 의한 것을 비롯하여, 비디오가 1회 이상 편집될 수도 있고, 추가적인 편집이 나중에 재개되면 재편집되거나, 또는 부분적으로 편집될 수도 있다는 점에서, 현존하는 기록 비디오는 최초 기록된 것과 같은 비디오일 필요는 없다는 것을 유의한다. 따라서, 본원에서 사용되는 바와 같은 용어 "현존하는" 또는 "원래의"는 반드시 최초에 기록된 것과 같은 비디오를 지칭하지는 않으며, 대신, 본원에서 설명되는 바와 같이 스타일적 편집이 개시(또는 재개)되기 이전에 비디오가 있었던 모든 상태를 지칭한다.

비디오 플레이어(108)(예를 들면 소프트웨어 기반)를 통합하는 또는 비디오 플레이어(108)에 커플링되는 카메라 모션 스타일화용 컨트롤러(또는 스타일화 엔진(stylization engine))(106)는, 편집된 비디오가 뷰잉될 때 어떻게 보이게 되는지를 유저가 보는 것을 허용한다. 이것은 플레이되고 있는 동안일 수도 있거나, 또는 소망에 따라 프레임 단위 기반일 수도 있다. 따라서, (시간에 걸쳐 느리게 발생하도록 선택되는 변경의 효과를 보기 위해서는 유저가 기다려야 하지만) 효과를 바로 보면서 편집이 실시간으로 발생할 수도 있다. 편집은 일반적으로 두 방식 중 하나에서 수행되는데, 두 방식은 결합될 수도 있다.

편집을 수행하는 제1 방식은, 도 1에서 가상 제어부(110)로서 도시되는 상호작용식 제어부, 예를 들면, 터치 스크린 디스플레이, 마우스, 키보드, 스피치, 웨어러블 입력 디바이스 및/또는 예를 들면 다른 입력(114)(다른 입력은 묘사된 바와 같은 외부 대신 디바이스 내부 콤포넌트로부터 유래할 수도 있다)에 의해 표현되는 임의의 다른 적절한 상호작용식 양상(modality)과의 상호작용에 의해 조정될 수도 있는 유저 인터페이스(user interface; UI)(112)에 디스플레이되는 제어부에 의한 것이다. 이러한 가상 제어부(110)의 통상적인 세트는 슬라이더 바를 포함하지만, 노브(knob) 또는 등등과 같은 다른 타입의 제어부, 또는 심지어 제스쳐 및 등등을 통해 액세스될 수 있는 디스플레이되지 않은 제어부가 사용될 수도 있다.

편집을 수행하는 제2 방식은 프리셋 데이터(preset data; 116)를 선택하는 것에 의한 것인데, 제어부를 미리 존재하는 소망의 모션 스타일에 대한 그룹으로서 자동적으로 글로벌하게 설정하는 것에 대응한다. 프리셋 데이터(116)는 저장될 수도 있고, 호출될 수도 있고 및/또는 다른 비디오 클립으로부터 전송될 수도 있다. 예를 들면, 걷기, 달리기, 보트 타기(boating), 비틀거림(staggering), 회전, 점프하기, 과도하게 카페인에 중독됨(being overly caffeinated) 및 다른 활동에 대응하는 프리셋 데이터의 디폴트 세트가 제공될 수도 있지만 그러나 프리셋 데이터의 디폴트 세트는, 또한, 이용 가능한 6 개의 자유도에서의(이용 가능한 6개까지의 자유도에서의) 모션의 임의의 하나 이상의 세트의 프리셋 조합일 수도 있다. 프리셋 데이터는 클라우드와 같은 외부 소스로부터 로딩될 수도 있다.

프리셋 데이터는 시간에 걸쳐 변하는 데이터의 서브셋, 또는 시간 기반의 계산 또는 다른 인자(예를 들면, 스타일적 모션은 컨텐츠, 클립에서의 특정 액터(actor) 및 등등과 매치할 수도 있다)에 의해 시간에 걸쳐 변경되는 데이터의 세트를 포함할 수도 있다는 것을 유의한다. 이 방식에서, 예를 들면, 완전히 안정한 카메라를 이용하여 찍은 비디오는 시간적으로 위 아래로 바운스하는 카메라에 의해 찍히는 것으로 보이게 만들어질 수도 있다; y 병진 설정은 소망의 바운싱 스타일을 제공하기 위해 시간적으로 증가할 수도 있고 감소할 수도 있다. 현실성을 위해, x 병진, 회전 및/또는 줌 설정은, 바운스가 위 아래로 완전히 일직선인 것으로 보이게 되는 것을 방지하기 위해, 어쩌면 상이한 위상에서, 시간에 걸쳐 어느 정도로 또한 변경될 수도(예를 들면, 진동할 수도) 있다는 것을 유의한다.

다른 타입의 스타일화 편집은, "메타 제어부(meta-control)"의 개념에 기초하는데, 메타 제어부는, (유저가 볼 수도 있거나 또는 보지 않을 수도 있는), 다수의 주파수 기반의 설정을 제어하는 단일의 슬라이더 또는 노브를 포함할 수도 있다. 예로서, 예컨대 슬라이더 형태의 "보트 상에서(on a boat)" 메타 제어부가 제공될 수도 있고, 그 결과 "보트 상에서" 슬라이더를 위로 또는 아래로 슬라이딩하는 것은 다수의 설정(예를 들면, 개개의 슬라이더)을 한꺼번에(예를 들면, 하나의 유저 상호작용으로) 조정하게 되는데, 다수의 슬라이더는 상이한 모션 파라미터 및/또는 각각의 모션 파라미터에 대한 상이한(예를 들면, 주파수, 진폭 또는 다른 적절한 값 설정) 조정에 대응한다. 임의의 수의 메타 제어부는 상이한 스타일 테마(즉, 보트 타기 대신 또는 보트 타기 이외의 카메라 경로 경험), 예를 들면, 걷기, 달리기, 점프하기, 스윙잉(swinging), (예를 들면, 마치 스키 타기, 바람을 맞고 있는 것 또는 비틀거림과 같은) 스웨잉(swaying), 전복(falling), 구르기, 플로팅(floating), (예를 들면, 트램폴린 상에서의, 울퉁불퉁한 슬라이드 상에서의 또는 울퉁불퉁한 도로를 운전하는 동안의) 바운싱, 선회(turning), 쉐이킹(shaking), 및 등등에 대해 제공될 수도 있는데, (상이한 메타 제어부로서 작용하기 위해, 유저가 선택 가능한 스타일 테마를 단순히 변경하는 최소한 단일의 유저 인터페이스 콤포넌트가 사용될 수도 있지만), 이들 중 적어도 몇몇은 결합될 수도 있다. 메타 제어부는, 하기에 설명되는 바와 같이, 예컨대 예시적인 비디오로부터, 적어도 부분적으로, 학습될 수도 있다는 것을 유의한다.

이러한 모션 변화의 레이트 및/또는 위상 또는 임의의 다른 파라미터 값 예컨대 진폭 등등은 유저가 구성 가능할 수도 있다. 실제, 유저는, 예를 들면, 시간적으로 각각의 모션 파라미터를 변경하기 위한 파형을 선택할 수도 있거나 또는 생성할 수도 있고, 파형의 위상 및/또는 진폭은 조정될 수도 있다. 기술은, 전이 시작 및 종료 프레임을 식별하는 키 프레임과 같은 현존하는 편집 개념과 결합될 수도 있다.

쉽게 알 수 있는 바와 같이, 프리셋 데이터 로딩 및 상호작용식 제어부를 통한 편집은 결합될 수도 있다. 예를 들면, 프리셋 데이터(112)의 세트가 로딩될 수도 있는데, 프리셋 데이터(112)의 세트의 로딩은 가상 제어부(110)를 시작 위치로 자동적으로 조정한다. 그로부터, 유저는, 예를 들면, 유저의 개인적 스타일 선호도를 미세 조정하기 위해, 소망에 따라 이들 시작 위치를 조정할 수도 있다.

도 1은, 랩탑, 태블릿, 모바일 디바이스, 핸드헬드 디바이스, 웨어러블 디바이스, 스마트폰 또는 전용 디바이스와 같은, 디스플레이(120)를 통합하는 단일의 컴퓨팅 디바이스(118) 상에서의 다양한 편집 콤포넌트를 도시한다. 도 2는, 원격 디스플레이(220)에 커플링되는 컴퓨팅 디바이스(218) 상에서 구현될 수도 있는 것과 같은 하나의 적절한 대안예를 도시한다. 도 1에서 1xx로 레이블링된(labeled) 유사한 콤포넌트는 도 2에서 2xx로 레이블링되며, 간략의 목적 때문에 다시 설명되지 않는다는 것을 유의한다.

도 1 및 도 2는 또한, 각각 물리적 제어부(122 및 222)를 통해 예시화되는 옵션적인 대안예를 예시한다. 용이하게 알 수 있는 바와 같이, 유저 예컨대 비디오를 편집하는 것에 관해 특히 열정이 있는 유저는 가상의 제어부에 비해 물리적 제어부(예를 들면, 기계적으로 움직일 수 있는 슬라이더, 용량성 터치 슬라이더, 스크롤 휠, 또는 등등)를 사용하는 것을 더 좋아할 수도 있다. 로딩된 프리셋 데이터는, 이러한 슬라이더를, 기계적 슬라이더이면 모터를 통해, 용량성 슬라이더이면 전하에 의해, 및 등등으로 자동적으로 이동시킬 수도 있고, 각각의 슬라이더 옆의 LED 또는 등등은, 슬라이더의 수동 움직임 또는 터치를, 소망에 따라 각각의 프리셋 설정으로 가이드하기 위한 프리셋 설정을 나타낼 수도 있다.

다른 대안예가 사용될 수도 있다. 예를 들면, 물리적 제어부 및/또는 카메라 모션 스타일화용 컨트롤러 둘 다를 포함하는 전용 디바이스가 제공될 수도 있다. 실제, 도 1 및 도 2는 예에 불과하며, 컴퓨팅 디바이스(118 또는 218)에 통합되는 것으로 도시되는 임의의 콤포넌트는, 대신, 컴퓨팅 디바이스(118 또는 218)에 커플링되는 외부 콤포넌트일 수도 있거나, 또는 그 반대로 될 수도 있거나, 또는 서브콤포넌트로 분리될 수도 있는데, 서브콤포넌트 중 하나 이상은 컴퓨팅 디바이스에 통합될 수도 있고 서브콤포넌트 중 하나 이상은 컴퓨팅 디바이스에 커플링되는 외부 서브콤포넌트일 수도 있다.

도 3은, 가상의 것 또는 물리적인 것 중 어느 하나인 슬라이더 바(330)의 하나의 세트의 예를 상세히 도시한다 이 예에서, 모션 제어 파라미터마다 열 개의 슬라이더바의 세트가 존재하여, 예컨대 총 사십 개의 슬라이더 바를 제공한다; x 병진에 대한 하나의 세트, y 병진에 대한 하나의 세트, 평면 내 회전에 대한 하나의 세트, 및 스케일에 대한 하나의 세트. 하기에서 예시화되는 바와 같이, 이것은 각각의 모션 제어 파라미터에 대해 열 개의 대역 이퀄라이저(band equalizer)를 제공한다. 제어 파라미터마다 열 개보다 더 많은 수의 또는 더 적은 수의 슬라이더 바를 갖는 것이 가능하다는 것, 및 슬라이더 바의 수는 상이한 제어 파라미터에 대해 동일할 필요가 없다는 것을 유의한다. 도 3에서는, 스타일화된 그리고 원래의 모션 플롯(332), 및 슬라이더 바 설정이 조정될 때 유저가 슬라이더 바 설정의 효과를 그래픽적으로 보는 것을 허용하는 전력 스펙트럼 플롯(334)이 또한 나타내어진다.

도 4a 및 도 4b는, 각각, 수평 및 수직 병진에 대한 예시적인 모션 플롯(442, 446) 및 전력 스펙트럼(444, 448)을 도시한다. 하나 이상의 구현예에서, 스타일화된 모션 플롯은, 스타일화된 모션 플롯 및 원래의 모션 플롯 둘 다를 동시에 보기 위한 단일의 그래픽적 표현에서 원래의 모션 플롯에 중첩한다. 이들 플롯은, 유저 인터페이스를 통해 설정이 변경됨에 따라 변할 것이다. 도 5a 및 도 5b는, 각각 회전 및 줌(스케일)에 대한 예시적인 모션 플롯(542, 546) 및 전력 스펙트럼(544, 548)을 도시한다.

컨트롤러 동작으로 돌아가면, 하나 이상의 구현예에서, 도 6에서 나타내어지는 바와 같이, 비디오 입력(662)으로부터의 모션의 스타일화는, 파라미터의 각각에 대한 또는 일괄적인 파라미터에 대한 유저 인터페이스 엘리먼트(예컨대 슬라이더 또는 임의의 다른 적절한 UI)의 세트를 통해 각각의 모션 파라미터에 대해 독립적으로 멀티 대역 이퀄라이저(multi-band equalizer)(668)를 조작하는 것에 의해 달성될 수도 있다. 일반적으로, 컨트롤러는 소망의 카메라 모션 경로(S'[t, 0])를 출력하도록 구성되는데, 소망의 카메라 모션 경로(S'[t, 0])는, [x'_t, y'_t, θ'_t, s'_t] 또는 임의의 다른 적절한 파라미터의 세트로 표현될 수도 있는 모션 파라미터(예를 들면, x 병진, y 병진, 회전 및 스케일/줌)로 분해될 수 있다. [x_t, y_t, θ_t, s_t]에 의해 표현되는, 임의의 프레임(t)과 베이스(제1 또는 그 외의) 프레임(0) 사이에서의 현존하는 비디오(662)에서의 변환으로서 S[t, 0]가 주어지고 스타일화된 모션 경로 [x'_t, y'_t, θ'_t, s'_t]로부터 수정된 변환 S' [t, 0]가 주어지면, 스타일화된 시퀀스에서의 프레임은, S[t, 0]와 S'[t, 0] 사이의 차이에 기초하여 프레임을 워핑(warping)하는(블록 672) 것에 의해 계산될 수 있다. 이것은, 이미지를 기본(제1) 프레임의 좌표 시스템으로 워핑하는 것 및, 그 다음, 스타일화된 시퀀스에 매핑하도록 역 변환(670)을 적용하는 것과 동등하다.

도 6에서 도시되는 바와 같이, 입력 비디오(662)에서의 카메라 모션 파라미터는, 카메라 모션 파라미터에게 변경되지 않은 원래의 모션 데이터를 제공하도록 추적 및 분해될 수도 있다(블록 664) 도 7을 참조로 하기에서 설명되는 바와 같이, 이 데이터는 FT(Fourier Transform; 푸리에 변환)(666)를 통해 주파수 도메인으로 변환될 수도 있는데, 여기서, 상호작용식 이퀄라이저(668)는, 프리셋 파라미터 값 또는 입력 제어부에 대응하는 개개의 주파수 대역에서 전력 레벨을 수정할 수도 있다. 일단 수정되면, 비디오 입력(662)에서의 원래의 모션 데이터를 스타일화된 비디오 출력(674)으로 워핑하기 위한 역 FT(670)가 모션 데이터를 제공한다.

주파수 도메인 변경 대신, 동일한 목적을 위해, 반전될 수도 있는 다른 타입을 비롯한 다른 필터가 사용될 수도 있다는 것을 유의한다. 이러한 필터가 주파수를 효과적으로 수정할 것이지만, 변경은 주파수 도메인에서 발생할 필요는 없다.

용이하게 알 수 있는 바와 같이, 항등 변환(identity transformation) 이외의 변환은 비디오 경계 주위에 미지의 영역(unknown region)을 생성할 수도 있다. 따라서, 최종 결과는 미지의 영역을 제거하도록 크롭될 수도 있다. 크롭은 (예를 들면, 현존하는 비디오 사이즈의 팔십 퍼센트까지) 고정될 수도 있거나, 또는 고정되는 대신 유저가 구성할 수도 있거나 또는 변경할 수도 있다. 크롭하는 것은, 스타일화된 모션이 현존하는 모션으로부터 얼마나 많이 변할 수 있는지에 대한 경계를 설정할 수도 있다. 그럼에도 불구하고, 크롭하는 것 대신 또는 외에, 미지의 영역을 핸들링하기 위해, 다른 공지된 기술, 예컨대 다른 프레임으로부터의 미지의 영역 또는 동일한 프레임의 구역(area)에서의 충전(filling)이 사용될 수도 있다.

도 7은, 유저 또는 파라미터 값(또는 모션 컨트롤러)의 다른(예를 들면, 프리셋 또는 시간이 맞춰진) 조작이 어떻게 변화를 달성할 수도 있는지를 설명하는 예시적인 흐름도인데, 비디오가 로딩되는 단계 702에서 시작한다. 로?되면, 단계 704는, 파라미터 값을 그들의 변경되지 않은 설정으로 설정하는데, 이 예에서는 파라미터 값을 일(1)로 설정한다. 컨트롤러 내에서 파라미터 값을 설정하는 이 액션의 일부로서, 컨트롤러는 또한 이들 설정된 값을 유저 인터페이스, 예컨대 이퀄라이저 또는 다른 적절한 값 표시를 통해 유저에게 나타낼 수도 있다. 따라서, 비디오가 처음 플레이될 때, 비디오 모션은 변경되지 않은 것으로 보인다.

단계 706은 비디오를 플레이하는 것을 나타낸다. 하나 이상의 구현예에서, 플레이하는 동안, 또는 프레임 상에서 일시 정지되거나, 빨리 감기(fast forwarding; FF) 또는 되감기 동안, 조정을 통한 편집이 수행될 수도 있다는 것을 유의한다. 몇몇 경우에서, 유저는 또한, 유저가 나타낸 시간 또는 마일스톤에서 파라미터 값을 조정하기 위해 미리 시간이 맞춰진(pre-timed) '프로그램'을 생성할 수도 있다. 플레이하는 동안, 디스플레이는, 현재 프레임이 공간에서 다른 프레임에 어떻게 관련되는지를 나타내기 위해, 도 1 및 도 2의 글로벌 캔버스(예를 들면, 크롭되지 않은 "프레임 공간")(130 및 230)에 각각 정렬되는 비디오를 나타낸다. 예를 들면, 초당 삼십 프레임을 플레이하는 동안, 임의의 효과가 실시간으로 적용될 수도 있다.

비디오를 나타내기 위한 예시적인 위치는 도 8에서 일반적으로 표현되는데, 도 8에서는, 디스플레이 프레임(870, 872), (이 예에서는 수평, 수직, 회전 및 줌 파라미터에 대한) 슬라이더 바(873-876)의 세트, 타임라인(877) 및 저장 및 로딩 메커니즘(예를 들면, 상호작용식 버튼)(878, 879)을 포함하는 예시적인 전체 유저 인터페이스 제어 패널이 예시화된다. 따라서, 수평, 수직, 회전 및 줌 파라미터를 각각 나타내는 각각의 조정 가능한 모션 파라미터(x, y, θ, s)에 대한 네 개의 서브패널이 묘사된다. 각각의 패널은, 이 예에서는, 원래의 그리고 스타일화된 모션의 플롯, 원래의 그리고 스타일화된 전력 스펙트럼의 플롯, 및 10 대역 이퀄라이저를 갖는다. 도 3에서 더 상세히 도시되는 바와 같이, 하나 이상의 구현예에서, 각각의 이퀄라이저 파라미터 제어 인터페이스는 단축키 버튼(336)을 구비한다; "1" 버튼이 자신의 각각의 인터페이스에 대해 작동되면, 컨트롤러는 대응하는 슬라이더를 "1"로 설정하는데, 슬라이더를 "1"로 설정하는 것은 원래의 수정되지 않은 모션을 얻게 되고, 한편 "0" 버튼이 작동되면, 슬라이더는 이 모션 파라미터 전체에 대해 모션이 전혀 없음을 나타내는 "0"으로 설정된다. 수평, 수직, 회전 및 줌 파라미터의 파라미터 값은 예에 불과하다는 것 및 비디오의 모션을 제어하기 위해 다른 파라미터 값이 사용될 수도 있다는 것, 및 마찬가지로 "1" 및 "0"의 스케일링 또는 값 매김(valuation)은 예에 불과하며 다른 파라미터 값 매김이 적절할 수도 있다는 것이 인식되어야 한다.

도 7로 돌아가면, 본원에서 설명되는 바와 같은 하나 이상의 구현예는 카메라 모션 스타일을 편집하기 위해 주파수 기반 등화 방식(frequency-based equalization approach)을 사용한다. 카메라 모션 이퀄라이저(equalizer; EQ)는, 소망의 룩 앤 필(look and feel)을 생성하기 위해 카메라 모션의 주파수 성분을 증폭, 감쇠, 또는 전송하는 상호작용식 방법이다. 이 예에서, 모션 신호는, 이차원에서의 카메라의 네 개의 자유도에 대응하는 x(수평) 병진, y(수직) 병진, 평면 내 회전(θ), 및 스케일(예를 들면, 줌 또는 z 방향)(s)의 네 개의 채널로 분리된다.

유저에 의해 또는 시간이 맞춰진 조정조정에 의해 이퀄라이저 조정(들)이 이루어질 때마다, 또는 신규의 프리셋 데이터의 로딩 때문에 이퀄라이저 조정(들)이 필요로 될 때마다, 단계 708은 단계 710으로 분기하여 각각의 수정된 모션 파라미터 채널에 대한 비디오의 모션을 수정한다. 각각의 수정된 채널에 대해, 컨트롤러는 단계 710에서 FT를 사용하여 도메인 전환(conversion) 또는 변환 예컨대 주파수-공간 표현을 계산하고, 그 다음, 파라미터 설정에 매칭하도록, 파라미터 값 또는 다른 값 예컨대 전력을 단계 712에서 조정한다. 조정은, (도 9를 참조로 하기에서 설명되는 바와 같이), 주파수 대역과 같은 도메인에 대응하는 각각의 입력 파라미터 설정의 함수로서 주파수 범위 빈(bin)에 전력을 승산하거나 또는 가산(또는 감산)하는 것에 의해 이루어질 수도 있다는 것을 유의한다. 그 다음, 단계 712에서, 출력 모션 경로를, 마치 카메라가 그 경로를 찍은 것처럼, 생성하기 위해, 역 도메인 전환, 예컨대 역 FT가 사용된다. 조정된 모션 파라미터마다 단계 710, 712 및 714가 있고; 따라서, 예를 들면 프리셋이 로딩되면, x 병진, y 병진, 회전 및 스케일(또는 임의의 다른 것 또는 모션 파라미터의 조합) 각각은, 적어도 어느 정도까지는 병렬로 수행될 수도 있는, 대응하는 단계를 통한 조정을 필요로 할 수도 있다는 것을 유의한다.

도 9는, (예를 들면, 디스플레이된 예시적인 이퀄라이저 슬라이더(992)에서의 입력과 같은) 제어된 파라미터의 값의 세트 중 예시적인 하나에 대해 주파수 빈(990)이 어떻게 배열될 수도 있는지의 예를 도시한다. 이 예에서, 주파수 빈은 하나 이상의 구현예에서 주파수에서 비선형적으로(예를 들면, 대수적으로(logarithmically) 또는 다르게는 지수적으로(exponentially)) 이격되는데, 빈 사이즈는 주파수가 증가함에 따라 증가한다. 예컨대 예시적인 유저 인터페이스 이퀄라이저 또는 다른 적절한 유저 인터페이스를 통한 유저 입력 파라미터 값 또는 스케일링은, 신호의 DC 성분을 수정하지 않지만, 예컨대 단일의 인터페이스로부터 카메라를 완전히 재위치시키기 위한 대안적인 구현예에서 그렇게 하기 위한 인터페이스 메커니즘을 제공하는 것은 가능하다는 것을 유의한다. 본원에서 설명되는 디스플레이된 이퀄라이저와 같은 컨트롤러 기술 및 관련되어 설명된 모션 파라미터는, 키 프레이밍(key-framing), 및 DC 성분을 통한 모션 변환과 같은 기본적인 카메라 모션 경로를 변경하기 위한 다른 공지의 툴을 보완한다는 것을 유의한다.

하나 이상의 구현예에서, 유저 인터페이스는, 각각의 빈에 대해 모션 파라미터 값 범위를 제로(0)와 이(2) 사이에서 (예컨대, 파라미터에 대한 변경된 값을 직접적으로 입력할 수도 있고/있거나 스케일링 값을 제공할 수도 있는 슬라이더 값을 통해) 조정하는데, 여기서, 일(1)의 값은, (즉, 현존하는 비디오의 모션으로부터 변경되지 않은) 원래의 모션을 제공한다. 제로부터 1까지의 값은, 예를 들면 주파수 대역에서의 원래의 전력 레벨을, 그 주파수 대역에서의 전력 레벨을 낮추기 위해, 설정의 분수적(또는 제로) 값으로 선형적으로 승산하는, 주파수 도메인(또는 적절한 경우 다른 도메인)에서 감쇠 승산자(dampening multiplier)로서 취급될 수도 있다. 따라서, 이러한 스케일링 값은 원래의 신호의 주파수를 감쇠시킨다; 실제로는, 모든 모션 파라미터에 대해 모든 설정을 제로로 조정하는 것은 실질적으로 안정화된 비디오를 생성할 수도 있다.

하나 이상의 구현예에서, 1보다 큰 모션 파라미터 스케일링 값은, 몇몇 경우에서, 승산 연산 대신 가산 연산으로 나타날 수도 있다. 일반적으로, 시스템은 승산에서 가산으로 전환하는데, 그 이유는, 모션 경로에서의 주파수의 원래의 크기가 제로에 또는 제로 근처에 있을 때 승산이 거의 또는 전혀 영향을 끼치지 않기 때문이다. (제로 위상 전력을) 현존하는 전력 크기에 가산하는 것에 의해, 원래는 존재하지 않았던 주파수 성분이 존재하게 된다. 이것은, 삼각대 상에서 찍힌 것과 같은 정지 비디오를 스타일화하는 것뿐만 아니라, 손에 쥔 카메라로 촬영한 비디오와 같은 현존하는 모션을 갖는 비디오에 대한 모션의 추가적인 추가 또는 삭제를 허용한다. 하나 이상의 실시형태에서, 승산적 변경과 가산적 변경 사이에서 평활하게 전환하기 위해 단일의 모션 파라미터 입력 유저 인터페이스, 예컨대 슬라이더가 사용될 수도 있다.

그럼에도 불구하고, 상기 스킴이 가능하면 많은 것이 변한다. 예를 들면, 주파수 대역은 대수적으로 이격될 필요가 없고, 예를 들면, 선형적으로 이격될 수 있다. 승산적 및 가산적 구별을 갖는 대신, 소망의 전력 레벨 또는 모션 파라미터에 대한 다른 도메인 파라미터 조정을 제공하기 위해, 식(formula) 또는 미리 컴파일된(precompiled) 상수의 세트가 사용될 수도 있다. 또 다른 예로서, 하나는 가산을 위한 것이고 하나는 승산을 위한 것인 두 개의 입력 유저 인터페이스 디바이스(예컨대 슬라이더)가 각각의 주파수 대역 또는 범위에 대해 사용될 수도 있다. 또 다른 예로서, 선형적인 승산적 또는 가산적 변경 대신, 비선형적(예를 들면, 지수적) 변경을 수행할 수도 있는 계산이 사용될 수도 있다.

현실에서, 현존하는 비디오를 캡쳐한 카메라가 여섯 개의 차원에서 이동 및 회전될 수도 있지만, 하나 이상의 구현예에서, 카메라 모션을 모델링하고 조정하기 위해 이차원 변환(병진, 회전, 및 스케일)이 사용될 수도 있다. 이 단순화는, 장면에 대한 카메라 모션의 효과가 강체 이미지 변환(rigid image transformation)의 시변 세트(time-varying set)로서 모델링될 수 있다는 것을 가정한다. 따라서, 모션 모델의 파라미터를 간결하고 유저가 이해 가능하게 만들기 위해, 하나 이상의 실시형태에서, 유사한 모션 모델이 사용될 수도 있는데, 그 유사한 모션 모델은 카메라 모션을 변환의 시변 세트(S_t)로서 모델링하며, 변환의 시변 세트(S_t)는, 대안적인 또는 추가적인 파라미터 값의 임의의 조합 또는 대안적인 또는 추가적인 파라미터 값을 갖는 임의의 조합이 적절할 수도 있지만, 수평 병진, 수직 병진, 평면 내 회전, 글로벌 이미지 스케일을 나타내는 네 개의 값: [x_t, y_t, θ_t, s_t]로 분해된다. 영화촬영적 관점에서, 이들은 좌우 패닝, 상하 패닝, 롤링, 및 줌(또는 전방/후방 돌리(dolly))에 매핑한다. 그럼에도 불구하고, 다른 구현예는, 깊이 또는 원근 변화를 또한 모델링할 수도 있고, 예를 들면, 깊이 모션 파라미터 값을 변경하기 위한 슬라이더 등등이 제공될 수도 있다.

비디오 안정화 기술과 대조적으로, 기술이 주로 비디오를 "불안정하게 하는 것(un-stabilizing)"을 대상으로 하지만, 그 기술은 안정화 목적을 위해 사용될 수도 있다. 예를 들면, 안정화된 비디오는 종종 부자연스럽게 보이는데, 그 이유는 안정화된 비디오가 너무 안정적일 수 있기 때문이다. 본원에서 설명되는 기술은, 안정화된 비디오를 보다 자연스럽게 만들기 위해, 안정화된 비디오에 약간의 모션을 추가할 수 있다.

다른 양태, 즉 예시에 의해 카메라 모션을 스타일화 하는 것으로 돌아가면, 유저는 다른 비디오 클립(예시)을 가질 수도 있는데, 유저는 그 다른 비디오 클립의 스타일을 매칭시키기를 원한다. 이 상황에서, 외부 비디오 클립으로부터 모션 데이터를 획득하는 것에 의해 모션 파라미터 값을 설정하기 위해 자동화된 방식이 수행된다. 하나의 예시적인 시나리오에서, 유저는 예시를 획득 콤포넌트로 로딩할 수도 있고, 콤포넌트는, 입력 비디오가 각각의 대역에서 예시에서 존재하는 것과 동일한 평균 도메인 파라미터 값(예컨대 전력)을 갖도록 각각의 도메인(예를 들면, 주파수) 대역에서 관련 도메인 파라미터(예컨대 전력)에 스케일링될 또는 (적절히) 가산/감산될 모션 파라미터 값을 계산하기 위해 비디오를 분석한다. 이것은 일반적으로 도 1 및 도 2에서, 하나 이상의 다른 비디오 클립(126(도 1) 및 226(도 2))을 프로세싱하는 모션 획득 콤포넌트(124(도 1) 및 224(도 2))를 통해 표현된다.

비디오로부터 겉보기 카메라 모션을 복원/획득하는 것은, 각각 프레임을 베이스 프레임(또는 임의의 다른 적절한 프레임)에 가장 잘 매핑시키는 그 프레임에 대한 변환의 시퀀스를 추론하는 것에 해당한다. 정렬은, 시퀀스에서 제1 프레임일 수도 있는 베이스, 결정된 대표 프레임, 또는 비디오 시퀀스에서 임의의 다른 적절한 프레임을 결정하는 것에 의해 계산될 수도 있다. 그 다음, 정렬은 각각의 프레임에 대한 이미지 피쳐를 추출하는 것 및 매칭하는 피쳐를 발견하기 위해 (베이스 프레임 또는 이전의 또는 이어지는 프레임에 비교하여) 프레임 사이에서 검색을 수행하는 것을 포함할 수도 있다. 피쳐는 몇몇 경우에, 최상의 매치의 디스크립터 거리가 두 번째로 최상의 매치의 것과는 충분히 상이하면(이것은, 비율 테스트로서 또한 칭해지는, 제2 매치에 대한 제1 매치의 비율을 조사하는 것에 의해 계산된다) 매치인 것으로 결정될 수도 있다. 장면 모션 상으로 고정되는(locking) 것을 방지하기 위해, 유사도 변환의 단일의 시간적 시퀀스가 배경 피쳐를 베이스 프레임에서의 그들의 위치로 매핑할 수 있도록 예컨대 RANSAC(RANdom SAmple Consensus; 랜덤 샘플 컨센서스) 방법 또는 내층(inlier) 트랙의 가장 큰 세트를 발견하기 위한 임의의 다른 적절한 방법을 사용하는 것에 의해, 트랙은 배경의 정적인 피쳐로부터 전경 모션을 구별하도록 분석될 수도 있다. 그 다음, 변환은 베이스 프레임(이것은 정적 프레임일 수도 있거나 또는 시간에 걸쳐 주기적으로 또는 때때로 변할 수도 있다)으로부터 적절한 모션 파라미터 값으로 분해된다. 상기에서 언급된 바와 같이, 예시적인 모션 파라미터는, x 및 y 병진, 회전, 및 스케일 성분을 포함할 수도 있다.

알 수 있는 바와 같이, 하나 이상의 양태는, 상호작용식 유저 인터페이스 콤포넌트에 커플링되는 또는 상호작용식 유저 인터페이스 콤포넌트를 통합하는 카메라 스타일화용 컨트롤러를 대상으로 한다. 상호작용식 유저 인터페이스 콤포넌트는, 현존하는 비디오를, 현존하는 비디오의 원래의 카메라 모션과는 상이한 겉보기 카메라 모션(apparent camera motion)을 갖는 수정된 비디오로 수정하기 위해 전력 레벨에 가산하는 것을 비롯하여, 현존하는 비디오에 대응하는 하나 이상의 모션 파라미터 값 중 전력 레벨의 조정을 허용하도록 구성된다.

하나 이상의 구현예에서, 유저 인터페이스 콤포넌트는, 유저 인터페이스 엘리먼트의 세트 중 하나와의 상호작용에 의해 제어 가능한 하나 이상의 모션 파라미터 값을 갖는 유저 인터페이스 엘리먼트(예를 들면, 슬라이더 바)의 복수의 세트를 포함한다. 유저 인터페이스 엘리먼트의 각각은 도메인(예를 들면, 주파수) 대역에서의 전력 레벨 설정에 대응할 수도 있다. 유저 인터페이스 엘리먼트의 각각은 미변경 전력 레벨 설정 아래에서 승산적 콤포넌트를 그리고 미변경 전력 레벨 설정 위에서 가산적 콤포넌트를 구비할 수도 있다.

유저 인터페이스 콤포넌트는 모션 파라미터 값에 대응하는 프리셋 데이터를 로딩하도록 구성되는 로드 메커니즘을 포함할 수도 있다. 유저 인터페이스 콤포넌트는 가상의 및/또는 물리적 제어부를 포함할 수도 있다. 유저 인터페이스 콤포넌트는, 원래의 모션 플롯, 스타일화된 모션 플롯, 및/또는 모션 파라미터에 대한 전력 스펙트럼 플롯을 디스플레이하도록 구성되는 디스플레이 콤포넌트를 포함할 수도 있고, 및/또는 수정된 비디오의 표현을 디스플레이할 수도 있다.

유저 인터페이스 콤포넌트는, 메타 제어부와의 유저 상호작용에 기초하여, 상이한 모션 파라미터에 대한 설정을 한꺼번에 및/또는 적어도 하나의 모션 파라미터에 대한 상이한 설정을 한꺼번에 조정하도록 구성되는 메타 제어부를 포함할 수도 있다. 메타 제어부는 하나 이상의 테마(경험), 예를 들면, 보트 타기, 걷기, 달리기, 점프하기, 스윙잉, 스웨잉, 전복, 구르기, 플로팅, 바운싱, 선회, 또는 쉐이킹에 대응할 수도 있다.

하나 이상의 양태에서, 카메라 스타일화용 컨트롤러는 전력 레벨의 주파수 도메인 조정을 허용하도록 구성될 수도 있다. 모션 획득 콤포넌트는 다른 비디오 클립으로부터 모션 데이터를 획득하기 위해 제공될 수도 있다.

하나 이상의 양태는, 현존하는 비디오로부터의 모션 파라미터 값을, 편집된 비디오의 조정된 모션 파라미터 값으로 조정하는 것을 대상으로 한다. 이것은, 각각의 모션 파라미터에 대한 조정 가능한 모션 설정에 기초하여 복수의 모션 파라미터에 대해 독립적으로 제어 가능한 모션 파라미터 값을 제어하는 것을 포함할 수도 있다.

모션 파라미터 값을 조정하는 것은, (적어도 하나의 모션 파라미터에 대해) 원래의 모션 신호를, 전력 데이터에 대응하는 도메인(예를 들면, 주파수) 표현으로 변환하고, 도메인 표현에서의 하나 이상의 도메인 범위 중 적어도 하나 내에서 전력 데이터의 전력 레벨을 변경하고, 도메인 표현을, 원래의 모션 신호를 수정된 모션 신호로 조정하는 데이터로 역 변환하는 것에 의해 달성될 수도 있다.

조정 가능한 모션 설정은, 각각의 모션 파라미터에 대한 조정 가능한 설정을 갖는 유저 인터페이스 엘리먼트의 세트를 포함하는 상호작용식 유저 인터페이스를 통하는 것을 비롯한 상호작용식 유저 인터페이스를 통해 획득될 수도 있다. 각각의 모션 파라미터에 대한 유저 인터페이스 엘리먼트의 세트는 복수의 슬라이더 바를 포함할 수도 있는데, 각각의 슬라이더 바는, 예를 들면, 상이한 주파수 범위에 대응한다. 조정 가능한 모션 설정은 프리셋 데이터로부터 획득될 수도 있다.

하나 이상의 양태는, 현존하는 비디오 클립의 원래의 카메라 모션 경로에 대응하는 원래의 비디오 신호로부터 원래의 카메라 모션 파라미터 값을 획득하는 것, 및 원래의 카메라 모션 파라미터 값의 도메인(예를 들면, 주파수) 표현을 계산하는 것을 대상으로 하는데, 여기서 도메인 표현은 원래의 카메라 모션 파라미터의 각각에 대한 복수의 도메인 대역을 포함한다. 조정된 전력 레벨로의 각각의 도메인 대역에서의 개개의 전력 레벨 설정의 조정을 위해 인터페이스가 제공되고, 조정된 전력 레벨의 역 도메인 표현(inverse domain representation)에 대응하는 수정 데이터가 계산된다. 원래의 카메라 모션 파라미터 값은, 원래의 카메라 모션 경로와는 상이한 겉보기 카메라 모션 경로를 갖는 수정된 비디오를 제공하기 위해, 수정 데이터에 기초하여 수정된다. 각각의 도메인 대역에서 개개의 전력 레벨 설정의 조정을 위한 인터페이스는, 가상 제어부, 물리적 제어부, 및/또는 전력 레벨 설정에 대응하는 프리셋 데이터를 로딩하기 위한 로드 메커니즘을 포함할 수도 있다.

예시적인 동작 환경

도 10은, 본원에서 설명되는 주제의 양태가 구현될 수도 있는 적절한 모바일 디바이스(1000)의 예를 예시한다. 모바일 디바이스(1000)는 디바이스의 하나의 예에 불과하며, 본원에서 설명되는 주제의 양태의 기능성(functionality) 또는 사용 범위에 관해 어떠한 제한도 제시하도록 의도되지 않는다. 또한, 모바일 디바이스(1000)는, 예시적인 모바일 디바이스(1000)에서 예시되는 콤포넌트 중 임의의 하나 또는 그 콤포넌트의 조합에 관하여 임의의 의존성 또는 요건을 갖는 것으로 해석되지 않아야 한다. 모바일 디바이스는 스마트폰, 태블릿, 랩탑 및 등등과 같은 핸드헬드 디바이스를 포함할 수도 있다. 예를 들면, 퍼스널 컴퓨터가 대안적으로 사용될 수도 있다.

예시적인 모바일 디바이스(1000)의 적어도 일부는, 안경, 고글 또는 모자 상에 착용될 수도 있고, 외부 컴퓨터를 비롯한, 손목시계형 디바이스와 같은 다른 웨어러블 디바이스는 모두 적절한 환경이다. 안경 및 모자가 머리에 착용되지만, 이들은 머리에 대해 상이한 위치에 착용될 수도 있고, 따라서 머리 위치 편차 보정이 적절할 수도 있다는 것을 유의한다.

도 10을 참조하면, 본원에서 설명되는 주제의 양태를 구현하기 위한 예시적인 디바이스는 모바일 디바이스(1000)를 포함한다. 몇몇 실시형태에서, 모바일 디바이스(1000)는 셀폰, 다른 것과의 음성 통신을 허용하는 핸드헬드 디바이스, 몇몇 다른 음성 통신 디바이스, 또는 등등을 포함한다. 이들 실시형태에서, 모바일 디바이스(1000)는 사진을 찍기 위한 카메라를 구비할 수도 있지만, 이것은 다른 실시형태에서는 필수적인 것은 아닐 수도 있다. 다른 실시형태에서, 모바일 디바이스(1000)는 개인 휴대형 정보 단말(personal digital assistant; PDA), 핸드헬드 게이밍 디바이스, 태블릿/슬레이트 컴퓨팅 디바이스, 노트북 컴퓨터, 프린터, 셋탑, 미디어 센터, 또는 다른 어플라이언스를 포함하는 어플라이언스, 다른 모바일 디바이스, 또는 등등을 포함할 수도 있다. 또 다른 실시형태에서, 모바일 디바이스(1000)는, 이동식이 아닌 것으로 일반적으로 간주되는 디바이스 예컨대 퍼스널 컴퓨터, 서버, 또는 등등을 포함할 수도 있다.

모바일 디바이스(1000)의 콤포넌트는, 프로세싱 유닛(1005), 시스템 메모리(1010), 및 시스템 메모리(1010)를 포함하는 다양한 시스템 콤포넌트를 프로세싱 유닛(1005)에 커플링하는 버스(1015)를 포함할 수도 있지만, 이들로 제한되지는 않는다. 시스템 버스(1015)는, 메모리 버스, 메모리 컨트롤러, 주변장치 버스, 및 다양한 버스 아키텍쳐 중 임의의 것, 및 등등을 사용하는 로컬 버스를 포함하는 여러 타입의 버스 구조 중 임의의 것을 포함할 수도 있다. 버스(1015)는, 모바일 디바이스(1000)의 다양한 콤포넌트 사이에서 데이터가 송신되는 것을 허용한다.

모바일 디바이스(1000)는 다양한 컴퓨터 판독 가능/머신 판독 가능 매체를 포함할 수도 있다. 이러한 매체는, 모바일 디바이스(1000)에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있으며 휘발성 및 비휘발성 매체, 및 착탈식 및 비착탈식 매체 양자를 포함할 수도 있다. 비제한적인 예로서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수도 있다. 컴퓨터 저장 매체는, 컴퓨터 판독 가능 명령어, 데이터 구조체, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 불휘발성의 착탈식 및 비착탈식의 매체를 포함할 수도 있다. 컴퓨터 스토리지 디바이스/저장 매체는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(digital versatile disk; DVD) 또는 다른 광학 디스크 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스, 또는 소망의 정보를 저장하기 위해 사용될 수 있고 모바일 디바이스(1000)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 그러나 이들로 제한되는 것은 아니다.

통신 매체는, 통상적으로, 컴퓨터 판독 가능 명령어, 데이터 구조체, 프로그램 모듈, 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호에서의 다른 데이터에 의해 구체화될 수도 있고, 임의의 정보 전달 매체를 포함할 수도 있다. 용어 "변조된 데이터 신호"는, 자신의 특성 세트 중 하나 이상이 신호에 정보를 인코딩하는 것과 같은 방식으로 설정되거나 변경된 신호를 의미한다. 비제한적인 예로서, 통신 매체는 유선 네트워크 또는 직결 접속과 같은 유선 매체, 및 무선 매체 예컨대 음향, RF, Bluetooth?, 무선 USB, 적외선, 와이파이(Wi-Fi), 와이맥스(WiMAX) 및 다른 무선 매체를 포함한다.

시스템 메모리(1010)는 컴퓨터 저장 매체를 휘발성 및/또는 불휘발성 메모리의 형태로 포함하고 리드 온리 메모리(ROM) 및 랜덤 액세스 메모리(RAM)를 포함할 수도 있다. 셀폰과 같은 모바일 디바이스 상에서, 오퍼레이팅 시스템 코드(1020)는 종종 ROM에 포함되지만, 다른 실시형태에서는, 이것은 필수가 아니다. 마찬가지로, 애플리케이션 프로그램(1025)은 종종 RAM에 배치되지만, 역시, 다른 실시형태에서, 애플리케이션 프로그램은 ROM에 또는 다른 컴퓨터 판독 가능 메모리에 배치될 수도 있다. 힙(heap)(1030)은, 오퍼레이팅 시스템(1020) 및 애플리케이션 프로그램(1025)과 관련되는 상태에 대한 메모리를 제공한다. 예를 들면, 오퍼레이팅 시스템(1020) 및 애플리케이션 프로그램(1025)은 그들의 동작 동안 힙(1030)에 변수 및 데이터 구조체를 저장할 수도 있다.

모바일 디바이스(1000)는 다른 착탈식/비착탈식의 휘발성/불휘발성 메모리를 또한 포함할 수도 있다. 예로서, 도 10은 플래시 카드(1035), 하드 디스크 드라이브(1036), 및 메모리 스틱(1037)을 예시한다. 하드 디스크 드라이브(1036)는, 예를 들면, 메모리 슬롯에 맞도록 소형화될 수도 있다. 모바일 디바이스(1000)는 착탈식 메모리 인터페이스(1031)를 통해 이들 타입의 불휘발성의 착탈식 메모리와 인터페이싱할 수도 있거나, 또는 범용 직렬 버스(universal serial bus; USB), IEEE 10394, 유선 포트(들)(1040) 중 하나 이상, 또는 안테나(들)(1065)를 통해 연결될 수도 있다. 이들 실시형태에서, 착탈식 메모리 디바이스(1035-1037)는 통신 모듈(들)(1032)을 통해 모바일 디바이스와 인터페이싱할 수도 있다. 몇몇 실시형태에서, 이들 타입의 메모리의 모두가 반드시 단일의 모바일 디바이스 상에 포함되지 않을 수도 있다. 다른 실시형태에서, 이들 및 다른 타입의 착탈식 메모리의 하나 이상이 단일의 모바일 디바이스 상에 포함될 수도 있다.

몇몇 실시형태에서, 하드 디스크 드라이브(1036)는 모바일 디바이스(1000)에 보다 영구적으로 부착되는 방식으로 연결될 수도 있다. 예를 들면, 하드 디스크 드라이브(1036)는 버스(1015)에 연결될 수도 있는 인터페이스, 예컨대 패럴렐 어드밴스드 테크놀로지 어태치먼트(parallel advanced technology attachment; PATA), 시리얼 어드밴스드 테크놀로지 어태치먼트(serial advanced technology attachment; SATA) 또는 다른 것에 연결될 수도 있다. 이러한 실시형태에서, 하드 드라이브를 제거하는 것은, 모바일 디바이스(1000)의 커버를 제거하는 것 및 하드 드라이브(1036)를 모바일 디바이스(1000) 내의 지지 구조체에 연결하는 나사 또는 다른 패스너(fastner)를 제거하는 것을 수반할 수도 있다.

상기에서 논의되고 도 10에서 예시되는, 착탈식의 메모리 디바이스(1035-1037) 및 그들의 관련된 컴퓨터 저장 매체는, 컴퓨터 판독 가능 명령어, 프로그램 모듈, 데이터 구조체, 및 모바일 디바이스(1000)용의 다른 데이터의 저장을 제공한다. 예를 들면, 착탈식의 메모리 디바이스 또는 디바이스들(1035-1037)은, 모바일 디바이스(1000)에 의해 촬영된 이미지, 보이스 레코딩, 연락처 정보, 프로그램, 프로그램에 대한 데이터 및 등등을 저장할 수도 있다.

유저는, 키패드(1041) 및 마이크(1042)와 같은 입력 디바이스를 통해 커맨드 및 정보를 모바일 디바이스(1000)에 입력할 수도 있다. 몇몇 실시형태에서, 디스플레이(1043)는 터치 감지 스크린일 수도 있고 유저가 터치 감지 스크린 상에 커맨드 및 정보를 입력하는 것을 허용할 수도 있다. 키패드(1041) 및 디스플레이(1043)는, 버스(1015)에 커플링되는 유저 입력 인터페이스(1050)를 통해 프로세싱 유닛(1005)에 연결될 수도 있지만, 다른 인터페이스 및 버스 구조체, 예컨대 통신 모듈(들)(1032) 및 유선 포트(들)(1040)에 의해 또한 연결될 수도 있다. 디바이스(1000)를 이용하여 만들어지는 제스쳐를 결정하기 위해 모션 검출(1052)이 사용될 수 있다.

본원에서 설명되는 바와 같이, 입력은 소망의 출력으로 프로세싱될 수도 있다. 프로세싱은, 소프트웨어로, 하드웨어 로직으로, 또는 소프트웨어와 하드웨어 로직의 조합으로 수행될 수도 있다.

수동 제어와 관련하여, 유저는 입력 디바이스로서, 마우스, 터치스크린, 게임 컨트롤러, 리모콘 및 등등과 같은 다양한 상호작용식 양식 중 임의의 것을 사용할 수도 있다. 설정을 제어하기 위해 스피치 및/또는 제스쳐가 검출될 수도 있다. 실제, 제어는, 마우스, 키보드, 리모콘과 같은 종래의 인터페이스에 의해, 또는 내추럴 유저 인터페이스(Natural User Interface; NUI)와 같은 다른 인터페이스를 통해 용이하게 될 수도 있는데, 여기서 NUI는 마우스, 키보드, 리모콘, 및 등등과 같은 입력 디바이스에 의해 부과되는 인공적 제약이 없이, 유저가 디바이스와 "자연적인" 방식으로 상호작용하는 것을 가능하게 하는 임의의 인터페이스 기술로서 정의될 수도 있다. NUI 방법의 예는, 스피치 인식, 터치 및 스타일러스 인식, 스크린 상 및 스크린에 인접한 곳 둘 모두에서의 제스쳐 인식, 에어 제스쳐(air gesture), 머리 및 안구 추적(head and eye tracking), 보이스 및 스피치, 비전, 터치, 제스쳐, 및 머신 지능에 의존하는 것을 포함한다. NUI 기술의 다른 카테고리는, 터치 감지 디스플레이, 보이스 및 스피치 인식, 의도 및 목표 이해, 깊이 카메라(예컨대 입체 카메라 시스템, 적외선 카메라 시스템, RGB 카메라 시스템 및 이들의 조합)를 사용한 모션 제스쳐 검출, 가속도계/자이로스코프를 사용한 모션 제스쳐 검출, 얼굴 인식, 3D 디스플레이, 머리, 안구(eye) 및 응시 추적(head, eye and gaze tracking), 몰입형 증강 현실(immersive augmented reality) 및 가상 현실 시스템뿐만 아니라 전기장 감지 전극(electric field sensing electrode)을 사용하여 뇌 활동을 감지하기 위한 기술을 포함한다.

유저는, 예를 들면, 마이크(1042)에 말을 하는 것을 통해 그리고 키패드(1041) 또는 터치 감지 디스플레이(1043) 상에서 입력되는 텍스트 메시지를 통해 다른 유저와 통신할 수도 있다. 오디오 유닛(1055)은 스피커(1044)를 구동하기 위한 전기 신호를 제공할 수도 있을 뿐만 아니라 마이크(1042)로부터 수신되는 오디오 신호를 수신하여 디지털화할 수도 있다.

모바일 디바이스(1000)는, 카메라(1061)를 구동하기 위한 신호를 제공하는 비디오 유닛(1060)을 포함할 수도 있다. 비디오 유닛(1060)은 또한, 카메라(1061)로부터 획득되는 이미지를 수신할 수도 있고 이들 이미지를, 모바일 디바이스(1000) 상에 포함되는 프로세싱 유닛(1005) 및/또는 메모리로 제공할 수도 있다. 카메라(1061)에 의해 획득되는 이미지는, 비디오, 비디오를 형성하지 않는 하나 이상의 이미지, 또는 이들의 몇몇 조합을 포함할 수도 있다.

통신 모듈(들)(1032)은 하나 이상의 안테나(들)(1065)로 신호를 제공할 수도 있고 하나 이상의 안테나(들)(1065)로부터 신호를 수신할 수도 있다. 안테나(들)(1065) 중 하나는 셀폰 네트워크에 대한 메시지를 송신할 수도 있고 수신할 수도 있다. 다른 안테나는 Bluetooth? 메시지를 송신할 수도 있고 수신할 수도 있다. 또 다른 안테나(또는 공유된 안테나)는 무선 이더넷 네트워크 표준을 통해 네트워크 메시지를 송신할 수도 있고 수신할 수도 있다.

여전히 또한, 안테나는 위치 기반 정보, 예를 들면, GPS 신호를 GPS 인터페이스 및 메커니즘(1072)으로 제공한다. 그 다음, GPS 메커니즘(1072)은 대응하는 GPS 데이터(예를 들면, 시간 및 좌표)를 프로세싱에 이용 가능하게 만든다.

몇몇 실시형태에서, 하나보다 많은 타입의 네트워크에 대한 메시지를 송신하기 위해 및/또는 수신하기 위해, 단일의 안테나가 사용될 수도 있다. 예를 들면, 단일의 안테나가 보이스 및 패킷 메시지를 송신할 수도 있고 수신할 수도 있다.

네트워크화된 환경에서 동작되는 경우, 모바일 디바이스(1000)는 하나 이상의 원격 디바이스에 연결될 수도 있다. 원격 디바이스는, 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 셀폰, 미디어 재생 디바이스, 피어 디바이스 또는 다른 통신 네트워크 노드를 포함할 수도 있고, 통상적으로는, 모바일 디바이스(1000)에 관하여 상기에서 설명된 엘리먼트 중 많은 것 또는 전체를 포함한다.

본원에서 설명되는 주제의 양태는, 다양한 다른 일반적인 목적의 또는 특수 목적의 컴퓨팅 시스템 환경 또는 구성과 함께 동작 가능하다. 본원에서 설명되는 주제의 양태와 함께 사용하기에 적합할 수도 있는 널리 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예는, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그래머블 소비자 전자장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 디바이스 중 임의의 것을 포함하는 분산형 컴퓨팅 환경, 및 등등을 포함하지만, 그러나 이들로 제한되지는 않는다.

본원에서 설명되는 주제의 양태는, 모바일 디바이스에 의해 실행되고 있는 컴퓨터 실행 가능 명령어, 예컨대 프로그램 모듈의 일반적인 맥락에서 설명될 수도 있다. 일반적으로, 프로그램 모듈은, 특정 태스크를 수행하거나 또는 특정한 추상 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 콤포넌트, 데이터 구조체, 및 등등을 포함한다. 본원에서 설명되는 주제의 양태는 또한, 통신 네트워크를 통해 링크되는 원격 프로세싱 디바이스에 의해 태스크가 수행되는 분산형 컴퓨팅 환경에서 실시될 수도 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은, 메모리 스토리지 디바이스를 포함하는 로컬 및 원격 저장 매체 둘 다에 위치될 수도 있다.

또한, 용어 서버가 본원에서 사용될 수도 있지만, 이 용어는 클라이언트, 하나 이상의 컴퓨터 상에 분산되는 하나 이상의 프로세스의 세트, 하나 이상의 독립형 스토리지 디바이스, 하나 이상의 다른 디바이스의 세트, 상기의 것 중 하나 이상의 조합, 및 등등을 또한 포괄할 수도 있다는 것이 인식될 것이다.

결론

본 발명의 다양한 수정예 및 대안적 구성예가 가능하지만, 이들의 소정의 예시된 실시형태는 도면에서 도시되고 상기에서 상세히 설명되었다. 그러나, 본 발명을 개시된 특정 형태로 제한하려는 의도는 없으며, 오히려 반대로, 본 발명의 취지와 범위 내에 있는 모든 수정예, 대안적 구성예, 및 등가예를 포괄하도록 의도된다는 것이 이해되어야 한다.

본원에서 설명되는 다양한 실시형태 외에, 다른 유사한 실시형태가 사용될 수 있거나 또는 설명된 실시형태(들)로부터 벗어나지 않으면서, 설명된 실시형태(들)에 대한, 대응하는 실시형태(들)의 동일한 또는 등가적인 기능을 수행하기 위한 수정예 및 추가예가 이루어질 수 있다는 것이 이해되어야 한다. 여전히 또한, 다수의 프로세싱 칩 또는 다수의 디바이스가 본원에서 설명되는 하나 이상의 기능의 성능을 공유할 수 있고, 마찬가지로, 스토리지는 복수의 디바이스에 걸쳐 영향을 받을 수 있다. 따라서, 본 발명은 임의의 단일의 실시형태에 제한되지 않으며, 오히려, 첨부된 특허청구범위에 따른 폭 넓은 취지와 범위에서 해석되어야 한다.

Claims (10)

1. 비디오를 스타일화하기(stylizing) 위한 시스템에 있어서,
   상호작용식(interactive) 유저 인터페이스 콤포넌트; 및
   상기 상호작용식 유저 인터페이스 콤포넌트에 커플링되거나 상기 상호작용식 유저 인터페이스 콤포넌트를 통합하는 카메라 스타일화용 컨트롤러(camera stylizing controller)
   를 포함하고,
   상기 상호작용식 유저 인터페이스 콤포넌트는, 현존하는 비디오(existing video)를 획득하도록 그리고, 상기 현존하는 비디오의 원래의 카메라 모션과는 상이한 겉보기 카메라 모션(apparent camera motion)을 갖는 수정된 비디오로 상기 현존하는 비디오를 수정하기 위해 전력 레벨에 가산하는 것을 비롯하여, 상기 현존하는 비디오에 대응하는 하나 이상의 모션 파라미터 값의 상기 전력 레벨의 조정(adjustment)을 허용하도록 구성되는 것인, 시스템.
2. 제1항에 있어서,
   상기 유저 인터페이스 콤포넌트는 상기 하나 이상의 모션 파라미터 값에 대응하는 프리셋 데이터를 로딩하도록 구성되는 로드 메커니즘을 포함하는 것인, 시스템.
3. 제1항에 있어서,
   상기 유저 인터페이스 콤포넌트는, 가상 제어부(control) 또는 물리적 제어부, 또는 가상 제어부와 물리적 제어부 둘 다를 포함하는 것인, 시스템.
4. 제1항에 있어서,
   상기 카메라 스타일화용 컨트롤러는 전력 레벨의 주파수 도메인 조정을 허용하도록 구성되는 것인, 시스템.
5. 제1항에 있어서,
   다른 비디오 클립으로부터 모션 데이터를 획득하도록 구성되는 모션 획득 콤포넌트를 더 포함하는, 시스템.
6. 기존의(already-existing) 비디오의 겉보기 카메라 모션을 선택적으로 제어하기 위한 방법에 있어서,
   컴퓨팅 디바이스에 의해, 현존하는 비디오로부터의 모션 파라미터 값을 편집된 비디오의 조정된 모션 파라미터 값으로 조정하는 단계를 포함하고, 상기 조정하는 단계는 각각의 모션 파라미터에 대한 조정 가능한 모션 설정에 기초하여 복수의 모션 파라미터에 대한 독립적으로 제어 가능한 모션 파라미터 값을 제어하는 단계를 포함하고, 상기 모션 파라미터 값을 제어하는 단계는, 적어도 하나의 모션 파라미터에 대해, 원래의 모션 신호를, 전력 데이터에 대응하는 도메인 표현으로 변환하는 단계, 상기 도메인 표현에서의 하나 이상의 도메인 범위 중 적어도 하나 내에서 상기 전력 데이터의 전력 레벨을 변경하는 단계, 및 상기 도메인 표현을, 상기 원래의 모션 신호를 수정된 모션 신호로 조정하는 데이터로 역 변환하는 단계를 포함하는 것인, 기존의 비디오의 겉보기 카메라 모션을 선택적으로 제어하기 위한 방법.
7. 제6항에 있어서,
   상호작용식 유저 인터페이스를 통해 상기 조정 가능한 모션 파라미터 값을 획득하는 단계를 더 포함하는, 기존의 비디오의 겉보기 카메라 모션을 선택적으로 제어하기 위한 방법.
8. 제6항에 있어서,
   프리셋 데이터로부터 상기 조정 가능한 모션 파라미터 값을 획득하는 단계를 더 포함하는, 기존의 비디오의 겉보기 카메라 모션을 선택적으로 제어하기 위한 방법.
9. 제8항에 있어서,
   다른 비디오 클립으로부터 상기 프리셋 데이터 중 적어도 일부를 획득하는 단계를 더 포함하는, 기존의 비디오의 겉보기 카메라 모션을 선택적으로 제어하기 위한 방법.
10. 스타일화된 비디오의 생성을 가능하게 하기 위한 실행 가능한 명령어를 갖는 하나 이상의 머신 판독 가능 스토리지 디바이스 또는 머신 로직에 있어서,
    상기 실행 가능한 명령어는 실행시,
    컴퓨팅 디바이스에 의해, 현존하는 비디오 클립의 원래의 카메라 모션 경로에 대응하는 원래의 비디오 신호로부터 원래의 카메라 모션 파라미터 값을 획득하는 단계;
    상기 원래의 카메라 모션 파라미터 값의 도메인 표현 - 상기 도메인 표현은 상기 원래의 카메라 모션 파라미터의 각각에 대한 복수의 도메인 대역을 포함함 - 을 계산하는 단계;
    조정된 전력 레벨로의 각각의 도메인 대역에서의 개개의 전력 레벨 설정의 조정을 위한 인터페이스를 제공하는 단계;
    상기 조정된 전력 레벨의 역 도메인 표현에 대응하는 수정 데이터를 계산하는 단계; 및
    상기 원래의 카메라 모션 경로와는 상이한 겉보기 카메라 모션 경로를 갖는 수정된 비디오를 제공하기 위해, 상기 수정 데이터에 기초하여 상기 원래의 카메라 모션 파라미터 값을 수정하는 단계
    를 수행하는 것인, 하나 이상의 머신 판독 가능 스토리지 디바이스 또는 머신 로직.

Images