KR20190105023A

KR20190105023A - 디지털 스틸 이미지에 모션 효과의 부가

Info

Publication number: KR20190105023A
Application number: KR1020197021992A
Authority: KR
Inventors: 도날드 로체; 브래들리 콜라; 루이스 오스트로버
Original assignee: 워너 브로스. 엔터테인먼트 인크.
Priority date: 2017-01-13
Filing date: 2018-01-12
Publication date: 2019-09-11
Also published as: US10867425B2; EP3568832A1; KR102309722B1; JP2020504537A; JP6888098B2; WO2018132760A1; EP3568832A4; US20190378318A1

Abstract

디지털 스틸 이미지는 원래의 스틸 이미지 및 모션화 파라미터의 세트를 제공하는 모션 부가 알고리즘을 사용하여 처리된다. 모션 부가 알고리즘의 출력은 임의의 디지털 이미지 디스플레이 장치에 의한 디스플레이에 적합한 모션화된 디지털 이미지를 포함한다. 모션화된 디지털 이미지는 스틸 이미지가 예를 들어 e북, e-zine, 디지털 그래픽 소설, 웹사이트, 그림 또는 포스터, 또는 사용자 인터페이스에서 사용될 어떤 상황에서도 스틸 이미지 대신 사용될 수 있다.

Description

디지털 스틸 이미지에 모션 효과의 부가

관련 출원에 대한 교차 참조

본 출원은 전체 내용이 참조로서 본 명세서에 포함된 2017년 1월 13일 출원된 미국 가출원 제62/446,149호에 대해 U.S.C. 119(e)에 따른 우선권을 주장한다.

본 발명은 디지털 스틸 이미지(still image)에 모션 효과를 부가하기 위한 방법 및 장치에 관한 것이다.

다양한 애니메이션 기술이 당 업계에 공지되어 있지만, 이러한 기술은 종종 모션 데이터 또는 비디오 데이터를 필요로 하며, 비디오 데이터와 관련되지 않은 작은 세트의 스틸 이미지 또는 단일 스틸 이미지만이 이용가능한 경우에 동영상(moving image)을 생성하는데 적합하지 않다.

예를 들어, 그래픽 소설용 이미지는 종종 전통적인 종이 매체에 인쇄하기 위해 프레임 단위로 묘화된다(drawn). 전자 매체(예를 들어, 전자 서적)에 대해 동일한 컨텐츠를 준비할 때, 극적인 효과 또는 보다 눈길을 끄는 외관을 위해 모션 효과를 갖는 그래픽 소설의 하나 이상의 정적 이미지를 향상시키는 것이 바람직할 수 있다. 다른 예에서, 전자 매체에서 사용하기 위해 인쇄 광고에 사용되는 판촉 스틸 이미지에 모션 효과를 부가하는 것이 바람직할 수 있다.

그러나, 스틸 이미지에 모션 효과를 부가하는 것은 아티스트 또는 애니메이터(animator)에 의한 상당한 수작업 처리를 필요로 하며, 일부 애플리케이션에서는 비용이 많이 들게 된다. 또한, 고해상도 이미지가 애니메이션으로 재생되는 경우 움직이는 고해상도 프레임을 제작하는데 필요한 메모리가 원하는 전자 제품에 적용되는 메모리 한도를 초과할 수 있다. 따라서, 제작자는 모션 효과를 부가하거나 이미지의 품질을 낮춰야 하는 것 사이에서 선택할 필요가 있다.

따라서, 종래 기술의 이들 및 다른 제한을 극복하고 비디오 데이터와 관련되지 않은 작은 세트의 스틸 이미지 또는 단일 스틸 이미지만이 이용가능한 경우에 동영상을 생성할 수 있는 새로운 방법, 장치 및 시스템을 개발하는 것이 바람직하다. 특정 모션 효과의 부가를 자동화하거나 간소화하고 이미지 데이터의 품질을 유지하면서 모션화된 이미지를 유지하는데 필요한 컴퓨터 메모리의 양을 절약하는 것을 이점으로 포함할 수 있다.

이 요약 및 다음의 상세한 설명은 중복된 주제 및/또는 보충 주제를 포함할 수 있는 통합된 공개의 보완 부분으로 해석되어야 한다. 각 섹션의 누락은 통합된 출원에 설명된 임의의 요소의 우선 순위 또는 상대적 중요성을 나타내지 않는다. 섹션들 사이의 차이점은 대안적인 실시예의 보충적인 개시, 추가적인 세부사항, 또는 각각의 개시 내용으로부터 명백한 바와 같이, 상이한 용어를 사용하는 동일한 실시예의 대안적인 설명을 포함할 수 있다.

일 양태에서, 디지털 스틸 이미지에 모션 효과의 부가를 위해 메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법은 메모리로부터 소스 디지털 스틸 이미지를 선택하는 단계, 및 소스 디지털 스틸 이미지를 적어도 두 개의 영역으로 분할하는 단계를 포함할 수 있다. 적어도 두 개의 영역은 하나 이상의 비 중첩 고정 영역, 및 고정 영역 상에 적층된 것처럼 취급될 수 있는 하나 이상의 가동 영역을 포함할 수 있다. 분할은 하나 이상의 가동 영역 각각에 대한 기하학적 영역 경계 데이터(예를 들어, 디지털 마스크) 및 모션 데이터에의 세트에 기초할 수 있다. 모션 데이터는 메모리로부터 검색된 디지털 스틸 이미지 또는 디지털 스틸 이미지의 세트에 대한 작동 파라미터의 세트이거나 이를 포함할 수 있다. 일부 실시예에서, 비 중첩 영역 각각은 단일 픽셀로 구성된다.

방법은 모션화된(motionized) 결과의 임의의 프레임에서 하나 이상의 가동 영역에 의해 폐쇄된 하나 이상의 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계를 포함할 수 있다. 예를 들어, 이는 제2 소스 디지털 이미지로부터 픽셀 값을 추출함으로써 적어도 부분적으로 하나 이상의 가동 영역에 의해 폐쇄되는 하나 이상의 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계를 포함할 수 있으며, 픽셀은 하나 이상의 가동 영역에 의해 폐쇄되지 않는다. 대안적으로, 또는 부가적으로, 결정하는 단계는 연속적인 폐색 픽셀 영역의 경계에 인접한 비 폐색 픽셀(non-occluded pixel)에 기초하여 절차적으로 값을 생성함으로써 적어도 부분적으로 하나 이상의 가동 영역에 의해 폐색된 하나 이상의 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계를 포함할 수 있다.

방법은, 시퀀스에서 비디오 프레임의 세트를 생성하는 단계로서, 비디오 프레임의 세트 내의 프레임 각각은 하나 이상의 고정 영역 위에 적층된 프레임 각각의 시간에 기초하여 모션 데이터에 의해 변환된 하나 이상의 가동 영역을 포함하는, 프레임의 세트를 생성하는 단계 및 비휘발성 컴퓨터 메모리에 비디오 파일로서 비디오 프레임의 세트를 저장하는 단계를 더 포함할 수 있다. 일 양태에서, 비디오 프레임의 세트를 생성하는 단계는 무한 루프에서 비디오 프레임의 세트를 배열하는 단계를 포함할 수 있다.

일 양태에서, 하나 이상의 가동 영역 각각에 대한 모션 데이터는 독립적으로 결정된 모션 벡터를 포함할 수 있다. 선택적으로, 독립적으로 결정된 모션 벡터는 경로에 걸쳐 시간에 따라 변한다. 따라서, 하나 이상의 가동 영역 각각에 대한 모션 데이터는 경로에 걸쳐 시간에 따라 변하는 모션 벡터를 포함할 수 있다.

방법은 비디오 프레임의 세트의 각 프레임에 대한 하나 이상의 가동 영역을 변환하는 단계를 더 포함할 수 있다. 변환하는 단계는 모션 벡터, 각 프레임의 시간, 및 카메라 위치 및 초점 길이를 정의하는 데이터에 기초하여 하나 이상의 가동 범위를 스케일링 하는 단계를 포함할 수 있다. 변환하는 단계는 선택된 블러링 알고리즘(blurring algorithm)에 기초하여 각 프레임에서 하나 이상의 가동 영역의 적어도 일부를 블러링하는 단계를 더 포함할 수 있다. 대안적으로, 또는 부가적으로, 변환하는 단계는 선택된 샤프닝 알고리즘(sharpening algorithm)에 기초하여 각 프레임에서 하나 이상의 가동 영역의 적어도 일부를 샤프닝하는 단계를 더 포함할 수 있다. 블러링 또는 샤프닝하는 단계는 시간 또는 픽셀 위치에 따라 변할 수 있다.

다른 양태에서, 방법은 비디오 프레임의 세트의 각 프레임에 대해 하나 이상의 고정 영역을 변환하는 단계를 포함할 수 있다. 이 변환하는 단계는 하나 이상의 고정 영역 중 적어도 하나에 픽셀 변환 필터를 적용하는 단계를 포함할 수 있다. 예를 들어, 필터를 적용하는 단계는 각 프레임의 시간에 기초하여 필터의 입력 파라미터를 변화시키는 단계를 포함할 수 있다. 다른 예에서, 필터를 적용하는 단계는 시퀀스의 선행하는 프레임에 대한 필터의 출력에 필터를 적용하는 단계를 포함할 수 있다. 상이한 프레임에서 상이한 파라미터를 갖는 필터를 적용하는 단계는 고정 영역에서 나타나는 하나 이상의 객체의 모션의 환영 또는 다른 동적 시각 효과를 생성하는데 사용될 수 있다.

따라서, 본 명세서에서 사용된 바와 같이, “고정 영역들” 또는 “고정 영”이라는 문구는 모션화된 결과에서 아무 것도 움직이지 않는 것으로 보이는 이미지의 영역을 기술하거나 암시하는 것을 의미하지 않는다. 대조적으로, 필터의 동적인 적용, 또는 팬 또는 줌과 같은 조작은 고정 영역에서 이미징된 객체가 고정 영역에서의 다른 객체에 대해 또는 모션화된 결과의 프레임(예를 들어, 비디오 프레임)에 대해 이동하거나 이동하는 것처럼 보일 수 있다. 대신에, “고정 영역”이라는 용어는 경로를 따라 또는 모션 벡터나 벡터의 세트에 따라 이미지에 대해 전체적으로 이동하지 않는 영역을 기술하는데 사용된다. 그러나, 가동 영역은 이미지의 다른 부분에 대해 일부 경로, 벡터 또는 벡터들에 따라 이동, 확장, 축소 또는 회전한다. 또한, 가동 영역은 가동 영역 자체 내에서 다른 동적 효과를 얻기 위해 고정 영역과 동일한 방식으로 처리될 수도 있다.

본 발명의 다른 양태에서, 디지털 스틸 이미지에 모션 효과를 부가하는 장치는 이미지 프로세서에 커플링된 메모리를 포함한다. 메모리는 프로세서에 의해 실행될 때 장치가 전술한 방법 및 선택적으로 하나 이상의 부가 작동을 수행하게 하는 프로그램 명령을 보유할 수 있다.

전술한 목적 및 관련 목적의 달성을 위해, 하나 이상의 예는 아래에서 충분히 설명되고 특히 청구범위에서 지적된 특징을 포함한다. 다음의 설명 및 첨부된 도면은 소정의 예시적인 양태를 상세히 설명하고 실시예의 원리가 사용될 수 있는 다양한 방법 중 일부만을 나타낸다. 다른 장점들 및 신규한 특징은 모든 이러한 양태 및 그 등가물을 포함하는 도면 및 개시된 예와 관련하여 고려될 때 다음의 상세한 설명으로부터 명백해질 것이다.

본 발명의 특징, 특성 및 이점은 유사한 참조 번호가 명세서 및 도면 전체에 걸쳐 대응하는 유사한 요소를 나타내는 도면과 관련하여 후술될 상세한 설명으로부터 더 명백해질 것이다.
도 1은 디지털 스틸 이미지에 모션 효과를 부가하는 장치의 양태를 도시하는 블록도이다.
도 2는 디지털 디스플레이 장치에 의해 디스플레이되는 디지털 스틸 이미지의 일부를 도시하는 개략도이다.
도 3은 모션화된 디지털 이미지를 생성하기 위해, 디지털 디스플레이 장치에 의해 디스플레이되는 두 개의 디지털 스틸 이미지의 일부를 도시하는 개략도이다.
도 4는 모션화하는데 사용되는 다양한 데이터 파라미터를 데이터 테이블이다.
도 5는 모션화 장치에 의해 실행될 수 있는 디지털 스틸 이미지를 모션화하는 방법의 요소를 도시하는 흐름도이다.
도 6은 도 5에 도시화 된 것과 같은 디지털 스틸 이미지를 모션화 하는 단계의 일부인 비디오 시퀀스를 생성하는 단계를 도시하는 흐름도이다.
도 7은 모션화 장치에 의해 실행될 수 있는 디지털 스틀 이미지를 모션화하는 방법의 다른 요소를 도시하는 선형 흐름도이다.
도 8은 디지털 스틸 이미지에 모션 효과를 부가하기 위한 모션화 장치의 양태를 도시하는 블록도이다.

이제 다양한 양태가 도면을 참조하여 기술된다. 다음의 설명에서, 설명의 목적으로 하나 이상의 양태에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 그러나, 이러한 특정 세부 사항 없이도 다양한 양태가 실행될 수 있음은 자명할 수 있다. 다른 예에서, 공지된 구조 및 장치는 이러한 양태의 설명을 용이하게 하기 위해 블록도의 형태로 도시된다.

도 1을 참조하면, 본 개시는 디지털 스틸 이미지에 모션 효과를 부가하기 위한 장치(102) 및 시스템(100)에 관한 것이다. 장치(102) 및 시스템(100)은 장치(102)의 프로세서(104)에 의해 실행될 때 스틸 이미지 데이터를 모션화하는 방법을 수행하게 하는 프로그램 명령(108)을 보유하는 메모리(106)를 포함할 수 있다. 예를 들어, 이러한 방법은 문제가 되는 장면(scene)에서 실제 이동 데이터의 비디오를 사용할 수 없거나 전통적인 애니메이션 기술(예를 들어, 트위닝(tweening) 또는 로토스코핑(rotoscoping))을 사용한 비디오 처리가 비효율적이거나 비싼 경우 스틸 이미지 데이터를 모션화하는데 유용할 수 있다.

방법의 일 양태에서, 디지털 스틸 이미지(112)(예를 들어, TIFF, GIF, JPEG, PNG, 등의 포맷 파일)가 컴퓨터 상에서 작동하는 알고리즘 모션화 처리에 대한 입력으로서 제공된다. 예를 들어, 이미지(112)는 디지털 형태로 생성될 수 있고 디지털 파일로서 전자 메모리에 존재(reside)할 수 있으며, 여기서 전자 메모리는 모션화 프로세스를 실행하는 프로세서에 의해 판독될 수 있다. 대안적으로, 이미지는 물리적인 매체로부터 전자 포맷으로 스캔되어 메모리에 저장될 수 있다. 본 발명의 방법이 작동하는 프로세스(108) 및 컴퓨터 하드웨어(104)는 때때로는 함께 본 명세서에서 “모션화 모듈”이라고도 한다. 예를 들어, 모션화 파라미터(110)는 데이터 저장소로부터 판독되거나 사용자 인터페이스를 통해 입력되는 배치 데이터(batch data)로서 모션화 모듈에 제공된다. 모션화 모듈의 다양한 모션화 파라미터(110) 및 관련 알고리즘(108)이 차례로 기술된다. 이들 알고리즘은 병렬 또는 순차 작동에 의해 결합되어, 디지털 디스플레이 장치(120) 상에 디스플레이될 수 있는 출력 모션화된 디지털 이미지(112)에 부가하기 위한 다양한 모션 효과를 생성할 수 있다. 사용자는, 이에 제한되지는 않지만, 모션화 파라미터(110)의 값을 설정하는 것을 포함하여, 터미널(118)을 통해 모션화 모듈에 사용자 입력을 제공하고 상호 작용할 수 있다.

일 양태에서, 알고리즘(108)은 스틸(들)의 객체 또는 레이어를 고유하게 식별하는 단계 및 1) 오직 하나(또는 그 이상)의 다른 스틸 포토 소스만을 제공함으로써 폐색된 정보를 부가하는 단계를 포함한다. 도 2를 참조하면, 이들 이미지 모두는 본 명세서에서 '키' 프레임으로 지칭되며, 예를 들어, 이동하는 축구 공 장면(200)에서 키 프레임은 축구 공(204) 뒤에 있는 것(208)을 폐색할 것이다. 도시된 이미지(200)는 축구 공(204), 잔디(206) 및 하늘(202)의 적어도 세 개의 별개의 영역을 포함한다. 대안적으로, 시스템(100)은 폐색 객체(204) 주변의 경계 조건에 기초하여 폐색 데이터(208)를 채울 수 있다. 예를 들어, 볼(204)이 잔디에 의해 둘러싸인 경우, 보간(interpolation) 및 전달 알고리즘은 잔디 영역(206)과 유사한 패턴으로 폐색 공간(208)을 채우고 그것을 폐색 영역 경계 주위에서 매칭시키는데 사용될 수 있다. 이는 폐색된 부분을 채우기 위해 필요한 픽셀 패턴을 생성하기 위한 기초로서 사용되거나 복제될 잔디 이미지(206)의 일부를 선택하는 조작자에 의해 이용될 수 있다.

도 3을 참조하면, 두 개의 입력 스틸 이미지(302, 310)의 세트(300)를 사용하여 출력 이미지(320)를 생성하는 알고리즘의 작동이 도시된다. 제1 이미지(302)는 구름 영역(307), 공(306), 잔디(308) 및 하늘(304)을 포함하는 제1 키 프레임을 나타낸다. 프레임(310)에 도시된 바와 같이, X 또는 Y축(또는 Z 축으로)을 따른 다른 위치에서 공(312)이 없는 또는 공(312)이 있는 장면의 단일 키 프레임(310)을 부가함으로써, 그 다음, 시스템(100)은 모션화된 출력 이미지(320)를 생성할 때 다른 방식으로 폐색된 정보(예를 들어, 영역(208))를 채우고, 또한 모든 3 개의 축을 따라 식별된 객체(예를 들어, 축구 공)의 다양한 움직임을 허용하며; 2) 실제 이미지 데이터 대신 메타데이터를 제공함으로써 동일한 개념을 달성할 수 있다.

일 양태에서, (이미지 데이터의 평면에서) X 및 Y 축뿐만 아니라 (이미지 평면에 수직인) Z 축 이동을 따르는 움직임은 주어진 카메라 위치 및 초점 거리에 기초하여 시뮬레이션될 수 있다. 예를 들어, 알고리즘은 프레임(302) 내의 볼(306) 및 제2 프레임(310)의 볼(312)을 동일한 객체로 인식하고 하나 이상의 대응하는 포인트(이 경우, 중심점)에 기초하여 벡터(322)를 계산함으로써 모션화 벡터(322)를 유도할 수 있다. 유사하게, 시스템(100)은 Z 축에서 카메라에 대한 공의 움직임에 대응하는 스케일 파라미터 및/또는 흐림 인자(blur factor)를 계산할 수 있다. 예를 들어, 볼이 더 가깝게 이동하면, 스케일 인자(예를 들어, 200%)가 공(306, 312)의 이미지를 비교함으로써 계산될 수 있다. 이미지(306 또는 312)가 초점을 벗어난 경우, 흐림 인자가 또한 계산될 수 있다. 스케일 및 흐림은 키 프레임(302, 310) 사이에서 선형적으로 보간될 수 있거나 보다 정교한 보간 기술이 보다 흥미로운 또는 실제와 같은 모션을 제공하는데 사용될 수 있다. 예를 들어, 비선형 보간법은, 스케일, 흐림 또는 다른 파라미터의 변화를 비선형 곡선, 예를 들어, 지수, 2차 또는 삼각함수 곡선과 일치시키는데 사용될 수 있다. 유사하게, 동일한 입력 이미지(302, 310)를 사용하여, 시스템(100)은 예를 들어 제1 클라우드(307) 및 제2 클라우드(314)인 임의의 두 개의 다른 대응하는 객체의 상이한 위치 및 배향에 기초하여 상이한 선형 모션 벡터(324) 및 회전 벡터(326)를 독립적으로 계산할 수 있다.

이미지(306, 312)는 또한 강체 또는 탄성체로 모델링될 수 있는 단일 객체(예를 들어, 공)로서 분석될 수 있다. 이와 같이, 몸체는 그 자신의 회전 또는 변형 벡터가 부여되며, 공지된 표면 채색이 그에 따라 회전되거나 변형될 수 있다. 모든 뷰에서 폐색된 표면 채색은 본 명세서에 기술된 폐색된 이미지 데이터를 제공하는 방법 중 하나를 사용하여 제공될 수 있다.

이미지 평면에서의 움직임에 대해, 배경 데이터의 폐색은 오버레이에 의해 계산될 수 있으며, 문제의 객체(들)이 하나의 위치에서 두번째 위치로 충분히 이동하면 나중에 완전히 드러날 수 있다. 예를 들어, 주어진 두 장의 사진에서 대상 축고 공은 하나의 위치에서 다른 위치로 재배치될 수 있으며, 이로써 첫번째 위치에 의해 폐색되었던 배경을 완전히 노출시킬 수 있다. Z 축 축구 공의 예에서(미도시), 원래 확대된 키 프레임에서 축소하는 경우와 같이 축구 공의 이동으로 원래 폐색된 정보의 일부(100%가 아님)만이 표시될 수 있다.

지각된(perceived) 움직임의 방향은 2 개(또는 그 이상)의 키 프레임이 처리되는 순서를 변경함으로써 제어될 수 있다. 이는 2 개(또는 그 이상)의 키 프레임이 X, Y 및/또는 Z 축 또는 축들에서 관심있는 일부 객체(들)의 위치가 다른 곳인 변화하는 정도(varying degree)에 적용된다. 키 프레임의 처리 순서는 픽셀의 벡터(스칼라가 아니라) 변위에 의해 결정되는 움직임의 결과 비디오 방향(들)과 관련된다. 이동 방향은 키 프레임 처리 순서에 따라 달라질 수 있으며 결과 움직임(resulting movement)은 다른 효과에 맞게 조정될 수 있다. 예를 들어, 적어도 2 개의 키 프레임 이미지가 주어지면, 공이 공이 뷰어로부터 더 멀리(Z축) 있는('줌 아웃') 제2 키 프레임과 대조적으로 뷰어에 더 가까워(Z 축)지며('줌 인'), 처리 순서는 모션화된 출력이 공의 줌 “인” 또는 줌 “아웃”을 결정하는데 사용될 수 있다. 결과 모션(resulting motion)은 제1-제2 시퀀스에서 프레임이 처리되면 축소될 수 있고, 제2-제1 시퀀스에서 처리되면 확대될 수 있다.

다른 예에서, 오른쪽에서 왼쪽으로의 키 프레임(302, 310) 및 결과 움직임과 대조적으로, 제1 키 프레임이 좌측에 축구 공을 나타내고 제2 프레임이 우측에서 축구 공을 나타내는 경우 모션은 오른쪽에서 왼쪽으로 또는 왼쪽에서 오른쪽으로일 수 있으며; 수직 움직임도 마찬가지로 계산될 수 있다. 또한, 키 프레임 처리 순서의 차이는, 상이한 흐림 효과에 의해; 안에 있는 배경 또는 전경 또는 객체(들)의 초점의 심도(depth of focus)의 차이에 의해; 안에 있는 객채(들)의 이동 특성의 차이에 의해; 안에 있는 객체(들)의 일부의 타이밍된 움직임(들)의 차이에 의해; 또는 장면 내의 일부 객체(들)에서 다른 수준의 세부사항에 의해 입증될 수 있다.

변화하는 파라미터에 의해 모션화된 효과를 부가하는 알고리즘(108)은 상이한 효과에 대한 필터 또는 함수(예를 들어, Adobe Photoshop^TM, GIMP^TM 및 유사한 이미지 처리 소프트에어에 의해 제공됨)를 포함할 수 있다. 따라서, 균일하지 않은 블러링, 샤프닝 또는 모션(예를 들어, 가우시안(Gaussian) 필터 또는 함수)은 불균일한 분포로 문제의 블러링, 샤프닝 또는 모션을 분산시키는데 사용될 수 있다. 예를 들어, 에지 강화에 사용되는 것과 같은 샤프닝 필터 또는 함수는 관련 객체 에지를 검출할 수 있고 식별된 에지에 대한 저역 패스 필터링을 통해 결과적인 선명한 에지(resulting sharper edge)와 함께 고주파수를 높일 수 있다.

예를 들어, 움직이는 공간 캡슐의 후면을 통해 별이 빛나는 하늘의 이미지를 모션화할 때, 상대적으로 고정된 별(아마도 편집상으로 관련성이 있는 것)은 흐려지기보다는 선명하게 될 수 있다. 예를 들어, 모션화 효과는 필터링되지 않은 별의 키 프레임 이미지와 선명화된 키 프레임 이미지 사이를 순환할 수 있다. 어떤 경우에는, 샤프닝 또는 블러링 효과는 초점 심도 변화의 현저한 차이(Z 축 줌 인/아웃)를 나타내는 2 개의 키 프레임 사이의 차이 또는 하나의 키 프레임의 적어도 일부 재료 부분의 부분적으로 투명한 시야가 다른 것과 다른 창, 거즈 커튼(guaze drape), 먼지 구름, 비누 거품 등과 같이 부분적으로 투명하거나, 부분적으로 불투명하거나 또는 투명한 매체를 통해 보는 것으로부터 발생할 수 있다. 블러링 또는 샤프닝에 따라, 알고리즘은 광원을 식별(또는 유도)하고 사진 음영 기술을 적용하는 것과 같은 적절한 섀도잉(shadowing) 또는 음영(shading)을 부가하는 제2 키 프레임을 포함할 수 있다.

일 양태에서, 모션화 알고리즘은, 예를 들어 단일 키 프레임으로 줌잉(zooming)하고 전경을 선명하게 하면서 배경을 블러링함으로써(아마 위에서 설명한 바와 같이 불균일한 방식으로), 제1 키 프레임으로부터 제2 키 프레임을 생성(또는 그의 역으로)함에 의해 적어도 2 개를 요구하는 것 보다 하나의 키 프레임에만 의존할 수 있다. 다시, 축구 공의 예를 참조하면, 이제 '더 큰' 공은 확대된 프레임의 배경을 더 많이 폐색한다.

도 4를 참조하면, 디지털 스틸 이미지를 모션화하는 파라미터(400)는 메타데이터로서 기록될 수 있으며, 이미지의 어느 부분 또는 객체(들)이 모션화되어야 하는지, 어느 부분 또는 객체가 정적으로 유지되어야 하는지 그리고 어느 이미지 변환이 블러링, 샤프닝, 비균일 또는 균일한 움직임, 일정하거나 일정하지 않은 모션과 같은 모션화 효과의 일부가 되어야 하는지를 식별하는데 사용될 수 있다.

예를 들어, 영역 파라미터(402)는 모션화될 이미지 영역 및 정적으로 유지되는 영역의 위치 및 기하학적 형상; 영역 위치, 형상, 또는 배향이 정적(고정)인지 또는 모션화될 대상인지; 그리고 모션화된 영역이 강체(rigid body)로 모션화되어야 하는지 또는 변형 가능한 몸체로 모션화되어야 하는지를 포함할 수 있다.

예를 들어, 모션 데이터 파라미터(404)는 모션 경로; 회전 중심; 속도, 가속 및 회전 또는 선형 모션의 방향, 모션화된 객체 또는 영역 스케일(예를 들어, 100%, 50%, 200%), 비 강체 파라미터(예를 들어, 탄성, 점성, 힘 벡터); 및 임의의 스칼라 또는 벡터 모션 데이터 파라미터에 대한 변경 비율을 포함할 수 있다.

고정된(모션화되지 않은) 영역 또는 움직임이 없는 부분에 대한 파라미터(406)는 모션화된 영역의 움직임에 의해 드러난 폐색 영역을 텍스쳐링하기 위한 데이터, 필터(예를 들어, 블러링, 샤프닝, 에지 검출 또는 다양한 특별한 효과), 필터 진행(filter progression)(예를 들어, 상이한 필터가 적용되는 순서), 및 고정 데이터 파라미터(406)에 의해 제어되는 이미지에서의 임의의 변화율을 포함할 수 있다.

예를 들어, 조명 및 착색을 제어하기 위한 파라미터(408)는 광원의 위치 및 방향; 명도; 색조, 채도 및 조명과 착색 파라미터(408)에 의해 제어되는 이미지에서의 임의의 변화율을 포함할 수 있다.

예를 들어, 출력 비디오 파라미터(410)는 이미지 프레임 사이즈, 소스 키 프레임 식별자, 출력 프레임의 수, 프레임 레이트 및 비디오 포맷을 포함할 수 있다. 예를 들어, 적합한 비디오 포맷은 MPEG-1, MPEG-2, MPEG-4, Adobe^TM Flash, Windows^TM Media video, Quicktime file format, GIF, WebM, 3GPP, 3GGP2, Nullsoft^TM 스트리밍 비디오 또는 기타 적합한 포맷을 포함할 수 있다. 일반적으로, 이들과 같은 출력 비디오 파라미터는 단일 파일 또는 스트리밍 세션 내에서 변경되지 않는다.

모션화 알고리즘(108)은 키 프레임의 차이 그리고 원하는 움직임의 유형, 거리 및/또는 속도에 기초하여 필터에 관한 '현명한' 결정을 하도록 설계될 수 있다. 사용자는 설정 또는 환경 설정 인터페이스(Preference interface)에서 이러한 결정을 무시할 수 있다. 로 이미지 키 프레임(raw image key frame)과 함께 제공되는 메타데이터는 출력을 맞추는데 사용될 수 있다(예를 들어, 앞에서 언급한 '일정하거나 일정하지 않은 모션'의 예). 일 양태에서, 이미지 메타데이터는 XML 태그, VRML 태그 또는 별개의 파일 내의 이진 데이터(binary data)로서 제공될 수 있다.

예를 들어, 메타데이터는 또한 사용자 피드백에 응답하여 동일한 키 프레임에 상이한 세트의 메타데이터를 적용하고 상이한 결과를 출력함으로써 모션화된 이미지와의 사용자 상호작용을 지원하는데 사용될 수 있다. 모션화 모듈은 메타데이터 값에 따라 키 프레임 데이터 또는 유도된 프레임 데이터를 다르게 애니메이팅하거나 그렇지 않으면 다르게 조작할 수 있다. 예를 들어, 배트맨이 Batarang(박쥐 형상의 부메랑 장치)을 던지는 장면에서, 모션화된 모듈은 Batarang을 x, y 또는 z 평면으로 이동시키거나 시계 방향 또는 반시계 방향으로 돌리는 것을 애니메이팅하거나, 그렇지 않으면 사용자가 선택하는 메타데이터의 세트에 따라 블러링 또는 샤프닝의 변화를 변경할 수 있다.

다른 양태에서, 고유하게 식별된 객체들 또는 층을 사용하여, 모션화하는 단계는 a) 일정한 모션뿐만 아니라 가변 속도 모션, 예를 들어 곡물을 방해하는 가변 돌풍(gusts of wind)을 갖는 곡식의 황금색 물결(amber waves of grain); b) 모션 층, 즉, 상이한 평면 또는 층에 대해 상이한 모션을 나타내는 층, 예를 들어, 배경에서 구름을 갖는 곡식의 황금색 물결 및 전경에서 다른 속도 또는 속도 대 구름(rate vs. the clouds)에서의 밀 움직임을 갖는 밀의 파노라마 키 프레임을 포함할 수 있다.

결과의 룩(look)을 향상시키는 흐림 요소를 제어하기 위해 모션화 모듈이 파라미터에 부가될 수 있다. 예를 들어, 흐림 요소는 시스템을 흐리게 하는 소스 픽셀(들)에 인접한 픽셀의 수를 특정할 수 있다. 이 요소는 이미지로 제공되거나, 별개 데이터로서 대역 외로 제공되거나, 또는 단순히 메타데이터로 제공될 수 있다.

모션화 모듈은 모션화된 디지털 이미지를 출력하며, 움직이는 영상에 대한 임의의 적합한 디지털 포맷의 애니메이션 루프를 포함한다. 출력 모션화 디지털 이미지는 스틸 이미지가 예를 들어 e북, e-zine, 디지털 그래픽 소설, 웹사이트, 그림 또는 포스터, 또는 사용자 인터페이스에서 사용될 어떤 상황에서도 스틸 이미지 대신 사용될 수 있다. 일 실시예에서, 모션화된 이미지는 사용자가 전자 소스 이미지를 제공하는 전자 “액자(picture frame)” 또는 “포스터 프레임(poster frame)”에 디스플레이된다. 전자 프레임은 특정 소정의 모션화된 알고리즘을 자동으로 생성하도록 프로그래밍될 수 있다. 예를 들어, 중첩하는 이미지 영역을 갖는 2 개 이상의 공급된 이미지를 검출하는 경우, 모션화 모듈은 파노라마 이미지를 자동으로 스티칭하고(stich), 파노라마 이미지보다 실질적으로 작은 뷰 프레임을 사용하여 이미지에 걸쳐 천천히 패닝(panning)함으로써 모션화된 사이클을 생성할 수 있다. 다른 예에서, 전경 객체가 이동하는 동안 2 개 이상의 이미지의 배경이 동일하다는 것을 검출하면, 모션화 모듈은 전경 객체의 애니메이션을 자동으로 생성할 수 있다.

전술한 세부 사항은 하나 이상의 스틸 이미지를 모션화하는 방법에 통합될 수 있으며, 이는 모션화 장치(102)에 의해 실행될 수 있다. 도 5는 디지털 스틸 이미지를 모션화하기 위한 하나의 이러한 방법(500)의 요소를 도시한다. 502에서, 장치는 하나 이상의 입력 스틸 이미지를 선택하여 하나 이상의 선택된 이미지의 세트를 생성한다. 일 양태에서, 장치는 사용자 입력, 예를 들어 장치에 액세스 가능한 컴퓨터 메모리 위치에서 정적 이미지 파일 또는 파일들의 사용자 선택에 응답하여 이미지를 선택할 수 있다. 대안적으로, 또는 부가적으로, 장치는 지정된 전자 디렉토리 폴더 또는 다른 데이터 구조에 배치된 정적 이미지 파일을 분석하고, 모션화 방법(500)에 대한 입력으로서 사용하기에 적합한 두 개 이상의 유사한 이미지를 식별할 수 있다. 다른 대안으로, 장치는 교묘한 또는 다른 효과를 위해 대안적인 모션화된 비디오를 생성하는 모션화 프로세스에 대한 입력으로서 사용하기 위한 적합성에 기초하여 비디오 파일로부터 2 개 이상의 비디오 프레임을 선택할 수 있다. 이미지 선택(502)은 모션화된 출력과의 호환성, 객체 인식을 위한 이미지 컨텐츠의 분석, 광원, 노출 설정, 폐색된 영역의 식별, 및 선택된 모션화 프로세스 및 원하는 출력에 관련된 다른 작동을 보장하도록 이미지 포맷, 해상도 및 크기를 체크하는 단계를 포함할 수 있다. 일반적으로, 선택된 세트의 이미지는 동일한 이미지 사이즈와 픽셀 해상도를 가져야하며 그렇지 않은 경우 변환해야 한다.

입력 이미지(502)를 선택하는 것과 병행하여, 상기 선택(502) 이전에 또는 상기 선택(502) 후에, 모션화 장치는 하나 이상의 선택된 이미지의 세트에 적용될 모션화 파라미터(518)를 결정할 수 있다(504). 모션화 파라미터(518)는 알고리즘적으로 생성되거나 랜덤하게 생성된 하나 이상의 다양한 소스로부터: 디폴트(미리 결정된) 리스트로부터, 사용자 입력으로부터 도출될 수 있다. 많은 실시예에서, 파라미터 소스의 혼합이 사용될 수 있다. 예를 들어, 많은 파라미터가 고정되거나 미리 설정될 수 있지만 사용자 인터페이스를 통해 사용자 수정을 받는 반면, 다른 파라미터는 입력 이미지의 품질에 기초한 알고리즘에 의해 선택될 수 있으며, 다른 파라미터는 랜덤하게 변경될 수 있다. 사용자는 적절한 사용자 인터페이스를 통해 모션화 파라미터를 선택할 수 있다. 특정 모션화 파라미터의 예는 전술한 설명 및 도 4에 제공되어 있다. 다른 파라미터도 또한 적합할 수 있다. 일반적으로, 모션 파라미터(504)를 결정하는 것은 시스템 사용자에 의해 특정된 소정의 원하는 결과를 달성할 가능성이 있는 파라미터를 선택하는 것에 기초해야 한다.

506에서, 모션화 장치(502)는 502에서 선택된 입력 이미지 및 504에서 결정된 모션화 파라미터에 기초하여 비디오 시퀀스를 생성할 수 있다. 비디오 시퀀스(506)를 생성하는 단계는 원하는 출력 포맷을 위한 임의의 적합한 애니메이션 알고리즘과 결합될 수 있는 본 명세서에 기술된 바와 같은 보간, 선택적인 필터링 및 다른 모션화 기술을 사용하여, 모션화 파라미터를 기반으로 2 개 이상의 키 프레임 및 모든 개재 프레임(intervening frame)을 생성하는 단계를 포함할 수 있다. 애니메이션 알고리즘은 원본 스틸 이미지로부터 모션화하기 위해 구성되어야 하고, 공지된 2-D 또는 3-D 컴퓨터 애니메이션 방법을 통해 획득된 정보를 포함할 수도 있다. 비디오 시퀀스(506)를 생성하는 단계는 선택된 비디오 포맷에 따라 비디오 파일을 생성하는 단계 및 생성된 비디오 파일을 컴퓨터 메모리 또는 저장 매체에 저장하는 단계를 더 포함할 수 있다. 비디오 시퀀스를 생성하는 추가 세부사항은 도 6 및 본 명세서의 다른 곳에 제공된다.

508에서, 모션화 장치는 적절한 디스플레이 장치, 예를 들어 컴퓨터 모니터 또는 다른 디스플레이 스크린, 비디오 프로젝터, 또는 가상 현실 바이저를 사용하여 비디오 시퀀스(506)를 생성함으로써 초래된 하나 이상의 비디오 시퀀스를 디스플레이할 수 있다. 사용자는 비디오를 리뷰할 수 있고, 모션화 장치는 510에서 승인 또는 불승인을 나타내는 신호를 수신할 수 있다. 비디오가 승인되면, 모션화 장치는 하나 이상의 선택된 비디오 파일 포맷에 비디오 시퀀스(5140를 저장하여 방법(500)을 결론지을 수 있다. 비디오가 승인되지 않으면, 모션화 장치는 하나 이상의 모션화 파라미터(512)를 조절할 수 있고, 조절된 모션화 파라미터에 기초하여 새로운 비디오 시퀀스(506)를 생성할 수 있다.

모션화 방법(500)의 중요한 작동은 비디오 시퀀스(506)를 생성하는 단계를 포함할 수 있다. 도 6은 디지털 스틸 이미지를 모션화하는 것(500)의 일부로서 비디오 시퀀스를 생성하는 것의 더 상세한 양태(600)를 도시한다. 도시된 작동은 단지 예일 뿐이다. 602에서, 모션화 장치는 하나 이상의 디지털 스틸 이미지의 영역을 선택할 수 있다. 예를 들어, 영역은 이미지를 구성하는 그리드 배열(grid array)의 제1 그리드일 수 있다. 대안적으로, 영역은 이미지에 나타나는 인식된 움직이는 객체일 수 있다.

604에서, 모션화 장치는 모션화 파라미터에 기초하여 현재 영역을 변환할 수 있다. 현재의 프레임이 저장된 입력 이미지 데이터에서 직접 제공된 키 프레임인 경우 적용되는 변환은 영역이 변경되지 않는 것을 의미하는 null일 수 있다. 현재의 프레임이 키 프레임이 아닌 경우, 예를 들어, 블러링, 샤프닝, 이동, 이전에 폐색된 부분의 채움, 광원의 이동, 조명 색상 또는 강도의 변경 등의 하나 이상의 모션화 작동이 본 명세서에 기술된 바와 같이 적용될 수 있다. 하나 이상의 대응하는 층 또는 공유 층 상에 하나 이상의 상이한 변환이 적용될 수 있다. 606에서, 모션화 장치는 현재의 프레임에 대한 영역 캐시(608)에 결과를 기록할 수 있다. 610에서, 모션화 장치는 변환이 현재의 프레임에 대해 완료되었는지 여부를 결정한다. 추가 영역이 변환될 필요가 있는 경우, 장치는 이미지의 다음 영역(612)을 선택하고, 다음 영역에 대해 작동(604, 606, 610)을 반복한다.

610에서 장치가 더 이상의 영역이 변환될 필요가 없다고 결정하면, 영역 캐시(608)의 영역 데이터로부터 통합 변환 프레임(614)을 컴파일(compile)할 수 있다. 프레임을 컴파일한 후, 장치는 영역 캐시(616)를 비울 수 있거나 현재의 프레임의 끝과 다음 프레임의 시작을 나타내는 캐시에 플래그를 설정할 수 있다. 618에서, 장치는 변환 프레임(618)을 프레임 캐시(624)(프레임 버퍼라고도 함)에 저장할 수 있다.

그 다음, 장치는 완료된 시퀀스(예를 들어, 프레임의 수)에 대한 결정된 파라미터에 기초하여 620에서 현재의 비디오 시퀀스가 완료되었는지 여부를 결정할 수 있다. 비디오 시퀀스가 완료되지 않은 경우, 장치는 다음 프레임(622)을 처리하고 박스(602)로 돌아가도록 설정할 수 있다. 비디오 시퀀스가 완료되면, 장치는 완성된 프레임을 순차적으로 배열하고 하나 이상의 원하는 비디오 포맷으로 프레임 시퀀스를 변환함으로써 프레임 캐시(624)에 저장된 프레임으로부터 비디오 시퀀스(626)를 컴파일할 수 있다. 일단 원하는 비디오 파일이 생성되면, 장치는 비디오 생성 작동(600)의 다음 애플리케이션을 위해 프레임 캐시(628)를 비울 수 있고 결과 비디오 파일을 비디오 플레이어, 저장 장치 또는 둘 모두에 출력한다(630).

방법(500) 및 보다 상세한 작동(600)은 도 7에 도시된 방법(700)에 의해 요약된다. 방법(700)은 디지털 스틸 이미지, 예를 들어 모션화 장치(102)에 모션 효과를 부가하기 위해 메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의해 수행될 수 있다. 방법(700)은 메모리로부터 소스 디지털 스틸 이미지를 선택하는 단계(710)를 포함할 수 있다. 방법은 소스 디지털 스틸 이미지를 적어도 2 개의 영역으로 분할하는 단계(720)를 더 포함할 수 있다. 적어도 2 개의 영역은 하나 이상의 비 중첩 고정 영역 및 고정 영역 위에 적층된 것처럼 취급되는 하나 이상의 가동 영역을 포함할 수 있다. “적층된 것처럼 취급됨”은 소스 이미지를 처리할 때 가동 영역이 소스 이미지의 고정 영역과 별개인 층 또는 층들에 가동 영역이 존재하는지 여부에 관계없이 가동 영역은 일시적으로 고정 영역과 별개인 하나 이상의 층에서 처리되거나 또는 별개의 층에서 존재하는 것처럼 별도로 처리될 것을 의미한다. 분할하는 단계는 하나 이상의 가동 영역 각각에 대한 모션 데이터 및 기하학적 영역 경계 데이터의 세트(예를 들어, 디지털 마스크)에 기초할 수 있다. 대안적으로, 또는 부가적으로, 분할하는 단계는 그리드 내의 정사각형 또는 직사각형과 같은 고정된 기하학적 영역에 기초할 수 있다. 모션 데이터는 메모리로부터 검색된 디지털 스틸 이미지 또는 디지털 스틸 이미지의 세트에 대한 모션화 파라미터의 세트이거나 이를 포함할 수 있다. 일부 실시예에서, 비 중첩 영역 각각은 단일 픽셀만으로 구성될 수 있다.

방법(700)은 하나 이상의 가동 영역에 의해 폐색된 하나 이상의 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계(740)를 더 포함할 수 있다. 예를 들어, 이는 제2 소스 디지털 이미지로부터 픽셀 값을 추출함으로써 적어도 부분적으로 하나 이상의 가동 영역에 의해 폐색되는 하나 이상의 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계를 포함할 수 있으며, 여기서 픽셀은 하나 이상의 가동 영역에 의해 폐색되지 않는다. 대안적으로, 또는 부가적으로, 결정하는 단계는 연속적인 폐색 픽셀 영역의 경계에 인접한 비 폐색 픽셀 값에 기초하여 절차적으로 값을 생성함으로써 적어도 부분적으로 하나 이상의 가동 영역에 의해 폐색된 하나 이상의 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계를 포함할 수 있다.

방법(700)은 시퀀스에서 비디오 프레임의 세트를 생성하는 단계(740)를 더 포함할 수 있으며, 비디오 프레임의 세트에서 프레임 각각은, 프레임 각각의 시간에 기초하여 모션 데이터에 의해 변환되고, 하나 이상의 고정 영역 위에 적층되고, 그리고 비 휘발성 컴퓨터 메모리에 비디오 파일로서 비디오 프레임의 세트를 저장하는 하나 이상의 가동 영역을 포함한다. 일 양태에서, 비디오 프레임의 세트를 생성하는 단계는 무한 루푸에서 비디오 프레임의 세트를 배열하는 단계를 포함할 수 있다.

일 양태에서, 하나 이상의 가동 영역 각각에 대한 모션 데이터는 독립적으로 결정된 모션 벡터를 포함할 수 있다. 선택적으로, 독립적으로 결정된 모션 벡터는 경로에 걸쳐 시간에 따라 변화한다. 따라서, 하나 이상의 가동 영역 각각에 대한 모션 데이터는 경로에 걸쳐 시간에 따라 변화하는 모션 벡터를 포함할 수 있다. 예를 들어, 프로세서는 영역이 경로를 따라 이동할 때 프레임 사이에 적용되는 모션 벡터의 스케일 또는 방향 파라미터를 변경할 수 있다. 예를 들어, 프로세서는 상이한 알고리즘 또는 상이한 파라미터를 사용하여 다른 영역에 대한 모션 벡터와 독립적으로 각 영역의 모션 벡터를 결정할 수 있다.

방법(700)은 비디오 프레임의 세트의 각 프레임에 대해 하나 이상의 가동 영역을 변환하는 단계를 더 포함할 수 있다. 변환은 모션 벡터, 프레임 각각의 시간, 및 카메라 위치 및 초점 길이를 정의하는 데이터에 기초하여 하나 이상의 가동 영역을 스케일링하는 단계를 포함할 수 있다. 변환하는 단계는 선택된 블러링 알고리즘에 기초하여 프레임 각각에서 하나 이상의 가동 영역의 적어도 일부를 블러링하는 단계를 더 포함할 수 있다. 대안적으로, 또는 부가적으로, 변환하는 단계는 선택된 샤프닝 알고리즘에 기초하여 프레임 각각에서 하나 이상의 가동 영역의 적어도 일부를 샤프닝하는 단계를 더 포함할 수 있다. 블러링하는 단계 또는 샤프닝하는 단계는 시간 또는 픽셀 위치에 따라 변화할 수 있다. 예를 들어, 프로세서는 주기적으로 또는 비주기적으로 프레임 사이에서 블러링 알고리즘 또는 샤프닝 알고리즘을 변경할 수 있다(블러링 또는 샤프닝 알고리즘의 파라미터의 변경에 의해). 이러한 변경은 특별한 시각적 효과로서 출력에 눈에 띄는 차이를 유발할 수 있다. 또한, 프로세서는 픽셀 또는 픽셀의 영역의 위치에 기초하여 블러링 알고리즘 또는 샤프닝 알고리즘을 변경할 수 있다. 예를 들어, 프로세서는 이미지의 정의되 기중 프레임 내의 픽셀의 위치 및 파라미터 값 사이의 선형 또는 비선형 관계에 기초하여 초기값과 목표값 사이의 알고리즘의 파라미터 값을 보간할 수 있다. 이러한 보간은 변환 및 비 변환 영역 사이에 또는 다른 특별한 효과(예를 들어, 웨이브, 열 잡음 등) 사이에서 더 부드러운 변환을 제공하는데 사용될 수 있다.

다른 양태에서, 방법(700)은 비디오 프레임의 세트의 각 프레임에 대한 하나 이상의 고정 영역을 변환하는 단계를 포함할 수 있다. 이 변환하는 단계는 하나 이상의 고정 영역 중 적어도 하나에 픽셀 변환 필터를 적용하는 단계를 포함할 수 있다. 예를 들어, 필터를 적용하는 단계는 프레임 각각의 시간에 기초하여 필터의 입력 파라미터를 변화시키는 단계를 포함할 수 있다. 다른 예에서, 필터를 적용하는 단계는 시퀀스의 선행하는 프레임에 대한 필터의 출력에 필터를 적용하는 단계를 포함할 수 있다. 방법(700)은 원래의 디지털 스틸 이미지 또는 이미지들이 모션화되는 비디오 파일로서 상술된 작동에 의해 준비된 비디오 프레임의 세트를 저장하는 단계(750)를 포함할 수 있다.

전술한 설명의 관점에서, 개시된 주제에 따라 구현될 수 있는 방법론이 몇몇 흐름도를 참조하여 설명되었다. 설명의 단순화를 위해, 방법론이 일련의 블록으로 도시 및 기술되었지만, 본 명세서에 도시되고 설명된 것으로부터 일부 불록이 상이한 순서로 그리고/또는 다른 블록과 동시에 발생할 수 있으므로, 청구된 주제는 블록의 순서에 의해 제한되지 않는다는 것을 이해하고 인식해야한다. 더욱이, 도시된 모든 블록은 본 명세서에 설명된 방법론을 구현할 필요는 없다. 또한, 설명의 단순화를 위해 작동은 기술되었지만 도시되지 않았다.

본 발명의 다른 양태에서, 도 8을 참조하면, 디지털 스틸 이미지에 모션 효과를 부가하기 위한 장치(800)는 이미지 프로세서(810)에 커플링된 메모리(816)를 포함한다. 메모리는 프로세서(810)에 의해 실행될 때 장치(800)로 하여금 전술한 방법(500 또는 700)을 수행하게 하고, 선택적으로 이들 방법과 관련된 하나 이상의 부가 작동을 수행하게 하는 프로그램 명령을 보유할 수 있다. 장치(814)는 디지털 비디오 파일을 비디오 디스플레이 장치, 예를 들어 LCD 디스플레이 등에 의한 사용에 적합한 비디오 신호로 변환하는 디스플레이 어댑터(814)를 더 포함할 수 있다. 장치(800)의 구성요소는 버스(819) 또는 다른 전자 커넥터에 의해 커플링될 수 있다.

장치(800)는 디지털 스틸 이미지를 고정 및 가동 영역으로 분할하기 위한 기능 구성요소(802)를 포함할 수 있다. 구성요소(802)는 디지털 스틸 이미지를 고정 및 가동 영역으로 분할하기 위한 수단을 포함할 수 있다. 상기 수단은 프로세서(810) 및 메모리(816)를 포함할 수 있으며, 메모리는 상기 분할을 위한 알고리즘을 보유하고 프로세서는 이를 실행한다. 예를 들어, 알고리즘은 2 개 이상의 스틸 이미지의 객체를 비교하고 가동 영역으로부터 고정 영역을 마스킹 오프(masking off)함에 의해 이미지를 고정 및 가동 영역으로 분할하는 것을 포함할 수 있다.

장치(800)는 가동 및 정지 영역을 변환하기 위한 기능 구성요소(804)를 포함할 수 있다. 구성요소(814)는 상기 변환을 위한 수단을 포함할 수 있다. 상기 수단은 프로세서(810) 및 메모리(816)를 포함할 수 있으며, 메모리는 상기 변환을 위한 알고리즘을 보유하고 프로세서는 이를 실행한다. 예를 들어, 알고리즘은 모션 벡터에 기초하여 다음 프레임의 픽셀 위치를 계산하고, 움직임에 의해 드러난 폐색된 배경 이미지 부분을 채우고, 블러링, 샤프닝 또는 색상 조절과 같은 필터링 작동에 기초하여 픽셀의 착색을 변경하는 것을 포함할 수 있다.

장치(800)는 변환된 고정 및 가동 영역으로부터 비디오 프레임을 합성(composit)하기 위한 기능 구성요소(805)를 포함할 수 있다. 구성요소(805)는 상기 합성을 위한 수단을 포함할 수 있다. 상기 수단은 프로세서(810) 및 메모리(816)를 포함할 수 있으며, 메모리는 상기 합성을 위한 알고리즘을 보유하고 프로세서는 이를 실행한다. 예를 들어, 알고리즘은 이동된 영역을 고정 영역 위에 적층하고, 임의의 드러난 픽셀을 고정 배경층과 일치시키기 위해 착색하는 것을 포함할 수 있다.

장치(800)는 비디오 파일에 대한 비디오 프레임을 시퀀싱하기 위한 기능 구성요소(806)를 포함할 수 있다. 구성요소(806)는 상기 시퀀싱을 위한 수단을 포함할 수 있다. 상기 수단은 프로세서(810) 및 메모리(816)를 포함할 수 있으며, 메모리는 상기 시퀀싱을 위한 알고리즘을 보유하고 프로세서는 이를 실행한다. 예를 들어, 알고리즘은 도 6에서 기술된 바와 같은 작동(600)을 포함할 수 있다.

당업자는 본 명세서에 개시된 양태와 관련하여 기술된 다양한 예시적인 논리 블록, 모듈, 회로 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들의 조합으로서 구현될 수 있다는 것을 이해할 것이다. 이러한 하드웨어 및 소프트웨어의 상호교환 가능성을 명확히 설명하기 위해, 다양한 예시적인 구성요소, 블록, 모듈, 회로 및 단계가 일반적으로 그들의 기능의 관점에서 기술되었다. 이러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 전체 시스템에 부과된 특정 어플리케이션 및 설계 제약 사항에 따라 달라진다. 통상의 기술자는 각 특정 어플리케이션에 대해 다양한 방식으로 기술된 기능을 구현할 수 있지만, 이러한 구현 결정은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안된다.

본 출원에서 사용된 바와 같이, “구성요소”, “모듈”, “시스템” 등과 같은 용어는 컴퓨터 관련 엔티티, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어를 지칭하는 것으로 의도된다. 예를 들어, 구성요소 또는 모듈은 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행 가능 파일(excutable), 실행 스레드(thread of execution), 프로그램 및/또는 컴퓨터일 수 있지만 이에 한정되는 것은 아니다. 예를 들어, 서버에서 실행되는 어플리케이션과 서버는 모두 구성요소 또는 모듈일 수 있다. 하나 이상의 구성요소 또는 모듈은 프로세스 및/또는 실행 스레드 내에 있을 수 있으며 구성요소 또는 모듈은 하나의 컴퓨터 상에 국한되거나 그리고/또는 둘 이상의 컴퓨터 사이에 분산될 수 있다.

다수의 구성요소, 모듈 등을 포함할 수 있는 시스템의 관점에서 다양한 양태가 제공될 것이다. 다양한 시스템이 추가적인 구성요소, 모듈 등을 포함할 수 있거나 그리고/또는 모든 구성요소, 모듈 등을 포함하지 않을 수 있다는 것을 이해하고 인식해야 한다. 이러한 접근법의 조합이 사용될 수도 있다. 본 명세서에 개시된 다양한 양태는 터치 스크린 디스플레이 기술, 헤드 업 사용자 인터페이스, 착용식 인터페이스 및/또는 마우스 및 키보드 형 인터페이스(mouse-and-keyboard type interface)를 이용하는 장치를 포함하는 전자 장치에서 수행될 수 있다. 이러한 장치의 예로는 가상 또는 증강 현실 출력 장치(예를 들어, 헤드셋), 컴퓨터(데스크탑 및 모바일), 스마트폰, 개인용 정보 단말기(PDA), 태블릿, 및 다른 유무선 전자 기기를 포함한다.

또한, 본 명세서에 개시된 양태와 관련하여 기술된 다양한 예시적인 논리 블록, 모듈 및 회로는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(application specific integrated circuit, ASIC), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 또는 다른 프로그래머블 논리 장치, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소, 또는 본 명세서에 기술된 기능을 수행하도록 설계된 이들의 임의의 조합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합 예를 들어, DSP와 마이크로 프로세서의 조합, 복수의 마이크로 프로세서, DSP 코어와 결합된 하나 이상의 마이크로 프로세서 또는 임의의 다른 이러한 구성으로 구현될 수 있다.

본 명세서에 개시된 작동 양태는 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, DVD(digital versatile disk), Blu-ray^TM, 또는 다른 당 업계에 공지된 저장 매체의 형태에 있을 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고 저장매체에 정보를 입력할 수 있도록 프로세서에 결합된다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC에 있을 수 있다. ASIC는 클라이언트 장치 또는 서버에 있을 수 있다. 대안적으로, 프로세서 및 저장 매체는 클라이언트 장치 또는 서버에 개별 구성요소로서 있을 수 있다

또한, 하나 이상의 버전은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 생성하기 위해 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하여 방법, 장치 또는 제조물로서 구현되어 개시된 양태를 구현하도록 컴퓨터를 제어할 수 있다. 비일시적 컴퓨터 판독가능 매체는 자기 저장 장치(예를 들어, 하드 디스크, 플로피 디스크, 마그네틱 스트립 또는 다른 포맷), 광학 디스크(예를 들어, 컴팩트 디스크(CD), DVD, Blu-ray^TM 또는 다른 포맷), 스마트 카드 및 플래시 메모리 장치(예를 들어, 카드, 스틱 또는 다른 포맷)를 포함할 수 있지만 이에 제한되지 않는다. 당업자는 개시된 양태의 범위를 벗어나지 않으면서 이러한 구성에 대해 많은 수정이 이루어 질 수 있음을 인식할 것이다.

개시된 양태의 이전 설명은 당업자가 본 개시물을 제조 또는 사용할 수 있도록 제공된다. 이들 양태에 대한 다양한 수정은 당업자에게 용이하게 명백할 것이며, 본 명세서에 정의된 일반적인 원리는 본 개시의 사상 또는 범위를 벗어나지 않고 다른 실시예에 적용될 수 있다. 따라서, 본 개시는 본 명세서에 도시된 실시예에 한정되는 것이 아니라 본 명세서에 개시된 원리 및 신규한 특징에 부합하는 가장 넓은 범위에 따른다.

Claims

메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법에 있어서,
상기 방법은:
메모리로부터 소스 디지털 스틸 이미지를 선택하는 단계;
메모리에서 하나 이상의 가동 영역 각각에 대한 모션 데이터 및 기하학적 영역 경계 데이터의 세트에 기초하여, 상기 소스 디지털 스틸 이미지를 하나 이상의 비 중첩 고정 영역 및 상기 고정 영역 위에 적층된 것처럼 취급되는 하나 이상의 가동 영역을 포함하는 적어도 2 개의 영역으로 분할하는 단계;
하나 이상의 상기 가동 영역에 의해 폐색된 하나 이상의 상기 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계;
시퀀스로 비디오 프레임의 세트를 생성하는 단계 ― 상기 비디오 프레임의 세트에서 프레임 각각은 프레임 각각의 시간에 기초하여 상기 모션 데이터에 의해 변환되고 하나 이상의 상기 고정 영역 위에 적층된 하나 이상의 상기 가동 영역을 포함함 ―; 및
비 휘발성 컴퓨터 메모리에 비디오 파일로서 비디오 프레임의 세트를 저장하는 단계;를 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제1항에 있어서,
상기 비 중첩 영역 각각은 단일 픽셀로 구성되는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제1항에 있어서,
하나 이상의 상기 가동 영역 각각에 대한 상기 모션 데이터는 경로에 걸쳐 시간에 따라 변화하는 모션 벡터를 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제1항에 있어서,
모션 벡터, 프레임 각각의 시간 및 카메라 위치 및 초점 길이를 정의하는 데이터에 기초하여 하나 이상의 상기 가동 영역을 스케일링하는 단계에 의해 적어도 부분적으로 상기 비디오 프레임의 세트의 각 프레임에 대한 하나 이상의 상기 가동 영역을 변환하는 단계를 더 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제1항에 있어서,
선택된 블러링(blurring) 알고리즘에 기초하여 각 프레임에서 하나 이상의 상기 가동 영역의 적어도 일부를 블러링 하는 단계; 및 선택된 샤프닝(sharpening) 알고리즘에 기초하여 각 프레임에서 하나 이상의 상기 가동 영역의 적어도 일부를 샤프닝하는 단계; 중 하나 이상에 의해 적어도 부분적으로 상기 비디오 프레임의 세트의 각 프레임에 대한 하나 이상의 상기 가동 영역을 변환하는 단계를 더 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제5항에 있어서,
상기 블러링하는 단계 및 변환하는 단계 중 적어도 하나는 시간에 따라 변화하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제5항에 있어서,
상기 블러링하는 단계 및 변환하는 단계 중 적어도 하나는 픽셀 위치에 따라 변화하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제1항에 있어서,
하나 이상의 상기 가동 영역에 의해 폐색된 하나 이상의 상기 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계는 제2 소스 디지털 이미지로부터의 픽셀 값을 추출하는 단계를 포함하며,
상기 픽셀은 하나 이상의 상기 가동 영역에 의해 폐색되지 않는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제1항에 있어서,
하나 이상의 상기 가동 영역에 의해 폐색된 하나 이상의 상기 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계는 연속적인 폐색 픽셀 영역의 경계에 인접한 비 폐색 픽셀 값에 기초하여 절차적으로 값을 생성하는 단계를 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제1항에 있어서,
픽셀 변환 필터를 하나 이상의 상기 고정 영역 중 적어도 하나에 적용하는 단계에 의해 적어도 부분적으로 상기 비디오 프레임의 세트의 각 프레임에 대한 하나 이상의 상기 고정 영역을 변환하는 단계를 더 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제10항에 있어서,
상기 픽셀 변환 필터를 적용하는 단계는 프레임 각각의 시간에 기초하여 필터의 입력 파라미터를 변화시키는 단계를 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
제11항에 있어서,
상기 픽셀 변환 필터를 적용하는 단계는 시퀀스의 선행하는 프레임에 대한 상기 픽셀 변환 필터의 출력에 필터를 적용하는 단계를 더 포함하는,
메모리에 커플링된 프로세서를 포함하는 컴퓨터에 의한 방법.
메모리에 커플링된 이미지 프로세싱을 위한 프로세서를 포함하는 장치로서,
상기 메모리는, 프로세서에 의해 실행될 때, 상기 장치가:
메모리로부터 소스 디지털 스틸 이미지를 선택하는 단계;
메모리에서 하나 이상의 가동 영역 각각에 대한 모션 데이터 및 기하학적 영역 경계 데이터의 세트에 기초하여, 상기 소스 디지털 스틸 이미지를 하나 이상의 비 중첩 고정 영역 및 상기 고정 영역 위에 적층된 것처럼 취급되는 하나 이상의 가동 영역을 포함하는 적어도 2 개의 영역으로 분할하는 단계;
하나 이상의 상기 가동 영역에 의해 폐색된 하나 이상의 상기 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계;
시퀀스로 비디오 프레임의 세트를 생성하는 단계 ― 상기 비디오 프레임의 세트에서 프레임 각각은 프레임 각각의 시간에 기초하여 상기 모션 데이터에 의해 변환되고 하나 이상의 상기 고정 영역 위에 적층된 하나 이상의 상기 가동 영역을 포함함 ―; 및
비 휘발성 컴퓨터 메모리에 비디오 파일로서 비디오 프레임의 세트를 저장하는 단계;를 수행하도록 하는 명령을 보유하는,
메모리에 커플링된 이미지 프로세싱을 위한 프로세서를 포함하는 장치.
장치로서,
메모리로부터 소스 디지털 스틸 이미지를 선택하기 위한 수단;
메모리에서 하나 이상의 가동 영역 각각에 대한 모션 데이터 및 기하학적 영역 경계 데이터의 세트에 기초하여, 상기 소스 디지털 스틸 이미지를 하나 이상의 비 중첩 고정 영역 및 상기 고정 영역 위에 적층된 것처럼 취급되는 하나 이상의 가동 영역을 포함하는 적어도 2 개의 영역으로 분할시키기 위한 수단;
하나 이상의 상기 가동 영역에 의해 폐색된 하나 이상의 상기 고정 영역의 픽셀 각각에 대한 값을 결정하기 위한 수단;
시퀀스로 비디오 프레임의 세트를 생성시키기 위한 수단 ― 상기 비디오 프레임의 세트에서 프레임 각각은 프레임 각각의 시간에 기초하여 상기 모션 데이터에 의해 변환되고 하나 이상의 상기 고정 영역 위에 적층된 하나 이상의 상기 가동 영역을 포함함 ―; 및
비 휘발성 컴퓨터 메모리에 비디오 파일로서 비디오 프레임의 세트를 저장시키기 위한 수단;을 포함하는,
장치.
명령을 보유하는 비 휘발성 컴퓨터 판독 매체를 포함하는 물품의 제조로서,
상기 명령은, 이미지 프로세싱 장치에 의해 실행될 때, 상기 장치가:
메모리로부터 소스 디지털 스틸 이미지를 선택하는 단계;
메모리에서 하나 이상의 가동 영역 각각에 대한 모션 데이터 및 기하학적 영역 경계 데이터의 세트에 기초하여, 상기 소스 디지털 스틸 이미지를 하나 이상의 비 중첩 고정 영역 및 상기 고정 영역 위에 적층된 것처럼 취급되는 하나 이상의 가동 영역을 포함하는 적어도 2 개의 영역으로 분할하는 단계;
하나 이상의 상기 가동 영역에 의해 폐색된 하나 이상의 상기 고정 영역의 픽셀 각각에 대한 값을 결정하는 단계;
시퀀스로 비디오 프레임의 세트를 생성하는 단계 ― 상기 비디오 프레임의 세트에서 프레임 각각은 프레임 각각의 시간에 기초하여 상기 모션 데이터에 의해 변환되고 하나 이상의 상기 고정 영역 위에 적층된 하나 이상의 상기 가동 영역을 포함함 ―; 및
비 휘발성 컴퓨터 메모리에 비디오 파일로서 비디오 프레임의 세트를 저장하는 단계;를 수행하도록 하는,
명령을 보유하는 비 휘발성 컴퓨터 판독 매체를 포함하는 물품의 제조.