KR20160121561A

KR20160121561A - 이미지들의 시퀀스로부터 베이스 이미지와 재위치된 객체를 조합하는 이미지 생성

Info

Publication number: KR20160121561A
Application number: KR1020167025047A
Authority: KR
Inventors: 패르-앤더스 아론손; 해칸 존손; 라스 노드; 올라 퇴른
Original assignee: 소니 주식회사
Priority date: 2014-03-27
Filing date: 2014-03-27
Publication date: 2016-10-19
Also published as: CN106133793A; CN106133793B; KR101787937B1; JP2017515345A; JP6304398B2; WO2015145212A1; EP3123448A1; US20150365591A1; EP3123448B1

Abstract

본 개시의 일 양태에 따르면, 컴퓨팅 디바이스에 의해 구현되는 방법이 개시된다. 장면을 묘사하는 이미지들의 시퀀스로부터의 이미지들은 전자 디스플레이 상에 디스플레이된다. 베이스 이미지로 사용되도록 시퀀스로부터 이미지를 선택하는 사용자 입력이 수신된다. 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력이 또한 수신된다. 선택된 객체의 이동 궤적은 이미지들의 시퀀스로부터 결정된다. 선택된 객체는 초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 선택된 객체를 드래그하는 사용자 입력에 기초하여 재위치된다. 새로운 이미지는 베이스 이미지와 재위치된 객체를 조합함으로써 생성된다.

Description

이미지들의 시퀀스로부터 베이스 이미지와 재위치된 객체를 조합하는 이미지 생성{IMAGE CREATION COMBINING BASE IMAGE AND REPOSITIONED OBJECT FROM A SEQUENCE OF IMAGES}

본 개시는 이미지 생성에 관한 것으로, 특히 이미지들의 시퀀스로부터의 베이스 이미지와 이미지들의 시퀀스로부터의 재위치된 객체를 조합하는 새로운 이미지를 생성하는 것에 관한 것이다.

최적 사진을 기록하는 것은 도전적인 작업일 수 있다. 예를 들어, 사람들의 그룹이 카메라를 보고 있고, 웃고 있고, 깜박거리지 않는 정확한 순간에 이미지를 기록하는 것은 곤란할 수 있다. 또한, 카메라들은 다른 자동초점 속도들을 갖는다. 묘사된 장면이 신속히 변화되면, 카메라가 피사체에 포커싱된 경우 원하는 이미지를 기록하기에 너무 늦을 수 있다. 일부 카메라 디바이스들은 사용자들이 고속 세트의 순차 사진들을 "버스트"로 촬영할 수 있게 하며, 버스트는 상기 논의된 문제들의 일부를 도울 수 있다. 그러나, 사용자들은 다수의 이미지들의 양태들을 조합하기를 원할 수 있다.

일부 실시예들에서, 방법은 또한 이미지들의 시퀀스로부터 부가 객체를 선택하는 사용자 입력을 수신하는 단계, 부가 객체의 과장된 이동들을 결정하기 위해 위상 기반 비디오 모션 처리 알고리즘을 수행하는 단계, 및 전자 디스플레이 상에 부가 객체의 과장된 이동들을 디스플레이하는 단계를 포함한다. 과장된 이동들을 디스플레이하는 것에 기초하여, 부가 객체의 과장된 이동의 선택된 묘사가 수신되고, 부가 객체의 선택된 묘사가 새로운 이미지에 포함된다.

본 개시의 다른 양태에 따르면, 전자 디스플레이 및 하나 이상의 처리 회로들을 포함하는 컴퓨팅 디바이스가 개시된다. 하나 이상의 처리 회로들은 전자 디스플레이 상에, 장면을 묘사하는 이미지들의 시퀀스로부터 이미지들을 디스플레이하도록 구성된다. 하나 이상의 처리 회로들은 베이스 이미지로 사용되도록 시퀀스로부터 이미지를 선택하는 사용자 입력을 수신하고, 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력을 수신하도록 더 구성된다. 하나 이상의 처리 회로들은 이미지들의 시퀀스로부터 선택된 객체의 이동 궤적을 결정하고, 초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 선택된 객체를 드래그하는 사용자 입력에 기초하여 선택된 객체를 재위치시키도록 더 구성된다. 하나 이상의 처리 회로들은 베이스 이미지와 재위치된 객체를 조합함으로써 새로운 이미지를 생성하도록 더 구성된다.

일부 실시예들에서, 하나 이상의 처리 회로들은 이미지들의 시퀀스로부터 부가 객체를 선택하는 사용자 입력을 수신하고, 부가 객체의 과장된 이동들을 결정하기 위해 위상 기반 비디오 모션 처리 알고리즘을 수행하고, 전자 디스플레이 상에 부가 객체의 과장된 이동들을 디스플레이하도록 더 구성된다. 그러한 실시예들에서, 하나 이상의 처리 회로들은 과장된 이동들을 디스플레이하는 것에 기초하여, 부가 객체의 과장된 이동의 선택된 묘사를 수신하고; 새로운 이미지에 부가 객체의 선택된 묘사를 포함하도록 더 구성된다.

도 1a 내지 도 1f는 장면을 묘사하는 이미지들의 시퀀스를 예시한다.
도 2는 도 1a 내지 도 1f의 이미지들 중 2개에 대한 양태들을 조합하는 새로운 이미지를 예시한다.
도 3은 이미지들의 시퀀스로부터 다수의 이미지들의 양태들을 조합하는 예시적 방법의 흐름도이다.
도 4a 내지 도 4f는 도 2의 방법이 어떻게 구현될 수 있는지를 증명하는 일련의 이미지들이다.
도 5는 위상 기반 비디오 모션 처리 알고리즘의 수행을 포함하는, 도 2의 방법과 함께 사용될 수 있는 포함하는 부가 방법을 예시한다.
도 6a 내지 도 6d는 도 6의 방법이 어떻게 구현될 수 있는지를 증명하는 일련의 이미지들이다.
도 7은 도 2의 이미지의 수정인 새로운 이미지를 예시한다.
도 8은 도 2의 방법을 구현하도록 동작가능한 예시적 컴퓨팅 디바이스를 예시한다.

본 개시는 장면을 묘사하는 이미지들의 시퀀스에 기초하여 이미지를 생성하는 방법 및 장치를 설명한다. 이미지들의 시퀀스는 예를 들어 비디오의 프레임들일 수 있다. 시퀀스로부터의 이미지들은 전자 디스플레이(예를 들어, 스마트폰의 터치스크린) 상에 디스플레이된다. 시퀀스로부터의 이미지들 중 하나는 베이스 이미지로 선택된다. 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력이 수신된다. 선택된 객체의 이동 궤적은 이미지들의 시퀀스로부터 결정된다. 선택된 객체는 사진 내의 다른 전체적 이동과 독립적으로 초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 선택된 객체를 드래그하는 사용자 입력에 기초하여(예를 들어, 직접적인 비디오 조작을 사용하여) 재위치된다. 새로운 이미지는 베이스 이미지와 재위치된 객체를 조합함으로써 생성된다. 임의로, 위상 기반 비디오 모션 처리 알고리즘은 또한 미묘한 이동만을 다른 방법으로 가질 수 있는 시퀀스로부터의 이미지들 중 하나에서 객체의 과장된 이동을 결정하기 위해 수행될 수 있다.

도 1a 내지 도 1f는 장면을 묘사하는 이미지들의 시퀀스를 예시한다. 이러한 이미지들은 예를 들어 비디오의 프레임들로 기록될 수 있다. 제1 이미지(10A)에서, 골퍼는 깃대(18)가 돌출하는 홀(16)로 골프공을 치려고 시도하고 있다. 이미지(10B)에서, 골퍼(12)는 자신의 신체 위치가 깃대(18)를 마주보도록 변경했고, 골프공(14)은 홀(16)을 향해 이동하고 있다. 이미지들(10C, 10D, 및 10E)에서, 골프공은 홀(16)을 향해 계속 이동하는 반면에 골퍼(12)는 동일한 위치에 남아 있다. 이미지(10F)에서, 골프공(14)은 홀(16)에 진입했고 더 이상 보이지 않으며, 골퍼(12)는 축하 위치에 있다.

사용자는 이미지들(10A 내지 10F)의 다양한 양태들을 조합하기를 원할 수 있다. 예를 들어, 사용자는 10F의 축하 위치에 골퍼(12)를 묘사하기를 원할 수 있지만, 골프공(14)은 여전히 보인다. 이것을 달성하기 위해, 사용자는 이미지(10F)를 베이스 이미지로 선택할 수 있다. 그 다음, 사용자는 이전 이미지(예를 들어, 이미지(10C))로부터 골프공(14)을 선택하고, 골프공을 그것의 궤적을 따라 원하는 위치(예를 들어, 도 10e의 홀(16)에 가까운 그것의 묘사)로 드래그하여, 축하 위치 내의 골퍼(12) 및 홀(16)에 가까운 위치 내의 골프공(14)을 조합하는 새로운 이미지(20)를 생성할 수 있다(도 2의 이미지(20) 참조).

도 3은 도 2의 이미지(20)를 생성하기 위해 사용될 수 있는 다수의 이미지들의 양태들을 조합하는 예시적 방법(100)의 흐름도이다. 전자 디스플레이 상에, 장면을 묘사하는 이미지들의 시퀀스로부터의 이미지들이 디스플레이된다(블록(102)). 베이스 이미지로 사용되도록 이미지들의 시퀀스로부터 이미지를 선택하는 사용자 입력이 수신된다(블록(104)). 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력이 또한 수신된다(블록(106)). 선택된 객체의 이동 궤적은 이미지들의 시퀀스로부터 결정된다(블록(108)). 선택된 객체는 초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 선택된 객체를 드래그하는 사용자 입력에 기초하여 재위치된다(블록(110)). 새로운 이미지는 베이스 이미지와 재위치된 객체를 조합함으로써 생성된다(블록(112)).

도 3의 방법(100)은 이제 도 1a 내지 도 1f 및 도 4a 내지 도 4f의 예와 함께 논의될 것이다. 시퀀스로부터의 이미지들이 디스플레이되며(블록(102)), 그것은 베이스 이미지로 사용되도록 시퀀스로부터 이미지를 선택하는 사용자 제공 입력을 용이하게 한다(블록(104)). 이러한 논의에 대해, 골퍼(12)가 축하 위치에 있는 것으로 인해 이미지(10F)가 베이스 이미지로 선택되는 것을 가정한다. 이미지들의 시퀀스로부터 골프공(14)을 선택된 객체로 선택하는 사용자 입력이 또한 수신된다(블록(106)). 골프공(14)의 이동 궤적은 이미지들(10A 내지 10F)의 시퀀스로부터 결정된다(블록(108)).

이미지(10F)를 (도 1f에서) 참조하면, 골프공(14)은 그것이 이미 홀(16)에 있기 때문에, 도시되지 않는다. 따라서, 골프공을 선택하기 위해, 사용자는 복수의 이미지들 중 다른 것, 예컨대 이미지(10B)(도 1b 및 도 4a에 도시됨)로 변경한다. 사용자는 전자 디스플레이 상에 적절한 터치 제스처(예를 들어, 더블 탭, 탭 앤 홀드 등)를 수행함으로써 골프공을 선택한다. 그 다음, 선택된 객체는 도 4b의 이미지(30A)에 도시된 바와 같이, 베이스 이미지 상에 디스플레이되며, 축하 위치 내의 골퍼(12)는 골프공(14)과 함께 도시된다. 그 다음, 골프공(14)의 이동 궤적(32)의 표시는 사용자가 그러한 궤적을 따라 골프공(14)의 원하는 위치를 선택하는 것을 원조하기 위해 도시된다.

사용자는 도 4c, 도 4d, 및 도 4e에 도시된 바와 같이 초기 위치로부터 새로운 위치로의 궤적(32)을 따라 골프공을 드래그한다. 사용자가 골프공(14)을 드래그함에 따라, 골프공의 재위치된 변형이 디스플레이된다(블록(110)). 객체를 위한 원하는 위치에 도달하면(도 4e의 이미지(30D) 참조), 사용자는 터치스크린으로부터 그들의 손가락을 해제할 수 있다.

도 4e에 도시된 바와 같이, 골프공(14)에 대한 새로운 위치는 골프공(14)을 홀(16)에 인접하는 위치에 재위치시킨다. 컴퓨팅 디바이스 구현 방법(100)은 베이스 이미지 및 재위치된 골프공을 조합함으로써 새로운 이미지를 생성한다(블록(112)). 새로운 이미지(30E)는 도 4f에 도시된다. 도 4f에 도시된 바와 같이, 새로운 이미지는 골퍼(12)가 축하 위치에 있는 동안 홀(16)에 인접하는 골프공(14)을 도시한다. 이러한 예에서, 새로운 이미지(30E)는 이미지들(10F 및 10E)의 양태들을 조합한다.

상기 논의된 바와 같이, 하나 이상의 실시예들에서, 선택된 객체의 전체 궤적(32)의 표시는 선택된 객체가 궤적 상의 주어진 지점에 있고 객체를 드래그하는 사용자 입력이 수신되고 있는 동안 디스플레이된다. 이러한 표시는 도 4b 내지 도 4e의 예에서 점선이다. 그러한 표시는 그들이 선택된 객체를 위한 원하는 위치를 제공하고 있음에 따라 궤적을 시각화할 시에 사용자에게 유용할 수 있다. 하나 이상의 실시예들에서, 사용자는 궤적에서 약간 벗어나도록 허용되지만, 선택된 객체를 위한 새로운 위치는 새로운 위치가 이동 궤적에서 미리 정의된 편차 임계값(예를 들어, 다량의 픽셀들) 초과만큼 벗어나면 거부된다. 거부되면, 사용자에게는 이동 궤적(32)을 따라 선택된 객체를 위한 위치를 선택하는 다른 기회가 제공될 수 있다. 편차 임계값을 구현하는 하나의 이유는 그러한 이동이 라이트 및 섀도우들을 갖는 문제들을 생성할 수 있고 이미지들의 시퀀스로 묘사되는 장면의 비현실적 제공을 초래할 수 있으므로, 사용자가 이동 궤적에서 어느 정도 벗어나고 싶어할 수 있고, 편차 임계값이 이것을 어느 정도 허용하지만 결정된 궤적(32)에서 벗어나서 선택된 객체를 완전히 이동시키는 것을 방지한다는 것이다.

일부 실시예들에서, 편차 임계값은 고정 미리 결정된 값이다. 일부 실시예들에서, 편차 임계값은 이동 궤적에 기초하여 동적으로 결정된다(예를 들어, 다소의 편차는 이동 궤적의 길이에 따라 허용됨). 일부 실시예들에서, 편차 임계값은 장면이 묘사되는 것에 기초하여 동적으로 결정된다. 그러한 실시예들에서, 더 많은 편차는 선택된 객체를 재위치시키는 것에서 기인할 수 있는 베이스 이미지 내의 "홀들"을 채우는 것이 더 용이해지는 더 균일한 배경들을 위해 허용될 수 있고, 더 적은 편차는 그러한 "홀들"을 현실적으로 채우는 것이 더 곤란해지는 덜 균일한 배경들을 위해 허용된다. 예시적인 균일한 배경은 균등하게 밝게 되는 잔디를 포함할 수 있다.

일부 실시예들에서, 재위치된 객체는 선택된 객체를 위한 상이한 위치뿐만 아니라, 상이한 배향을 포함한다. 예를 들어, 객체 무빙(moving)이 이동 궤적(32)을 따라 그것의 이동 동안 회전하면, 재위치된 객체는 또한 그러한 회전된 배향을 나타내는 것이 바람직할 수 있다. 예를 들어, 비원형 객체가 움직이고 있음에 따라, 그러한 객체가 착지 전에 회전할 가능성이 매우 있는 것을 고려한다. 이와 같은 예들에서, 선택된 객체의 수정된 변형은 또한 선택된 객체를 위한 상이한 배향을 포함할 수 있다. 일부 실시예들에서, 사용자는 그것이 이동 궤적(32)을 따라 드래그되었으므로 선택된 객체의 회전을 정지시킬 수 있다. 일부 실시예들에서, 객체는 그것이 이동 궤적(32)을 드래그됨에 따라 회전할 것이다.

따라서, 하나 이상의 실시예들에서, 선택된 객체를 재위치시키는 것은 선택된 객체를 위한 새로운 위치, 선택된 객체를 위한 새로운 배향, 또는 둘 다를 결정하는 것을 포함한다. 부가적으로, 하나 이상의 실시예들에서, 선택된 객체의 크기는 선택된 객체가 결정된 이동 궤적을 따라 드래그되고 있는 동안(예를 들어, 객체가 더 가까워지거나 더 멀어짐에 따라) 변화될 수 있다. 일부 실시예들에서, 객체를 재위치시키는 것은 새로운 위치 내의 객체의 섀도우가 초기 위치에 인접하여 남아 있는 대신에 새로운 위치에 인접하여 제시되도록, 선택된 객체의 섀도우를 재위치시키는 것을 포함한다. 하나 이상의 실시예들에서, 섀도우를 재위치시키는 것에 더하여, 다른 섀도우 조정들이 수행된다. 일부 예시적 부가 섀도우 조정들은 섀도우 스케일, 휘도, 형상, 각도, 및/또는 컬러의 변화들의 임의의 조합을 포함한다. 그러한 섀도우 조정들은 다수의 인자들, 예컨대 선택된 객체의 새로운 위치, 새로운 위치에 재위치될 때 선택된 객체의 크기, 및/또는 선택된 객체의 새로운 위치에 인접하는 다른 아이템들의 섀도우들에 기초하여 수행될 수 있다.

선택된 객체의 섀도우가 또한 재위치되는 일부 실시예들에서, 이미지들의 시퀀스는 예를 들어 입체 카메라를 사용하여 3D로 기록될 수 있고, 섀도우의 이동은 이미지들의 3D 시퀀스로부터의 3D 데이터를 사용하여 분석된다. 예를 들어, 주어진 입체 이미지를 형성하는 개별 구성요소 이미지들은 섀도우가 선택된 객체와 함께 그것의 이동 궤적을 따라 이동되는 정도를 결정하기 위해 분석될 수 있다.

일부 실시예들에서, 이동 궤적(32)을 따르는 상이한 위치에서의 선택된 객체의 다수의 카피들은 최종 새로운 이미지에 포함될 수 있다. 예를 들어, 도 2의 새로운 이미지(20)는 이동 궤적(32)을 따르는 상이한 위치에 골프공(14)의 여분의 카피들을 추가하기 위해 더 수정될 수 있다. 이것은 방법(100)을 반복함으로써 달성될 수 있으며, 방법(100)의 이전 반복의 블록(112)의 "새로운 이미지"는 방법(100)의 후속 방법의 베이스 이미지의 역할을 한다. 방법(100)은 선택된 객체의 원하는 양이 최종 새로운 이미지에 포함되도록 원하는 횟수로 반복될 수 있다.

그러한 실시예들에서, 선택된 객체는 최종 이미지에서, 복사되고, 임의로 또한 스케일링될 수 있다. 예를 들어, 스키어가 착지 위치에 도달할 때까지 활강 스키 점프의 공중 회전(flip off)을 행하는 스키어의 비디오를 고려한다. 상기 논의된 기술들을 사용하면, 이동 궤적을 따르는 다양한 위치들에서의 스키어의 다수의 카피들은 최종 이미지에 포함될 수 있다. 이것은 다수의 노출 이미지가 닮을 수 있는 것과 유사한 이미지(예를 들어, 단일 카메라 위치로부터 기록되는 모션 궤적을 따르는 다양한 위치들에서의 스키어의 다수의 노출들)를 산출하기 위해 수행될 수 있다.

도 4b 내지 도 4e에 도시된 바와 같이, 베이스 이미지의 양태들은 선택된 객체가 이동 궤적(32)을 따라 드래그되어 이동되고 있는 동안 도시될 수 있다. 이것을 달성하기 위해, 시퀀스의 이미지들 중 임의의 것에서 선택된 객체에 의해 점유되지 않는 이미지 영역들이 식별되고, 베이스 이미지의 그러한 식별된 이미지 영역들은 선택된 객체가 이동 궤적을 따라 드래그되고 있음에 따라 디스플레이된다. 도 4b 내지 도 4e의 예에서, 선택된 객체는 아주 작은 골프공(14)이므로, 선택된 객체에 의해 점유되지 않는 식별된 이미지 영역들은 다수의 이미지들(30A 내지 30D)을 포함한다.

상기 논의된 예에서, 선택된 객체는 베이스 이미지에 존재하지 않는다. 그러나, 선택된 객체가 베이스 이미지에 존재하면(예를 들어, 골프공(14)이 이미지(10F)로 도시되면), 이때 베이스 이미지 및 선택된 객체의 수정된 변형을 조합하는 것은 선택된 객체가 새로운 위치(즉, 베이스 이미지 내의 "홀들")에 재위치될 때 더 이상 점유되지 않는 베이스 이미지 내의 픽셀들을 결정하는 것을 포함한다. 그 다음, 베이스 이미지의 결정된 픽셀들은 결정된 픽셀들을 둘러싸는 이미지 영역에 기초하여(예를 들어, 최단 이웃, 클로닝, 및/또는 내용 인식 채우기를 사용하여) 채워진다. 대안적으로, 또는 이것에 부가적으로, 결정된 픽셀들은 (예를 들어, 시퀀스 내의 다른 이미지들로부터 픽셀들을 카피함으로써) 베이스 이미지와 다른 시퀀스로부터의 이미지들 중 하나 이상에 기초하여 충전될 수 있다.

일부 실시예들에서, 이동 궤적을 따라 선택된 객체를 드래그하는 사용자 입력을 용이하게 하기 위해, 보간이 수행된다. 그러한 실시예들에서, 보간의 수행은 이미지들의 시퀀스 중 첫번째 것 내의 제1 위치와 이미지들의 시퀀스 중 연속적인 두번째 것 내의 제2 위치 사이의 선택된 객체의 이동이 차이 임계값을 초과함으로써 촉발될 수 있다. 그것이 발생하면, 보간은 제1 및 제2 위치들 사이에 있는 이동 궤적을 따라 선택된 객체를 위한 부가 위치를 결정하기 위해 수행되고; 선택된 객체는 선택된 객체가 제1 및 제2 위치들 사이의 결정된 이동 궤적을 따라 드래그되고 있는 동안 부가 위치에 디스플레이된다. 이것은 객체가 빠르게 이동하고 있으면 및/또는 이미지들의 시퀀스가 모션에서 선택된 객체의 이미지들의 원하는 양을 캡처하기에 충분히 빠르게 기록되지 않으면 선택된 객체의 이동을 통해 더 큰 제어를 제공할 수 있다.

도 1d 및 도 1e을 일 예로 사용하면, 골프공(14)은 이러한 이미지들 사이의 상당한 거리를 이동한다. 보간을 수행하는 것은 사용자가 도 1d 내지 도 1e에 도시된 것들 사이에 위치되는 이동 궤적(32)을 따르는 하나 이상의 위치들에 골프공을 배치가능하게 할 수 있다. 따라서, 사용자가 선택된 객체를 베이스 이미지 상에서 앞뒤로 드래그함에 따라, 그들에는 보간을 수행하는 것 없이 다른 방법으로 가능할 수 있는 객체의 더 미세한 제어가 제공될 수 있다. 하나 이상의 실시예들에서, 이미지들의 시퀀스가 비디오이면, 보간의 수행은 비디오의 부가 프레임들을 발생시키는 것을 수반한다. 하나 이상의 실시예들에서, 이미지들의 시퀀스가 스틸 사진들의 시퀀스이면, 보간의 수행은 부가 스틸 사진들을 발생시키는 것을 수반한다. 다른 실시예들에서, 보간은 전체 프레임들 및/또는 사진들을 발생시키는 것이 아니라, 선택된 객체의 모션 궤적(32)을 따라 이미지 영역들만을 발생시키기 위해 수행된다.

하나 이상의 실시예들에서, 이미지들의 시퀀스는 방법(100)을 수행하는 동일한 디바이스에 의해 기록된다. 일부 그러한 실시예들에서, 기록은 카메라 셔터의 사용자 작동에 기초하여 수행된다. 그러한 사용자 작동은 예를 들어, 사용자가 실제 셔터 버튼을 누르는 것을 포함할 수 있거나, 사용자가 터치스크린 상에서 셔터 사용자 인터페이스 요소를 선택하는 것을 포함할 수 있다. 하나 이상의 실시예들에서, 복수의 이미지들은 비디오(예를 들어, 표준 화질, 고화질, 또는 4K 비디오)의 프레임들로 기록된다. 다른 실시예들에서, 그들은 일련의 스틸 포토들로서(예를 들어, 포토 버스트로서) 획득된다. 하나 이상의 실시예들에서, 복수의 이미지들의 기록은 셔터가 실제로 작동되기 전에(예를 들어, 카메라 스마트폰 애플리케이션이 개방되고, 포커싱이 발생한 후에) 시작되고 셔터가 작동된 후에 완료된다. 물론, 이들은 비제한 예들이고, 방법(100)을 수행하는 컴퓨팅 디바이스는 상이한 디바이스로부터 이미지들을 스틸 이미지들 또는 비디오 프레임들로서 대신에 획득할 수 있다는(예를 들어, 랩톱 컴퓨팅 디바이스는 디지털 카메라 또는 비디오 카메라로부터 이미지들을 획득할 수 있다른) 점이 이해된다.

도 3을 다시 참조하면, 이미지를 선택하는 사용자 입력(블록(104))은 베이스 이미지가 선택될 때까지 사용자가 복수의 이미지들을 통해 앞으로 및/또는 뒤로 드래그하는 것에 대응할 수 있다. 그러한 사용자 입력은 예를 들어 터치 기반 입력 디바이스(예를 들어, 터치스크린, 또는 터치패드) 상의 커서 이동, 또는 검출된 손가락 모션을 포함할 수 있다. 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력(블록(106))은 터치 기반 입력 상의 검출된 손가락 터치를 유사하게 포함할 수 있다. 예를 들어, 이것은 터치스크린 또는 터치패드 상의 검출된 손가락 더블 탭 또는 탭 앤 홀드를 포함할 수 있다(예를 들어 그러한 선택을 제공하는 손(28)의 윤곽을 표시하는 도 5a 참조). 대안적으로, 블록(106)의 사용자 입력은 커서(예를 들어, 스타일러스, 마우스, 터치패드 등에 제어됨)로부터 유사한 입력을 포함할 수 있다.

방법(100)을 수행하는 컴퓨팅 디바이스는 이동 궤적을 결정하기 위해 선택된 객체의 경계를 결정한다. 이것은 예를 들어 에지 검출을 사용하여 수행될 수 있다. 도 4a의 예에서, 이것은 골프공(14)의 경계를 결정하는 것을 포함한다.

임의로, 부가 조정들이 수행될 수 있다. 이것은 (예를 들어, 다수의 이미지들이 복수의 이미지들에 이동 궤적을 가지면) 새로운 이미지에 부가 객체들을 재배치하는 것을 포함할 수 있다. 일 예에서, 부가 조정들은 도 5에 도시된 바와 같이, 위상 기반 비디오 처리 알고리즘의 성능을 포함한다.

도 5는 부가 조정들을 수행하기 위해 방법(100)과 함께 수행될 수 있는 예시적 방법(200)을 예시하고, 위상 기반 비디오 모션 처리 알고리즘의 수행을 수반한다. 이미지들의 시퀀스로부터 부가 객체를 선택하는 사용자 입력이 수신된다(블록(202)). 위상 기반 비디오 모션 처리 알고리즘은 부가 객체의 과장된 이동들을 결정하기 위해 수행된다(블록(204)). 전자 디스플레이 상에, 선택된 부가 객체의 과장된 이동들이 디스플레이된다(블록(206)). 과장된 이동들을 디스플레이하는 것에 기초하여, 부가 객체의 선택된 묘사를 포함하는 부가 사용자 입력이 수신된다(블록(208)), 부가 객체의 선택된 묘사는 새로운 이미지에 포함된다(블록(210)).

방법(200)은 이제 도 6a 내지 도 6d와 관련하여 논의될 것이다. 아래의 논의는 선택되는 부가 객체가 깃대(18) 및 깃발(19)의 조합 - 깃발 어셈블리(40)로 집합적으로 언급됨 - 인 것을 가정한다. 도 1a 내지 도 1f에 도시되는 묘사된 장면에서, 깃대(18)의 제1 단부(42)는 홀(16)에 고정되고, 깃대(18)의 반대 제2 단부(44)는 깃발(19)에 고정된다. 묘사된 장면 도처에서, 깃발(19)은 약간 펄럭이고 있지만, 깃대(18)에서 임의의 인지가능 굽힘을 유도하기에 충분히 않다. 그럼에도 불구하고, 깃대(18)는 여전히 어느 정도의 굽힘 및/또는 진동을 나타내고 있을 수 있다. 위상 기반 비디오 모션 처리 알고리즘의 수행은 깃대(18)에서 진동과 같은 미묘한 이동들을 검출하고 현실적으로 과장할 수 있다.

블록(202)의 객체 선택 및/또는 블록(106)의 객체 선택에 대해, 객체 선택을 수신하는 컴퓨팅 디바이스는 선택되는 객체의 정도를 결정하기 위해 에지 검출을 수행할 수 있다. 객체가 다수의 요소들(예를 들어, 깃발 어셈블리(40)의 깃대(18) 및 깃발(19))을 포함하는 것으로 나타나면, 컴퓨팅 디바이스는 사용자가 다수의 피스들 각각을 선택하도록 의도되었다는 확인을 요청할 수 있다. 확인이 수신되지 않으면, 요소들의 다른 조합들(또는 단일 요소)은 그들의 선택에 기초하여 사용자에게 제안될 수 있다.

방법(200)에 따르면, 위상 기반 비디오 모션 처리 알고리즘은 부가 객체의 과장된 이동들을 결정하기 위해 (예를 들어, http://people.csail.mit.edu/nwadhwa/phase-video에서 논의되는 바와 같이) 수행되며(블록(204)), 부가 객체는 이러한 경우에 깃발 어셈블리(40)이다. 본 기술분야의 통상의 기술자들은 객체의 과장된 이동들을 획득하기 위해 위상 기반 비디오 모션 처리 알고리즘을 수행하는 법을 이해하기 때문에, 알고리즘의 수행은 본원에 상세히 논의되지 않는다.

전자 디스플레이 상에, 선택된 부가 객체의 과장된 이동들이 디스플레이된다(블록(206)). 일부 예시적 과장된 이동들은 도 6b 내지 도 6d에 도시되며, 점선 윤곽은 깃대 어셈블리(40)의 과장되지 않은 위치를 나타낸다. 도 6b 내지 도 6d는 깃발 어셈블리(40)의 더욱 과장된 이동들을 도시하며, 도 6d는 최대 묘사된 과장 위치를 도시된다. 과장된 이동들을 디스플레이하는 것에 기초하여, 부가 객체의 선택된 묘사를 포함하는 사용자 입력이 수신된다(블록(208)). 부가 객체의 선택된 묘사는 새로운 이미지에 포함된다(블록(210)). 선택된 묘사가 도 6d의 것이라 하면, 도 7은 수정된 새로운 이미지(20')를 도시하며, 수정된 새로운 이미지는 도 2의 이미지(20)이지만 깃발 어셈블리(40)의 선택된 묘사를 포함하도록 수정된다.

도 6a 내지 도 6d의 예에서, 부가 선택된 객체(깃발 어셈블리(40))는 베이스 이미지에 존재하지만, 수정된 새로운 이미지(20')로 변경되며, 이 새로운 이미지는 부가 선택된 객체의 원하는 묘사가 도시될 때 더 이상 점유되지 않는 픽셀들이 있을 수 있기 때문에 이미지에 "홀들"을 생성할 수 있다. 이것을 처리하기 위해, 그러한 픽셀들이 결정되고, 결정된 픽셀들을 둘러싸는 이미지 영역에 기초하여, 부가 객체가 선택된 이미지와 다른 복수의 이미지들 중 하나 이상에 기초하여, 또는 둘 다에 기초하여 채워진다. 상기 논의된 바와 같이, 채움에 사용될 수 있는 일부 기술들은 예를 들어 최단 이웃, 클로닝, 및/또는 내용 인식 채우기를 포함할 수 있다. 대안적으로, 또는 이것에 부가적으로, 픽셀들은 복수의 이미지들 중 다른 것들로부터 간단히 카피될 수 있다.

도 8은 본원에 논의되는 기술들을 구현하도록 동작가능한 예시적 컴퓨팅 디바이스(300)를 예시한다. 컴퓨팅 디바이스는 예를 들어 스마트폰, 개인 휴대 정보 단말기(personal digital assistant)(PDA), 또는 태블릿 컴퓨팅 디바이스일 수 있다. 물론, 랩톱들, 데스크톱 컴퓨터들 등과 같은 다른 타입들의 컴퓨팅 디바이스들이 또한 사용될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(300)는 디지털 카메라, 비디오 카메라, 또는 일부 다른 이미징 디바이스이다.

컴퓨팅 디바이스(300)는 프로세서(302) 및 전자 디스플레이(304)를 포함한다. 프로세서(302)는 예를 들어 하나 이상의 마이크로프로세서들, 마이크로컨트롤러들 등을 포함하는 하나 이상의 프로세서 회로들을 포함하고, 또한 상기 논의된 기술들 중 하나 이상을 수행하기 위해 적절한 소프트웨어 및/또는 펌웨어로 구성된다. 전자 디스플레이는 예를 들어 컴퓨팅 디바이스(300)에 통합되거나, 컴퓨팅 디바이스 외부에 있을 수 있다. 프로세서(302)는 전자 디스플레이 상에, 장면을 묘사하는 이미지들의 시퀀스로부터의 이미지들을 디스플레이하도록 구성된다. 프로세서(302)는 베이스 이미지로 사용되도록 시퀀스로부터 이미지를 선택하는 사용자 입력을 수신하고, 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력을 수신하고, 이미지들의 시퀀스로부터 선택된 객체의 이동 궤적으로 결정하도록 더 구성된다. 프로세서(302)는 초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 선택된 객체를 드래그하는 사용자 입력에 기초하여 선택된 객체를 재위치시키고; 베이스 이미지와 재위치된 객체를 조합함으로써 새로운 이미지를 생성하도록 더 구성된다.

컴퓨팅 디바이스(300)는 또한 입력 디바이스(306) 및 메모리 회로(308)를 포함한다. 일부 실시예들에서, 입력 디바이스(306)는 터치스크린 인터페이스를 제공하기 위해 전자 디스플레이(304)와 함께 동작하는 하나 이상의 터치 센서들을 포함한다. 물론, 터치패드와 같은 다른 터치 기반 입력 디바이스들이 사용될 수 있다. 일 예에서, 입력 디바이스는 외부 디바이스(예를 들어, 무선 마우스, 또는 유선 마우스)로부터 입력을 수신하는 통신 인터페이스이다. 입력 디바이스(306)는 이미지 선택을 표시하는 사용자 입력 및/또는 그것의 이동 궤적을 따라 객체를 선택하고 드래그하는 사용자 입력을 수신하기 위해 사용될 수 있다.

메모리 회로(308)는 이미지들(예를 들어, 도 1a 내지 도 1f에 도시된 이미지들)의 시퀀스를 저장하도록 동작가능한 비일시적 컴퓨터 판독가능 매체이다. 하나 이상의 실시예들에서, 비일시적 컴퓨터 판독가능 매체는 임의의 컴퓨터 판독가능 매체를 포함할 수 있으며, 유일한 예외는 일시적 전파 신호이다. 하나 이상의 실시예들에서, 메모리 회로(308)는 전자, 자기, 광, 전자기, 또는 반도체 기반 저장 시스템 중 하나 이상을 포함한다.

임의로, 컴퓨팅 디바이스(300)는 또한 렌즈(310) 및 이미지들(예를 들어, 도 1a 내지 도 1f의 이미지들)의 시퀀스를 기록하도록 구성되는 이미징 센서(312)를 포함할 수 있다. 컴퓨팅 디바이스(300)는 또한 이미지들을 송신하고/하거나 수신하기 위해 무선 송수신기(314)를 포함할 수 있다. 이러한 임의적 구성요소들은 그들이 요구되지 않는 것을 표시하기 위해 점선으로 도시된다.

컴퓨팅 디바이스(300)는 상기 설명된 기술들의 임의의 조합을 구현하도록 구성될 수 있다. 따라서, 하나 이상의 실시예들에서, 프로세서(302)는 새로운 위치가 이동 궤적에서 미리 정의된 편차 임계값 초과만큼 벗어나면 선택된 객체를 위한 새로운 위치를 거부하도록 구성된다. 동일한 또는 다른 실시예에서, 프로세서(302)는 선택된 객체가 궤적 상의 주어진 지점에 있고 객체를 드래그하는 사용자 입력이 수신되고 있는 동안 선택된 객체의 전체 궤적의 표시를 디스플레이하도록 구성된다. 동일한 또는 다른 실시예에서, 프로세서(302)는 상기 논의된 바와 같은 보간을 수행하도록 구성된다.

하나 이상의 실시예들에서, 컴퓨팅 디바이스(300)는 또한 도 5의 방법(200)을 수행하기 위해 동작가능하다. 그러한 실시예들에서, 프로세서(302)는 이미지들의 시퀀스로부터 부가 객체를 선택하는 사용자 입력을 수신하고; 부가 객체의 과장된 이동들을 결정하기 위해 위상 기반 비디오 모션 처리 알고리즘을 수행하고; 전자 디스플레이(304) 상에, 부가 객체의 과장된 이동들을 디스플레이하도록 구성된다. 프로세서(302)는 과장된 이동들을 디스플레이하는 것에 기초하여, 부가 객체의 선택된 묘사를 수신하고; 새로운 이미지에 부가 객체의 선택된 묘사를 포함하도록 더 구성된다.

임의로, 컴퓨터 프로그램 제품은 메모리 회로(308)에 저장될 수 있으며, 그것은 컴퓨팅 디바이스(300) 상에 실행될 때, 상기 논의된 기술들 중 어느 것을 수행하기 위해 컴퓨팅 디바이스(300)를 설정하는 컴퓨터 프로그램 코드를 포함한다.

종래 기술에서, 사진 조작은 종종 사진촬영 및 그래픽 설계 전문가들을 위해 보존되는 복잡한 작업이었다. 어도비 포토샵과 같은 도구들은 단일 이미지에 전형적으로 기초하여 자유로운 형식의 편집을 허용하는 복잡한 사용자 인터페이스들을 갖는다. 더 최근에, SCALADO로부터의 REWIND와 같은 소프트웨어는 사용자가 얼굴 표정들을 다수의 사진으로부터 단일 이미지로 조합할 수 있게 했다. 그러나, 이러한 도구들 중 아무 것도 객체들의 시퀀스로부터 선택된 객체의 이동 궤적을 결정하지 못하고, 초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 선택된 객체를 드래그하는 사용자 입력에 기초하여 선택된 객체를 재위치시키지 못한다. 더욱이, 그러한 도구들은 선택된 객체의 과장된 이동들을 결정하기 위해 위상 기반 비디오 모션 처리 알고리즘의 수행을 포함하지 않는다. 상기 논의된 보간 기술들은 그러한 종래 기술의 도구들에 포함되지 않는다.

결정된 이동 궤적을 따라 선택된 객체의 드래깅을 통해 직접적인 비디오 조작의 사용은 터치스크린 컴퓨팅 디바이스들과 잘 동작하는 유리한 사용자 인터페이스를 제공할 수 있다(그것에 대해 인터페이스 요소들은 제한될 수 있음). 또한, 상기 논의된 편차 임계값의 사용은 비현실적으로 보이는 사진 조작들을 회피하기 위해 사용될 수 있다.

본 개시는 물론, 본 개시의 본질적 특성들로부터 벗어나는 것 없이 본원에 구체적으로 진술되는 것들과 다른 방식으로 수행될 수 있다. 예를 들어, 또한, 일부 대안 구현들에서, 블록에 언급되는 기능들은 도면들에 언급되는 순서 외에 발생할 수 있다는 점이 주목되어야 한다. 예를 들어, 연속적으로 제시되는 2개의 블록은 실제로, 실질적으로 동시에 실행될 수 있거나, 블록들은 수반된 기능성에 따라 역 순서로 때때로 실행될 수 있다. 따라서, 본 실시예들은 모든 점에서 예시적인 것으로 간주되고 제한적인 것으로 간주되지 않으며, 첨부된 청구항들의 의미 및 균등 범위 내에 있는 모든 변경들은 본원에 포괄되도록 의도된다.

Claims

컴퓨팅 디바이스에 의해 구현되는 방법으로서,
전자 디스플레이 상에, 장면을 묘사하는 이미지들의 시퀀스로부터의 이미지들을 디스플레이하는 단계;
베이스 이미지(base image)로 사용되도록 상기 시퀀스로부터 이미지를 선택하는 사용자 입력을 수신하는 단계;
상기 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력을 수신하는 단계;
상기 이미지들의 시퀀스로부터 상기 선택된 객체의 이동 궤적(movement trajectory)을 결정하는 단계;
초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 상기 선택된 객체를 드래그하는 사용자 입력에 기초하여 상기 선택된 객체를 재위치(repositioning)시키는 단계; 및
상기 베이스 이미지와 상기 재위치된 객체를 조합함으로써 새로운 이미지를 생성하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 새로운 위치가 상기 이동 궤적에서 미리 정의된 편차 임계값 초과만큼 벗어나면 상기 선택된 객체를 위한 새로운 위치를 거부하는 단계를 포함하는 것을 더 특징으로 하는 방법.
제1항 또는 제2항에 있어서,
상기 선택된 객체가 상기 결정된 이동 궤적을 따라 드래그되고 있는 동안 상기 선택된 객체의 크기를 변화시키는 단계를 포함하는 것을 더 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 이미지들의 시퀀스 중 첫번째 것 내의 제1 위치와 상기 이미지들의 시퀀스 중 연속적인 두번째 것 내의 제2 위치 사이의 선택된 객체의 이동이 차이 임계값을 초과하면,
상기 제1 및 제2 위치들 사이에 있는 이동 궤적을 따라 상기 선택된 객체를 위한 부가 위치를 결정하기 위해 보간을 수행하는 단계; 및
상기 선택된 객체가 상기 제1 및 제2 위치들 사이의 결정된 이동 궤적을 따라 드래그되고 있는 동안 상기 부가 위치에서 상기 선택된 객체를 디스플레이하는 단계를 포함하는 것을 더 특징으로 하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 선택된 객체가 상기 궤적 상의 주어진 지점에 있고 상기 객체를 드래그하는 사용자 입력이 수신되고 있는 동안 상기 선택된 객체의 전체 궤적의 표시를 디스플레이하는 단계를 포함하는 것을 더 특징으로 하는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 시퀀스 내의 이미지들 중 임의의 것에서 상기 선택된 객체에 의해 점유되지 않는 이미지 영역들을 식별하는 단계; 및
상기 선택된 객체가 상기 이동 궤적을 따라 드래그되고 있음에 따라 상기 베이스 이미지의 식별된 이미지 영역들을 디스플레이하는 단계를 포함하는 것을 더 특징으로 하는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 베이스 이미지와 상기 재위치된 객체를 조합함으로써 새로운 이미지를 생성하는 단계는,
상기 선택된 객체가 상기 새로운 위치에 재위치될 때 더 이상 점유되지 않는 상기 베이스 이미지 내의 픽셀들을 결정하는 단계; 및
상기 결정된 픽셀들을 둘러싸는 이미지 영역에 기초하여, 상기 베이스 이미지와 다른 상기 시퀀스로부터의 이미지들 중 하나 이상에 기초하여, 또는 둘 다에 기초하여 상기 베이스 이미지의 결정된 픽셀들을 채우는 단계를 포함하는 것을 특징으로 하는 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 카메라 셔터의 사용자 작동에 기초하여 상기 이미지들의 시퀀스를 기록하는 단계를 포함하는 것을 더 특징으로 하는 방법.
제8항에 있어서, 상기 이미지들의 시퀀스는 비디오의 프레임들인 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 이미지들의 시퀀스로부터 부가 객체를 선택하는 사용자 입력을 수신하는 단계;
상기 부가 객체의 과장된 이동들(exaggerated movements)을 결정하기 위해 위상 기반 비디오 모션 처리 알고리즘(phase-based video motion processing algorithm)을 수행하는 단계;
상기 전자 디스플레이 상에 상기 부가 객체의 과장된 이동들을 디스플레이하는 단계;
상기 과장된 이동들을 디스플레이하는 것에 기초하여, 상기 부가 객체의 과장된 이동의 선택된 묘사를 수신하는 단계; 및
상기 새로운 이미지에 상기 부가 객체의 선택된 묘사를 포함하는 단계를 포함하는 것을 더 특징으로 하는 방법.
컴퓨팅 디바이스로서,
전자 디스플레이; 및
하나 이상의 처리 회로들
을 포함하며, 상기 하나 이상의 처리 회로들은,
상기 전자 디스플레이 상에, 장면을 묘사하는 이미지들의 시퀀스로부터의 이미지들을 디스플레이하고;
베이스 이미지로 사용되도록 상기 시퀀스로부터 이미지를 선택하는 사용자 입력을 수신하고;
상기 이미지들의 시퀀스로부터 객체를 선택하는 사용자 입력을 수신하고;
상기 이미지들의 시퀀스로부터 상기 선택된 객체의 이동 궤적을 결정하고;
초기 위치로부터 새로운 위치로의 결정된 이동 궤적을 따라 상기 선택된 객체를 드래그하는 사용자 입력에 기초하여 상기 선택된 객체를 재위치시키고;
상기 베이스 이미지와 상기 재위치된 객체를 조합함으로써 새로운 이미지를 생성하도록 구성되는 것을 특징으로 하는 컴퓨팅 디바이스.
제11항에 있어서, 상기 하나 이상의 처리 회로들은,
상기 새로운 위치가 상기 이동 궤적에서 미리 정의된 편차 임계값 초과만큼 벗어나면 상기 선택된 객체를 위한 새로운 위치를 거부하도록 더 구성되는 컴퓨팅 디바이스.
제11항 또는 제12항에 있어서, 상기 하나 이상의 처리 회로들은,
상기 선택된 객체가 상기 결정된 이동 궤적을 따라 드래그되고 있는 동안 상기 선택된 객체의 크기를 변화시키도록 더 구성되는 컴퓨팅 디바이스.
제11항 내지 제13항 중 어느 한 항에 있어서, 상기 하나 이상의 처리 회로들은,
상기 이미지들의 시퀀스 중 첫번째 것 내의 제1 위치와 상기 이미지들의 시퀀스 중 연속적인 두번째 것 내의 제2 위치 사이의 선택된 객체의 이동이 차이 임계값을 초과하면:
상기 제1 및 제2 위치들 사이에 있는 이동 궤적을 따라 상기 선택된 객체를 위한 부가 위치를 결정하기 위해 보간을 수행하고;
상기 선택된 객체가 상기 제1 및 제2 위치들 사이의 결정된 이동 궤적을 따라 드래그되고 있는 동안 상기 부가 위치에서 상기 선택된 객체를 디스플레이하도록 더 구성되는 컴퓨팅 디바이스.
제11항 내지 제14항 중 어느 한 항에 있어서, 상기 하나 이상의 처리 회로들은,
상기 선택된 객체가 상기 궤적 상의 주어진 지점에 있고 상기 객체를 드래그하는 사용자 입력이 수신되고 있는 동안 상기 선택된 객체의 전체 궤적의 표시를 디스플레이하도록 더 구성되는 컴퓨팅 디바이스.
제11항 내지 제15항 중 어느 한 항에 있어서, 상기 하나 이상의 처리 회로들은,
상기 시퀀스 내의 이미지들 중 임의의 것에서 상기 선택된 객체에 의해 점유되지 않는 이미지 영역들을 식별하고;
상기 선택된 객체가 상기 이동 궤적을 따라 드래그되고 있음에 따라 상기 베이스 이미지의 식별된 이미지 영역들을 디스플레이하도록 더 구성되는 컴퓨팅 디바이스.
제11항 내지 제16항 중 어느 한 항에 있어서, 상기 베이스 이미지와 상기 재위치된 객체를 조합함으로써 새로운 이미지를 생성하기 위해, 상기 하나 이상의 처리 회로들은,
상기 선택된 객체가 상기 새로운 위치에 재위치될 때 더 이상 점유되지 않는 상기 베이스 이미지 내의 픽셀들을 결정하고;
상기 결정된 픽셀들을 둘러싸는 이미지 영역에 기초하여, 상기 베이스 이미지와 다른 상기 시퀀스로부터의 이미지들 중 하나 이상에 기초하여, 또는 둘 다에 기초하여 상기 베이스 이미지의 결정된 픽셀들을 채우도록 구성되는 컴퓨팅 디바이스.
제11항 내지 제17항 중 어느 한 항에 있어서, 상기 하나 이상의 처리 회로들은 카메라 셔터의 사용자 작동에 기초하여 상기 이미지들의 시퀀스를 기록하도록 더 구성되는 컴퓨팅 디바이스.
제18항에 있어서, 상기 이미지들의 시퀀스는 비디오의 프레임들인 컴퓨팅 디바이스.
제11항 내지 제19항 중 어느 한 항에 있어서, 상기 하나 이상의 처리 회로들은,
상기 이미지들의 시퀀스로부터 부가 객체를 선택하는 사용자 입력을 수신하고;
상기 부가 객체의 과장된 이동들을 결정하기 위해 위상 기반 비디오 모션 처리 알고리즘을 수행하고;
상기 전자 디스플레이 상에 상기 부가 객체의 과장된 이동들을 디스플레이하고;
상기 과장된 이동들을 디스플레이하는 것에 기초하여, 상기 부가 객체의 과장된 이동의 선택된 묘사를 수신하고;
상기 새로운 이미지에 상기 부가 객체의 선택된 묘사를 포함하도록 더 구성되는 컴퓨팅 디바이스.