KR20180080697A

KR20180080697A - 인터랙티브 시네마 그램 방법 및 장치

Info

Publication number: KR20180080697A
Application number: KR1020180000914A
Authority: KR
Inventors: 슈라브 라빈드란; 유영준
Original assignee: 삼성전자주식회사
Priority date: 2017-01-04
Filing date: 2018-01-03
Publication date: 2018-07-12
Also published as: KR20190086770A; EP3559913A1; KR102248850B1; EP3559913A4; WO2018128333A1; US20190019320A1; US10586367B2

Abstract

인터랙티브 시네마 그램을 위한 방법, 장치 및 컴퓨터 판독 가능 매체에 관한 발명으로서, 전자 장치의 디스플레이 상에 애니메이티드 부분(animated portion)을 갖는 시네마 그램의 스틸 프레임(still frame)을 디스플레이하고, 스틸 프레임을 디스플레이 한 후, 전자 장치의 하나 이상의 센서로부터의 입력에 기초하여 트리거링 이벤트(triggering event)의 발생을 식별하며, 트리거링 이벤트의 발생을 식별하는 것에 응답하여 상기 시네마 그램의 애니메이티드 부분의 애니메이션을 개시하는 방법이 개시된다.

Description

인터랙티브 시네마 그램 방법 및 장치 {METHOD AND APPARATUS INTERACTIVE CINEMAGRAM}

본 발명은 인터랙티브 시네마 그램 방법에 관한 것이다.

본 발명은 원하는 영역에 애니메이션 기능을 부여할 수 있도록 하는 시네마 그램 기술에 관한 것이다.

본 발명은 시네마 그램의 생성 및 상호 작용성(interactivity)을 제공한다.

일 실시 예에서, 인터랙티브 시네마 그램(interactive cinema gram)을 위한 방법이 제공된다. 인터랙티브 시네마 그램을 위한 방법은 전자 장치의 디스플레이 상에 시네마 그램의 스틸프레임(still frame)을 디스플레이하는 단계를 포함한다. 시네마 그램은 애니메이티드 부분(animated portion)을 포함한다. 상기 방법은 스틸 프레임을 디스플레이 한 후, 전자 장치의 하나 이상의 센서로부터의 입력에 기초하여 트리거링 이벤트의 발생을 식별하는 단계를 포함한다. 또한, 상기 방법은 트리거링 이벤트의 발생을 식별하는 것에 응답하여 시네마 그램의 애니메이티드 부분의 애니메이션을 개시하는 단계를 포함한다.

다른 실시 예에서, 전자 장치가 제공된다. 전자 장치는 디스플레이, 하나 이상의 센서, 및 디스플레이 및 하나 이상의 센서에 동작 가능하게 연결된 프로세서를 포함한다. 디스플레이는 시네마 그램의 스틸 프레임을 표시하도록 구성된다. 시네마 그램은 애니메이티드 부분을 포함한다. 상기 프로세서는 상기 스틸 프레임의 디스플레이 후에, 상기 하나 이상의 센서로부터의 입력에 기초하여 트리거링 이벤트의 발생을 식별하도록 구성되며, 트리거링 이벤트의 발생의 식별에 응답하여, 디스플레이를 통해 시네마 그램의 애니메이티드 부분의 애니메이션을 시작한다

또 다른 실시 예에서, 컴퓨터 판독 가능 매체가 제공된다. 상기 컴퓨터 판독 가능 매체는, 전자 장치의 적어도 하나의 프로세서에 의해 실행될 때 전자 장치로 하여금 전자 장치의 디스플레이가 애니메이티드 부분을 포함하는 시네마 그램의 스틸 프레임을 표시하도록 하고, 스틸 프레임의 디스플레이 후에, 전자 장치의 하나 이상의 센서로부터의 입력에 기초하여 트리거링 이벤트의 발생을 식별하고, 트리거링 이벤트의 발생의 식별에 응답하여, 디스플레이를 통해 시네마 그램의 애니메이티드 부분의 애니메이션을 시작한다.

도 1은 본 발명의 다양한 실시 예가 구현될 수 있는 예시적인 네트워크 시스템 (100)을 도시한다.
도 2는 본 발명의 실시 예에 따른 예시적인 전자 장치 (200)를 도시한다.
도 3은 본 발명의 다양한 실시 예에 따라 인터랙티브 시네마 그램을 생성하기 위한 자동 모드의 프로세스 흐름도를 도시한다.
도 4는 본 발명의 다양한 실시 예에 따른 인터랙티브 시네마 그램을 생성하기 위한 수동 모드를 위한 프로세스의 흐름도를 도시한다.
도 5a 및 도 5b는 본 발명의 하나 이상의 실시 예에 따른 시네마 그램 상호 작용성의 예를 도시한다.
도 6a 및 도 6b는 본 발명의 하나 이상의 실시 예에 따른 시네마 그램 상호 작용성의 예를 도시한다.
도 7a 및 도 7b는 시네마 그램의 재생 동안 기준 프레임으로부터 누락된 픽셀 정보의 시각적인 예를 도시한다.
도 8은 본 발명의 일 실시예에 따른 시네마 그램 생성을 위한 보조 분할의 예를 도시한다.
도 9는 본 발명의 다양한 실시 예에 따른 인터랙티브 시네마 그램을 위한 프로세스를 도시한다.
도 10은 본 발명의 다양한 실시 예에 따른 시네마 그램을 생성하는 프로세스를 도시한다.

다른 기술적 특징들은 다음의 도면, 설명 및 청구 범위를 통해 당업자에게 쉽게 명백해질 수 있다.

아래의 상세한 설명을 하기 전에, 이 특허 문헌 전체에 걸쳐 사용 된 특정 단어 및 어구의 정의를 기술하는 것이 바람직할 수 있다. "연결된"이라는 용어와 그 파생어는 둘 이상의 요소가 서로 물리적으로 접촉하든 아니든 상관없이 직접 또는 간접적인 의사 소통이 진행되는 것을 의미한다. "전송", "수신"및 "의사 소통"은 그 파생물 뿐만 아니라 직접 및 간접적인 의사 소통을 포함한다. 용어 "포함하는"은 그 파생물 뿐만 아니라 제한 없는 포함을 의미한다. "또는"이라는 용어는 포괄적이며 의미 및 / 또는 의미를 지닌다. 본 명세서에서 사용 된 "포함 된 (associated with)"이라는 어구 및 그 파생어는 그 안에 포함하거나, 그 안에 포함되거나, 상호 연결되거나, 포함하거나, 포함되거나, 연결하거나, 연결되거나, 인접하거나, 나란히 놓고, 병치하거나, 가까이 있거나, 바인딩되어 있거나, 소유하고 있거나, 소유하고 있거나, 관계를 가지고 있거나 또는 이와 유사한 관계를 가지고 있다. "적어도 하나"라는 문구는 항목 목록과 함께 사용될 때 나열된 항목 중 하나 이상의 다른 조합이 사용될 수 있으며 목록 중 한 항목만 필요할 수 있음을 의미한다. 예를 들어 "A, B 및 C 중 적어도 하나"에는 A, B, C, A 및 B, A 및 C, B 및 C 및 A 및 B 및 C 조합이 포함된다.

또한, 이하에서 설명되는 다양한 기능들은 하나 이상의 컴퓨터 프로그램에 의해 구현되거나 지원 될 수 있으며, 각각의 컴퓨터 프로그램은 컴퓨터 판독 가능 프로그램 코드로 형성되고 컴퓨터 판독 가능 매체에 구현된다. "응용 프로그램"및 "프로그램"이라는 용어는 하나 이상의 컴퓨터 프로그램, 소프트웨어 구성 요소, 지침 집합, 절차, 기능, 개체, 클래스, 인스턴스, 관련 데이터, 또는 적절한 컴퓨터 판독 가능 프로그램 코드로 구현하기에 적합한 일부를 말한다. "컴퓨터 판독 가능 프로그램 코드"라는 문구는 소스 코드, 오브젝트 코드 및 실행 가능 코드를 포함하여 모든 유형의 컴퓨터 코드를 포함한다. "컴퓨터 판독 가능 매체"라는 문구는 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 하드 디스크 드라이브, 콤팩트 디스크 (CD), 디지털 비디오 디스크 (DVD), 또는 임의의 다른 유형의 메모리 등과 같은 컴퓨터에 의해 액세스 될 수 있는 임의의 유형의 매체를 포함한다. "일시적이지 않은 (non-transitory)"컴퓨터 판독 가능 매체는 일시적인 전기 또는 다른 신호를 전송하는 유선, 무선, 광학 또는 다른 통신 링크를 배제한다. 비 일시적인 컴퓨터 판독 가능 매체는 데이터가 영구적으로 저장 될 수 있는 매체 및 재기록 가능한 광디스크 또는 소거 가능 메모리 장치와 같이 데이터가 저장되고 나중에 겹쳐 쓰기가 될 수 있는 매체를 포함한다

다른 특정 단어 및 구에 대한 정의가 이 특허 문헌 전체에 걸쳐 제공된다. 당업자라면 대부분의 경우는 아니지만 많은 경우에 그러한 정의가 그렇게 정의된 단어 및 어구의 이전 및 이후의 사용에 사용된다는 것을 이해해야 한다.

이하에 설명되는 도 1 내지 도 10 및, 이 특허 문헌에서 본 개시 내용의 원리를 설명하기 위해 사용 된 다양한 실시 예는 단지 설명을 위한 것이며 본 발명의 범위를 제한하는 것으로 해석되어서는 안 된다. 당업자는 본 개시의 원리가 임의로 적절히 배열된 시스템 또는 장치로 구현 될 수 있다는 것을 이해할 것이다.

본 개시의 실시 예들서 모션 영역(motion region)이 대부분의 프레임들에 걸쳐 비교적 일정 할 때, 시네마 그램을 생성하기 위한 애플리케이션들이 잘 동작한다. 예를 들어, 모션 영역은 이미지의 다른 영역에 영향을 미치지 않고 반복적인 모션이 반복되거나(repeated) 또는 루핑되는(looped) 이미지의 미리 정의 된 영역으로 제한된다.

시네마 그램을 만드는 기술은 정지 스틸 배경 영역(still background region)에서 모션 영역을 분할 한 다음 다른 프레임의 모션 영역을 스틸 배경 프레임(still background frame)에 블렌딩하는 것과 관련이 있다. 본 발명의 실시 예에서는, 모션 영역들이 프레임마다 또는 모션 영역 내에서 상당한 변위를 가질 때, 사용자가 일부 특징들을 정지시키고 모션 중에 다른 특징들을 유지하기를 원할 때, 그러한 기술들이 저 품질의 시네마 그램 (예를 들어, 오버 블렌딩으로부터 크게 픽셀 화되고, 현저한 결함(artifacts) 존재, 배경 프레임의 홀 존재, 및 / 또는 움직이고 있는 객체의 누락 등)을 생성 할 수 있음을 고려한다.

본 발명의 실시 예는 시네마 그램을 트리거링하고 시네마 그램의 모션 사이의 의미적 연결을 갖는 시네마 그램을 포함하는 인터랙티브 시네마 그램을 갖는 것이 바람직 할 수 있다는 것을 고려한다. 따라서, 본 개시의 실시 예는 시네마 그램을 생성하기 위한 개선 된 기술을 제공하고 인터랙티브 시네마 그램을 제공한다.

도 1은 본 발명의 다양한 실시 예가 구현될 수 있는 예시적인 네트워크 시스템 (100)을 도시한다. 도 1에 도시 된 네트워크 시스템 (100)의 실시 예는 단지 설명을 위한 것이다. 네트워크화 된 시스템 (100)의 다른 실시 예들은 본 개시의 본질적인 범위 내에서 사용될 수 있다.

도 1에 도시 된 바와 같이, 시스템 (100)은 네트워크 (102)를 포함하며, 네트워크 (102)는 시스템 (100) 내의 다양한 컴포넌트들 간의 통신을 용이하게 한다. 예를 들어, 네트워크 (102)는 인터넷 프로토콜 (IP) 패킷 또는 네트워크 어드레스간에 다른 정보를 전달할 수 있다. 네트워크 (102)는 하나 이상의 근거리 통신망 (LAN); 대도시 네트워크 (MANs); 광역 네트워크 (WAN); 인터넷과 같은 글로벌 네트워크의 전체 또는 일부; 또는 하나 이상의 위치에 있는 임의의 다른 통신 시스템을 포함 할 수 있다.

네트워크 (102)는 적어도 하나의 서버 (104)와 다양한 클라이언트 장치들 (106-115) 간의 통신을 용이하게 한다. 각각의 서버 (104)는 하나 이상의 클라이언트 장치에 컴퓨팅 서비스를 제공 할 수 있는 임의의 적합한 전자 컴퓨팅 또는 처리 장치를 포함한다.

예를 들어, 각각의 서버 (104)는 하나 이상의 처리 장치, 명령 및 데이터를 저장하는 하나 이상의 메모리, 및 네트워크 (102)를 통한 통신을 용이하게 하는 하나 이상의 네트워크 인터페이스를 포함 할 수 있다. 예를 들어, 서버 (104)는 본 개시의 하나 이상의 실시 예에 따라 시네마 그램(cinema gram)을 생성하기 위해 하나 이상의 애플리케이션을 동작시킬 수 있다. 다른 예에서, 서버 (104)는 클라이언트 장치들 (106-115) 사이에서 시네마 그램을 생성하기 위한 시네마 그램 및 / 또는 이미지 또는 비디오의 전송을 용이하게 할 수 있다.

각각의 클라이언트 장치 (106-115)는 네트워크 (102)를 통해 적어도 하나의 서버 또는 다른 컴퓨팅 장치 (들)과 상호 작용하는 임의의 적합한 전자 컴퓨팅 또는 프로세싱 장치를 나타낸다. 이 예에서, 클라이언트 장치들 (106-115)은 데스크탑 컴퓨터 (106), 이동 전화 또는 스마트 폰 (108), 개인 휴대 정보 단말기 (PDA) (110), 랩탑 컴퓨터 (112), 태블릿 컴퓨터 (114), 셋톱 박스 및 텔레비전 (115) 등이 있다. 그러나, 임의의 다른 또는 추가적인 클라이언트 장치가 네트워크 시스템 (100)에서 사용될 수 있다. 다양한 실시 예들에서, 클라이언트 장치들 (106-115)은 이하에서 더 상세히 설명되는 바와 같이 시네마 그램의 생성 및 상호 작용을 위한 기술들을 구현한다.

본 실시예에서, 일부 클라이언트 장치들 (108-114)은 네트워크 (102)와 간접적으로 통신한다. 예를 들어, 클라이언트 장치들 (108-110)은 통신 기지국들 또는 eNodeB들과 같은 하나 이상의 기지국들 (116)을 통해 통신한다. 또한, 클라이언트 장치들 (112-115)은 IEEE 802.11 무선 액세스 포인트들과 같은 하나 이상의 무선 액세스 포인트들 (118)을 통해 통신한다. 이들은 단지 예시를 위한 것이며, 각각의 클라이언트 장치는 네트워크 (102)와 직접 또는 임의의 적합한 중간 장치 또는 네트워크를 통해 네트워크 (102)와 간접적으로 통신 할 수 있다.

도 1은 네트워크 시스템 (100)의 일례를 도시하지만, 도 1을 다양하게 변경시킬 수 있다. 예를 들어, 시스템 (100)은 임의의 적절한 구성으로 임의의 수의 각 구성 요소를 포함 할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템은 다양한 구성을 가지며, 도 1은 본 개시의 범위를 임의의 특정 구성으로 제한하지 않는다. 도 1은 본 특허 명세서에 개시된 다양한 특징이 사용될 수 있는 하나의 동작 환경을 도시하지만, 이들 특징은 임의의 다른 적합한 시스템에서 사용될 수 있다.

도 2는 본 발명의 실시 예에 따른 예시적인 전자 장치 (200)를 도시한다. 도 2에 도시 된 전자 장치 (200)의 실시 예는 단지 설명을 위한 것이며, 도 1의 클라이언트 장치들 (106-115)은 동일하거나 유사한 구성을 가질 수 있다. 그러나, 전자 장치는 다양한 구성을 가지며, 도 2는 전자 장치의 임의의 특정 구현에 대한 본 개시의 범위를 제한하지 않는다.

도 2에 도시 된 바와 같이, 전자 장치 (200)는 통신 인터페이스 (210), TX 처리 회로 (215), 마이크로폰 (220) 및 수신 (RX) 처리 회로 (225)를 포함한다. 통신 인터페이스 (210)는 예를 들어 RF 송수신기, 블루투스 송수신기 또는 Wi-Fi 송수신기를 포함 할 수 있다. 다른 예에서, 통신 인터페이스 (210)는 예를 들어 네트워크 인터페이스 카드를 통해 유선 통신을 지원할 수 있다.

전자 장치 (200)는 또한 스피커 (230), 프로세서 (240), 입력 / 출력 (I / O) 인터페이스 (IF) (245), 입력부 (250), 디스플레이 (255), 메모리 (260) 및 센서 (265)를 포함한다. 메모리 (260)는 운영 체제 (OS) (261) 및 하나 이상의 애플리케이션 (262)을 포함한다.

무선 통신을 이용하는 실시 예에서, 통신 인터페이스 (210)는 블루투스 신호 또는 Wi-Fi 신호와 같은 인입 RF 신호를 수신 할 수 있다. 통신 인터페이스 (210)는 입력되는 RF 신호를 하향 변환하여 중간 주파수 (IF) 또는 기저 대역 신호를 생성 할 수 있다. IF 또는 기저 대역 신호는 기저 대역 또는 IF 신호를 필터링, 디코딩 및 / 또는 디지털화함으로써 처리 된 기저 대역 신호를 생성하는 RX 처리 회로 (225)에 전송된다.

RX 처리 회로 (225)는 처리 된 기저 대역 신호를 (음성 데이터와 같은) 스피커 (230) 또는 (웹 브라우징 데이터와 같은) 추가 처리를 위해 프로세서 (240)에 송신한다. TX 처리 회로 (215)는 프로세서 (240)로부터 마이크로폰 (220) 또는 다른 출력베이스 밴드 데이터 (웹 데이터, 이메일 또는 대화 형 비디오 게임 데이터와 같은)로부터 아날로그 또는 디지털 음성 데이터를 수신한다.

TX 처리 회로 (215)는 처리 된 기저 대역 또는 IF 신호를 생성하기 위해 출력 기저 대역 데이터를 인코딩, 다중화 및 / 또는 디지털화한다. 통신 인터페이스 (210)는 TX 처리 회로 (215)로부터 출력 처리 된 기저 대역 또는 IF 신호를 수신하고 기저 대역 또는 IF 신호를 안테나를 통해 송신되는 RF 신호로 상향 변환한다.

프로세서 (240)는 하나 이상의 프로세서 또는 다른 처리 장치를 포함 할 수 있고, 전자 장치 (200)의 전체 동작을 제어하기 위해 메모리 (260)에 저장된 OS (261)를 실행할 수 있다. 프로세서 (240)는 또한 이하에서 더 상세히 설명되는 바와 같이 시네마 그램의 생성 및 상호 작용을 위한 하나 이상의 애플리케이션과 같이, 메모리 (260)에 상주하는 다른 애플리케이션 (262)을 실행할 수 있다.

프로세서 (240)는 실행 프로세스에 의해 요구되는 바와 같이 메모리 (260) 내외로 데이터를 이동시킬 수 있다. 프로세서 (240)는 또한 전자 장치 (200)에 랩탑 컴퓨터 및 휴대용 컴퓨터와 같은 다른 장치에 접속하는 능력을 제공하는 I / O 인터페이스 (245)에 연결된다. I / O 인터페이스 (245)는 이들 액세서리들과 프로세서 (240) 사이의 통신 경로이다.

프로세서 (240)는 또한 입력 (250) 및 디스플레이 (255)에 연결된다. 전자 장치 (200)의 사용자는 전자 장치 (200)에 데이터 및 입력을 입력하기 위해 입력부 (250)을 사용할 수 있다. 예를 들어, 입력부 (250)는 터치 스크린, 버튼, 키보드, 트랙볼, 마우스, 스타일러스, 전자펜 등일 수 있다.

디스플레이 (255)는 액정 디스플레이, 발광 다이오드 디스플레이, 또는 웹 사이트와 같이 텍스트 및 / 또는 적어도 제한된 그래픽을 렌더링 할 수 있는 다른 디스플레이 일 수 있다. 메모리 (260)는 프로세서 (240)에 연결된다. 메모리 (260)의 일 부분은 랜덤 액세스 메모리 (RAM)를 포함 할 수 있고, 메모리 (260)의 다른 부분은 플래시 메모리 또는 다른 판독 전용 메모리 (ROM)를 포함 할 수 있다.

전자 장치 (200)는 프로세서 (240)에 동작 가능하게 연결된 하나 이상의 센서 (들) (265)를 더 포함한다. 예를 들어, 센서 (들) (265)는 전자 장치 (200)에 근접한 일부 측정 가능한 효과를 검출한다. 센서 (265)는 관성 센서 (예 : 가속도계, 자이로스코프, 자력계), 광학 센서, 모션 센서, 카메라, 압력 센서, 심박 센서, 고도계, 호흡 센서 (예 : 마이크 220) 등을 포함 할 수 있다. 후술되는 바와 같이, 다양한 실시 예에서, 센서 (들) (265)는 상호 작용성을 제공하기 위해 시네마 그램의 동적 구성 요소(motion component) 를 트리거링(triggering) 하기 위한 하나 이상의 의미적 트리거(semantic trigger) 의 발생을 식별하는데 사용될 수 있다.

도 2는 전자 장치 (200)의 일례를 도시하지만, 다양한 변경이 도 2에 대해 이루어질 수 있다. 예를 들어, 도 2의 다양한 구성 요소들이 결합되거나, 더 세분화되거나 생략 될 수 있고, 특정 요구에 따라 추가 구성 요소가 추가 될 수 있다. 특정 예로서, 프로세서 (240)는 하나 이상의 중앙 처리 장치 (CPU) 및 하나 이상의 그래픽 처리 장치 (GPU)와 같은 다수의 프로세서로 분할 될 수 있다.

다른 예에서, 전자 장치는 안테나 또는 다중 안테나 세트를 포함 할 수 있다. 또한, 도 2는 이동 전화 또는 스마트폰으로서 구성된 전자 장치 (200)를 도시하지만, 전자 장치는 시네마 그램을 생성 하거나 상호 작용하기 위한 다른 유형의 모바일, 고정 장치 또는 전자 장치로서 동작하도록 구성 될 수 있다.

이하에서 더 상세히 설명되는 바와 같이, 본 개시의 실시 예는 시네마 그램의 상호 작용성을 제공한다. 본 발명의 실시 예들은 상당한 변위를 갖는 다수의 프레임들에 걸친 모션 영역들이 여전히 시네마 그램을 형성하도록 블렌딩될 수 있도록, 객체 분할 및 프레임들에 걸쳐 이동하는 객체 추적을 통한, 향상된 시네마 그램 생성 품질을 제공한다. 다양한 실시 예에서, 인터랙티브 시네마 그램 생성은 시네마 그램을 생성하기 위해 사용자로부터의 입력을 필요로 하지 않는 자동 모드를 사용하거나 또는 시네마 그램 생성 중에 하나 이상의 포인트에서 사용자로부터의 하나 이상의 입력을 요구하는 수동 모드를 사용하여 수행 될 수 있다.

도 3은 본 발명의 다양한 실시 예에 따라 인터랙티브 시네마 그램을 생성하기 위한 자동 모드의 프로세스 흐름도를 도시한다. 예를 들어, 도 3에 도시된 프로세스는 도 2의 전자 장치 (200)에 의해 구현되는 것으로 설명된다. 이 프로세스는 도 1의 임의의 장치 (106-115)에 의해 구현될 수도 있다.

자동 모드의 경우, 프로세스는 전자 장치 (200)가 비디오 시퀀스를 수신하는 것으로 시작한다 (단계 305). 단계 (305)에서, 임의의 유형의 비디오 또는 이미지 데이터가 사용될 수 있다. 예를 들어, 비디오 시퀀스는 비디오 파일 또는 그래픽 교환 포맷 (GIF) 파일로서 저장된 일련의 순차 프레임 일 수 있다. 프레임은 상호 의존성이 있는 개별 이미지 또는 비디오 프레임 일 수 있다.

전자 장치 (200)는 기준 프레임 선택 (또한 키 프레임(key frame) 또는 배경 프레임(background frame)이라고도 함)을 수행한다 (단계 310). 예를 들어, 단계 (310)에서, 전자 장치 (200)는 특정 동적 구성 요소의 이미지 품질 및 위치에 기초하여 기준 프레임 선택을 선택할 수 있다. 예를 들어, 시작점이 있는 루핑 구성 요소를 가진 시네마 그램의 경우, 가급적 시작점이 있는 프레임을 기준 프레임으로 선택한다. 다른 예에서, 시퀀스가 진행되는 동안 모션이 발생하는 이미지의 품질이 높거나, 영역이 넓지 않는 프레임을 기준 프레임으로 선택 할 수 있다.

그 후, 전자 장치 (200)는 정적 구성 요소 식별을 수행한다 (단계 315). 예를 들어, 단계 315에서, 전자 장치 (200)는 상대적으로 일정하거나 비디오 시퀀스의 진행 동안 이동하지 않는 기준 프레임의 부분을 식별한다.

전자 장치 (200)는 프레임 정렬을 위한 아핀 행렬(affine matrix) 계산을 수행한다 (단계 320). 예를 들어, 단계 (320)에서, 전자 장치 (200)는 기준 프레임 이외의 프레임을 기준 프레임과 정렬하도록 아핀 행렬을 계산할 수 있다. 전자 장치 (200)는 비디오 시퀀스의 진행 동안 기준 프레임의 정적 구성 요소의 위치를 추적하는 것에 기초하여 아핀 행렬을 계산한다. 프레임 정렬은 비디오 시퀀스를 생성하는 동안 발생한 카메라의 움직임을 보완 할 수 있다. 예를 들어, 프레임 정렬은 기준 프레임에서의 객체들의 위치에 상대적으로 비디오 시퀀스를 거쳐 이동하는 객체들의 추적을 향상시킬 수 있다.

전자 장치 (200)는 동적 구성 요소를 식별한다 (단계 325). 예를 들어, 단계 (325)에서, 전자 장치 (200)는 프레임 정렬 후에 비디오 시퀀스의 어떤 지역들 또는 영역들이 시퀀스의 지속 기간 동안 이동하고 있는지를 식별한다.

전자 장치 (200)는 객체 분할 및 추적을 수행한다 (단계 330). 예를 들어, 단계 330에서, 전자 장치 (200)는 시네마 그램의 동적 구성 요소(motion component) 를 형성하기 위해 비디오 시퀀스의 진행 과정을 추적하기 위해 동적 구성 요소로부터 하나 이상의 객체를 선택한다.

객체 선택은 모션의 양에 기초하여 자동적으로 수행될 수 있거나, 이하에서 보다 상세히 설명되는 바와 같이, 어느 애니메이션 객체가 고품질 시네마 그램을 생성 하는지를 식별하는 딥 러닝 프로세스(deep learning process)가 수행될 수 있다. 객체 선택은 또한 이하에서 더 상세히 설명되는 바와 같이 사용자의 선택에 기초하여 수동으로 수행될 수 있다. 이 단계의 일부로서, 전자 장치 (200)는 이동 물체를 프레임으로부터 분할 또는 제거하여 시퀀스를 통해 객체의 모션 또는 애니메이션을 나타내는 일련의 프레임 분할을 형성한다.

일부 실시 예들에서, 시네마 그램 생성자는 하나 이상의 동적 구성 요소들에 대한 대체 궤도 또는 모션 패턴을 나타낼 수 있다. 비디오 시퀀스로부터 학습 된 모션 패턴에 기초하여, 전자 장치 (200)는 투시 변환 및 연결(occlusion) 효과를 적용하여 원하는 시네마 그램을 렌더링 할 수 있다. 이러한 실시 예는 모션 패턴이 기록 된 비디오 시퀀스에만 근거하지 않고 흥미로운 시네마 그램을 생성하기 위해 더 큰 창의력과 자유를 허용하기 때문에 시네마 그램의 일반적인 정의와 다르다.

다른 실시 예에서, 본 명세서에 개시된 프로세스는, 예를 들어 동적 구성 요소가 스크린 내외로 이동하는 효과를 갖는 3 차원 (3D) 시네마 그램을 생성하는데 사용될 수 있다. 또한 시네마 그램은 이러한 형식으로 소비될 수 있는 시네마 그램을 만들기 위해 증강 현실 (AR) 또는 가상 현실 (VR) 환경 용으로 만들 수 있다.

전자 장치 (200)는 의미 트리거 옵션(semantic trigger option)을 식별한다 (단계 335). 본 명세서에서 의미 트리거 옵션은 시네마 그램 애니메이션과 논리적으로 관련되는 시네마 그램의 애니메이션을 트리거하는 이벤트에 대한 옵션이다. 다양한 실시 예들에서, 본 개시는 시네마 그램의 동적 구성 요소의 의미 트리거 (semantic triggering)를 통한 시네마 그램의 상호 작용성을 제공한다. 이러한 방식으로, 시네마 그램 은 모션(motion) 을 트리거링하는 동작(action)과 시네마 그램의 모션 간의 의 의미링크(semantic link)를 통해 높은 수준의 상호 작용성을 제공한다.

도 5a 및 도 5b는 본 발명의 하나 이상의 실시 예에 따른 시네마 그램 상호 작용성의 예를 도시한다.

도 5a 및 도 5b에 도시 된 예에서, 전화기 (500)의 방향(orientation)은 시네마 그램에서 액체 (510)의 흐름을 트리거링 한다. 예를 들어, 전화기 (500)는 방향의 변화를 검출하기 위해 관성 센서와 같은 센서 (265)를 포함하는 전자 장치 (200)에 의해 구현될 수 있다.

방향 변화가 검출되거나 소정의 임계 값을 충족 시키거나 초과할 때, 전자 장치 (200)는 시네마 그램의 동적 구성 요소 (motion component), 본 실시예에서는 캔 (505)로부터의 액체 (510)의 흐름을 트리거링한다. 또한 방향 변경 속도 또는 양은 동적 구성 요소가 재생되는 속도에 비례 할 수 있다. 예를 들어, 전화기가 수직으로 또는 급히 기울여질 때, 전자 장치 (200)는 액체가 더 빨리 부어지는 효과를 주기 위해 동적 구성 요소가 재생되는 속도를 가속화 할 수 있고, 그 반대의 경우도 가능할 수 있다.

도 6a 및 도 6b에 도시된 예에서, 스크린 (600)에 바람을 부는 것은 양초 (605)의 모션을 촉진하고, 케익 위의 양초 (605)를 부는 시뮬레이션을 가능하게 한다.

예를 들어, 전자 장치 (200)는 동적 구성 요소 트리거링하기 위해 바람을 부는 사용자에 대한 사운드를 검출하기 위해 호흡 센서 또는 마이크로폰과 같은 센서 (265)를 포함 할 수 있다. 유사하게, 더 강하게 검출된 바람불기는 동적 구성 요소가 더 빨리 움직이게 할 수 있고, 그 반대인 경우도 발생할 수 있다.

캔 기울이기 및 양초 불기의 실시 예가 도시되어 있지만, 이들은 예시일 뿐이다.

예를 들어 근접 센서 또는 터치 센서 (예를 들어 입력 (250)에 포함 된 용량 또는 유도성 터치 스크린, 센서 (265)에 포함된 단거리 센서 또는 터치 센서, 카메라 등을 포함)로 감지된 물체를 가볍게 두드리거나 가리키면 해당 객체의 모션을 트리거할 수 있다.

다른 실시 예에서, 전자 장치 (200)는 전방 향 카메라 및 디스플레이 된 시네마 그램을 보고 상호 작용하는 전자 장치 (200)의 사용자의 이미지의 이미지 처리를 사용하여 더 복잡한 사용자 동작을 트리거로 검출할 수 있다. 예를 들어, 이미지 처리 및 패턴 매칭을 사용하여 전자 장치 (200)가 사용자의 윙크, 미소, 파동, 바람불기 또는 키스를 검출하여 이에 상응하는 동작을 수행하는 사랑하는 사람이 나타나는 시네마 그램을 작동시킬 수 있다.

전자 장치 (200)는 의미 오디오(semantic audio) 검색을 수행한다 (단계 340). 예를 들어, 유의미한 오디오를 검색한다. 예를 들어, 단계 (340)에서, 전자 장치 (200)는 딥 러닝(deep learning) 프로세스를 사용하여 동적 구성 요소의 유형을 자동으로 태그(tag) 하고, 이 태그를 사용하여 오디오 데이터베이스를 검색하고, 사용자에게 시네마 그램의 동적 구성 요소에 의미가 있는 오디오를 추가하는 옵션을 제공할 수 있다. 예를 들어, 전자 장치 (200)는 동적 구성 요소의 유형을 '폭포'로 태그하고, 오디오 태그 된 데이터베이스를 검색하여, 애니메이션화 된 폭포와 함께 시네마 그램을 생성 할 수 있다. 다른 예에서, 전자 장치 (200)는 예를 들어 기준 프레임에 기초하여 정적 구성 요소를 포함하는 전체 시네마 그램의 특성을 식별하고 추가할 적절한 배경 오디오를 식별하기 위해 딥 러닝 프로세스를 사용할 수 있다.

단계 (335)의 일부로서, 전자 장치 (200)는 의미 트리거 옵션(semantic trigger option)을 정의하기 위해 시네마 그램의 유형 및 모션을 구분한다. 예를 들어, 위에서 논의한 것처럼 트리거는 시네마 그램의 유형 및 의미와 의미적으로 연결되어 있다. 전자 장치 (200)는 시네마 그램의 유형 및 모션과, 다양하고 상이한 유형의 트리거 동작을 자동으로 인식 할 수 있다.

일 실시예에서, 전자 장치 (200)는 시네마 그램의 모션 유형과 트리거 옵션 사이의 의미 링크(semantic link)를 연결시키는 테이블을 사용하여 어느 트리거 또는 트리거들이 사용되어야 하는지를 식별할 수 있다.

다른 실시예에서, 전자 장치 (200)는 사용자 선택을 위한 컴포넌트 옵션을 사용자에게 제공할 수 있다 (단계 345). 컴포넌트 옵션에는 트리거 옵션과 오디오 옵션이 모두 포함될 수 있다. 예를 들어, 정의된 오디오 옵션은 생성 프로세스의 선택 옵션으로서 사용자에게 제시될 수 있다. 다른 예에서, 특정 인클루전 파라미터(inclusion parameter)가 충족되면, 식별된 오디오가 자동으로 추가될 수 있다.

전자 장치 (200)는 시네마 그램 상호 작용을 위한 하나 이상의 의미 트리거 및 / 또는 의미 오디오 선택을 포함할 수 있는 컴포넌트 옵션의 선택을 수신한다 (단계 350).

전자 장치 (200)는 블렌드 맵(blend map)을 계산하고 (단계 355), 기준 프레임에 대한 홀 필링(hole filling)을 수행한다 (단계 360). 단계 355 및 360 에서, 전자 장치 (200)는 동적 구성 요소의 블렌딩(blending)을 수행하여 분할 및 블렌딩의 결과로서 결함(artifact)이 거의 없거나, 결함이 없는 고품질의 이미지를 생성한다. 동적 구성 요소가 기준 프레임의 특정 영역에 한정되는 경우, 블렌딩은 예를 들어 (공간적 및 시간적) 정렬 및 경계의 스무딩(smoothing)를 통해, 모션 영역을 기준 프레임의 나머지 부분으로 블렌딩하는, 간단한 블렌딩일 수 있다. 객체(object)가 프레임 전체에 걸쳐, 큰 변위(displacement)를 갖는 실질적인 모션을 가질 때 블렌딩은 더 복잡해진다.

본 발명의 실시 예는 프레임 전체에 걸쳐 의미 객체 분할 및 추적(semantic object segmentation and tranking)을 제공하므로, 프레임을 가로 질러 큰 변위를 갖는 객체는 여전히 시네마 그램으로 블렌딩 될 수 있다. 예를 들어, 단계 (355)의 일부로, 전자 장치 (200)는 객체의 이동이 애니메이션 동안 하나 이상의 지점에서 픽셀 정보를 포함하지 않는 기준 프레임의 부분들을 드러낼 것 (uncover) 인지 여부를 결정한다.

단계 (360)의 일부로서, 전자 장치 (200)는 예를 들어, 홀 필링 (hole filling) 을 수행하기 위해, 다른 프레임의 부분으로부터, 이런 드러내어진 부분(uncovered portion)을 채우거나, 주변 픽셀에 기초한 보간(interpolation) 방식을 이용하여 드러내어진 부분을 채울 수 있다. 홀 필링은 멀티 프레임 블렌딩만으로는 필요한 정보를 제공하지 못할 때 발생한다.

시네마 그램의 재생 동안 기준 프레임으로부터 누락된 픽셀 정보의 예시는 도 7A 및 도 7B에 도시된다. 사람의 비디오 시퀀스가 공중에서 볼 (705)을 던지는 이 예시에서, 피사체의 손 (710) 및 공 (705)은 모두 움직인다. 시네마 그램의 제작자가 공 (705) 만 이동시키고 손(710)을 정적 상태로 유지하기로 결정한 경우, 공 (705)이 피사체 손 (710)에 있는 기준 프레임 이외의 프레임에서, 사용자의 손바닥에는 공 (705)이 기준 프레임 이외의 프레임에서의 블렌딩에 사용되는 정적 구성 요소에 대해 분할화되고 제거되기 때문에 홀 (715)이 생긴다.

기준 프레임 (700)이 도 7a에 도시 된 바와 같이 선택되고, 동적 구성 요소가 공기 중에 던져지는 공 (705)이면, 공(705)이 기준 프레임 (700)으로부터 분할될 때, 도 7B에 도시된 바와 같이 기준 프레임 이외의 공의 모션이 애니메이션 되는 동안 일정 포인트들에서 홀 (715)이 존재하게 된다. 예를 들어, 프레임들에 걸쳐 동적 구성 요소를 블렌딩하더라도 손 (710)도 또한 다른 프레임을 가로 질러 이동하고 있으며, 동일한 위치에 있지 않기 때문에 홀 (715)을 채울 수는 없다.

따라서, 전자 장치 (200)는 정적 부분의 홀 (715)을 채우기 위한 픽셀 정보를 식별하기 위해, 여러 프레임에 걸친 손 (710)의 모션을 추적 할 수 있으며, 모션을 추적할 수 없는 경우에는 손(710)은 정적 구성 요소로 간주된다.

전자 장치 (200)는 다른 프레임들에서 추적 된 손 (710)의 내부 손바닥에 대응하는 픽셀들을 식별하고, 픽셀 정보를 사용하여 블렌딩의 일부로서 기준 프레임의 정적 부분의 홀 (715)을 채우기 위해 식별된 픽셀들의 정보를 사용할 수 있다.

전자 장치 (200)는 멀티 - 프레임 블렌딩을 수행한다 (단계 365). 예를 들어, 전자 장치 (200)는 두 가지 방법 중 적어도 하나의 방법으로 블렌딩을 수행할 수 있다.

첫 번째 방법에서는 각 프레임으로부터의 동적 구성 요소는 시네마 그램의 프레임을 생성하는 정적 구성 요소(static component)의 복사본으로 블렌딩 된다.

두 번째 방법에서는, 정적 파트 (이것은 동적 구성 요소의 싱글 인스턴스(single instance)일 수 있음)는 뒤따르는 프레임에 블렌딩 될 수 있다. 두 번째 방법은 이동 중이며 국부적이지(localized) 않은, 많은 양의 작은 객체가 있으며, , 사용자가 프레임 전체에서 정적으로 유지하려고 하는 중심점(centerpiece)이 있는 시네마 그램에서 유용할 수 있다. 비디오 시퀀스의 유형에 기초하여, 전자 장치 (200)는 사용자에게 두 가지 블렌딩 옵션들 중 하나를 선택할 수 있도록 제시할 수 있다.

자동 모드에서, 전자 장치 (200)는 별도의 사용자 선택 없이 블렌딩 옵션을 선택할 수 있다. 이 실시예에서, 전자 장치 (200)는 딥러닝 프로세스를 사용하여, 심미적으로 만족스러운 시네마 그램을 만들 수 있는 구성 요소를 식별한다. 또한 동적 구성 요소을 분석하여, 어떤 유형의 블렌딩이 더 나은 품질의 시네마 그램을 산출하는지 결정한다. 자동 모드에서, 전자 장치 (200)는 어떤 혼합 유형이 이용 가능한지를 결정할 수 있고 사용자에게 옵션으로서 제공할 수 있다.

본 실시예에서 사용 된 것처럼, 딥러닝은 객관적으로 더 나은 결과물을 산출하기 위해 피드백과 함께 일련의 예제를 사용하는 기계 학습(machine learning) 유형이다. 예를 들어, 보다 보기 좋은 또는 보다 더 우수한 품질의 시네마 그램을 언급할 때, 픽실레이션 (pixilation) 또는 결함 (artifacts)의 감소와 같은 시네마 그램에 따른 이미지 품질 및/또는 심미적으로 만족하는 시네마 그램에서의 모션 효과의 품질을 기준 할 수 있다. 이 분석의 일부는 주관적으로 간주될 수 있지만, 특정 유형의 시네마 그램은 등급을 매길 수 있으며, 시네마 그램의 유형 또는 시네마 그램을 평가하기 위해 만들어진 움직임을 비교하여, 객관적으로 우수한 품질의 시네마 그램이 제작될 수 있다.

본 발명의 실시 예는 시네마 그램의 상이한 구성 요소의 보다 나은 후보 영역을 자동으로 식별하는 딥러닝 기술을 더 제공한다. 제공된 딥러닝 기술은 구성 요소 선택을 위한 옵션을 식별하거나 제공하기 위해 단계 (315-320)의 일부로 이용될 수 있다.

예를 들어, 본 개시의 실시 예들은 물리적 제약 및 예술적 또는 미적 고려 사항을 통합하면서, 정적 구성 요소 및 동적 구성 요소와 같은 시네마 그램의 서로 다른 구성 요소을 자동으로 결정하기 위해 이러한 딥러닝 기술을 이용한다.

본 발명의 실시 예는 의미적 객체 분할(semantically segmenting objects)을 위해 딥 러닝 기술을 이용한다. 본 개시의 실시 예에서 모션이 구성 요소들의 형상, 색상, 패턴 등을 변화 시키게 할 수 있다는 것을 인식한다. 예를 들어, 바람에 날리는 옷은 형상 변화를 보여주고, 회전하며 움직이는 공도 상이한 패턴이나 색상을 나타낼 수 있다.

따라서, 본 개시의 실시 예들은 딥러닝 기술 및 네트워크를 사용하여 이미지 내의 객체를 의미 적으로 분할한다. 예를 들어, 분할된 객체 주위의 영역이 2 개의 프레임들 사이에서 동일하게 유지되면, 2 개의 프레임을 블렌딩하는 것은 복잡하지 않다.

하지만, 객체의 모션이 기준 프레임에서 홀을 보이게 하면, 전자 장치 (200)는 전술한 홀 필링(hole filling) 기술을 사용한다. 객체가, 특히 움직이는 객체가 각 프레임에서 분할되면 프레임들에서 객체를 추적하는 것이 보다 용이하다.

그 후, 전자 장치 (200)는 트리거 및 오디오 인클루션(inclusion)을 수행한다 (단계 370). 예를 들어, 단계 370에서, 전자 장치 (200)는 시네마 그램에 대한 메타데이터 내에 트리거의 식별자 및 오디오가 포함된다면, 오디오를 포함 할 수 있다. 메타 데이터는 예를 들어 트리거 유형, 식별 할 센서 출력, 트리거링을 위한 임계 값, 시네마 그램의 속도가 감지된 출력과 비례하는지 여부 및 관련 값과 같은 트리거의 속성을 포함할 수 있다.

또한, 메타 데이터는 트리거 될 오디오에 대한 오디오 또는 식별자 또는 태그를 포함할 수 있다. 예를 들어, 식별자 또는 태그는 URI (Uniform Resource Identifier)와 같은 오디오를 검색 할 수 있는 데이터베이스에 대한 참조 정보 일 수 있다. 생성된 시네마 그램과 관련된 메타 데이터는 시네마 그램을 트리거하는 방법에 대한 정보 지원을 포함할 수 있다. 예를 들어, 시네마 그램을 디스플레이하는 전자 장치 (200)는 사용자가 트리거를 식별하는데 어려움을 겪고 있는 경우, 사용자가 시네마 그램을 트리거하기 위한 식별자 또는 제안된 동작을 디스플레이 할 수 있다.

전자 장치 (200)는 시네마 그램을 저장한다 (단계 375). 예를 들어, 단계 (375)에서, 전자 장치 (200)는 미디어 파일들에 대한 시네마 그램을 임의의 파일 포맷으로 저장할 수 있다. 생성된 시네마 그램은 나중에 디스플레이 및 트리거링을 위해 임의의 장치 (예를 들어, 클라이언트 장치들 (106-115) 중 임의의 장치)로 전송되거나, 시네마 그램을 생성한 전자 장치 (200) 상에 디스플레이 및 트리거 될 수 있다.

도 4는 본 발명의 다양한 실시 예에 따른 인터랙티브 시네마 그램을 생성하기 위한 수동 모드를 위한 프로세스의 흐름도를 도시한다.

예를 들어, 도 4에 도시된 프로세스는 도 2의 전자 장치 (200)에 의해 구현될 수 있다. 또한, 이 프로세스는 도 1의 임의의 장치 (106-115)에 의해 구현될 수도 있다. 도 4에서, 프로세스의 일부 단계들은 도 3과 관련하여 상술된 단계들과 유사하게 또는 동일하게 수행될 수 있다. 설명의 간략화를 위해, 도 3의 대응하는 단계에 대한 설명은 반복하지 않지만, 도 4의 프로세스 수행시 도 3에 대응하는 단계가 수행될 수 있다.

프로세스는 단계 305와 유사하게 전자 장치 (200)가 비디오 시퀀스를 수신하는 단계 (단계 405)에서 시작된다.

전자 장치 (200)는 기준 프레임 선택을 수행한다 (단계 410). 예를 들어, 단계 410에서, 전자 장치 (200)는 기준 프레임의 선택을 포함하는 사용자 입력을 수신할 수 있거나, 기준 프레임은 단계 310과 유사하게 전자 장치에 의해 선택될 수 있다.

전자 장치 (200)는 구성 요소 선택을 수신한다 (단계 415). 예를 들어, 단계 (415)에서, 전자 장치 (200)는 동적 구성 요소 및 / 또는 정적 구성 요소를 포함하는 시네마 그램 구성 요소의 선택을 포함하는 사용자 입력 값을 수신할 수 있다. 예를 들어, 사용자는 객체 섹션 입력을 통해 동적 구성 요소 및 정적 구성 요소 하나 또는 둘 모두를 선택할 수 있다.

도 8은 시네마 그램 생성을 위한 보조 분할(assisted segmentation)의 예를 도시한다.

예를 들어, 사용자는 동적 구성 요소에 대해 하나 이상의 객체 (805)를 선택할 수 있고, 전자 장치는 기준 프레임 (800)의 임의의 선택되지 않은 영역을 정적 구성 요소로 식별할 수 있다. 수동 모드에서, 전자 장치 (200)는 프로세스의 분할 구성 요소와 관련된 보다 정확한 입력을 제공하기 위해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 동적 및 정적 구성 요소를 정의하기 위한 추가적으로 향상된 객체 분할은 객체 (805)의 윤곽을 더 잘 로칼라이즈(localize) 하고 윤곽을 더 잘 팔로우(follow)할 수 있는 전자펜 또는 스타일러스와 같은 툴 (810)을 사용하여 달성될 수 있다.

전자 장치 (200)는 프레임 정렬을 위한 아핀 행렬 계산을 수행한다 (단계 420).

전자 장치 (200)는 단계 (320 및 330)와 유사하지만 단계 (415)와 관련하여 설명된 바와 같이, 사용자가 선택한 구성 요소 및 객체를 사용하여, 사용자 입력에 기초한 객체 분할 및 추적 (단계 425)을 수행한다.

전자 장치 (200)는 블렌드 맵을 계산한다 (단계 430).

전자 장치(200)는 기준 프레임에 대해 홀 필링(hole filling)을 수행하며 (단계 435); 단계 415와 관련하여 설명 된 바와 같이 사용자 선택 구성 요소 (들)에 기초하여 단계 355, 단계 360 및 단계 365와 유사하게 멀티 프레임 블렌딩 (단계 440)을 수행한다.

전자 장치 (200)는 트리거 및 오디오 인클루션(inclusion) 을 수행한다 (단계 445). 예를 들어, 단계 (445)에서, 전자 장치 (200)는 앞서 설명된 단계 (370)와 유사하게 포함될 의미 트리거(semantic trigger) 및 오디오를 식별 할 수 있다. 그러나, 부가적으로 또는 대신에, 전자 장치 (200)는 시네마 그램에 대해 사용하기 위한 오디오 큐(audio cues) 및 트리거를 포함하는 하나 이상의 사용자 선택을 수신할 수 있다. 예를 들어, 선택 사항은 제시된 트리거 옵션들의 리스트로부터 사용하는 트리거 유형의 입력, 또는 검출될 사용자 액션, 센서 및 / 또는 연관된 센서 값들과 같은 트리거 특성들을 정의하는 수동 입력일 수 있다.

또한, 예를 들어, 오디오 큐는 오디오 파일의 식별자, 오디오의 유형에 대한 검색 입력, 및 / 또는 오디오가 기반으로 해야 하는 이미지의 특정 영역의 표시 일 수 있다 (예를 들어, 폭포 소리가 요구되는지를 결정하기 위해, 전자 장치 (200)에 의한 특징 추출과 결합 된 이미지에 묘사 된 폭포 탭).

전자 장치 (200)는 단계 450과 유사하게 시네마 그램을 저장한다 (단계 450).

도 3 및 도 4는 각각 인터랙티브 시네마 그램을 생성하기 위한 자동 및 수동 모드에 대해 프로세스의 예를 도시하지만, 도 3 및 도 4에 다양한 변경이 가능할 수 있다. 예를 들어, 일련의 단계로서 도시되었지만, 각 도면의 다양한 단계는 중첩되거나, 병렬로 발생하거나, 상이한 순서로 발생하거나, 또는 여러 번 발생할 수 있다. 다른 예에서, 일부 단계들은 생략되거나 다른 단계들로 대체 될 수 있다.

도 9는 본 발명의 다양한 실시 예에 따른 인터랙티브 시네마 그램을 위한 프로세스를 도시한다. 예를 들어, 도 9에 도시된 프로세스는 사용자가 생성된 시네마 그램을 보고 상호작용하는 도 2의 전자 장치 (200)에 의해 구현되는 예이다. 이 프로세스는 도 1의 임의의 장치 (106-115)에 의해 서도 구현될 수 있다.

프로세스는 전자 장치 (200)가 시네마 그램의 스틸 프레임(still frame)을 디스플레이하는 것으로 시작한다 (단계 905). 예를 들어, 시네마 그램은 애니메이티드 부분(animated portion)을 가질 수 있다.

예를 들어, 단계 905에서, 전자 장치 (200)는 애니메이션화 (animated) 될 수 있지만 현재 애니메이션화되지 않는 부분을 갖는 이미지를 디스플레이 할 수 있다. 바꿔 말하면, 시네마 그램은 아직 재생되도록 트리거 되지 않았다. 애니메이션티드 부분(animated portion)은 반복되는 비디오 시퀀스 또는 GIF 일 수 있다. 일 실시예의 경우, 스틸 프레임은 기준 프레임일 수 있다. 다른 예에서, 스틸 프레임은 시네마 그램의 애니메이션 중 임의의 지점에서 정지 된(frozen) 시네마 그램의 프레임 일 수 있다.

예를 들어, 트리거링 이벤트가 더 이상 감지되지 않으면, 전자 장치 (200)는 시네마 그램의 애니메이션을 일시 중지(pause)하거나 정지(freeze)시킬 수 있고, 단계 915와 관련하여 후술되는 바와 같이 트리거링 이벤트가 발생될 때까지 대기할 수 있다. 전자 장치 (200)는 시네마 그램에 대한 트리거링 이벤트를 식별한다 (단계 910). 예를 들어, 단계 910에서, 전자 장치 (200)는 시네마 그램의 재생을 시작하기 위해 사용자의 어떤 동작이 발생해야 하는지를 결정할 수 있다. 예를 들어, 전자 장치 (200)는 시네마 그램과 연관된 메타 데이터로부터 시네마 그램에 대한 트리거링 이벤트의 유형을 식별할 수 있다.

메타 데이터는 트리거링 이벤트로서 이벤트 유형 및 / 또는 센서 값을 나타낼 수 있다. 이 단계의 일부로서, 전자 장치 (200)는 예를 들어 시네마 그램과 연관된 메타 데이터에 기초하여 시네마 그램에 대한 오디오를 식별 할 수 있다. 일례에서, 메타 데이터는 데이터베이스로부터 검색 될 오디오 용 태그 또는 식별자를 포함 할 수 있다. 이 예에서, 전자 장치 (200)는 트리거링 이벤트의 발생을 예상하여 이 오디오를 검색 할 수 있다. 다른 예에서, 오디오는 비디오에 포함 된 오디오와 유사한 시네마 그램 (예를 들어, 시네마 그램의 파일 일부)에 포함되거나 삽입(embedded) 될 수 있다.

전자 장치 (200)는 트리거링 이벤트가 발생했는지 여부를 식별한다 (단계 915). 예를 들어, 단계 (915)에서, 전자 장치 (200)는 하나 이상의 센서로부터의 입력에 기초하여 발생을 식별 할 수 있다. 일 예시에서, 센서는 모션 센서이고, 트리거링 이벤트는 전자 장치에 감지된 모션 또는 방향 변경에 기초한다.

다른 예에서, 센서는 카메라이고, 트리거링 이벤트는 이미지/시각자료 처리(vision processing) 및 인식을 통해 사용자에 의해 수행된 동작의 검출에 기초한다. 트리거링 이벤트의 발생이 식별되지 않으면, 전자 장치 (200)는 트리거되지 않은 시네마 그램이 디스플레이 되는 동안 트리거링 이벤트의 발생을 계속 모니터링 할 수 있다.

트리거링 이벤트의 발생이 식별되면, 전자 장치 (200)는 시네마 그램의 애니메이션을 시작한다 (단계 920). 예를 들어, 단계 (920)에서, 전자 장치 (200)는 트리거링 이벤트의 발생을 식별하는 것에 응답하여, 시네마 그램의 동적 구성 요소(motion component)를 플레이 할 수 있다. 오디오가 이 단계의 일부로서 시네마 그램의 일부인 경우, 전자 장치 (200)는 트리거링 이벤트의 발생을 식별하는 것에 응답하여 이미지에 대한 오디오의 재생을 개시 할 수 있다. 일부 실시 예에서, 애니메이션 및 오디오를 트리거하기 위해 상이한 트리거들이 정의되고(defined), 식별되고, 사용될 수 있다.

도 10은 본 발명의 다양한 실시 예에 따른 시네마 그램을 생성하는 프로세스를 도시한다. 예를 들어, 도 10에 도시된 프로세스는 도 2의 전자 장치 (200)에 의해 구현되는 예이다. 이 프로세스는 도 1의 임의의 장치 (106-115)에 의해서도 구현될 수도 있다.

프로세스는 전자 장치 (200)가 복수의 프레임들로부터 기준 프레임을 식별하는 것으로 시작할 수 있다 (단계 1005). 예를 들어, 단계 1005에서, 전자 장치 (200)는 기준 프레임으로서 GIF 파일의 짧은 비디오 클립(short video clip)으로부터 시작 프레임을 식별할 수 있다. 전자 장치 (200)는 기준 프레임에서 적어도 하나의 객체를 식별한다 (단계 1010).

예를 들어, 단계 (1010)에서, 전자 장치 (200)는 이동 객체(moving objects)의 분석에 기초하여 객체를 자동으로 식별하거나, 예를 들어 스타일러스를 통해 사용자로부터 선택을 수신 할 수 있다. 객체는 적어도 시네마 그램에서 애니메이션되는(animated) 동적 구성 요소의 적어도 일부가 되도록 선택된다. 시네마 그램을 생성하기 전에, 전자 장치 (200)는 딥러닝 기술(deep learning techniques)을 사용하여, 시네마 그램에서 애니메이션화 될 하나 이상의 객체 추천 (recommendation)을 생성하기 위해 복수개의 프레임들에서 다수의 객체 이동(object movement)을 분석할 수 있다.

전자 장치 (200)는 시네마 그램의 정적 구성 요소를 생성한다 (단계 1015). 예를 들어, 단계 1015에서, 전자 장치 (200)는 식별된 객체를 기준 프레임으로부터 분할함으로써 정적 구성 요소를 생성할 수 있다. 이후, 전자 장치 (200)는 시네마 그램의 동적 구성 요소를 생성한다 (단계 1020). 예를 들어, 단계 (1020)에서, 전자 장치 (200)는 비디오 시퀀스에서 다수의 프레임에 걸쳐 분할된 객체를 추적할 수 있다.

전자 장치 (200)는 객체의 움직임 동안 기준 프레임의 일 부분에 대한 픽셀 정보가 부족(lack) 한지 여부를 결정한다 (단계 1025). 또는 기준 프레임의 일 부분에 대한 픽셀 정보가 결여되었거나, 없는지 여부를 결정한다 (단계 1025). 예를 들어, 단계 1025에서, 전자 장치 (200)는 시네마 그램의 동적 구성 요소가 기준 프레임의 다른 영역으로 이동하는 것이, 기준 프레임으로부터 객체 분할에 기인하여 픽셀 정보 부족을 초래하는지 여부를 결정할 수 있다.

단계 1025에서 '아니오'이면 (예를 들어, 시네마 그램 중에 홀이 생성되지 않았다고 결정되면), 프로세스는 단계 1035로 진행하여 전자 장치(200)가 동적 및 정적 구성 요소의 블렌딩을 통해 시네마 그램을 생성한다.

단계 1025에서 '예'인 경우 (예를 들어, 시네마 그램 중에 홀이 생성되었다고 결정된 경우), 전자 장치 (200)는 객체의 움직임 동안 기준 프레임에 추가될 픽셀 정보를 식별한다 (단계 1030).

예를 들어, 단계 (1030)에서, 전자 장치 (200)는 기준 프레임 이외의 다수의 프레임에서 기준 프레임의 상기 부분 (예를 들어, 홀 부분) 을 식별할 수 있다. 예를 들어, 전자 장치(200)는 기준 프레임의 홀 부분에 대응하는 부분을 식별할 수 있다. 다른 프레임들 내의 상기 부분에 대한 픽셀 정보에 기초하여 기준 프레임의 해당 부분에 대한 픽셀 정보(에를 들어, 홀 필링을 위해 사용될 픽셀 정보)를 식별하는 것이 가능하다. 다른 예에서, 전자 장치 (200)는 픽셀 정보를 주변 픽셀 보간법(nearby pixel interpolation)을 사용하여 기준 프레임의 일부분으로 채울 수 있다. 전자 장치 (200)는 동적 및 정적 구성 요소를 블렌딩하여 시네마 그램을 생성한다 (단계 1035).

도 9 및 도 10은 각각 인터랙티브 이미지 및 시네마 그램을 생성하는 프로세스의 예를 도시하지만, 도 9 및 도 10에 다양한 변경이 가해질 수 있다. 예를 들어, 일련의 단계로서 도시되었지만, 각 도면의 다양한 단계는 중첩되거나, 병렬로 발생하거나, 상이한 순서로 발생하거나, 또는 여러 번 발생할 수 있다. 다른 예에서, 단계들은 생략되거나 다른 단계들로 대체될 수 있다.

본 개시의 실시 예는 오디오의 상호 작용 및 사용을 제공하여, 시네마 그램에 추가적인 차원을 추가한다. 본 발명에 의해 제공되는 다양한 시네마 그램 요소의 자동 검출, 분할 및 추적은 시네마 그램을 생성하는 데에 용이성을 증가시킨다. 수동 모드에서, 본원에 개시된 스타일러스의 사용은 보다 정확한 분할을 가능하게 한다.

본 개시가 실시 예로 설명되었지만, 다양한 변경 및 수정이 당업자에게 제안될 수 있다. 본 개시물은 첨부된 청구 범위의 범주 내에 속하는 그러한 변경 및 수정을 포함하는 것으로 해석되어야 한다.

Claims

인터랙티브 시네마 그램 (interactive cinemagrams) 방법에 있어서,
전자 장치의 디스플레이 상에 애니메이티드 부분(animated portion)을 갖는 시네마 그램의 스틸 프레임(still frame)을 디스플레이하는 단계;
상기 스틸 프레임을 디스플레이 한 후, 상기 전자 장치의 하나 이상의 센서로부터의 입력에 기초하여 트리거링 이벤트(triggering event)의 발생을 식별하는 단계; 및
상기 트리거링 이벤트의 발생을 식별하는 것에 응답하여, 상기 시네마 그램의 애니메이티드 부분의 애니메이션을 개시하는 방법.
제 1 항에 있어서,
상기 시네마 그램과 연관된 메타데이터에 기초하여 상기 시네마 그램에 대한 트리거링 이벤트 및 오디오를 식별하는 단계; 및
상기 트리거링 이벤트의 발생을 식별하는 것에 응답하여 상기 시네마 그램에 대한 오디오의 재생을 개시하는 방법.
제 1 항에 있어서,
상기 시네마 그램은 정적 구성 요소(static component) 및 동적 구성 요소를 포함하며,
상기 동적 구성 요소는 상기 애니메이티드 부분을 포함하고,
상기 방법은
복수의 프레임들로부터 기준 프레임을 식별하고, 상기 기준 프레임으로부터 객체(object)를 식별하고,
상기 기준 프레임으로부터 상기 객체를 분할함으로써 상기 정적 구성 요소를 생성하고,
상기 다수의 프레임들에 걸쳐 상기 객체를 추적함으로써 상기 동적 구성요소를 생성하며,
상기 시네마 그램의 동적 구성 요소에 대한 객체의 모션 동안 상기 기준 프레임의 부분이 픽셀 정보가 부족한지 여부를 결정하며,
상기 객체의 모션 동안 상기 기준 프레임의 부분에 추가될 픽셀 정보를 식별함으로써 상기 시네마 그램을 생성하는 단계를 더 포함시키는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 객체의 모션 동안 상기 기준 프레임의 부분에 추가될 상기 픽셀 정보를 식별하는 단계는,
상기 기준 프레임 이외의 다수의 프레임에서 상기 기준 프레임의 상기 부분을 식별하는 단계; 및
상기 기준 프레임 이외의 다수 프레임에서 상기 부분에 대한 픽셀 정보에 기초하여 상기 기준 프레임의 상기 부분에 대한 픽셀 정보를 식별하는 단계를 더 포함하는 방법.
제 3 항에 있어서, 상기 객체의 모션 동안 상기 기준 프레임의 부분에 대한 상기 픽셀 정보를 식별하는 단계는, 상기 픽셀 정보를 주변 픽셀 보간(nearby pixel interpolation)을 사용해 상기 기준 프레임의 부분에 채우는 단계를 포함하는 방법.
제 3 항에 있어서,
상기 시네마 그램을 생성하기 전에, 상기 복수의 프레임에 걸친 다수의 객체 이동을 분석하는 단계; 및 _
상기 시네마 그램의 동적 구성요소에 대해 애니메이티드 (animated) 될 하나 이상의 객체의 추천을 생성하는 단계를 포함하는 방법.
제 1 항에서,
상기 하나 이상의 센서는 마이크 및 터치 센서 중 적어도 하나를 포함하고, 상기 트리거링 이벤트는 상기 마이크로폰에 의해 감지된 소리 및 터치 센서에 의해 감지 된 터치 중 적어도 하나에 기초하는 방법.
제 1 항의 방법은, 상기 하나 이상의 센서가 모션 센서(motion sensor)를 포함하고, 상기 트리거링 이벤트는 감지된 상기 전자 장치의 이동에 기초하는 것을 특징으로 하는 방법.
전자 장치에 있어서,
애니메이티드 부분을 갖는 시네마 그램의 스틸 프레임을 디스플레이 하도록 구성된 디스플레이;
하나 이상의 센서; 및
상기 디스플레이 및 상기 하나 이상의 센서에 동작 가능하게 연결되고, 상기 스틸 프레임의 디스플레이 후에, 상기 하나 이상의 센서들로부터의 입력에 기초하여 트리거링 이벤트의 발생을 식별하고, 상기 트리거링 이벤트의 발생의 식별에 응답하여, 상기 디스플레이에 의한 상기 시네마 그램의 상기 애니메이티드 부분의 애니메이션을 개시하도록 구성된 적어도 하나의 프로세서를 포함하는 전자 장치.
제 9 항에 있어서, 상기 프로세서는,
상기 시네마 그램과 연관된 메타데이터에 기초하여 상기 시네마 그램에 대한 트리거링 이벤트 및 오디오를 식별하고;
상기 트리거링 이벤트의 발생을 식별하는 것에 응답하여 상기 시네마 그램의 오디오의 재생을 개시하는 전자 장치.
제 9 항에 있어서,
상기 시네마 그램은 정적 구성 요소 및 동적 구성 요소를 포함하며,
상기 동적 구성 요소는 상기 애니메이티드 부분을 포함하고,
상기 프로세서는
복수의 프레임들로부터 기준 프레임을 식별하고, 상기 기준 프레임 내의 객체를 식별하며,
상기 기준 프레임으로부터 상기 객체를 분할함으로써 정적 구성요소를 생성하고,
다수의 프레임들에 걸쳐 상기 객체를 추적함으로써 상기 동적 구성 요소를 성하고,
상기 시네마 그램의 동적 구성 요소에 대한 객체가 움직이는 동안 상기 기준 프레임의 부분이 픽셀 정보가 부족한지 여부를 결정하고_
상기 객체가 움직이는 동안 기준 프레임의 부분에 추가될 픽셀 정보를 식별하는 전자 장치.
제 11 항에 있어서, 상기 객체의 움직임 동안 상기 기준 프레임의 부분에 추가될 픽셀 정보를 식별하기 위해, 프로세서는,
상기 기준 프레임 이외의 다수의 프레임에서 상기 기준 프레임의 부분을 식별하고;
상기 기준 프레임 이외 다른 프레임들 내의 상기 기준 프레임의 부분에 대한 픽셀 정보에 기초하여, 상기 기준 프레임의 상기 부분에 대한 픽셀 정보를 식별하는 전자 장치.
제 11 항에 있어서, 상기 대상의 움직임 동안 상기 기준 프레임의 부분에 대한 픽셀 정보를 식별하기 위해, 상기 프로세서는 주변 픽셀 보간을 사용하여 상기 픽셀 정보를 상기 기준 프레임 부분에 채우도록 구성되는 전자 장치.
제 11 항에 있어서, 상기 프로세서는,
상기 시네마 그램의 생성 이전에, 상기 복수의 프레임들에 걸친 다수의 객체의 이동을 분석하고;
상기 시네마 그램의 동적 구성에 대해 애니메이티드 될 하나 이상의 객체의 추천을 생성하는 전자 장치.
제 9 항에 있어서,
상기 하나 이상의 센서는 마이크 및 터치 센서 중 적어도 하나를 포함하고, 상기 트리거링 이벤트는 상기 마이크에 의해 감지된 소리 및 상기 터치 센서에 의해 감지된 터치중 적어도 하나를 포함하는 전자 장치.
제 9 항에 있어서, 상기 하나 이상의 센서는 모션 센서를 포함하고, 상기 트리거링 이벤트는 감지된 상기 전자 장치의 이동에 기초하는 전자 장치.
제1항 내지 제8항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 기록된 기록 매체.