KR102199292B1 - 동영상 저작 장치 및 이를 이용한 동영상 저작 방법 - Google Patents

동영상 저작 장치 및 이를 이용한 동영상 저작 방법 Download PDF

Info

Publication number
KR102199292B1
KR102199292B1 KR1020180146638A KR20180146638A KR102199292B1 KR 102199292 B1 KR102199292 B1 KR 102199292B1 KR 1020180146638 A KR1020180146638 A KR 1020180146638A KR 20180146638 A KR20180146638 A KR 20180146638A KR 102199292 B1 KR102199292 B1 KR 102199292B1
Authority
KR
South Korea
Prior art keywords
video
virtual object
unit
context
space
Prior art date
Application number
KR1020180146638A
Other languages
English (en)
Other versions
KR20200061179A (ko
Inventor
송형주
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180146638A priority Critical patent/KR102199292B1/ko
Publication of KR20200061179A publication Critical patent/KR20200061179A/ko
Application granted granted Critical
Publication of KR102199292B1 publication Critical patent/KR102199292B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

일 실시예에 따른 동영상 저작 장치는 공간을 촬영한 동영상으로부터, 상기 공간 및 상기 공간에 배치된 객체에 대한 컨텍스트(context)를 추출하는 컨텍스트 추출부와, 소정의 입력을 받아서 상기 공간 상에 가상 객체를 배치시키는 사용자 인터페이스부와, 소정의 가상 객체가 소정의 컨텍스트 하에서 취하는 동작을 정의하는 가상 객체 관리부와, 상기 공간 상에 배치된 가상 객체가 상기 공간으로부터 추출된 컨텍스트에 따라 취하는 동작을 상기 가상 객체 관리부로부터 획득하고, 상기 공간 상에 배치된 가상 객체가 상기 획득된 동작을 취하는 것을 반영하여서 상기 동영상을 인코딩하는 저작부를 포함한다.

Description

동영상 저작 장치 및 이를 이용한 동영상 저작 방법 {APPARATUS FOR CREATING MOVIE AND METHOD FOR CREATING MOVIE USING THE SAME}
본 발명은 동영상 저작 장치 및 이를 이용한 동영상 저작 방법에 관한 것이다.
증강 현실(AR; Augmented Reality)은 가상 세계와 사용자가 눈으로 보는 현실 세계를 합쳐 하나의 영상으로 보여주는 가상 현실 서비스의 일종이다. 가상 현실은 게임처럼 공간을 새롭게 창조하는 반면, 증강 현실은 현실에 대한 실사 영상(현실 영상) 위에 가상의 컨텐츠를 결합하여서 부가적인 정보를 제공할 수 있다.
이러한 증강 현실은 동영상 저작에도 활용될 수 있다. 예컨대, 촬영된 동영상 내의 공간, 예컨대 하늘에 우주선과 같은 가상 객체를 배치시킨 뒤 이러한 해당 동영상을 인코딩하여 재생하면, 시청자는 동영상에서 우주선이 가상 객체로서 하늘에 배치되어 있는 것을 확인할 수 있다.
한국특허공개공보, 제 10-2016-0088909호 (2016.07.26. 공개)
본 발명의 해결하고자 하는 과제는, 사용자가 촬영한 동영상에 가상 객체를 배치시키되, 이러한 가상 객체가 동영상의 공간 또는 이러한 공간에 배치된 객체와 인터렉션할 수 있게 해주는 저작 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 해결하고자 하는 과제는, 사용자가 촬영한 동영상에 가상 객체를 배치시키되, 이러한 가상 객체가 동영상의 공간 또는 이러한 공간에 배치된 객체와 인터렉션할 수 있게 해주는 저작 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따르면 동영상에 나타난 공간, 사람 등과 같은 객체 또는 소리 등에 인터렉션을 하는 가상 객체를 채용하는 동영상의 저작이 가능하다. 이 때 저작은 이미 촬영된 동영상에 대해 비실시간적으로 가능할 뿐만 아니라 외부로부터 전달받은 동영상에 대해서도 실시간적으로 가능하다. 아울러, 저장부(130)에 저장된 컨텍스트 등은 데이터베이스의 형태로 활용 가능한 바, 다수의 사용자는 이러한 동영상 저작 장치(100)를 활용할 수 있다.
도 1은 일 실시예에 따라 저작된 동영상의 한 프레임에 대한 캡쳐 화면이다.
도 2는 일 시시예에 따른 동영상 저작 장치에 대한 예시적인 구성도이다.
도 3은 도 2에 도시된 컨텍스트 추출부에 대한 예시적인 구성도이다.
도 4는 일 실시예에 따라, 소정의 가상 객체가 소정의 컨텍스트 하에서 취하는 동작을 정의하고 있는 테이블을 예시적으로 도시하고 있다.
도 5는 일 실시예에 따른 동영상 저작 방법의 절차를 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따라 저작된 동영상의 한 프레임에 대한 캡쳐 화면이다. 도 1을 참조하면, 해당 프레임에는 현실 세계를 나타내는 공간으로서 바닥면(121) 및 이러한 바닥면(121) 상에 서 있는 객체로서 사람(122)이 포함되어 있다.
또한 해당 프레임에는 가상 객체로서 로보트(141)가 포함되어 있다. 로보트(141)는 해당 동영상의 저작자가 공간(121)에 임의로 배치시킨 가상 객체이다. 이러한 로보트(141)는 바닥면(121)에 서 있다. 또한 로보트(141)는 마치 사람(122)을 인식한 것처럼 사람(122)을 향해 서 있다.
여기서, 로보트(141)와 사람(122)이 도 1에 도시된 하나의 프레임에만 포함되는 것으로 한정되는 것은 아니다. 로보트(141)와 사람(122)은 도 1에 도시된 프레임 뿐 아니라, 해당 동영상을 구성하는 복수 개의 프레임 중 적어도 일부의 프레임에 걸쳐서 포함될 수 있다. 따라서, 해당 동영상이 재생되면서 프레임이 바뀐다면, 바뀐 프레임에 맞춰서 로보트(141)와 사람(122)이 해당 프레임에서 표시되거나 표시되지 않을 수 있다.
한편, 전술한 로보트(141)와 사람(141)과 같은 가상 객체는 동영상 내의 현실 세계에 대해 인터렉션(interaction)을 할 수 있다. 예컨대 가상 객체로서의 로보트(141)는 동영상 내의 사람을 인식해서 동영상 내의 사람과 함께 노래를 부를 수 있고(합창), 그 사람의 행동을 따라할 수 있으며(동작 모사 또는 립싱크), 또는 그 사람과 동일한 표정을 지을 수 있다. 경우에 따라 로보트(141)는 동영상 내에서 그 사람이 하는 말 등에 기초하여서 그 사람과 대화를 할 수도 있다.
이하에서는 이러한 기술을 제공하는 동영상 저작 장치에 대해 살펴보기로 한다.
도 2는 일 시시예에 따른 동영상 저작 장치(100)에 대한 예시적인 구성도이다. 이러한 동영상 저작 장치(100)는 스마트폰이나 스마트 패드와 같은 모바일 단말 장치 뿐 아니라, PC(personal computer)나 서버일 수도 있으며, 다만 이에 한정되는 것은 아니다.
도 2를 참조하면 동영상 저작 장치(100)는 통신부(110), 컨텍스트 추출부(120), 사용자 인터페이스부(130), 저장부(140), 가상 객체 관리부(150) 및 저작부(160)를 포함한다. 다만 도 2는 동영상 저작 장치(100)에 대한 예시적인 구성도이므로, 실시예에 따라 동영상 저작 장치(100)는 도 2에 도시된 구성 중 적어도 하나를 포함하지 않거나 또는 도 2에 도시되지 않은 구성을 포함할 수도 있다.
이 중, 통신부(110)는 데이터를 송수신하는 구성이다. 이러한 통신부(110)는 유선 또는 무선 통신 모듈을 포함한다. 또는 통신부(110)는 데이터를 입출력받는 포트일 수도 있다. 동영상 저작 장치(100)는 이러한 통신부(110)를 통해 외부의 장치, 예컨대 카메라나 스마트폰 등이 촬영한 동영상을 전달받을 수 있다.
컨텍스트 추출부(120), 사용자 인터페이스부(130), 가상 객체 관리부(150) 및 저작부(160) 각각은 이하에서 설명될 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다. 아울러, 저장부(140)는 데이터를 저장하는 메모리 등으로 구현 가능하다.
이 중 컨텍스트 추출부(120)에 대해 먼저 살펴보기로 한다. 컨텍스트 추출부(120)는 통신부(110)를 통해 전달받은 동영상으로부터 실시간으로 컨텍스트(context)를 추출할 수 있으며, 또는 도 2에는 도시되지 않았지만 동영상 저작 장치(100)의 촬영부가 촬영하여 저장하고 있는 동영상으로부터 비실시간적으로 컨텍스트를 추출할 수도 있다.
이 때, 컨텍스트는 동영상을 구성하는 복수 개의 프레임으로부터 각각 추출될 수 있다. 각각의 프레임으로부터 추출된 컨텍스트는 이러한 각각의 프레임의 시간 순서에 따라 정렬될 수 있다.
여기서, 컨텍스트란 동영상에 포함된 현실 세계의 공간, 객체 또는 소리 등에 대한 정보를 포함할 수 있다. 예컨대 공간에 대한 컨텍스트는 해당 동영상의 어느 프레임에서 어떠한 위치에 바닥면, 벽면 또는 하늘 등이 포함되어 있는지에 대한 정보를 포함할 수 있고, 객체에 대한 컨텍스트는 해당 동영상의 어느 프레임에서 어떠한 위치에 사람, 동물, 식물 또는 나무 등이 포함되어 있는지에 대한 정보를 포함할 수 있으며, 소리에 대한 컨텍스트는 해당 동영상의 어느 프레임에서 어떠한 소리가 나는지에 대한 정보를 포함할 수 있으며, 다만 이에 한정되는 것은 아니다.
도 3에는 이러한 컨텍스트 추출부(120)의 구체적인 구성이 예시적으로 도시되어 있다. 도 3을 참조하면, 컨텍스트 추출부(120)는 슬램(Simultaneous Localization And Mapping, SLAM)부(121), 얼굴 인식부(122), 몸동작 인식부(123), 음성 인식부(124) 및 환경 인식부(125)를 포함하며, 다만 도 3에 도시된 구성은 예시적인 것에 불과하다.
이 중 슬램부(121)는 공간에 대한 정보를 추출한다. 예컨대, 슬램부(121)는 촬영된 동영상을 기초로 공간을 재구성하여서 이를 공간에 대한 정보로서 추출할 수 있다. 또한 슬램부(121)는 이러한 동영상을 기초로 카메라의 위치를 도출한 뒤, 이를 공간에 대한 정보로서 추출할 수 있다.
얼굴 인식부(122)와 몸동작 인식부(123)는 객체로서 사람에 대한 정보를 추출한다. 예컨대 얼굴 인식부(122)는 촬영된 동영상에 포함된 사람의 표정에 대한 정보를 객체에 대한 정보로서 추출할 수 있다. 또한, 몸동작 인식부(123)는 촬영된 동영상에 포함된 사람의 손짓이나 발짓 또는 머리 움직임과 같은 몸동작에 대한 정보를 객체에 대한 정보로서 추출할 수 있다.
음성 인식부(124)는 소리에 대한 정보를 추출한다. 예컨대 음성 인식부(124)는 촬영된 동영상에 포함된 소리를 식별하여서 이를 소리에 대한 정보로서 추출할 수 있다.
환경 인식부(125)는 동영상의 촬영 대상이 된 공간으로부터, 이러한 공간에 부여된 메타 정보를 공간에 대한 정보로서 추출할 수 있다.
사용자 인터페이스부(130)는 소정의 입력을 받는 인터페이스를 제공하는 구성이다.
이러한 사용자 인터페이스부(130)는 동영상 내의 공간 상에 어떠한 가상 객체를 어디에 배치시킬지에 대한 (저작자의) 주문을 입력받을 수 있다. 예컨대 사용자 인터페이스부(130)는 '제1 가상 객체를 동영상의 제1 프레임에 배치해라'라는 주문을 입력받을 수 있다.
또한 사용자 인터페이스부(130)는 각각의 가상 객체가 취해야할 동작을 컨텍스트별로 입력받을 수 있다. 예컨대 사용자 인터페이스부(130)는 '제1 가상 객체는 제1 컨텍스트 하에서 제1 동작을 취하라' 또는 '제1 가상 객체는 제2 컨텍스트 하에서 제2 동작을 취하라'라는 주문을 입력받을 수 있다. 이렇게 입력된 정보는 가상 객체가 취해야할 동작을 컨텍스트별로 정의하고 있는 가상 객체 관리부(150)에 전달될 수 있다.
저장부(140)에는 다양한 정보가 저장된다. 예컨대 저장부(140)에는 통신부(110)를 통해 전달받은 동영상 또는 후술하겠지만 저작부(160)에 의해 인코딩된 동영상이 저장될 수 있다. 또한 저장부(140)에는 컨텍스트 추출부(120)가 추출한 컨텍스트가 프레임 별로, 시간 순서에 맞춰서 저장될 수 있다. 뿐만 아니라 저장부(140)에는, 전술한 사용자 인터페이스부(130)에 입력된 가상 객체의 배치 정보가 저장될 수 있다.
가상 객체 관리부(150)에는, 가상 객체 별로, 각각의 컨텍스트에서 어떤 동작을 해당 가상 객체가 취해야 하는지에 대한 정보가 저장된다. 이러한 정보는 리스트의 형태로 저장될 수 있는데, 이는 도 4에 도시되어 있다. 도 4의 리스트(151)를 참조하면, 각각의 가상 객체 별로, 특정 컨텍스트에서 특정 동작을 취하라는 정보가 저장되어 있다. 가상 객체 관리부(150)에 저장된 이러한 정보는 전술한 사용자 인터페이스부(130)에 입력된 정보를 토대로 갱신 가능하다.
이러한 가상 객체 관리부(150)는, 가상 객체와 컨텍스트가 주어지면 이에 매칭되어 있는 동작에 관한 정보를 상기 리스트로부터 추출할 수 있다.
저작부(160)는 동영상을 인코딩하는 구성이다. 저작부(160)는, 동영상에 배치된 가상 객체가 컨텍스트에 따라 취하는 행동을 반영하여서 동영상을 인코딩한다. 보다 구체적으로 살펴보기로 한다.
저작부(160)는 동영상을 인코딩한다. 보다 구체적으로 살펴보기로 한다. 저작부(160)는 인코딩의 대상이 되는 동영상을 로딩한다. 로딩되는 동영상에는 복수 개의 프레임이 시간 순서로 정렬되어서 포함되어 있다. 이러한 복수 개의 프레임이 인코딩을 위해 하나씩 로딩될 때마다, 로딩된 프레임에 대한 다음과 같은 정보들이 획득된다.
(1) 공간에 대한 컨텍스트 또는 이러한 공간에 배치된 객체에 대한 컨텍스트
(2) 로딩된 프레임에 배치된 가상 객체
여기서 (1)은 컨텍스트 추출부(120) 또는 저장부(140)로부터 획득될 수 있다. 또한 (2)는 저장부(140)로부터 획득될 수 있다.
저작부(160)는 (1) 및 (2)의 정보를 가상 객체 관리부(150)에 전달한다. 그러면 가상 객체 관리부(150)는 (1) 및 (2)의 정보를 기초로, (2)의 가상 객체가 취해야할 동작에 관한 정보를 전술한 리스트(161)로부터 추출한 뒤, 저작부(160)에 전달한다.
저작부(160)는 로딩된 프레임에 포함된 가상 객체에, 가상 객체 관리부(150)로부터 전달받은 동작을 부여한다.
전술한 과정은, 동영상에 포함된 복수 개의 프레임 각각에 대해 수행된다. 이 과정에서 각각의 프레임에 포함된 가상 객체에는 소정의 동작이 부여된다. 저작부(160)는 이렇게 동작이 부여된 가상 객체를 반영하여서 동영상을 인코딩한다. 이렇게 인코딩된 동영상을 재생시켜보면, 동영상의 원래 내용에, 동영상 내의 공간 및 이러한 공간에 배치된 객체에 대해 인터렉션하는 가상 객체가 더해져서 재생된다.
이상에서 살펴본 바와 같이, 일 실시예에 따르면 동영상에 나타난 공간, 사람 등과 같은 객체 또는 소리 등에 인터렉션을 하는 가상 객체를 채용하는 동영상의 저작이 가능하다. 이 때 저작은 이미 촬영된 동영상에 대해 비실시간적으로 가능할 뿐만 아니라 외부로부터 전달받은 동영상에 대해서도 실시간적으로 가능하다. 아울러, 저장부(130)에 저장된 컨텍스트 등은 데이터베이스의 형태로 활용 가능한 바, 다수의 사용자는 이러한 동영상 저작 장치(100)를 활용할 수 있다.
도 5는 일 실시예에 따른 동영상 저작 방법의 절차를 나타내는 순서도이다. 도 5에 도시된 동영상 저작 방법의 절차는 도 2에 도시된 동영상 저작 장치(100)에 의해 수행된다. 또한, 도 5에 도시된 동영상 저작 방법의 절차는 예시적인 것에 불과하므로, 동영상 저작 방법의 절차가 도 5에 도시된 것으로 한정 해석되는 것은 아니다.
도 5를 참조하면, 컨텍스트 추출부(120)는 동영상으로부터 컨텍스트를 추출한다(S100). 추출된 컨텍스트는 저장부(140)에 저장된다. 이 때 동영상은 통신부(110)를 통해 실시간으로 전달받은 것이거나 또는 도면에는 도시되지 않았지만 동영상 저작 장치(100)의 촬영부가 촬영하여 저장하고 있는 동영상일 수 있다.
이 때, 컨텍스트는 동영상을 구성하는 복수 개의 프레임으로부터 각각 추출될 수 있다. 각각의 프레임으로부터 추출된 컨텍스트는 이러한 각각의 프레임의 시간 순서에 따라 정렬될 수 있다.
여기서, 컨텍스트란 동영상에 포함된 현실 세계의 공간, 객체 또는 소리 등에 대한 정보를 포함할 수 있음은 전술한 바와 같다. 예컨대 공간에 대한 컨텍스트는 해당 동영상의 어느 프레임에서 어떠한 위치에 바닥면, 벽면 또는 하늘 등이 포함되어 있는지에 대한 정보를 포함할 수 있고, 객체에 대한 컨텍스트는 해당 동영상의 어느 프레임에서 어떠한 위치에 사람, 동물, 식물 또는 나무 등이 포함되어 있는지에 대한 정보를 포함할 수 있으며, 소리에 대한 컨텍스트는 해당 동영상의 어느 프레임에서 어떠한 소리가 나는지에 대한 정보를 포함할 수 있으며, 다만 이에 한정되는 것은 아니다.
추출되는 컨텍스트에 대해 구체적으로 살펴보기로 한다. 예컨대 동영상을 기초로 공간을 재구성하여서 이를 공간에 대한 컨텍스트로서 추출하는 것이 가능하다. 또한, 동영상을 기초로 카메라의 위치를 도출한 뒤, 이를 공간에 대한 컨텍스트로서 추출하는 것이 가능하다. 뿐만 아니라 동영상에 포함된 사람의 표정에 대한 정보 또는 동영상에 포함된 사람의 손짓이나 발짓 또는 머리 움직임과 같은 몸동작에 대한 정보를 사람에 대한 컨텍스트로서 추출하는 것이 가능하다. 아울러, 동영상에 포함된 소리를 식별하여서 이를 소리에 대한 컨텍스트로서 추출하거나 동영상의 촬영 대상이 된 공간으로부터, 이러한 공간에 부여된 메타 정보를 공간에 대한 컨텍스트로서 추출하는 것이 가능하다.
다음으로, 사용자 인터페이스부(130)가 입력받은 소정의 입력을 기초로, 동영상 내의 공간 상에 가상 객체가 배치되는 단계가 수행된다(S110). 예컨대, 단계 S110에서는 '제1 가상 객체를 동영상의 제1 프레임에 배치해라'라는 주문이 사용자 인터페이스부(130)에 입력될 수 있다. 저장부(140)에는 이러한 입력이 저장될 수 있다.
다음으로, 저작부(160)는, 단계 S100에서 추출된 컨텍스트에 매치되는, 단계 S110에서 배치된 가상 객체의 동작을 로딩시킨다. 보다 구체적으로 살펴보기로 한다. 저작부(160)는 단계 S100에서 컨텍스트가 추출된 동영상을 로딩한다. 로딩되는 동영상에는 복수 개의 프레임이 시간 순서로 정렬되어서 포함되어 있다. 이러한 복수 개의 프레임이 인코딩을 위해 하나씩 로딩될 때마다, 로딩된 프레임에 대한 다음과 같은 정보들이 획득된다.
(1) 공간에 대한 컨텍스트 또는 이러한 공간에 배치된 객체에 대한 컨텍스트
(2) 로딩된 프레임에 배치된 가상 객체
여기서 (1)은 컨텍스트 추출부(120) 또는 저장부(140)로부터 획득될 수 있다. 또한 (2)는 저장부(140)로부터 획득될 수 있다.
저작부(160)는 (1) 및 (2)의 정보를 가상 객체 관리부(150)에 전달한다. 그러면 가상 객체 관리부(150)는 (1) 및 (2)의 정보를 기초로, (2)의 가상 객체가 취해야할 동작에 관한 정보를 도 4에 도시된 리스트(161)로부터 추출한 뒤, 저작부(160)에 전달한다.
저작부(160)는 로딩된 프레임에 포함된 가상 객체에, 가상 객체 관리부(150)로부터 전달받은 동작을 부여한다.
전술한 과정은, 동영상에 포함된 복수 개의 프레임 각각에 대해 수행된다. 이 과정에서 각각의 프레임에 포함된 가상 객체에는 소정의 동작이 부여된다.
저작부(160)는 이렇게 동작이 부여된 가상 객체를 반영하여서 동영상을 인코딩한다(S130). 이렇게 인코딩된 동영상을 재생시켜보면, 동영상의 원래 내용에, 동영상 내의 공간 및 이러한 공간에 배치된 객체에 대해 인터렉션하는 가상 객체가 더해져서 재생된다.
이상에서 살펴본 바와 같이, 일 실시예에 따르면 동영상에 나타난 공간, 사람 등과 같은 객체 또는 소리 등에 인터렉션을 하는 가상 객체를 채용하는 동영상의 저작이 가능하다. 이 때 저작은 이미 촬영된 동영상에 대해 비실시간적으로 가능할 뿐만 아니라 외부로부터 전달받은 동영상에 대해서도 실시간적으로 가능하다. 아울러, 저장부(130)에 저장된 컨텍스트 등은 데이터베이스의 형태로 활용 가능한 바, 다수의 사용자는 이러한 동영상 저작 장치(100)를 활용할 수 있다.
한편, 전술한 방법에 관한 발명은, 이러한 방법에 포함된 각각의 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체의 형태 또는 컴퓨터 판독가능한 기록매체에 저장된, 해당 방법에 포함된 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램의 형태로 실시될 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면 동영상에 나타난 공간, 사람 등과 같은 객체 또는 소리 등에 인터렉션을 하는 가상 객체를 채용하는 동영상의 저작이 가능하다. 이 때 저작은 이미 촬영된 동영상에 대해 비실시간적으로 가능할 뿐만 아니라 외부로부터 전달받은 동영상에 대해서도 실시간적으로 가능하다. 아울러, 저장부(130)에 저장된 컨텍스트 등은 데이터베이스의 형태로 활용 가능한 바, 다수의 사용자는 이러한 동영상 저작 장치(100)를 활용할 수 있다.
100: 동영상 저작 장치

Claims (9)

  1. 외부의 장치로부터 하나 이상의 프레임을 포함하는 동영상을 수신하는 통신부와,
    상기 수신된 동영상의 상기 하나 이상의 프레임 각각으로부터, 공간 및 상기 공간에 배치된 객체에 대한 컨텍스트(context)를 추출하는 컨텍스트 추출부와,
    소정의 입력을 받아서 상기 하나 이상의 프레임 상에 가상 객체를 배치시키는 사용자 인터페이스부와,
    소정의 가상 객체가 소정의 컨텍스트 하에서 취하는 동작을 정의하는 가상 객체 관리부와,
    상기 하나 이상의 프레임 상에 배치된 가상 객체가 상기 하나 이상의 프레임으로부터 추출된 컨텍스트에 따라 취하는 동작을 상기 가상 객체 관리부로부터 획득하고, 상기 하나 이상의 프레임 상에 배치된 가상 객체가 상기 획득된 동작을 취하는 것을 반영하여서 상기 동영상을 인코딩하는 저작부를 포함하는
    동영상 저작 장치.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 공간에 배치된 객체는 사람을 포함하는
    동영상 저작 장치.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 컨텍스트 추출부는,
    상기 공간에 슬램(Simultaneous Localization And Mapping, SLAM)을 적용하는 슬램부, 상기 객체로서 포함된 사람의 얼굴을 인식하는 얼굴 인식부, 상기 사람의 몸동작을 인식하는 몸동작 인식부, 주변의 음성을 인식하는 음성 인식부 및 상기 공간에 부여된 메타 정보를 인식하는 환경 인식부를 포함하는
    동영상 저작 장치.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 3 항에 있어서,
    상기 동작은,
    상기 공간을 촬영한 카메라의 위치에 따른 상호 동작, 상기 사람의 얼굴 또는 몸동작에 대한 상호 동작, 상기 음성에 대한 상호 동작, 상기 메타 정보에 따른 상호 동작 중 적어도 하나를 포함하는
    동영상 저작 장치.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 사용자 인터페이스는 상기 하나 이상의 프레임 중에서 상기 가상 객체가 배치될 프레임에 대한 정보를 입력받으며,
    상기 저작부는,
    상기 하나 이상의 프레임 중에서 상기 가상 객체가 배치된 프레임으로부터 추출된 컨텍스트에 따라 상기 가상 객체가 취하는 동작을 상기 가상 객체 관리부로부터 획득하고, 상기 가상 객체가 상기 획득된 동작을 취하는 것을 반영하여서 상기 동영상을 인코딩하는
    동영상 저작 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 동영상 저작 장치는 상기 추출된 컨텍스트를 저장하는 저장부를 더 포함하고,
    상기 가상 객체 관리부는,
    상기 동영상의 인코딩 시 상기 공간으로부터 추출된 컨텍스트를 상기 저장부로부터 로딩하는
    동영상 저작 장치.
  7. 동영상 저작 장치가 수행하는 동영상 저작 방법으로서,
    외부의 장치로부터 하나 이상의 프레임을 포함하는 동영상을 수신하는 단계와,
    상기 수신된 동영상의 상기 하나 이상의 프레임 각각으로부터 공간 및 상기 공간에 배치된 객체에 대한 컨텍스트(context)를 추출하는 단계와,
    소정의 입력을 받아서 상기 하나 이상의 프레임 상에 가상 객체를 배치시키는 단계와,
    상기 하나 이상의 프레임 상에 배치된 가상 객체가 상기 공간으로부터 추출된 컨텍스트에 따라 취하는 동작을 획득하는 단계와,
    상기 하나 이상의 프레임 상에 배치된 가상 객체가 상기 획득된 동작을 취하는 것을 반영하여서 상기 동영상을 인코딩하는 단계를 포함하는
    동영상 저작 방법.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 7 항에 따른 방법의 각 단계를 포함하여 수행하도록 프로그램된
    컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.
  9. 제 7 항에 따른 방법의 각 단계를 포함하여 수행하도록 프로그램된
    컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020180146638A 2018-11-23 2018-11-23 동영상 저작 장치 및 이를 이용한 동영상 저작 방법 KR102199292B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180146638A KR102199292B1 (ko) 2018-11-23 2018-11-23 동영상 저작 장치 및 이를 이용한 동영상 저작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180146638A KR102199292B1 (ko) 2018-11-23 2018-11-23 동영상 저작 장치 및 이를 이용한 동영상 저작 방법

Publications (2)

Publication Number Publication Date
KR20200061179A KR20200061179A (ko) 2020-06-02
KR102199292B1 true KR102199292B1 (ko) 2021-01-06

Family

ID=71090967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180146638A KR102199292B1 (ko) 2018-11-23 2018-11-23 동영상 저작 장치 및 이를 이용한 동영상 저작 방법

Country Status (1)

Country Link
KR (1) KR102199292B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170285345A1 (en) * 2016-03-31 2017-10-05 Ron Ferens Augmented reality in a field of view including a reflection

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101062961B1 (ko) * 2009-01-07 2011-09-06 광주과학기술원 증강현실 컨텐츠 저작 시스템과 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101483851B1 (ko) * 2013-04-03 2015-01-19 목원대학교 산학협력단 홈 컨트롤을 위한 유비쿼터스 가상 현실(uvr) 기반의 저작 장치 및 방법
CN110120072B (zh) 2013-12-19 2023-05-09 苹果公司 用于跟踪移动设备的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170285345A1 (en) * 2016-03-31 2017-10-05 Ron Ferens Augmented reality in a field of view including a reflection

Also Published As

Publication number Publication date
KR20200061179A (ko) 2020-06-02

Similar Documents

Publication Publication Date Title
US11317139B2 (en) Control method and apparatus
CN109085966A (zh) 一种基于云计算的三维展示系统及方法
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
KR20180132063A (ko) 개인의 생활 스토리 시뮬레이션 시스템
JP2017531950A (ja) 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置
CN102270275A (zh) 在虚拟环境中选择对象的方法
US20150172634A1 (en) Dynamic POV Composite 3D Video System
CN110868554B (zh) 直播中实时换脸的方法、装置、设备及存储介质
CN114860187A (zh) 智能语音设备控制方法、装置、计算机设备和存储介质
CN109754329B (zh) 电子资源的处理方法、终端、服务器及存储介质
CN107995482A (zh) 视频文件的处理方法和装置
TW202009682A (zh) 基於擴增實境的互動方法及裝置
CN112188228A (zh) 直播方法及装置、计算机可读存储介质和电子设备
CN112118397B (zh) 一种视频合成的方法、相关装置、设备以及存储介质
CN109918005A (zh) 一种基于移动终端的展示控制系统及方法
CN109074680A (zh) 基于通信的增强现实中实时图像和信号处理方法和系统
CN113709545A (zh) 视频的处理方法、装置、计算机设备和存储介质
CN113727039B (zh) 视频生成方法、装置、电子设备及存储介质
CN111651049B (zh) 交互方法、装置、计算机设备及存储介质
CN106817538A (zh) 电子设备、图片拍摄方法及装置
CN113411537A (zh) 视频通话方法、装置、终端及存储介质
CN109413152A (zh) 图像处理方法、装置、存储介质及电子设备
KR102199292B1 (ko) 동영상 저작 장치 및 이를 이용한 동영상 저작 방법
CN113610953A (zh) 一种信息处理方法、装置及计算机可读存储介质
JP6721727B1 (ja) 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant