KR101843024B1 - System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner - Google Patents

System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner Download PDF

Info

Publication number
KR101843024B1
KR101843024B1 KR20160179981A KR20160179981A KR101843024B1 KR 101843024 B1 KR101843024 B1 KR 101843024B1 KR 20160179981 A KR20160179981 A KR 20160179981A KR 20160179981 A KR20160179981 A KR 20160179981A KR 101843024 B1 KR101843024 B1 KR 101843024B1
Authority
KR
Grant status
Grant
Patent type
Prior art keywords
object
composite video
selected
subject
video playback
Prior art date
Application number
KR20160179981A
Other languages
Korean (ko)
Inventor
천솔지
Original Assignee
(주)잼투고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Abstract

디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; The user terminal device having; a storage module for storing the display module, a processor, an input member, and a composite video playback application; 및 상기 사용자 단말장치와 통신가능하게 연결되고, 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 상기 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; And the user terminal device and the communication is possible to connect, 3D environment object and the subject object synthesizing a plurality of environmental objects, including the location (environment object) low (raw) server having data to a stored database; the system including the in the composite video playback application, the processor, the composite video playback application list of a plurality of original video having the subject object-original video of each is associated with the metadata having the camera work corresponding to the subject object, search - the step of displaying on the display module; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application, receiving a selection of one of the original video of the list, from the user via the input unit; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; Displaying a 3D environment of each object of the combined video playback application, the selected video source and the plurality of low environmental object data on the display module; 상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application which receives a selection of one of the displayed said respective 3D environment object from a user via the input unit; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템이 제공된다. And layout, using the selected 3D environment object and camerawork of the selected the the arrangement subjects the object original video in the composite video playback application is the subject object synthesis position in the 3D environment object the selected the subject object of the selected original movie by rendering a synthetic video displaying on the display module, the composite video playback system based on real-time environment, object selection, characterized in that is configured to perform, including, is provided.

Description

실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법{System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner} Composite video playback system and computer implemented method for real-time environment through the object selecting {System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner}

실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법에 관한 것으로, 보다 상세하게는 일반 사용자가 편리하게 환경객체를 선택할 수 있고 자연스럽게 합성된 합성동영상을 재생할 수 있는 시스템 및 컴퓨터 구현 방법에 관한 것이다. It relates to a composite video reproducing system and a computer implemented with a real-time environment, object selection method, and more particularly to a system and computer-implemented method in a normal user to easily choose the environment object and play the synthesized video synthesized naturally .

최근에, 미디어 기술의 발전으로, 새로운 장르의 다양한 멀티미디어 컨텐츠, 예컨대, 3D 컨텐츠, 증강 현실(Augumented Reality) 컨텐츠, 가상 현실(Virtual Reality) 컨텐츠 등이 등장하고 있다. Recently, with the development of media technology, and a variety of multimedia content in a new genre, for example, 3D content, augmented reality (Augumented Reality) content, such as virtual reality (Virtual Reality) content appeared. 이러한 멀티미디어 컨텐츠를 생성하기 위해서는 전문적인 제작 장비가 필요하기 때문에 일반인들이 이러한 컨텐츠를 생성하기에는 제약이 따른다. To create such a multimedia content because it requires a professional production equipment to the general public comply with the restrictions hagieneun create this content. 또한, 이러한 멀티미디어 컨텐츠를 재생하기 위해서는 전용 재생 장치가 필요한 실정이다. Further, the order to reproduce multimedia content such circumstances that require only a reproducing apparatus. 한편, 전용 재생장치 중 3D TV와 같은 3D 컨텐츠 전용 재생 장치는 사용의 불편함과 시청시의 어지러움 등으로 인해 요즘 소비자로부터 외면받고 있다. On the other hand, 3D content only a reproducing apparatus such as a 3D TV of only a reproducing apparatus due to dizziness at the time of viewing discomfort and use are under the outer surface from the consumer nowadays.

가상의 배경을 합성하여 뮤직비디오를 자동으로 만들어주는 자동 가라오케 스튜디오가 등장하여, 일반인들도 뮤직비디오를 전문가의 도움없이 생성할 수 있게 되었다. By combining the virtual background and automatically Karaoke Studio appeared that automatically creates a music video, the public was also able to produce a music video without the help of professionals.

이러한 자동 가라오케 스튜디오에서 뮤직비디오를 생성하는 일반인들의 입장에서는 다양한 가상 배경 중에서 원하는 배경을 선택할 수 있는 즐거움이 있지만, 생성된 뮤직비디오를 일반적인 재생 장치를 통해 시청하는 시청자의 입장에서는 선택된 배경이 단조롭고 식상할 수 있다. In the perspective of the general public to create a music video in these automatic karaoke studio, viewers' positions to watch over the common playback device, but the pleasure that you can select the desired background, generated music video from a variety of virtual backgrounds monotonous, the selected background will overused can.

가상 스튜디오 관리 프로그램 중에서, 배경을 실시간으로 변경할 수 있는 전문 프로그램이 있다. Among the virtual studio manager, a professional program that can change the background in real time. 하지만, 일반적인 동영상 재생 장치 중에서 동영상 재생 중에 배경을 시청자가 변경할 수 있는 것은 존재하지 않는다. However, it is in the background while the video is playing in a common video playback device, viewers will be able to change does not exist. 특정한 배경을 특정한 시점에 피사체 객체와 조화롭게 배치하는 것은 전문적인 편집의 영역에 속하며, 따라서, 일반인이 전문 프로그램을 사용한다고 하더라도 생성되는 결과물은 전문적이지 않고 자연스럽지 못할 수 있다. Placing objects in harmony with the subject of specific background to the specific point belongs to the area of ​​professional editing and, therefore, results are generated even if the public is to use a professional program can not unnatural but not professionally.

Studio one entertainment, Inc.의 미국 등록특허 제8,957,942호 "Studio booth configured to produce illusion that customer is photographed in different locale"은 이동형 가라오케에서 크로마키 배경으로 뮤직 비디오를 촬영하는 방법을 개시한다. Studio one entertainment, US Patent No. 8,957,942 issue of Inc. "Studio booth configured to produce illusion that customer is photographed in different locale" discloses how to shoot a music video with chroma key background in mobile karaoke. 이러한 종래기술에 따르면 사용자의 공연 영상에서 사용자를 객체의 형태로 추출하고 가상의 배경과 합성하여, 사용자에게 실제 현장에 가지 않고도 실제 현장에 있는 것과 같은 경험을 제공한다. According to the prior art in performing the image of the user to extract the user in the form of an object and provides the experience, such as those in the real world by combining with a virtual background, without having to go to a user on a real scene. 그런데, 시청자 입장에서, 다양한 배경 선택의 경험을 제공하는 것에 대해서는 기재되어 있지 않다. However, in the audience perspective, it is not about to provide the experience of a select variety of background substrate.

Terry W. Koch의 미국 공개특허공보 제2011/0170008호 "Chroma-key image animation tool"은 특정 크기를 갖는 객체의 형태인 크로마키 무비 클립(clip)을 드래그하여 해당 이미지 상의 원하는 위치에 배치하고 렌더링하여 동영상을 생성하는 GUI에 대해 기술하고 있다. Terry W. US-A-No. 2011/0170008 of Koch "Chroma-key image animation tool" is by dragging the chroma movie clip (clip) in the form of an object having a certain size, arranged in the desired position on the image and render and it is described for generating a GUI video. 그런데, 이러한 GUI를 사용하는데에는, 사용자가 해당 이미지에 크로마키 무비 클립을 배치할 위치를 직접 선택해야 하는 사용자 편집의 영역이 여전히 존재한다. Well, there used to this GUI, there are still areas of the user to edit the user must select where to place the chromakey movie clip the image. 또한, 이러한 GUI의 내장된 재생 프로그램은 최종 렌더링된 동영상만을 재생할 수 있고, 동영상 재생 중에 원하는 무비 클립을 선택하여 재생되고 있는 동영상에 반영시키는 것에 대해서는 기술하지 않는다. In addition, the built-in playback of these GUI programs can play only the final rendered movie, not described for that to be reflected in the video that is playing to select the desired movie clip during the movie playback.

일반인이 동영상 재생 중에 쉽게 배경을 실시간으로 바꿀 수 있으면서도 바뀐 배경과 피사체 객체가 자연스럽게 어울릴 수 있는 합성동영상 재생 장치 및 방법이 여전히 요구된다. The general public can easily be replaced with a background in real-time, yet it changed the subject and background object can become a natural composite video during a video playback apparatus and method are still needed.

미국 등록특허 제8,957,942호 U.S. Patent No. 8,957,942 No. 미국 공개특허공보 제2011/0170008호 US-A-No. 2011/0170008

본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 사용자가 선택할 수 있는 복수의 3D 환경객체를 제공하여 배경 선택의 즐거움을 주고, 피사체 객체를 선택된 3D 환경객체의 미리 설정된 피사체 객체 합성위치에 배치하여 사용자가 합성위치를 지정하지 않아도 자연스럽게 합성된 동영상을 제공하는 것을 목적으로 한다. The invention composite video playback system and method with real time environment object selection according to the present invention intended to solve the above problems is to provide a plurality of 3D environment objects that the user can choose to give pleasure of background selection, the subject placing the object in the selected 3D object object preset synthesis position of the environment object to an object to the user and provide a video synthesizing naturally do not need to specify the synthetic position.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 원본 동영상의 조명 데이터를 이용하여 선택된 3D 환경객체를 렌더링하여 보다 자연스럽게 합성된 동영상을 제공하는 것을 목적으로 한다. Composite video playback system and method with real time environment object selection according to an embodiment of the present invention to render a 3D environment, the object selected by the illumination data of the original video and an object thereof is to provide a more natural synthesized video.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 위치를 추출하고, 각각의 3D 환경객체의 해당 피사체 객체 합성위치와 비교하여 적어도 하나의 3D 환경객체를 결정하여, 피사체 객체 합성위치와 원본동영상의 피사체 객체의 원래 위치가 합성될 동영상의 프레임 상에서 많이 차이가 나지 않거나 해당 프레임을 벗어나지 않도록 구현하는 것을 다른 목적으로 한다. Composite video playback system and method with real time environment object selection according to an embodiment of the present invention, by extracting the position of the subject object in the selected source video, compared to the respective 3D the environment object subject object synthesis position at least one of determining the object and the 3D environment, a lot of difference on the frame of the movie is the original location of the object, the subject synthetic positions and subject the object of the original movie or synthetic born and to implement it within the frame for other purposes.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 크기와 선택된 3D 환경객체의 크기를 추출하고, 합성동영상을 디스플레이하는 단계에서, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치에 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치하여, 합성동영상의 피사체 객체 및 3D 환경객체의 크기가 부자연스럽게 합성되는 것을 방지하는 것을 다른 목적으로 한다. In the step of synthesizing a video playback system and method with real time environment object selection according to an embodiment of the present invention extracts the size of the selected source of a video object the object size and the selected 3D environment objects, and displays the synthesized video, the selected source arranged to scale to the relative size of the 3D environment, the object selected on the subject object, the synthesis position in the 3D environment, the object selected for the subject object in a video match, for preventing the composite video a subject object and a 3D environment objects of sizes bility naturally and that for other purposes.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 각각의 3D 환경객체를 디스플레이하는 단계에서, 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 선택된 원본동영상의 피사체 객체를 디스플레이 모듈 상에 더 디스플레이하여, 사용자가 미리 각각의 3D 환경객체에 피사체 객체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 3D 환경객체를 선택하는데 도움을 받을 수 있도록 하는 것을 다른 목적으로 한다. Of the selected original movie disposed on a composite video playback system and method with real time environment object selection according to an embodiment of the present invention, each 3D in the step of displaying a setting object, and each of the subject, object synthesis position in the 3D environment objects further display of the subject object on the display module, and the other aims to allow users and advance to feel the pleasure of seeing each of the subject and the object composite video on a 3D environment object, you can get help to select the desired 3D environment objects It shall be.

본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템은 디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; The present invention is a storage module that stores the composite video playback system includes a display module, a processor, an input member, and a composite video playback application with the real-time environment, the object selection according to the present invention intended to solve the above problems; user terminal apparatus having; 및 상기 사용자 단말장치와 통신가능하게 연결되고, 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 상기 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; And the user terminal device and the communication is possible to connect, 3D environment object and the subject object synthesizing a plurality of environmental objects, including the location (environment object) low (raw) server having data to a stored database; the system including the in the composite video playback application, the processor, the composite video playback application list of a plurality of original video having the subject object-original video of each is associated with the metadata having the camera work corresponding to the subject object, search - the step of displaying on the display module; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application, receiving a selection of one of the original video of the list, from the user via the input unit; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; Displaying a 3D environment of each object of the combined video playback application, the selected video source and the plurality of low environmental object data on the display module; 상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application which receives a selection of one of the displayed said respective 3D environment object from a user via the input unit; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 한다. And layout, using the selected 3D environment object and camerawork of the selected the the arrangement subjects the object original video in the composite video playback application is the subject object synthesis position in the 3D environment object the selected the subject object of the selected original movie characterized in that is configured to perform, including; a composite video rendering step of displaying on the display module.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 각각의 원본동영상은, 상기 피사체 객체에 대응하는 조명 데이터 - 상기 조명 데이터는 방향, 색상, 밝기, 위치 중 적어도 어느 하나를 포함하고 - 를 갖는 상기 메타데이터와 더 연관되고, 상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 조명 데이터를 더 이용하여 렌더링하도록 하는 것을 것을 특징으로 한다. In the composite video playback system according to an embodiment of the invention, each of the original video, the illumination data corresponding to the subject object-to - the illumination data includes at least one of direction, color, brightness, location in which the step of being further associated with the metadata, and displaying the synthesized video, the composite video playback application is the batch and the selected 3D environment object subject object, it characterized in that that to render further use of the illumination data do.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계; In the composite video playback system according to an embodiment of the invention, the composite video playback application includes the steps of: the processor extracts the position of the subject object of the synthesized video playback application, the selected video source; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체의 위치와 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치를 비교하고, 유사성이 높은 적어도 하나의 피사체 객체 합성위치를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치에 각각 대응하는 적어도 하나의 유사 3D 환경객체를 결정하는 단계;를 추가로 포함하여 수행하도록 구성되고, 상기 각각의 환경객체의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체 중에서 상기 적어도 하나의 유사 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하도록 하는 것을 특징으로 한다. And the composite video playback application is compared to the subject, object synthesis position of the position and the respective 3D environment, the object of the subject object of the selected original movie, and selecting at least one of the subject object synthetic position with high similarities, the selected at least determining at least one of the similar 3D environment objects, each corresponding to one of the subject object synthesis positions; in the step of being configured to perform, including the additional, display a 3D environment object for each of the environment object, the composite video playback application is characterized in that to display the at least one object in a 3D environment similar to the environment, each 3D object on the display module.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 추출된 피사체 객체의 위치는, 상기 원본동영상의 해당 프레임 상의 피사체 객체의 위치인 것을 특징으로 한다. In the composite video playback system according to an embodiment of the invention, the position of the extracted object, the object is characterized in that the position of the subject object in the corresponding frame of the original video.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 합성동영상 재생 애플리케이션은, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계; In the composite video playback system according to an embodiment of the invention, the composite video playback application, wherein the composite video playback application, wherein the processor extracts the size of the composite video playback application, the subject object of the selected original movie .; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고, 상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 상기 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하도록 하는 것을 특징으로 한다. And the composite video playback application extracting the size of the selected 3D environment objects; and configured to perform, including further, in the step of displaying the synthesized video, the of the composite video playback application, the selected original movie characterized in that the relative size for the selected 3D environment objects the subject object to the selected 3D objects in the environment subject synthetic object location so as to further arranged to match the scale.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체 객체를 상기 디스플레이 모듈 상에 더 디스플레이하도록 구성되는 것을 특징으로 한다. In the composite video playback system according to an embodiment of the invention, the composite video playback application, wherein the processor is in the step of displaying the respective 3D environment objects, the said composite video playback application of each of the 3D environment objects characterized in that the said object the subject of the selected video source disposed in the subject, object synthesis position being configured to further display on the display module.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 렌더링하여 디스플레이하도록 하는 것을 특징으로 한다. In the composite video playback system according to an embodiment of the invention, the composite video playback application, the processor is in the step of displaying the respective 3D environment objects, the composite video playback application to the respective 3D environment objects characterized in that to display the rendering.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 상기 선택된 원본동영상의 상기 카메라 워크 및 상기 선택된 원본동영상의 조명 데이터 중 적어도 어느 하나를 이용하여 렌더링하여 디스플레이하도록 하는 것을 특징으로 한다. In the composite video playback system according to an embodiment of the invention, the composite video playback application, the processor is in the step of displaying the respective 3D environment objects, the composite video playback application to the respective 3D environment objects characterized in that said selected source video, the camera work and to display the rendered using at least one of the illumination data of the selected original movie of.

본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 컴퓨터 구현 방법에 있어서, 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에 있어서, 합성동영상 재생 애플리케이션이 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터를 저장모듈에 저장하는 단계; In the composite video playback computer implemented with a real-time environment object selection process according to the invention, the, composite video playback application is 3D environment, the object and the subject object synthesis position according to a computer-implemented method for the synthesis video playback via the real-time environment object selection a plurality of environmental objects, including (environment object) low (raw) storing data in the storage module; 상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 상기 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; Displaying on the display module of the video source being respectively associated with the metadata having the camera work corresponding to the subject object, said composite video playback application list of a plurality of original video having the subject object; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application, receiving a selection of one of the original video of the list, from the user via the input unit; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; Displaying a 3D environment of each object of the combined video playback application, the selected video source and the plurality of low environmental object data on the display module; 상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application which receives a selection of one of the displayed said respective 3D environment object from a user via the input unit; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 한다. And layout, using the selected 3D environment object and camerawork of the selected the the arrangement subjects the object original video in the composite video playback application is the subject object synthesis position in the 3D environment object the selected the subject object of the selected original movie characterized in that is configured to perform, including; a composite video rendering step of displaying on the display module.

본 발명의 상기의 구성에 따라, 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 사용자가 선택할 수 있는 복수의 3D 환경객체를 제공하여 배경 선택의 즐거움을 주고, 피사체 객체를 선택된 3D 환경객체의 미리 설정된 피사체 객체 합성위치에 배치하여 사용자가 합성위치를 지정하지 않아도 자연스럽게 합성된 동영상을 제공하는 효과를 제공한다. According to the above construction of the present invention, the composite video playback system and method with real time environment object selection according to the invention, providing a plurality of 3D environment objects that the user can choose to give pleasure of the background selection, a subject object by placing the selected pre-set 3D object object of the synthesis environment object position provides an effect of the user and provide a natural composite video do not need to specify the synthetic position.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 원본 동영상의 조명 데이터를 이용하여 선택된 3D 환경객체를 렌더링하여 보다 자연스럽게 합성된 동영상을 제공하는 효과를 제공한다. Composite video playback system and method with real time environment object selection according to an embodiment of the present invention to render a 3D environment, the object selected by the illumination of the original video data and provides an effect to provide a more natural synthesized video.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 위치를 추출하고, 각각의 3D 환경객체의 해당 피사체 객체 합성위치와 비교하여 적어도 하나의 3D 환경객체를 결정하여, 피사체 객체 합성위치와 원본동영상의 피사체 객체의 원래 위치가 합성될 동영상의 프레임 상에서 많이 차이가 나지 않거나 해당 프레임을 벗어나지 않도록 구현하는 효과를 제공한다. Composite video playback system and method with real time environment object selection according to an embodiment of the present invention, by extracting the position of the subject object in the selected source video, compared to the respective 3D the environment object subject object synthesis position at least one of determining the object and the 3D environment, a lot of difference on the frame of the movie is the original location of the object, the subject synthetic positions and subject the object of the original video or composite Forgot provides effective to implement it within the frame.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 크기와 선택된 3D 환경객체의 크기를 추출하고, 합성동영상을 디스플레이하는 단계에서, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치에 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치하여, 합성동영상의 피사체 객체 및 3D 환경객체의 크기가 부자연스럽게 합성되는 것을 방지하는 효과를 제공한다. In the step of synthesizing a video playback system and method with real time environment object selection according to an embodiment of the present invention extracts the size of the selected source of a video object the object size and the selected 3D environment objects, and displays the synthesized video, the selected source arranged to scale to the relative size of the 3D environment, the object selected on the subject object, the synthesis position in the 3D environment, the object selected for the subject object in a video match, for preventing the composite video a subject object and a 3D environment objects of sizes bility naturally It provides an effect.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 각각의 3D 환경객체를 디스플레이하는 단계에서, 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 선택된 원본동영상의 피사체 객체를 디스플레이 모듈 상에 더 디스플레이하여, 사용자가 미리 각각의 3D 환경객체에 피사체 객체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 3D 환경객체를 선택하는데 도움을 받을 수 있도록 하는 효과를 제공한다. Of the selected original movie disposed on a composite video playback system and method with real time environment object selection according to an embodiment of the present invention, each 3D in the step of displaying a setting object, and each of the subject, object synthesis position in the 3D environment objects further display of the subject object on the display module, provides an effect that lets the user may advance to feel the pleasure of seeing each of the subject and the object composite video on a 3D environment object, you can get help to select the desired 3D environment objects do.

도 1은 본 발명의 실시예에 따른 합성동영상 재생 시스템을 도시하는 구성도. Figure 1 is a schematic view showing a composite video playback system according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 환경객체 로우 데이터의 구성을 도시하는 예시도. 2 is an illustration showing a configuration of a low environmental object data in the embodiment;
도 3은 본 발명의 실시예에 따른 복수의 원본동영상의 리스트를 그래픽 형식으로 나타낸 것을 도시하는 예시도. 3 is an illustration showing that shows a list of a plurality of original video in accordance with an embodiment of the invention in graphic form.
도 4는 본 발명의 실시예에 따른 원본동영상의 리스트 중 어느 하나의 원본동영상의 선택을 입력부를 통해 사용자로부터 수신하는 것을 도시하는 예시도. Figure 4 is an exemplary view illustrating the input received from the user through the selection of any one of the original video of the list of the original video according to an embodiment of the invention.
도 5는 본 발명의 실시예에 따른 시간 A에서의 선택된 원본동영상과 3D 환경객체를 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도. 5 is an explanatory diagram illustrating the display on the selected video source module and a 3D environment object displayed at time A in the embodiment;
도 6은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상과 3D 환경객체를 디스플레이 모듈 상에 디스플레이하고, 3D 환경객체 중 어느 하나의 선택을 입력부를 통해 사용자로부터 수신하는 것을 도시하는 예시도. Figure 6 is an illustration showing that received from the user through this embodiment of the invention display the selected original video and 3D environment object at time B in accordance with the on the display module, for example, enter the one selected in the 3D environment object parts .
도 7은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치 선택된 3D 환경객체와 맞는 크기로 축소하여 배치한 합성동영상과 3D 환경객체를 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도. Figure 7 displays the synthesized video, 3D environment objects arranged scaled in size to fit the subject object synthetic position selected 3D environment, the object of the selected original movie 3D environment objects selected for the subject object in at time B according to an embodiment of the present invention an illustration showing the display of the module to FIG.
도 8은 본 발명의 실시예에 따른 시간 C에서의 선택된 원본동영상과, 시간 C에서의 선택된 원본동영상의 피사체 객체를 3D 환경객체의 피사체 객체 합성위치에 각각 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도. 8 is displayed on a selected source video and display the respective arrangement synthesized video of the subject object in the selected original movie on the subject object, the synthesis position of the 3D environment object at time C module at time C in accordance with an embodiment of the present invention exemplary diagram illustrating that.
도 9는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법을 도시하는 흐름도. Figure 9 is a flow chart illustrating a computer-implemented method for reproducing a composite video via the real-time environment, the object selection according to an embodiment of the invention.
도 10은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 조명 데이터를 추가로 이용하여 렌더링하는 것을 도시하는 흐름도. Figure 10 is a computer implemented method for reproducing a composite video via the real-time environment, the object selection according to an embodiment of the present invention, a flow diagram illustrating the rendering by using additional lighting data.
도 11은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체 객체의 위치를 이용하는 것을 도시하는 흐름도. Figure 11 is a computer implemented method for reproducing a composite video via the real-time environment, the object selection according to an embodiment of the present invention, a flow diagram illustrating the use of the position of the subject object.
도 12는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체 객체의 크기를 이용하는 것을 도시하는 흐름도. Figure 12 is a computer implemented method for reproducing a composite video via the real-time environment, the object selection according to an embodiment of the present invention, a flow diagram illustrating the use of the size of the subject object.
도 13은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 3D 환경객체에 피사체 객체를 배치한 것을 도시하는 흐름도. 13 is a flow diagram illustrating in a computer-implemented method for reproducing a composite video via the real-time environment, the object selection according to an embodiment of the present invention, placing the subject object in a 3D environment object.
도 14는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 3D 환경객체를 렌더링하여 디스플레이 하는 것을 도시하는 흐름도. 14 is a flow diagram illustrating the display on a computer implemented method for reproducing a composite video via the real-time environment, the object selection according to an embodiment of the present invention, renders the 3D object environment.
도 15는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 3D 환경객체를 카메라 워크 및/또는 조명 데이터를 이용하여 렌더링하여 디스플레이 하는 것을 도시하는 흐름도. 15 is a flow diagram illustrating the display on a computer implemented method for reproducing a composite video via the real-time environment, the object selection according to an embodiment of the present invention, the 3D environment rendering objects using the camera work and / or illumination data.
도 16은 본 발명의 실시예에 따른 선택된 원본동영상의 카메라 워크의 실시예를 도시하는 예시도. Figure 16 is an illustration showing an embodiment of a camera work for the selected original video according to an embodiment of the invention.
도 17은 본 발명의 실시예에 따른 선택된 원본동영상의 조명 데이터를 도시하는 예시도. 17 is an illustration showing the illumination data of the selected video source in accordance with an embodiment of the present invention.
도 18은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 카메라 워크의 위치 및 방향을 도시하는 예시도. 18 is an illustration showing the location and orientation of the camera work of the selected original movie of time at B according to an embodiment of the invention.
도 19는 본 발명의 실시예에 따른 시간 B에서의 피사체 객체의 프레임 상에서의 위치를 도시하는 예시도. Figure 19 is an illustration showing the position on the frame of the subject object in the time B in the embodiment;

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안 되며, 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. Herein and in the terms or words used in the claims are general and are not to be limited to analysis to dictionary meanings, on the basis of the principle that the inventor can define the terms and concepts to describe his invention in the best way It is to be interpreted based on the meanings and concepts corresponding to technical aspects of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형예가 있을 수 있다. Thus embodiments the configuration shown in the examples and figures disclosed herein corresponds to one preferred embodiment of the invention, the configuration corresponding to not to represent all of the technical features of the present invention is different to replace it from the application time point of the present invention there may be cases equivalents and modifications.

명세서 전반에서 어떠한 부분이 어떤 구성요소를 "포함"한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Described that any part "includes" a certain component throughout the specification is not to exclude other components, unless there is a specific substrate to be opposed to this, it means that may further contain other components. 또한 명세서에 기재된 "..모듈", "..부", "..시스템" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다. In addition to "... module", "... unit" bond, "System" refers to the & quot; and the like are units for processing at least one function or operation, which hardware or software, or hardware and software described in the specification It can be implemented, and may be included in a single device or a different device.

이하에서는 도면을 참조하여 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상(video_composite) 재생 시스템(10)을 설명한다. The following describes the synthesis video (video_composite) playback system 10 through a real-time environment, the object selection according to the present invention with reference to the drawings.

도 1은 본 발명의 실시예에 따른 합성동영상 재생을 위한 시스템(10)을 도시한다. Figure 1 illustrates a system 10 for synthesizing the video reproduction in the embodiment; 본 발명에 따른 시스템(10)은 디스플레이 모듈(110), 프로세서(120), 입력부(160), 및 합성동영상 재생 애플리케이션(140)을 저장하는 저장모듈(130)을 갖는 사용자 단말장치(100) 및 사용자 단말장치(100)와 통신가능하게 연결되고, 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터가 저장된 데이터베이스(310)를 갖는 서버(300)를 포함하여 구성된다. System 10 according to the present invention is the display module 110, a processor 120, an input unit 160, and user terminal device 100 having a storage module 130 that stores the composite video playback application 140, and the user terminal apparatus 100 and is possibly connected to the communication, 3D environment object and a plurality of the environment object containing the subject object synthesis position (environment object) low (raw) server 300, the data having a stored database 310 It is configured to include.

상술한 복수의 환경객체 로우 데이터는 사용자 단말장치(100)와 별도의 서버(300)에 포함된 데이터베이스(310)에 저장되어 있지만, 사용자 단말장치(100)의 저장모듈(130)에 저장되는 것도 가능하다. A plurality of environment object row data described above is the user terminal apparatus 100 and a separate, but stored in the database 310 included in the server 300, it is stored in the storage module 130 of the user terminal device 100 It is possible. 이 경우, 별도의 서버(300)가 필요없이 사용자 단말장치(100) 상에서 합성동영상 재생 애플리케이션(140)의 모든 처리가 가능할 수 있다. In this case, it is possible that all processing of the composite video playback application 140 available on the user terminal device 100 have a separate server 300 is required. 또한, 복수의 환경객체 로우 데이터가 별도로 저장되지 않고, 제 3자의 단말장치의 카메라, 예컨대 도 1에 도시된 통신망에 연결된 카메라(210)에 의해 촬영 및 생성되어 실시간으로 전송될 수도 있다. In addition, a plurality of low environmental object data are not stored separately, and recording generated by the camera, such as camera 210 connected to the network shown in Figure 1 of the third party terminal device may be transmitted in real time.

한편, 사용자 단말장치(100)는 예컨대 스마트폰, 태블릿 PC 등과 같은 범용적 정보처리 단말장치이거나 차량용 인포테인먼트 장치 또는 멀티미디어 파일을 재생하기 위한 동영상 플레이어 장치와 같은 특정기능에 특화된 정보처리 단말장치 등을 예시할 수 있다. On the other hand, illustrative of the user terminal device 100 is, for example a smart phone, a general-purpose information processing terminal device, or a vehicle infotainment system, or specific to a particular functional type information processing terminal device such as a video player device for playing the multimedia files, and so on, such as a tablet PC can do. 도 3 내지 도 8에 도시된 바와 같이, 본 발명의 일 실시예에서는 태블릿 PC를 예로 들어 설명한다. As shown in Figures 3 to 8, in the embodiment of the present invention will be described for a tablet PC as an example.

디스플레이 모듈(110)은 터치스크린일 수 있다. Display module 110 may be a touch screen. 터치스크린은 디스플레이 상에 형성되는 터치 감응식 유저 인터페이스를 위한 터치 감지장치를 포함하여 구성된다. The touch screen is configured to include a touch-sensitive device for touch-sensitive user interface that is formed on the display. 터치 감지장치는 사용자의 손가락을 포함하는 신체의 접촉 또는 스타일러스 펜과 같은 물체의 접촉을 감지하고, 일정 방향으로의 접촉점의 이동으로 구현되는 슬라이드 동작을 감지하는 기능을 수행한다. A touch-sensitive device serves to detect the contact of an object such as a body contacting or stylus, including the user's finger, detects a slide operation is implemented as the contact points move to a predetermined direction. 본 발명에서의 터치스크린에 대한 접촉은 터치스크린 표면에 대한 직접 접촉 뿐 아니라 터치스크린 표면에 대한 10 mm 이내의 근접(근접 터치, hovering)을 포함한다. Contact on the touch screen according to the present invention comprises a close-up (touch-up, hovering) within 10 mm of the touch screen surface, as well as direct contact with the touch screen surface. 터치스크린의 구현방식은 특별히 제한되지 않으며 예컨대 정전용량방식 또는 저항막(resistive overlay)을 이용한 감압식으로 구현될 수 있고, 표면 초음파 또는 적외선을 이용한 방식 등으로 구현될 수 있다. Implementations of the touch screen is not particularly limited and may be for example implemented by using a pressure-sensitive capacitive type or resistive film (resistive overlay), may be implemented in a like manner using surface ultrasound or infrared rays.

프로세서(120)는 중앙처리장치 또는 모바일 프로세서(120)를 예시할 수 있으며 애플리케이션/프로그램의 명령어 집합에 따른 연산처리를 수행한다. Processor 120 can be given a central processing unit or the mobile processor (120) and performs arithmetic processing according to the instruction set of the application / program. 프로세서(120)는 단일의 연산처리장치 또는 복수개의 연산처리장치로 구성될 수 있다. The processor 120 may be configured as a single processing unit or a plurality of processing unit.

저장모듈(130)은 합성동영상 재생 애플리케이션(140)을 저장하는 기능을 수행하며, 합성동영상 재생 애플리케이션(140)을 위해 필요한 데이터를 저장하는 기능을 수행한다. Storage module 130 performs a function of storing the composite video playback application 140, and performs a function of storing data necessary for synthesizing the video playback application 140. 저장모듈(130)은 특별히 제한되지 않으며 메모리 소자, 자기적 저장매체, 광학적 저장매체 등으로 구현될 수 있다. Storage module 130 is not particularly limited and can be implemented in a memory device, a magnetic storage media, optical storage media or the like.

입력부(160)는 터치스크린, 키보드, 마우스, 및 별도의 조작 버튼일 수 있다. Input unit 160 may be a touch screen, a keyboard, a mouse, and a separate control button. 본 발명에서는 태블릿 PC의 터치스크린을 입력부(160)의 예로 들어 설명하지만, 이에 한정되지 않는다. In the present invention, it described as a touch screen of the tablet PC Examples of the input unit 160, but is not limited to this.

합성동영상 재생 애플리케이션(140)은 예컨대 다운로드를 통해 스마트폰에 설치되는 애플리케이션 또는 웹브라우저를 통해 구동될 수 있다. Composite video playback application 140 can be driven through the application or web browser is installed on the smartphone as a download for example. 합성동영상 재생 애플리케이션(140)은 사용자 단말장치(100)의 저장모듈(130)에 설치되고 프로세서(120)에 의해 구동되어 다음의 단계들을 프로세서(120)가 수행하도록 하는 명령어의 조합으로 구성된다. Composite video playback application 140 is a combination of commands for installation in the storage module 130 of the user terminal apparatus 100 and is driven by the processor 120 is the next step in the processor 120 to perform. 한편, 합성동영상 재생 애플리케이션(140)은 서버(300)에 저장되고 서버(300)의 프로세서에 의해 처리될 수도 있다. On the other hand, the composite video playback application 140 is stored in the server 300 may be processed by a processor of the server 300. 합성동영상 재생 애플리케이션(140)에 의해 프로세서(120)는 다음의 단계들을 수행하게 된다. The processor 120 of a synthetic video playback application 140 is to perform the following steps: 이하에서는 도 9 내지 도 15를 참조하여 각 단계를 상세히 설명한다. In reference to Figures 9 to 15 will be described through each step in detail.

피사체 객체란 원본동영상(video_original)에 포함되고, 원본동영상과 연관된 카메라 워크를 이용하여 실제 카메라에 의해 촬영된 요소일 수 있다. The object is an object may be a component picked up by the real camera using the camera work are associated with, the original video is included in the original video (video_original). 또한, 피사체 객체는 2D 또는 3D 객체를 가상 카메라에 의해 촬영된 요소일 수도 있으며, 이에 한정되는 것은 아니다. In addition, the subject object may also be a component picked up by the 2D or 3D object in the virtual camera, and the like.

환경객체 로우 데이터의 3D 환경객체는 추출된 피사체 객체가 합성될 대상인, 예컨대 전경, 배경 등일 수 있으며, 다양한 형태, 예컨대, 3D 모델링 프로그램에 의해 모델링된 데이터(와이어프레임 데이터) 및 동영상에서 특정 3D 변환 알고리즘에 의해 추출된 3D 객체 데이터 등 다양한 형태로 구현 가능하다. 3D environment object in the environment object raw data to extract a subject target objects are synthesized, for example, and the like in the foreground, the background, a variety of forms, e.g., 3D modeling data modeled by a program (wire-frame data) and the specific 3D transform on the video It can be implemented in various forms such as 3D object data extracted by the algorithm. 이러한 3D 환경객체는 렌더링이 되지 않거나 동영상이 아닌 로우 데이터 상태이므로, 저장모듈(110)의 저장공간을 줄일 수 있고, 3D 환경객체의 변경 및 업데이트도 가능한 장점이 있다. This object is 3D environment, so the low data state, not a video or not render it possible to reduce the storage space of the storage module 110, a possible advantage do changes and updates in the 3D environment object.

우선, 도 2에 도시된 바와 같이, 3D 환경객체와 피사체 객체 합성위치(data_composite position_subject)를 포함하는 복수의 환경객체 로우 데이터를 데이터베이스(310)에 저장하는 단계(s100)를 수행한다. First, following the steps (s100) for storing, the plurality of low environmental object data containing the 3D object and the subject object environment synthesis position (data_composite position_subject) in the database 310 as shown in FIG. 여기서, 복수의 환경객체 로우 데이터를 서버(300)의 데이터베이스(310)에 저장하였지만, 사용자 단말장치(100)의 저장모듈(130)에 저장할 수 있다. Here, although a plurality of storage environment, the raw data object in the database 310 of the server 300, can be stored in the storage module 130 of the user terminal 100. 한편, 복수의 환경객체 로우 데이터를 특정한 저정 장치에 저장하지 않고, 실시간으로 다른 복수의 사용자 단말장치에서 생성 또는 저장된 복수의 환경객체 로우 데이터를 실시간으로 이용할 수도 있다. On the other hand, without having to store a plurality of environment object raw data in particular seminal device may utilize a plurality of real-time environment object raw data generated or stored at the other plurality of user terminal devices in real time.

도 2에 도시된 바와 같이, 환경객체 로우 데이터는 피사체 객체 합성위치를여러개 포함할 수 있다(도 2에는 2개). 2, the environment, the raw data object may comprise a synthetic subject is positioned several objects (Fig. 2, two). 피사체 객체 합성위치는 3D 환경객체의 내부에 존재할 수도 있고, 외부에 존재할 수도 있다. Synthetic subject object position may be inside the object, the 3D environment, it may be external.

다음으로, 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 디스플레이 모듈(110) 상에 디스플레이하는 단계(s200)를 수행한다. Next, the composite video play list of a plurality of original video application with the subject object comprising: - display on the display module 110, each of the original video is associated with the metadata having the camera work corresponding to the subject object, performs (s200). 도 3에 도시된 바와 같이, 복수의 원본동영상의 리스트를 대표 이미지 형태의 그래픽 형식으로 나타낼 수도 있고, 단순히 문자 형식으로 나타낼 수도 있다. As shown in Figure 3, it may represent a list of a plurality of original video in a graphical format in the form of a representative image, and may simply indicate a character type. 복수의 원본동영상은 서버(300)의 데이터베이스(310) 또는 사용자 단말장치(100)의 저장모듈(130)에 미리 저장될 수 있다. A plurality of original videos can be previously stored in the storage module 130 in the database 310 or the user terminal device 100 of the server 300. 한편, 원본동영상을 따로 미리 저장하지 않고 카메라로 촬영한 동영상을 실시간으로 전송받을 수도 있다. On the other hand, it may be the original movie is not stored separately in advance by sending a video taken by a camera in real time. 카메라는 동영상 촬영이 가능한 캠코더, 방송용 카메라, 스마트폰의 카메라 모듈일 수 있다. The camera can be a video camera capable of recording, broadcast cameras, smart phone camera module. 또한, 카메라는 별도의 이동 가능한 마운팅 장치에 탑재되어, 팬(pan) 및 틸트(tilt)를 구현할 수 있다. In addition, the camera is mounted on a separate movable device mounting, it can be realized the fan (pan) and tilt (tilt). 한편, 도 1에 도시된 바와 같이, 사용자 단말장치(100)의 통신모듈(150)에 통신망을 거쳐서 연결된 카메라(210)로부터 실시간으로 송출되는 원본동영상을 이용할 수 있다. On the other hand, it is possible to use the original video to be sent in real time from the communication module 150, the camera 210 is connected via a communication network to the user terminal device 100, as shown in FIG.

다음으로, 리스트 중 어느 하나의 원본동영상의 선택을 입력부(160)를 통해 사용자로부터 수신하는 단계(s300)를 수행한다. Next, the steps (s300) for receiving any one of a selection of the source of the video list from the user via the input unit 160. 도 4에는 사용자가 손가락으로 재생하고 싶어하는 원본동영상의 대표 화면을 터치하는 동작이 도시되어 있다. Figure 4 shows the operation of a touch screen, a representative of the original videos you want to play with your fingers is shown.

다음으로, 선택된 원본동영상과 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 디스플레이 모듈(110) 상에 디스플레이하는 단계(s400)를 수행한다. Next, the steps (s400) for displaying the selected video source and a plurality of setting each of the 3D objects in the environment object raw data on the display module 110. 선택된 원본동영상과 각각의 3D 환경객체는 자동으로 재생될 수도 있고, 사용자가 재생 버튼을 누르면 재생되게 할 수도 있다. Each of the selected original movies and 3D environments and objects may be played automatically, the user may be playing, press the play button. 여기서, 3D 환경객체의 재생은 해당 카메라 워크에 따라 재생될 수 있다. Here, the reproduction of the 3D environment objects may be played according to the camera work. 3D 환경객체는 랜덤으로 배치할 수도 있고, 특정 순서에 따라 배치할 수도 있다. 3D environment objects may be arranged in random, it may be arranged in a specific order. 선택된 원본동영상이 재생될 때 3D 환경객체도 렌더링되어 같이 재생될 수도 있고, 3D 환경객체는 재생되지 않을 수도 있다. When the selected original video to be reproduced may be reproduced as Figure 3D environment to be rendered object, 3D environment object may not be displayed. 3D 환경객체가 재생되지 않을 경우, 그래픽 형태로 디스플레이되는 대신에 문자 형태로 디스플레이될 수도 있다. If the 3D object not play environment, it may be displayed with a letter shape, instead of being displayed in graphical form. 도 5 내지 도 8은 각각 해당 시간 A, B, C에서 해당 선택된 원본동영상, 3D 환경객체, 합성동영상(video_composite)이 재생되는 것을 도시한다. Figure 5 to Figure 8 illustrates that each of the selected time the original video, 3D environment objects, composite video (video_composite) is playing on the A, B, C. 3D 환경객체가 별도의 공간에 디스플레이 되지만, 선택된 원본동영상에 오버레이되어 디스플레이 될 수 있다. Although the 3D environment, the object displayed in the separate area, is overlaid on the selected source video can be displayed. 이 경우 사용자 단말장치(100)의 디스플레이 모듈(110)의 디스플레이 영역을 절약할 수 있다. In this case, it is possible to save the display area of ​​the display module 110 of the user terminal 100.

다음으로, 디스플레이된 각각의 3D 환경객체 중 어느 하나의 선택을 입력부(160)를 통해 사용자로부터 수신(s500)를 수행한다. Next, perform a receiving (s500) from a user via the selection of any one of the displayed respective 3D environment object input unit 160. 도 6에 도시된 바와 같이, 시간 B에서, 사용자가 터치스크린을 통해 원하는 3D 환경객체를 선택할 수 있다. As shown in Figure 6, at time B, the user can select a desired object, a 3D environment through a touch screen.

다음으로, 도 7에 도시된 바와 같이, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 선택된 3D 환경객체와 배치된 피사체 객체를 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 디스플레이 모듈(110) 상에 디스플레이하는 단계(s600)를 수행한다. Next, as shown in FIG. 7, placing the subject object in the selected source video to the selected 3D object object synthesis of the environment object position, and using the camera work of the original video is selected for the subject object placed to the selected 3D environment objects It performs a step (s600) of displaying on the synthesized video display module 110 is rendered. 시간 B에서, 선택된 원본동영상의 피사체 객체(외곽 실선)가, 예컨대, 도 2에 도시된 바와 같이, 선택된 3D 환경객체, 즉, 절(temple)의 1번 피사체 객체 합성위치(composite position_subject_1)에 이동 배치된다. The at time B, the subject object (outer line) of the selected original movie, for example, move to the selected 3D environment object, that is, the first time the subject object synthesis position of section (temple) (composite position_subject_1) as shown in Figure 2, It is arranged.

여기서, 카메라 워크에 대해 간단히 설명한다. Here, a brief description of camera work. 도 16은 본 발명의 실시예에 따른 선택된 원본동영상의 카메라워크의 2가지 예(Case 1, Case 2)를 도시하고 있다. 16 shows two examples (Case 1, Case 2) of the camera work of the selected original video according to an embodiment of the invention. 카메라의 위치(X,Y,Z) 및 팬, 틸트, 줌의 정도가, 시간대(A, B, C) 별로 도시되어 있다(Case 1). It is the degree of the position (X, Y, Z) of the camera and the pan, tilt, zoom, and is shown over time (A, B, C) (Case 1). 한편, 카메라워크가 프레임 상에서 보여지는 것을 중심으로 한 Case 2가 도시되어 있다. On the other hand, there is a Case 2 with the center of the camera work is shown on the frame are shown. 도 18은 본 발명의 실시예에 따른 선택된 원본동영상의 카메라 워크의 카메라 위치 및 카메라 방향의 일례를 글로벌 좌표(Global Coordinate)로 도시한다. Figure 18 shows an example of a camera work camera position and orientation of the camera for the selected original video according to an embodiment of the present invention to global coordinates (Global Coordinate). 글로벌 좌표 대신에, 카메라 또는 원본동영상의 특정 지점을 기준으로 한 로컬 좌표도 가능하다. Instead of global coordinates, it is also possible local coordinates are based on the specific point of camera or video source.

선택된 3D 환경객체와 배치된 피사체 객체를 선택된 원본동영상의 카메라 워크를 이용하여 렌더링하였지만, 선택된 원본동영상의 조명 데이터(data_lighting)를 더 이용하여 렌더링할 수도 있다(s160). But it may be the subject object placed to the selected 3D environment rendering objects using a camera work of a selected video source, rendering further use of the lamp data (data_lighting) of the selected original movie (s160). 여기서 조명 데이터(data_lighting)는 피사체 객체에 대응하는데, 피사체 객체 촬영시의 해당 시간 별 조명 데이터이다. Wherein one trillion people data (data_lighting) are for responding to the subject object, and the time Lighting by data at the time of shooting the subject object. 조명 데이터(data_lighting)는 도 1에 도시된 바와 같이 원본동영상의 메타데이터에 포함되고, 도 17에 도시된 바와 같이, 해당 시간별로 위치, 밝기, 방향, 색상 중 적어도 어느 하나를 가질 수 있다. One trillion people data (data_lighting) may have as, in the time position, brightness, direction, at least any one of colors shown in the metadata contained in the source video as described, Fig. 17 shown in Fig.

한편, 피사체 객체 합성위치(composite position_subject)가 다수개 존재할 경우 재생될 동영상 프레임 밖에 존재하는 피사체 객체 합성위치(composite position_subject)는 선택에서 배제할 수 있다. On the other hand, if present, a plurality of the subject object synthesis position (composite position_subject) which exist outside the video frame to be reproduced object subject synthesis position (composite position_subject) may be excluded from the selection. 피사체 객체 합성위치(composite position_subject)와 원본동영상의 피사체 객체의 원래 위치가 합성될 프레임 상에서 많이 차이가 날 수 있다. A lot of difference on the frame is the original location of the composite object object object object of synthetic positions (composite position_subject) and original videos can fly. 이 경우, 시청자에게 색다른 재미를 줄 수도 있다. In this case, it may give you a unique fun for viewers. 다음으로, 피사체 객체 합성위치(composite position_subject)와 원본동영상의 피사체 객체의 원래 위치가 합성될 프레임 상에서 많이 차이가 나지 않도록 구현하는 방법에 대해 설명한다. Next, a lot on the frame to be the original position of the synthetic subject object in the original video object subject synthesis position (composite position_subject) and describes how to implement so as not differ.

도 11은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체 객체의 위치와 피사체 객체 합성위치(composite position_subject)를 추가로 비교하는 것을 도시하는 흐름도이다. 11 is a flow diagram illustrating the comparison in a computer-implemented method for the synthesis video playback via the real-time environment, the object selection according to an embodiment of the present invention, the additional position and the subject object synthesis position of the subject object (composite position_subject). 도 9와 동일한 부분을 제외하고, 피사체 객체의 위치를 추가로 비교하는 방법에 대해서 설명한다. Except for the same parts as in Fig. 9, a description will be given of a method for comparing the additional position of the subject object.

우선, 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계(s310)를 수행한다. First, the steps (s310) of extracting the position of the subject object in the selected video source. 도 19에 도시된 바와 같이 피사체 객체의 위치는 특정 프레임, 예컨대 시간 B에서의 원본동영상의 프레임 상에서의 위치일 수 있다. The position of the subject object, as shown in Figure 19 may be a particular frame, for example, position on the frame of the original video at the time B. 한편, 도 18과 같은 절대 좌표에서, 기준점(0,0,0)을 설정하고 원본 동영상에서의 특정 지점을 미리 설정하고, 깊이 측정(depth-sensing) 기능이 있는 비디오카메라를 사용하여, 비디오카메라와 피사체 객체 및 상술한 특정 지점 간의 상대적 위치를 실시간으로 연산할 수 있다. On the other hand, in absolute coordinates, such as 18, by setting the reference point (0,0,0) using a video camera with a pre-set a certain point, and Depth Measurement (depth-sensing) features of the original video, video camera, the relative position between the object and the subject, and the above-described specific point can be calculated in real time. 특정 프레임 상에서의 피사체 객체의 위치는 일반적인 이미지 프로세싱 기술을 사용하여 계산할 수 있으므로, 자세한 설명은 생략한다. Position of the subject on a particular object in the frame, so can be calculated using a general image processing technique, a detailed description thereof will be omitted. 영상의 깊이 측정방식은 Microsoft사의 Kinnect 및 Intel사의 RealSense Camera를 통해 상용화된 적외선 패턴 인식 방식을 통해 구현하거나 Lytro사에 의해 상용화된 마이크로 렌즈 어레이(Micro Lens Array)를 통한 라이트필드(Light Field) 방식을 예시할 수 있다. Depth measurement method of an image is the light field (Light Field) method by a micro lens array (Micro Lens Array) commercialized by implement or Lytro used over an infrared pattern recognition system commercially available through the Microsoft Corporation Kinnect and Intel's RealSense Camera It can be exemplified. 일반적인 멀티 카메라 방식에 의한 깊이 측정의 경우 별도의 센서가 필요하지 않을 수도 있다. If the depth measured by the general multi-camera system may have a separate sensor may not be necessary.

다음으로, 선택된 원본동영상의 피사체 객체의 위치와 각각의 3D 환경객체의 해당 피사체 객체 합성위치(composite position_subject)를 비교하고, 유사성이 높은 적어도 하나의 피사체 객체 합성위치(composite position_subject)를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치(composite position_subject)에 각각 대응하는 적어도 하나의 유사 3D 환경객체(3D environment object_similar)를 결정하는 단계(s320)를 수행한다. Next, compare the subject object synthesis position of the selected original video location with each of the 3D environment, the object of the subject object in the (composite position_subject), and selecting at least one of the subject object synthetic position with high affinity (composite position_subject), and selected It performs the step of determining at least one object, similar to the 3D environment (3D environment object_similar) (s320) respectively corresponding to the at least one object of the subject synthesis position (composite position_subject).

도 10은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치(composite position_subject)에 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도이다. Figure 10 is an illustration showing that a display a composite video on a display module arranged on the 3D synthetic object object of the environment object location selected for the subject object of the selected original movie at time B according to an embodiment of the invention (composite position_subject) degrees. 그런데, 외곽 실선으로 도시된 피사체 객체와 선택된 3D 환경객체의 상대적 크기가 맞지 않아, 도시된 바와 같이 크기를 조정(축소)할 필요가 있다. By the way, because the relative sizes of the object as the selected object, the 3D environment objects shown by the solid line, right outside, it is necessary to adjust (reduced) size, as illustrated. 이를 위해, 도 12에 도시된 바와 같이, 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계(s330)와 선택된 3D 환경객체의 크기를 추출하는 단계(s510)를 수행한다. To do this, following the steps (s510) of extracting the phase (s330) and the selected size of the 3D environment object for extracting the size of the subject object in the selected video source as shown in Fig. 이후에, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치(composite position_subject)에 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 단계(s630)를 수행한다. After the step of displaying on, on a selected source video of the composite video arranged to scale to the relative size of the selected 3D environment objects fit on the subject object, the synthesis position in the 3D environment, the object selected for the subject object (composite position_subject) the display module ( It performs s630). s330단계 및 s630단계로부터 원본동영상의 피사체 객체에 대한 3D 환경객체의 상대적 크기를 알 수 있으므로, 해당 동영상 프레임 상에서의 3D 환경객체의 크기를 계산하면 쉽게 해당 동영상 프레임에서 합성될 선택된 원본동영상의 피사체 객체의 크기를 계산할 수 있다. Since from s330 step and s630 step shows the relative size of the 3D environment objects for the subject object in the original video, when calculating the size of a 3D environment, the object on the video frame easily subject object in the selected original video is synthesized in the video frame You can calculate the size.

한편, 도 8에 도시된 바와 같이, 피사체 객체를 복수의 3D 환경객체 각각의 피사체 객체 합성위치(composite position_subject)에 배치한 합성동영상을 디스플레이 모듈(110) 상에 더 디스플레이하도록 할 수 있다(도 13, s420). On the other hand, it can be such, so as to further display the subject object on a display a composite video module 110 is disposed on the plurality of 3D environment object individual subject, object synthesis position (composite position_subject) shown in FIG. 8 (13 , s420). 이 경우 사용자는 각각의 3D 환경객체에 피사체 객체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 3D 환경객체를 선택하는데 도움을 받을 수 있다. In this case, the user can feel the pleasure of seeing the object, the subject composite video on a 3D environment each object, you can get help to select the desired 3D environment objects. 도 15에 도시된 바와 같이, 각각의 3D 환경객체를 렌더링하여 디스플레이할 수 있고(s440), 이 경우, 도 16에 도시된 바와 같이, 선택된 원본동영상의 카메라 워크 및 선택된 원본동영상의 조명 데이터(data_lighting) 중 적어도 어느 하나를 이용하여 렌더링할 수 있다(s450). As each can be displayed by rendering a 3D environment, the object shown in Figure 15 (s440), in this case, as shown in FIG. 16, camera work and light data of the selected original movie of the selected original movie (data_lighting ) it can be rendered at least by any one of (s450). 결과적으로, 보다 자연스럽고 사실적인 선택가능한 합성동영상을 유저에게 제공할 수 있다. As a result, it is possible to provide a more natural, realistic selectable composite video to the user.

한편, 복수의 3D 환경객체가 별도로 저장되지 않고, 제 3자의 단말장치로부터 촬영된 동영상이 이미지 처리 프로세싱에 의해 실시간으로 3D 환경객체로 변환되어 사용자 단말장치(100)로 전송될 경우, 사용자는 실시간으로 자연스로운 콜라보레이션 동영상을 시청할 수 있다. On the other hand, when a plurality of 3D environment objects are not stored separately, the video recording from the third party's terminal apparatus is converted into a real-time 3D environment object by an image processing process to be transmitted to the user terminal device 100, the user real-time in collaboration seuroun can watch nature videos.

본 명세서에서의 발명의 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. That the invention herein described is a description of the preferred embodiment, the invention is not limited to this embodiment. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다. One of ordinary skill in the art, and that various changes and modifications to the embodiments above may be made without departing from the scope of the invention possible, the technical concept of the present invention, all of the various modifications such as modifications It includes.

시스템(10) 사용자 단말장치(100) System 10. The user terminal device 100
디스플레이 모듈(110) 프로세서(120) Display module 110, a processor 120,
저장모듈(130) Storage module 130
합성동영상 재생 애플리케이션(140) 통신모듈(150) Composite video playback application 140, a communication module 150
입력부(160) 카메라(210) Input unit 160, camera 210
서버(300) 데이터베이스(310) Server 300. Database 310

Claims (16)

  1. 디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; The user terminal device having; a storage module for storing the display module, a processor, an input member, and a composite video playback application; And
    상기 사용자 단말장치와 통신가능하게 연결되고, 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서, The user terminal device and is possibly connected to the communication, the server 3D environment object and a plurality of environmental objects (environment object) low (raw) data containing the subject object Synthesis location has a stored database; in the system including the ,
    상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, Is the composite video playback application, wherein the processor,
    상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; Displaying on the display module being respectively associated with the original video metadata having a camera work corresponding to the subject object, said composite video playback application list of a plurality of original video having the subject object;
    상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application, receiving a selection of one of the original video of the list, from the user via the input unit;
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; Displaying a 3D environment of each object of the combined video playback application, the selected video source and the plurality of low environmental object data on the display module;
    상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application which receives a selection of one of the displayed said respective 3D environment object from a user via the input unit; And
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. Disposed in the composite video playback application is the subject object synthesis position of the selected original movie 3D environment objects the subject object, the selected a, and using the selected 3D environment object and camerawork of the selected original movie wherein the arranged subject object composite video playback system based on real-time environment, object selection, characterized in that is configured to perform, including; a composite video rendering step of displaying on the display module.
  2. 제 1 항에 있어서, 상기 각각의 원본동영상은, According to claim 1, wherein each of the original video is
    상기 피사체 객체에 대응하는 조명 데이터 - 상기 조명 데이터는 방향, 색상, 밝기, 위치 중 적어도 어느 하나를 포함하고 - 를 갖는 상기 메타데이터와 더 연관되고, One trillion people data corresponding to the subject object - is further associated with the metadata having, - the illumination data, direction, color, brightness, and includes at least one of position and
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 조명 데이터를 더 이용하여 렌더링하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. In the step of displaying the composite video, the composite video playback application, a composite video playback via the real-time environment, the object selection to the arranged subject object and the selected 3D environment object is characterized in that to render further use of the illumination data system.
  3. 제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, The method of claim 1, wherein the composite video playback application, wherein the processor,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계; Step in which the composite video playback application extracts the position of the subject object in the selected video source; And
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체의 위치와 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치를 비교하고, 상기 피사체 객체의 위치를 기준으로 일정 범주에 부합하는 적어도 하나의 피사체 객체 합성위치를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치에 각각 대응하는 적어도 하나의 3D 환경객체를 결정하는 단계;를 추가로 포함하여 수행하도록 구성되고, The said composite video playback application compares the subject object synthesis location of the position and the respective 3D environment, the object of the subject object in the selected original video, at least one of the subject to meet the predetermined category, based on the position of the subject object, and configured to perform, including the additional,; select objects synthesis position, and determining at least one 3D object environment corresponding to the at least one object, the object synthesizing a selected location
    상기 각각의 환경객체의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체 중에서 상기 적어도 하나의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. Real-time, characterized in that in the step of displaying a 3D environment object for each of the environment object, to display the at least one 3D environment object from said composite video playback application, and wherein each of the 3D environment objects on the display module environment composite video playback system with object selection.
  4. 제 3 항에 있어서, 상기 추출된 피사체 객체의 위치는, The method of claim 3, wherein the position of the extracted subject object,
    상기 원본동영상의 해당 프레임 상의 피사체 객체의 위치인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. Composite video playback system based on real-time environment, object selection, characterized in that the position of the subject object in the corresponding frame of the original video.
  5. 제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, The method of claim 1, wherein the composite video playback application, wherein the processor,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계; Step in which the composite video playback application extracts the size of the subject and the object of said selected source video; And
    상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고, And configured to perform, including the additional,; wherein the composite video playback application extracting the size of the selected object, the 3D environment
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 상기 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. In the step of displaying the synthesized video, the relative size for the composite video the selected 3D environment object for reproducing application is the subject object of the selected original movie on the subject object, the synthesis positions of the selected 3D environment objects to scale to fit more composite video reproduction system based on a real-time environment, characterized in that the object selected to be placed.
  6. 제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, The method of claim 1, wherein the composite video playback application, wherein the processor,
    상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체 객체를 상기 디스플레이 모듈 상에 더 디스플레이하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. In displaying the respective 3D environment objects, the composite video playback application is to further display the subject object of the selected original movie disposed on the subject, object synthesis positions of the respective 3D environment objects on the display module, composite video reproduction system based on a real-time environment object selection being configured.
  7. 제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, The method of claim 1, wherein the composite video playback application, wherein the processor,
    상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. In displaying the 3D environment of each object, wherein the composite video playback application, a composite video playback system based on a real-time environment object selection characterized in that to display by rendering the respective 3D environment object.
  8. 제 2 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, The method of claim 2, wherein the composite video playback application, wherein the processor,
    상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 상기 선택된 원본동영상의 상기 카메라 워크 및 상기 선택된 원본동영상의 조명 데이터 중 적어도 어느 하나를 이용하여 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템. In displaying the respective 3D environment objects, to which the composite video playback application rendering by using at least one of the camera work and light data of the selected original movie of the selected original movie wherein the respective 3D environment objects composite video reproduction system based on a real-time environment object selection characterized in that to display.
  9. 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에 있어서, A computer-implemented method for reproducing a composite video via the real-time environment, object selection,
    합성동영상 재생 애플리케이션이 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터를 저장모듈에 저장하는 단계; Composite video reproducing a plurality of objects by the application environment including a 3D environment, the object and the subject object synthesis position (object environment) storing the row (raw) data in the storage module;
    상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 사용자 단말기의 디스플레이 모듈 상에 디스플레이하는 단계; Displaying a on a display module of the user terminal and being associated with the metadata having the camera work corresponding to each of the original video is the subject object, said composite video playback application list of a plurality of original video having the subject object;
    상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 사용자 단말기의 입력부를 통해 사용자로부터 수신하는 단계; Receiving, from the user via any one of a selection of the original video of the composite video playback application is the list of the input unit of the user terminal;
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; Displaying a 3D environment of each object of the combined video playback application, the selected video source and the plurality of low environmental object data on the display module;
    상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; Step in which the composite video playback application which receives a selection of one of the displayed said respective 3D environment object from a user via the input unit; And
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. Disposed in the composite video playback application is the subject object synthesis position of the selected original movie 3D environment objects the subject object, the selected a, and using the selected 3D environment object and camerawork of the selected original movie wherein the arranged subject object the computer implemented method for reproducing a composite video via the real-time environment, object selection, characterized in that is configured to perform, including; a composite video rendering step of displaying on the display module.
  10. 제 9 항에 있어서, 10. The method of claim 9,
    상기 각각의 원본동영상은, 상기 피사체 객체에 대응하는 조명 데이터 - 상기 조명 데이터는 방향, 색상, 밝기, 위치 중 적어도 어느 하나를 포함하고 - 를 갖는 상기 메타데이터와 더 연관되고, Each of the original video, the illumination data corresponding to the subject object - is further associated with the metadata having, - the illumination data, direction, color, brightness, and includes at least one of position and
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 조명 데이터를 더 이용하여 렌더링하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. In the step of displaying the composite video, the composite video playback application, a composite video playback via the real-time environment, the object selection to the arranged subject object and the selected 3D environment object is characterized in that to render further use of the illumination data the computer implemented method for.
  11. 제 9 항에 있어서, 10. The method of claim 9,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계; Step in which the composite video playback application extracts the position of the subject object in the selected video source; And
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체의 위치와 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치를 비교하고, 상기 피사체 객체의 위치를 기준으로 일정 범주에 부합하는 적어도 하나의 피사체 객체 합성위치를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치에 각각 대응하는 적어도 하나의 3D 환경객체를 결정하는 단계;를 추가로 포함하여 수행하도록 구성되고, The said composite video playback application compares the subject object synthesis location of the position and the respective 3D environment, the object of the subject object in the selected original video, at least one of the subject to meet the predetermined category, based on the position of the subject object, and configured to perform, including the additional,; select objects synthesis position, and determining at least one 3D object environment corresponding to the at least one object, the object synthesizing a selected location
    상기 각각의 환경객체의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체 중에서 상기 적어도 하나의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. Real-time, characterized in that in the step of displaying a 3D environment object for each of the environment object, to display the at least one 3D environment object from said composite video playback application, and wherein each of the 3D environment objects on the display module environment the computer implemented method for synthesizing the video playback through the object selection.
  12. 제 11 항에 있어서, 12. The method of claim 11,
    상기 추출된 피사체 객체의 위치는 상기 원본동영상의 해당 프레임 상의 피사체 객체의 위치인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. The position of the extracted subject object is a computer-implemented method for reproducing a composite video via the real-time environment, object selection, characterized in that the position of the subject object in the corresponding frame of the original video.
  13. 제 9 항에 있어서, 10. The method of claim 9,
    상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계; Step in which the composite video playback application extracts the size of the subject and the object of said selected source video; And
    상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고, And configured to perform, including the additional,; wherein the composite video playback application extracting the size of the selected object, the 3D environment
    상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 상기 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. In the step of displaying the synthesized video, the relative size for the composite video the selected 3D environment object for reproducing application is the subject object of the selected original movie on the subject object, the synthesis positions of the selected 3D environment objects to scale to fit more the computer implemented method for reproducing a composite video via the real-time environment, object selection, characterized in that to place.
  14. 제 9 항에 있어서, 10. The method of claim 9,
    상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체 객체를 상기 디스플레이 모듈 상에 더 디스플레이하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. In displaying the respective 3D environment objects, the composite video playback application is to further display the subject object of the selected original movie disposed on the subject, object synthesis positions of the respective 3D environment objects on the display module, the computer implemented method for reproducing a composite video via the real-time environment object selection being configured.
  15. 제 9 항에 있어서, 10. The method of claim 9,
    상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. In displaying the 3D environment of each object, wherein the composite video playback application, a computer-implemented method for reproducing a composite video via the real-time environment, object selection, characterized in that to display by rendering the respective 3D environment object.
  16. 제 10 항에 있어서, 11. The method of claim 10,
    상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 상기 선택된 원본동영상의 상기 카메라 워크 및 상기 선택된 원본동영상의 조명 데이터 중 적어도 어느 하나를 이용하여 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법. In displaying the respective 3D environment objects, to which the composite video playback application rendering by using at least one of the camera work and light data of the selected original movie of the selected original movie wherein the respective 3D environment objects the computer implemented method for reproducing a composite video via the real-time environment, object selection, characterized in that to display.
KR20160179981A 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner KR101843024B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20160179981A KR101843024B1 (en) 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20160179981A KR101843024B1 (en) 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner

Publications (1)

Publication Number Publication Date
KR101843024B1 true KR101843024B1 (en) 2018-03-28

Family

ID=61901333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20160179981A KR101843024B1 (en) 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner

Country Status (1)

Country Link
KR (1) KR101843024B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295107A (en) 2000-03-14 2008-12-04 Fujifilm Corp Digital camera and method for processing image
US20110170008A1 (en) 2010-01-13 2011-07-14 Koch Terry W Chroma-key image animation tool

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295107A (en) 2000-03-14 2008-12-04 Fujifilm Corp Digital camera and method for processing image
US20110170008A1 (en) 2010-01-13 2011-07-14 Koch Terry W Chroma-key image animation tool

Similar Documents

Publication Publication Date Title
US8499038B1 (en) Method and mechanism for performing cloud image display and capture with mobile devices
US7827488B2 (en) Image tracking and substitution system and methodology for audio-visual presentations
Beardsley et al. Interaction using a handheld projector
US20100013738A1 (en) Image capture and display configuration
US20090109240A1 (en) Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
US20120200667A1 (en) Systems and methods to facilitate interactions with virtual content
US5790124A (en) System and method for allowing a performer to control and interact with an on-stage display device
US20130194259A1 (en) Virtual environment generating system
US20090251421A1 (en) Method and apparatus for tactile perception of digital images
US20080246759A1 (en) Automatic Scene Modeling for the 3D Camera and 3D Video
US6538676B1 (en) Video token tracking system for overlay of metadata upon video data
US20110273369A1 (en) Adjustment of imaging property in view-dependent rendering
US20070122786A1 (en) Video karaoke system
US20110273466A1 (en) View-dependent rendering system with intuitive mixed reality
US20060114251A1 (en) Methods for simulating movement of a computer user through a remote environment
US20040012641A1 (en) Performing default processes to produce three-dimensional data
US20120249424A1 (en) Methods and apparatus for accessing peripheral content
WO1997042601A1 (en) Integrated interactive multimedia process
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US20100214442A1 (en) Image display apparatus and image display method
WO2013023705A1 (en) Methods and systems for enabling creation of augmented reality content
CN104915979A (en) System capable of realizing immersive virtual reality across mobile platforms
Langlotz et al. Next-generation augmented reality browsers: rich, seamless, and adaptive
US20130014027A1 (en) Method and system for representing audiences in ensemble experiences
US20030090487A1 (en) System and method for providing a virtual tour

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant