KR102642583B1 - Apparatus and method for composing image and broadcasting system having the same - Google Patents

Apparatus and method for composing image and broadcasting system having the same Download PDF

Info

Publication number
KR102642583B1
KR102642583B1 KR1020200064135A KR20200064135A KR102642583B1 KR 102642583 B1 KR102642583 B1 KR 102642583B1 KR 1020200064135 A KR1020200064135 A KR 1020200064135A KR 20200064135 A KR20200064135 A KR 20200064135A KR 102642583 B1 KR102642583 B1 KR 102642583B1
Authority
KR
South Korea
Prior art keywords
image
video
data
content
synthesized
Prior art date
Application number
KR1020200064135A
Other languages
Korean (ko)
Other versions
KR20210147231A (en
Inventor
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200064135A priority Critical patent/KR102642583B1/en
Publication of KR20210147231A publication Critical patent/KR20210147231A/en
Application granted granted Critical
Publication of KR102642583B1 publication Critical patent/KR102642583B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

영상 합성 장치 및 방법 그리고 이를 포함한 영상 방송 시스템이 개시된다.
상기 영상 합성 장치 및 방법 그리고 이를 포함한 영상 방송 시스템은 360도로 촬영된 영상 데이터에 콘텐츠 이미지가 합성된 영상 이미지를 제공함으로써 자연스러운 합성이 가능할 수 있다.
또한, 본 발명에 따른 영상 합성 장치 및 방법 그리고 이를 포함한 영상 방송 시스템은 콘텐츠 이미지가 합성된 합성 데이터를 생성한 이후에 배경 영상인 영상 데이터를 합성하여 방송함으로써, 원활한 실시간 방송 서비스를 제공할 수 있으며, 저작 도구에 의해 사용자로 하여금 다양한 형태의 콘텐츠 이미지 변형이 가능하도록 함으로써 고효율 및 고성능의 영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템을 제공할 수 있다.
A video synthesis device and method and a video broadcasting system including the same are disclosed.
The video synthesis device and method and the video broadcasting system including the same may enable natural synthesis by providing video images in which content images are synthesized with video data captured at 360 degrees.
In addition, the video synthesis device and method according to the present invention and the video broadcasting system including the same can provide a smooth real-time broadcasting service by generating composite data composed of content images and then synthesizing and broadcasting video data that is a background video. , a highly efficient and high-performance video synthesis device and method, and a video broadcasting system including the same can be provided by enabling users to modify various types of content images using an authoring tool.

Description

영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템{APPARATUS AND METHOD FOR COMPOSING IMAGE AND BROADCASTING SYSTEM HAVING THE SAME}Video synthesis device and method, and video broadcasting system including the same {APPARATUS AND METHOD FOR COMPOSING IMAGE AND BROADCASTING SYSTEM HAVING THE SAME}

본 발명은 영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템에 관한 것으로, 콘텐츠 이미지가 합성된 영상 이미지를 실시간으로 제공하는 영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템에 관한 것이다.The present invention relates to a video synthesis device and method, and a video broadcasting system including the same. It relates to a video synthesis device and method that provides video images with content images synthesized in real time, and a video broadcasting system including the same.

최근 스마트폰 및 인터넷의 확산에 따라, 1인 미디어 방송이 새로운 방송 트렌드로 주목 받으면서, 영상 미디어 플랫폼 시장이 전세계적으로 확대되는 추세에 있다.Recently, with the spread of smartphones and the Internet, one-person media broadcasting has received attention as a new broadcasting trend, and the video media platform market is expanding globally.

이에, 영상 미디어 플랫폼 시장에서는 실시간으로 제공되는 미디어 영상에 다양한 정보를 효과적으로 제공하기 위한 여러 기술들을 개발하고 있으며, 그 중에서도 실시간 영상 데이터에 콘텐츠 이미지를 합성하여 정보를 제공하는 영상 합성 기술에 주목하고 있다.Accordingly, the video media platform market is developing various technologies to effectively provide various information to media images provided in real time. Among them, attention is being paid to video synthesis technology that provides information by combining content images with real-time video data. .

종래의 영상 합성 기술은 실시간 영상 데이터에 2차원의 콘텐츠 이미지를 합성하는 형태로 제공되고 있다. 또한, 종래의 3차원 영상 합성 기술은 3차원 공간을 실시간으로 촬영한 영상 데이터 전체에 3차원 합성을 진행한 결과를 매 프레임(frame)마다 픽셀세이딩(pixel shading)으로 렌더링(rendering)하여 전송함으로써, 연산량이 많아 실시간 전송이 어렵고, 고비용의 시스템 자원이 요구되는 단점이 있다.Conventional video synthesis technology is provided in the form of combining two-dimensional content images with real-time video data. In addition, the conventional 3D image synthesis technology renders and transmits the results of 3D synthesis on all image data captured in real time in a 3D space using pixel shading for each frame. This has the disadvantage of making real-time transmission difficult due to the large amount of computation and requiring high-cost system resources.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 고효율 및 고성능의 영상 합성 장치를 제공하는 데 있다.The purpose of the present invention to solve the above problems is to provide a highly efficient and high-performance image synthesis device.

또한, 상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 고효율 및 고성능의 영상 합성 방법을 제공하는 데 있다.In addition, another purpose of the present invention to solve the above problems is to provide a highly efficient and high-performance image synthesis method.

또한, 상기와 같은 문제점을 해결하기 위한 본 발명의 또다른 목적은 고효율 및 고성능의 영상 방송 시스템을 제공하는 데 있다.In addition, another purpose of the present invention to solve the above problems is to provide a highly efficient and high-performance video broadcasting system.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 합성 방법은, 영상 카메라로부터 촬영된 데이터를 실시간으로 수신하여, 포맷이 변환된 영상 데이터를 저장하는 단계, 저작 도구를 이용하여, 상기 영상 데이터에 3차원 콘텐츠 이미지가 삽입된, 합성 데이터를 생성하는 단계 및 상기 합성 데이터를 영상 출력 장치로 송신하여, 상기 영상 출력 장치에 의해 영상 데이터 및 상기 합성 데이터가 합성된 영상 이미지가 방송되도록 하는 단계를 포함하되, 상기 합성 데이터를 생성하는 단계는, 상기 영상 데이터에 상기 3차원 콘텐츠 이미지를 배치하는 단계 및 상기 저작 도구를 이용하여, 상기 3차원 콘텐츠 이미지를 변형하는 단계를 포함한다.An image synthesis method according to an embodiment of the present invention to achieve the above object includes receiving data captured from a video camera in real time and storing image data whose format has been converted, using an authoring tool to store the image data. A step of generating composite data, in which a 3D content image is inserted, and transmitting the composite data to a video output device, so that the video data and a video image composed of the composite data are broadcast by the video output device. Including, generating the composite data includes placing the 3D content image on the video data and modifying the 3D content image using the authoring tool.

본 발명의 실시예들에 따른 영상 합성 장치 및 방법, 그리고 이를 포함한 영상 방송 시스템은 360도로 촬영된 영상 데이터에 콘텐츠 이미지가 합성된 영상 이미지를 제공함으로써 자연스러운 합성이 가능할 수 있다.The video synthesis apparatus and method according to embodiments of the present invention, and the video broadcasting system including the same, can enable natural synthesis by providing video images in which content images are synthesized with video data captured at 360 degrees.

또한, 본 발명에 따른 영상 합성 장치 및 방법, 그리고 이를 포함한 영상 방송 시스템은 콘텐츠 이미지가 합성된 합성 데이터를 생성한 이후에 배경 영상인 영상 데이터를 합성하여 방송함으로써, 원활한 실시간 방송 서비스를 제공할 수 있으며, 저작 도구에 의해 사용자로 하여금 다양한 형태의 콘텐츠 이미지 변형이 가능하도록 함으로써 고효율 및 고성능의 영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템을 제공할 수 있다.In addition, the video synthesis device and method according to the present invention, and the video broadcasting system including the same, can provide a smooth real-time broadcasting service by synthesizing and broadcasting video data that is a background video after generating composite data in which content images are synthesized. In addition, a highly efficient and high-performance video synthesis device and method, and a video broadcasting system including the same can be provided by allowing users to modify various types of content images using an authoring tool.

도 1은 본 발명의 실시예에 따른 영상 방송 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 영상 합성 장치의 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 합성 방법의 순서도이다.
도 4는 본 발명의 실시예에 따른 영상 합성 방법 중 저작 도구의 기능을 설명하기 위한 합성 데이터 이미지이다.
도 5는 본 발명의 실시예에 따른 영상 합성 방법 중 메뉴 바 형태로 제공되는 저작 도구를 설명하기 위한 이미지들이다.
도 6은 본 발명의 실시예에 따른 영상 제어 도구 중 영상 제어 도구를 설명하기 위한 이미지이다.
도 7은 본 발명의 실시예에 따른 영상 합성 방법 중 영상 제어 도구를 설명하기 위한 이미지이다.
도 8은 본 발명의 실시예에 따른 영상 합성 방법 중 영상 제어 도구를 설명하기 위한 이미지이다.
도 9는 본 발명의 실시예에 따른 영상 합성 방법 중 영상 제어 도구를 설명하기 위한 이미지이다.
도 10은 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.
도 11은 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.
도 12는 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.
도 13은 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.
도 14는 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 편집 도구를 설명하기 위한 이미지이다.
1 is a configuration diagram of a video broadcasting system according to an embodiment of the present invention.
Figure 2 is a block diagram of an image synthesis device according to an embodiment of the present invention.
Figure 3 is a flowchart of an image synthesis method according to an embodiment of the present invention.
Figure 4 is a composite data image for explaining the function of an authoring tool in the image synthesis method according to an embodiment of the present invention.
Figure 5 is an image for explaining an authoring tool provided in the form of a menu bar among the image synthesis methods according to an embodiment of the present invention.
Figure 6 is an image for explaining an image control tool among image control tools according to an embodiment of the present invention.
Figure 7 is an image for explaining an image control tool in the image synthesis method according to an embodiment of the present invention.
Figure 8 is an image for explaining an image control tool in the image synthesis method according to an embodiment of the present invention.
Figure 9 is an image for explaining an image control tool in the image synthesis method according to an embodiment of the present invention.
Figure 10 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.
Figure 11 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.
Figure 12 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.
Figure 13 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.
Figure 14 is an image for explaining a content editing tool in the video synthesis method according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention. The term “and/or” includes any of a plurality of related stated items or a combination of a plurality of related stated items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the attached drawings. In order to facilitate overall understanding when describing the present invention, the same reference numerals are used for the same components in the drawings, and duplicate descriptions for the same components are omitted.

도 1은 본 발명의 실시예에 따른 영상 방송 시스템의 구성도이다. 1 is a configuration diagram of a video broadcasting system according to an embodiment of the present invention.

도 1을 참조하면, 영상 방송 시스템(S)은 영상 카메라(C)로부터 실시간으로 촬영되는 영상 데이터에 콘텐츠 이미지를 합성한 합성 데이터를 출력할 수 있다.Referring to FIG. 1, the video broadcasting system (S) can output composite data that combines content images with video data captured in real time from a video camera (C).

일 실시예에 따르면, 영상 방송 시스템(S)은 영상 카메라(C) 및 영상 합성 장치(1000) 및 영상 출력 장치(5000)를 포함할 수 있다. According to one embodiment, the video broadcasting system (S) may include a video camera (C), an video synthesis device 1000, and an video output device 5000.

또한 다른 실시예에 따르면, 영상 방송 시스템(S)은 상술된 바에 국한되지 않고, 별도의 영상 출력 장치(5000)의 기능이 결합된, 영상 출력이 가능한 영상 합성 장치(1000)와 영상 카메라(C)를 포함할 수 있다.In addition, according to another embodiment, the video broadcasting system (S) is not limited to the above-mentioned, but includes a video synthesis device (1000) capable of outputting video, combined with the functions of a separate video output device (5000), and a video camera (C ) may include.

하기에서는 보다 명확한 설명을 위해, 본 발명의 일 실시예에 따른 영상 방송 시스템의 구성별 특징을 설명하겠다. In the following, for clearer explanation, the characteristics of each configuration of the video broadcasting system according to an embodiment of the present invention will be described.

영상 카메라(C)는 후술될 영상 합성 장치(1000) 및 영상 출력 장치(5000)와 연동될 수 있다. 이에 따라, 영상 카메라(C)는 촬영 데이터를 영상 합성 장치(1000) 및 영상 출력 장치(5000)에 각각 송신할 수 있다.The video camera C may be linked with an image synthesis device 1000 and an image output device 5000, which will be described later. Accordingly, the video camera C can transmit captured data to the video synthesis device 1000 and the video output device 5000, respectively.

실시예에 따르면, 영상 카메라(C)는 360도 촬영 카메라로, 360도 촬영 데이터를 실시간 획득할 수 있다.According to the embodiment, the video camera C is a 360-degree shooting camera and can acquire 360-degree shooting data in real time.

영상 카메라(C)는 일반적으로 카메라 단독 구성으로 제공되나, 360도 촬영이 가능한 영상 카메라(C)를 포함하는 다양한 장치로 제공될 수 있다. 예를 들어, 영상 카메라(C)는 IP카메라, CCTV, 전방향 카메라, 휴대 단말기, PTZ(Pan Tilt Zoom) 중 적어도 하나의 형태로 제공될 수 있다.The video camera (C) is generally provided as a stand-alone camera, but may be provided as a variety of devices including a video camera (C) capable of 360-degree shooting. For example, the video camera C may be provided in the form of at least one of an IP camera, CCTV, omni-directional camera, mobile terminal, and PTZ (Pan Tilt Zoom).

영상 합성 장치(1000)는 영상 카메라(C)로부터 촬영된 촬영 데이터를 수신할 수 있다. 이에 따라, 영상 합성 장치(1000)는 수신된 촬영 데이터에 콘텐츠 이미지를 합성할 수 있다. The image synthesis device 1000 may receive captured data from the video camera C. Accordingly, the image synthesis device 1000 can synthesize a content image with the received shooting data.

보다 구체적으로 설명하면, 영상 합성 장치(1000)는 저작 도구를 제공할 수 있다. 이에 따라, 영상 합성 장치(1000)는 저작 도구의 적어도 하나의 기능을 이용하여, 영상 카메라(C)로부터 수신된 촬영 데이터에 콘텐츠 이미지를 합성한 합성 데이터를 생성할 수 있다. To be more specific, the image synthesis device 1000 may provide an authoring tool. Accordingly, the image synthesis device 1000 may use at least one function of the authoring tool to generate composite data that combines the content image with the captured data received from the video camera C.

또한, 영상 합성 장치(1000)는 영상 출력 장치(5000)와 연동될 수 있다. 이에 따라, 영상 합성 장치(1000)는 생성된 합성 데이터를 영상 출력 장치(5000)로 송신할 수 있다.Additionally, the image synthesis device 1000 may be linked with the image output device 5000. Accordingly, the image synthesis device 1000 can transmit the generated composite data to the image output device 5000.

영상 합성 장치(1000)는 앞서 설명한 바와 같이, 영상 카메라(C)와도 연동될 수 있다. 이에 따라, 영상 합성 장치(1000)는 사용자 입력에 따라 영상 카메라(C)의 동작을 제어할 수 있다.As described above, the image synthesis device 1000 may also be linked with the video camera C. Accordingly, the image synthesis device 1000 can control the operation of the video camera C according to user input.

영상 합성 장치(A)에 대해서는 하기 도 3을 참조하여 구성별로 보다 자세히 설명하겠다.The image synthesis device (A) will be described in more detail by configuration with reference to FIG. 3 below.

도 2는 본 발명의 실시예에 따른 영상 합성 장치의 블록 구성도이다.Figure 2 is a block diagram of an image synthesis device according to an embodiment of the present invention.

도 2를 참조하면, 영상 합성 장치(1000)는 적어도 하나의 명령을 저장하는 메모리(100) 및 상기 메모리의 적어도 하나의 명령을 실행하는 프로세서(200)를 포함할 수 있다.Referring to FIG. 2 , the image synthesis apparatus 1000 may include a memory 100 that stores at least one command and a processor 200 that executes at least one command of the memory.

또한, 영상 합성 장치(1000)는 상기 프로세서(200)를 통해 실행되는 네트워크와 연결되어 통신을 수행하는 송수신 장치(300), 입력 인터페이스 장치(400), 출력 인터페이스 장치(500), 저장 장치(600) 등을 더 포함할 수 있다. In addition, the image synthesis device 1000 includes a transmission and reception device 300, an input interface device 400, an output interface device 500, and a storage device 600 that are connected to a network running through the processor 200 and perform communication. ) and the like may further be included.

실시예에 따르면, 영상 합성 장치(1000)에 포함된 각각의 구성 요소들(100, 200, 300, 400, 500, 600)은 버스(bus, 700)에 의해 연결되어 서로 통신을 수행할 수 있다. According to an embodiment, each of the components 100, 200, 300, 400, 500, and 600 included in the image synthesis device 1000 are connected by a bus 700 and can communicate with each other. .

영상 합성 장치(1000)의 상기 구성들(100, 200, 300, 400, 500, 600, 700) 중, 메모리(100)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(100)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.Among the components 100, 200, 300, 400, 500, 600, and 700 of the image synthesis apparatus 1000, the memory 100 may be composed of at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory 100 may be comprised of at least one of read only memory (ROM) and random access memory (RAM).

메모리(100)는 후술될 프로세서(200)에 의해 실행될 적어도 하나의 명령을 포함할 수 있다. 실시예에 따르면, 적어도 하나의 명령은, 영상 카메라로부터 촬영된 데이터를 실시간으로 수신하여, 포맷이 변환된 영상 데이터를 저장하도록 하는 명령, 저작 도구를 이용하여, 상기 영상 데이터에 3차원 콘텐츠 이미지가 삽입된, 합성 데이터를 생성하도록 하는 명령 및 상기 합성 데이터를 영상 출력 장치로 송신하여, 상기 영상 출력 장치에 의해 영상 데이터 및 상기 합성 데이터가 합성된 영상 이미지가 방송되도록 하는 명령을 포함하되, 상기 합성 데이터를 생성하도록 하는 명령은, 상기 영상 데이터에 상기 3차원 콘텐츠 이미지를 배치하도록 하는 명령 및 상기 저작 도구를 이용하여, 상기 3차원 콘텐츠 이미지를 변형하도록 하는 명령을 포함할 수 있다.Memory 100 may include at least one instruction to be executed by processor 200, which will be described later. According to an embodiment, at least one command includes a command for receiving data captured from a video camera in real time and storing video data whose format has been converted, and a three-dimensional content image is added to the video data using an authoring tool. A command for generating inserted composite data and a command for transmitting the composite data to a video output device so that a video image composed of the video data and the composite data is broadcast by the video output device, The command for generating data may include a command for arranging the 3D content image in the image data and a command for modifying the 3D content image using the authoring tool.

프로세서(200)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. The processor 200 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.

프로세서(200)는 앞서 설명한 바와 같이, 메모리(100)에 저장된 적어도 하나의 프로그램 명령(program command)을 실행할 수 있다. 적어도 하나의 명령을 수행하는 프로세서(200)의 특징은 후술될 영상 합성 방법의 설명시 보다 구체적으로 설명하겠다. As described above, the processor 200 may execute at least one program command stored in the memory 100. The characteristics of the processor 200 that performs at least one command will be described in more detail when explaining the image synthesis method to be described later.

송수신 장치(300)는 연동된 적어도 하나의 장치로 데이터를 송신하거나 또는 상기 장치로부터 데이터를 수신할 수 있다. The transmitting and receiving device 300 may transmit data to or receive data from at least one connected device.

실시예에 따르면, 영상 합성 장치(1000)는 송수신 장치(300)에 의해, 영상 카메라(C)로부터 적어도 하나의 촬영 데이터를 수신할 수 있다. 여기서, 촬영 데이터는 360도 영상 이미지일 수 있다.According to an embodiment, the image synthesis device 1000 may receive at least one piece of captured data from the video camera C through the transmission and reception device 300. Here, the captured data may be a 360-degree video image.

또한, 영상 합성 장치(1000)는 송수신 장치(300)에 의해, 생성된 합성 데이터를 영상 출력 장치(5000)로 송신할 수 있다.Additionally, the image synthesis device 1000 may transmit the synthesized data generated by the transmission/reception device 300 to the image output device 5000.

입력 인터페이스 장치(400)는 사용자로부터 적어도 하나의 명령을 입력 받는 구성일 수 있다. 실시예에 따르면, 입력 인터페이스 장치(400)는 마우스, 터치펜 또는 키보드 중 어느 하나를 포함할 수 있다. The input interface device 400 may be configured to receive at least one command from a user. According to an embodiment, the input interface device 400 may include any one of a mouse, a touch pen, or a keyboard.

출력 인터페이스 장치(500)는 적어도 하나의 데이터를 출력할 수 있다.The output interface device 500 may output at least one data.

실시예에 따르면, 출력 인터페이스 장치(500)는 디스플레이 장치로 제공될 수 있다. 이에 따라, 영상 합성 장치(1000)는 별도의 영상 출력 장치(5000)의 구성 없이도, 출력 인터페이스 장치(500)를 이용하여, 프로세서(200)의 명령에 의해 3차원 콘텐츠가 합성된 합성 이미지를 출력할 수 있다.According to an embodiment, the output interface device 500 may be provided as a display device. Accordingly, the image synthesis device 1000 outputs a composite image in which 3D content is synthesized according to a command of the processor 200 using the output interface device 500, without configuring a separate image output device 5000. can do.

저장 장치(600)는 앞서 설명한 메모리(100)와 같이, 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 저장 장치(600)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.Like the memory 100 described above, the storage device 600 may be comprised of at least one of a volatile storage medium and a non-volatile storage medium. For example, the storage device 600 may be comprised of at least one of read only memory (ROM) and random access memory (RAM).

실시예에 따르면, 저장 장치(600)는 별도의 영상 출력 장치(5000)의 구성이 제공되지 않을 경우, 영상 카메라(C)로부터 수신된 적어도 하나의 촬영 데이터를 선저장한 후, 프로세서(200)에 명령에 의해 생성된 합성 데이터와 합성하여 영상 데이터를 생성할 수 있다. According to an embodiment, when the configuration of a separate image output device 5000 is not provided, the storage device 600 pre-stores at least one captured data received from the video camera C and then uses the processor 200 Image data can be generated by combining with composite data generated by a command.

다시 도 1을 참조하면, 영상 출력 장치(5000)는 앞서 설명한 바와 같이, 영상 카메라(C) 및 영상 합성 장치(1000)와 연동될 수 있다.Referring again to FIG. 1, the image output device 5000 may be linked with the image camera C and the image synthesis device 1000, as described above.

이에 따라, 영상 출력 장치(5000)는 영상 카메라(C)로부터 촬영 데이터를 수신할 수 있으며, 영상 출력 장치(1000)로부터 합성 데이터를 실시간으로 수신할 수 있다.Accordingly, the video output device 5000 can receive captured data from the video camera C and receive composite data from the video output device 1000 in real time.

이후, 영상 출력 장치(5000)는 수신된 촬영 데이터 및 합성 데이터를 합성하여 출력할 수 있다. 따라서, 영상 출력 장치(5000)는 콘텐츠 이미지가 합성된 360도 영상 데이터를 방송할 수 있다. Thereafter, the image output device 5000 may synthesize the received captured data and composite data and output them. Accordingly, the video output device 5000 can broadcast 360-degree video data composed of content images.

이상, 본 발명의 실시예에 따른 영상 방송 시스템을 설명하였다. 이하에서는 상기 영상 방송 시스템 내 영상 합성 장치의 프로세서 동작에 의한 영상 합성 방법을 설명하겠다.Above, a video broadcasting system according to an embodiment of the present invention has been described. Hereinafter, a video synthesis method using the processor operation of the video synthesis device in the video broadcasting system will be described.

도 3은 본 발명의 실시예에 따른 영상 합성 방법의 순서도이다. Figure 3 is a flowchart of an image synthesis method according to an embodiment of the present invention.

도 3을 참조하면, 영상 합성 장치(1000) 내 프로세서(200)는 영상 카메라로부터 적어도 하나의 촬영 데이터를 수신할 수 있다(S1000). 여기서, 촬영 카메라는 360도로 촬영되는 카메라일 수 있으며, 촬영 데이터는 실시간으로 촬영된 360도 영상 이미지일 수 있다.Referring to FIG. 3, the processor 200 in the image synthesis apparatus 1000 may receive at least one piece of captured data from a video camera (S1000). Here, the shooting camera may be a camera that shoots 360 degrees, and the shooting data may be a 360-degree video image captured in real time.

프로세서(200)는 수신된 촬영 데이터를 전처리할 수 있다. 다시 말하면, 프로세서(200)는 수신된 촬영 데이터의 형식을 변환하여 영상 데이터를 생성할 수 있다(S2000). The processor 200 may preprocess the received shooting data. In other words, the processor 200 may generate image data by converting the format of the received shooting data (S2000).

실시예에 따라 보다 구체적으로 설명하면, 프로세서(200)는 버텍스 세이더(Vertex Shaders)를 이용하여, 촬영 데이터를 등장방형도법(Equiretangular) 형식의 이미지로 변환할 수 있다. 다시 말하면, 프로세서(200)는 사각형 이미지인 촬영 데이터를 구(Sphere) 형태의 영상 데이터로 변환하여 저장할 수 있다.To be described in more detail according to the embodiment, the processor 200 may convert captured data into an image in an equirectangular format using vertex shaders. In other words, the processor 200 can convert captured data, which is a square image, into image data in the form of a sphere and store it.

본 발명의 다른 실시예에 따라, 별도의 영상 촬영 장치(5000)의 구성이 제공되지 않을 경우, 프로세서(200)는 생성된 영상 데이터를 저장 장치(600)에 저장할 수 있다. 이에 따라, 프로세서(200)는 후술될 합성 데이터의 생성 이후, 저장 장치(600)에 저장된 영상 데이터 및 합성 데이터를 합성하여 출력 인터페이스 장치(500)에 의해 출력할 수 있다.According to another embodiment of the present invention, when a separate image capture device 5000 is not provided, the processor 200 may store the generated image data in the storage device 600. Accordingly, the processor 200 may synthesize the image data and the composite data stored in the storage device 600 and output them by the output interface device 500 after generating composite data, which will be described later.

프로세서(200)는 전처리 단계(S2000)에 의해 생성된 영상 데이터를 바탕으로, 콘텐츠 이미지가 합성된 합성 데이터를 생성할 수 있다(S3000). The processor 200 may generate composite data in which content images are synthesized based on the image data generated in the preprocessing step (S2000) (S3000).

실시예에 따라 보다 구체적으로 설명하면, 프로세서(200)는 저작 도구를 이용하여, 영상 데이터에 콘텐츠 이미지가 합성된 합성 데이터를 생성할 수 있다. To be described in more detail according to an embodiment, the processor 200 may use an authoring tool to generate composite data in which a content image is synthesized with video data.

여기서, 저작 도구는 콘텐츠 이미지를 합성하기 위한 적어도 하나의 기능을 포함할 수 있다. Here, the authoring tool may include at least one function for synthesizing content images.

저작 도구에 포함된 적어도 하나의 기능은 하기에서 보다 구체적으로 설명하겠다.At least one function included in the authoring tool will be described in more detail below.

도 4는 본 발명의 실시예에 따른 영상 합성 방법 중 저작 도구의 기능을 설명하기 위한 합성 데이터 이미지이다.Figure 4 is a composite data image for explaining the function of an authoring tool in the image synthesis method according to an embodiment of the present invention.

도 4를 참조하면, 저작 도구는 합성 데이터를 생성하기 위한 적어도 하나의 기능을 포함할 수 있다.Referring to FIG. 4, the authoring tool may include at least one function for generating synthetic data.

실시예에 따르면, 저작 도구는 영상 제어 도구, 콘텐츠 제어 도구 및 콘텐츠 편집 도구를 포함할 수 있다. 영상 제어 도구, 콘텐츠 제어 도구 및 콘텐츠 편집 도구들의 기능들에 대해서는 도면들을 참조하여 하기에서 보다 자세히 설명하겠다.According to embodiments, the authoring tool may include an image control tool, a content control tool, and a content editing tool. The functions of the image control tool, content control tool, and content editing tool will be described in more detail below with reference to the drawings.

저작 도구는, 출력 인터페이스 장치(500)로 디스플레이 장치가 제공될 경우, 디스플레이 화면 상단 및 하단에 메뉴 바(Bar, A) 형태 또는 팝업(Pop-up) 창(B) 형태로 제공될 수 있다. When a display device is provided as the output interface device 500, the authoring tool may be provided in the form of a menu bar (Bar A) or a pop-up window (B) at the top and bottom of the display screen.

도 5는 본 발명의 실시예에 따른 영상 합성 방법 중 메뉴 바 형태로 제공되는 저작 도구를 설명하기 위한 이미지들이다.Figure 5 is an image for explaining an authoring tool provided in the form of a menu bar among the image synthesis methods according to an embodiment of the present invention.

도 5를 참조하면, 저작 도구가 메뉴 바 형태로 제공될 경우, 저작 도구는 일반적으로 숨김 상태로 존재하다가, 입력 인터페이스 장치(400)가 디스플레이 화면 상단 또는 하단의 일정 영역에 위치될 경우 화면 상에 표시될 수 있다.Referring to FIG. 5, when the authoring tool is provided in the form of a menu bar, the authoring tool generally exists in a hidden state, but when the input interface device 400 is located in a certain area at the top or bottom of the display screen, it appears on the screen. can be displayed.

하기에서는 저작 도구의 기능들에 대해 보다 구체적으로 설명하겠다.Below, we will explain the functions of the authoring tool in more detail.

도 6은 본 발명의 실시예에 따른 영상 제어 도구 중 영상 제어 도구를 설명하기 위한 이미지이다.Figure 6 is an image for explaining an image control tool among image control tools according to an embodiment of the present invention.

도 6을 참조하면, 영상 제어 도구는 영상 데이터의 실행을 제어하는 기능을 포함할 수 있다. Referring to FIG. 6, the image control tool may include a function to control execution of image data.

보다 구체적으로 설명하면, 앞서 설명한 바와 같이, 영상 합성 장치(1000)는 영상 카메라(C)와 연동되어, 영상 카메라(C)의 동작을 제어할 수 있다.More specifically, as described above, the image synthesis device 1000 can be linked with the video camera C and control the operation of the video camera C.

일 실시예에 따르면, 사용자가 입력 인터페이스 장치(400)에 의해, 도 6에서의 제1 영상 제어 도구 아이콘(A)을 실행할 경우, 프로세서(200)는 영상 카메라(C)로부터 촬영 데이터를 수신하여, 전처리된 영상 데이터를 출력 인터페이스 장치(500)에 실행시킬 수 있다.According to one embodiment, when the user executes the first image control tool icon (A) in FIG. 6 by the input interface device 400, the processor 200 receives shooting data from the image camera (C) and , preprocessed image data can be executed in the output interface device 500.

다른 실시예에 따르면, 사용자가 입력 인터페이스 장치(400)에 의해, 도 6에서의 제2 영상 제어 도구 아이콘(B)을 실행할 경우, 프로세서(200)는 영상 카메라(C)와의 연동을 중단하여, 출력 인터페이스 장치(500)에 영상 데이터의 출력을 중단시킬 수 있다. 예를 들어, 도 6의 제2 영상 제어 도구 아이콘(B)을 실행할 경우, 출력 인터페이스 장치(500)는 검은 배경 화면을 출력할 수 있다.According to another embodiment, when the user executes the second image control tool icon (B) in FIG. 6 using the input interface device 400, the processor 200 stops linking with the video camera (C), Output of image data to the output interface device 500 may be stopped. For example, when executing the second image control tool icon (B) of FIG. 6, the output interface device 500 may output a black background screen.

도 7은 본 발명의 실시예에 따른 영상 합성 방법 중 영상 제어 도구를 설명하기 위한 이미지이다.Figure 7 is an image for explaining an image control tool in the image synthesis method according to an embodiment of the present invention.

도 7을 참조하면, 영상 제어 도구는 영상 카메라(C)의 회전 동작을 제어하여, 입력 인터페이스 장치(400)를 이용하여 영상 데이터의 배경 시점을 변경시키는 기능을 포함할 수 있다.Referring to FIG. 7 , the image control tool may include a function to control the rotation of the image camera C and change the background viewpoint of the image data using the input interface device 400.

보다 구체적으로 설명하면, 사용자는 입력 인터페이스 장치(400)에 의해, 영상 제어 도구를 실행하여, 영상 카메라(C)의 회전 동작을 제어할 수 있다. 이에 따라, 사용자는 영상 카메라(C)로부터 수신되는 촬영 데이터의 배경 시점을 변경하여, 출력 인터페이스 장치(500)에 의해, 변경된 구도의 영상 데이터를 출력할 수 있다. To be more specific, the user can control the rotation of the video camera C by executing an image control tool using the input interface device 400. Accordingly, the user can change the background viewpoint of the captured data received from the video camera C and output image data with a changed composition through the output interface device 500.

예를 들어, 입력 인터페이스 장치(400)가 마우스(Mouse) 장치일 경우, 사용자는 출력 인터페이스 장치(500)에 디스플레이된 영상 데이터 내 한 지점(P1)에서 마우스의 우측 키를 클릭하여, 해당 지점(P1)을 기준 시점으로 설정할 수 있다. 이후, 사용자는, 마우스를 우측 키가 클릭된 상태에서 이동시켜, 출력 인터페이스 장치(500)에 출력되는 영상 데이터의 배경 시점을 변경할 수 있다. 예를 들어, 프로세서(200)는 마우스의 이동 거리 및 이동 방향에 따라 영상 카메라(C)를 회전시킴으로써, 출력 인터페이스 장치(500)에 출력되는 영상 데이터의 배경 시점을 변경할 수 있다. For example, if the input interface device 400 is a mouse device, the user clicks the right key of the mouse at a point (P1) in the image data displayed on the output interface device 500, and clicks the right key of the mouse at that point ( P1) can be set as the reference point. Thereafter, the user can change the background viewpoint of the image data output to the output interface device 500 by moving the mouse while the right key is clicked. For example, the processor 200 may change the background viewpoint of image data output to the output interface device 500 by rotating the image camera C according to the movement distance and direction of movement of the mouse.

도 8 및 도 9는 본 발명의 실시예에 따른 영상 합성 방법 중 영상 제어 도구를 설명하기 위한 이미지들이다. 보다 구체적으로, 도 8은 영상 데이터 상에 3차원 콘텐츠 이미지가 합성된 이미지이며, 도 9는 영상 데이터 상에 2차원 콘텐츠 이미지가 합성된 이미지이다.Figures 8 and 9 are images for explaining an image control tool among the image synthesis method according to an embodiment of the present invention. More specifically, FIG. 8 is an image in which a 3D content image is synthesized on video data, and FIG. 9 is an image in which a 2D content image is synthesized in video data.

도 8 및 도 9를 참조하면, 영상 제어 도구는 영상 데이터 상에 콘텐츠를 이미지를 합성하는 기능을 포함할 수 있다. Referring to FIGS. 8 and 9 , the video control tool may include a function for compositing content into images on video data.

다시 말하면, 영상 제어 도구는 영상 데이터 상에 콘텐츠 이미지를 배치하도록 하는 기능을 제공할 수 있다.In other words, the video control tool may provide a function to place content images on video data.

도 8을 참조한 일 실시예에 따르면, 사용자는 입력 인터페이스 장치(400)에 의해, 메뉴 바에 포함된 적어도 하나의 3차원 콘텐츠 이미지를 선택하고, 선택된 3차원 콘텐츠 이미지를 영상 데이터 상에 원하는 지점에 배치시킴으로써, 영상 데이터에 3차원 콘텐츠 이미지가 합성된 합성 이미지를 생성할 수 있다.According to an embodiment referring to FIG. 8, the user selects at least one 3D content image included in the menu bar by the input interface device 400 and places the selected 3D content image at a desired point on the image data. By doing so, it is possible to create a composite image in which a 3D content image is synthesized with video data.

도 9를 참조한 다른 실시예에 따르면, 사용자는 입력 인터페이스 장치(400)에 의해, 메뉴 바에 포함된 적어도 하나의 2차원 콘텐츠 이미지를 선택하고, 선택된 2차원 콘텐츠 이미지를 영상 데이터 상에 원하는 지점에 배치시킴으로써, 영상 데이터에 2차원 콘텐츠 이미지가 합성된 합성 이미지를 생성할 수 있다.According to another embodiment with reference to FIG. 9, the user selects at least one two-dimensional content image included in the menu bar by the input interface device 400 and places the selected two-dimensional content image at a desired point on the image data. By doing so, it is possible to create a composite image in which a two-dimensional content image is synthesized with video data.

도 10은 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.Figure 10 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.

도 10을 참조하면, 콘텐츠 제어 도구는 영상 데이터 상에 배치된 3차원 콘텐츠 이미지의 형태를 변경하는 기능을 제공할 수 있다. Referring to FIG. 10, a content control tool may provide a function to change the shape of a 3D content image placed on video data.

실시예에 따르면, 콘텐츠 제어 도구는 3차원 콘텐츠 이미지를 클릭할 경우, 디스플레이 화면 상에 팝업 창 형태로 제공될 수 있다. According to an embodiment, the content control tool may be provided in the form of a pop-up window on the display screen when a 3D content image is clicked.

콘텐츠 제어 도구의 기능에 대해서는 하기 도 11 내지 도 13을 참조하여 보다 구체적으로 설명하겠다.The functions of the content control tool will be described in more detail with reference to FIGS. 11 to 13 below.

도 11은 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.Figure 11 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.

도 11을 참조하면, 콘텐츠 제어 도구는 3차원 콘텐츠 이미지의 크기(Scale)를 조절하는 기능을 제공할 수 있다,Referring to FIG. 11, the content control tool can provide a function to adjust the size (Scale) of the 3D content image.

실시예에 따르면, 사용자는 팝업 창으로 제공되는 콘텐츠 제어 도구의 기능들 중 크기(Scale) 항목의 슬라이드 바를 조절함으로써, 합성 이미지 상에 배치된 3차원 콘텐츠 이미지의 크기를 원하는 크기로 조절할 수 있다.According to an embodiment, the user can adjust the size of the 3D content image placed on the composite image to a desired size by adjusting the slide bar of the Scale item among the functions of the content control tool provided in a pop-up window.

도 12는 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.Figure 12 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.

도 12를 참조하면, 콘텐츠 제어 도구는 3차원 콘텐츠 이미지의 방향(Rotation)을 조절하는 기능을 제공할 수 있다,Referring to FIG. 12, the content control tool can provide a function to adjust the direction (rotation) of the 3D content image.

실시예에 따르면, 사용자는 팝업 창으로 제공되는 콘텐츠 제어 도구의 기능들 중 방향(Rotation) 항목의 슬라이드 바를 조절함으로써, 합성 이미지 상에 배치된 3차원 콘텐츠 이미지의 방향을 원하는 방향으로 변경시킬 수 있다.According to the embodiment, the user can change the direction of the three-dimensional content image placed on the composite image to the desired direction by adjusting the slide bar of the rotation item among the functions of the content control tool provided in a pop-up window. .

도 13은 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 제어 도구를 설명하기 위한 이미지이다.Figure 13 is an image for explaining a content control tool in the image synthesis method according to an embodiment of the present invention.

도 13을 참조하면, 콘텐츠 제어 도구는 3차원 콘텐츠 이미지의 깊이(Depth)을 조절하는 기능을 제공할 수 있다,Referring to FIG. 13, the content control tool can provide a function to adjust the depth of the 3D content image.

실시예에 따르면, 사용자는 팝업 창으로 제공되는 콘텐츠 편집 도구의 기능들 중 깊이(Depth) 항목의 슬라이드 바를 조절함으로써, 2개 이상의3차원 콘텐츠 이미지가 제공될 경우, 3차원 콘텐츠 이미지들 간의 거리를 조절할 수 있다.According to an embodiment, the user adjusts the slide bar of the Depth item among the functions of the content editing tool provided in a pop-up window to adjust the distance between the 3D content images when two or more 3D content images are provided. It can be adjusted.

본 발명의 실시예에 따른 영상 합성 장치의 콘텐츠 제어 도구는 앞서 도 11 내지 도 13에 개시된 콘텐츠 제어 기능에 국한되지 않고, 3차원 콘텐츠 이미지를 삭제(Delete)하는 등의 제어 기능을 더 포함할 수 있다.The content control tool of the image synthesis device according to an embodiment of the present invention is not limited to the content control function previously disclosed in FIGS. 11 to 13, and may further include a control function such as deleting a 3D content image. there is.

도 14는 본 발명의 실시예에 따른 영상 합성 방법 중 콘텐츠 편집 도구를 설명하기 위한 이미지이다.Figure 14 is an image for explaining a content editing tool in the video synthesis method according to an embodiment of the present invention.

도 14를 참조하면, 콘텐츠 편집 도구는 영상 데이터 상에 배치된 콘텐츠 이미지를 대상으로 개별 편집하는 기능을 제공할 수 있다. Referring to FIG. 14, the content editing tool may provide a function to individually edit content images placed on video data.

예를 들어, 입력 인터페이스 장치(400)가 마우스로 제공될 경우, 사용자는 마우스 오른쪽을 클릭하여, 디스플레이 화면 상에 팝업 창 형태로 콘텐츠 편집 도구를 실행할 수 있다. For example, if the input interface device 400 is provided as a mouse, the user can right-click the mouse to execute a content editing tool in the form of a pop-up window on the display screen.

실시예에 따르면, 콘텐츠 편집 도구는 찾기 기능, 잠금 기능, 보이기/숨기기 기능 및 목록 삭제 기능 등을 제공할 수 있다. According to embodiments, the content editing tool may provide a find function, a lock function, a show/hide function, a list delete function, etc.

보다 구체적으로 설명하면, 찾기 기능(A)은 합성 데이터 상에서 해당 콘텐츠 이미지를 찾는 기능을 수행할 수 있다. 다시 말하면, 사용자는 찾기 기능(A)을 실행함으로써, 해당 콘텐츠 이미지에 포커스를 맞춘 합성 데이터를 생성할 수 있다.To be more specific, the search function (A) may perform a function of finding the corresponding content image on synthetic data. In other words, by executing the search function (A), the user can generate synthetic data focusing on the corresponding content image.

또한, 잠금 기능(B)은 합성 데이터 상에서 해당 콘텐츠 이미지의 변형을 막는 기능을 수행할 수 있다. 다시 말하면, 사용자는 잠금 기능(B)을 실행함으로써, 입력 인터페이스 장치(400)에 의해 해당 콘텐츠 이미지가 선택되거나 이동되는 것을 제제할 수 있다.Additionally, the locking function (B) may perform a function of preventing modification of the corresponding content image on the composite data. In other words, the user can prevent the corresponding content image from being selected or moved by the input interface device 400 by executing the lock function (B).

보이기/숨기기 기능(C)은 합성 데이터 상에 해당 콘텐츠 이미지의 노출 여부를 결정하는 기능일 수 있다. The show/hide function (C) may be a function that determines whether or not to expose the corresponding content image on the synthetic data.

실시예에 따라 사용자가 보이기/숨기기 기능(C)을 비활성화 할 경우, 후술될 영상 출력 장치(5000)에서의 영상 데이터 출력 시, 해당 콘텐츠 이미지가 노출되지 않을 수 있다.Depending on the embodiment, if the user disables the show/hide function (C), the corresponding content image may not be exposed when video data is output from the video output device 5000, which will be described later.

목록 삭제 기능(D)은 해당 콘텐츠 이미지를 합성 데이터 및 메뉴 바의 리스트 목록 내에서도 제거하는 기능을 수행할 수 있다. The list deletion function (D) can perform the function of removing the corresponding content image from the list of composite data and the menu bar.

다시 도 3을 참조하면, 프로세서(200)는 생성된 합성 데이터를 영상 출력 장치(5000)로 송신할 수 있다(S4000). 이에 따라, 영상 출력 장치(5000)는 영상 카메라(C)로부터 송신된 촬영 데이터와 상기 합성 데이터를 합성한 영상 데이터를 실시간으로 출력할 수 있다.Referring again to FIG. 3, the processor 200 may transmit the generated composite data to the image output device 5000 (S4000). Accordingly, the image output device 5000 can output image data obtained by combining the captured data transmitted from the video camera C and the synthesized data in real time.

이상, 본 발명의 실시예들에 따른 영상 합성 장치 및 방법, 그리고 이를 포함한 영상 방송 시스템을 설명하였다.Above, a video synthesis device and method according to embodiments of the present invention, and a video broadcasting system including the same have been described.

본 발명의 실시예들에 따른 영상 합성 장치 및 방법, 그리고 이를 포함한 영상 방송 시스템은 360도로 촬영된 영상 데이터에 콘텐츠 이미지가 합성된 영상 이미지를 제공함으로써 자연스러운 합성이 가능할 수 있다.The video synthesis apparatus and method according to embodiments of the present invention, and the video broadcasting system including the same, can enable natural synthesis by providing video images in which content images are synthesized with video data captured at 360 degrees.

또한, 본 발명에 따른 영상 합성 장치 및 방법, 그리고 이를 포함한 영상 방송 시스템은 콘텐츠 이미지가 합성된 합성 데이터를 생성한 이후에 배경 영상인 영상 데이터를 합성하여 방송함으로써, 원활한 실시간 방송 서비스를 제공할 수 있으며, 저작 도구에 의해 사용자로 하여금 다양한 형태의 콘텐츠 이미지 변형이 가능하도록 함으로써 고효율 및 고성능의 영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템을 제공할 수 있다.In addition, the video synthesis device and method according to the present invention, and the video broadcasting system including the same, can provide a smooth real-time broadcasting service by synthesizing and broadcasting video data that is a background video after generating composite data in which content images are synthesized. In addition, a highly efficient and high-performance video synthesis device and method, and a video broadcasting system including the same can be provided by allowing users to modify various types of content images using an authoring tool.

이에 따라, 본 발명의 실시예에 따른 영상 합성 장치 및 방법, 그리고 이를 포함한 영상 방송 시스템은 방송 제작뿐 아니라 유사한 방송행위, 콘텐츠 제작, 게임, AR/VR 등 다양한 분야에서 활용될 수 있다.Accordingly, the video synthesis device and method according to an embodiment of the present invention, and the video broadcasting system including the same, can be used in various fields such as broadcast production as well as similar broadcast activities, content production, games, and AR/VR.

본 발명의 실시예들에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.The operations of the method according to the embodiments of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Additionally, computer-readable recording media can be distributed across networked computer systems so that computer-readable programs or codes can be stored and executed in a distributed manner.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Additionally, computer-readable recording media may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Program instructions may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter, etc.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다. Although some aspects of the invention have been described in the context of an apparatus, it may also refer to a corresponding method description, where a block or device corresponds to a method step or feature of a method step. Similarly, aspects described in the context of a method may also be represented by corresponding blocks or items or features of a corresponding device. Some or all of the method steps may be performed by (or using) a hardware device, such as a microprocessor, programmable computer, or electronic circuit, for example. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (e.g., a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In embodiments, a field programmable gate array may operate in conjunction with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described with reference to preferred embodiments of the present invention, those skilled in the art may make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it is possible.

S: 영상 방송 시스템 C: 영상 카메라
1000: 영상 합성 장치 5000: 영상 출력 장치
100: 메모리 200: 프로세서
300: 송수신 장치 400: 입력 인터페이스 장치
500: 출력 인터페이스 장치 600: 저장 장치
700: 버스(BUS)
S: Video broadcasting system C: Video camera
1000: Video synthesis device 5000: Video output device
100: Memory 200: Processor
300: Transmission and reception device 400: Input interface device
500: output interface device 600: storage device
700: BUS

Claims (10)

3차원(3D) 콘텐츠를 합성한 영상을 실시간 방송하는 영상 방송 방법으로서,
영상 카메라로부터 획득되는 촬영 데이터를 미리 설정된 포맷을 갖는 영상 데이터로 저장하는 단계;
저작 도구를 이용하여, 상기 영상 데이터에 상기 3D 콘텐츠 이미지를 배치하고, 상기 영상 데이터에 배치된 상기 3D 콘텐츠 이미지를 변형하고, 변형된 3D 콘텐츠 이미지를 상기 영상 데이터에 삽입하여 상기 3D 콘텐츠 이미지가 삽입된 합성 데이터를 생성하는 단계;
상기 저작 도구를 제공하는 영상 합성 장치에 의해, 사용자 입력에 따라 상기 영상 카메라의 동작을 제어하는 단계; 및
영상 출력 장치를 이용하여 상기 영상 데이터와 상기 합성 데이터를 함께 방송하거나 상기 합성 데이터를 방송하는 단계;
를 포함하고,
상기 제어하는 단계는, 상기 영상 합성 장치가 제공하는 영상 제어 도구에 의해, 상기 3D 콘텐츠 이미지나 이에 대응하는 2차원(2D) 또는 3D 오브젝트가 합성될 영상 데이터의 배경 시점을 변경하고, 상기 영상 제어 도구는 디스플레이 장치의 화면에 표시되는 영상 제어 메뉴, 아이콘 메뉴, 및 제어 리스트 메뉴를 구비하며,
상기 제어하는 단계는, 상기 영상 합성 장치의 콘텐츠 제어 도구에 의해, 상기 아이콘 메뉴가 오픈되거나 활성화된 상태에서, 상기 영상 데이터 상에 합성된 오브젝트에 대한 오브젝트 제어 기능을 제공하고, 상기 오브젝트 제어 기능은 크기(scale) 조절, 회전(rotation) 조절, 깊이(depth) 조절, 및 삭제(delete) 기능들을 구비하며,
상기 제어하는 단계는, 상기 영상 합성 장치의 콘텐츠 편집 도구에 의해, 상기 제어 리스트 메뉴가 오픈되거나 활성화된 상태에서, 상기 영상 데이터에 합성된 오브젝트의 찾기, 잠그기, 보이기/감추기, 삭제 또는 이들의 조합 기능을 제공하는, 영상 방송 방법.
A video broadcasting method for real-time broadcasting of a composite video of three-dimensional (3D) content,
Saving captured data obtained from a video camera as image data having a preset format;
Using an authoring tool, the 3D content image is placed in the video data, the 3D content image placed in the video data is transformed, and the modified 3D content image is inserted into the video data so that the 3D content image is inserted. generating synthetic data;
controlling the operation of the video camera according to user input by an image synthesis device that provides the authoring tool; and
Broadcasting the video data and the composite data together or broadcasting the composite data using a video output device;
Including,
The controlling step includes changing the background viewpoint of the image data at which the 3D content image or the corresponding two-dimensional (2D) or 3D object is to be synthesized using an image control tool provided by the image synthesis device, and controlling the image. The tool includes an image control menu, an icon menu, and a control list menu displayed on the screen of the display device,
The controlling step includes providing an object control function for an object synthesized on the image data while the icon menu is opened or activated by a content control tool of the image synthesis device, and the object control function is Equipped with scale control, rotation control, depth control, and delete functions,
The controlling step includes finding, locking, showing/hiding, deleting, or a combination of objects synthesized in the image data while the control list menu is opened or activated by the content editing tool of the image synthesis device. A video broadcasting method that provides functions.
삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 합성 데이터를 방송하는 단계 전에, 상기 합성 데이터에 합성된 특정 오브젝트를 포함하는 3D 콘텐츠를 버텍스 세이더 변환하여 상기 3D 콘텐츠를 등장방형도법(equirectangular) 형식의 이미지로 변환시킨 후 상기 영상 데이터의 등장방형도법 형식의 동영상에 위에 합성하는 단계를 더 포함하는, 영상 방송 방법.
In claim 1,
Before broadcasting the synthesized data, vertex shader conversion of 3D content including a specific object synthesized in the synthesized data converts the 3D content into an equirectangular format image, and then converts the 3D content into an equirectangular format image. A video broadcasting method further comprising the step of compositing onto a projection format video.
3차원 콘텐츠를 합성한 영상을 실시간 방송하는 영상 방송 시스템으로서,
영상 카메라로부터 획득되는 촬영 데이터를 미리 설정된 포맷을 갖는 영상 데이터로 저장하고, 저작 도구를 이용하여, 상기 영상 데이터에 3차원(3D) 콘텐츠 이미지를 배치하고, 상기 영상 데이터에 배치된 상기 3D 콘텐츠 이미지를 변형하고, 변형된 3D 콘텐츠 이미지를 상기 영상 데이터에 삽입하여 상기 3D 콘텐츠 이미지가 삽입된 합성 데이터를 생성하는 영상 합성 장치; 및
상기 영상 합성 장치에 연결되고 상기 영상 데이터와 상기 합성 데이터를 함께 방송하거나 상기 합성 데이터를 방송하는 영상 출력 장치;
를 포함하고,
상기 영상 합성 장치는, 사용자 입력에 따라 상기 영상 카메라의 동작을 제어하며, 상기 3D 콘텐츠 이미지나 이에 대응하는 2차원(2D) 또는 3D 오브젝트가 합성될 영상 데이터의 배경 시점을 변경하기 위한 영상 제어 도구를 제공하고, 상기 영상 제어 도구는 디스플레이 장치의 화면에 표시되는 영상 제어 메뉴, 아이콘 메뉴, 및 제어 리스트 메뉴를 구비하며,
상기 영상 합성 장치는, 상기 아이콘 메뉴가 오픈되거나 활성화된 상태에서 상기 영상 데이터 상에 합성된 오브젝트에 대한 오브젝트 제어 기능을 제공하기 위한 콘텐츠 제어 도구를 더 포함하며, 여기서 상기 오브젝트 제어 기능은 크기(scale) 조절, 회전(rotation) 조절, 깊이(depth) 조절, 및 삭제(delete) 기능들을 포함하고,
상기 영상 합성 장치는, 상기 제어 리스트 메뉴가 오픈되거나 활성화된 상태에서 상기 영상 데이터에 합성된 오브젝트의 찾기, 잠그기, 보이기/감추기, 삭제 또는 이들의 조합 기능을 제공하기 위한 콘텐츠 편집 도구를 포함하는, 영상 방송 시스템.
A video broadcasting system that broadcasts videos composed of 3D content in real time,
Save captured data obtained from a video camera as video data with a preset format, place a three-dimensional (3D) content image on the video data using an authoring tool, and place the 3D content image on the video data. an image synthesis device that transforms and inserts the modified 3D content image into the video data to generate composite data with the 3D content image inserted; and
a video output device connected to the video synthesis device and broadcasting the video data and the composite data together or broadcasting the composite data;
Including,
The image synthesis device controls the operation of the video camera according to user input, and is an image control tool for changing the background viewpoint of the image data on which the 3D content image or the corresponding two-dimensional (2D) or 3D object is to be synthesized. Provides, wherein the image control tool includes an image control menu, an icon menu, and a control list menu displayed on the screen of the display device,
The image synthesis device further includes a content control tool for providing an object control function for an object synthesized on the image data while the icon menu is open or activated, where the object control function is configured to determine a size (scale). ) includes adjustment, rotation adjustment, depth adjustment, and delete functions,
The image synthesis device includes a content editing tool for providing functions of finding, locking, showing/hiding, deleting, or combining objects synthesized in the image data while the control list menu is open or activated. Video broadcasting system.
삭제delete 삭제delete 삭제delete 청구항 6에 있어서,
상기 영상 합성 장치는, 상기 합성 데이터에 합성된 특정 오브젝트를 포함하는 3D 콘텐츠를 버텍스 세이더 변환하여 상기 3D 콘텐츠를 등장방형도법(equirectangular) 형식의 이미지로 변환시킨 후 상기 영상 데이터의 등장방형도법 형식의 동영상에 위에 합성하는, 영상 방송 시스템.
In claim 6,
The image synthesis device performs vertex shader conversion on 3D content including a specific object synthesized in the synthesized data, converts the 3D content into an image in equirectangular format, and then converts the 3D content into an image in equirectangular format. A video broadcasting system that composites over video.
KR1020200064135A 2020-05-28 2020-05-28 Apparatus and method for composing image and broadcasting system having the same KR102642583B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200064135A KR102642583B1 (en) 2020-05-28 2020-05-28 Apparatus and method for composing image and broadcasting system having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200064135A KR102642583B1 (en) 2020-05-28 2020-05-28 Apparatus and method for composing image and broadcasting system having the same

Publications (2)

Publication Number Publication Date
KR20210147231A KR20210147231A (en) 2021-12-07
KR102642583B1 true KR102642583B1 (en) 2024-02-29

Family

ID=78868289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064135A KR102642583B1 (en) 2020-05-28 2020-05-28 Apparatus and method for composing image and broadcasting system having the same

Country Status (1)

Country Link
KR (1) KR102642583B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316908A1 (en) * 2017-04-27 2018-11-01 Google Llc Synthetic stereoscopic content capture

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918392B1 (en) * 2006-12-05 2009-09-24 한국전자통신연구원 Personal-oriented multimedia studio platform for 3D contents authoring
KR20130053466A (en) * 2011-11-14 2013-05-24 한국전자통신연구원 Apparatus and method for playing contents to provide an interactive augmented space
KR102407986B1 (en) * 2017-08-24 2022-06-10 주식회사 엘지유플러스 Method and apparatus for providing broadcasting video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316908A1 (en) * 2017-04-27 2018-11-01 Google Llc Synthetic stereoscopic content capture

Also Published As

Publication number Publication date
KR20210147231A (en) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110290425B (en) Video processing method, device and storage medium
Siltanen Diminished reality for augmented reality interior design
CN111935528B (en) Video generation method and device
WO2016157247A1 (en) Virtual three-dimensional space generating method, image system, control method for same, and storage medium readable by computer device
US20100060652A1 (en) Graphics rendering system
Wang et al. Distanciar: Authoring site-specific augmented reality experiences for remote environments
CN112804459A (en) Image display method and device based on virtual camera, storage medium and electronic equipment
WO2021135320A1 (en) Video generation method and apparatus, and computer system
CN101189643A (en) 3D image forming and displaying system
WO2023036160A1 (en) Video processing method and apparatus, computer-readable storage medium, and computer device
US11227428B2 (en) Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region
US12003790B2 (en) Rendering a modeled scene
CN114245228B (en) Page link release method and device and electronic equipment
US20230136597A1 (en) Ingesting 3d objects from a virtual environment for 2d data representation
WO2022075859A1 (en) Facial model mapping with a neural network trained on varying levels of detail of facial scans
JP2019527899A (en) System and method for generating a 3D interactive environment using virtual depth
CN113194256B (en) Shooting method, shooting device, electronic equipment and storage medium
KR102642583B1 (en) Apparatus and method for composing image and broadcasting system having the same
US20220207848A1 (en) Method and apparatus for generating three dimensional images
Nicolet et al. Repurposing a relighting network for realistic compositions of captured scenes
CN106445282B (en) A kind of exchange method based on augmented reality
CN116801037A (en) Augmented reality live broadcast method for projecting image of live person to remote real environment
KR100370869B1 (en) The method of a three dimensional virtual operating simulation
JP2003168130A (en) System for previewing photorealistic rendering of synthetic scene in real-time
Das et al. Augmented world: real time gesture based image processing tool with intel realsense™ technology

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant