KR20230067790A - Electronic device for supporting of content edit and operation method thereof - Google Patents

Electronic device for supporting of content edit and operation method thereof Download PDF

Info

Publication number
KR20230067790A
KR20230067790A KR1020210152941A KR20210152941A KR20230067790A KR 20230067790 A KR20230067790 A KR 20230067790A KR 1020210152941 A KR1020210152941 A KR 1020210152941A KR 20210152941 A KR20210152941 A KR 20210152941A KR 20230067790 A KR20230067790 A KR 20230067790A
Authority
KR
South Korea
Prior art keywords
virtual space
electronic device
camera
content
stream
Prior art date
Application number
KR1020210152941A
Other languages
Korean (ko)
Inventor
장준환
박우출
양진욱
윤상필
최민수
이준석
송수호
구본재
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210152941A priority Critical patent/KR20230067790A/en
Priority to PCT/KR2021/017529 priority patent/WO2023085493A1/en
Publication of KR20230067790A publication Critical patent/KR20230067790A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Architecture (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 적어도 하나의 카메라를 이용하여 피사체에 대한 스트림 파일을 획득하는 단계, 상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하는 단계, 상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하는 단계, 상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하는 단계, 사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하는 단계, 상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법 및 이를 이용하는 전자 장치를 개시한다.The present invention includes obtaining a stream file for a subject using at least one camera, storing the stream files obtained by the camera in the memory, generating a virtual space based on the stream files stored in the memory, Providing a list of various types of content to be placed in the virtual space, arranging at least one content selected by a user input in the virtual space, and a video product produced upon completion of the arrangement of the at least one content. Disclosed is an operating method of an electronic device supporting content editing, comprising the step of broadcasting through the communication interface, and an electronic device using the same.

Description

콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법{Electronic device for supporting of content edit and operation method thereof}Electronic device for supporting content editing and operation method thereof

본 발명은 콘텐츠 편집에 관한 것으로서, 더욱 상세하게는 실시간 방송 환경에서 다양한 3D 객체를 포함하는 콘텐츠를 제공할 수 있는 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법에 관한 것이다.The present invention relates to content editing, and more particularly, to an electronic device supporting content editing capable of providing content including various 3D objects in a real-time broadcasting environment and an operating method thereof.

가상현실(Virtual Reality: VR) 및 증강현실(Augmented Reality: AR)이 등장한 이후, 스마트폰 애플리케이션을 다양한 관심이 증가하는 가운데, 증강현실과 관련한 기술은 다양한 분야 예컨대, 교육 및 상업적으로 활용되고 있다. Since the advent of virtual reality (VR) and augmented reality (AR), various interests in smartphone applications have increased, and technology related to augmented reality has been utilized in various fields, such as education and commercial use.

한편, 증강 현실의 경우, 카메라가 촬영한 영상을 기반으로 증강 이미지를 처리하기 때문에, 처리해야 할 데이터양이 매우 크다. 이에 따라, 실제 환경에서의 AR 객체 표현은 일부 플랫폼에서 제한적으로 동작하고 있어, 사용자의 다양한 니즈를 충족하기 어려운 실정이다. 또한, 종래 증강 현실의 경우, 단순히 카메라가 촬영한 영상에 대한 증강 이미지를 제공하는데 초점이 맞추어져 있어, 다양한 콘텐츠를 증강 현실에서 제공하기 위한 기술의 개발이 필요한 실정이다. Meanwhile, in the case of augmented reality, since an augmented image is processed based on an image taken by a camera, the amount of data to be processed is very large. Accordingly, representation of AR objects in a real environment is limited in some platforms, making it difficult to meet the various needs of users. In addition, in the case of conventional augmented reality, the focus is simply on providing an augmented image for an image captured by a camera, and thus it is necessary to develop a technology for providing various contents in augmented reality.

상술한 문제점을 해결하기 위하여, 본 발명은 증강 현실을 방송 및 영상매체 형태로 제공할 수 있는 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법을 제공함에 있다. In order to solve the above problems, the present invention provides an electronic device supporting content editing capable of providing augmented reality in the form of broadcasting and video media, and an operating method thereof.

또한, 본 발명은 통합 플랫폼을 통하여 다양한 장치들의 연계성을 개선하고, 이를 통해 다양한 콘텐츠를 증강 현실에서 즐길 수 있도록 하는 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법을 제공함에 있다. In addition, the present invention is to provide an electronic device that supports content editing and an operating method thereof, which improves connectivity of various devices through an integrated platform and allows various content to be enjoyed in augmented reality.

한편, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.On the other hand, the object of the present invention is not limited to the above object, and other objects not mentioned will be clearly understood from the description below.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 콘텐츠 편집을 지원하는 전자 장치는 피사체에 대한 촬영 이미지를 획득하는 적어도 하나의 카메라, 상기 적어도 하나의 카메라가 획득한 스트림 파일을 저장하는 메모리, 상기 스트림 파일을 기반으로 생성된 영상 제작물을 송출하는 통신 인터페이스, 상기 적어도 하나의 카메라, 상기 메모리 및 상기 통신 인터페이스의 운용을 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하고, 상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하고, 상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하고, 사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하고, 상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하도록 제어하는 것을 특징으로 한다.In order to achieve the above object, an electronic device supporting content editing of the present invention includes at least one camera for acquiring a photographed image of a subject, a memory for storing a stream file obtained by the at least one camera, and the stream A communication interface for transmitting a video product created based on a file, a processor for controlling operation of the at least one camera, the memory, and the communication interface, wherein the processor stores stream files acquired by the camera in the memory. storage, creates a virtual space based on the stream files stored in the memory, provides a list of various types of content to be placed on the virtual space, and places at least one content selected by a user input on the virtual space and controlling to broadcast through the communication interface the video production product that has been produced according to the completion of the arrangement of the at least one content.

여기서, 상기 카메라는 상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하기 위한 복수의 카메라 모듈 및 상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하기 위한 깊이 카메라 모듈 중 적어도 하나를 포함할 수 있다. Here, the camera may include at least one of a plurality of camera modules for obtaining stream files photographed with respect to the subject at various angles and a depth camera module for obtaining a stream file including depth information on the subject. there is.

그리고 상기 프로세서는 상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하고, 상기 콘텐츠 목록은 3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함할 수 있다.The processor may generate the virtual space having three axis information for the stream files, and the content list may include at least one of a 3D object, a 2D image, an object indicating an audio file, and a text object. .

여기서, 상기 프로세서는 상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 것을 특징으로 한다.Here, the processor is characterized in that it performs 3D conversion processing on the 2D image or the text object so that it can be arranged on the virtual space.

한편, 상기 프로세서는 상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하도록 제어할 수 있다. Meanwhile, the processor may control the video production to be broadcast in one of a designated live broadcasting method and a VOD (Video on Demand) method.

본 발명의 실시 예에 따른 콘텐츠 편집을 지원하는 전자 장치의 운용 방법은 적어도 하나의 카메라를 이용하여 피사체에 대한 스트림 파일을 획득하는 단계, 상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하는 단계, 상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하는 단계, 상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하는 단계, 사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하는 단계, 상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하는 단계를 포함하는 것을 특징으로 한다.A method of operating an electronic device supporting content editing according to an embodiment of the present invention includes obtaining a stream file for a subject using at least one camera, storing the stream files obtained by the camera in the memory, Creating a virtual space based on stream files stored in the memory, providing a list of various types of contents to be placed on the virtual space, and placing at least one content selected by a user input on the virtual space. and broadcasting through the communication interface a produced video product according to completion of the arrangement of the at least one content.

상기 방법에서 상기 스트림 파일을 획득하는 단계는 복수의 카메라 모듈을 이용하여 상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하는 단계 및In the method, the step of obtaining the stream file includes obtaining stream files photographed at various angles with respect to the subject using a plurality of camera modules, and

깊이 카메라 모듈을 이용하여 상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하는 단계를 포함할 수 있다.The method may include obtaining a stream file including depth information of the subject by using a depth camera module.

또한, 상기 가상공간을 생성하는 단계는, 상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하는 단계를 포함하고, 상기 콘텐츠 목록은 3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함하는 것을 특징으로 한다.In addition, the step of creating the virtual space includes creating the virtual space having three axis information for the stream files, and the content list is an object indicating a 3D object, a 2D image, and an audio file , It is characterized in that it includes at least one of text objects.

한편, 상기 가상공간 상에 배치하는 단계는 상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 단계를 포함할 수 있으며, 상기 방송하는 단계는 상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하는 단계를 포함할 수 있다. Meanwhile, the placing on the virtual space may include performing 3D conversion processing on the 2D image or the text object so that the text object can be placed on the virtual space, and the broadcasting may include performing a 3D conversion process on the 2D image or the text object. It may include broadcasting in one of the designated live broadcasting method and VOD (Video on Demand) method even if it dies.

본 발명에 따르면, 본 발명은 실제 현실에 대응하는 이미지를 3D 가상공간을 구성하고, 해당 3D 가상공간에서 실시간 콘텐츠 이용을 지원할 수 있다. According to the present invention, the present invention configures an image corresponding to real reality in a 3D virtual space, and can support the use of real-time content in the corresponding 3D virtual space.

또한, 본 발명은 객체 편집을 통하여 다양한 콘텐츠를 3D 가상공간에서 증강 현실 형태로 즐길 수 있도록 함으로써, 콘텐츠의 타입에 국한되지 않고, 다양한 형태의 콘텐츠를 증강 현실상에서 이용할 수 있도록 지원한다. In addition, the present invention supports the use of various types of content in augmented reality without being limited to the type of content by allowing various types of content to be enjoyed in the form of augmented reality in a 3D virtual space through object editing.

아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.In addition, various effects other than the above effects may be disclosed directly or implicitly in detailed descriptions according to embodiments of the present invention to be described later.

도 1은 본 발명의 실시 예에 따른 증강 현실 지원 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 실제 환경에 대한 증강 이미지의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 콘텐츠 믹서 운용에 따른 콘텐츠 편집 화면의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 콘텐츠 편집을 위한 소스 화면의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 서비스 규칙 설정의 한 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 콘텐츠 객체의 규칙 설정의 한 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 가상공간에서의 콘텐츠 배치 및 표시와 관련한 화면의 한 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 콘텐츠 편집을 지원하는 전자 장치 운용 방법의 한 예를 나타낸 도면이다.
1 is a diagram showing an example of an augmented reality supporting environment according to an embodiment of the present invention.
2 is a diagram illustrating an example of a configuration of an electronic device according to an embodiment of the present invention.
3 is a diagram illustrating an example of an augmented image of a real environment according to an embodiment of the present invention.
4 is a diagram showing an example of a content editing screen according to the operation of a content mixer according to an embodiment of the present invention.
5 is a diagram illustrating an example of a source screen for content editing according to an embodiment of the present invention.
6 is a diagram illustrating an example of service rule setting according to an embodiment of the present invention.
7 is a diagram illustrating an example of rule setting of a content object according to an embodiment of the present invention.
8 is a diagram showing an example of a screen related to content arrangement and display in a virtual space according to an embodiment of the present invention.
9 is a diagram illustrating an example of a method for operating an electronic device supporting content editing according to an embodiment of the present invention.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.In order to clarify the characteristics and advantages of the problem solving means of the present invention, the present invention will be described in more detail with reference to specific embodiments of the present invention shown in the accompanying drawings.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention will be omitted in the following description and accompanying drawings. In addition, it should be noted that the same components are indicated by the same reference numerals throughout the drawings as much as possible.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the following description and drawings should not be construed as being limited to a common or dictionary meaning, and the inventor may appropriately define the concept of terms for explaining his/her invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that there is. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention. It should be understood that there may be equivalents and variations.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.In addition, terms including ordinal numbers, such as first and second, are used to describe various components, and are used only for the purpose of distinguishing one component from other components, and to limit the components. Not used. For example, a second element may be termed a first element, and similarly, a first element may be termed a second element, without departing from the scope of the present invention.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In addition, terms such as "include" or "having" described in this specification are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or the other It should be understood that the above does not preclude the possibility of the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.

또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, terms such as “unit”, “unit”, and “module” described in the specification refer to a unit that processes at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software. Also, "a or an", "one", "the" and similar related words in the context of describing the invention (particularly in the context of the claims below) Unless indicated or otherwise clearly contradicted by context, both the singular and the plural can be used.

상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.In addition to the above-mentioned terms, specific terms used in the following description are provided to aid understanding of the present invention, and the use of these specific terms may be changed in other forms without departing from the technical spirit of the present invention.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.In addition, embodiments within the scope of the present invention include computer-readable media having or conveying computer-executable instructions or data structures stored thereon. Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system. By way of example, such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions or data structures. physical storage media such as, but not limited to, any other medium that can be used to store or convey any program code means in a computer system and which can be accessed by a general purpose or special purpose computer system. .

이하, 각 도면들을 통하여, 본 발명을 구성하는 시스템과 장치 및 방법 등에 대해서 보다 상세히 설명하기로 한다.Hereinafter, the system, apparatus and method constituting the present invention will be described in more detail through each drawing.

도 1은 본 발명의 실시 예에 따른 증강 현실 지원 환경의 한 예를 나타낸 도면이다.1 is a diagram showing an example of an augmented reality supporting environment according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 증강 현실 지원 환경(10)은 피사체(11), 상기 피사체(11)에 관한 이미지를 적어도 하나의 카메라를 통해 획득한 후 다양한 컨텐츠와 함께 믹싱하여 증강 현실 컨텐츠로서 제공할 수 있는 전자 장치(100), 네트워크(50) 및 사용자 단말(200)을 포함할 수 있다.Referring to FIG. 1 , an augmented reality supporting environment 10 according to an embodiment of the present invention acquires a subject 11 and an image of the subject 11 through at least one camera and then mixes them with various contents to obtain It may include the electronic device 100 capable of providing augmented reality content, the network 50 and the user terminal 200 .

상기 피사체(11)는 3D AR 가상공간을 만들기 위한 목표가 될 수 있다. 예컨대, 상기 피사체(11)는 증강 현실에 해당하는 가상공간에서 놓일 수 있는 다양한 타입의 객체가 놓일 수 있는 일정한 공간을 포함할 수 있다. 또는 피사체(11)는 전자 장치(100)에 포함된 적어도 하나의 카메라에 의해 촬영된 환경 환경의 적어도 일부를 포함할 수 있다. 일 예로서, 상기 피사체(11)는 콘서트나 대회 또는 경기에 참여하는 참여자들이 관측하거나 또는 머무를 수 있는 공연장이나 대회장 또는 경기장 등, 일정 빈 공간을 포함하는 무대가 될 수 있다. 그러나 본 발명에서 피사체(11)의 특징이 상술한 무대로 한정되는 것은 아니며, 자연 경관이나 인공 구조물 등 다양한 형태의 구조물이나 배경을 포함할 수 있다.The subject 11 may be a target for creating a 3D AR virtual space. For example, the subject 11 may include a certain space in which various types of objects that may be placed in a virtual space corresponding to augmented reality may be placed. Alternatively, the subject 11 may include at least a part of an environment photographed by at least one camera included in the electronic device 100 . As an example, the subject 11 may be a stage including a predetermined empty space, such as a performance hall, a convention hall, or a stadium where participants participating in a concert, competition, or game can observe or stay. However, in the present invention, the characteristics of the subject 11 are not limited to the stage described above, and may include various types of structures or backgrounds such as natural scenery or artificial structures.

상기 전자 장치(100)는 상기 피사체(11)와 관련한 이미지를 획득하여 증강 현실에 대응하는 가상공간 이미지를 생성하고, 상기 가상공간 이미지에 다양한 콘텐츠를 믹싱하여 제공할 수 있다. 이를 위하여 상기 전자 장치(100)는 피사체(11)를 촬영할 수 있는 적어도 하나의 카메라를 포함할 수 있다. 또한, 상기 전자 장치(100)는 상기 가상공간 이미지에 적용한 다양한 콘텐츠를 생성하거나 또는 수집 및 기 저장된 콘텐츠를 상기 가상공간 이미지에서 사용할 수 있도록 변환하고, 변환된 콘텐츠를 사용자 단말(200)이 이용할 수 있도록 지원할 수 있다. 추가적으로, 본 발명의 설명에서는 전자 장치(100)가 피사체(11)에 관한 영상을 획득한 후, 획득된 영상에 대응하는 증강 현실 이미지를 생성하여 제공하면서, 다양한 콘텐츠를 편집하여 제공하는 형태로 설명하지만 본 발명이 이에 한정되는 것은 아니다. 예컨대, 별도의 서버 장치와 복수의 카메라가 상기 전자 장치(100)를 대체할 수 있다. 이 경우, 복수의 카메라는 피사체(11)와 관한 다양한 이미지를 획득하고, 획득된 이미지를 실시간으로 상기 서버 장치에 전송할 수 있다. 상기 서버 장치는 상기 복수의 카메라가 제공하는 촬영 이미지에 대응하는 증강 현실 이미지를 생성하고, 상기 증강 현실 이미지에 적용할 수 있는 다양한 콘텐츠를 이용할 수 있는 기능을 사용자 단말(200) 또는 상기 복수의 카메라를 운용하는 장치에 제공할 수 있다. 상기 서버 장치에 저장되는 정보는 상기 증강 현실에 적용할 수 있는 정보로서, 2D 이미지, 텍스트, 3D 객체, 오디오 정보 등 다양한 콘텐츠를 포함할 수 있다. The electronic device 100 may obtain an image related to the subject 11 to generate a virtual space image corresponding to augmented reality, and may mix and provide various contents to the virtual space image. To this end, the electronic device 100 may include at least one camera capable of photographing the subject 11 . In addition, the electronic device 100 may generate various contents applied to the virtual space image or convert collected and pre-stored contents to be used in the virtual space image, and the user terminal 200 may use the converted contents. can support you Additionally, in the description of the present invention, after the electronic device 100 acquires an image of the subject 11, it is described in the form of editing and providing various contents while generating and providing an augmented reality image corresponding to the acquired image. However, the present invention is not limited thereto. For example, a separate server device and a plurality of cameras may replace the electronic device 100 . In this case, the plurality of cameras may obtain various images of the subject 11 and transmit the acquired images to the server device in real time. The server device generates an augmented reality image corresponding to a captured image provided by the plurality of cameras, and provides a function of using various contents applicable to the augmented reality image to the user terminal 200 or the plurality of cameras. It can be provided to the device that operates the . The information stored in the server device is information applicable to the augmented reality and may include various contents such as 2D images, texts, 3D objects, and audio information.

상기 네트워크(50)는 상기 전자 장치(100)와 적어도 하나의 사용자 단말(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 전자 장치(100)와 사용자 단말(200) 간 통신 채널을 형성할 수 있는 다양한 타입의 통신 방식을 지원할 수 있다. 예컨대, 상기 네트워크(50)는 다양한 세대의 이동통신 네트워크 또는 인터넷 네트워크 등을 포함할 수 있다. 상기 전자 장치(100)를 대체하여 복수의 카메라와 서버 장치가 마련되는 경우, 상기 네트워크(50)는 상기 복수의 카메라와 상기 서버 장치 간의 통신 채널 및 상기 서버 장치와 상기 사용자 단말(200) 간의 통신 채널을 형성하도록 지원할 수 있다. The network 50 may form a communication channel between the electronic device 100 and at least one user terminal 200 . Such a network 50 may support various types of communication schemes capable of forming a communication channel between the electronic device 100 and the user terminal 200 . For example, the network 50 may include a mobile communication network of various generations or an Internet network. When a plurality of cameras and a server device are provided instead of the electronic device 100, the network 50 provides a communication channel between the plurality of cameras and the server device and communication between the server device and the user terminal 200. You can help form a channel.

상기 사용자 단말(200)은 상기 네트워크(50)를 통하여 상기 전자 장치(100)가 제공하는 증강 현실 이미지 및 다양한 콘텐츠를 이용할 수 있는 사용자 장치를 포함할 수 있다. 예컨대, 상기 사용자 단말(200)은 데스크톱 컴퓨팅 장치, 이동통신 지원 장치 등 다양한 컴퓨팅 장치를 포함할 수 있다. 상기 사용자 단말(200)은 네트워크(50)와 통신 채널을 형성할 수 있는 통신 회로, 상기 전자 장치(100)가 제공하는 증강 현실 이미지를 출력할 수 있는 화면 표시 장치, 전자 장치(100)가 제공하는 다양한 콘텐츠를 선택하거나, 선택된 콘텐츠에 대한 편집을 요청할 수 있는 입력 신호를 생성할 수 있는 입력 장치, 상기 전자 장치(100)가 제공하는 증강 현실 콘텐츠의 오디오 신호를 처리할 수 있는 오디오 장치, 상술한 정보들을 저장할 수 있는 저장 장치, 상술한 각 구성들의 운용과 신호 처리를 제어하는 단말 프로세서를 포함할 수 있다. The user terminal 200 may include a user device capable of using augmented reality images and various contents provided by the electronic device 100 through the network 50 . For example, the user terminal 200 may include various computing devices such as a desktop computing device and a mobile communication supporting device. The user terminal 200 is provided by a communication circuit capable of forming a communication channel with the network 50, a screen display device capable of outputting an augmented reality image provided by the electronic device 100, and the electronic device 100. An input device capable of generating an input signal capable of selecting various content to be selected or requesting editing of the selected content; an audio device capable of processing an audio signal of augmented reality content provided by the electronic device 100; It may include a storage device that can store information, and a terminal processor that controls operation and signal processing of each of the above-described components.

도 2는 본 발명의 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.2 is a diagram illustrating an example of a configuration of an electronic device according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 전자 장치(100)는 통신 인터페이스(110), 입력 장치(120), 디스플레이(130), 메모리(140), 카메라(150) 및 프로세서(160)를 포함할 수 있다. Referring to FIG. 2 , the electronic device 100 of the present invention may include a communication interface 110, an input device 120, a display 130, a memory 140, a camera 150, and a processor 160. there is.

상기 통신 인터페이스(110)는 상기 전자 장치(100)의 통신 기능을 지원할 수 있는 구성이다. 상기 통신 인터페이스(110)는 예컨대, 상기 카메라(150)가 획득한 이미지 또는 증강 현실 이미지 중 적어도 일부를 사용자 단말(200)에 제공할 수 있도록 상기 네트워크(50)와 통신 채널을 형성할 수 있는 적어도 하나의 통신 방식을 지원하는 통신 회로를 포함할 수 있다. 예컨대, 상기 통신 인터페이스(110)는 4G 또는 5G 이동통신 네트워크를 이용할 수 있는 통신 회로 또는 인터넷 네트워크를 이용할 수 있는 통신 회로 중 적어도 하나를 포함할 수 있다. The communication interface 110 is a component capable of supporting the communication function of the electronic device 100 . The communication interface 110 is at least capable of forming a communication channel with the network 50 so as to provide at least a portion of an image or an augmented reality image acquired by the camera 150 to the user terminal 200, for example. A communication circuit supporting one communication method may be included. For example, the communication interface 110 may include at least one of a communication circuit capable of using a 4G or 5G mobile communication network or a communication circuit capable of using an Internet network.

상기 입력 장치(120)는 상기 전자 장치(100) 운용과 관련한 사용자(또는 운용자) 입력을 생성할 수 있는 장치이다. 예컨대, 상기 입력 장치(120)는 키보드, 마우스, 터치스크린, 마이크 등 다양한 장치를 포함할 수 있다. 상기 입력 장치(120)는 상기 카메라(150)의 턴-온 또는 턴-오프 타이밍을 제어할 수 있는 입력 신호, 증강 현실 이미지의 적어도 일부를 편집하기 위한 입력 신호, 증강 현실 이미지에 대응하는 가상공간 상에 추가할 콘텐츠를 선택하는 입력 신호 등을 생성할 수 있다. The input device 120 is a device capable of generating user (or operator) input related to the operation of the electronic device 100 . For example, the input device 120 may include various devices such as a keyboard, mouse, touch screen, and microphone. The input device 120 may include an input signal for controlling turn-on or turn-off timing of the camera 150, an input signal for editing at least a part of an augmented reality image, and a virtual space corresponding to the augmented reality image. An input signal for selecting content to be added to the image may be generated.

상기 디스플레이(130)는 상기 전자 장치(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예컨대, 상기 디스플레이(130)는 상기 카메라(150) 운용을 통해 획득되는 피사체(11) 관련 이미지를 출력하는 화면, 상기 피사체(11) 관련 이미지를 증강 현실의 가상공간으로 변환한, 가상공간 이미지를 표시하는 화면, 상기 가상공간 이미지 상에 운용자가 선택한 콘텐츠가 배치되는 화면, 상기 가상공간 이미지 상에 배치된 콘텐츠가 재생되는 화면 등을 출력할 수 있다. 특히, 상기 디스플레이(130)는 상기 가상공간 이미지 편집 화면 및 상기 콘텐츠 편집 화면을 출력할 수 있다. 추가로, 상기 디스플레이(130)는 상기 가상공간 이미지 및 콘텐츠를 시청 중인 사용자 단말(200)들과 관련한 정보, 사용자 단말(200)이 편집 요청한 메시지를 출력할 수 있다.The display 130 may output at least one screen related to the operation of the electronic device 100 . For example, the display 130 displays a screen for outputting an image related to the subject 11 obtained through operation of the camera 150 and a virtual space image obtained by converting the image related to the subject 11 into a virtual space of augmented reality. A screen to be displayed, a screen on which content selected by an operator is arranged on the virtual space image, a screen on which content arranged on the virtual space image is reproduced, etc. may be output. In particular, the display 130 may output the virtual space image editing screen and the content editing screen. Additionally, the display 130 may output information related to the user terminals 200 viewing the virtual space image and content, and a message requested by the user terminals 200 to be edited.

상기 메모리(140)는 상기 전자 장치(100) 운용에 필요한 다양한 데이터 및 프로그램 중 적어도 일부를 저장할 수 있다. 예컨대, 상기 메모리(140)는 증강 현실 이미지에 대응하는 가상공간을 생성하기 위하여 상기 카메라(150)가 수집한 스트림 파일(142) 및 상기 가상공간 상에 적용할 수 있는 적어도 하나의 3D 객체(141)를 포함할 수 있다. 상기 스트림 파일(142)은 카메라(150)로부터 수집된 피사체(11) 관련 이미지로서, 복수개의 카메라들에 의해 피사체(11)에 관한 이미지가 촬영되는 경우, 상기 스트림 파일(142)은 복수개가 될 수 있다. 이에 따라, 스트림 파일(142)은 피사체(11)를 촬영하는 카메라(150)의 각도에 따라 다양한 각도에서 촬영되는 피사체(11)의 촬영 이미지를 포함할 수 있다. 상기 3D 객체(141)는 상기 가상공간 상에 적용할 수 있는 입체 이미지로서, 입체 이미지를 제공하는 특정 서버 장치에서 수신하여 상기 메모리(140)에 저장되거나 또는 상기 사용자 단말(200)이 제공하여 수신 및 저장할 수 있다. 또는, 상기 전자 장치(100)가 2D 이미지 등을 이용하여 생성할 수도 있다. 상기 가상공간 상에 적용될 수 있는 3D 객체(141)는 정지 이미지 및 동영상 이미지를 포함할 수 있다. 예컨대, 3D 객체(141)는 전자 장치(100)의 운용자 입력 또는 사용자 단말(200)의 입력에 의해 지정된 재생 이미지를 출력할 수 있다. 또는, 상기 3D 객체(141)는 전자 장치(100)의 운용자 입력 또는 사용자 단말(200)의 입력에 의해 특정 동작을 수행할 수 있는 3D 애니메이션 객체를 포함할 수 있다. 추가로, 상기 메모리(140)는 상기 가상공간 상에 적용할 수 있는 2D 이미지, 텍스트, 오디오 정보 등을 더 저장할 수 있다. The memory 140 may store at least some of various data and programs required for operating the electronic device 100 . For example, the memory 140 stores a stream file 142 collected by the camera 150 to generate a virtual space corresponding to an augmented reality image and at least one 3D object 141 applicable to the virtual space. ) may be included. The stream file 142 is an image related to the subject 11 collected from the camera 150. When an image of the subject 11 is captured by a plurality of cameras, the number of stream files 142 may be plural. can Accordingly, the stream file 142 may include captured images of the subject 11 captured at various angles according to the angle of the camera 150 that captures the subject 11 . The 3D object 141 is a stereoscopic image that can be applied to the virtual space, and is received by a specific server device providing a stereoscopic image and stored in the memory 140 or provided by the user terminal 200 and received. and can be stored. Alternatively, the electronic device 100 may generate a 2D image or the like. The 3D object 141 applicable to the virtual space may include still images and moving images. For example, the 3D object 141 may output a playback image specified by an operator input of the electronic device 100 or an input of the user terminal 200 . Alternatively, the 3D object 141 may include a 3D animation object capable of performing a specific operation by an operator input of the electronic device 100 or an input of the user terminal 200 . Additionally, the memory 140 may further store 2D images, texts, and audio information applicable to the virtual space.

상기 카메라(150)는 상기 피사체(11)에 관한 이미지를 촬영하고, 촬영된 이미지를 프로세서(160)에 전달할 수 있다. 상기 카메라(150)는 예컨대 복수개의 카메라 모듈을 포함할 수 있다. 상기 복수의 카메라 모듈은 피사체(11)를 다양한 각도에서 촬영할 수 있는 위치에 배치될 수 있다. 상기 복수의 카메라 모듈은 적어도 피사체(11)와 관련한 RGB 이미지를 획득할 수 있는 적어도 하나의 RGB 카메라, 피사체(11)의 깊이 데이터를 획득할 수 있는 적어도 하나의 Depth 카메라를 포함할 수 있다. 상기 적어도 하나의 RGB 카메라와 상기 적어도 하나의 Depth 카메라는 동일한 피사체(11)를 촬영할 수 있도록 배치되며 촬영 거리와 촬영 각도가 지정된 범위 이내에서 동일 또는 유사하게 형성될 수 있다. The camera 150 may capture an image of the subject 11 and transmit the captured image to the processor 160 . The camera 150 may include, for example, a plurality of camera modules. The plurality of camera modules may be disposed at positions capable of photographing the subject 11 at various angles. The plurality of camera modules may include at least one RGB camera capable of obtaining an RGB image related to the subject 11 and at least one depth camera capable of acquiring depth data of the subject 11 . The at least one RGB camera and the at least one depth camera are disposed to capture the same subject 11 and may have the same or similar shooting distance and shooting angle within a specified range.

상기 프로세서(160)는 상기 전자 장치(100) 운용과 관련한 신호의 전달과 처리를 담당한다. 상기 프로세서(160)는 사용자 입력에 따른 카메라(150)의 턴-온/턴-오프를 제어하고, 카메라(150)가 획득한 촬영 이미지를 기반으로, 증강 현실 이미지에 대응하는 가상공간 이미지를 생성하여 통신 인터페이스(110)를 통하여 방송 방식으로 송출할 수 있다. 또한, 상기 프로세서(160)는 상기 가상공간 이미지에 지정된 3D 객체(141)를 적용하여 송출할 수 있다. 이와 관련하여, 상기 프로세서(160)는 스트림 믹서(161)를 포함할 수 있다. The processor 160 is responsible for transmitting and processing signals related to the operation of the electronic device 100 . The processor 160 controls turn-on/turn-off of the camera 150 according to a user input, and generates a virtual space image corresponding to an augmented reality image based on a captured image obtained by the camera 150. It can be transmitted in a broadcasting manner through the communication interface 110. In addition, the processor 160 may apply and transmit the designated 3D object 141 to the virtual space image. In this regard, the processor 160 may include a stream mixer 161.

상기 스트림 믹서(161)는 가상공간 이미지 생성 및 콘텐츠 편집을 지원할 수 있다. 이와 관련하여, 상기 스트림 믹서(161)는 사용자 입력에 대응하여 상기 카메라(150)를 통해 획득된 적어도 하나의 피사체(11) 관련 스트림 파일들을 확인할 수 있는 화면을 상기 디스플레이(130)에 출력할 수 있다. 상기 스트림 믹서(161)는 스트림 파일들 중 적어도 일부를 사용자 입력에 의해 취사선택하고, 사용자 입력에 따라 선택된 스트림 파일의 적어도 일부의 재생 타이밍 및 재생 시간을 결정하고, 이를 기반으로 가상공간 이미지를 생성할 수 있다. 상기 스트림 믹서(161)는 메모리(140)에 저장된 3D 객체들의 리스트를 출력할 수 있다. 상기 리스트는 상기 3D 객체가 어떠한 아이템인지를 나타내는 썸네일 또는 3D 객체를 설명하는 텍스트 정보를 포함할 수 있다. 상기 스트림 믹서(161)는 사용자 입력에 의해 선택된 3D 객체를 상기 가상공간 이미지에 배치할 수 있도록 지원한다. 상술한 바와 같이 본 발명의 스트림 믹서(161)는 피사체(11)에 관한 실시간 이미지를 기반으로 증강 현실 이미지에 대응하는 가상공간을 제공하고, 상기 가상공간에 3D 객체를 배치할 수 있도록 지원할 수 있다. 추가적으로 또는 대체적으로 상기 스트림 믹서(161)는 2D 이미지, 오디오 파일, 텍스트 중 적어도 일부를 상기 가상공간에 배치할 수 있도록 지원할 수 있다. 이 과정에서 상기 스트림 믹서(161)는 상기 3D 이미지, 오디오 파일, 텍스트를 가상공간에 배치할 수 있도록 3D 객체화하거나, 사전 정의된 3D 객체에 매핑할 수 있다. The stream mixer 161 may support creation of virtual space images and content editing. In this regard, the stream mixer 161 may output a screen for checking stream files related to at least one subject 11 acquired through the camera 150 to the display 130 in response to a user input. there is. The stream mixer 161 selects at least some of the stream files according to a user input, determines playback timing and playback time of at least some of the selected stream files according to the user input, and creates a virtual space image based on this. can do. The stream mixer 161 may output a list of 3D objects stored in the memory 140. The list may include a thumbnail indicating what item the 3D object is or text information describing the 3D object. The stream mixer 161 supports arranging a 3D object selected by a user input on the virtual space image. As described above, the stream mixer 161 of the present invention provides a virtual space corresponding to an augmented reality image based on a real-time image of the subject 11, and may support arranging a 3D object in the virtual space. . Additionally or alternatively, the stream mixer 161 may support arranging at least a part of a 2D image, an audio file, and text in the virtual space. In this process, the stream mixer 161 can transform the 3D image, audio file, and text into 3D objects or map them to predefined 3D objects so that they can be arranged in a virtual space.

도 3은 본 발명의 실시 예에 따른 실제 환경에 대한 증강 이미지의 한 예를 나타낸 도면이다.3 is a diagram illustrating an example of an augmented image of a real environment according to an embodiment of the present invention.

도 3을 참조하면, 앞서 도 1에서 설명한 피사체(11)가 도시된 바와 같이, 실제 공간(301)으로 제공될 수 있다. 또는, 실제 공간(301)을 촬영할 수 있도록 상기 전자 장치(100)의 카메라(150)가 배치될 수 있다. 상기 카메라(150)는 복수의 방향에서 실제 공간(301)을 촬영할 수 있도록 배치될 수 있으며, 카메라(150)가 획득한 복수의 스트림 파일을 프로세서(160)에 전달될 수 있다. Referring to FIG. 3 , the subject 11 previously described in FIG. 1 may be provided as a real space 301 as shown. Alternatively, the camera 150 of the electronic device 100 may be disposed to capture the real space 301 . The camera 150 may be arranged to photograph the real space 301 in a plurality of directions, and a plurality of stream files acquired by the camera 150 may be transmitted to the processor 160 .

상기 프로세서(160)는 수신된 스트림 파일들을 기반으로 가상공간(302)을 구성할 수 있다. 이때, 상기 프로세서(160)는 스트림 파일들에 포함된 특정 객체에 대한 위치 정보를 정의하고, 이미지가 겹치되는 영역들을 이어 붙이면서 위치 정보를 갱신하여 가상공간(302)을 생성할 수 있다. 이에 따라, 상기 가상공간(302)은 3개의 축 좌표 상에서 정의될 수 있다. The processor 160 may configure the virtual space 302 based on the received stream files. At this time, the processor 160 may create the virtual space 302 by defining location information for a specific object included in the stream files and updating the location information while connecting regions of overlapping images. Accordingly, the virtual space 302 may be defined on three axis coordinates.

도 4는 본 발명의 실시 예에 따른 콘텐츠 믹서 운용에 따른 콘텐츠 편집 화면의 한 예를 나타낸 도면이며, 도 5는 본 발명의 실시 예에 따른 콘텐츠 편집을 위한 소스 화면의 한 예를 나타낸 도면이다.4 is a diagram showing an example of a content editing screen according to the operation of a content mixer according to an embodiment of the present invention, and FIG. 5 is a diagram showing an example of a source screen for content editing according to an embodiment of the present invention.

도 4를 참조하면, 전자 장치(100)의 스트림 믹서(161)는 프로그램 형태 또는 하드웨어 편집기 형태 중 적어도 하나로 구성되거나 또는 스트림 믹서(161)의 적어도 일부가 소프트웨어 또는 하드웨어 형태로 구성될 수 있다. 상기 스트림 믹서(161)는 실행 요청에 따라, 도시된 바와 같이 믹서 실행 화면(400)을 디스플레이(130)에 출력할 수 있다. 상기 믹서 실행 화면(400)은 예컨대, 복수개의 스트림 파일들 각각에 대응하는 대표 이미지들이 나열된 스트림 파일 검색 화면 영역(410), 스트림 파일들의 목록을 확인할 수 있는 스트림 파일 목록 화면 영역(420), 선택된 스트림 파일의 재생 타이밍 및 재생 시간을 조절할 수 있는 편집 화면 영역(430)을 포함할 수 있다. Referring to FIG. 4 , the stream mixer 161 of the electronic device 100 may be configured in at least one of a program type and a hardware editor type, or at least a part of the stream mixer 161 may be configured in a software or hardware type. The stream mixer 161 may output a mixer execution screen 400 to the display 130 according to an execution request, as shown. The mixer execution screen 400 includes, for example, a stream file search screen area 410 in which representative images corresponding to a plurality of stream files are listed, a stream file list screen area 420 for checking a list of stream files, and a selected stream file list screen area 420. An edit screen area 430 for adjusting playback timing and playback time of a stream file may be included.

상기 스트림 파일 검색 화면 영역(410)은 복수개의 스트림 파일들 중 적어도 일부 스트림 파일들에 포함된 주요 장면들 또는 일정 주기의 프레임들을 확인할 수 있는 영역을 포함할 수 있다. 상기 스트림 파일 검색 화면 영역(410)에 표시될 수 있는 스트림 파일들의 개수 및 각 스트림 파일들의 대표 이미지의 개수는 사용자 입력에 따라 조절될 수 있다. The stream file search screen area 410 may include an area for checking main scenes or frames of a certain period included in at least some stream files among a plurality of stream files. The number of stream files that can be displayed on the stream file search screen area 410 and the number of representative images of each stream file can be adjusted according to a user input.

상기 스트림 파일 목록 화면 영역(420)은 현재 카메라(150)가 획득하는 스트림 파일들 중 적어도 일부에 대응하는 목록 또는 메모리(140)에 저장된 스트림 파일들 중 적어도 일부에 대응하는 목록을 포함할 수 있다. 도시된 도면에서는 9개의 카메라 목록을 예시하였으나, 카메라(150)의 개수에 따라 상기 스트림 파일 목록 화면 영역(420)에 출력되는 목록의 개수는 조절될 수 있다. 상기 스트림 파일 목록 화면 영역(420)에 포함된 목록을 선택 여부에 따라 상기 스트림 파일 검색 화면 영역(410)에 출력되는 스트림 파일들의 대표 이미지들의 개수가 달라질 수 있다. The stream file list screen area 420 may include a list corresponding to at least some of the stream files currently acquired by the camera 150 or a list corresponding to at least some of the stream files stored in the memory 140. . Although nine camera lists are exemplified in the drawing, the number of lists output to the stream file list screen area 420 may be adjusted according to the number of cameras 150 . Depending on whether a list included in the stream file list screen area 420 is selected, the number of representative images of stream files output to the stream file search screen area 410 may vary.

상기 편집 화면 영역(430)은 도 3에서 설명한 가상공간(302)을 구현하기 위해 선택되는 스트림 파일 및 선택된 스트림 파일의 재생 타이밍 및 재생 시간을 편집할 수 있는 영역이 될 수 있다. 스트림 믹서(161)는 상술한 영역들을 통하여 카메라(150)가 획득하는 복수개의 스트림 파일들 중 사용자 입력에 의해 선택된 스트림 파일을 이용하여 가상공간(302)을 구현할 수 있다. 상기 스트림 믹서(161)에 의해 생성되는 가상공간(302)은 예컨대, 카메라(150)가 실시간으로 촬영하는 이미지를 3개의 축 정보를 포함하며 다양한 타입의 콘텐츠 배치가 가능한 가상공간으로 변환한 공간 이미지를 포함할 수 있다. The editing screen area 430 may be an area where a selected stream file and playback timing and playback time of the selected stream file can be edited to implement the virtual space 302 described in FIG. 3 . The stream mixer 161 may implement the virtual space 302 by using a stream file selected by a user input among a plurality of stream files obtained by the camera 150 through the above-described areas. The virtual space 302 generated by the stream mixer 161 is, for example, a spatial image obtained by converting an image captured by the camera 150 in real time into a virtual space that includes information on three axes and is capable of arranging various types of content. can include

도 5를 참조하면, 상기 스트림 믹서(161)는 상기 스트림 파일들을 이용한 가상공간(302) 상에 객체를 추가할 수 있는 편집화면을 제공할 수 있다. 도시된 바와 같이, 스트림 믹서(161)는 객체를 추가할 수 있는 객체 추가 영역 및 추가된 객체의 이벤트를 정의하는 이벤트 영역을 포함할 수 있다. 상기 객체 추가 영역은 예컨대, 객체 이름, 객체 위치, 객체 방향, 객체 크기를 정의할 수 있는 항목들을 포함할 수 있다. 상기 이벤트 영역은 이벤트 종류, 이벤트를 적용할 객체 이름, 이벤트를 통해 객체가 수행하는 액션, 객체가 이벤트를 수행하는 시간을 입력하는 항목을 포함할 수 있다. Referring to FIG. 5 , the stream mixer 161 may provide an editing screen for adding objects to the virtual space 302 using the stream files. As shown, the stream mixer 161 may include an object addition area capable of adding an object and an event area defining an event of the added object. The object addition area may include, for example, items capable of defining an object name, an object location, an object direction, and an object size. The event area may include items for inputting an event type, an object name to which the event is applied, an action performed by the object through the event, and a time when the object performs the event.

도 6은 본 발명의 실시 예에 따른 서비스 규칙 설정의 한 예를 나타낸 도면이며, 도 7은 본 발명의 실시 예에 따른 콘텐츠 객체의 규칙 설정의 한 예를 나타낸 도면이다.6 is a diagram showing an example of service rule setting according to an embodiment of the present invention, and FIG. 7 is a diagram showing an example of rule setting of a content object according to an embodiment of the present invention.

전자 장치(100)는 가상공간 및 편집된 객체 제공에 관한 서비스 규칙 설정을 정의할 수 있다. 예컨대, 도 6을 참조하면, 서비스 규칙 설정은, 서비스 정의자 service, display name, package name(파일 시스템 접근 시 문제가 발생하지 않는 문자열로 기재), type(VR 또는 AR 종류), description, thumbnail(주소 값, Url), media_length(예: ms(milliseconds) 단위), streaming_type (예: live, vod) 규칙 설정 항목을 포함할 수 있다. The electronic device 100 may define service rule settings related to provision of virtual space and edited objects. For example, referring to FIG. 6, service rule settings include service definer service, display name, package name (written as a string that does not cause problems when accessing the file system), type (VR or AR type), description, thumbnail ( Address value, Url), media_length (eg ms (milliseconds) unit), streaming_type (eg live, vod) rule setting items can be included.

또한, 전자 장치(100)는 가상공간 및 편집된 객체 제공에 관한 서비스 규칙 설정을 정의할 수 있다. 예컨대, 도 6을 참조하면, 서비스 규칙 설정은, 서비스 정의자 service, display name, package name(파일 시스템 접근 시 문제가 발생하지 않는 문자열로 기재), type(VR 또는 AR 종류), description, thumbnail(주소 값, Url), media_length(예: ms(milliseconds) 단위), streaming_type (예: live, vod) 규칙 설정 항목을 포함할 수 있다. Also, the electronic device 100 may define service rule settings related to provision of virtual space and edited objects. For example, referring to FIG. 6, service rule settings include service definer service, display name, package name (written as a string that does not cause problems when accessing the file system), type (VR or AR type), description, thumbnail ( Address value, Url), media_length (eg ms (milliseconds) unit), streaming_type (eg live, vod) rule setting items can be included.

또한, 전자 장치(100)는 가상공간 및 편집된 객체 제공에 관한 장면 규칙 설정을 정의할 수 있다. 예컨대, 도 7을 참조하면, 장면 규칙 설정은 map point count, size(세부 항목으로 width, height, depth 연산자 정의), origin(세부 항목으로 x, y, z 축 연산자 정의), object 정의, events 정의 항목을 포함할 수 있다. 상기 object 정의는 예컨대, object name 항목(세부 항목으로 type, id, src, visibility 항목), location(세부 항목으로 x, y, z 축 위치 값), orientation(세부 항목으로 x, y, z 축 방향), scale 항목(세부 항목으로 x, y, z 축 크기)을 포함할 수 있다. events 정의는 예컨대, event name(세부 항목으로 id, object_id), actions 항목(세부 항목으로 action name, condition 항목, time start, trigger id 항목)을 포함할 수 있다. In addition, the electronic device 100 may define scene rule settings related to provision of a virtual space and an edited object. For example, referring to FIG. 7, scene rule settings include map point count, size (defining width, height, and depth operators as detailed items), origin (defining x, y, and z axis operators as detailed items), object definition, and events definition items may be included. The object definition is, for example, object name item (type, id, src, visibility item as detailed item), location (x, y, z axis position value as detailed item), orientation (x, y, z axis direction as detailed item) ), and scale items (x, y, z axis sizes as detailed items) can be included. The events definition may include, for example, an event name (id and object_id as detailed items) and an actions item (action name, condition item, time start, and trigger id item as detailed items).

도 8은 본 발명의 실시 예에 따른 가상공간에서의 콘텐츠 배치 및 표시와 관련한 화면의 한 예를 나타낸 도면이다.8 is a diagram showing an example of a screen related to content arrangement and display in a virtual space according to an embodiment of the present invention.

도 8을 참조하면, 810 화면은 스트림 믹서(161)를 이용한 가상공간(302)에서의 콘텐츠들(811, 812, 813) 배치를 나타낸 것이다. 이를 위하여, 상기 스트림 믹서(161)는 앞서 도 3에서 설명한 스트림 파일을 이용한 가상공간(302) 생성이 완료되면, 생성된 가상공간(302)을 디스플레이(130)에 표시하고, 해당 가상공간(302)에 배치할 수 있는 적어도 하나의 콘텐츠 목록을 제공할 수 있다. 여기서, 콘텐츠 목록은 썸네일 형태로 제공될 수 있다. 상기 콘텐츠들(811, 812, 813)은 예컨대, 3D 객체이거나, 2D 이미지, 오디오 파일을 지시하는 특정 객체 또는 텍스트 객체를 포함할 수 있다. 도시된 도면에서는 3D 객체들을 배치하는 상황을 예시한 것이다.Referring to FIG. 8 , screen 810 shows the arrangement of contents 811 , 812 , and 813 in the virtual space 302 using the stream mixer 161 . To this end, the stream mixer 161 displays the created virtual space 302 on the display 130 when the creation of the virtual space 302 using the stream file described above in FIG. ) may provide at least one content list that can be arranged. Here, the content list may be provided in the form of thumbnails. The contents 811, 812, and 813 may include, for example, a 3D object, a 2D image, a specific object indicating an audio file, or a text object. In the illustrated drawing, a situation of arranging 3D objects is illustrated.

콘텐츠들(811, 812, 813)의 배치가 완료되고, 가상공간(302) 및 콘텐츠들(811, 812, 813)의 배치 완료를 통해 방송할 콘텐츠 작성 완료를 수행하면, 820 화면에서와 같이, 가상공간(302) 상에 콘텐츠들(811, 812, 813)이 배치된 영상 제작물(801) 작성이 완료되고, 해당 영상 제작물(801)은 방송을 통해 사용자 단말(200)들에 제공될 수 있다. 여기서, 상기 영상 제작물(801)은 라이브 방송으로 송출되거나 또는 VOD 서비스를 통해 제공될 수 있다. When the arrangement of the contents 811, 812, and 813 is completed, and the creation of content to be broadcast is completed through the completion of the arrangement of the virtual space 302 and the contents 811, 812, and 813, as shown in screen 820, Creation of the video production 801 in which the contents 811, 812, and 813 are arranged on the virtual space 302 is completed, and the corresponding video production 801 can be provided to the user terminals 200 through broadcasting. . Here, the video product 801 may be transmitted as a live broadcast or provided through a VOD service.

도 9는 본 발명의 실시 예에 따른 콘텐츠 편집을 지원하는 전자 장치 운용 방법의 한 예를 나타낸 도면이다.9 is a diagram illustrating an example of a method for operating an electronic device supporting content editing according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 전자 장치 운용 방법과 관련하여, 전자 장치(100)의 카메라(150)는 901 단계에서, 피사체(11)에 관한 스트림 파일을 획득할 수 있다. 이 단계에서 상기 전자 장치(100)는 복수개의 카메라들을 이용하여 다양한 각도에서 촬영되는 피사체(11)의 스트림 파일들을 획득할 수 있다. 또한, 상기 전자 장치(100)는 가상공간 형성을 위하여 피사체(11)에 관한 깊이 값 획득을 위해 깊이 카메라를 이용한 깊이 값 정보를 포함하는 스트림 파일을 획득할 수 있다.Referring to FIG. 9 , in relation to the electronic device operating method of the present invention, the camera 150 of the electronic device 100 may obtain a stream file related to the subject 11 in step 901 . In this step, the electronic device 100 may obtain stream files of the subject 11 photographed from various angles using a plurality of cameras. In addition, the electronic device 100 may obtain a stream file including depth value information using a depth camera to obtain a depth value for the subject 11 to form a virtual space.

903 단계에서, 전자 장치(100)는 획득된 스트림 파일을 이용하여 가상공간(302)을 생성할 수 있다. 상기 가상공간(302)은 예컨대, 3개의 축 좌표 값으로 정의되는 가상의 공간을 포함할 수 있다. 상기 가상공간(302)은 예컨대, 증강 현실 이미지 또는 가상 현실 이미지에 대응하는 공간으로 정의될 수 있다.In step 903, the electronic device 100 may create a virtual space 302 using the obtained stream file. The virtual space 302 may include, for example, a virtual space defined by three axis coordinate values. The virtual space 302 may be defined as, for example, an augmented reality image or a space corresponding to a virtual reality image.

905 단계에서, 전자 장치(100)는 상기 가상공간(302) 상에 콘텐츠를 배치할 수 있다. 이와 관련하여, 상기 전자 장치(100)는 상기 가상공간(302) 상에 배치할 수 있는 콘텐츠 목록을 표시하고, 사용자 입력에 대응하여 콘텐츠들을 상기 가상공간(302) 상에 배치할 수 있다. 또는, 상기 전자 장치(100)는 사전 정의된 특정 콘텐츠를 상기 가상공간(302) 상에 배치할 수 있다. 상기 가상공간(302) 상에 배치되는 콘텐츠는 예컨대, 3D 객체, 2D 이미지, 오디오 파일에 대응하는 개체, 텍스트 중 적어도 하나를 포함할 수 있다. 상기 전자 장치(100)는 2D 이미지 또는 텍스트 등은 가상공간(302)에 배치하기 위하여 3D 변환을 수행할 수 있다. In step 905, the electronic device 100 may place content on the virtual space 302. In this regard, the electronic device 100 can display a list of content that can be placed on the virtual space 302 and place content on the virtual space 302 in response to a user input. Alternatively, the electronic device 100 may place predefined specific content on the virtual space 302 . The content disposed on the virtual space 302 may include, for example, at least one of a 3D object, a 2D image, an object corresponding to an audio file, and text. The electronic device 100 may perform 3D conversion to arrange 2D images or texts in the virtual space 302 .

907 단계에서, 상기 전자 장치(100)는 콘텐츠 배치가 완료된 이후, 사용자 입력에 따라 영상 제작물(801) 작성 완료를 수행할 수 있다. 상기 전자 장치(100)는 작성 완료된 영상 제작물(801)을 메모리(140)에 임시 저장할 수 있다.In step 907, the electronic device 100 may complete creation of the video product 801 according to a user input after content arrangement is completed. The electronic device 100 may temporarily store the created video product 801 in the memory 140 .

다음으로, 909 단계에서, 상기 전자 장치(100)는 제작 완료된 영상 제작물(801)을 지정된 방식으로 방송하여 사용자 단말(200)이 수신 및 시청할 수 있도록 지원할 수 있다. 상기 지정된 방식은 예컨대, 실시간 라이브 방송 방식 또는 VOD 방식 등이 될 수 있다. Next, in step 909, the electronic device 100 may support the user terminal 200 to receive and view the produced video product 801 by broadcasting it in a designated manner. The designated method may be, for example, a real-time live broadcasting method or a VOD method.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. As set forth above, this specification contains many specific implementation details, but these should not be construed as limiting on the scope of any invention or claimables, but rather may be specific to a particular embodiment of a particular invention. It should be understood as a description of the features in

또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안 되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Further, while operations are depicted in the drawings in a specific order, it should not be understood that all illustrated operations must be performed or that those operations must be performed in the specific order shown or in sequential order to obtain desired results. In certain cases, multitasking and parallel processing can be advantageous. Further, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the described program components and systems are generally integrated together into a single software product or packaged into multiple software products. You have to understand that it can be.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The present description presents the best mode of the invention and provides examples to illustrate the invention and to enable those skilled in the art to make and use the invention. The specification thus prepared does not limit the invention to the specific terms presented. Therefore, although the present invention has been described in detail with reference to the above-described examples, a person skilled in the art may make alterations, changes, and modifications to the present examples without departing from the scope of the present invention.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be determined by the described embodiments, but by the claims.

10: 증강 현실 지원 환경
11: 피사체
50: 네트워크
100: 전자 장치
110: 통신 인터페이스
120: 입력 장치
130: 디스플레이
140: 메모리
150: 카메라
160: 프로세서
200: 사용자 단말
10: Augmented reality enabled environment
11: subject
50: network
100: electronic device
110: communication interface
120: input device
130: display
140: memory
150: camera
160: processor
200: user terminal

Claims (10)

피사체에 대한 촬영 이미지를 획득하는 적어도 하나의 카메라;
상기 적어도 하나의 카메라가 획득한 스트림 파일을 저장하는 메모리;
상기 스트림 파일을 기반으로 생성된 영상 제작물을 송출하는 통신 인터페이스;
상기 적어도 하나의 카메라, 상기 메모리 및 상기 통신 인터페이스의 운용을 제어하는 프로세서;를 포함하고,
상기 프로세서는
상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하고,
상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하고,
상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하고,
사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하고,
상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하도록 제어하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.
At least one camera for obtaining a photographed image of the subject;
a memory for storing a stream file acquired by the at least one camera;
a communication interface for transmitting a video product created based on the stream file;
A processor controlling operation of the at least one camera, the memory, and the communication interface;
The processor
Storing stream files acquired by the camera in the memory;
Creating a virtual space based on stream files stored in the memory;
providing a list of various types of contents to be placed on the virtual space;
disposing at least one piece of content selected by a user input on the virtual space;
An electronic device that supports content editing, characterized in that controlling to broadcast a produced video product through the communication interface upon completion of the at least one content arrangement.
제1항에 있어서,
상기 카메라는
상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하기 위한 복수의 카메라 모듈;
상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하기 위한 깊이 카메라 모듈;을 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.
According to claim 1,
the camera
a plurality of camera modules for acquiring stream files photographed at various angles with respect to the subject;
An electronic device that supports content editing, comprising: a depth camera module for acquiring a stream file including depth information of the subject.
제1항에 있어서,
상기 프로세서는
상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하고,
상기 콘텐츠 목록은
3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.
According to claim 1,
The processor
Creating the virtual space having three axis information for the stream files;
The above content list is
An electronic device supporting content editing comprising at least one of a 3D object, a 2D image, an object indicating an audio file, and a text object.
제3항에 있어서,
상기 프로세서는
상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.
According to claim 3,
The processor
An electronic device supporting content editing, characterized in that performing 3D conversion processing on the 2D image or the text object so that it can be arranged on the virtual space.
제1항에 있어서,
상기 프로세서는
상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.
According to claim 1,
The processor
An electronic device that supports content editing, characterized in that the video production is broadcasted in one of a designated live broadcasting method and a VOD (Video on Demand) method.
적어도 하나의 카메라를 이용하여 피사체에 대한 스트림 파일을 획득하는 단계;
상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하는 단계;
상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하는 단계;
상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하는 단계;
사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하는 단계;
상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.
obtaining a stream file for a subject using at least one camera;
storing the stream files acquired by the camera in the memory;
generating a virtual space based on stream files stored in the memory;
providing a list of various types of contents to be placed in the virtual space;
arranging at least one piece of content selected by a user input on the virtual space;
A method of operating an electronic device that supports content editing, comprising: broadcasting a produced video product through the communication interface upon completion of the at least one content arrangement.
제6항에 있어서,
상기 스트림 파일을 획득하는 단계는
복수의 카메라 모듈을 이용하여 상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하는 단계; 및
깊이 카메라 모듈을 이용하여 상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.
According to claim 6,
The step of obtaining the stream file is
Obtaining stream files photographed at various angles with respect to the subject using a plurality of camera modules; and
A method of operating an electronic device supporting content editing, comprising: acquiring a stream file including depth information on the subject by using a depth camera module.
제6항에 있어서,
상기 가상공간을 생성하는 단계는,
상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하는 단계;를 포함하고,
상기 콘텐츠 목록은
3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.
According to claim 6,
The step of creating the virtual space,
Generating the virtual space having three axis information for the stream files;
The above content list is
A method of operating an electronic device supporting content editing, comprising at least one of a 3D object, a 2D image, an object indicating an audio file, and a text object.
제8항에 있어서,
상기 가상공간 상에 배치하는 단계는
상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.
According to claim 8,
The step of arranging on the virtual space is
A method of operating an electronic device supporting content editing, comprising: performing a 3D conversion process on the 2D image or the text object so as to arrange it on the virtual space.
제6항에 있어서,
상기 방송하는 단계는
상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.
According to claim 6,
The broadcasting step
A method of operating an electronic device that supports content editing, comprising: broadcasting the video production in one of a designated live broadcasting method and a VOD (Video on Demand) method.
KR1020210152941A 2021-11-09 2021-11-09 Electronic device for supporting of content edit and operation method thereof KR20230067790A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210152941A KR20230067790A (en) 2021-11-09 2021-11-09 Electronic device for supporting of content edit and operation method thereof
PCT/KR2021/017529 WO2023085493A1 (en) 2021-11-09 2021-11-25 Electronic device for supporting content editing, and operating method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210152941A KR20230067790A (en) 2021-11-09 2021-11-09 Electronic device for supporting of content edit and operation method thereof

Publications (1)

Publication Number Publication Date
KR20230067790A true KR20230067790A (en) 2023-05-17

Family

ID=86336210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210152941A KR20230067790A (en) 2021-11-09 2021-11-09 Electronic device for supporting of content edit and operation method thereof

Country Status (2)

Country Link
KR (1) KR20230067790A (en)
WO (1) WO2023085493A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933185B1 (en) * 2012-05-23 2018-12-27 현대모비스 주식회사 System for automatic control of around view monitoring camera and methed thereof
KR101984915B1 (en) * 2012-12-03 2019-09-03 삼성전자주식회사 Supporting Portable Device for operating an Augmented reality contents and system, and Operating Method thereof
JP6555513B2 (en) * 2015-06-30 2019-08-07 株式会社セガゲームス program
KR101782045B1 (en) * 2016-05-30 2017-09-27 시크릿타운 주식회사 Method and apparatus for generating virtual reality(VR) content via virtual reality platform
JP6717516B2 (en) * 2017-12-26 2020-07-01 株式会社音楽館 Image generation system, image generation method and program

Also Published As

Publication number Publication date
WO2023085493A1 (en) 2023-05-19

Similar Documents

Publication Publication Date Title
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US20180068488A1 (en) Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium
CN109218630B (en) Multimedia information processing method and device, terminal and storage medium
CN112235585B (en) Live broadcasting method, device and system for virtual scene
US11956408B2 (en) Information processing system, information processing method, and storage medium
US20170150212A1 (en) Method and electronic device for adjusting video
CN110996150A (en) Video fusion method, electronic device and storage medium
CN110730340B (en) Virtual audience display method, system and storage medium based on lens transformation
KR100901111B1 (en) Live-Image Providing System Using Contents of 3D Virtual Space
JP2005020607A (en) Composite image output device and composite image output processing program
CN110720214B (en) Display control apparatus, display control method, and storage medium
KR101915792B1 (en) System and Method for Inserting an Advertisement Using Face Recognition
KR102054116B1 (en) Customized Stage Video Delivery System
CN112153472A (en) Method and device for generating special picture effect, storage medium and electronic equipment
JP2015162117A (en) server device, program, and information processing method
KR20230067790A (en) Electronic device for supporting of content edit and operation method thereof
CN116962745A (en) Mixed drawing method, device and live broadcast system of video image
CN116847147A (en) Special effect video determining method and device, electronic equipment and storage medium
CN112887653B (en) Information processing method and information processing device
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
KR102223777B1 (en) A Method and Apparatus For Sharing Augmented Reality Content Based On the Location
CN111367598B (en) Method and device for processing action instruction, electronic equipment and computer readable storage medium
JP5962692B2 (en) Terminal device and program
KR20180092411A (en) Method and apparatus for transmiting multiple video
KR20170093466A (en) Apparatus and method for providing contents, and computer program recorded on computer readable recording medium for executing the method