KR20230067790A - Electronic device for supporting of content edit and operation method thereof - Google Patents
Electronic device for supporting of content edit and operation method thereof Download PDFInfo
- Publication number
- KR20230067790A KR20230067790A KR1020210152941A KR20210152941A KR20230067790A KR 20230067790 A KR20230067790 A KR 20230067790A KR 1020210152941 A KR1020210152941 A KR 1020210152941A KR 20210152941 A KR20210152941 A KR 20210152941A KR 20230067790 A KR20230067790 A KR 20230067790A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual space
- electronic device
- camera
- content
- stream
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Architecture (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 적어도 하나의 카메라를 이용하여 피사체에 대한 스트림 파일을 획득하는 단계, 상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하는 단계, 상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하는 단계, 상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하는 단계, 사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하는 단계, 상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법 및 이를 이용하는 전자 장치를 개시한다.The present invention includes obtaining a stream file for a subject using at least one camera, storing the stream files obtained by the camera in the memory, generating a virtual space based on the stream files stored in the memory, Providing a list of various types of content to be placed in the virtual space, arranging at least one content selected by a user input in the virtual space, and a video product produced upon completion of the arrangement of the at least one content. Disclosed is an operating method of an electronic device supporting content editing, comprising the step of broadcasting through the communication interface, and an electronic device using the same.
Description
본 발명은 콘텐츠 편집에 관한 것으로서, 더욱 상세하게는 실시간 방송 환경에서 다양한 3D 객체를 포함하는 콘텐츠를 제공할 수 있는 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법에 관한 것이다.The present invention relates to content editing, and more particularly, to an electronic device supporting content editing capable of providing content including various 3D objects in a real-time broadcasting environment and an operating method thereof.
가상현실(Virtual Reality: VR) 및 증강현실(Augmented Reality: AR)이 등장한 이후, 스마트폰 애플리케이션을 다양한 관심이 증가하는 가운데, 증강현실과 관련한 기술은 다양한 분야 예컨대, 교육 및 상업적으로 활용되고 있다. Since the advent of virtual reality (VR) and augmented reality (AR), various interests in smartphone applications have increased, and technology related to augmented reality has been utilized in various fields, such as education and commercial use.
한편, 증강 현실의 경우, 카메라가 촬영한 영상을 기반으로 증강 이미지를 처리하기 때문에, 처리해야 할 데이터양이 매우 크다. 이에 따라, 실제 환경에서의 AR 객체 표현은 일부 플랫폼에서 제한적으로 동작하고 있어, 사용자의 다양한 니즈를 충족하기 어려운 실정이다. 또한, 종래 증강 현실의 경우, 단순히 카메라가 촬영한 영상에 대한 증강 이미지를 제공하는데 초점이 맞추어져 있어, 다양한 콘텐츠를 증강 현실에서 제공하기 위한 기술의 개발이 필요한 실정이다. Meanwhile, in the case of augmented reality, since an augmented image is processed based on an image taken by a camera, the amount of data to be processed is very large. Accordingly, representation of AR objects in a real environment is limited in some platforms, making it difficult to meet the various needs of users. In addition, in the case of conventional augmented reality, the focus is simply on providing an augmented image for an image captured by a camera, and thus it is necessary to develop a technology for providing various contents in augmented reality.
상술한 문제점을 해결하기 위하여, 본 발명은 증강 현실을 방송 및 영상매체 형태로 제공할 수 있는 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법을 제공함에 있다. In order to solve the above problems, the present invention provides an electronic device supporting content editing capable of providing augmented reality in the form of broadcasting and video media, and an operating method thereof.
또한, 본 발명은 통합 플랫폼을 통하여 다양한 장치들의 연계성을 개선하고, 이를 통해 다양한 콘텐츠를 증강 현실에서 즐길 수 있도록 하는 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법을 제공함에 있다. In addition, the present invention is to provide an electronic device that supports content editing and an operating method thereof, which improves connectivity of various devices through an integrated platform and allows various content to be enjoyed in augmented reality.
한편, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.On the other hand, the object of the present invention is not limited to the above object, and other objects not mentioned will be clearly understood from the description below.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 콘텐츠 편집을 지원하는 전자 장치는 피사체에 대한 촬영 이미지를 획득하는 적어도 하나의 카메라, 상기 적어도 하나의 카메라가 획득한 스트림 파일을 저장하는 메모리, 상기 스트림 파일을 기반으로 생성된 영상 제작물을 송출하는 통신 인터페이스, 상기 적어도 하나의 카메라, 상기 메모리 및 상기 통신 인터페이스의 운용을 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하고, 상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하고, 상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하고, 사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하고, 상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하도록 제어하는 것을 특징으로 한다.In order to achieve the above object, an electronic device supporting content editing of the present invention includes at least one camera for acquiring a photographed image of a subject, a memory for storing a stream file obtained by the at least one camera, and the stream A communication interface for transmitting a video product created based on a file, a processor for controlling operation of the at least one camera, the memory, and the communication interface, wherein the processor stores stream files acquired by the camera in the memory. storage, creates a virtual space based on the stream files stored in the memory, provides a list of various types of content to be placed on the virtual space, and places at least one content selected by a user input on the virtual space and controlling to broadcast through the communication interface the video production product that has been produced according to the completion of the arrangement of the at least one content.
여기서, 상기 카메라는 상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하기 위한 복수의 카메라 모듈 및 상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하기 위한 깊이 카메라 모듈 중 적어도 하나를 포함할 수 있다. Here, the camera may include at least one of a plurality of camera modules for obtaining stream files photographed with respect to the subject at various angles and a depth camera module for obtaining a stream file including depth information on the subject. there is.
그리고 상기 프로세서는 상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하고, 상기 콘텐츠 목록은 3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함할 수 있다.The processor may generate the virtual space having three axis information for the stream files, and the content list may include at least one of a 3D object, a 2D image, an object indicating an audio file, and a text object. .
여기서, 상기 프로세서는 상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 것을 특징으로 한다.Here, the processor is characterized in that it performs 3D conversion processing on the 2D image or the text object so that it can be arranged on the virtual space.
한편, 상기 프로세서는 상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하도록 제어할 수 있다. Meanwhile, the processor may control the video production to be broadcast in one of a designated live broadcasting method and a VOD (Video on Demand) method.
본 발명의 실시 예에 따른 콘텐츠 편집을 지원하는 전자 장치의 운용 방법은 적어도 하나의 카메라를 이용하여 피사체에 대한 스트림 파일을 획득하는 단계, 상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하는 단계, 상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하는 단계, 상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하는 단계, 사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하는 단계, 상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하는 단계를 포함하는 것을 특징으로 한다.A method of operating an electronic device supporting content editing according to an embodiment of the present invention includes obtaining a stream file for a subject using at least one camera, storing the stream files obtained by the camera in the memory, Creating a virtual space based on stream files stored in the memory, providing a list of various types of contents to be placed on the virtual space, and placing at least one content selected by a user input on the virtual space. and broadcasting through the communication interface a produced video product according to completion of the arrangement of the at least one content.
상기 방법에서 상기 스트림 파일을 획득하는 단계는 복수의 카메라 모듈을 이용하여 상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하는 단계 및In the method, the step of obtaining the stream file includes obtaining stream files photographed at various angles with respect to the subject using a plurality of camera modules, and
깊이 카메라 모듈을 이용하여 상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하는 단계를 포함할 수 있다.The method may include obtaining a stream file including depth information of the subject by using a depth camera module.
또한, 상기 가상공간을 생성하는 단계는, 상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하는 단계를 포함하고, 상기 콘텐츠 목록은 3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함하는 것을 특징으로 한다.In addition, the step of creating the virtual space includes creating the virtual space having three axis information for the stream files, and the content list is an object indicating a 3D object, a 2D image, and an audio file , It is characterized in that it includes at least one of text objects.
한편, 상기 가상공간 상에 배치하는 단계는 상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 단계를 포함할 수 있으며, 상기 방송하는 단계는 상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하는 단계를 포함할 수 있다. Meanwhile, the placing on the virtual space may include performing 3D conversion processing on the 2D image or the text object so that the text object can be placed on the virtual space, and the broadcasting may include performing a 3D conversion process on the 2D image or the text object. It may include broadcasting in one of the designated live broadcasting method and VOD (Video on Demand) method even if it dies.
본 발명에 따르면, 본 발명은 실제 현실에 대응하는 이미지를 3D 가상공간을 구성하고, 해당 3D 가상공간에서 실시간 콘텐츠 이용을 지원할 수 있다. According to the present invention, the present invention configures an image corresponding to real reality in a 3D virtual space, and can support the use of real-time content in the corresponding 3D virtual space.
또한, 본 발명은 객체 편집을 통하여 다양한 콘텐츠를 3D 가상공간에서 증강 현실 형태로 즐길 수 있도록 함으로써, 콘텐츠의 타입에 국한되지 않고, 다양한 형태의 콘텐츠를 증강 현실상에서 이용할 수 있도록 지원한다. In addition, the present invention supports the use of various types of content in augmented reality without being limited to the type of content by allowing various types of content to be enjoyed in the form of augmented reality in a 3D virtual space through object editing.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.In addition, various effects other than the above effects may be disclosed directly or implicitly in detailed descriptions according to embodiments of the present invention to be described later.
도 1은 본 발명의 실시 예에 따른 증강 현실 지원 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 실제 환경에 대한 증강 이미지의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 콘텐츠 믹서 운용에 따른 콘텐츠 편집 화면의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 콘텐츠 편집을 위한 소스 화면의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 서비스 규칙 설정의 한 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 콘텐츠 객체의 규칙 설정의 한 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 가상공간에서의 콘텐츠 배치 및 표시와 관련한 화면의 한 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 콘텐츠 편집을 지원하는 전자 장치 운용 방법의 한 예를 나타낸 도면이다.1 is a diagram showing an example of an augmented reality supporting environment according to an embodiment of the present invention.
2 is a diagram illustrating an example of a configuration of an electronic device according to an embodiment of the present invention.
3 is a diagram illustrating an example of an augmented image of a real environment according to an embodiment of the present invention.
4 is a diagram showing an example of a content editing screen according to the operation of a content mixer according to an embodiment of the present invention.
5 is a diagram illustrating an example of a source screen for content editing according to an embodiment of the present invention.
6 is a diagram illustrating an example of service rule setting according to an embodiment of the present invention.
7 is a diagram illustrating an example of rule setting of a content object according to an embodiment of the present invention.
8 is a diagram showing an example of a screen related to content arrangement and display in a virtual space according to an embodiment of the present invention.
9 is a diagram illustrating an example of a method for operating an electronic device supporting content editing according to an embodiment of the present invention.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.In order to clarify the characteristics and advantages of the problem solving means of the present invention, the present invention will be described in more detail with reference to specific embodiments of the present invention shown in the accompanying drawings.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention will be omitted in the following description and accompanying drawings. In addition, it should be noted that the same components are indicated by the same reference numerals throughout the drawings as much as possible.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the following description and drawings should not be construed as being limited to a common or dictionary meaning, and the inventor may appropriately define the concept of terms for explaining his/her invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that there is. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention. It should be understood that there may be equivalents and variations.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.In addition, terms including ordinal numbers, such as first and second, are used to describe various components, and are used only for the purpose of distinguishing one component from other components, and to limit the components. Not used. For example, a second element may be termed a first element, and similarly, a first element may be termed a second element, without departing from the scope of the present invention.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In addition, terms such as "include" or "having" described in this specification are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or the other It should be understood that the above does not preclude the possibility of the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, terms such as “unit”, “unit”, and “module” described in the specification refer to a unit that processes at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software. Also, "a or an", "one", "the" and similar related words in the context of describing the invention (particularly in the context of the claims below) Unless indicated or otherwise clearly contradicted by context, both the singular and the plural can be used.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.In addition to the above-mentioned terms, specific terms used in the following description are provided to aid understanding of the present invention, and the use of these specific terms may be changed in other forms without departing from the technical spirit of the present invention.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.In addition, embodiments within the scope of the present invention include computer-readable media having or conveying computer-executable instructions or data structures stored thereon. Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system. By way of example, such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions or data structures. physical storage media such as, but not limited to, any other medium that can be used to store or convey any program code means in a computer system and which can be accessed by a general purpose or special purpose computer system. .
이하, 각 도면들을 통하여, 본 발명을 구성하는 시스템과 장치 및 방법 등에 대해서 보다 상세히 설명하기로 한다.Hereinafter, the system, apparatus and method constituting the present invention will be described in more detail through each drawing.
도 1은 본 발명의 실시 예에 따른 증강 현실 지원 환경의 한 예를 나타낸 도면이다.1 is a diagram showing an example of an augmented reality supporting environment according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시 예에 따른 증강 현실 지원 환경(10)은 피사체(11), 상기 피사체(11)에 관한 이미지를 적어도 하나의 카메라를 통해 획득한 후 다양한 컨텐츠와 함께 믹싱하여 증강 현실 컨텐츠로서 제공할 수 있는 전자 장치(100), 네트워크(50) 및 사용자 단말(200)을 포함할 수 있다.Referring to FIG. 1 , an augmented
상기 피사체(11)는 3D AR 가상공간을 만들기 위한 목표가 될 수 있다. 예컨대, 상기 피사체(11)는 증강 현실에 해당하는 가상공간에서 놓일 수 있는 다양한 타입의 객체가 놓일 수 있는 일정한 공간을 포함할 수 있다. 또는 피사체(11)는 전자 장치(100)에 포함된 적어도 하나의 카메라에 의해 촬영된 환경 환경의 적어도 일부를 포함할 수 있다. 일 예로서, 상기 피사체(11)는 콘서트나 대회 또는 경기에 참여하는 참여자들이 관측하거나 또는 머무를 수 있는 공연장이나 대회장 또는 경기장 등, 일정 빈 공간을 포함하는 무대가 될 수 있다. 그러나 본 발명에서 피사체(11)의 특징이 상술한 무대로 한정되는 것은 아니며, 자연 경관이나 인공 구조물 등 다양한 형태의 구조물이나 배경을 포함할 수 있다.The
상기 전자 장치(100)는 상기 피사체(11)와 관련한 이미지를 획득하여 증강 현실에 대응하는 가상공간 이미지를 생성하고, 상기 가상공간 이미지에 다양한 콘텐츠를 믹싱하여 제공할 수 있다. 이를 위하여 상기 전자 장치(100)는 피사체(11)를 촬영할 수 있는 적어도 하나의 카메라를 포함할 수 있다. 또한, 상기 전자 장치(100)는 상기 가상공간 이미지에 적용한 다양한 콘텐츠를 생성하거나 또는 수집 및 기 저장된 콘텐츠를 상기 가상공간 이미지에서 사용할 수 있도록 변환하고, 변환된 콘텐츠를 사용자 단말(200)이 이용할 수 있도록 지원할 수 있다. 추가적으로, 본 발명의 설명에서는 전자 장치(100)가 피사체(11)에 관한 영상을 획득한 후, 획득된 영상에 대응하는 증강 현실 이미지를 생성하여 제공하면서, 다양한 콘텐츠를 편집하여 제공하는 형태로 설명하지만 본 발명이 이에 한정되는 것은 아니다. 예컨대, 별도의 서버 장치와 복수의 카메라가 상기 전자 장치(100)를 대체할 수 있다. 이 경우, 복수의 카메라는 피사체(11)와 관한 다양한 이미지를 획득하고, 획득된 이미지를 실시간으로 상기 서버 장치에 전송할 수 있다. 상기 서버 장치는 상기 복수의 카메라가 제공하는 촬영 이미지에 대응하는 증강 현실 이미지를 생성하고, 상기 증강 현실 이미지에 적용할 수 있는 다양한 콘텐츠를 이용할 수 있는 기능을 사용자 단말(200) 또는 상기 복수의 카메라를 운용하는 장치에 제공할 수 있다. 상기 서버 장치에 저장되는 정보는 상기 증강 현실에 적용할 수 있는 정보로서, 2D 이미지, 텍스트, 3D 객체, 오디오 정보 등 다양한 콘텐츠를 포함할 수 있다. The
상기 네트워크(50)는 상기 전자 장치(100)와 적어도 하나의 사용자 단말(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 전자 장치(100)와 사용자 단말(200) 간 통신 채널을 형성할 수 있는 다양한 타입의 통신 방식을 지원할 수 있다. 예컨대, 상기 네트워크(50)는 다양한 세대의 이동통신 네트워크 또는 인터넷 네트워크 등을 포함할 수 있다. 상기 전자 장치(100)를 대체하여 복수의 카메라와 서버 장치가 마련되는 경우, 상기 네트워크(50)는 상기 복수의 카메라와 상기 서버 장치 간의 통신 채널 및 상기 서버 장치와 상기 사용자 단말(200) 간의 통신 채널을 형성하도록 지원할 수 있다. The
상기 사용자 단말(200)은 상기 네트워크(50)를 통하여 상기 전자 장치(100)가 제공하는 증강 현실 이미지 및 다양한 콘텐츠를 이용할 수 있는 사용자 장치를 포함할 수 있다. 예컨대, 상기 사용자 단말(200)은 데스크톱 컴퓨팅 장치, 이동통신 지원 장치 등 다양한 컴퓨팅 장치를 포함할 수 있다. 상기 사용자 단말(200)은 네트워크(50)와 통신 채널을 형성할 수 있는 통신 회로, 상기 전자 장치(100)가 제공하는 증강 현실 이미지를 출력할 수 있는 화면 표시 장치, 전자 장치(100)가 제공하는 다양한 콘텐츠를 선택하거나, 선택된 콘텐츠에 대한 편집을 요청할 수 있는 입력 신호를 생성할 수 있는 입력 장치, 상기 전자 장치(100)가 제공하는 증강 현실 콘텐츠의 오디오 신호를 처리할 수 있는 오디오 장치, 상술한 정보들을 저장할 수 있는 저장 장치, 상술한 각 구성들의 운용과 신호 처리를 제어하는 단말 프로세서를 포함할 수 있다. The
도 2는 본 발명의 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.2 is a diagram illustrating an example of a configuration of an electronic device according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 전자 장치(100)는 통신 인터페이스(110), 입력 장치(120), 디스플레이(130), 메모리(140), 카메라(150) 및 프로세서(160)를 포함할 수 있다. Referring to FIG. 2 , the
상기 통신 인터페이스(110)는 상기 전자 장치(100)의 통신 기능을 지원할 수 있는 구성이다. 상기 통신 인터페이스(110)는 예컨대, 상기 카메라(150)가 획득한 이미지 또는 증강 현실 이미지 중 적어도 일부를 사용자 단말(200)에 제공할 수 있도록 상기 네트워크(50)와 통신 채널을 형성할 수 있는 적어도 하나의 통신 방식을 지원하는 통신 회로를 포함할 수 있다. 예컨대, 상기 통신 인터페이스(110)는 4G 또는 5G 이동통신 네트워크를 이용할 수 있는 통신 회로 또는 인터넷 네트워크를 이용할 수 있는 통신 회로 중 적어도 하나를 포함할 수 있다. The
상기 입력 장치(120)는 상기 전자 장치(100) 운용과 관련한 사용자(또는 운용자) 입력을 생성할 수 있는 장치이다. 예컨대, 상기 입력 장치(120)는 키보드, 마우스, 터치스크린, 마이크 등 다양한 장치를 포함할 수 있다. 상기 입력 장치(120)는 상기 카메라(150)의 턴-온 또는 턴-오프 타이밍을 제어할 수 있는 입력 신호, 증강 현실 이미지의 적어도 일부를 편집하기 위한 입력 신호, 증강 현실 이미지에 대응하는 가상공간 상에 추가할 콘텐츠를 선택하는 입력 신호 등을 생성할 수 있다. The
상기 디스플레이(130)는 상기 전자 장치(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예컨대, 상기 디스플레이(130)는 상기 카메라(150) 운용을 통해 획득되는 피사체(11) 관련 이미지를 출력하는 화면, 상기 피사체(11) 관련 이미지를 증강 현실의 가상공간으로 변환한, 가상공간 이미지를 표시하는 화면, 상기 가상공간 이미지 상에 운용자가 선택한 콘텐츠가 배치되는 화면, 상기 가상공간 이미지 상에 배치된 콘텐츠가 재생되는 화면 등을 출력할 수 있다. 특히, 상기 디스플레이(130)는 상기 가상공간 이미지 편집 화면 및 상기 콘텐츠 편집 화면을 출력할 수 있다. 추가로, 상기 디스플레이(130)는 상기 가상공간 이미지 및 콘텐츠를 시청 중인 사용자 단말(200)들과 관련한 정보, 사용자 단말(200)이 편집 요청한 메시지를 출력할 수 있다.The
상기 메모리(140)는 상기 전자 장치(100) 운용에 필요한 다양한 데이터 및 프로그램 중 적어도 일부를 저장할 수 있다. 예컨대, 상기 메모리(140)는 증강 현실 이미지에 대응하는 가상공간을 생성하기 위하여 상기 카메라(150)가 수집한 스트림 파일(142) 및 상기 가상공간 상에 적용할 수 있는 적어도 하나의 3D 객체(141)를 포함할 수 있다. 상기 스트림 파일(142)은 카메라(150)로부터 수집된 피사체(11) 관련 이미지로서, 복수개의 카메라들에 의해 피사체(11)에 관한 이미지가 촬영되는 경우, 상기 스트림 파일(142)은 복수개가 될 수 있다. 이에 따라, 스트림 파일(142)은 피사체(11)를 촬영하는 카메라(150)의 각도에 따라 다양한 각도에서 촬영되는 피사체(11)의 촬영 이미지를 포함할 수 있다. 상기 3D 객체(141)는 상기 가상공간 상에 적용할 수 있는 입체 이미지로서, 입체 이미지를 제공하는 특정 서버 장치에서 수신하여 상기 메모리(140)에 저장되거나 또는 상기 사용자 단말(200)이 제공하여 수신 및 저장할 수 있다. 또는, 상기 전자 장치(100)가 2D 이미지 등을 이용하여 생성할 수도 있다. 상기 가상공간 상에 적용될 수 있는 3D 객체(141)는 정지 이미지 및 동영상 이미지를 포함할 수 있다. 예컨대, 3D 객체(141)는 전자 장치(100)의 운용자 입력 또는 사용자 단말(200)의 입력에 의해 지정된 재생 이미지를 출력할 수 있다. 또는, 상기 3D 객체(141)는 전자 장치(100)의 운용자 입력 또는 사용자 단말(200)의 입력에 의해 특정 동작을 수행할 수 있는 3D 애니메이션 객체를 포함할 수 있다. 추가로, 상기 메모리(140)는 상기 가상공간 상에 적용할 수 있는 2D 이미지, 텍스트, 오디오 정보 등을 더 저장할 수 있다. The
상기 카메라(150)는 상기 피사체(11)에 관한 이미지를 촬영하고, 촬영된 이미지를 프로세서(160)에 전달할 수 있다. 상기 카메라(150)는 예컨대 복수개의 카메라 모듈을 포함할 수 있다. 상기 복수의 카메라 모듈은 피사체(11)를 다양한 각도에서 촬영할 수 있는 위치에 배치될 수 있다. 상기 복수의 카메라 모듈은 적어도 피사체(11)와 관련한 RGB 이미지를 획득할 수 있는 적어도 하나의 RGB 카메라, 피사체(11)의 깊이 데이터를 획득할 수 있는 적어도 하나의 Depth 카메라를 포함할 수 있다. 상기 적어도 하나의 RGB 카메라와 상기 적어도 하나의 Depth 카메라는 동일한 피사체(11)를 촬영할 수 있도록 배치되며 촬영 거리와 촬영 각도가 지정된 범위 이내에서 동일 또는 유사하게 형성될 수 있다. The
상기 프로세서(160)는 상기 전자 장치(100) 운용과 관련한 신호의 전달과 처리를 담당한다. 상기 프로세서(160)는 사용자 입력에 따른 카메라(150)의 턴-온/턴-오프를 제어하고, 카메라(150)가 획득한 촬영 이미지를 기반으로, 증강 현실 이미지에 대응하는 가상공간 이미지를 생성하여 통신 인터페이스(110)를 통하여 방송 방식으로 송출할 수 있다. 또한, 상기 프로세서(160)는 상기 가상공간 이미지에 지정된 3D 객체(141)를 적용하여 송출할 수 있다. 이와 관련하여, 상기 프로세서(160)는 스트림 믹서(161)를 포함할 수 있다. The
상기 스트림 믹서(161)는 가상공간 이미지 생성 및 콘텐츠 편집을 지원할 수 있다. 이와 관련하여, 상기 스트림 믹서(161)는 사용자 입력에 대응하여 상기 카메라(150)를 통해 획득된 적어도 하나의 피사체(11) 관련 스트림 파일들을 확인할 수 있는 화면을 상기 디스플레이(130)에 출력할 수 있다. 상기 스트림 믹서(161)는 스트림 파일들 중 적어도 일부를 사용자 입력에 의해 취사선택하고, 사용자 입력에 따라 선택된 스트림 파일의 적어도 일부의 재생 타이밍 및 재생 시간을 결정하고, 이를 기반으로 가상공간 이미지를 생성할 수 있다. 상기 스트림 믹서(161)는 메모리(140)에 저장된 3D 객체들의 리스트를 출력할 수 있다. 상기 리스트는 상기 3D 객체가 어떠한 아이템인지를 나타내는 썸네일 또는 3D 객체를 설명하는 텍스트 정보를 포함할 수 있다. 상기 스트림 믹서(161)는 사용자 입력에 의해 선택된 3D 객체를 상기 가상공간 이미지에 배치할 수 있도록 지원한다. 상술한 바와 같이 본 발명의 스트림 믹서(161)는 피사체(11)에 관한 실시간 이미지를 기반으로 증강 현실 이미지에 대응하는 가상공간을 제공하고, 상기 가상공간에 3D 객체를 배치할 수 있도록 지원할 수 있다. 추가적으로 또는 대체적으로 상기 스트림 믹서(161)는 2D 이미지, 오디오 파일, 텍스트 중 적어도 일부를 상기 가상공간에 배치할 수 있도록 지원할 수 있다. 이 과정에서 상기 스트림 믹서(161)는 상기 3D 이미지, 오디오 파일, 텍스트를 가상공간에 배치할 수 있도록 3D 객체화하거나, 사전 정의된 3D 객체에 매핑할 수 있다. The
도 3은 본 발명의 실시 예에 따른 실제 환경에 대한 증강 이미지의 한 예를 나타낸 도면이다.3 is a diagram illustrating an example of an augmented image of a real environment according to an embodiment of the present invention.
도 3을 참조하면, 앞서 도 1에서 설명한 피사체(11)가 도시된 바와 같이, 실제 공간(301)으로 제공될 수 있다. 또는, 실제 공간(301)을 촬영할 수 있도록 상기 전자 장치(100)의 카메라(150)가 배치될 수 있다. 상기 카메라(150)는 복수의 방향에서 실제 공간(301)을 촬영할 수 있도록 배치될 수 있으며, 카메라(150)가 획득한 복수의 스트림 파일을 프로세서(160)에 전달될 수 있다. Referring to FIG. 3 , the subject 11 previously described in FIG. 1 may be provided as a
상기 프로세서(160)는 수신된 스트림 파일들을 기반으로 가상공간(302)을 구성할 수 있다. 이때, 상기 프로세서(160)는 스트림 파일들에 포함된 특정 객체에 대한 위치 정보를 정의하고, 이미지가 겹치되는 영역들을 이어 붙이면서 위치 정보를 갱신하여 가상공간(302)을 생성할 수 있다. 이에 따라, 상기 가상공간(302)은 3개의 축 좌표 상에서 정의될 수 있다. The
도 4는 본 발명의 실시 예에 따른 콘텐츠 믹서 운용에 따른 콘텐츠 편집 화면의 한 예를 나타낸 도면이며, 도 5는 본 발명의 실시 예에 따른 콘텐츠 편집을 위한 소스 화면의 한 예를 나타낸 도면이다.4 is a diagram showing an example of a content editing screen according to the operation of a content mixer according to an embodiment of the present invention, and FIG. 5 is a diagram showing an example of a source screen for content editing according to an embodiment of the present invention.
도 4를 참조하면, 전자 장치(100)의 스트림 믹서(161)는 프로그램 형태 또는 하드웨어 편집기 형태 중 적어도 하나로 구성되거나 또는 스트림 믹서(161)의 적어도 일부가 소프트웨어 또는 하드웨어 형태로 구성될 수 있다. 상기 스트림 믹서(161)는 실행 요청에 따라, 도시된 바와 같이 믹서 실행 화면(400)을 디스플레이(130)에 출력할 수 있다. 상기 믹서 실행 화면(400)은 예컨대, 복수개의 스트림 파일들 각각에 대응하는 대표 이미지들이 나열된 스트림 파일 검색 화면 영역(410), 스트림 파일들의 목록을 확인할 수 있는 스트림 파일 목록 화면 영역(420), 선택된 스트림 파일의 재생 타이밍 및 재생 시간을 조절할 수 있는 편집 화면 영역(430)을 포함할 수 있다. Referring to FIG. 4 , the
상기 스트림 파일 검색 화면 영역(410)은 복수개의 스트림 파일들 중 적어도 일부 스트림 파일들에 포함된 주요 장면들 또는 일정 주기의 프레임들을 확인할 수 있는 영역을 포함할 수 있다. 상기 스트림 파일 검색 화면 영역(410)에 표시될 수 있는 스트림 파일들의 개수 및 각 스트림 파일들의 대표 이미지의 개수는 사용자 입력에 따라 조절될 수 있다. The stream file
상기 스트림 파일 목록 화면 영역(420)은 현재 카메라(150)가 획득하는 스트림 파일들 중 적어도 일부에 대응하는 목록 또는 메모리(140)에 저장된 스트림 파일들 중 적어도 일부에 대응하는 목록을 포함할 수 있다. 도시된 도면에서는 9개의 카메라 목록을 예시하였으나, 카메라(150)의 개수에 따라 상기 스트림 파일 목록 화면 영역(420)에 출력되는 목록의 개수는 조절될 수 있다. 상기 스트림 파일 목록 화면 영역(420)에 포함된 목록을 선택 여부에 따라 상기 스트림 파일 검색 화면 영역(410)에 출력되는 스트림 파일들의 대표 이미지들의 개수가 달라질 수 있다. The stream file
상기 편집 화면 영역(430)은 도 3에서 설명한 가상공간(302)을 구현하기 위해 선택되는 스트림 파일 및 선택된 스트림 파일의 재생 타이밍 및 재생 시간을 편집할 수 있는 영역이 될 수 있다. 스트림 믹서(161)는 상술한 영역들을 통하여 카메라(150)가 획득하는 복수개의 스트림 파일들 중 사용자 입력에 의해 선택된 스트림 파일을 이용하여 가상공간(302)을 구현할 수 있다. 상기 스트림 믹서(161)에 의해 생성되는 가상공간(302)은 예컨대, 카메라(150)가 실시간으로 촬영하는 이미지를 3개의 축 정보를 포함하며 다양한 타입의 콘텐츠 배치가 가능한 가상공간으로 변환한 공간 이미지를 포함할 수 있다. The
도 5를 참조하면, 상기 스트림 믹서(161)는 상기 스트림 파일들을 이용한 가상공간(302) 상에 객체를 추가할 수 있는 편집화면을 제공할 수 있다. 도시된 바와 같이, 스트림 믹서(161)는 객체를 추가할 수 있는 객체 추가 영역 및 추가된 객체의 이벤트를 정의하는 이벤트 영역을 포함할 수 있다. 상기 객체 추가 영역은 예컨대, 객체 이름, 객체 위치, 객체 방향, 객체 크기를 정의할 수 있는 항목들을 포함할 수 있다. 상기 이벤트 영역은 이벤트 종류, 이벤트를 적용할 객체 이름, 이벤트를 통해 객체가 수행하는 액션, 객체가 이벤트를 수행하는 시간을 입력하는 항목을 포함할 수 있다. Referring to FIG. 5 , the
도 6은 본 발명의 실시 예에 따른 서비스 규칙 설정의 한 예를 나타낸 도면이며, 도 7은 본 발명의 실시 예에 따른 콘텐츠 객체의 규칙 설정의 한 예를 나타낸 도면이다.6 is a diagram showing an example of service rule setting according to an embodiment of the present invention, and FIG. 7 is a diagram showing an example of rule setting of a content object according to an embodiment of the present invention.
전자 장치(100)는 가상공간 및 편집된 객체 제공에 관한 서비스 규칙 설정을 정의할 수 있다. 예컨대, 도 6을 참조하면, 서비스 규칙 설정은, 서비스 정의자 service, display name, package name(파일 시스템 접근 시 문제가 발생하지 않는 문자열로 기재), type(VR 또는 AR 종류), description, thumbnail(주소 값, Url), media_length(예: ms(milliseconds) 단위), streaming_type (예: live, vod) 규칙 설정 항목을 포함할 수 있다. The
또한, 전자 장치(100)는 가상공간 및 편집된 객체 제공에 관한 서비스 규칙 설정을 정의할 수 있다. 예컨대, 도 6을 참조하면, 서비스 규칙 설정은, 서비스 정의자 service, display name, package name(파일 시스템 접근 시 문제가 발생하지 않는 문자열로 기재), type(VR 또는 AR 종류), description, thumbnail(주소 값, Url), media_length(예: ms(milliseconds) 단위), streaming_type (예: live, vod) 규칙 설정 항목을 포함할 수 있다. Also, the
또한, 전자 장치(100)는 가상공간 및 편집된 객체 제공에 관한 장면 규칙 설정을 정의할 수 있다. 예컨대, 도 7을 참조하면, 장면 규칙 설정은 map point count, size(세부 항목으로 width, height, depth 연산자 정의), origin(세부 항목으로 x, y, z 축 연산자 정의), object 정의, events 정의 항목을 포함할 수 있다. 상기 object 정의는 예컨대, object name 항목(세부 항목으로 type, id, src, visibility 항목), location(세부 항목으로 x, y, z 축 위치 값), orientation(세부 항목으로 x, y, z 축 방향), scale 항목(세부 항목으로 x, y, z 축 크기)을 포함할 수 있다. events 정의는 예컨대, event name(세부 항목으로 id, object_id), actions 항목(세부 항목으로 action name, condition 항목, time start, trigger id 항목)을 포함할 수 있다. In addition, the
도 8은 본 발명의 실시 예에 따른 가상공간에서의 콘텐츠 배치 및 표시와 관련한 화면의 한 예를 나타낸 도면이다.8 is a diagram showing an example of a screen related to content arrangement and display in a virtual space according to an embodiment of the present invention.
도 8을 참조하면, 810 화면은 스트림 믹서(161)를 이용한 가상공간(302)에서의 콘텐츠들(811, 812, 813) 배치를 나타낸 것이다. 이를 위하여, 상기 스트림 믹서(161)는 앞서 도 3에서 설명한 스트림 파일을 이용한 가상공간(302) 생성이 완료되면, 생성된 가상공간(302)을 디스플레이(130)에 표시하고, 해당 가상공간(302)에 배치할 수 있는 적어도 하나의 콘텐츠 목록을 제공할 수 있다. 여기서, 콘텐츠 목록은 썸네일 형태로 제공될 수 있다. 상기 콘텐츠들(811, 812, 813)은 예컨대, 3D 객체이거나, 2D 이미지, 오디오 파일을 지시하는 특정 객체 또는 텍스트 객체를 포함할 수 있다. 도시된 도면에서는 3D 객체들을 배치하는 상황을 예시한 것이다.Referring to FIG. 8 ,
콘텐츠들(811, 812, 813)의 배치가 완료되고, 가상공간(302) 및 콘텐츠들(811, 812, 813)의 배치 완료를 통해 방송할 콘텐츠 작성 완료를 수행하면, 820 화면에서와 같이, 가상공간(302) 상에 콘텐츠들(811, 812, 813)이 배치된 영상 제작물(801) 작성이 완료되고, 해당 영상 제작물(801)은 방송을 통해 사용자 단말(200)들에 제공될 수 있다. 여기서, 상기 영상 제작물(801)은 라이브 방송으로 송출되거나 또는 VOD 서비스를 통해 제공될 수 있다. When the arrangement of the
도 9는 본 발명의 실시 예에 따른 콘텐츠 편집을 지원하는 전자 장치 운용 방법의 한 예를 나타낸 도면이다.9 is a diagram illustrating an example of a method for operating an electronic device supporting content editing according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 전자 장치 운용 방법과 관련하여, 전자 장치(100)의 카메라(150)는 901 단계에서, 피사체(11)에 관한 스트림 파일을 획득할 수 있다. 이 단계에서 상기 전자 장치(100)는 복수개의 카메라들을 이용하여 다양한 각도에서 촬영되는 피사체(11)의 스트림 파일들을 획득할 수 있다. 또한, 상기 전자 장치(100)는 가상공간 형성을 위하여 피사체(11)에 관한 깊이 값 획득을 위해 깊이 카메라를 이용한 깊이 값 정보를 포함하는 스트림 파일을 획득할 수 있다.Referring to FIG. 9 , in relation to the electronic device operating method of the present invention, the
903 단계에서, 전자 장치(100)는 획득된 스트림 파일을 이용하여 가상공간(302)을 생성할 수 있다. 상기 가상공간(302)은 예컨대, 3개의 축 좌표 값으로 정의되는 가상의 공간을 포함할 수 있다. 상기 가상공간(302)은 예컨대, 증강 현실 이미지 또는 가상 현실 이미지에 대응하는 공간으로 정의될 수 있다.In
905 단계에서, 전자 장치(100)는 상기 가상공간(302) 상에 콘텐츠를 배치할 수 있다. 이와 관련하여, 상기 전자 장치(100)는 상기 가상공간(302) 상에 배치할 수 있는 콘텐츠 목록을 표시하고, 사용자 입력에 대응하여 콘텐츠들을 상기 가상공간(302) 상에 배치할 수 있다. 또는, 상기 전자 장치(100)는 사전 정의된 특정 콘텐츠를 상기 가상공간(302) 상에 배치할 수 있다. 상기 가상공간(302) 상에 배치되는 콘텐츠는 예컨대, 3D 객체, 2D 이미지, 오디오 파일에 대응하는 개체, 텍스트 중 적어도 하나를 포함할 수 있다. 상기 전자 장치(100)는 2D 이미지 또는 텍스트 등은 가상공간(302)에 배치하기 위하여 3D 변환을 수행할 수 있다. In
907 단계에서, 상기 전자 장치(100)는 콘텐츠 배치가 완료된 이후, 사용자 입력에 따라 영상 제작물(801) 작성 완료를 수행할 수 있다. 상기 전자 장치(100)는 작성 완료된 영상 제작물(801)을 메모리(140)에 임시 저장할 수 있다.In
다음으로, 909 단계에서, 상기 전자 장치(100)는 제작 완료된 영상 제작물(801)을 지정된 방식으로 방송하여 사용자 단말(200)이 수신 및 시청할 수 있도록 지원할 수 있다. 상기 지정된 방식은 예컨대, 실시간 라이브 방송 방식 또는 VOD 방식 등이 될 수 있다. Next, in
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. As set forth above, this specification contains many specific implementation details, but these should not be construed as limiting on the scope of any invention or claimables, but rather may be specific to a particular embodiment of a particular invention. It should be understood as a description of the features in
또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안 되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Further, while operations are depicted in the drawings in a specific order, it should not be understood that all illustrated operations must be performed or that those operations must be performed in the specific order shown or in sequential order to obtain desired results. In certain cases, multitasking and parallel processing can be advantageous. Further, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the described program components and systems are generally integrated together into a single software product or packaged into multiple software products. You have to understand that it can be.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The present description presents the best mode of the invention and provides examples to illustrate the invention and to enable those skilled in the art to make and use the invention. The specification thus prepared does not limit the invention to the specific terms presented. Therefore, although the present invention has been described in detail with reference to the above-described examples, a person skilled in the art may make alterations, changes, and modifications to the present examples without departing from the scope of the present invention.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be determined by the described embodiments, but by the claims.
10: 증강 현실 지원 환경
11: 피사체
50: 네트워크
100: 전자 장치
110: 통신 인터페이스
120: 입력 장치
130: 디스플레이
140: 메모리
150: 카메라
160: 프로세서
200: 사용자 단말10: Augmented reality enabled environment
11: subject
50: network
100: electronic device
110: communication interface
120: input device
130: display
140: memory
150: camera
160: processor
200: user terminal
Claims (10)
상기 적어도 하나의 카메라가 획득한 스트림 파일을 저장하는 메모리;
상기 스트림 파일을 기반으로 생성된 영상 제작물을 송출하는 통신 인터페이스;
상기 적어도 하나의 카메라, 상기 메모리 및 상기 통신 인터페이스의 운용을 제어하는 프로세서;를 포함하고,
상기 프로세서는
상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하고,
상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하고,
상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하고,
사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하고,
상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하도록 제어하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.At least one camera for obtaining a photographed image of the subject;
a memory for storing a stream file acquired by the at least one camera;
a communication interface for transmitting a video product created based on the stream file;
A processor controlling operation of the at least one camera, the memory, and the communication interface;
The processor
Storing stream files acquired by the camera in the memory;
Creating a virtual space based on stream files stored in the memory;
providing a list of various types of contents to be placed on the virtual space;
disposing at least one piece of content selected by a user input on the virtual space;
An electronic device that supports content editing, characterized in that controlling to broadcast a produced video product through the communication interface upon completion of the at least one content arrangement.
상기 카메라는
상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하기 위한 복수의 카메라 모듈;
상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하기 위한 깊이 카메라 모듈;을 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.According to claim 1,
the camera
a plurality of camera modules for acquiring stream files photographed at various angles with respect to the subject;
An electronic device that supports content editing, comprising: a depth camera module for acquiring a stream file including depth information of the subject.
상기 프로세서는
상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하고,
상기 콘텐츠 목록은
3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.According to claim 1,
The processor
Creating the virtual space having three axis information for the stream files;
The above content list is
An electronic device supporting content editing comprising at least one of a 3D object, a 2D image, an object indicating an audio file, and a text object.
상기 프로세서는
상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.According to claim 3,
The processor
An electronic device supporting content editing, characterized in that performing 3D conversion processing on the 2D image or the text object so that it can be arranged on the virtual space.
상기 프로세서는
상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치.According to claim 1,
The processor
An electronic device that supports content editing, characterized in that the video production is broadcasted in one of a designated live broadcasting method and a VOD (Video on Demand) method.
상기 카메라가 획득한 스트림 파일들을 상기 메모리에 저장하는 단계;
상기 메모리에 저장된 스트림 파일들을 토대로 가상공간을 생성하는 단계;
상기 가상공간 상에 배치할 다양한 타입의 콘텐츠들의 목록을 제공하는 단계;
사용자 입력에 의해 선택된 적어도 하나의 콘텐츠를 상기 가상공간 상에 배치하는 단계;
상기 적어도 하나의 콘텐츠 배치 완료에 따라 제작 완료된 영상 제작물을 상기 통신 인터페이스를 통해 방송하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.obtaining a stream file for a subject using at least one camera;
storing the stream files acquired by the camera in the memory;
generating a virtual space based on stream files stored in the memory;
providing a list of various types of contents to be placed in the virtual space;
arranging at least one piece of content selected by a user input on the virtual space;
A method of operating an electronic device that supports content editing, comprising: broadcasting a produced video product through the communication interface upon completion of the at least one content arrangement.
상기 스트림 파일을 획득하는 단계는
복수의 카메라 모듈을 이용하여 상기 피사체에 대해 다양한 각도에서 촬영된 스트림 파일들을 획득하는 단계; 및
깊이 카메라 모듈을 이용하여 상기 피사체에 대한 깊이 정보를 포함하는 스트림 파일을 획득하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.According to claim 6,
The step of obtaining the stream file is
Obtaining stream files photographed at various angles with respect to the subject using a plurality of camera modules; and
A method of operating an electronic device supporting content editing, comprising: acquiring a stream file including depth information on the subject by using a depth camera module.
상기 가상공간을 생성하는 단계는,
상기 스트림 파일들에 대해 3개의 축 정보를 가지는 상기 가상공간을 생성하는 단계;를 포함하고,
상기 콘텐츠 목록은
3D 객체, 2D 이미지, 오디오 파일을 지시하는 객체, 텍스트 객체 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.According to claim 6,
The step of creating the virtual space,
Generating the virtual space having three axis information for the stream files;
The above content list is
A method of operating an electronic device supporting content editing, comprising at least one of a 3D object, a 2D image, an object indicating an audio file, and a text object.
상기 가상공간 상에 배치하는 단계는
상기 2D 이미지 또는 상기 텍스트 객체에 대해 상기 가상공간 상에 배치할 수 있도록 3D 변환 처리를 수행하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.According to claim 8,
The step of arranging on the virtual space is
A method of operating an electronic device supporting content editing, comprising: performing a 3D conversion process on the 2D image or the text object so as to arrange it on the virtual space.
상기 방송하는 단계는
상기 영상 제작물을 지정된 라이브 방송 방식 및 VOD(Video on demand) 방식 중 죽어도 하나의 방식으로 방송하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 편집을 지원하는 전자 장치의 운용 방법.According to claim 6,
The broadcasting step
A method of operating an electronic device that supports content editing, comprising: broadcasting the video production in one of a designated live broadcasting method and a VOD (Video on Demand) method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152941A KR20230067790A (en) | 2021-11-09 | 2021-11-09 | Electronic device for supporting of content edit and operation method thereof |
PCT/KR2021/017529 WO2023085493A1 (en) | 2021-11-09 | 2021-11-25 | Electronic device for supporting content editing, and operating method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152941A KR20230067790A (en) | 2021-11-09 | 2021-11-09 | Electronic device for supporting of content edit and operation method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230067790A true KR20230067790A (en) | 2023-05-17 |
Family
ID=86336210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210152941A KR20230067790A (en) | 2021-11-09 | 2021-11-09 | Electronic device for supporting of content edit and operation method thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230067790A (en) |
WO (1) | WO2023085493A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101933185B1 (en) * | 2012-05-23 | 2018-12-27 | 현대모비스 주식회사 | System for automatic control of around view monitoring camera and methed thereof |
KR101984915B1 (en) * | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | Supporting Portable Device for operating an Augmented reality contents and system, and Operating Method thereof |
JP6555513B2 (en) * | 2015-06-30 | 2019-08-07 | 株式会社セガゲームス | program |
KR101782045B1 (en) * | 2016-05-30 | 2017-09-27 | 시크릿타운 주식회사 | Method and apparatus for generating virtual reality(VR) content via virtual reality platform |
JP6717516B2 (en) * | 2017-12-26 | 2020-07-01 | 株式会社音楽館 | Image generation system, image generation method and program |
-
2021
- 2021-11-09 KR KR1020210152941A patent/KR20230067790A/en unknown
- 2021-11-25 WO PCT/KR2021/017529 patent/WO2023085493A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023085493A1 (en) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8644467B2 (en) | Video conferencing system, method, and computer program storage device | |
US20180068488A1 (en) | Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium | |
CN109218630B (en) | Multimedia information processing method and device, terminal and storage medium | |
CN112235585B (en) | Live broadcasting method, device and system for virtual scene | |
US11956408B2 (en) | Information processing system, information processing method, and storage medium | |
US20170150212A1 (en) | Method and electronic device for adjusting video | |
CN110996150A (en) | Video fusion method, electronic device and storage medium | |
CN110730340B (en) | Virtual audience display method, system and storage medium based on lens transformation | |
KR100901111B1 (en) | Live-Image Providing System Using Contents of 3D Virtual Space | |
JP2005020607A (en) | Composite image output device and composite image output processing program | |
CN110720214B (en) | Display control apparatus, display control method, and storage medium | |
KR101915792B1 (en) | System and Method for Inserting an Advertisement Using Face Recognition | |
KR102054116B1 (en) | Customized Stage Video Delivery System | |
CN112153472A (en) | Method and device for generating special picture effect, storage medium and electronic equipment | |
JP2015162117A (en) | server device, program, and information processing method | |
KR20230067790A (en) | Electronic device for supporting of content edit and operation method thereof | |
CN116962745A (en) | Mixed drawing method, device and live broadcast system of video image | |
CN116847147A (en) | Special effect video determining method and device, electronic equipment and storage medium | |
CN112887653B (en) | Information processing method and information processing device | |
US11825191B2 (en) | Method for assisting the acquisition of media content at a scene | |
KR102223777B1 (en) | A Method and Apparatus For Sharing Augmented Reality Content Based On the Location | |
CN111367598B (en) | Method and device for processing action instruction, electronic equipment and computer readable storage medium | |
JP5962692B2 (en) | Terminal device and program | |
KR20180092411A (en) | Method and apparatus for transmiting multiple video | |
KR20170093466A (en) | Apparatus and method for providing contents, and computer program recorded on computer readable recording medium for executing the method |