KR102411974B1 - System for image synthesis using virtual markers - Google Patents

System for image synthesis using virtual markers Download PDF

Info

Publication number
KR102411974B1
KR102411974B1 KR1020210032955A KR20210032955A KR102411974B1 KR 102411974 B1 KR102411974 B1 KR 102411974B1 KR 1020210032955 A KR1020210032955 A KR 1020210032955A KR 20210032955 A KR20210032955 A KR 20210032955A KR 102411974 B1 KR102411974 B1 KR 102411974B1
Authority
KR
South Korea
Prior art keywords
content
marker
artificial intelligence
image
information
Prior art date
Application number
KR1020210032955A
Other languages
Korean (ko)
Other versions
KR20210087407A (en
Inventor
송창화
Original Assignee
(주)콘텐츠오션
송창화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)콘텐츠오션, 송창화 filed Critical (주)콘텐츠오션
Publication of KR20210087407A publication Critical patent/KR20210087407A/en
Application granted granted Critical
Publication of KR102411974B1 publication Critical patent/KR102411974B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

본 발명은 가상 마커를 활용한 실시간 영상 합성 시스템에 관한 것으로서, 더욱 상세하게는 카메라를 통해 수집된 이미지 또는 영상을 인공지능으로 분석하여 특정 객체를 추출하고, 상기 추출된 객체에 가상의 마커를 표시하여 가상의 콘텐츠를 실시간으로 합성하여 제공할 수 있도록 구성된 새로운 구조의 가상 마커를 활용한 실시간 영상 합성 시스템을 제공한다.
상기한 바에 따르면, 영상 취득 수단을 통해 수집된 영상에 가상 마커가 표시되고 상기 가상 마커에 해당하는 3차원 좌표에 미리 저장된 콘텐츠를 매칭함으로써, 상기 마커를 출력하여 특정 객체에 부착하지 않더라도 영상 취득 수단을 통해 수집된 영상에 미리 준비된 콘텐츠를 실시간으로 합성하는 가상 마커를 활용한 실시간 영상 합성 시스템을 제공할 수 있다.The present invention relates to a real-time image synthesis system using a virtual marker, and more particularly, extracts a specific object by analyzing an image or image collected through a camera with artificial intelligence, and displays a virtual marker on the extracted object Thus, a real-time image synthesis system using a virtual marker of a new structure configured to synthesize and provide virtual content in real time is provided.
According to the above, the virtual marker is displayed on the image collected through the image acquisition means, and by matching the content stored in advance to the three-dimensional coordinates corresponding to the virtual marker, the image acquisition means outputs the marker and does not attach it to a specific object. It is possible to provide a real-time image synthesis system using a virtual marker that synthesizes content prepared in advance with the images collected through the .

Description

가상 마커를 활용한 실시간 영상 합성 시스템{SYSTEM FOR IMAGE SYNTHESIS USING VIRTUAL MARKERS}Real-time image synthesis system using virtual markers {SYSTEM FOR IMAGE SYNTHESIS USING VIRTUAL MARKERS}

본 발명은 가상 마커를 활용한 실시간 영상 합성 시스템에 관한 것으로, 보다 상세하게는 영상 취득 수단으로 수집된 이미지 또는 영상을 인공지능으로 분석하여 특정 객체를 추출하고, 상기 객체의 3차원 좌표에 가상 마커를 표시하여, 기 저장된 콘텐츠를 마커에 대응시킴으로써, 가상의 콘텐츠가 합성된 영상을 실시간으로 제공할 수 있도록 구성된 새로운 구조의 가상 마커를 활용한 실시간 영상 합성 시스템에 관한 것이다.The present invention relates to a real-time image synthesis system using a virtual marker, and more particularly, to extract a specific object by analyzing an image or image collected by an image acquisition means with artificial intelligence, and to add a virtual marker to the three-dimensional coordinates of the object It relates to a real-time image synthesizing system using a virtual marker of a new structure configured to provide an image in which virtual content is synthesized in real time by displaying and matching pre-stored content to the marker.

사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강 현실'이라 하고, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실이라고 한다.A technology that superimposes virtual objects on the real world that the user sees with their eyes is called 'augmented reality', and it is called mixed reality because it combines the real world with the virtual world with additional information in real time and shows it as a single image.

현실세계를 가상세계로 보완해주는 개념인 증강 현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실 환경이다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 한다.Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created with computer graphics, but the main character is the real environment. Computer graphics serve to provide additional information necessary for the real environment.

이러한 증강 현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.Unlike the virtual reality technology composed of only a virtual environment, the augmented reality technology provides an image in which the real environment and the virtual object are mixed, so that the user can see the real environment, thereby providing better realism and additional information.

증강 현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.Augmented reality technology is used for remote medical diagnosis, broadcasting, architectural design, and manufacturing process management. In particular, as smartphones have recently become widespread, they have entered the stage of full-scale commercialization, and are developing various products in the game and mobile solution industries and education fields.

예를 들어, 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 안내 서비스 등은 이미 상업적 서비스로 운영되고 있다.For example, a guide service in which information such as the location and phone number of a nearby store is displayed in a stereoscopic image when the surroundings are illuminated with a smartphone camera is already being operated as a commercial service.

한편, 증강 현실의 구현에 있어서 중요한 기술적 과제로서, 실제 환경과 가상의 객체가 시간적 및 공간적으로 정확하게 정합된 영상이 구현되어야 하는 점이 중요하다.Meanwhile, as an important technical task in the implementation of augmented reality, it is important that an image in which a real environment and a virtual object are temporally and spatially accurately matched should be implemented.

이러한 영상 정합을 위해서, 기존에는 현실환경의 객체와 함께 인식될 수 있는 다양한 형태의 마커가 사용되었다. 이러한 마커는 인위적으로 제작 또는 생성된 마커를 현실환경의 객체에 부착 또는 인쇄하거나, 영상 인식이 가능한 객체 자체의 특징점을 마커로서 미리 등록하는 등의 방식으로 제공되었다.For this image registration, conventionally, various types of markers that can be recognized together with objects in the real environment have been used. Such markers were provided by attaching or printing an artificially produced or generated marker to an object in a real environment, or by pre-registering a feature point of an object capable of image recognition as a marker.

그런데, 증강 현실을 이용한 서비스가 다양하게 진화되면서, 더욱 풍부한 증강 현실 영상을 구현하기 위한 마커의 표현 및 인식 기술의 개발이 절실하게 요청되는 상황이었다.However, as services using augmented reality have evolved in various ways, the development of marker expression and recognition technology for implementing richer augmented reality images is urgently required.

따라서, 이러한 문제점을 해결할 수 있는 새로운 방법이 필요하게 되었다.Therefore, there is a need for a new method to solve these problems.

본 발명은 카메라를 통해 수집된 이미지 또는 영상 중 인공지능을 이용하여 사용자가 원하는 이미지 또는 영상을 추출하고, 실감형 콘텐츠를 제작하여 모바일 기기, TV 등 사용자 단말에 제공할 수 있도록 구성된 가상 마커를 활용한 실시간 영상 합성 시스템을 제공하는 것을 목적으로 한다. The present invention utilizes a virtual marker configured to extract an image or video desired by a user using artificial intelligence from images or videos collected through a camera, produce immersive content, and provide it to user terminals such as mobile devices and TVs An object of the present invention is to provide a real-time image synthesis system.

또한, 영상 취득 수단을 통해 수집된 영상에서 객체의 특징점을 분석하고, 상기 특징점에 대한 3차원 좌표를 추출하여 상기 객체의 특징점에 가상 마커(virtual marker)를 표시하고 3차원 좌표를 이용하여 미리 저장된 콘텐츠를 영상에 합성함으로써, 객체에 마커를 별도로 부착하여 인식하지 않아도 인공지능 기반 실감형 콘텐츠 생성이 가능한 가상 마커를 활용한 실시간 영상 합성 시스템을 제공하는 것을 목적으로 한다. In addition, the feature point of the object is analyzed from the image collected through the image acquisition means, the three-dimensional coordinates for the feature point are extracted, a virtual marker is displayed on the feature point of the object, and the three-dimensional coordinates are used to store the feature points in advance. An object of the present invention is to provide a real-time image synthesis system using virtual markers that can create immersive content based on artificial intelligence without recognizing an object by attaching a marker to the object by synthesizing the content into the image.

또한, 사용자가 인공지능 기반으로 제작하고자 하는 실감형 콘텐츠에 대한 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 입력함으로써 입력된 정보에 해당하는 콘텐츠를 제작할 수 있도록 하는 가상 마커를 활용한 실시간 영상 합성 시스템을 제공하는 것을 목적으로 한다. In addition, a real-time video synthesis system using a virtual marker that allows the user to produce content corresponding to the input information by inputting basic information, content production information, and additional information about the immersive content that the user wants to produce based on artificial intelligence. intended to provide

본 발명의 바람직한 일실시예에 따르면, 사용자 단말, 인공지능 기반 콘텐츠 제작 장치 및 실감형 콘텐츠 제작 장치를 포함하는 가상 마커를 활용한 실시간 영상 합성 시스템에 있어서, 상기 인공지능 기반 실감형 콘텐츠 제작 장치에 접속하여 인공지능 기반 실감형 콘텐츠를 제작한 후, 상기 인공지능 기반 실감형 콘텐츠 각각에 대한 마커를 제작한 후 스티커 형태로 출력하며, 상기 마커를 특정 객체에 부착한 후 상기 실감형 콘텐츠 제작 장치를 통해 인식하는 사용자 단말; 상기 사용자 단말로부터 수신된 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 기초로 인공지능 기반 콘텐츠를 제작하여 제공하는 인공지능 기반 실감형 콘텐츠 제작 장치; 상기 인공지능 기반 실감형 콘텐츠를 증강 현실을 통해 제공하는 실감형 콘텐츠 제작 장치;를 포함하여 구성되되, 상기 인공지능 기반 콘텐츠 제작 장치는 상기 사용자 단말로부터 사용자의 기본 정보를 수신하는 기본 정보 수신부;와 상기 사용자 단말로부터 인공지능 기반으로 제작하고자 하는 콘텐츠에 대한 콘텐츠 제작 정보를 수신하는 실감형 콘텐츠 제작 정보 수신부; 상기 사용자 단말로부터 콘텐츠의 생성 시 참조되는 콘텐츠 부가 정보를 수신하는 부가 정보 수신부;와 이미지 제공 서버로부터 이미지를 크롤링한 후, 이미지 각각을 분석하여 미리 결정된 가중치를 부여한 후 이미지 데이터베이스에 저장하는 이미지 데이터베이스 구축부; 및 상기 기본 정보, 상기 콘텐츠 제작 정보 및 상기 콘텐츠 부가 정보를 기초로 상기 이미지 데이터베이스 각각에 저장된 이미지의 가중치에 부가 가중치를 부여하여 최종 가중치에 따라 이미지를 추출하여 인공지능 기반 콘텐츠를 제작하는 인공지능 기반 실감형 콘텐츠 제작부와, 음향 데이터베이스를 포함하여 구성되되, 상기 음향 데이터베이스에는 이미지 및 콘텐츠 종류 각각에 대응되는 음향이 저장되고, 상기 실감형 콘텐츠 제작 장치는 상기 인공지능 기반 실감형 콘텐츠 제작 장치에 의해 생성된 인공지능 기반 실감형 콘텐츠를 수신하는 인공지능 기반 실감형 콘텐츠 수신부; 상기 인공지능 기반 실감형 콘텐츠의 선택 절차를 통해 선택된 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커 이미지 선택 절차를 통해 선택된 마커 이미지를 이용하여 마커를 생성한 후 상기 마커를 스티커 형태로 출력하도록 하는 마커 제공부; 마커 인식 절차를 통해 인식된 객체를 촬영하여 객체 이미지를 생성하고, 객체 이미지의 픽셀 분석을 통해 상기 객체 이미지에 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드가 삽입되어 있는지 여부에 따라 객체가 마커라고 인식하는 마커 인식부; 및 상기 마커 인식부에 의해 상기 객체가 마커로 인식되면 상기 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 인공지능 기반 실감형 콘텐츠를 제공하는 증강 현실 콘텐츠 제공부를 포함하며, 상기 마커 제공부는 상기 마커 이미지의 픽셀을 분석하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입할 식별 정보 삽입 영역을 결정하고, 상기 식별 정보 삽입 영역의 픽셀을 분석하여 특정 간격만큼 떨어진 픽셀 각각의 픽셀 값을 변경하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입하고, 상기 인공지능 기반 실감형 콘텐츠의 식별 정보를 이진수 코드로 코드화한 후 상기 이진수 코드에 따라 상기 식별 정보 삽입 영역의 픽셀 중 특정 간격만큼 떨어진 픽셀 각각의 픽셀 값을 증가시키거나 감소시키고, 상기 픽셀 값이 변경된 픽셀의 주변 픽셀 값을 동일한 픽셀 값으로 변경하고, 상기 마커 인식부는 상기 마커 인식 절차를 통해 인식된 객체를 촬영하여 객체 이미지를 생성하고, 상기 객체 이미지의 픽셀 분석을 통해 특정 영역의 픽셀의 픽셀 값이 동일한 경우, 마커 데이터베이스를 기초로 특정 영역의 픽셀의 중심 픽셀의 픽셀 값 및 원래 픽셀 값을 비교하여 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드를 추출하며, 상기 이진수 코드에 해당하는 인공지능 기반 실감형 콘텐츠의 식별 정보가 존재하는 경우 해당 인공지능 기반 실감형 콘텐츠를 증강 현실 콘텐츠 제공부를 통해 제공하는 것을 특징으로 한다.According to a preferred embodiment of the present invention, in a real-time image synthesis system using a virtual marker including a user terminal, an artificial intelligence-based content production apparatus, and an immersive content production apparatus, the artificial intelligence-based immersive content production apparatus is After accessing and producing artificial intelligence-based immersive content, a marker for each of the artificial intelligence-based immersive content is produced and output in the form of a sticker, and after attaching the marker to a specific object, the immersive content production device is installed a user terminal to recognize through; an artificial intelligence-based immersive content production apparatus for producing and providing artificial intelligence-based content based on the basic information, content production information, and additional information received from the user terminal; A immersive content production apparatus for providing the artificial intelligence-based immersive content through augmented reality, wherein the artificial intelligence-based content production apparatus includes a basic information receiver configured to receive basic information of a user from the user terminal; And an immersive content creation information receiver configured to receive content creation information on content to be produced based on artificial intelligence from the user terminal; Additional information receiving unit for receiving content additional information referenced when creating content from the user terminal; and after crawling images from the image providing server, analyzing each image, assigning a predetermined weight to each image, and storing the image database in the image database construction wealth; And based on the basic information, the content creation information, and the content additional information, by giving additional weights to the weights of the images stored in each of the image databases, extracting the images according to the final weights to produce artificial intelligence-based content It is configured to include an immersive content production unit and a sound database, wherein a sound corresponding to each image and content type is stored in the sound database, and the immersive content production apparatus is generated by the artificial intelligence-based immersive content production apparatus An artificial intelligence-based immersive content receiving unit for receiving an artificial intelligence-based immersive content; A marker for generating a marker using the identification information of the artificial intelligence-based immersive content selected through the artificial intelligence-based immersive content selection procedure and the marker image selected through the marker image selection procedure, and then outputting the marker in the form of a sticker provider; An object image is generated by photographing an object recognized through a marker recognition procedure, and an object according to whether a binary code corresponding to identification information of artificial intelligence-based immersive content is inserted into the object image through pixel analysis of the object image a marker recognition unit recognizing that is a marker; and an augmented reality content providing unit for providing artificial intelligence-based immersive content corresponding to identification information of the artificial intelligence-based immersive content when the object is recognized as a marker by the marker recognition unit, wherein the marker providing unit includes the marker By analyzing the pixels of the image, the identification information insertion area is determined to insert the identification information of the AI-based immersive content, and by analyzing the pixels of the identification information insertion area, the pixel value of each pixel separated by a specific interval is changed to perform artificial intelligence After inserting the identification information of the immersive content based on the artificial intelligence, and encoding the identification information of the immersive content based on the artificial intelligence into a binary code, each pixel value of each pixel in the identification information insertion area separated by a specific interval according to the binary code increases or decreases, and changes the peripheral pixel value of the pixel whose pixel value is changed to the same pixel value, the marker recognition unit generates an object image by photographing the object recognized through the marker recognition procedure, and the object image If the pixel values of pixels in a specific area are the same through pixel analysis of It is characterized in that the binary code is extracted, and when identification information of the AI-based immersive content corresponding to the binary code exists, the corresponding AI-based immersive content is provided through the augmented reality content providing unit.

본 발명의 다른 일실시예에 따르면, 상기 기본 정보 수신부는 사용자 단말로부터 사용자의 이름, 나이, 성별, 직업, 관심 분야 중 하나 이상의 정보를 수신하는 것을 특징으로 한다.According to another embodiment of the present invention, the basic information receiving unit is characterized in that it receives one or more information of the user's name, age, gender, occupation, and interest from the user terminal.

본 발명의 다른 일실시예에 따르면, 상기 실감형 콘텐츠 제작 정보 수신부는 콘텐츠의 부가 정보 선택 절차를 제공하여 콘텐츠 부가 정보를 선택하도록 구성되되, 상기 콘텐츠 부가 정보는 콘텐츠 생성 시 참조되는 정보로서 배경 이미지 정보, 배경 음악 정보가 포함되는 것을 특징으로 한다.According to another embodiment of the present invention, the immersive content creation information receiving unit is configured to select additional content information by providing an additional information selection procedure of the content, wherein the additional content information is information referenced during content creation and is a background image Information and background music information are included.

본 발명의 다른 일실시예에 따르면, 상기 부가 정보 수신부는 콘텐츠의 제작 시 저작권 수수료 지불이 요구되는 경우, 결제 정보를 수신하는 것을 특징으로 한다.According to another embodiment of the present invention, the additional information receiving unit is characterized in that it receives payment information when a copyright fee payment is required when producing content.

한편 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 함으로써 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.On the other hand, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments provide common knowledge in the technical field to which the present invention pertains by allowing the disclosure of the present invention to be complete. It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

본 발명은 영상 취득 수단을 통해 수집된 영상에서 객체의 특징점을 분석하고, 상기 특징점에 대한 3차원 좌표를 추출하고 상기 객체의 특징점에 가상 마커를 표시하고 3차원 좌표를 이용하여 미리 저장된 콘텐츠를 영상에 합성함으로써, 객체에 마커를 별도로 부착하여 인식하지 않아도 인공지능 기반 실감형 콘텐츠 생성이 가능한 가상 마커를 활용한 실시간 영상 합성 시스템을 제공할 수 있다.The present invention analyzes a feature point of an object from an image collected through an image acquisition means, extracts three-dimensional coordinates for the feature point, displays a virtual marker on the feature point of the object, and uses the three-dimensional coordinates to convert pre-stored content into an image By synthesizing in , it is possible to provide a real-time image synthesis system using virtual markers that can create immersive content based on artificial intelligence without separately attaching and recognizing a marker to an object.

또한, 사용자가 인공지능 기반으로 제작하고자 하는 실감형 콘텐츠에 대한 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 입력함으로써 입력된 정보에 해당하는 콘텐츠를 제작할 수 있도록 하는 가상 마커를 활용한 실시간 영상 합성 시스템을 제공할 수 있다.In addition, a real-time video synthesis system using a virtual marker that allows the user to produce content corresponding to the input information by inputting basic information, content production information, and additional information about the immersive content that the user wants to produce based on artificial intelligence. can provide

도 1은 본 발명의 다른 일실시예에 따른 가상 마커를 활용한 실시간 영상 합성 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 다른 일실시예에 따른 인공지능 기반 실감형 콘텐츠 제작 장치의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명의 다른 일실시예에 따른 실감형 콘텐츠 제작 장치의 내부 구조를 설명하기 위한 블록도이다.
도 4는 본 발명의 일실시예에 따른 가상 마커를 활용한 실시간 영상 합성 시스템을 설명하기 위한 실감형 콘텐츠 제작 장치의 구성도이다.1 is a network configuration diagram for explaining a real-time image synthesis system using a virtual marker according to another embodiment of the present invention.
2 is a block diagram illustrating an internal structure of an artificial intelligence-based immersive content production apparatus according to another embodiment of the present invention.
3 is a block diagram illustrating an internal structure of an apparatus for producing immersive content according to another embodiment of the present invention.
4 is a block diagram of an immersive content production apparatus for explaining a real-time image synthesis system using a virtual marker according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 다른 일실시예에 따른 가상 마커를 활용한 실시간 영상 합성 시스템을 설명하기 위한 네트워크 구성도이고, 도 2는 본 발명의 다른 일실시예에 따른 인공지능 기반 실감형 콘텐츠 제작 장치의 내부 구조를 설명하기 위한 블록도이며, 도 3은 본 발명의 다른 일실시예에 따른 실감형 콘텐츠 제작 장치의 내부 구조를 설명하기 위한 블록도이고, 도 4는 본 발명의 일실시예에 따른 가상 마커를 활용한 실시간 영상 합성 시스템을 설명하기 위한 실감형 콘텐츠 제작 장치의 구성도이다.1 is a network configuration diagram illustrating a real-time image synthesis system using a virtual marker according to another embodiment of the present invention, and FIG. 2 is an artificial intelligence-based immersive content production apparatus according to another embodiment of the present invention. 3 is a block diagram for explaining the internal structure of an apparatus for producing immersive content according to another embodiment of the present invention, and FIG. 4 is a block diagram for explaining the internal structure of the present invention. It is a block diagram of an immersive content production apparatus for explaining a real-time image synthesis system using virtual markers.

본 명세서에서 사용된 용어 중 “마커”는 증강 현실이 구현된 영상에서 가상 영상 또는 가상 객체의 3차원 위치와 자세를 현실 세계의 객체와 정합하여 배치하기 위하여 사용되는 인식 표지를 의미한다. Among terms used herein, “marker” refers to a recognition mark used to match and arrange a virtual image or a three-dimensional position and posture of a virtual object in an image in which augmented reality is implemented with an object in the real world.

도 1은 본 발명의 일 실시예에 따른 가상 마커를 활용한 실시간 영상 합성 시스템을 설명하기 위한 네트워크 구성도이다.1 is a network configuration diagram illustrating a real-time image synthesis system using a virtual marker according to an embodiment of the present invention.

도 1을 참조하면, 가상 마커를 활용한 실시간 영상 합성 시스템은 사용자 단말(100), 인공지능 기반 실감형 콘텐츠 제작 장치(200) 및 실감형 콘텐츠 제작 장치(300)를 포함한다.Referring to FIG. 1 , a real-time image synthesis system using a virtual marker includes a user terminal 100 , an artificial intelligence-based immersive content production apparatus 200 , and an immersive content production apparatus 300 .

사용자 단말(100)은 인공지능 기반 실감형 콘텐츠 제작 장치(200)에서 제공하는 다양한 서비스에 대한 정보 데이터의 송/수신이 가능한 단말 장치이다. The user terminal 100 is a terminal device capable of transmitting/receiving information data for various services provided by the artificial intelligence-based immersive content production apparatus 200 .

따라서, 사용자 단말(100)을 사용하는 사용자는 이러한 사용자 단말(100)를 이용하여 인공지능 기반 실감형 콘텐츠 제작 장치(200)에 접속한 후, 해당 인공지능 기반 실감형 콘텐츠 제작 장치(200)에서 제공하는 각종 서비스 정보를 이용할 수 있다.Therefore, a user using the user terminal 100 connects to the artificial intelligence-based immersive content production apparatus 200 using the user terminal 100 and then uses the artificial intelligence-based immersive content production apparatus 200 You can use various service information provided.

사용자 단말(100)은 HTML(Hyper Text Markup Language), XML(eXtensible Markup Language)등의 형태로 웹 내용을 디스플레이 할 수 있는 인터넷 브라우저(Netscape, Internet Explorer 등)를 가지고 있다.The user terminal 100 has an Internet browser (Netscape, Internet Explorer, etc.) capable of displaying web contents in the form of HTML (Hyper Text Markup Language), XML (eXtensible Markup Language), or the like.

이러한 사용자 단말(100)은 인공지능 기반 실감형 콘텐츠 제작 장치(200)에 접속하여 콘텐츠를 제작할 수 있다. 이를 위해, 사용자 단말(100)은 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 인공지능 기반 실감형 콘텐츠 제작 장치(200)에 제공한다. The user terminal 100 may create content by accessing the artificial intelligence-based immersive content production apparatus 200 . To this end, the user terminal 100 provides basic information, content production information, and additional information to the artificial intelligence-based immersive content production apparatus 200 .

이때, 기본 정보는 사용자 정보로서, 이름, 나이, 성별, 직업, 관심 분야 등을 포함한다. In this case, the basic information is user information, and includes a name, age, gender, occupation, field of interest, and the like.

콘텐츠 제작 정보는 인공지능 기반으로 제작하고자 하는 콘텐츠에 대한 정보로서, 콘텐츠 종류(예를 들어, 아이돌 식별 정보 등), 콘텐츠의 메인 정보(예를 들어, 메인 캐릭터(즉, 아이돌 그룹 중 특정 멤버)) 및 콘텐츠의 부가 정보(예를 들어, 배경 이미지 정보, 배경 음악 정보 등)를 포함한다. Content creation information is information on the content to be produced based on artificial intelligence. The content type (eg, idol identification information, etc.), main information of the content (eg, main character (ie, a specific member of an idol group) ) and additional information of the content (eg, background image information, background music information, etc.).

부가 정보는 콘텐츠의 제작 시 저작권 수수료 지불이 요구될 시 결제 정보를 의미한다. The additional information refers to payment information when a copyright fee payment is required when content is produced.

또한, 사용자 단말(100)은 실감형 콘텐츠 제작 장치(300)에 접속하여 인공지능 기반 실감형 콘텐츠 제작 장치(200)를 통해 제작된 인공지능 기반 실감형 콘텐츠에 대한 마커를 직접 제작한 후 마커를 객체에 부착한 후, 마커를 실감형 콘텐츠 제작 장치(300)에 인식함으로써 마커에 해당하는 인공지능 기반 실감형 콘텐츠를 증강 현실을 통해 확인할 수 있도록 한다. In addition, the user terminal 100 directly creates a marker for the artificial intelligence-based immersive content produced through the artificial intelligence-based immersive content production apparatus 200 by accessing the immersive content production apparatus 300, and then generates the marker. After being attached to an object, the marker is recognized by the immersive content production apparatus 300 so that artificial intelligence-based immersive content corresponding to the marker can be checked through augmented reality.

여기서, 본 발명의 일실시예에 따르면, 도 4에 도시된 바와 같이, 상기 실감형 콘텐츠 제작 장치(300)는 상기 실감형 콘텐츠 제작 장치는 가상의 스튜디오에 구비된 복수의 영상 취득 수단(600)을 통해 수집되는 영상에서 객체의 특징점을 분석하고, 상기 특징점에 대한 3차원 좌표를 추출하는 영상 분석부(360)와, 상기 영상에서 상기 객체의 특징점에 가상 마커(virtual marker)를 생성하고, 상기 영상에 가상 마커가 표시되도록 부여하는 가상 마커 생성부(370) 및 상기 영상에서 객체에 대한 상기 가상 마커의 3차원 좌표에 미리 준비된 콘텐츠의 3차원 좌표를 매칭하여 합성하는 영상 합성부(380)를 더 포함할 수 있다.Here, according to an embodiment of the present invention, as shown in FIG. 4 , the immersive content production apparatus 300 includes a plurality of image acquisition means 600 provided in a virtual studio. An image analysis unit 360 that analyzes a feature point of an object in an image collected through and extracts three-dimensional coordinates for the feature point, generates a virtual marker at the feature point of the object in the image, and the A virtual marker generating unit 370 that gives a virtual marker to be displayed on the image, and an image synthesizing unit 380 that matches and synthesizes the 3D coordinates of the content prepared in advance with the 3D coordinates of the virtual marker for the object in the image. may include more.

즉, 상기한 바에 따르면, 후술하는 본 발명의 다른 일실시예와 다르게 별도의 마커를 객체에 부착하지 않아도(markerless) 상기 영상 취득 수단을 통해 수집된 영상에 가상 마커가 표시되도록 구성될 수 있으며, 상기 가상 마커에 해당하는 3차원 좌표에 미리 저장된 콘텐츠를 매칭함으로써, 상기 영상에 미리 준비된 콘텐츠를 실시간 합성하여 실감형 콘텐츠를 제공할 수 있다.That is, according to the above, unlike another embodiment of the present invention to be described later, the virtual marker may be displayed on the image collected through the image acquisition means without attaching a separate marker to the object (markerless). By matching the content stored in advance to the three-dimensional coordinates corresponding to the virtual marker, content prepared in advance with the image can be synthesized in real time to provide immersive content.

한편, 본 발명의 다른 일실시예에 따르면, 인공지능 기반 실감형 콘텐츠 제작 장치(200)는 사용자 단말(100)로부터 수신된 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 수신하면, 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 이용하여 콘텐츠를 제작한다. Meanwhile, according to another embodiment of the present invention, when the artificial intelligence-based immersive content production apparatus 200 receives basic information, content production information, and additional information received from the user terminal 100 , basic information and content production Create content using information and additional information.

즉, 인공지능 기반 실감형 콘텐츠 제작 장치(200)는 미리 구축된 이미지 데이터베이스(도 2, 260)에 저장된 이미지의 의 가중치 각각에 콘텐츠 제작 정보에 따라 서로 다른 부가 가중치를 부여하여 가중치가 가장 높은 이미지를 추출한 후 콘텐츠를 제작한다. That is, the artificial intelligence-based immersive content production apparatus 200 assigns different additional weights according to the content production information to each of the weights of the images stored in the pre-built image database ( FIGS. 2 and 260 ), so that the image with the highest weight After extracting, the content is created.

이러한 인공지능 기반 실감형 콘텐츠 제작 장치(200)는 이하의 도 2를 참조하여 보다 구체적으로 설명하기로 한다. The artificial intelligence-based immersive content production apparatus 200 will be described in more detail with reference to FIG. 2 below.

실감형 콘텐츠 제작 장치(300)는 인공지능 기반 실감형 콘텐츠 제작 장치(200)로부터 수신된 인공지능 기반 실감형 콘텐츠를 증강 현실로 제공하기 위한 마커를 제공하며, 마커에 인식되면 해당 인공지능 기반 실감형 콘텐츠를 증강 현실을 통해 제공한다. The immersive content production apparatus 300 provides a marker for providing the artificial intelligence-based immersive content received from the artificial intelligence-based immersive content production apparatus 200 in augmented reality, and when recognized by the marker, the corresponding artificial intelligence-based sensory content type content is provided through augmented reality.

먼저, 실감형 콘텐츠 제작 장치(300)는 인공지능 기반 실감형 콘텐츠 수신부(310)로부터 수신된 인공지능 기반 증강 현실용 콘텐츠 각각에 대응되는 마커를 스티커 형태로 출력하도록 하여 사용자가 마커를 특정 객체(예를 들어, 책 등)에 부착하여 사용할 수 있도록 한다. First, the immersive content production apparatus 300 outputs a marker corresponding to each AI-based augmented reality content received from the AI-based immersive content receiving unit 310 in the form of a sticker, so that the user can display the marker on a specific object ( For example, it can be attached to a book, etc.) so that it can be used.

이를 위해, 실감형 콘텐츠 제작 장치(300)는 인공지능 기반 실감형 콘텐츠의 선택 절차를 통해 선택된 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커 이미지 선택 절차를 통해 선택된 마커 이미지를 이용하여 마커를 생성하여 스티커 형태로 출력하도록 한다. To this end, the immersive content production apparatus 300 generates a marker using the identification information of the artificial intelligence-based immersive content selected through the artificial intelligence-based immersive content selection procedure and the marker image selected through the marker image selection procedure. Print it out in the form of a sticker.

이때, 실감형 콘텐츠 제작 장치(300)는 마커 이미지 선택 절차를 통해 선택된 마커 이미지에 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입하여 마커를 생성할 수 있다. In this case, the immersive content production apparatus 300 may generate a marker by inserting identification information of the immersive content based on artificial intelligence into the marker image selected through the marker image selection procedure.

일 실시예에서, 실감형 콘텐츠 제작 장치(300)는 마커 이미지의 픽셀을 분석하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입할 식별 정보 삽입 영역을 결정한 후, 식별 정보 삽입 영역의 픽셀을 분석하여 특정 간격만큼 떨어진 픽셀 각각의 픽셀 값을 변경하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입한다.In one embodiment, the immersive content production apparatus 300 analyzes the pixels of the marker image to determine the identification information insertion region in which to insert the identification information of the artificial intelligence-based immersive content, and then analyzes the pixels of the identification information insertion region to The identification information of artificial intelligence-based immersive content is inserted by changing the pixel value of each pixel separated by a specific interval.

그 후, 실감형 콘텐츠 제작 장치(300)는 마커 인식 절차를 통해 인식된 객체를 촬영하여 객체 이미지를 생성하고, 객체 이미지의 픽셀 분석을 통해 상기 객체 이미지에 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드가 삽입되어 있는지 여부에 따라 객체가 마커라고 인식한다. Thereafter, the immersive content production apparatus 300 generates an object image by photographing the object recognized through the marker recognition procedure, and adds the identification information of the artificial intelligence-based immersive content to the object image through pixel analysis of the object image. An object is recognized as a marker depending on whether the corresponding binary code is inserted or not.

실감형 콘텐츠 제작 장치(300)는 마커에 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드가 삽입되어 있는 경우 해당 인공지능 기반 실감형 콘텐츠를 제공한다. When a binary code corresponding to identification information of artificial intelligence-based immersive content is inserted into a marker, the sensory content production apparatus 300 provides the corresponding artificial intelligence-based immersive content.

이러한 실감형 콘텐츠 제작 장치(300)는 이하의 도 3을 참조하여 보다 구체적으로 설명하기로 한다. The immersive content production apparatus 300 will be described in more detail with reference to FIG. 3 below.

도 2는 본 발명의 일 실시예에 따른 인공지능 기반 실감형 콘텐츠 제작 장치의 내부 구조를 설명하기 위한 블록도이다.2 is a block diagram illustrating an internal structure of an apparatus for producing artificial intelligence-based immersive content according to an embodiment of the present invention.

도 2를 참조하면, 인공지능 기반 실감형 콘텐츠 제작 장치(200)는 기본 정보 수신부(210), 실감형 콘텐츠 제작 정보 수신부(220), 부가 정보 수신부(230), 인공지능 기반 실감형 콘텐츠 제작부(240), 이미지 데이터베이스 구축부(250), 이미지 데이터베이스(260) 및 음향 데이터베이스(270)를 포함한다. 2, the artificial intelligence-based immersive content production apparatus 200 includes a basic information receiver 210, an immersive content production information receiver 220, an additional information receiver 230, and an artificial intelligence-based immersive content producer ( 240 ), an image database building unit 250 , an image database 260 , and a sound database 270 .

기본 정보 수신부(210)는 사용자 단말(100)로부터 기본 정보를 수신한다. 상기의 기본 정보는 사용자 정보로서, 이름, 나이, 성별, 직업, 관심 분야 등을 포함한다. The basic information receiving unit 210 receives basic information from the user terminal 100 . The basic information is user information, and includes name, age, gender, occupation, field of interest, and the like.

실감형 콘텐츠 제작 정보 수신부(220)는 사용자 단말(100)로부터 콘텐츠 제작 정보를 수신한다. 상기의 콘텐츠 제작 정보는 인공지능 기반으로 제작하고자 하는 콘텐츠에 대한 정보로서, 콘텐츠 종류, 콘텐츠의 메인 정보 및 콘텐츠의 부가 정보를 포함한다. The immersive content creation information receiver 220 receives content creation information from the user terminal 100 . The content creation information is information on content to be produced based on artificial intelligence, and includes content type, main information of content, and additional information of content.

이를 위해, 실감형 콘텐츠 제작 정보 수신부(220)는 콘텐츠 종류 선택 절차를 제공하여 콘텐츠 종류를 선택할 수 있도록 한다. 이때, 콘텐츠 종류 선택 절차는 아이돌 콘텐츠, 유아 콘텐츠, 중고등 학습 콘텐츠, 일반 콘텐츠 등의 콘텐츠 중 어느 하나의 콘텐츠 종류를 선택하는 절차이다. To this end, the immersive content creation information receiver 220 provides a content type selection procedure so that the content type can be selected. In this case, the content type selection procedure is a procedure for selecting any one content type among contents such as idol contents, infant contents, middle and high school learning contents, and general contents.

실감형 콘텐츠 제작 정보 수신부(220)는 콘텐츠의 메인 정보 선택 절차를 제공하여 콘텐츠 메인 정보를 선택할 수 있도록 한다. 이때, 콘텐츠의 메인 정보 선택 절차에 포함된 콘텐츠 메인 정보는 콘텐츠 종류에 따라 변경될 수 있다. The immersive content creation information receiving unit 220 provides a main information selection procedure of the content so that the main content information can be selected. In this case, the content main information included in the content main information selection procedure may be changed according to the content type.

예를 들어, 콘텐츠의 메인 정보 선택 절차는 콘텐츠 종류가 아이돌 그룹인 경우, 아이돌 그룹 중 특정 멤버, 아이돌 그룹 전체 등을 포함할 수 있고, 콘텐츠 종류가 중고등 학습 콘텐츠인 경우, 칠판, 칠판과 선생님을 함께 등을 포함할 수 있다. For example, the main information selection procedure for content may include a specific member of an idol group or the entire idol group when the content type is an idol group. together and the like.

실감형 콘텐츠 제작 정보 수신부(220)는 콘텐츠의 부가 정보 선택 절차를 제공하여 콘텐츠 부가 정보를 선택할 수 있도록 한다. 이때, 콘텐츠 부가 정보는 콘텐츠의 생성 시 참조되는 정보로서, 배경 이미지 정보, 배경 음악 정보 등을 포함할 수 있다. The immersive content creation information receiving unit 220 provides a procedure for selecting additional information of content so that additional information on content can be selected. In this case, the additional content information is information referenced when content is created, and may include background image information, background music information, and the like.

부가 정보 수신부(230)는 콘텐츠의 제작 시 저작권 수수료 지불이 요구될 시 결제 정보를 수신한다. 이때, 부가 정보는 콘텐츠의 제작 시 저작권 수수료 지불이 요구될 시 결제 정보를 의미한다. The additional information receiving unit 230 receives payment information when a copyright fee payment is requested when content is produced. In this case, the additional information means payment information when a copyright fee payment is requested when content is produced.

인공지능 기반 실감형 콘텐츠 제작부(240)는 기본 정보 수신부(210), 실감형 콘텐츠 제작 정보 수신부(220) 및 부가 정보 수신부(230) 각각으로부터 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 수신하여 인공지능 기반 실감형 콘텐츠를 제작한다.The artificial intelligence-based immersive content production unit 240 receives basic information, content production information, and additional information from each of the basic information receiver 210 , the immersive content production information receiver 220 , and the additional information receiver 230 to receive artificial intelligence. Produces based immersive content.

일 실시예에서, 인공지능 기반 실감형 콘텐츠 제작부(240)는 이미지 데이터베이스 구축부(250)에 저장된 이미지 중 콘텐츠 제작 정보에 해당하는 이미지의 의 가중치 각각에 콘텐츠 제작 정보에 따라 서로 다른 부가 가중치를 부여하여 가중치가 가장 높은 이미지를 추출할 수 있다. In one embodiment, the artificial intelligence-based immersive content production unit 240 gives different weights according to the content production information to each of the weights of the images corresponding to the content production information among the images stored in the image database building unit 250 . Thus, the image with the highest weight can be extracted.

예를 들어, 인공지능 기반 실감형 콘텐츠 제작부(240)는 콘텐츠 제작 정보 중 콘텐츠 종류가 아이돌 그룹 A 콘텐츠인 경우, 아이돌 그룹 A의 멤버수에 해당하는 객체 가중치를 가진 이미지에 부가 가중치를 부여하여 가중치가 가장 높은 이미지를 추출할 수 있다. For example, when the content type among content production information is idol group A content, the artificial intelligence-based immersive content production unit 240 assigns an additional weight to an image having an object weight corresponding to the number of members of the idol group A. can extract the highest image.

다른 예를 들어, 인공지능 기반 실감형 콘텐츠 제작부(240)는 콘텐츠 제작 정보 중 콘텐츠 종류가 아이돌 그룹 A 콘텐츠이고 콘텐츠 부가 정보 중 배경 이미지 정보가 단색인 경우, 아이돌 그룹 A의 멤버수에 해당하는 객체 가중치를 가진 이미지 및 단색에 해당하는 배경 가중치를 가진 이미지에 부가 가중치를 부여하여 가중치가 가장 높은 이미지를 추출할 수 있다. For another example, the artificial intelligence-based immersive content production unit 240 may generate an object corresponding to the number of members of the idol group A when the content type in the content production information is idol group A content and the background image information in the content additional information is monochrome. An image having the highest weight may be extracted by giving an additional weight to the image having a weight and an image having a background weight corresponding to a single color.

그런 다음, 인공지능 기반 실감형 콘텐츠 제작부(240)는 가중치가 가장 높은 이미지 및 음향 데이터베이스(270)에서 추출한 음향 데이터를 이용하여 인공지능 기반 실감형 콘텐츠를 제작한다. Then, the artificial intelligence-based immersive content production unit 240 creates artificial intelligence-based immersive content using the sound data extracted from the image and sound database 270 having the highest weight.

이미지 데이터베이스 구축부(250)는 이미지 제공 서버(예를 들어, 웹 서버, 소셜 네트워크 서버 등)으로부터 이미지를 크롤링한 후, 이미지의 종류 별로 해당 이미지 각각을 분석하여 미리 결정된 가중치를 부여한 후 이미지 데이터베이스(260)에 저장한다. The image database building unit 250 crawls images from an image providing server (eg, a web server, a social network server, etc.) 260) is stored.

일 실시예에서, 이미지 데이터베이스 구축부(250)는 이미지 각각을 분석하여 이미지 상에 복수의 객체(예를 들어, 인물)가 존재하는 경우, 복수의 객체의 수에 해당하는 객체 가중치를 해당 이미지에 부여할 수 있다. In an embodiment, the image database building unit 250 analyzes each image and, when a plurality of objects (eg, people) exist on the image, assigns an object weight corresponding to the number of the plurality of objects to the image. can be given

예를 들어, 이미지 데이터베이스 구축부(250)는 이미지에 3명의 인물이 존재하는 경우 3명의 인물에 해당하는 객체 가중치를 해당 이미지에 부여할 수 있다.For example, when there are three people in the image, the image database building unit 250 may give an object weight corresponding to the three people to the image.

다른 일 실시예에서, 이미지 데이터베이스 구축부(250)는 이미지 각각을 분석하여 복수의 객체의 촬영 등급(예를 들어, 객체의 흔들림, 객체의 표정 등)에 따라 촬영 등급 가중치를 해당 이미지에 부여할 수 있다. In another embodiment, the image database building unit 250 analyzes each image and assigns a shooting grade weight to the corresponding image according to the shooting grade of a plurality of objects (eg, shaking of the object, facial expression of the object, etc.). can

또 다른 일 실시예에서, 이미지 데이터베이스 구축부(250)는 이미지의 상세 정보(예를 들어, 해상도, 촬영 날짜)에 따라 촬영 등급 가중치를 해당 이미지에 부여할 수 있다. In another embodiment, the image database building unit 250 may assign a photographing grade weight to the corresponding image according to detailed information (eg, resolution, photographing date) of the image.

또 다른 일 실시예에서, 이미지 데이터베이스 구축부(250)는 이미지 각각을 분석하여 복수의 객체를 제외한 배경의 픽셀 수에 따라 배경 가중치를 해당 이미지에 부여할 수 있다. In another embodiment, the image database building unit 250 may analyze each image and assign a background weight to the corresponding image according to the number of pixels in the background excluding a plurality of objects.

예를 들어, 이미지 데이터베이스 구축부(250)는 현재 날짜 및 촬영 날짜 사이의 기간에 따라 서로 다른 촬영 등급 가중치를 해당 이미지에 부여할 수 있다. For example, the image database building unit 250 may assign different photographing grade weights to the corresponding image according to the period between the current date and the photographing date.

이미지 데이터베이스(260)는 이미지 데이터베이스 구축부(250)에 의해 생성되었으며, 이미지 데이터베이스 구축부(250)의 제어에 따라 특정 가중치가 부여된 이미지가 저장되어 있다. The image database 260 is created by the image database construction unit 250 , and images to which a specific weight is assigned under the control of the image database construction unit 250 are stored.

음향 데이터베이스(270)에는 이미지 및 콘텐츠 종류 각각에 대응되는 음향이 저장되어 있다. 예를 들어, 이미지가 아이돌 A인 경우, 음향은 아이돌 A에 대응되어 저장될 수 있다. The sound database 270 stores sound corresponding to each type of image and content. For example, if the image is idol A, the sound may be stored corresponding to idol A.

도 3은 본 발명의 일 실시예에 따른 실감형 콘텐츠 제작 장치의 내부 구조를 설명하기 위한 블록도이다.3 is a block diagram illustrating an internal structure of an apparatus for producing immersive content according to an embodiment of the present invention.

도 3을 참조하면, 실감형 콘텐츠 제작 장치(300)는 인공지능 기반 실감형 콘텐츠 수신부(310), 마커 제공부(320), 마커 데이터베이스(330), 실감형 콘텐츠 제공부(340) 및 마커 인식부(350)를 포함한다. Referring to FIG. 3 , the immersive content production apparatus 300 includes an artificial intelligence-based immersive content receiving unit 310 , a marker providing unit 320 , a marker database 330 , an immersive content providing unit 340 , and marker recognition. part 350 .

인공지능 기반 실감형 콘텐츠 수신부(310)는 인공지능 기반 실감형 콘텐츠 제작 장치(200)에 의해 생성된 인공지능 기반 실감형 콘텐츠를 수신한다. 이때, 인공지능 기반 실감형 콘텐츠는 사용자 단말(100)을 통해 출력하고자 하는 출력물 또는 콘텐츠로서, 캐릭터 영상, 이미지, 오디오, 텍스트 등일 수 있고, 특별히 그 형태나 내용을 한정하지 않는다.The artificial intelligence-based immersive content receiving unit 310 receives the artificial intelligence-based immersive content generated by the artificial intelligence-based immersive content production apparatus 200 . In this case, the artificial intelligence-based immersive content is an output or content to be output through the user terminal 100 , and may be a character video, image, audio, text, etc., and the form or content is not particularly limited.

마커 제공부(320)는 인공지능 기반 실감형 콘텐츠 수신부(310)로부터 수신된 인공지능 기반 실감형 콘텐츠 각각에 대응되는 마커(500)를 스티커 형태로 출력하도록 하여 사용자가 마커(500)를 특정 객체(400)(예를 들어, 책 등)에 부착하여 사용할 수 있도록 한다. The marker providing unit 320 outputs the marker 500 corresponding to each of the artificial intelligence-based immersive contents received from the AI-based immersive contents receiving unit 310 in the form of a sticker, so that the user selects the marker 500 as a specific object. (400) (for example, a book, etc.) to be attached to the use.

이를 위해, 마커 제공부(320)는 인공지능 기반 실감형 콘텐츠의 선택 절차를 통해 선택된 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커 이미지 선택 절차를 통해 선택된 마커 이미지를 이용하여 마커(500)를 생성한 후 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커(500)를 대응하여 마커 데이터베이스(330)에 저장한다. To this end, the marker providing unit 320 generates the marker 500 using the identification information of the artificial intelligence-based immersive content selected through the artificial intelligence-based immersive content selection procedure and the marker image selected through the marker image selection procedure. After that, the identification information of the artificial intelligence-based immersive content and the marker 500 are stored in the marker database 330 in correspondence therewith.

이때, 마커 제공부(320)는 마커 이미지 선택 절차를 통해 선택된 마커 이미지에 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입하여 마커(500)를 생성할 수 있다. In this case, the marker providing unit 320 may generate the marker 500 by inserting identification information of the artificial intelligence-based immersive content into the marker image selected through the marker image selection procedure.

일 실시예에서, 마커 제공부(320)는 마커 이미지의 픽셀을 분석하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입할 식별 정보 삽입 영역을 결정한 후, 식별 정보 삽입 영역의 픽셀을 분석하여 특정 간격만큼 떨어진 픽셀 각각의 픽셀 값을 변경하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입한다.In an embodiment, the marker providing unit 320 analyzes the pixels of the marker image to determine the identification information insertion region in which to insert the identification information of the artificial intelligence-based immersive content, and then analyzes the pixels of the identification information insertion region to insert a specific interval The identification information of artificial intelligence-based immersive content is inserted by changing the pixel value of each pixel that is spaced apart.

상기의 실시예에서, 마커 제공부(320)는 마커 이미지의 픽셀을 분석하여 마커 이미지의 픽셀 각각의 픽셀 값 사이의 차이 픽셀 값이 특정 값 이하인 픽셀을 식별 정보 삽입 영역으로 결정할 수 있다. In the above embodiment, the marker providing unit 320 may analyze pixels of the marker image and determine a pixel having a difference pixel value between pixel values of each pixel of the marker image equal to or less than a specific value as the identification information insertion region.

그런 다음, 마커 제공부(320)는 인공지능 기반 실감형 콘텐츠의 식별 정보를 이진수 코드로 코드화한 후에 이진수 코드에 따라 식별 정보 삽입 영역의 특정 픽셀의 픽셀 값을 특정 값 만큼 증가시키거나 감소시킨다.Then, the marker providing unit 320 encodes the identification information of the artificial intelligence-based immersive content into a binary code, and then increases or decreases the pixel value of a specific pixel of the identification information insertion area by a specific value according to the binary code.

일 실시예에서, 마커 제공부(320)는 인공지능 기반 실감형 콘텐츠의 식별 정보의이진수 코드가 “0100”인 경우, 이진수 코드가 “0”인 경우 해당 픽셀의 픽셀 값을 1만큼 증가시키고 이진수 코드가 “1”인 경우 해당 픽셀의 픽셀 값을 1만큼 감소시킬 수 있다. In one embodiment, the marker providing unit 320 increases the pixel value of the corresponding pixel by 1 when the binary code of the identification information of the AI-based immersive content is “0100” and the binary code is “0”, and If the code is “1”, the pixel value of the corresponding pixel can be decremented by 1.

다른 일 실시예에서, 마커 제공부(320)는 인공지능 기반 실감형 콘텐츠의 식별 정보의 이진수 코드가 “0100”인 경우, 이진수 코드가 “1”인 경우 해당 픽셀의 픽셀 값을 1만큼 증가시키고 이진수 코드가 “0”인 경우 해당 픽셀의 픽셀 값을 1만큼 감소시킬 수 있다. In another embodiment, the marker providing unit 320 increases the pixel value of the corresponding pixel by 1 when the binary code of the identification information of the AI-based immersive content is “0100”, and when the binary code is “1”, If the binary code is “0”, the pixel value of the corresponding pixel can be decremented by 1.

그 후, 마커 제공부(320)는 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입하기 위해 변경한 픽셀의 주변 픽셀 값을 동일한 픽셀 값으로 변경한다. 이때, 마커 제공부(320)는 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입하기 위해 변경한 픽셀의 주변 픽셀 값의 평균 픽셀 값으로 주변 픽셀 값을 변경한다. Thereafter, the marker providing unit 320 changes the peripheral pixel value of the changed pixel to the same pixel value in order to insert the identification information of the artificial intelligence-based immersive content. In this case, the marker providing unit 320 changes the peripheral pixel value to the average pixel value of the peripheral pixel values of the changed pixel to insert the identification information of the artificial intelligence-based immersive content.

이와 같은 이유는, 마커 인식부(350)가 마커(500)를 인식할 때 특정 객체(400)를 촬영하여 객체 이미지를 생성한 후 객체 이미지를 분석하여 픽셀 값을 추출하여 특정 개수의 픽셀의 픽셀 값이 동일하지만 하나의 픽셀 값만이 다른 경우 해당 픽셀의 픽셀 값을 각각 추출하여 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드를 추출할 수 있도록 하기 위해서이다.The reason for this is that when the marker recognizing unit 350 recognizes the marker 500, a specific number of pixels is generated by photographing a specific object 400, and then analyzing the object image to extract pixel values. This is to extract a binary code corresponding to identification information of artificial intelligence-based immersive content by extracting each pixel value of the corresponding pixel when the value is the same but only one pixel value is different.

마커 제공부(320)는 상기와 같은 과정을 통해 마커(500)를 생성한 후 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커(500)를 대응하여 마커 데이터베이스(330)에 저장한다. After generating the marker 500 through the above-described process, the marker providing unit 320 stores the identification information of the artificial intelligence-based immersive content and the marker 500 in correspondence with the marker database 330 .

상기와 같이, 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커(500)를 대응하여 마커 데이터베이스(330)에 저장할 때 변경된 픽셀의 원래 픽셀 값 및 변경된 픽셀 값을 함께 저장함으로써 마커 인식부(350)가 객체 이미지를 분석하여 픽셀 값을 기초로 마커(500)에 삽입된 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드를 추출할 수 있도록 한다. As described above, when the identification information of artificial intelligence-based immersive content and the marker 500 are stored in the marker database 330 in correspondence, the original pixel value and the changed pixel value of the changed pixel are stored together, so that the marker recognition unit 350 is By analyzing the object image, it is possible to extract the binary code corresponding to the identification information of the artificial intelligence-based immersive content inserted into the marker 500 based on the pixel value.

이와 같이, 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커(500)를 대응하여 마커 데이터베이스(330)에 저장함으로써 사용자가 동일한 인공지능 기반 실감형 콘텐츠에 대한 복수의 마커(500)를 출력할 수 있도록 한다. As such, by storing the identification information and the marker 500 of the artificial intelligence-based immersive content in the marker database 330 in correspondence, the user can output a plurality of markers 500 for the same artificial intelligence-based immersive content. do.

따라서, 사용자가 동일한 인공지능 기반 실감형 콘텐츠에 대한 복수의 마커(500)를 다양한 객체에 부착함으로써 해당 마커(500)가 부착된 객체(400)를 마커 인식부(350)를 통해 인식함으로써 마커(500)에 해당하는 인공지능 기반 실감형 콘텐츠를 증강 현실을 통해 출력할 수 있도록 한다. Accordingly, by attaching a plurality of markers 500 for the same artificial intelligence-based immersive content to various objects, the user recognizes the object 400 to which the corresponding marker 500 is attached through the marker recognition unit 350, thereby making the marker ( 500) to output artificial intelligence-based immersive content through augmented reality.

마커 인식부(350)는 마커 인식 절차를 통해 인식된 객체(400)를 촬영하여 객체 이미지를 생성하고, 객체 이미지의 픽셀 분석을 통해 상기 객체 이미지에 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드가 삽입되어 있는지 여부에 따라 객체가 마커라고 인식한다. The marker recognition unit 350 generates an object image by photographing the object 400 recognized through the marker recognition procedure, and through pixel analysis of the object image, the object image corresponds to identification information of artificial intelligence-based immersive content. An object is recognized as a marker depending on whether a binary code is inserted or not.

즉, 마커 인식부(350)는 객체 이미지의 픽셀 분석을 통해 특정 영역의 픽셀의 픽셀 값이 동일한 경우, 마커 데이터베이스(330)를 기초로 특정 영역의 픽셀의 중심 픽셀의 픽셀 값 및 원래 픽셀 값을 비교하여 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드를 추출할 수 있다. That is, when the pixel values of the pixels of the specific area are the same through the pixel analysis of the object image, the marker recognition unit 350 determines the pixel value and the original pixel value of the center pixel of the pixel of the specific area based on the marker database 330 . By comparison, it is possible to extract a binary code corresponding to identification information of artificial intelligence-based immersive content.

그 후, 마커 인식부(350)는 마커 데이터베이스(330)를 기초로 이진수 코드에 해당하는 인공지능 기반 실감형 콘텐츠의 식별 정보가 존재하는 경우 해당 인공지능 기반 실감형 콘텐츠를 실감형 콘텐츠 제공부(340)를 통해 제공한다. Thereafter, the marker recognition unit 350 transmits the corresponding artificial intelligence-based immersive content to the immersive content providing unit ( 340) is provided.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, although the present invention has been described with reference to the limited examples and drawings, the present invention is not limited to the above-described examples, which are various modifications and variations from these descriptions by those skilled in the art to which the present invention belongs. Transformation is possible. Accordingly, the spirit of the present invention should be understood only by the claims described below, and all equivalents or equivalent modifications thereof will fall within the scope of the spirit of the present invention.

한편 본 명세서에 개시된 기술에 관한 설명은 단지 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 개시된 기술에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.On the other hand, since the description of the technology disclosed in this specification is merely an embodiment for structural or functional description, the scope of the disclosed technology should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the disclosed technology includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the disclosed technology does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the disclosed technology is limited thereby.

또한 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. “제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소로 제1 구성요소로 명명될 수 있다.In addition, the meaning of the terms described in the present invention should be understood as follows. Terms such as “first” and “second” are for distinguishing one component from other components, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly a second component may be termed a first component.

나아가 어떤 구성요소가 다른 구성요소에 “연결되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.Furthermore, when it is mentioned that a certain element is "connected" to another element, it may be directly connected to the other element, but it should be understood that another element may exist in the middle. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. On the other hand, other expressions describing the relationship between elements, that is, “between” and “between” or “neighboring to” and “directly adjacent to”, etc., should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다”또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise, and terms such as “comprises” or “have” refer to the specified feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

100 : 사용자 단말
200 : 인공지능 기반 실감형 콘텐츠 제작 장치
300 : 실감형 콘텐츠 제작 장치
400 : 객체
500 : 마커100: user terminal
200: Artificial intelligence-based realistic content production device
300: realistic content creation device
400 : object
500 : marker

Claims (4)

사용자 단말, 인공지능 기반 콘텐츠 제작 장치 및 실감형 콘텐츠 제작 장치를 포함하는 가상 마커를 활용한 실시간 영상 합성 시스템에 있어서,
상기 인공지능 기반 실감형 콘텐츠 제작 장치에 접속하여 인공지능 기반 실감형 콘텐츠를 제작한 후, 상기 인공지능 기반 실감형 콘텐츠 각각에 대한 마커를 제작한 후 스티커 형태로 출력하며, 상기 마커를 특정 객체에 부착한 후 상기 실감형 콘텐츠 제작 장치를 통해 인식하는 사용자 단말(100);
상기 사용자 단말로부터 수신된 기본 정보, 콘텐츠 제작 정보 및 부가 정보를 기초로 인공지능 기반 콘텐츠를 제작하여 제공하는 인공지능 기반 실감형 콘텐츠 제작 장치(200);
상기 인공지능 기반 실감형 콘텐츠를 증강 현실을 통해 제공하는 실감형 콘텐츠 제작 장치(300);를 포함하여 구성되되,
상기 인공지능 기반 콘텐츠 제작 장치(200)는 상기 사용자 단말(100)로부터 사용자의 기본 정보를 수신하는 기본 정보 수신부(210);와 상기 사용자 단말(100)로부터 인공지능 기반으로 제작하고자 하는 콘텐츠에 대한 콘텐츠 제작 정보를 수신하는 실감형 콘텐츠 제작 정보 수신부(220); 상기 사용자 단말(100)로부터 콘텐츠의 생성 시 참조되는 콘텐츠 부가 정보를 수신하는 부가 정보 수신부(230);와 이미지 제공 서버로부터 이미지를 크롤링한 후, 이미지 각각을 분석하여 미리 결정된 가중치를 부여한 후 이미지 데이터베이스(260)에 저장하는 이미지 데이터베이스 구축부(250); 및 상기 기본 정보, 상기 콘텐츠 제작 정보 및 상기 콘텐츠 부가 정보를 기초로 상기 이미지 데이터베이스(260) 각각에 저장된 이미지의 가중치에 부가 가중치를 부여하여 최종 가중치에 따라 이미지를 추출하여 인공지능 기반 콘텐츠를 제작하는 인공지능 기반 실감형 콘텐츠 제작부(240)와, 음향 데이터베이스(270)를 포함하여 구성되되, 상기 음향 데이터베이스(270)에는 이미지 및 콘텐츠 종류 각각에 대응되는 음향이 저장되고,
상기 실감형 콘텐츠 제작 장치(300)는 상기 인공지능 기반 실감형 콘텐츠 제작 장치(200)에 의해 생성된 인공지능 기반 실감형 콘텐츠를 수신하는 인공지능 기반 실감형 콘텐츠 수신부(310); 상기 인공지능 기반 실감형 콘텐츠의 선택 절차를 통해 선택된 인공지능 기반 실감형 콘텐츠의 식별 정보 및 마커 이미지 선택 절차를 통해 선택된 마커 이미지를 이용하여 마커를 생성한 후 상기 마커를 스티커 형태로 출력하도록 하는 마커 제공부(320); 마커 인식 절차를 통해 인식된 객체를 촬영하여 객체 이미지를 생성하고, 객체 이미지의 픽셀 분석을 통해 상기 객체 이미지에 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드가 삽입되어 있는지 여부에 따라 객체가 마커라고 인식하는 마커 인식부(350); 및 상기 마커 인식부(350)에 의해 상기 객체가 마커로 인식되면 상기 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 인공지능 기반 실감형 콘텐츠를 제공하는 증강 현실 콘텐츠 제공부를 포함하며,
상기 마커 제공부(320)는 상기 마커 이미지의 픽셀을 분석하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입할 식별 정보 삽입 영역을 결정하고, 상기 식별 정보 삽입 영역의 픽셀을 분석하여 특정 간격만큼 떨어진 픽셀 각각의 픽셀 값을 변경하여 인공지능 기반 실감형 콘텐츠의 식별 정보를 삽입하고, 상기 인공지능 기반 실감형 콘텐츠의 식별 정보를 이진수 코드로 코드화한 후 상기 이진수 코드에 따라 상기 식별 정보 삽입 영역의 픽셀 중 특정 간격만큼 떨어진 픽셀 각각의 픽셀 값을 증가시키거나 감소시키고, 상기 픽셀 값이 변경된 픽셀의 주변 픽셀 값을 동일한 픽셀 값으로 변경하고,
상기 마커 인식부(350)는 상기 마커 인식 절차를 통해 인식된 객체를 촬영하여 객체 이미지를 생성하고, 상기 객체 이미지의 픽셀 분석을 통해 특정 영역의 픽셀의 픽셀 값이 동일한 경우, 마커 데이터베이스(330)를 기초로 특정 영역의 픽셀의 중심 픽셀의 픽셀 값 및 원래 픽셀 값을 비교하여 인공지능 기반 실감형 콘텐츠의 식별 정보에 해당하는 이진수 코드를 추출하며, 상기 이진수 코드에 해당하는 인공지능 기반 실감형 콘텐츠의 식별 정보가 존재하는 경우 해당 인공지능 기반 실감형 콘텐츠를 증강 현실 콘텐츠 제공부를 통해 제공하는 것을 특징으로 하는 가상 마커를 활용한 실시간 영상 합성 시스템.
A real-time image synthesis system using a virtual marker including a user terminal, an artificial intelligence-based content production device, and an immersive content production device, the real-time video synthesis system comprising:
After accessing the artificial intelligence-based immersive content production device to produce artificial intelligence-based immersive content, a marker for each of the artificial intelligence-based immersive content is produced and output in the form of a sticker, and the marker is applied to a specific object a user terminal 100 for recognizing through the immersive content production device after attachment;
an artificial intelligence-based immersive content production apparatus 200 for producing and providing artificial intelligence-based content based on the basic information, content production information, and additional information received from the user terminal;
The immersive content production device 300 for providing the artificial intelligence-based immersive content through augmented reality; configured to include,
The artificial intelligence-based content production apparatus 200 includes a basic information receiver 210 for receiving basic information of a user from the user terminal 100; and a content to be produced based on artificial intelligence from the user terminal 100 an immersive content production information receiving unit 220 for receiving content production information; Additional information receiving unit 230 for receiving content additional information referenced when creating content from the user terminal 100; and after crawling images from the image providing server, analyzing each image and giving a predetermined weight to the image database an image database building unit 250 for storing in 260; And based on the basic information, the content creation information, and the content additional information, by giving an additional weight to the weight of the image stored in each of the image database 260, extracting the image according to the final weight to produce artificial intelligence-based content It is configured to include an artificial intelligence-based immersive content production unit 240 and a sound database 270, wherein the sound database 270 stores images and sounds corresponding to each type of content,
The sensory content production apparatus 300 includes an artificial intelligence-based sensory content receiving unit 310 for receiving the artificial intelligence-based sensory content generated by the artificial intelligence-based sensory content production apparatus 200; A marker for generating a marker using the identification information of the artificial intelligence-based immersive content selected through the artificial intelligence-based immersive content selection procedure and the marker image selected through the marker image selection procedure, and then outputting the marker in the form of a sticker providing unit 320; An object image is generated by photographing an object recognized through a marker recognition procedure, and an object according to whether a binary code corresponding to identification information of artificial intelligence-based immersive content is inserted into the object image through pixel analysis of the object image a marker recognition unit 350 for recognizing that is a marker; and an augmented reality content providing unit that provides artificial intelligence-based immersive content corresponding to identification information of the artificial intelligence-based immersive content when the object is recognized as a marker by the marker recognition unit 350,
The marker providing unit 320 analyzes the pixels of the marker image to determine an identification information insertion area into which identification information of AI-based immersive content is to be inserted, and analyzes the pixels of the identification information insertion area to be spaced apart by a specific interval. Identification information of artificial intelligence-based immersive content is inserted by changing the pixel value of each pixel, the identification information of artificial intelligence-based immersive content is encoded into a binary code, and then the pixel of the identification information insertion area according to the binary code increasing or decreasing the pixel value of each pixel spaced apart by a specific interval, and changing the neighboring pixel value of the pixel whose pixel value is changed to the same pixel value;
The marker recognition unit 350 generates an object image by photographing the object recognized through the marker recognition procedure, and when the pixel values of pixels in a specific area are the same through pixel analysis of the object image, the marker database 330 Based on the comparison of the pixel value and the original pixel value of the central pixel of a pixel in a specific area, a binary code corresponding to identification information of artificial intelligence-based immersive content is extracted, and artificial intelligence-based immersive content corresponding to the binary code A real-time image synthesis system using a virtual marker, characterized in that the AI-based immersive content is provided through an augmented reality content providing unit when identification information of the .
 제 1 항에 있어서,
상기 기본 정보 수신부(210)는 사용자 단말(100)로부터 사용자의 이름, 나이, 성별, 직업, 관심 분야 중 하나 이상의 정보를 수신하는 것을 특징으로 하는 가상 마커를 활용한 실시간 영상 합성 시스템.
The method of claim 1,
The basic information receiving unit 210 is a real-time image synthesis system using a virtual marker, characterized in that it receives one or more information of the user's name, age, gender, occupation, and interest from the user terminal (100).
 제 1 항에 있어서,
상기 실감형 콘텐츠 제작 정보 수신부(220)는 콘텐츠의 부가 정보 선택 절차를 제공하여 콘텐츠 부가 정보를 선택하도록 구성되되,
상기 콘텐츠 부가 정보는 콘텐츠 생성 시 참조되는 정보로서 배경 이미지 정보, 배경 음악 정보가 포함되는 것을 특징으로 하는 가상 마커를 활용한 실시간 영상 합성 시스템.
The method of claim 1,
The immersive content creation information receiving unit 220 is configured to select additional content information by providing an additional information selection procedure of the content,
The content additional information is information referenced when creating content, and includes background image information and background music information.
 제 1 항에 있어서,
상기 부가 정보 수신부(230)는 콘텐츠의 제작 시 저작권 수수료 지불이 요구되는 경우, 결제 정보를 수신하는 것을 특징으로 하는 가상 마커를 활용한 실시간 영상 합성 시스템.
The method of claim 1,
The additional information receiving unit 230 is a real-time image synthesis system using a virtual marker, characterized in that for receiving payment information when a copyright fee payment is required when producing content.
KR1020210032955A 2020-01-02 2021-03-12 System for image synthesis using virtual markers KR102411974B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20200000064 2020-01-02
KR1020200000064 2020-01-02
KR1020200045879A KR102232184B1 (en) 2020-01-02 2020-04-16 System for providing virtual studio for reality contents based on artificial intelligence

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200045879A Division KR102232184B1 (en) 2020-01-02 2020-04-16 System for providing virtual studio for reality contents based on artificial intelligence

Publications (2)

Publication Number Publication Date
KR20210087407A KR20210087407A (en) 2021-07-12
KR102411974B1 true KR102411974B1 (en) 2022-06-23

Family

ID=75222390

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200045879A KR102232184B1 (en) 2020-01-02 2020-04-16 System for providing virtual studio for reality contents based on artificial intelligence
KR1020210032955A KR102411974B1 (en) 2020-01-02 2021-03-12 System for image synthesis using virtual markers

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200045879A KR102232184B1 (en) 2020-01-02 2020-04-16 System for providing virtual studio for reality contents based on artificial intelligence

Country Status (1)

Country Link
KR (2) KR102232184B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520445B1 (en) * 2022-08-18 2023-04-11 주식회사 에스오씨 Apparatus and method for real-time streaming display of mapping content linked to a single printed photo image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021001A (en) * 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 Implementation of marker-less augmented reality and mixed reality system using object detecting method
KR101040253B1 (en) * 2009-02-03 2011-06-09 광주과학기술원 Method of producing and recognizing marker for providing augmented reality
KR102194008B1 (en) * 2018-05-24 2020-12-22 시크릿타운 주식회사 Method for providing augmented reality contents based on image of goods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AR을 활용한 차량정비 어플리케이션 설계 및 구현, 호서대학교 컴퓨터스프트웨어학과 이재웅 외 5인, 2018년 추계학술발표대회 논문집 제25권 제2호, 2018.11., P.988~990

Also Published As

Publication number Publication date
KR20210087407A (en) 2021-07-12
KR102232184B1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11580935B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US20210312671A1 (en) Method and apparatus for generating video
KR102488458B1 (en) Mouth shape synthesis device and method using artificial neural network including face discriminator
KR20220008735A (en) Animation interaction method, device, equipment and storage medium
CN107798932A (en) A kind of early education training system based on AR technologies
CN107293236A (en) The intelligent display device of adaptive different user
KR20120071444A (en) Method for providing advertisement by using augmented reality, system, apparatus, server and terminal therefor
CN109029466A (en) indoor navigation method and device
JP2022532669A (en) Methods and equipment for identifying videos
KR102411974B1 (en) System for image synthesis using virtual markers
TW201814553A (en) Method and system for remote management of location-based space object
WO2017042070A1 (en) A gazed virtual object identification module, a system for implementing gaze translucency, and a related method
CN104837065B (en) Two-dimensional barcode information sharing method and system between television terminal and mobile terminal
CN116168134B (en) Digital person control method, digital person control device, electronic equipment and storage medium
US11846783B2 (en) Information processing apparatus, information processing method, and program
KR102426933B1 (en) An educational platform that provides video content by accessing cloud websites through devices
CN106484118A (en) A kind of augmented reality exchange method based on fixing trigger source and system
KR100521728B1 (en) Video geographic information system
Arbaoui Applying Augmented Reality to Stimulate User Awareness in Urban Environments
US20220020205A1 (en) System and method for interactive visualisation of a pre-defined location
US20230386140A1 (en) Systems, methods, and devices for a virtual environment reality mapper
CN117726511B (en) Panoramic imaging device and method for tourism landscape display
CN109934930A (en) A kind of real Enhancement Method and system based on user's elaborate position
Zhang et al. Virtual Museum Scene Design Based on VRAR Realistic Interaction under PMC Artificial Intelligence Model
US20190347861A1 (en) Apparatus for presenting augmented reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right