KR101225421B1

KR101225421B1 - Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer

Info

Publication number: KR101225421B1
Application number: KR1020110056297A
Authority: KR
Inventors: 김석수; 송재구; 정성모; 임지훈; 김동현
Original assignee: 한남대학교 산학협력단
Priority date: 2011-06-10
Filing date: 2011-06-10
Publication date: 2013-01-22
Also published as: KR20120137021A

Abstract

본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로, 종래 증강현실 기반 크로마키 방법에서 사용자가 등록하는 배경을 단순히 정적인 가상공간이 아닌 인터랙션 기술을 활용한 가상객체의 조작으로 동적인 가상공간을 이용하며, 상기 가상공간에서 앞, 뒤쪽의 보여지는 순서를 효율적으로 지정하기 위해 중첩 레이어를 지원한다. 본 발명에서 증강현실 처리는 마커를 기반으로 가상객체를 증강시키며, 상기 가상객체의 크기, 이동, 회전 등의 인터랙션 처리를 통해 사용자가 원하는 형태로 조작하여 상기 가상공간에 배치시킨다. 중첩 레이어 처리는 검출되는 전경, 등록하는 배경, 증강되는 가상객체 등을 개별 레이어로서 동일한 x, y축 좌표 값으로 정합시키고 사용자가 z축 좌표 값을 기반으로 우선순위를 지정하는 것을 특징으로 한다.
본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.The present invention relates to an augmented reality-based chroma key method using an overlapping layer. In the conventional augmented reality-based chroma key method, a background registered by a user is not a static virtual space but a manipulation of a virtual object using an interaction technology. It uses a dynamic virtual space and supports overlapping layers to efficiently designate the order of front and rear views in the virtual space. In the present invention, the augmented reality processing augments a virtual object based on a marker, and manipulates the virtual object in a desired form through interaction processing such as size, movement, and rotation of the virtual object, and places the virtual object in the virtual space. The overlap layer processing is characterized by matching the detected foreground, the registered background, the augmented virtual object, etc. as individual layers with the same x and y axis coordinate values, and assigning a priority to the user based on the z axis coordinate values.
According to the present invention, since the chroma key processing is performed based on the augmented reality-based interaction and the overlapping layer, the user can configure various types of dynamic virtual studios in real time according to a desired shooting concept.

Description

Authoring Method of Augmented Reality Base Chroma-Key Using Overlay Layer}

본 발명은 증강현실 기반 크로마키 방법의 동적인 가상공간을 표현하는 과정에서 요구되는 가상객체와 레이어 순서를 제어하는 기술을 효과적으로 제공하기 위한 방법에 관한 것이다.The present invention relates to a method for effectively providing a technique for controlling virtual objects and layer order required in a process of representing a dynamic virtual space of an augmented reality based chroma key method.

종래 한국특허출원 제2008-0108757호(2008.11.04)에 게시된 삼차원 개인 광고 방송 서비스 제공 장치와 방법 및 인터넷 방송 수신 장치는 도 1에 도시한 바와 같이, 효율적인 광고 방송 서비스 제공을 위해 광고 상품을 표현하는데 있어 증강현실 기술을 기반으로 가상객체를 추가시켜 처리하는 것으로서, The apparatus and method for providing a three-dimensional personal advertisement service and an internet broadcast receiver disclosed in Korean Patent Application No. 2008-0108757 (2008.11.04), as shown in FIG. 1, provide an advertisement product to provide an efficient advertisement service. In expressing as a virtual object by adding a process based on augmented reality technology,

블루스크린 배경에서 촬영된 카메라 영상, 삼차원 가상 배경 영상, 광고 물품의 삼차원 광고 객체 영상, 및 광고 물품을 소개하는 이차원 영상을 입력받는 영상 입력부; 상기 입력된 영상들을 가지고 가상현실 기법과 증강현실(Augmented Reality) 기법을 이용하여 삼차원 광고 방송 콘텐츠를 생성하는 콘텐츠 생성부; 및 상기 콘텐츠 생성부에 의해 생성된 삼차원 광고 방송 콘텐츠를 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television)방송 채널을 통해 스트리밍 전송하는 영상 전송부;를 포함하며, 블루스크린 배경에서 촬영되어 입력된 카메라 영상에서 크로마키 기법을 이용하여 배경을 제거하고, 가상현실기법을 이용하여 상기 제거된 배경에 삼차원 가상 배경 영상을 삽입하고, 상기 삼차원 가상 배경 영상이 삽입된 영상에 광고 물품을 소개하는 이차원 영상을 배치하며, 상기 카메라 영상에서 영상 패턴을 인식하여 인식된 영상 패턴 위치에 광고 물품의 삼차원 광고 객체 영상을 매핑하여 삼차원 광고 방송 콘텐츠를 생성하는 단계; 광고 물품에 대한 상세 설명이 담긴 메타데이터를 입력받는 단계; 및 상기 생성된 삼차원 광고 방송 콘텐츠와 상기 광고 물품의 삼차원 광고 객체 영상 및 상기 입력된 메타데이터를 먹싱하여 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television) 방송 채널을 통해 스트리밍 전송하는 단계;를 포함하는 것을 특징으로 한다.An image input unit for receiving a camera image photographed on a blue screen background, a three-dimensional virtual background image, a three-dimensional advertisement object image of an advertisement article, and a two-dimensional image introducing the advertisement article; A content generator for generating 3D commercial content using the inputted images using a virtual reality technique and an augmented reality technique; And an image transmitter configured to stream the 3D commercial content generated by the content generator through an internet protocol television broadcast channel allocated exclusively, wherein the camera is photographed and input on a blue screen background. The background is removed from the image using a chroma key technique, a three dimensional virtual background image is inserted into the removed background using a virtual reality technique, and a two dimensional image is introduced to introduce the advertisement article to the image into which the three dimensional virtual background image is inserted. Generating a 3D commercial content by recognizing an image pattern in the camera image and mapping a 3D advertising object image of an advertisement article to a recognized image pattern position; Receiving metadata containing a detailed description of the advertisement product; And muxing the generated three-dimensional advertisement content, the three-dimensional advertisement object image of the advertisement article, and the input metadata, and streaming the same through an assigned Internet Protocol Television broadcast channel. It is characterized by.

그러나, 상기 종래기술을 이용한 서비스는 단순히 상품을 증강시켜 보여주기만 할 뿐 크기, 이동, 회전 등의 특정한 인터랙션이 지원되지 않고 있으며, 기존 증강현실 기술의 문제점으로 상기 증강된 상품 가상객체의 위치가 항상 앞쪽에만 지정될 수밖에 없다는 한계점이 있었다.However, the service using the conventional technology merely shows augmented products, and does not support specific interactions such as size, movement, and rotation, and the location of the augmented product virtual object is always due to the problem of the existing augmented reality technology. There was a limitation that it could only be specified in the front.

이에 대하여, 본 발명은 마커를 기반으로 증강되는 가상객체의 인터랙션과 레이어 순서를 제어하기 위하여 크기, 이동, 회전 등의 인터랙션 처리, 알파채널 기반의 중첩 레이어를 활용하여 각 레이어의 순서 조절을 통해 가상객체가 앞, 뒤쪽 등 사용자가 원하는 곳에 위치시킬 수 있도록 시스템을 구성한다. On the other hand, the present invention uses the interaction of the size, movement, rotation, etc. in order to control the interaction and layer order of the augmented virtual object based on the marker, the virtual layer by adjusting the order of each layer using the alpha channel-based overlapping layer Configure the system so that objects can be placed wherever you want, such as in the front and back.

본 발명은 상기 종래의 증강현실 기반 크로마키 방법의 한계점을 해결하기 위하여 안출된 것으로, 사용자가 가상객체를 증강시키고 원하는 형태로 조작할 수 있도록 크기, 이동, 회전 등의 인터랙션을 지원한다. 이는 정적인 가상공간이 아닌 동적인 가상공간을 지원할 수 있도록 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 제공하는데 그 목적이 있다.The present invention was devised to solve the limitations of the conventional augmented reality-based chroma key method, and supports interactions such as size, movement, and rotation so that a user can augment a virtual object and manipulate it in a desired form. The purpose is to provide an augmented reality-based chroma key method using overlapping layers to support dynamic virtual space, not static virtual space.

또한, 입력받는 영상에서 검출되는 전경, 사용자가 등록하는 배경 및 증강시키는 가상객체 등의 영상 데이터를 합성하는데 있어 알파채널을 기반으로 한 중첩 레이어를 통해 투명도와 앞, 뒤쪽의 순서를 지정할 수 있도록 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 제공하는데 다른 목적이 있다.In addition, in order to synthesize image data such as the foreground detected from the input image, the background registered by the user, and the augmented virtual object, the overlay layer based on the alpha channel can be specified so that the order of transparency and front and rear can be specified. Another purpose is to provide an augmented reality based chroma key method using layers.

본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로서, 증강현실 기반의 크로마키 방법에 있어서, 초기 처리 영상을 입력받는 영상입력, 조명, 그림자 등에 강인한 영상 확보를 위한 전처리, 입력받은 영상의 전/배경 분리에 따른 전경검출, 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출, 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리, 새로운 배경을 등록하는 배경등록, 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리, 처리된 영상을 출력하는 영상출력을 포함하여 처리를 진행하는 것을 특징으로 한다.The present invention relates to an augmented reality-based chroma key method using an overlapping layer. In the augmented reality-based chroma key method, a pre-processing and input for securing a robust image, such as an image input, an illumination, and a shadow, which receives an initial processed image, is input. Foreground detection based on the total separation of the received image and background, marker detection to check whether the marker is detected in the detected foreground image, augmented reality processing that augments and interacts with virtual objects when a marker is detected, and a new background. The background processing may include a background registration to be registered, an overlapping layer processing based on a priority value reference of the layer, and an image output to output the processed image.

본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.According to the present invention, since the chroma key processing is performed based on the augmented reality-based interaction and the overlapping layer, the user can configure various types of dynamic virtual studios in real time according to a desired shooting concept.

도 1은 종래기술에 의한 삼차원 개인 광고방송 서비스 제공 시스템의 구성도
도 2는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 전체 순서도
도 3은 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 증강현실 처리 순서도
도 4는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 중첩 레이어 처리 순서도1 is a block diagram of a three-dimensional personal commercial service providing system according to the prior art
2 is an overall flowchart of an augmented reality based chroma key method using an overlapping layer according to an embodiment of the present invention.
3 is an augmented reality processing flow chart of the augmented reality-based chroma key method using the overlap layer according to an embodiment of the present invention
4 is a flowchart illustrating a processing of overlapping layers of an augmented reality based chroma key method using an overlapping layer according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 상세히 설명한다.
Hereinafter, with reference to the accompanying drawings will be described in detail augmented reality based chroma key method using the overlap layer according to the present invention.

도 2는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 전체 순서도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법은, 웹캠으로부터 영상을 입력받는 영상입력(100), 조명, 그림자 등에 강인한 영상 확보를 위한 전처리(200), 입력받은 영상의 전/배경 분리에 따른 전경검출(300), 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출(400), 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리(500), 새로운 배경을 등록하는 배경등록(600), 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리(700), 처리된 영상을 출력하는 영상출력(800)으로 이루어진다.2 is an overall flowchart of an augmented reality based chroma key method using an overlapping layer according to an embodiment of the present invention. As shown in FIG. 2, the augmented reality-based chroma key method using an overlapping layer according to an embodiment of the present invention provides a robust image securing method such as image input 100, illumination, shadow, etc., which receives an image from a webcam. Pre-processing (200), foreground detection (300) according to pre-background separation of the input image, marker detection (400) to check whether the marker is detected in the detected foreground image, augmentation of the virtual object when the marker is detected and Augmented reality processing (500) for the interaction process, background registration (600) for registering a new background, superimposed layer processing (700) based on the priority value of the layer, image output (800) for outputting the processed image Is done.

상기 마커검출(400)에서 마커가 검출되었을 경우에는 상기 증강현실 처리(500)를 거친 후, 상기 배경등록(600) 과정을 진행하며, 마커가 검출되지 않았을 경우에는 상기 마커검출(400) 과정을 반복하여 진행한다.When the marker is detected in the marker detection 400, the augmented reality process 500 passes, and the background registration 600 is performed. When the marker is not detected, the marker detection 400 is performed. Repeat it.

상기 배경등록(600)은 사용자가 원하는 형태의 이미지를 배경DB를 통해 불러와 기본적인 배경으로 이용하며, 상기 중첩 레이어 처리(700)는 상기 전경검출(300)을 통해 검출된 전경과 상기 증강현실 처리(500)를 통해 증강되는 가상객체, 상기 배경등록(600)을 통해 등록된 배경 등을 중첩 레이어에 기반하여 처리한다.
The background registration 600 loads an image of a desired shape through a background DB and uses it as a basic background, and the overlapping layer processing 700 processes the foreground and the augmented reality processing detected through the foreground detection 300. The virtual object augmented through 500 and the background registered through the background registration 600 are processed based on an overlapping layer.

도 3은 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 증강현실 처리 순서도이다. 도 3에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에서의 증강현실 처리는, 크게 마커를 인식하는 단계(510); 가상객체를 증강시키는 단계(520); 증강된 가상객체의 초기 위치를 제어하는 단계(530); 인터랙션 발생 여부를 확인하는 단계(540); 인터랙션을 처리하는 단계(550)로 구성되어 있으며, 각 단계의 처리에 대한 상세한 설명은 다음과 같다. 3 is an augmented reality processing flow chart of the augmented reality-based chroma key method using an overlapping layer according to an embodiment of the present invention. As shown in FIG. 3, the augmented reality processing in the augmented reality-based chroma key method using an overlapping layer according to an embodiment of the present invention includes: step 510 of recognizing a marker; Augmenting the virtual object (520); Controlling an initial position of the augmented virtual object (530); Checking (540) whether an interaction occurs; Interaction processing step 550, the detailed description of the processing of each step is as follows.

상기 마커를 인식하는 단계(510)는 상기 마커검출(400)을 통해 검출 된 상기 마커내부의 이미지 패턴을 확인하기 위해 템플릿 매칭을 진행하는 단계로서 사용자가 사전에 등록시켜 놓은 마커패턴DB와 비교분석을 통해 인식을 진행한다. 상기 가상객체를 증강시키는 단계(520)는 상기 마커패턴DB와 비교분석을 통해 해당 패턴에 부합되는 가상객체를 사용자가 사전에 등록시켜 놓은 가상객체DB를 통해 확인하고 증강시킨다. 상기 증강된 가상객체의 초기 위치를 제어하는 단계(530)는 상기 증강된 가상객체를 사용자가 원하는 초기 증강 위치를 선정할 수 있도록 위치 값을 제어한다. 상기 인터랙션 발생 여부를 확인하는 단계(540)는 크기, 이동, 회전 등의 인터랙션 발생여부를 확인하고 인터랙션이 발생하였을 경우 인터랙션을 처리하는 단계(550)를 진행하며, 인터랙션이 발생되지 않았을 경우 배경등록(600) 과정을 진행한다. Recognizing the marker 510 is a step of performing template matching to check the image pattern inside the marker detected through the marker detection 400 as a comparative analysis with the marker pattern DB registered in advance by the user Proceed through the recognition. The step of augmenting the virtual object 520 confirms and augments a virtual object corresponding to the pattern through a virtual object DB previously registered by the user through comparative analysis with the marker pattern DB. In step 530 of controlling the initial position of the augmented virtual object, a position value is controlled so that a user can select an initial augmented position desired by the user. The step 540 of checking whether or not the interaction occurs includes checking whether the interaction occurs, such as size, movement, and rotation, and processing the interaction when the interaction occurs (550), and registering the background when the interaction does not occur. Proceed to step (600).

즉, 상기 증강현실 처리는, 상기 증강현실 처리(500)에서 검출된 마커를 마커패턴DB를 통해 인식하는 단계(510); 상기 증강현실 처리(500)에서 인식된 마커에 부합하는 가상객체를 증강시키는 단계(520); 상기 증강현실 처리(500)에서 증강된 가상객체의 초기 위치를 제어하는 단계(530); 상기 증강현실 처리(500)에서 인터랙션 발생 여부를 확인하는 단계(540); 상기 증강현실 처리(500)에서 인터랙션을 처리하는 단계(550);를 포함하여 이루어진다.
That is, the augmented reality processing, the step of recognizing the marker detected in the augmented reality processing 500 through a marker pattern DB (510); Augmenting (520) a virtual object corresponding to the marker recognized by the augmented reality processing (500); Controlling an initial position of an augmented virtual object in the augmented reality processing 500 (530); Checking (540) whether an interaction occurs in the augmented reality process (500); And processing the interaction in the augmented reality processing 500 (550).

도 4는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 중첩 레이어 처리 순서도이다. 도 4에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에서의 중첩 레이어 처리는, 크게 영상을 정합하는 단계(710); 중첩 레이어의 우선순위를 지정하는 단계(720); 영상을 합성하는 단계(730)로 구성되어 있으며, 각 단계의 처리에 대한 상세한 설명은 다음과 같다. 4 is a flowchart illustrating a process of processing overlap layers of an augmented reality based chroma key method using overlap layers according to an embodiment of the present invention. As shown in FIG. 4, the superimposed layer processing in the augmented reality based chroma key method using the superimposed layer according to an embodiment of the present invention may include: step 710 of matching an image largely; Assigning a priority of the overlapping layer (720); Comprising an image synthesis step 730, the detailed description of the processing of each step is as follows.

상기 영상을 정합하는 단계는(710) 상기 검출된 전경, 상기 등록된 배경, 상기 증강된 가상객체를 각각의 개별 레이어로서 처리를 진행하며, 서로 다른 각 레이어의 좌표공간을 하나의 좌표공간으로서 정합시킨다. 상기 중첩 레이어의 우선순위를 지정하는 단계(720)는 상기 정합된 레이어의 좌표공간을 기반으로 z축의 좌표 값을 지정하여 각 레이어의 앞, 뒤쪽의 우선순위를 정하고 레이어를 중첩시킨다. In step 710, the detected foreground, the registered background, and the augmented virtual object are processed as individual layers, and the coordinate spaces of different layers are matched as one coordinate space. Let's do it. In step 720, the priority of the overlapping layer is determined based on the coordinate space of the matched layer to determine the priority of the front and rear of each layer and overlap the layers.

상기 영상을 합성하는 단계(730)는 상기 순서가 정해진 중첩 레이어의 영상들을 합성시키기 위해 알파채널을 이용하며, 크게 알파채널 생성 단계(731); 레이어 마스크 생성 단계(732); 알파 값 설정 단계(733); 알파채널 믹서 단계(734);로 구성된다. 상기 알파 값 설정 단계(733)의 알파 값은 0에서 1까지의 실수 값을 가지며, 이는 영상간의 투명도를 설정하는데 이용된다.The synthesizing step 730 may include an alpha channel for synthesizing the images of the ordered overlapping layer, and an alpha channel generation step 731; Creating a layer mask (732); Alpha value setting step 733; Alpha channel mixer step 734; The alpha value of the alpha value setting step 733 has a real value from 0 to 1, which is used to set the transparency between images.

즉, 상기 중첩 레이어 처리는, 상기 중첩 레이어 처리(700)에서 동일한 좌표 공간으로서 영상을 정합하는 단계(710); 상기 중첩 레이어 처리(700)에서 중첩 레이어의 우선순위를 지정하는 단계(720); 상기 중첩 레이어 처리(700)에서 알파채널 생성 단계(731); 레이어 마스크 생성 단계(732); 알파 값 설정 단계(733); 알파채널 믹서 단계(734)를 거쳐 영상을 합성하는 단계(730);를 포함하여 이루어진다.
That is, the overlapping layer processing may include: matching an image as the same coordinate space in the overlapping layer processing 700 (710); Assigning (720) the priority of the overlapping layer in the overlapping layer processing (700); Generating an alpha channel (731) in the overlap layer processing (700); Creating a layer mask (732); Alpha value setting step 733; And a step 730 of synthesizing the image through the alpha channel mixer step 734.

따라서, 본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로, 종래 증강현실 기반 크로마키 방법에서 사용자가 등록하는 배경을 단순히 정적인 가상공간이 아닌 인터랙션 기술을 활용한 가상객체의 조작으로 동적인 가상공간을 이용하며, 상기 가상공간에서 앞, 뒤쪽의 보여지는 순서를 효율적으로 지정하기 위해 중첩 레이어를 지원한다. 본 발명에서 증강현실 처리는 마커를 기반으로 가상객체를 증강시키며, 상기 가상객체의 크기, 이동, 회전 등의 인터랙션 처리를 통해 사용자가 원하는 형태로 조작하여 상기 가상공간에 배치시킨다. 중첩 레이어 처리는 검출되는 전경, 등록하는 배경, 증강되는 가상객체 등을 개별 레이어로서 동일한 x, y축 좌표 값으로 정합시키고 사용자가 z축 좌표 값을 기반으로 우선순위를 지정하는 것을 특징으로 한다.Accordingly, the present invention relates to an augmented reality-based chroma key method using an overlapping layer. In the conventional augmented reality based chroma key method, a user registers a background of a virtual object using an interaction technology rather than a static virtual space. It uses dynamic virtual space as operation, and supports overlapping layer to efficiently designate the order of front and rear view in the virtual space. In the present invention, the augmented reality processing augments a virtual object based on a marker, and manipulates the virtual object in a desired form through interaction processing such as size, movement, and rotation of the virtual object, and places the virtual object in the virtual space. The overlap layer processing is characterized by matching the detected foreground, the registered background, the augmented virtual object, etc. as individual layers with the same x and y axis coordinate values, and assigning a priority to the user based on the z axis coordinate values.

본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.
According to the present invention, since the chroma key processing is performed based on the augmented reality-based interaction and the overlapping layer, the user can configure various types of dynamic virtual studios in real time according to a desired shooting concept.

상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.The configuration and operation as described above are not limited to the claims of the present invention as an embodiment, and various changes and modifications are possible within the scope of not changing the technical spirit of the present invention. It is obvious to those who are engaged.

100...영상입력
200...전처리
300...전경검출
400...마커검출
500...증강현실처리
600...배경등록
700...중첩 레이어 처리
800...영상출력100.Video Input
200 ... pretreatment
300. Foreground detection
400 ... Marker Detection
500 ... Augmented Reality Treatment
600 Background Registration
700 ... Nesting Layers
800.Video Out

Claims

In the augmented reality based chroma key method,
Image input (100) receiving the image from the webcam, pre-processing (200) to secure the image robust to lighting, shadow, etc., foreground detection (300) according to the front / background separation of the input image, marker detection in the detected foreground image Marker detection (400) for checking whether a marker is detected, augmented reality processing (500) for augmenting and interacting a virtual object when a marker is detected, a background registration (600) for registering a new background, and priority values of layers An augmented reality based chroma key method using an overlapping layer characterized in that it comprises a superimposed layer processing 700, an image output 800 for outputting the processed image

The method of claim 1,
The augmented reality treatment,
Recognizing (510) a marker; Augmenting the virtual object (520); Controlling an initial position of the augmented virtual object (530); Checking (540) whether an interaction occurs; Augmented reality-based chroma key method using the overlap layer, characterized in that the step of processing the interaction (550)

The method of claim 1,
The overlap layer processing,
Registering the image (710); Assigning a priority of the overlapping layer (720); Augmented reality-based chroma key method using an overlapping layer characterized in that the image is synthesized in step 730