KR101226727B1 - System and method for providing augmented reality service - Google Patents

System and method for providing augmented reality service Download PDF

Info

Publication number
KR101226727B1
KR101226727B1 KR1020110004634A KR20110004634A KR101226727B1 KR 101226727 B1 KR101226727 B1 KR 101226727B1 KR 1020110004634 A KR1020110004634 A KR 1020110004634A KR 20110004634 A KR20110004634 A KR 20110004634A KR 101226727 B1 KR101226727 B1 KR 101226727B1
Authority
KR
South Korea
Prior art keywords
information
augmented reality
image
service
effective
Prior art date
Application number
KR1020110004634A
Other languages
Korean (ko)
Other versions
KR20120083147A (en
Inventor
박새이
김현정
한호선
홍선희
정진
시아오 리우
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020110004634A priority Critical patent/KR101226727B1/en
Publication of KR20120083147A publication Critical patent/KR20120083147A/en
Application granted granted Critical
Publication of KR101226727B1 publication Critical patent/KR101226727B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof

Abstract

본 발명은, 증강현실컨텐츠재생장치에서 증강현실 서비스 제공 시 증강현실 컨텐츠의 배경화면 내 특정 효과적용영역에서 시각적으로 부가적인 효과기능을 제공하고 특히 이때 배경화면에서 추출한 이미지를 반영하여 효과기능을 제공함으로써, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여할 수 있는 증강 현실 서비스 제공 시스템 및 방법이 개시되어 있다. 본 발명의 증강 현실 서비스 제공 시스템은, 정보제공장치가 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하고, 증강현실컨텐츠재생장치에서 상기 정보제공장치로부터의 상기 서비스구현정보를 저장하며, 상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 구성을 포함한다.The present invention provides a visually additional effect function in a specific effective area within a background screen of an augmented reality content when providing an augmented reality service in the apparatus for augmented reality content, and in particular, provides an effect function by reflecting an image extracted from the background screen. Accordingly, a system and method for providing augmented reality service for providing various visual effects on a virtual object using a self image of an augmented reality content without a separate animation work on the virtual object model are disclosed. In the augmented reality service providing system of the present invention, the information providing apparatus provides specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service, and the information providing apparatus in an augmented reality content playback device. Storing the service implementation information from the service implementation, and providing the augmented reality service outputting an augmented reality content including a background image and a virtual object according to the augmented reality content reproduction apparatus performing a preset augmented reality implementation function; Extracts a specific effective image from the background image based on at least one set of attribute information based on the information, and performs a corresponding visual effect function by reflecting the effective image for a specific effective region included in the augmented reality content. It includes configuration to do.

Description

증강 현실 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE}Augmented Reality Service Provision System and Method {SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE}

본 발명은 증강 현실 서비스 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 증강현실컨텐츠재생장치에서 증강현실 서비스 제공 시 증강현실 컨텐츠의 배경화면 내 특정 효과적용영역에서 점차 입체적으로 올라와 가상객체로 전환되는 등 시각적으로 부가적인 효과기능을 제공하고 특히 이때 배경화면에서 추출한 이미지를 반영하여 효과기능을 제공함으로써, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여할 수 있는 증강 현실 서비스 제공 시스템 및 방법, 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법에 관한 것이다.The present invention relates to a system and method for providing augmented reality service, and more particularly, when augmented reality service is provided in an augmented reality content playback device, the augmented reality content is gradually turned up in a specific effective area within a background screen of an augmented reality content to be converted into a virtual object. By providing additional effects and visual effects, especially by reflecting the image extracted from the background, it provides various effects on the virtual object using its own image of the augmented reality content without additional animation work on the virtual object model. The present invention relates to a system and method for providing augmented reality service and a method of operating an augmented reality content reproducing apparatus and an augmented reality content reproducing apparatus.

AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은, 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. AR (Augmented Reality) is one of the virtual reality in which the user views the real world viewed by the user and the virtual world having the additional information as one image. AR, a concept that complements the real world with a virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. Computer graphics serve to provide additional information needed for the real world. By overlapping the three-dimensional virtual image on the real image that the user is viewing, it means that the distinction between the real environment and the virtual screen becomes blurred.

이러한 증강현실을 구현하는 방법에 의한 증강현실 서비스는, 인쇄서적의 페이지를 펼쳐 이를 카메라를 통해 촬영하고 촬영된 실시간 영상을 재생장치가 화면에 디스플레이함에 있어서, 페이지 내에 특정 마커(marker)가 기록되어 있음에 따라 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커에 연결된 3차원 그래픽 모델을 실제 영상 즉 페이지를 촬영한 영상 위에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다.The augmented reality service by the method of implementing such an augmented reality, unfolds the page of the printed book, photographed through the camera and the playback device displays the captured real-time image on the screen, a specific marker is recorded in the page As a result, when a specific marker is recognized within the captured image, there is a method of drawing a 3D graphic model connected to the marker on an actual image, ie, a captured image. The marker here refers to providing size, direction, and position information to be drawn on a three-dimensional graphic model that is actually present on a two-dimensional plane and connected to itself.

헌데, 전술한 종래의 증강현실 서비스는, 촬영된 실시간 영상 즉 페이지 화면에 3차원 그래픽 모델이 렌더링될 매핑된 3차원 그래픽 모델 즉 가상객체가 갑자기 등장함에 따라 부자연스럽고 실제 배경과 가상객체 간의 연관성이 떨어져 보이게 된다. 이러한 부분을 보다 자연스럽게 하기 위해서 가상의 3차원 그래픽 모델 자체를 애니메이션화 시켜 동적 액티비티를 부여하거나 동적 효과를 입히는 노력을 하고 있지만, 이러한 보완 작업은 3차원 그래픽 모델을 변경하거나 새로 만들어야 하는 불편한 점과 애니메이션화 작업으로 인해 3차원 그래픽 모델 사이즈가 커지는 등 비효율적인 문제가 있다.However, the conventional augmented reality service described above is unnatural due to the sudden appearance of a mapped 3D graphic model, ie, a virtual object, on which a 3D graphic model is to be rendered on a captured real-time image, that is, a page screen. You look away. In order to make these parts more natural, we are trying to animate the virtual 3D graphic model itself to give dynamic activities or apply dynamic effects. However, this supplementary work is inconvenient to change or create a 3D graphic model and to animate it. As a result, the size of the 3D graphic model becomes large, such as an inefficient problem.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은 정보제공장치가 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하고, 증강현실컨텐츠재생장치에서 상기 정보제공장치로부터의 상기 서비스구현정보를 저장하며, 상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 증강 현실 서비스 제공 시스템 및 증강 현실 서비스 제공 방법을 제공하여, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여하는데 있다.The present invention has been made in view of the above circumstances, and an object of the present invention is to provide specific service implementation information in which an information providing device implements a specific visual effect function corresponding to a virtual object applied to an augmented reality service. And storing the service implementation information from the information providing device in the augmented reality content playback device, and augmented reality content including a background image and a virtual object as the augmented reality content playback device performs a preset augmented reality implementation function. When providing the augmented reality service to output, extracting a specific effective image from the background image according to the at least one attribute information set based on the service implementation information and the effect on a specific effective area included in the augmented reality content The visual effect function can be applied by reflecting the applied image. By providing an augmented reality service providing system and a method of providing augmented reality service to provide a variety of visual effects on the virtual object by using its own image of the augmented reality content without a separate animation work on the virtual object model.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 다른 목적은 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장하고, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하며 상기 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며, 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법을 제공하여, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여하는데 있다.The present invention was created in view of the above circumstances, and another object of the present invention is to store specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service, and Providing an augmented reality service that outputs augmented reality content including a background image and a virtual object according to the performance of the augmented reality implementation function, and when providing the augmented reality service, according to at least one attribute information set based on the service implementation information Augmented reality content playback device and augmented reality content playback device extracts a particular effective use image from the background image, and performs the corresponding visual effect function by reflecting the effective use image for a specific effective use area included in the augmented reality content Virtual object model by providing device operation method And without the need for a separate operation by using the animation image itself, the AR content is to give various visual effects to the virtual object.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 증강 현실 서비스 제공 시스템은, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하는 정보제공장치; 및 상기 정보제공장치로부터의 상기 서비스구현정보를 저장하고, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 증강현실컨텐츠재생장치를 포함한다.An augmented reality service providing system according to a first aspect of the present invention for achieving the above object comprises: an information providing apparatus for providing specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service; And storing the service implementation information from the information providing device, and providing the augmented reality service outputting an augmented reality service including a background image and a virtual object according to a preset augmented reality implementation function. An augmentation function extracting a specific effective image from the background image according to at least one set of attribute information based on the at least one attribute information, and performing a corresponding visual effect function by reflecting the effective image for a specific effective region included in the augmented reality content And a real content playback device.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 증강현실컨텐츠재생장치는, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하는 증강현실서비스제공부; 및 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장하며, 상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 효과기능제어부를 포함한다.Augmented reality content playback apparatus according to a second aspect of the present invention for achieving the above object, provides an augmented reality service that outputs augmented reality content including a background image and a virtual object in accordance with a preset augmented reality implementation function Augmented reality service provider; And store specific service implementation information for implementing a specific visual effect function corresponding to the virtual object applied to the augmented reality service, and provide the background according to at least one attribute information based on the service implementation information when the augmented reality service is provided. And an effect function control unit which extracts a specific effective image from the screen image and reflects the effective image for the specific effective region included in the augmented reality content to perform a corresponding visual effect function.

바람직하게는, 상기 효과기능제어부는, 상기 시각 효과기능의 실행 환경에 대하여 사용자에 의해 상기 적어도 하나의 속성정보를 설정하도록 유도하는 속성설정 유도기능을 제공하고, 이를 통해 설정되는 상기 적어도 하나의 속성정보를 상기 서비스구현정보에 반영할 수 있다.Advantageously, the effect function control unit provides an attribute setting inducing function for inducing the user to set the at least one attribute information with respect to an execution environment of the visual effect function, and the at least one attribute set through this. Information may be reflected in the service implementation information.

바람직하게는, 상기 적어도 하나의 속성정보는, 상기 시각 효과기능 수행 과정에서 반영되는 상기 효과적용이미지를 상기 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보, 상기 특정 효과적용영역을 지정하는 영역지정정보, 상기 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보, 상기 시각 효과기능 수행 과정에서 적용되는 투명도(Transparency)를 지정하는 투명도정보, 상기 시각 효과기능 수행에 따라 상기 효과적용영역에 적용되는 변형 특성 및 최종 사이즈를 지정하는 스케일정보, 상기 시각 효과기능 시간을 지정하는 시간지정정보 중 적어도 어느 하나를 포함할 수 있다.Preferably, the at least one attribute information includes extraction method information for designating an extraction method for extracting the effective use image reflected in the process of performing the visual effect function from the background image, and specifying the specific effective use area. Area designation information, execution time information designating an execution time for performing the visual effect function, transparency information designating transparency applied in the process of performing the visual effect function, and the effective area according to the execution of the visual effect function. And at least one of scale information for specifying a deformation characteristic and a final size to be applied to and time designation information for designating the visual effect function time.

바람직하게는, 상기 추출방식정보는, 사용자로 하여금 상기 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 상기 효과적용이미지를 추출하는 제1추출방식정보 및 특정 이미지인식알고리즘에 근거하여 상기 배경화면이미지로부터 적어도 하나의 이미지를 인식하여 인식된 적어도 하나의 이미지 중 특정 이미지를 상기 효과적용이미지로서 선택하여 추출하는 제2추출방식정보를 중 적어도 어느 하나를 포함할 수 있다.Preferably, the extraction method information provides a selection induction information for inducing a user to select the effective image from the background image and extracts the effective use image selected through the selection induction information. Recognizing at least one image from the background image based on extraction method information and a specific image recognition algorithm, the second extraction method information for selecting and extracting a specific image as the effective image from the at least one recognized image at least It may include any one.

바람직하게는, 상기 효과기능제어부는, 상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 투명도정보 및 상기 스케일정보를 토대로 해당 시각 효과기능을 수행할 수 있다.Preferably, when the effect function control unit reaches the execution time according to the execution time information based on the service implementation information when providing the augmented reality service, based on the extraction method information specific effective use from the background image Extract an image, apply the effective image as a surface texture to the effective area according to the area designation information, and apply the image based on the transparency information and the scale information during the visual effective time according to the time designation information. Visual effects function can be performed.

바람직하게는, 상기 효과기능제어부는, 상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 투명도정보 및 상기 스케일정보를 토대로 상기 효과적용영역에 대한 입체 컨버팅을 수행하여 상기 배경화면이미지 상에서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 표시하고, 상기 시각 효과적용 시간 경과 후 상기 입체 컨버팅 수행에 따른 입체컨텐츠를 상기 증강현실 서비스에 따른 상기 가상객체로 전환하여 표시하는 입체 시각 효과기능을 수행할 수 있다.Preferably, when the effect function control unit reaches the execution time according to the execution time information based on the service implementation information when providing the augmented reality service, based on the extraction method information specific effective use from the background image Extracting an image and applying the effective use image as a surface texture for the visually effective time according to the time specification information for the effective use area according to the region designation information, and based on the transparency information and the scale information. After performing the stereoscopic conversion of the effective area to display the deformation state to sequentially transform the effective area corresponding to the contents displayed in the 2D form on the background screen image to the 3D content in the 3D form, and after the time of the effective time effective Stereoscopic content according to the stereoscopic conversion is performed May perform a three-dimensional visual effects, ability to display to switch to the virtual object according to the service-based augmented reality.

상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 증강 현실 서비스 제공 방법은, 정보제공장치가 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하는 단계; 증강현실컨텐츠재생장치에서 상기 정보제공장치로부터의 상기 서비스구현정보를 저장하는 단계; 및 상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 단계를 포함한다.A method for providing augmented reality service according to a third aspect of the present invention for achieving the above object, the information providing apparatus provides a specific service implementation information for implementing a specific visual effect function corresponding to the virtual object applied to the augmented reality service step; Storing the service implementation information from the information providing apparatus in an augmented reality content reproducing apparatus; And at least one attribute set based on the service implementation information when the augmented reality content reproduction device provides an augmented reality service that outputs an augmented reality content including a background image and a virtual object according to a preset augmented reality implementation function. Extracting a specific effective use image from the background image according to the information, and performing a corresponding visual effect function by reflecting the effective use image with respect to a specific effective use area included in the augmented reality content.

상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 증강현실컨텐츠재생장치의 동작 방법은, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장하는 서비스구현정보 저장단계; 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하는 증강현실서비스 실행단계; 및 상기 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며, 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 효과기능 제어단계를 포함한다.A method of operating an augmented reality content playback device according to a fourth aspect of the present invention for achieving the above object is a service for storing specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service. Implementation information storage step; An augmented reality service execution step of providing an augmented reality service outputting an augmented reality content including a background image and a virtual object according to a preset augmented reality implementation function; And extracting a specific effective image from the background image according to at least one attribute information preset based on the service implementation information, and providing a specific effective region included in the augmented reality content. And an effect function control step of performing the corresponding visual effect function by reflecting the effective use image.

바람직하게는, 상기 서비스구현정보 저장단계는, 상기 시각 효과기능의 실행 환경에 대하여 사용자에 의해 설정되는 상기 적어도 하나의 속성정보를 상기 서비스구현정보에 반영할 수 있다.Preferably, the storing of the service implementation information may reflect the at least one attribute information set by the user with respect to the execution environment of the visual effect function to the service implementation information.

바람직하게는, 상기 적어도 하나의 속성정보는, 상기 시각 효과기능 수행 과정에서 반영되는 상기 효과적용이미지를 상기 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보, 상기 특정 효과적용영역을 지정하는 영역지정정보, 상기 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보, 상기 시각 효과기능 수행 과정에서 적용되는 투명도(Transparency)를 지정하는 투명도정보, 상기 시각 효과기능 수행에 따라 상기 효과적용영역에 적용되는 변형 특성 및 최종 사이즈를 지정하는 스케일정보, 상기 시각 효과기능 시간을 지정하는 시간지정정보 중 적어도 어느 하나를 포함할 수 있다.Preferably, the at least one attribute information includes extraction method information for designating an extraction method for extracting the effective use image reflected in the process of performing the visual effect function from the background image, and specifying the specific effective use area. Area designation information, execution time information designating an execution time for performing the visual effect function, transparency information designating transparency applied in the process of performing the visual effect function, and the effective area according to the execution of the visual effect function. And at least one of scale information for specifying a deformation characteristic and a final size to be applied to and time designation information for designating the visual effect function time.

바람직하게는, 상기 추출방식정보는, 사용자로 하여금 상기 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 상기 효과적용이미지를 추출하는 제1추출방식정보 및 특정 이미지인식알고리즘에 근거하여 상기 배경화면이미지로부터 적어도 하나의 이미지를 인식하여 인식된 적어도 하나의 이미지 중 특정 이미지를 상기 효과적용이미지로서 선택하여 추출하는 제2추출방식정보를 중 적어도 어느 하나를 포함할 수 있다.Preferably, the extraction method information provides a selection induction information for inducing a user to select the effective image from the background image and extracts the effective use image selected through the selection induction information. Recognizing at least one image from the background image based on extraction method information and a specific image recognition algorithm, the second extraction method information for selecting and extracting a specific image as the effective image from the at least one recognized image at least It may include any one.

바람직하게는, 상기 효과기능 제어단계는, 상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 투명도정보 및 상기 스케일정보를 토대로 해당 시각 효과기능을 수행할 수 있다.Preferably, the effect function control step, when reaching the execution time according to the execution time information based on the service implementation information when providing the augmented reality service, based on the extraction method information specific effects from the background image Extract an applied image, apply the effective application image as a surface texture to the effective application area according to the region designation information, and based on the transparency information and the scale information during the visually effective application time according to the time designation information. The visual effect function can be performed.

바람직하게는, 상기 효과기능 제어단계는, 상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 투명도정보 및 상기 스케일정보를 토대로 상기 효과적용영역에 대한 입체 컨버팅을 수행하여 상기 배경화면이미지 상에서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 표시하고, 상기 시각 효과적용 시간 경과 후 상기 입체 컨버팅 수행에 따른 입체컨텐츠를 상기 증강현실 서비스에 따른 상기 가상객체로 전환하여 표시하는 입체 시각 효과기능을 수행할 수 있다.Preferably, the effect function control step, when reaching the execution time according to the execution time information based on the service implementation information when providing the augmented reality service, based on the extraction method information specific effects from the background image Extracting an applied image and applying the effective image as a surface texture for the visual effective time according to the time specification information for the effective use area according to the region designation information, based on the transparency information and the scale information. Performing a three-dimensional conversion on the effective use area to display a deformation state that sequentially transforms the effective use area corresponding content displayed in the 2D form on the background screen image into three-dimensional content in the 3D form, and the visually effective time elapsed. After the three-dimensional content according to the three-dimensional conversion A three-dimensional visual effects, ability to display to switch to the virtual object according to the augmented reality services can be performed.

이에, 본 발명의 증강 현실 서비스 제공 시스템 및 방법에 의하면, 증강현실컨텐츠재생장치에서 증강현실 서비스 제공 시 증강현실 컨텐츠의 배경화면 내 특정 효과적용영역에서 점차 입체적으로 올라와 가상객체로 전환되는 등 시각적으로 부가적인 효과기능을 제공하고 특히 이때 배경화면에서 추출한 이미지를 반영하여 효과기능을 제공함으로써, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여하여 가상객체에 대한 시각적 연관성 부족 및 부자연스러움 등을 해결할 수 있다.Therefore, according to the augmented reality service providing system and method of the present invention, when the augmented reality content playback device provides augmented reality service visually, such as gradually rises three-dimensionally in a specific effective area in the background screen of the augmented reality content to be converted into a virtual object. By providing additional effects and especially by reflecting the image extracted from the background, it provides various visual effects on the virtual object by using its own image of the augmented reality content without additional animation work on the virtual object model. The lack of visual relevance and unnaturalness to virtual objects can be solved.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치의 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치에서 입체 시각 효과기능 수행에 따른 효과적용영역 대응 변형상태를 보여주는 예시도이다.
도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 방법의 제어 흐름을 나타내는 흐름도이다.
도 5는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치의 동작 방법을 나타내는 흐름도이다.1 is a block diagram of an augmented reality service providing system according to a preferred embodiment of the present invention.
2 is a block diagram of an apparatus for reproducing augmented reality content according to a preferred embodiment of the present invention.
3 is an exemplary view showing a modified state corresponding to the effective use area according to performing the stereoscopic visual effect function in the augmented reality content playback apparatus according to a preferred embodiment of the present invention.
4 is a flowchart illustrating a control flow of a method for providing augmented reality service according to a preferred embodiment of the present invention.
5 is a flowchart illustrating a method of operating an augmented reality content playback device according to a preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 시스템을 도시한 도면이다. 1 is a diagram illustrating an augmented reality service providing system according to a preferred embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 증강 현실 서비스 제공 시스템은, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하는 정보제공장치(200)와, 정보제공장치(200)로부터의 상기 서비스구현정보를 저장하고, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 증강현실컨텐츠재생장치(100)를 포함한다.As shown in FIG. 1, the augmented reality service providing system according to the present invention includes an information providing apparatus 200 for providing specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service. And storing the service implementation information from the information providing apparatus 200 and providing augmented reality service outputting an augmented reality content including a background image and a virtual object according to a preset augmented reality implementation function. Based on the implementation information, a specific effective image is extracted from the background image according to at least one set of attribute information, and the corresponding visual effect function is reflected by reflecting the effective image for a specific effective region included in the augmented reality content. It includes an augmented reality content playback device 100 to perform.

정보제공장치(200)는, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하는 장치이다.The information providing apparatus 200 is a device for providing specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service.

이러한 정보제공장치(200)는, 증강현실컨텐츠재생장치(100)로부터의 요청에 따라 또는 특정 제공주기 도달 시 서비스구현정보를 증강현실컨텐츠재생장치(100)로 제공할 수 있다.The information providing apparatus 200 may provide the service implementation information to the augmented reality content playback device 100 upon request from the augmented reality content playback device 100 or when a specific provision period is reached.

여기서, 서비스구현정보는, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하기 위해 제작된 서비스구현프로그램을 포함할 수 있다.Here, the service implementation information may include a service implementation program designed to implement a specific visual effect function corresponding to the virtual object applied to the augmented reality service.

이에, 증강현실컨텐츠재생장치(100)는, 정보제공장치(200)로부터의 제공되는 서비스구현정보를 저장한다.Thus, the augmented reality content playback device 100 stores the service implementation information provided from the information providing device 200.

이러한 증강현실컨텐츠재생장치(100)는, 기 설정된 증강현실 구현 기능 수행에 따라 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하는 장치이다.The augmented reality content playback device 100 is a device for providing an augmented reality service for outputting augmented reality content including a virtual object in accordance with a preset augmented reality implementation function.

예를 들면, 증강현실컨텐츠재생장치(100)는, 외부로부터 혹은 내부 저장된 광고컨텐츠를 재생함에 있어서 기 설정된 증강현실 구현 기능을 수행하여 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있고, 또는 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하여 촬영된 인쇄서적 즉 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있다.For example, the augmented reality content playback apparatus 100 may output an augmented reality content including a background image and a virtual object by performing a preset augmented reality implementation function in playing advertisement content stored from the outside or internally. Alternatively, augmented reality content including a printed book, that is, a background image and a virtual object, may be output by performing a preset augmented reality implementation function based on a photographed image of a specific printed book.

이하에서는, 설명의 편의를 위해 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하는 예를 언급하여 설명하도록 한다.Hereinafter, for convenience of description, it will be described with reference to an example of performing a preset augmented reality implementation function based on a photographed image photographing a specific printed book.

즉, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역에 위치하는 인쇄서적(미도시)의 특정 페이지를 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현 기능(예 : 3D의 그래픽 모델 렌더링)을 수행하고, 이러한 증강현실 구현 기능 수행에 따라 상기 촬영영상에 해당하는 배경화면이미지 및 특정 가상객체(예 : 3D의 그래픽 모델)를 적용한 증강현실 컨텐츠(예 : 배경화면이미지 + 가상객체)를 표시함으로써 증강현실 서비스를 제공할 수 있다.That is, the augmented reality content playback apparatus 100 analyzes a photographed image of a specific page of a printed book (not shown) located in a specific photographing area and implements a preset augmented reality function corresponding to the analysis result (eg, 3D). Augmented reality content (e.g., wallpaper image +) that applies a background image corresponding to the photographed image and a specific virtual object (e.g., a 3D graphic model) according to the augmented reality implementation function. Augmented reality service can be provided by displaying a virtual object).

이러한 증강현실컨텐츠재생장치(100)는, 전술과 같은 증강현실 서비스 제공 시, 기 저장된 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행할 수 있다. The augmented reality content reproducing apparatus 100, when providing the augmented reality service as described above, extracts a specific effective image from the background image image based on at least one attribute information preset based on pre-stored service implementation information and the augmented reality The visual effect function may be performed by reflecting the effective use image with respect to a specific effective use area included in content.

즉, 증강현실컨텐츠재생장치(100)는, 전술과 같은 증강현실 서비스 제공 시, 기 저장된 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 배경화면이미지로부터 특정 효과적용이미지를 추출할 수 있다.That is, the augmented reality content playback device 100, when providing the augmented reality service as described above, may extract a specific effective image from the background image based on at least one attribute information preset based on pre-stored service implementation information. .

그리고, 증강현실컨텐츠재생장치(100)는, 증강현실 컨텐츠에 포함되는 배경화면이미지의 특정 효과적용영역에 대하여 상기와 같이 추출한 효과적용이미지를 반영하여 해당되는 시각 효과기능을 수행할 수 있다. The augmented reality content reproduction apparatus 100 may perform a corresponding visual effect function by reflecting the effective use image extracted as described above with respect to a specific effective use area of the background image included in the augmented reality content.

예를 들면, 증강현실컨텐츠재생장치(100)는, 증강현실 컨텐츠에 포함되는 배경화면이미지의 특정 효과적용영역에 대하여 입체 컨버팅을 수행하여 상기 입체 컨버팅 수행 과정에 따라 상기 배경화면이미지 상에서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 표시하고, 특정 시각 효과적용 시간 경과 후 상기 입체 컨버팅 수행에 따른 입체컨텐츠를 금번 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시하는 시각 효과기능 즉 입체 시각 효과기능을 수행할 수 있다.For example, the apparatus 100 for playing augmented reality content may perform stereoscopic conversion on a specific effective area of a background image included in an augmented reality content and perform a stereoscopic conversion in a 2D form on the background image according to the stereoscopic converting process. The virtual object is displayed according to the augmented reality service by displaying a deformation state that sequentially transforms the content corresponding to the effective area to be displayed into 3D content in a 3D form, and then performs the stereoscopic conversion according to the 3D conversion after a specific visual effective time. A visual effect function, that is, a stereoscopic visual effect function, may be performed.

이때, 증강현실컨텐츠재생장치(100)는, 배경화면이미지의 특정 효과적용영역에 대하여 입체 컨버팅을 수행하는데 있어서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시킬 때 금번 추출한 효과적용이미지를 표면 텍스쳐(Texture)로서 적용한다.In this case, the augmented reality content playback apparatus 100 may sequentially transform the content corresponding to the effective use area displayed in the 2D form into the 3D content in the 3D form in performing stereoscopic conversion on a specific effective use area of the background image. The effective image extracted this time is applied as a surface texture.

즉, 증강현실컨텐츠재생장치(100)는, 증강현실 컨텐츠에 포함되는 배경화면이미지의 특정 효과적용영역, 다시 말해 촬영영상에 해당하는 인쇄서적(미도시)의 페이지 화면 내 특정 효과적용영역이 표면 텍스쳐로서 배경화면이미지에서 추출한 효과적용이미지를 입힌 상태로 2D 형태에서 점차 롤링되어 입체적으로 올라와 시각적으로 점차 3D 형태의 입체컨텐츠로 변하도록 하는 입체 컨버팅을 수행하고, 이처럼 특정 효과적용영역에 대응되는 컨텐츠가 2D 형태에서 점차 3D 형태의 입체컨텐츠로 변하는 시각적인 변형상태를 배경화면이미지 상에 표시할 수 있다.That is, the augmented reality content playback device 100 has a specific effective use area of the background image included in the augmented reality content, that is, a specific effective use area in the page screen of the printed book (not shown) corresponding to the photographed image is surfaced. As a texture, the effect image extracted from the background image is coated and gradually rolled up in the 2D form to be raised in three dimensions to visually transform into 3D content in the 3D form, and thus content corresponding to the specific effective area is applied. The visual deformation state that gradually changes from the 2D form to the 3D content in the 3D form can be displayed on the background image.

그리고, 증강현실컨텐츠재생장치(100)는, 특정 시각 효과적용 시간 경과 후 전술과 같은 입체 컨버팅 수행에 따른 입체컨텐츠를 금번 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시할 수 있다.The augmented reality content reproducing apparatus 100 may convert the stereoscopic content according to the stereoscopic conversion as described above into a corresponding virtual object according to the augmented reality service after the specific visual effective time elapses.

즉, 증강현실컨텐츠재생장치(100)는, 입체 컨버팅 수행에 따라 촬영영상에 해당하는 인쇄서적(미도시)의 페이지 화면 내 특정 효과적용영역에 대응되는 컨텐츠가 2D 형태에서 점차 3D 형태로 변형된 결과물 즉 3D 형태의 입체컨텐츠(예 : 입체객체)를 금번 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시할 수 있다.That is, the augmented reality content playback apparatus 100, the content corresponding to the specific effective area in the page screen of the printed book (not shown) corresponding to the photographed image is gradually transformed from the 2D form to the 3D form as the stereoscopic conversion is performed. The result, that is, 3D content (eg, stereoscopic object) may be converted into a virtual object corresponding to the augmented reality service and displayed.

이에, 본 발명에 따른 증강현실컨텐츠재생장치(100)는, 증강현실 서비스 제공 시 증강현실 컨텐츠의 배경화면이미지 내 특정 효과적용영역에서 점차 입체적으로 올라와 가상객체로 전환되는 등 시각적으로 부가적인 효과기능을 제공하고 특히 이때 배경화면이미지에서 추출한 이미지를 반영하여 효과기능을 제공함으로써, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여할 수 있다.Thus, the apparatus 100 for reproducing augmented reality contents according to the present invention has a visually additional effect function such as gradually rising three-dimensionally from a specific effective area within a background image of an augmented reality content when the augmented reality service is provided to be converted into a virtual object. In particular, by providing an effect function by reflecting the image extracted from the background image at this time, various visual effects on the virtual object can be given using the own image of the augmented reality content without a separate animation work on the virtual object model. have.

이하에서는 도 2를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치(100)를 보다 구체적으로 설명하도록 한다.Hereinafter, the augmented reality content playback apparatus 100 according to the present invention will be described in more detail with reference to FIG. 2.

본 발명에 따른 증강현실컨텐츠재생장치(100)는, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력부(110)를 통해 출력하는 증강현실 서비스를 제공하는 증강현실서비스제공부(120)와, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장하며, 상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 효과기능제어부(130)를 포함한다. The augmented reality content playback apparatus 100 according to the present invention provides an augmented reality service for outputting an augmented reality content including a background image and a virtual object through the output unit 110 according to a preset augmented reality implementation function. The augmented reality service providing unit 120 and stores specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service, and based on the service implementation information when providing the augmented reality service. An effect function control unit which extracts a specific effective image from the background image according to at least one set of attribute information and reflects the effective image to a specific effective region included in the augmented reality content to perform a corresponding visual effect function. 130.

출력부(110)는, 증강현실서비스제공부(120)에 의해 출력되는 증강현실 컨텐츠를 출력하고 효과기능제어부(130)에 의해 수행되는 입체 컨버팅에 따른 상기의 변형상태를 표시하는 기능부로서, 화면을 출력하는 디스플레이부(미도시) 및/또는 사운드를 출력하는 스피커부(미도시)를 포함할 수 있다.The output unit 110 is a functional unit that outputs the augmented reality content output by the augmented reality service providing unit 120 and displays the deformation state according to the three-dimensional conversion performed by the effect function control unit 130, A display unit (not shown) for outputting a screen and / or a speaker unit (not shown) for outputting a sound may be included.

증강현실서비스제공부(120)는, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력부(110)를 통해 출력하여 증강현실 서비스를 제공하는 기능부이다.The augmented reality service provider 120 is a function unit that provides an augmented reality service by outputting an augmented reality content including a background image and a virtual object through the output unit 110 according to a preset augmented reality implementation function. .

예를 들면, 증강현실서비스제공부(120)는, 외부로부터 혹은 내부 저장된 광고컨텐츠를 재생함에 있어서 기 설정된 증강현실 구현 기능을 수행하여 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있고, 또는 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하여 촬영된 인쇄서적 즉 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있다.For example, the augmented reality service providing unit 120 may output an augmented reality content including a background image and a virtual object by performing a preset augmented reality implementation function in playing advertisement content stored from the outside or inside. Alternatively, augmented reality content including a printed book, that is, a background image and a virtual object, may be output by performing a preset augmented reality implementation function based on a photographed image of a specific printed book.

이하에서는, 설명의 편의를 위해 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하는 예를 언급하여 설명하도록 한다.Hereinafter, for convenience of description, it will be described with reference to an example of performing a preset augmented reality implementation function based on a photographed image photographing a specific printed book.

즉, 증강현실서비스제공부(120)는, 특정 촬영구역에 위치하는 인쇄서적(미도시)의 특정 페이지를 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현 기능(예 : 3D의 그래픽 모델 렌더링)을 수행하고, 이러한 증강현실 구현 기능 수행에 따라 상기 촬영영상에 해당하는 배경화면이미지 및 특정 가상객체(예 : 3D의 그래픽 모델)를 적용한 증강현실 컨텐츠(예 : 배경화면이미지 + 가상객체)를 표시함으로써 증강현실 서비스를 제공할 수 있다.That is, the augmented reality service provider 120 analyzes a photographed image of a specific page of a print book (not shown) located in a specific photographing area, and implements a preset augmented reality function corresponding to the analysis result (eg, 3D). Augmented reality content (e.g., wallpaper image +) that applies a background image corresponding to the photographed image and a specific virtual object (e.g., a 3D graphic model) according to the augmented reality implementation function. Augmented reality service can be provided by displaying a virtual object).

이처럼, 증강현실서비스제공부(120)는, 마커(marker) 기반 또는 마커프리(marker free) 기반 또는 마커리스(marker-less) 기반 등의 다양한 방식을 통해 촬영영상에 가상객체를 렌더링/적용한 증강현실 컨텐츠를 출력하는 일반적인 증강현실 서비스를 제공할 수 있다.As such, the augmented reality service provider 120 may render / apply a virtual object to a captured image through various methods such as a marker-based, marker-free, or marker-less based. A general augmented reality service that outputs reality content may be provided.

효과기능제어부(130)는, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장한다.The effect function control unit 130 stores specific service implementation information for implementing a specific visual effect function corresponding to the virtual object applied to the augmented reality service.

여기서, 효과기능제어부(130)에 저장되는 서비스구현정보는, 외부 특히 도 1을 통해 언급한 정보제공서버(200)로부터 제공/저장되는 정보일 수 있다. Here, the service implementation information stored in the effect function control unit 130 may be information provided / stored from the information providing server 200 mentioned above with reference to FIG. 1.

이러한 서비스구현정보는, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하기 위해 제작된 서비스구현프로그램을 포함할 수 있다.Such service implementation information may include a service implementation program designed to implement a specific visual effect function corresponding to a virtual object applied to an augmented reality service.

즉, 서비스구현정보는, 기 설정된 적어도 하나의 속성정보에 근거하여 증강현실 컨텐츠에 포함되는 배경화면이미지로부터 특정 효과적용이미지를 추출하고, 배경화면이미지 내 특정 효과적용영역에 대하여 상기와 같이 추출한 효과적용이미지를 반영하여 해당되는 시각 효과기능을 수행하도록 제작된 프로그램일 것이다.That is, the service implementation information, based on the at least one set of attribute information, the specific effective image is extracted from the background image included in the augmented reality content, and the effect of the extraction as described above for the specific effective area in the background image It will be a program designed to perform the corresponding visual effects function by reflecting the applied image.

특히 예를 들면, 서비스구현정보는, 배경화면이미지 내 특정 효과적용영역에 대하여 입체 컨버팅을 수행하고 입체 컨버팅 수행에 따른 입체컨텐츠를 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시하도록 하는 입체 시각 효과기능을 시각 효과기능으로서 제공하는 프로그램일 수 있다. Particularly, for example, the service implementation information may be a stereoscopic visual effect that performs stereoscopic conversion on a specific effective area in a background image and converts stereoscopic content according to stereoscopic conversion into a corresponding virtual object according to an augmented reality service. It may be a program that provides a function as a visual effect function.

그리고 효과기능제어부(130)는, 증강현실서비스제공부(120)에서 기 설정된 증강현실 구현 기능을 수행하여 증강현실 서비스를 제공하는 경우, 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행한다.When the augmented reality service is provided by the augmented reality service provider 120 to provide an augmented reality service, the effect function controller 130 may perform a background according to at least one attribute information set based on the service implementation information. A specific effective use image is extracted from the screen image and the corresponding effective use image is reflected on the specific effective use area included in the augmented reality content to perform a corresponding visual effect function.

보다 구체적으로 설명하면, 효과기능제어부(130)는, 시각 효과기능의 실행 환경에 대하여 사용자에 의해 상기 적어도 하나의 속성정보를 설정하도록 유도하는 속성설정 유도기능을 제공하고, 이를 통해 설정되는 상기 적어도 하나의 속성정보를 서비스구현정보에 반영하는 것이 바람직하다.In more detail, the effect function control unit 130 provides an attribute setting inducing function for inducing the user to set the at least one attribute information with respect to an execution environment of the visual effect function, and the at least one set through the at least one attribute information. It is desirable to reflect one attribute information in the service implementation information.

예를 들면, 효과기능제어부(130)는, 사용자에 의한 속성정보 설정 요청에 따라 시각 효과기능의 실행 환경에 대하여 적어도 하나의 속성정보를 설정하도록 유도하는 속성설정 유도기능을 사용자에게 제공할 수 있다.For example, the effect function controller 130 may provide a user with an attribute setting inducing function for inducing at least one attribute information to be set for the execution environment of the visual effect function in response to a request for setting the attribute information by the user. .

이에, 사용자에 의해 속성설정 유도기능을 통한 적어도 하나의 속성정보가 설정되면, 효과기능제어부(130)는, 설정되는 적어도 하나의 속성정보를 서비스구현정보에 반영하여 저장/관리할 수 있다.Thus, when at least one attribute information through the attribute setting inducing function is set by the user, the effect function controller 130 may store / manage the at least one attribute information to be reflected in the service implementation information.

여기서, 사용자에 의해 설정되는 적어도 하나의 속성정보는, 시각 효과기능 수행 과정에서 반영되는 상기 효과적용이미지를 상기 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보, 상기 특정 효과적용영역을 지정하는 영역지정정보, 상기 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보, 상기 시각 효과기능 수행 과정에서 적용되는 투명도(Transparency)를 지정하는 투명도정보, 상기 시각 효과기능 수행에 따라 상기 효과적용영역에 적용되는 변형 특성 및 최종 사이즈를 지정하는 스케일정보, 상기 시각 효과기능 시간을 지정하는 시간지정정보 중 적어도 어느 하나를 포함할 수 있다.Here, the at least one attribute information set by the user may include extraction method information for specifying an extraction method for extracting the effective use image from the background image, and the specific effective use area. Area designation information, execution time information designating an execution time for performing the visual effect function, transparency information designating transparency applied in the process of performing the visual effect function, and the effective use according to the execution of the visual effect function. And at least one of scale information designating a deformation characteristic applied to an area, scale information designating a final size, and time designation information designating the visual effect function time.

즉, 사용자는 시각 효과기능 수행 과정에서 반영되는 효과적용이미지를 증강현실 컨텐츠의 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보를 설정함으로써 배경화면이미지로부터 어떤 이미지를 어떤 방식으로 추출하여 효과적용이미지로서 사용할 것인지를 선택할 수 있다. That is, the user extracts any image from the background image in some way by setting extraction method information that designates an extraction method for extracting the effective image reflected in the execution of the visual effect function from the background image of the augmented reality content. You can select whether to use it as an application image.

예를 들면, 추출방식정보는, 사용자로 하여금 상기 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 상기 효과적용이미지를 추출하는 제1추출방식정보 및 특정 이미지인식알고리즘에 근거하여 상기 배경화면이미지로부터 적어도 하나의 이미지를 인식하여 인식된 적어도 하나의 이미지 중 특정 이미지를 상기 효과적용이미지로서 선택하여 추출하는 제2추출방식정보를 중 적어도 어느 하나를 포함할 수 있다.For example, the extraction method information may provide a selection induction information for inducing a user to select the effective image from the background image and extract the first effective image selected through the selection induction information. At least any of the second extraction method information for recognizing at least one image from the background image based on method information and a specific image recognition algorithm, and selecting and extracting a specific image as the effective image from the at least one recognized image. It may include one.

여기서 제1추출방식정보는, 사용자로 하여금 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 효과적용이미지를 추출하는 방식을 의미한다.Here, the first extraction method information means a method of providing selection induction information for inducing a user to select the effective use image from a background image and extracting the effective use image selected through the selection induction information.

이에, 추출방식정보로서 제1추출방식정보가 설정된 경우라면, 효과기능제어부(130)는, 서비스구현정보를 토대로 속성정보 즉 제1추출방식정보에 근거하여, 증강현실 컨텐츠 내 배경화면이미지에서 효과적용이미지로 사용하기 위한 이미지영역을 선택하도록 유도하는 선택유도정보에 따른 선택유도메뉴를 제공할 수 있고, 선택유도메뉴를 통해 사용자가 특정 이미지영역을 마우스 또는 터치팬 등과 같은 포인터기능을 이용하여 선택하면 선택된 이미지영역에 속하는 이미지를 배경화면이미지로부터 효과적용이미지로서 추출할 수 있다.Thus, if the first extraction method information is set as the extraction method information, the effect function control unit 130, based on the attribute information, that is, the first extraction method information based on the service implementation information, the effect on the background image in the augmented reality content A selection induction menu can be provided according to the selection induction information to induce selection of an image area to be used as an applied image.The selection induction menu allows a user to select a specific image area using a pointer function such as a mouse or a touch pan. In this case, an image belonging to the selected image region may be extracted from the background image as an effective image.

그리고 제2추출방식정보는, 기 채택된 특정 이미지인식알고리즘에 근거하여 증강현실 컨텐츠 내 배경화면이미지로부터 적어도 하나의 이미지를 인식하고 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택하여 추출하는 방식을 의미한다. 여기서 이미지인식알고리즘은, 특정 대상이미지 내의 픽셀(pixel) 간의 색상 차이, 명도 차이 등을 토대로 특정 대상이미지 내에 포함되는 적어도 하나의 이미지를 구분/인식하기 위한 알고리즘일 수 있다.The second extraction method information recognizes at least one image from the background image in the augmented reality content and selects and extracts a specific image from among the recognized at least one image as an effective image based on a predetermined image recognition algorithm. It means the way. The image recognition algorithm may be an algorithm for distinguishing / recognizing at least one image included in a specific target image based on a color difference, brightness difference, etc. between pixels in the specific target image.

이에, 추출방식정보로서 제2추출방식정보가 설정된 경우라면, 효과기능제어부(130)는, 서비스구현정보를 토대로 속성정보 즉 제2추출방식정보에 근거하여, 기 채택된 특정 이미지인식알고리즘을 토대로 증강현실 컨텐츠 내 배경화면이미지로부터 적어도 하나의 이미지를 인식하고, 이에 따라 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택하여 선택된 특정 이미지를 배경화면이미지로부터 효과적용이미지로서 추출할 수 있다.Thus, if the second extraction method information is set as the extraction method information, the effect function control unit 130, based on the attribute information, that is, the second extraction method information based on the service implementation information, on the basis of the predetermined image recognition algorithm adopted previously Recognize at least one image from the background image in the augmented reality content, and thus select a specific image among the at least one recognized image as an effective image to extract the selected specific image as an effective image from the background image. .

이때, 효과기능제어부(130)는, 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택함에 있어서, 인식된 적어도 하나의 이미지를 사용자에게 제시하여 사용자로 하여금 선택하도록 하거나, 기 설정된 선택기준에 따라 가장 큰 사이즈의 이미지를 자동 선택하거나 또는 배경화면이미지의 특정 표시위치(예 : 중앙)에 가장 근접한 이미지를 자동 선택할 수 있을 것이다.At this time, the effect function control unit 130, in selecting a specific image of the recognized at least one image as an effective image, the user presents the at least one recognized image to the user to select, or preset selection criteria Depending on the size, the largest sized image may be automatically selected, or the image closest to a specific display position (eg, center) of the background image may be automatically selected.

또한 사용자는 시각 효과기능이 적용되는 효과적용영역을 지정하는 영역지정정보를 설정함으로써 배경화면이미지의 어느 위치에서 해당하는 시각 효과기능(예 : 입체 시각 효과기능)을 적용할 것인지를 선택할 수 있다. 예를 들면, 영역지정정보는, 특정 표시영역을 지정하는 좌표정보를 포함할 수 있다.In addition, the user may select which area of the background image to apply a corresponding visual effect function (eg, stereoscopic visual effect function) by setting region designation information that designates an effective application area to which the visual effect function is applied. For example, the area designation information may include coordinate information for designating a specific display area.

또한, 사용자는 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보를 설정함으로써 언제 해당하는 시각 효과기능(예 : 입체 시각 효과기능)을 적용할 것인지를 선택할 수 있다. 예를 들면, 수행시점정보는, 증강현실서비스제공부(120)에서 증강현실 구현 기능을 수행하는 경우 자동으로 시각 효과기능(예 : 입체 시각 효과기능)을 수행하도록 하는 제1수행시점정보, 또는 증강현실 구현 기능을 수행한 결과 가상객체가 포함되는 것이 인지되는 경우 자동으로 시각 효과기능(예 : 입체 시각 효과기능)을 수행하도록 하는 제2수행시점정보, 또는 사용자에 의한 시각 효과기능 실행에 대한 수동입력이 존재하는 경우 시각 효과기능(예 : 입체 시각 효과기능)을 수행하도록 하는 제3수행시점정보를 포함할 수 있다.In addition, the user may select when to apply a corresponding visual effect function (eg, a stereoscopic visual effect function) by setting performance time information that designates an execution time for performing the visual effect function. For example, the execution time information may include first execution time information for automatically performing a visual effect function (eg, stereoscopic visual effect function) when the augmented reality service providing unit 120 performs the augmented reality implementation function, or As a result of performing the augmented reality implementation function, if it is recognized that the virtual object is included, the second execution time information for automatically performing the visual effect function (eg, stereoscopic visual effect function), or the execution of the visual effect function by the user If there is a manual input, it may include third performance time information for performing a visual effect function (eg, stereoscopic visual effect function).

또한, 사용자는 시각 효과기능을 수행하는 과정에서 적용되는 투명도(Transparency)를 지정하는 시작알파값, 종료알파값 등과 같은 투명도정보를 설정함으로써 효과적용영역에 대한 해당 시각 효과기능(예 : 입체 시각 효과기능)을 수행하는 과정에서 적용될 투명도를 선택할 수 있다.Also, the user sets transparency information such as start alpha value and end alpha value to designate the transparency applied in the process of performing the visual effect function. Transparency to be applied in the process of performing the function).

또한, 사용자는 시각 효과기능 수행에 따라 효과적용영역에 적용되는 변형 특성 및 입체컨텐츠의 최종 사이즈를 지정하는 스케일정보를 설정함으로써, 해당 시각 효과기능 특히 입체 시각 효과기능에 따라 수직으로 롤링시켜 올리기 위한 특성정보, 수평으로 면적 넓히기 위한 특성정보, 부피를 늘이기 위한 특성정보 등을 설정하여 2D 형태의 효과적용영역 대응 컨텐츠를 어떤 방식으로 변형하여 3D 형태로 발전시킬 것인지를 선택하고, 3D 형태로 변형된 결과물 즉 3D 형태의 입체컨텐츠의 최종 사이즈를 선택할 수 있다.In addition, the user sets the deformation characteristics applied to the effective application area and the scale information designating the final size of the stereoscopic content according to the execution of the visual effect function, thereby rolling up vertically according to the visual effect function, particularly the stereoscopic visual effect function. By setting the characteristic information, the characteristic information to increase the area horizontally, and the characteristic information to increase the volume, it is possible to select how to transform the contents corresponding to the effective application area in the 2D form and to develop it into the 3D form. You can choose the final size of the result, that is, 3D-shaped stereoscopic content.

또한, 사용자는 시각 효과적용 시간을 지정하는 시간지정정보를 설정함으로써, 해당 시각 효과기능(예 : 입체 시각 효과기능) 수행을 어느 정도의 시간 동안 유지할 것인지를 선택할 수 있다.In addition, the user may select how long to maintain the execution of the visual effect function (eg, stereoscopic visual effect function) by setting time designation information that designates the time for visually effective.

이에 효과기능제어부(130)는, 증강현실 서비스 제공 시 기 저장된 서비스구현정보를 토대로 수행시점정보에 따른 수행시점에 도달하는 경우, 추출방식정보에 근거하여 증강현실 컨텐츠의 배경화면이미지로부터 특정 효과적용이미지를 추출하고 영역지정정보에 따른 효과적용영역에 대하여 금번 추출한 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 시간지정정보에 따른 시각 효과적용 시간 동안 투명도정보 및 스케일정보를 토대로 해당 시각 효과기능을 수행할 수 있다.Therefore, the effect function control unit 130, when the augmented reality service is provided based on the pre-stored service implementation information when the execution time according to the performance time information is reached, based on the extraction method information specific effective use from the background image of the augmented reality content Extract the image, apply the effective application image extracted for the effective application area according to the area designation information as surface texture, and apply the corresponding visual effect function based on the transparency information and the scale information during the visual effective application time based on the time designation information. Can be done.

여기서 수행하는 시각 효과기능이 전술한 바와 같은 입체 시각 효과기능인 경우로서 보다 구체적으로 설명하면, 효과기능제어부(130)는, 증강현실서비스제공부(120)에서 증강현실 서비스 제공 시 기 저장된 서비스구현정보를 토대로 수행시점정보에 따른 수행시점에 도달하는 경우, 추출방식정보에 근거하여 증강현실 컨텐츠의 배경화면이미지로부터 특정 효과적용이미지를 추출한다.In the case where the visual effect function performed here is the stereoscopic visual effect function as described above in more detail, the effect function control unit 130, the service implementation information stored during the augmented reality service provided by the augmented reality service provider 120 When the execution time according to the execution time information is reached, the specific effective image is extracted from the background image of the augmented reality content based on the extraction method information.

그리고, 효과기능제어부(130)는, 서비스구현정보를 토대로 영역지정정보에 따른 효과적용영역에 대하여 시간지정정보에 따른 시각 효과적용 시간 동안 전술에서 추출한 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 투명도정보 및 스케일정보를 토대로 효과적용영역에 대한 입체 컨버팅을 수행하여 배경화면이미지 상에서 2D 형태로 표시되는 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 출력부(110)를 통해 표시한다.Then, the effect function control unit 130 applies the effective use image extracted in the above as the surface texture for the visually effective time according to the time designation information on the effective use area according to the region designation information based on the service implementation information. Output unit 110 performs a three-dimensional conversion of the effective area based on the transparency information and scale information to sequentially transform the content corresponding to the effective area displayed in the 2D form on the background image to the three-dimensional content in the 3D form output unit 110 Display through.

이때, 효과기능제어부(130)는, 증강현실서비스제공부(120)로 증강현실 구현 기능 수행에 따른 해당 가상객체 표시 지연을 요청함으로써 증강현실서비스제공부(120)로 하여금 배경화면이미지 상에 해당 가상객체(예 : 3D의 그래픽 모델)의 적용을 수행하지 않은 증강현실 컨텐츠 즉 촬영영상에 대응되는 배경화면이미지 만을 출력부(110)를 통해 출력하도록 할 수 있다. In this case, the effect function controller 130 requests the augmented reality service provider 120 to delay the display of the corresponding virtual object according to the execution of the augmented reality implementation function so that the augmented reality service provider 120 corresponds to the background image. The output unit 110 may output only the augmented reality content that does not apply the virtual object (eg, a 3D graphic model), that is, a background image corresponding to the captured image.

그리고, 효과기능제어부(130)는, 서비스구현정보를 토대로 시간지정정보에 따른 시각 효과적용 시간이 경과하면 증강현실서비스제공부(120)와 연동하여 입체 컨버팅 수행에 따른 입체컨텐츠를 증강현실서비스제공부(120)에서의 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시하도록 한다.And, the effect function control unit 130, the augmented reality service system based on the service implementation information, the three-dimensional content according to performing the three-dimensional conversion in conjunction with the augmented reality service provider 120 when the time of the effective time according to the time designation information has elapsed Switch to the virtual object according to the augmented reality service in the study 120 to display.

이에 효과기능제어부(130)는, 증강현실서비스제공부(120)에서 증강현실 서비스를 제공하는 경우, 서비스구현정보를 토대로 수행시점에 증강현실 컨텐츠의 배경화면이미지 내 특정 효과적용영역에 대하여 특정 시각 효과적용 시간 동안 증강현실 컨텐츠의 배경화면이미지로부터 추출한 특정 효과적용이미지를 표면에 입힌 상태로 2D 형태에서 점차 롤링되어 입체적으로 올라와 시각적으로 점차 3D 형태의 입체컨텐츠로 변하도록 하는 입체 컨버팅을 수행하고, 이처럼 특정 효과적용영역에 대응되는 컨텐츠가 2D 형태에서 점차 3D 형태의 입체컨텐츠로 변하는 시각적인 변형상태를 배경화면이미지 상에 표시한 후, 시각 효과적용 시간이 경과하면 입체컨텐츠가 자연스럽게 증강현실 컨텐츠의 해당 가상객체로 전환/표시되도록 하는 입체 시각 효과기능을 수행할 수 있다.Accordingly, when the augmented reality service providing unit 120 provides the augmented reality service, the effect function control unit 130 performs a specific time with respect to a specific effective area within the background image of the augmented reality content at the time of performing based on the service implementation information. During the effective use time, the specific effective image extracted from the background image of the augmented reality content is coated on the surface gradually rolled up in the 2D form to perform a three-dimensional conversion to gradually change to a three-dimensional content in the 3D form, In this way, the content corresponding to the specific effective area is displayed on the background image of the visual deformation state that gradually changes from the 2D form to the 3D content in the 3D form, and then the 3D content is automatically You can use the stereoscopic visual effect function to switch / display the virtual object. I can do it.

예를 들어 추출방식정보로서 전술의 제2추출방식정보가 설정되고 수행시점정보로서 전술의 제2수행시점정보가 설정되고 시간지정정보로서 2초가 설정된 경우를 설명하면, 효과기능제어부(130)는, 증강현실서비스제공부(120)에서 기 설정된 증강현실 구현 기능 수행 시 가상객체가 존재하면, 서비스구현정보를 토대로 수행시점에 도달한 것으로 인지할 것이다.For example, when the second extraction method information is set as the extraction method information, the second execution time information is set as the execution time information, and 2 seconds is set as the time designation information, the effect function control unit 130 If a virtual object exists when the augmented reality service providing unit 120 performs the preset augmented reality implementation function, it will be recognized that the execution time has been reached based on the service implementation information.

이에, 효과기능제어부(130)는, 제2추출방식정보에 근거하여 배경화면이미지에서 특정 이미지인식알고리즘을 토대로 적어도 하나의 이미지를 인식하고, 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택하여 추출할 것이다.Accordingly, the effect function controller 130 recognizes at least one image based on a specific image recognition algorithm in the background image based on the second extraction method information, and uses the specific image among the recognized at least one image as an effective image. Will select and extract.

그리고, 효과기능제어부(130)는, 영역지정정보에 따른 효과적용영역을 증강현실 컨텐츠의 배경화면이미지에서 인지하고, 효과적용영역에 대하여 즉 촬영영상에 해당하는 인쇄서적(미도시)의 페이지 화면 내 특정 효과적용영역에 대하여 시각 효과적용(예 : 2초) 시간 동안 금번 추출한 효과적용이미지를 표면 텍스쳐로 입힌 상태로 투명도정보 및 스케일정보에 따라 입체 컨버팅을 수행하며, 입체 컨버팅 수행 과정에 따른 효과적용영역에 대한 변형상태(2D 상태 컨텐츠 → 3D 상태 입체컨텐츠)를 출력부(110)를 통해 표시할 수 있다.Then, the effect function controller 130 recognizes the effective use area according to the area designation information in the background image of the augmented reality content, and the page screen of the printed book (not shown) corresponding to the photographed image for the effective use area. 3D conversion is performed according to transparency and scale information with the surface texture of the effective application image extracted this time during the time of visual effective use (e.g. 2 seconds) for the specific effective area within the area. The deformation state (2D state content → 3D state stereoscopic content) for the application area may be displayed through the output unit 110.

이에, 도 3을 참조하여 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)에서는 가상객체(예 : 3D의 그래픽 모델)의 적용을 수행하지 않은 증강현실 컨텐츠의 배경화면이미지 즉 촬영영상(10a) 만이 표시된 상태 A.에서 전술의 입체 컨버팅 수행에 따라 효과적용영역에 대한 컨텐츠(1)가 2D 형태에서 점차 3D 형태의 입체컨텐츠로 변하는 변형상태가 표시될 것이다. 3, in the augmented reality content playback apparatus 100 according to the present invention, a background image of augmented reality content that is not applied to a virtual object (eg, a 3D graphic model), that is, a photographed image ( In the state A. where only 10a) is displayed, a deformation state in which the content 1 for the effective area is gradually changed from the 2D form to the 3D content in accordance with the above-described stereoscopic conversion is displayed.

즉, B. 와 같이 특정 효과적용영역에 대한 컨텐츠(1)가 점차 롤링되어 입체적으로 올라와 시각적으로 2D 형태에서 점차 3D 형태로 변하는 시각적인 변형상태(2)를 촬영영상에 해당하는 인쇄서적(미도시)의 페이지 화면(10a) 상에 표시할 수 있다. That is, as shown in B., a printed book corresponding to the photographed image is a visual deformation state (2) of the content (1) for a specific effective area is gradually rolled up three-dimensionally and visually changed from 2D form to 3D form. Can be displayed on the page screen 10a.

그리고, 효과기능제어부(130)는, 특정 시각 효과적용 시간(예 : 2초) 경과 후 입체 컨버팅 수행에 따른 입체컨텐츠를 증강현실서비스제공부(120)에서의 증강현실 구현 기능 수행에 따른 해당 가상객체(예 : 3D의 그래픽 모델)로 전환하여 표시하도록 한다.In addition, the effect function control unit 130, after the specific visual effective time (for example, 2 seconds) elapses the three-dimensional content according to the three-dimensional converting performed in the augmented reality service function of the augmented reality implementation function in the augmented reality service provider 120 Switch to an object (eg a 3D graphic model) to display.

즉, 도 3의 C.를 언급하여 설명하면, 효과기능제어부(130)는, 증강현실서비스제공부(120)와 연동하여, 입체 컨버팅 수행에 따라 변경화면이미지 내 특정 효과적용영역에 대한 컨텐츠(1)가 2D 형태에서 점차 3D 형태로 변형된 결과물 즉 3D 형태의 입체컨텐츠(2)를 금번 증강현실 서비스에 따른 증강현실서비스제공부(120)로부터의 해당 가상객체(20)로 전환하여 표시할 수 있다.That is, referring to C. of FIG. 3, the effect function control unit 130, in conjunction with the augmented reality service provider 120, performs content for a specific effective area within the changed screen image according to performing stereoscopic conversion. 1) is converted to the virtual object 20 from the augmented reality service provider 120 according to the augmented reality service, which is the result of the 3D-form three-dimensional content (2) gradually transformed from the 2D form to the 3D form to be displayed. Can be.

이상에서 설명한 바와 같이 본 발명에 따른 증강 현실 서비스 제공 시스템은, 증강현실 서비스 제공 시 증강현실 컨텐츠의 배경화면이미지 내 특정 효과적용영역에서 점차 입체적으로 올라와 가상객체로 전환되는 등 시각적으로 부가적인 효과기능을 제공하고 특히 이때 배경화면에서 추출한 이미지를 반영하여 효과기능을 제공함으로써, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여하여 가상객체에 대한 시각적 연관성 부족 및 부자연스러움 등을 해결할 수 있다.As described above, the augmented reality service providing system according to the present invention has a visually additional effect function such as gradually rising three-dimensionally in a specific effective area within a background image of an augmented reality content when the augmented reality service is provided. In this case, by providing the effect function by reflecting the image extracted from the background, the virtual object is given various visual effects on the virtual object by using its own image of the augmented reality content without a separate animation work on the virtual object model. It can solve the lack of visual relevance and unnaturalness.

이하에서는 도 4 내지 도 5를 참조하여, 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 방법을 설명하도록 한다. 여기서, 설명의 편의를 위해 전술한 도 1 내지 도 3에 도시된 구성은 해당 참조번호를 언급하여 설명하겠다.Hereinafter, a method of providing augmented reality service according to a preferred embodiment of the present invention will be described with reference to FIGS. 4 to 5. Here, for convenience of description, the components shown in FIGS. 1 to 3 will be described with reference to corresponding reference numerals.

먼저, 도 4를 참조하여 본 발명의 증강 현실 서비스 제공 방법을 설명하면 다음과 같다.First, the augmented reality service providing method of the present invention will be described with reference to FIG. 4.

정보제공장치(200)는, 증강현실 서비스에 적용되는 가상객체에 대응하는 시각 효과기능을 구현하는 특정 서비스구현정보를 증강현실컨텐츠재생장치(100)로 제공한다(S10).The information providing apparatus 200 provides specific service implementation information for implementing the visual effect function corresponding to the virtual object applied to the augmented reality service to the augmented reality content playback apparatus 100 (S10).

여기서 정보제공장치(200)는, 증강현실컨텐츠재생장치(100)로부터의 요청에 따라 또는 특정 제공주기 도달 시 서비스구현정보를 증강현실컨텐츠재생장치(100)로 제공할 수 있다. 여기서, 서비스구현정보는, 증강현실 서비스에 적용되는 가상객체에 대응하는 시각 효과기능을 구현하기 위해 제작된 서비스구현프로그램을 포함할 수 있다.The information providing apparatus 200 may provide the service implementation information to the augmented reality content playback device 100 upon request from the augmented reality content playback device 100 or when a specific provision period is reached. Here, the service implementation information may include a service implementation program produced to implement a visual effect function corresponding to the virtual object applied to the augmented reality service.

증강현실컨텐츠재생장치(100)는, 정보제공장치(200)로부터의 제공되는 서비스구현정보를 저장한다(S20).The augmented reality content reproducing apparatus 100 stores the service implementation information provided from the information providing apparatus 200 (S20).

그리고 증강현실컨텐츠재생장치(100)는, 기 설정된 증강현실 구현 기능을 수행하여(S30) 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력함으로써 증강현실 서비스를 제공할 수 있다.The augmented reality content playback apparatus 100 may provide an augmented reality service by outputting an augmented reality content including a background image and a virtual object by performing a preset augmented reality implementation function (S30).

예를 들면, 증강현실컨텐츠재생장치(100)는, 외부로부터 혹은 내부 저장된 광고컨텐츠를 재생함에 있어서 기 설정된 증강현실 구현 기능을 수행하여 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있고, 또는 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하여 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있다.For example, the augmented reality content playback apparatus 100 may output an augmented reality content including a background image and a virtual object by performing a preset augmented reality implementation function in playing advertisement content stored from the outside or internally. Alternatively, augmented reality content including a background image and a virtual object may be output by performing a preset augmented reality implementation function based on a photographed image of a specific printed book.

이하에서는, 설명의 편의를 위해 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하는 예를 언급하여 설명하도록 한다.Hereinafter, for convenience of description, it will be described with reference to an example of performing a preset augmented reality implementation function based on a photographed image photographing a specific printed book.

즉, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역에 위치하는 인쇄서적(미도시)의 특정 페이지를 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현 기능(예 : 3D의 그래픽 모델 렌더링)을 수행하고, 이러한 증강현실 구현 기능 수행에 따라 상기 촬영영상에 해당하는 배경화면이미지 및 특정 가상객체(예 : 3D의 그래픽 모델)를 적용한 증강현실 컨텐츠(예 : 배경화면이미지 + 가상객체)를 표시함으로써 증강현실 서비스를 제공할 수 있다.That is, the augmented reality content playback apparatus 100 analyzes a photographed image of a specific page of a printed book (not shown) located in a specific photographing area and implements a preset augmented reality function corresponding to the analysis result (eg, 3D). Augmented reality content (e.g., wallpaper image +) that applies a background image corresponding to the photographed image and a specific virtual object (e.g., a 3D graphic model) according to the augmented reality implementation function. Augmented reality service can be provided by displaying a virtual object).

이러한 증강현실컨텐츠재생장치(100)는, 전술과 같은 증강현실 서비스 제공 시, 기 저장된 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행할 수 있다(S50).The augmented reality content reproducing apparatus 100, when providing the augmented reality service as described above, extracts a specific effective image from the background image image based on at least one attribute information preset based on pre-stored service implementation information and the augmented reality The visual effect function may be performed by reflecting the effective use image in a specific effective use area included in the content (S50).

즉, 증강현실컨텐츠재생장치(100)는, 전술과 같은 증강현실 서비스 제공 시, 기 저장된 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 배경화면이미지로부터 특정 효과적용이미지를 추출할 수 있다.That is, the augmented reality content playback device 100, when providing the augmented reality service as described above, may extract a specific effective image from the background image based on at least one attribute information preset based on pre-stored service implementation information. .

그리고, 증강현실컨텐츠재생장치(100)는, 증강현실 컨텐츠에 포함되는 배경화면이미지의 특정 효과적용영역에 대하여 상기와 같이 추출한 효과적용이미지를 반영하여 해당되는 시각 효과기능을 수행할 수 있다. The augmented reality content reproduction apparatus 100 may perform a corresponding visual effect function by reflecting the effective use image extracted as described above with respect to a specific effective use area of the background image included in the augmented reality content.

예를 들면, 증강현실컨텐츠재생장치(100)는, 증강현실 컨텐츠에 포함되는 배경화면이미지의 특정 효과적용영역에 대하여 입체 컨버팅을 수행하여 상기 입체 컨버팅 수행 과정에 따라 상기 배경화면이미지 상에서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 표시하고, 특정 시각 효과적용 시간 경과 후 상기 입체 컨버팅 수행에 따른 입체컨텐츠를 금번 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시하는 시각 효과기능 즉 입체 시각 효과기능을 수행할 수 있다.For example, the apparatus 100 for playing augmented reality content may perform stereoscopic conversion on a specific effective area of a background image included in an augmented reality content and perform a stereoscopic conversion in a 2D form on the background image according to the stereoscopic converting process. The virtual object is displayed according to the augmented reality service by displaying a deformation state that sequentially transforms the content corresponding to the effective area to be displayed into 3D content in a 3D form, and then performs the stereoscopic conversion according to the 3D conversion after a specific visual effective time. A visual effect function, that is, a stereoscopic visual effect function, may be performed.

이때, 증강현실컨텐츠재생장치(100)는, 배경화면이미지의 특정 효과적용영역에 대하여 입체 컨버팅을 수행하는데 있어서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시킬 때 금번 추출한 효과적용이미지를 표면 텍스쳐(Texture)로서 적용한다.In this case, the augmented reality content playback apparatus 100 may sequentially transform the content corresponding to the effective use area displayed in the 2D form into the 3D content in the 3D form in performing stereoscopic conversion on a specific effective use area of the background image. The effective image extracted this time is applied as a surface texture.

즉, 증강현실컨텐츠재생장치(100)는, 증강현실 컨텐츠에 포함되는 배경화면이미지의 특정 효과적용영역, 다시 말해 촬영영상에 해당하는 인쇄서적(미도시)의 페이지 화면 내 특정 효과적용영역이 표면 텍스쳐로서 배경화면이미지에서 추출한 효과적용이미지를 입힌 상태로 2D 형태에서 점차 롤링되어 입체적으로 올라와 시각적으로 점차 3D 형태의 입체컨텐츠로 변하도록 하는 입체 컨버팅을 수행하고, 이처럼 특정 효과적용영역에 대응되는 컨텐츠가 2D 형태에서 점차 3D 형태의 입체컨텐츠로 변하는 시각적인 변형상태를 배경화면이미지 상에 표시할 수 있다.That is, the augmented reality content playback device 100 has a specific effective use area of the background image included in the augmented reality content, that is, a specific effective use area in the page screen of the printed book (not shown) corresponding to the photographed image is surfaced. As a texture, the effect image extracted from the background image is coated and gradually rolled up in the 2D form to be raised in three dimensions to visually transform into 3D content in the 3D form, and thus content corresponding to the specific effective area is applied. The visual deformation state that gradually changes from the 2D form to the 3D content in the 3D form can be displayed on the background image.

그리고, 증강현실컨텐츠재생장치(100)는, 특정 시각 효과적용 시간 경과 후 전술과 같은 입체 컨버팅 수행에 따른 입체컨텐츠를 금번 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시할 수 있다.The augmented reality content reproducing apparatus 100 may convert the stereoscopic content according to the stereoscopic conversion as described above into a corresponding virtual object according to the augmented reality service after the specific visual effective time elapses.

이하에서는 도 5를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치의 동작 방법을 보다 구체적으로 설명하도록 한다.Hereinafter, an operation method of the apparatus for reproducing augmented reality content according to the present invention will be described in more detail with reference to FIG. 5.

본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장한다(S100).The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention stores specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service (S100).

이러한 서비스구현정보는, 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하기 위해 제작된 서비스구현프로그램을 포함할 수 있다.Such service implementation information may include a service implementation program designed to implement a specific visual effect function corresponding to a virtual object applied to an augmented reality service.

즉, 서비스구현정보는, 기 설정된 적어도 하나의 속성정보에 근거하여 증강현실 컨텐츠에 포함되는 배경화면이미지로부터 특정 효과적용이미지를 추출하고, 배경화면이미지 내 특정 효과적용영역에 대하여 상기와 같이 추출한 효과적용이미지를 반영하여 해당되는 시각 효과기능을 수행하도록 제작된 프로그램일 것이다. 특히 예를 들면, 서비스구현정보는, 배경화면이미지 내 특정 효과적용영역에 대하여 입체 컨버팅을 수행하고 입체 컨버팅 수행에 따른 입체컨텐츠를 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시하도록 하는 입체 시각 효과기능을 시각 효과기능으로서 제공하는 프로그램일 수 있다.That is, the service implementation information, based on the at least one set of attribute information, the specific effective image is extracted from the background image included in the augmented reality content, and the effect of the extraction as described above for the specific effective area in the background image It will be a program designed to perform the corresponding visual effects function by reflecting the applied image. Particularly, for example, the service implementation information may be a stereoscopic visual effect that performs stereoscopic conversion on a specific effective area in a background image and converts stereoscopic content according to stereoscopic conversion into a corresponding virtual object according to an augmented reality service. It may be a program that provides a function as a visual effect function.

그리고 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 시각 효과기능의 실행 환경에 대하여 사용자에 의해 상기 적어도 하나의 속성정보를 설정하도록 유도하는 속성설정 유도기능을 제공하고, 이를 통해 설정되는 상기 적어도 하나의 속성정보를 서비스구현정보에 반영하는 것이 바람직하다(S110).In addition, the operating method of the apparatus for reproducing augmented reality content 100 according to the present invention provides a property setting inducing function for inducing a user to set the at least one property information with respect to an execution environment of a visual effect function. It is preferable to reflect the at least one attribute information set in the service implementation information (S110).

예를 들면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자에 의한 속성정보 설정 요청에 따라 시각 효과기능의 실행 환경에 대하여 적어도 하나의 속성정보를 설정하도록 유도하는 속성설정 유도기능을 사용자에게 제공할 수 있다.For example, the operation method of the augmented reality content playback device 100 according to the present invention, property setting to induce setting of at least one property information for the execution environment of the visual effect function in response to a request for setting property information by the user. Induction function can be provided to the user.

이에, 사용자에 의해 속성설정 유도기능을 통한 적어도 하나의 속성정보가 설정되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 설정되는 적어도 하나의 속성정보를 서비스구현정보에 반영하여 저장/관리할 수 있다.Thus, when at least one attribute information is set through the attribute setting inducing function by the user, the operation method of the augmented reality content playback apparatus 100 according to the present invention reflects the at least one attribute information set in the service implementation information. Can be stored and managed.

여기서, 사용자에 의해 설정되는 적어도 하나의 속성정보는, 시각 효과기능 수행 과정에서 반영되는 상기 효과적용이미지를 상기 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보, 상기 특정 효과적용영역을 지정하는 영역지정정보, 상기 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보, 상기 시각 효과기능 수행 과정에서 적용되는 투명도(Transparency)를 지정하는 투명도정보, 상기 시각 효과기능 수행에 따라 상기 효과적용영역에 적용되는 변형 특성 및 최종 사이즈를 지정하는 스케일정보, 상기 시각 효과기능 시간을 지정하는 시간지정정보 중 적어도 어느 하나를 포함할 수 있다.Here, the at least one attribute information set by the user may include extraction method information for specifying an extraction method for extracting the effective use image from the background image, and the specific effective use area. Area designation information, execution time information designating an execution time for performing the visual effect function, transparency information designating transparency applied in the process of performing the visual effect function, and the effective use according to the execution of the visual effect function. And at least one of scale information designating a deformation characteristic applied to an area, scale information designating a final size, and time designation information designating the visual effect function time.

즉, 사용자는 시각 효과기능 수행 과정에서 반영되는 효과적용이미지를 증강현실 컨텐츠의 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보를 설정함으로써 배경화면이미지로부터 어떤 이미지를 어떤 방식으로 추출하여 효과적용이미지로서 사용할 것인지를 선택할 수 있다. That is, the user extracts any image from the background image in some way by setting extraction method information that designates an extraction method for extracting the effective image reflected in the execution of the visual effect function from the background image of the augmented reality content. You can select whether to use it as an application image.

예를 들면, 추출방식정보는, 사용자로 하여금 상기 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 상기 효과적용이미지를 추출하는 제1추출방식정보 및 특정 이미지인식알고리즘에 근거하여 상기 배경화면이미지로부터 적어도 하나의 이미지를 인식하여 인식된 적어도 하나의 이미지 중 특정 이미지를 상기 효과적용이미지로서 선택하여 추출하는 제2추출방식정보를 중 적어도 어느 하나를 포함할 수 있다.For example, the extraction method information may provide a selection induction information for inducing a user to select the effective image from the background image and extract the first effective image selected through the selection induction information. At least any of the second extraction method information for recognizing at least one image from the background image based on method information and a specific image recognition algorithm, and selecting and extracting a specific image as the effective image from the at least one recognized image. It may include one.

여기서 제1추출방식정보는, 사용자로 하여금 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 효과적용이미지를 추출하는 방식을 의미한다.Here, the first extraction method information means a method of providing selection induction information for inducing a user to select the effective use image from a background image and extracting the effective use image selected through the selection induction information.

이에, 추출방식정보로서 제1추출방식정보가 설정된 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 서비스구현정보를 토대로 속성정보 즉 제1추출방식정보에 근거하여, 증강현실 컨텐츠 내 배경화면이미지에서 효과적용이미지로 사용하기 위한 이미지영역을 선택하도록 유도하는 선택유도정보에 따른 선택유도메뉴를 제공할 수 있고, 선택유도메뉴를 통해 사용자가 특정 이미지영역을 마우스 또는 터치팬 등과 같은 포인터기능을 이용하여 선택하면 선택된 이미지영역에 속하는 이미지를 배경화면이미지로부터 효과적용이미지로서 추출할 수 있다.Accordingly, when the first extraction method information is set as the extraction method information, the operation method of the augmented reality content playback apparatus 100 according to the present invention is based on the attribute information, that is, the first extraction method information, based on the service implementation information. A selection induction menu can be provided according to selection induction information to induce selection of an image area for use as an effective image from a background image in an augmented reality content, and a user can touch or touch a specific image area through a selection induction menu. By selecting using a pointer function such as a fan, an image belonging to the selected image area can be extracted as an effective image from the background image.

그리고 제2추출방식정보는, 기 채택된 특정 이미지인식알고리즘에 근거하여 증강현실 컨텐츠 내 배경화면이미지로부터 적어도 하나의 이미지를 인식하고 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택하여 추출하는 방식을 의미한다. 여기서 이미지인식알고리즘은, 특정 대상이미지 내의 픽셀(pixel) 간의 색상 차이, 명도 차이 등을 토대로 특정 대상이미지 내에 포함되는 적어도 하나의 이미지를 구분/인식하기 위한 알고리즘일 수 있다.The second extraction method information recognizes at least one image from the background image in the augmented reality content and selects and extracts a specific image from among the recognized at least one image as an effective image based on a predetermined image recognition algorithm. It means the way. The image recognition algorithm may be an algorithm for distinguishing / recognizing at least one image included in a specific target image based on a color difference, brightness difference, etc. between pixels in the specific target image.

이에, 추출방식정보로서 제2추출방식정보가 설정된 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 서비스구현정보를 토대로 속성정보 즉 제2추출방식정보에 근거하여, 기 채택된 특정 이미지인식알고리즘을 토대로 증강현실 컨텐츠 내 배경화면이미지로부터 적어도 하나의 이미지를 인식하고, 이에 따라 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택하여 선택된 특정 이미지를 배경화면이미지로부터 효과적용이미지로서 추출할 수 있다.Thus, if the second extraction method information is set as the extraction method information, the operation method of the augmented reality content playback device 100 according to the present invention, based on the service information, based on the attribute information, that is, the second extraction method information, Recognizes at least one image from the background image in the augmented reality content based on the previously adopted specific image recognition algorithm, and selects the selected specific image as the effective image from the at least one image recognized as the background image It can be extracted as an effective image from the image.

이때, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택함에 있어서, 인식된 적어도 하나의 이미지를 사용자에게 제시하여 사용자로 하여금 선택하도록 하거나, 기 설정된 선택기준에 따라 가장 큰 사이즈의 이미지를 자동 선택하거나 또는 배경화면이미지의 특정 표시위치(예 : 중앙)에 가장 근접한 이미지를 자동 선택할 수 있을 것이다.In this case, in the method of operating the augmented reality content playback apparatus 100 according to the present invention, in selecting a specific image among the recognized at least one image as an effective image, the recognized at least one image is presented to the user and presented to the user. The user may select the image, automatically select the largest size image according to a predetermined selection criterion, or automatically select the image closest to a specific display position (eg, the center) of the background image.

또한 사용자는 시각 효과기능이 적용되는 효과적용영역을 지정하는 영역지정정보를 설정함으로써 배경화면이미지의 어느 위치에서 해당하는 시각 효과기능(예 : 입체 시각 효과기능)을 적용할 것인지를 선택할 수 있다. 예를 들면, 영역지정정보는, 특정 표시영역을 지정하는 좌표정보를 포함할 수 있다.In addition, the user may select which area of the background image to apply a corresponding visual effect function (eg, stereoscopic visual effect function) by setting region designation information that designates an effective application area to which the visual effect function is applied. For example, the area designation information may include coordinate information for designating a specific display area.

또한, 사용자는 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보를 설정함으로써 언제 해당하는 시각 효과기능(예 : 입체 시각 효과기능)을 적용할 것인지를 선택할 수 있다. 예를 들면, 수행시점정보는, 증강현실 구현 기능을 수행하는 경우 자동으로 시각 효과기능(예 : 입체 시각 효과기능)을 수행하도록 하는 제1수행시점정보, 또는 증강현실 구현 기능을 수행한 결과 가상객체가 포함되는 것이 인지되는 경우 자동으로 시각 효과기능(예 : 입체 시각 효과기능)을 수행하도록 하는 제2수행시점정보, 또는 사용자에 의한 시각 효과기능 실행에 대한 수동입력이 존재하는 경우 시각 효과기능(예 : 입체 시각 효과기능)을 수행하도록 하는 제3수행시점정보를 포함할 수 있다.In addition, the user may select when to apply a corresponding visual effect function (eg, a stereoscopic visual effect function) by setting performance time information that designates an execution time for performing the visual effect function. For example, the execution point information may be a virtual result of performing first execution point information or an augmented reality implementation function to automatically perform a visual effect function (for example, a stereoscopic visual effect function) when the augmented reality implementation function is performed. When the object is recognized, the second effect point information for automatically performing the visual effect function (eg, stereoscopic visual effect function), or the visual effect function when a manual input for the execution of the visual effect function by the user exists. (Eg, stereoscopic visual effect function) may include third performance time point information to perform.

또한, 사용자는 시각 효과기능을 수행하는 과정에서 적용되는 투명도(Transparency)를 지정하는 시작알파값, 종료알파값 등과 같은 투명도정보를 설정함으로써 효과적용영역에 대한 해당 시각 효과기능(예 : 입체 시각 효과기능)을 수행하는 과정에서 적용될 투명도를 선택할 수 있다.Also, the user sets transparency information such as start alpha value and end alpha value to designate the transparency applied in the process of performing the visual effect function. Transparency to be applied in the process of performing the function).

또한, 사용자는 시각 효과기능 수행에 따라 효과적용영역에 적용되는 변형 특성 및 입체컨텐츠의 최종 사이즈를 지정하는 스케일정보를 설정함으로써, 해당 시각 효과기능 특히 입체 시각 효과기능에 따라 수직으로 롤링시켜 올리기 위한 특성정보, 수평으로 면적 넓히기 위한 특성정보, 부피를 늘이기 위한 특성정보 등을 설정하여 2D 형태의 효과적용영역 대응 컨텐츠를 어떤 방식으로 변형하여 3D 형태로 발전시킬 것인지를 선택하고, 3D 형태로 변형된 결과물 즉 3D 형태의 입체컨텐츠의 최종 사이즈를 선택할 수 있다.In addition, the user sets the deformation characteristics applied to the effective application area and the scale information designating the final size of the stereoscopic content according to the execution of the visual effect function, thereby rolling up vertically according to the visual effect function, particularly the stereoscopic visual effect function. By setting the characteristic information, the characteristic information to increase the area horizontally, and the characteristic information to increase the volume, it is possible to select how to transform the contents corresponding to the effective application area in the 2D form and to develop it into the 3D form. You can choose the final size of the result, that is, 3D-shaped stereoscopic content.

또한, 사용자는 시각 효과적용 시간을 지정하는 시간지정정보를 설정함으로써, 해당 시각 효과기능(예 : 입체 시각 효과기능) 수행을 어느 정도의 시간 동안 유지할 것인지를 선택할 수 있다.In addition, the user may select how long to maintain the execution of the visual effect function (eg, stereoscopic visual effect function) by setting time designation information that designates the time for visually effective.

이러한 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력부(110)를 통해 출력하여 증강현실 서비스를 제공한다(S120)The operation method of the augmented reality content playback device 100 according to the present invention, augmented by outputting the augmented reality content including the background image and the virtual object through the output unit 110 in accordance with the preset augmented reality implementation function Provides a real service (S120)

예를 들면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 외부로부터 혹은 내부 저장된 광고컨텐츠를 재생함에 있어서 기 설정된 증강현실 구현 기능을 수행하여 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있고, 또는 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하여 촬영된 인쇄서적 즉 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 수 있다.For example, an operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may include a background image and a virtual object by performing a preset augmented reality implementation function when playing advertisement content stored from the outside or internally. The augmented reality content can be output, or augmented reality content including a printed book, that is, a background image and a virtual object, can be output by performing a preset augmented reality implementation function based on a photographed image of a specific print book. Can be.

이하에서는, 설명의 편의를 위해 특정 인쇄서적을 촬영한 촬영영상을 기반으로 기 설정된 증강현실 구현 기능을 수행하는 예를 언급하여 설명하도록 한다.Hereinafter, for convenience of description, it will be described with reference to an example of performing a preset augmented reality implementation function based on a photographed image photographing a specific printed book.

즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 특정 촬영구역에 위치하는 인쇄서적(미도시)의 특정 페이지를 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현 기능(예 : 3D의 그래픽 모델 렌더링)을 수행하고, 이러한 증강현실 구현 기능 수행에 따라 상기 촬영영상에 해당하는 배경화면이미지 및 특정 가상객체(예 : 3D의 그래픽 모델)를 적용한 증강현실 컨텐츠(예 : 배경화면이미지 + 가상객체)를 표시함으로써 증강현실 서비스를 제공할 수 있다.That is, in the method of operating the augmented reality content playback apparatus 100 according to the present invention, a preset augmentation corresponding to an analysis result is obtained by analyzing a photographed image photographing a specific page of a print book (not shown) located in a specific photographing area. Augmented reality content by performing a reality implementation function (eg, rendering a 3D graphic model) and applying a background image corresponding to the photographed image and a specific virtual object (eg, 3D graphic model) according to performing the augmented reality implementation function Augmented reality service can be provided by displaying (eg, background image + virtual object).

이처럼, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 마커(marker) 기반 또는 마커프리(marker free) 기반 또는 마커리스(marker-less) 기반 등의 다양한 방식을 통해 촬영영상에 가상객체를 렌더링/적용한 증강현실 컨텐츠를 출력하는 일반적인 증강현실 서비스를 제공할 수 있다.As described above, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may include a marker-based, a marker-free, or a marker-less-based image in various ways. A general augmented reality service that outputs augmented reality content by rendering / applying a virtual object may be provided.

이때 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, S120단계와 같이 기 설정된 증강현실 구현 기능을 수행하여 증강현실 서비스를 제공하는 경우, 기 저장된 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행할 수 있다.At this time, when the augmented reality content playback device 100 according to the present invention provides augmented reality service by performing a preset augmented reality implementation function in step S120, at least one preset based on the stored service implementation information A specific effective image may be extracted from a background image according to the attribute information of, and a corresponding visual effect function may be performed by reflecting the effective image for a specific effective region included in the augmented reality content.

보다 구체적으로 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, S120단계와 같이 증강현실 서비스 제공 시 기 저장된 서비스구현정보를 토대로 수행시점정보에 따른 수행시점에 도달하는지 여부를 판단하고, 수행시점에 도달한 경우 추출방식정보에 근거하여 증강현실 컨텐츠의 배경화면이미지로부터 특정 효과적용이미지를 추출하고 영역지정정보에 따른 효과적용영역에 대하여 금번 추출한 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 시간지정정보에 따른 시각 효과적용 시간 동안 투명도정보 및 스케일정보를 토대로 해당 시각 효과기능을 수행할 수 있다.In more detail, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention, whether the execution time according to the execution time information is reached based on the service implementation information stored at the time of providing the augmented reality service, as in step S120. When the execution time is reached, the specific effective image is extracted from the background image of the augmented reality content based on the extraction method information, and the effective texture image extracted for the effective region according to the region designation information is extracted from the surface texture ( Texture) and the visual effect function can be performed based on the transparency information and the scale information during the visual effective time according to the time designation information.

여기서 수행하는 시각 효과기능이 전술한 바와 같은 입체 시각 효과기능인 경우, 추출방식정보로서 전술의 제2추출방식정보가 설정되고 수행시점정보로서 전술의 제2수행시점정보가 설정되고 시간지정정보로서 2초가 설정된 경우를 언급하여 보다 구체적으로 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, S120단계와 같이 증강현실 서비스 제공 시 기 저장된 서비스구현정보를 토대로 수행시점정보에 따른 수행시점에 도달하는지 여부를 판단한다(S130). 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 구현 기능 수행 시 가상객체가 존재하면, 수행시점에 도달한 것으로 인지할 것이다.If the visual effect function performed here is the stereoscopic visual effect function as described above, the second extraction method information is set as the extraction method information, the second performance point information is set as the execution time information, and 2 is designated as the time specification information. Referring to the case in which the seconds are set in more detail, the operation method of the augmented reality content playback device 100 according to the present invention, according to the performance time information based on the service implementation information stored at the time of providing augmented reality service, such as step S120 It is determined whether the execution time is reached (S130). The operating method of the apparatus for reproducing augmented reality content 100 according to the present invention will recognize that the execution time is reached if a virtual object exists when the augmented reality implementing function is performed.

이에, 수행시점에 도달한 것으로 판단되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 서비스구현정보를 토대로 추출방식정보에 근거하여 증강현실 컨텐츠의 배경화면이미지로부터 특정 효과적용이미지를 추출한다(S140). 즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 제2추출방식정보에 근거하여 배경화면이미지에서 특정 이미지인식알고리즘을 토대로 적어도 하나의 이미지를 인식하고, 인식된 적어도 하나의 이미지 중 특정 이미지를 효과적용이미지로서 선택하여 추출할 것이다.Therefore, when it is determined that the execution time has been reached, the operation method of the augmented reality content playback device 100 according to the present invention, based on the service implementation information based on the extraction method information, the specific effective use from the background image of the augmented reality content The image is extracted (S140). That is, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention recognizes at least one image from a background image based on a specific image recognition algorithm based on the second extraction method information, and recognizes at least one image. A specific image of the image will be selected and extracted as an effective image.

그리고, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 서비스구현정보를 토대로 영역지정정보에 따른 효과적용영역에 대하여 시각 효과적용 시간(예 : 2초) 동안 전술에서 추출한 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 투명도정보 및 스케일정보를 토대로 효과적용영역에 대한 입체 컨버팅을 수행하여 배경화면이미지 상에서 2D 형태로 표시되는 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 출력부(110)를 통해 표시할 것이다(S150).In addition, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention is based on the service implementation information, and the effective use extracted from the above for the effective use time according to the area designation information (for example, 2 seconds). Apply the image as a surface texture and perform stereoscopic conversion of the effective area based on transparency information and scale information to sequentially display the content of the effective area displayed in the 2D form on the background image as 3D content. The deformation state to be deformed will be displayed through the output unit 110 (S150).

이때, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 구현 기능 수행에 따른 해당 가상객체 표시를 지연함으로써 배경화면이미지 상에 해당 가상객체(예 : 3D의 그래픽 모델)의 적용을 수행하지 않은 증강현실 컨텐츠 즉 촬영영상에 대응되는 배경화면이미지와 전술의 변형상태(2D 상태 컨텐츠 → 3D 상태 입체컨텐츠)를 출력부(110)를 통해 출력할 수 있다.At this time, the operation method of the augmented reality content playback device 100 according to the present invention, by delaying the display of the virtual object according to the implementation of the augmented reality implementation function of the virtual object on the background screen image (eg 3D graphic model) An augmented reality content that has not been applied, that is, a background image corresponding to the captured image and the above-described deformation state (2D state content → 3D state stereoscopic content) may be output through the output unit 110.

그리고, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 서비스구현정보를 토대로 시간지정정보에 따른 시각 효과적용 시간(예 : 2초)이 경과하면(S160) 입체 컨버팅 수행에 따른 입체컨텐츠를 증강현실 서비스에 따른 해당 가상객체로 전환하여 표시하도록 한다(S170).In addition, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention is based on the service implementation information, and when the visually effective time according to time specification information (for example, 2 seconds) elapses (S160) The stereoscopic content is converted to the corresponding virtual object according to the augmented reality service to be displayed (S170).

한편, 전술의 S130단계의 판단 결과, 수행시점에 도달하지 않은 것으로 판단되면 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 전술의 S140단계 이후와 같은 시각 효과기능(예 : 입체 시각 효과기능)을 수행하지 않고 일반적인 증강현실 컨텐츠 즉 종래와 같이 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력할 것이다(S180).On the other hand, if it is determined that the execution time has not been reached as a result of the step S130 described above, the operation method of the augmented reality content playback device 100 according to the present invention, the same visual effect function (step: after the step S140 described above) Instead of performing a visual effect function, a general augmented reality content, that is, augmented reality content including a background image and a virtual object as in the prior art will be output (S180).

이에 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 서비스를 제공하는 경우, 서비스구현정보를 토대로 수행시점에 증강현실 컨텐츠의 배경화면이미지 내 특정 효과적용영역에 대하여 특정 시각 효과적용 시간 동안 증강현실 컨텐츠의 배경화면이미지로부터 추출한 특정 효과적용이미지를 표면에 입힌 상태로 2D 형태에서 점차 롤링되어 입체적으로 올라와 시각적으로 점차 3D 형태의 입체컨텐츠로 변하도록 하는 입체 컨버팅을 수행하고, 이처럼 특정 효과적용영역에 대응되는 컨텐츠가 2D 형태에서 점차 3D 형태의 입체컨텐츠로 변하는 시각적인 변형상태를 배경화면이미지 상에 표시한 후, 시각 효과적용 시간이 경과하면 입체컨텐츠가 자연스럽게 증강현실 컨텐츠의 해당 가상객체로 전환/표시되도록 하는 입체 시각 효과기능을 수행할 수 있다.Accordingly, in the method of operating the augmented reality content reproducing apparatus 100 according to the present invention, when providing an augmented reality service, a specific time is determined for a specific effective area within a background image of the augmented reality content at the time of performing based on service implementation information. During the effective use time, the specific effective image extracted from the background image of the augmented reality content is coated on the surface gradually rolled up in the 2D form to perform a three-dimensional conversion to gradually change to a three-dimensional content in the 3D form, In this way, the content corresponding to the specific effective area is displayed on the background image of the visual deformation state that gradually changes from the 2D form to the 3D content in the 3D form, and then the 3D content is automatically Stereoscopic visual effector to switch / display to the virtual object The can be performed.

이상에서 설명한 바와 같이, 본 발명에 따른 증강 현실 서비스 제공 방법은, 증강현실 서비스 제공 시 증강현실 컨텐츠의 배경화면이미지 내 특정 효과적용영역에서 점차 입체적으로 올라와 가상객체로 전환되는 등 시각적으로 부가적인 효과기능을 제공하고 특히 이때 배경화면에서 추출한 이미지를 반영하여 효과기능을 제공함으로써, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여하여 가상객체에 대한 시각적 연관성 부족 및 부자연스러움 등을 해결할 수 있다.As described above, the augmented reality service providing method according to the present invention, when the augmented reality service is provided, a visually additional effect such as gradually rising three-dimensionally in a specific effective area within the background image of the augmented reality content to be converted into a virtual object In this case, by providing the effect function by reflecting the image extracted from the background screen, the virtual image is granted by using various images of the virtual object using the own image of the augmented reality content without additional animation work on the virtual object model. The lack of visual relevance and unnaturalness of objects can be solved.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

증강현실 서비스 제공 시 증강현실 컨텐츠의 배경화면이미지 내 특정 효과적용영역에서 점차 입체적으로 올라와 가상객체로 전환되는 등 시각적으로 부가적인 효과기능을 제공하고 특히 이때 배경화면에서 추출한 이미지를 반영하여 효과기능을 제공함으로써, 가상객체 모델에 대한 별도의 에니메이션 작업 없이도 증강현실 컨텐츠의 자체 이미지를 이용하여 가상객체에 대한 다양한 시각적 효과를 부여하여 가상객체에 대한 시각적 연관성 부족 및 부자연스러움 등을 해결하는 증강 현실 서비스 제공 시스템 및 방법을 적용할 경우, 증강현실 서비스의 시각적 효과 및 사용자 만족도 측면에서 매우 큰 진보를 가져올 수 있으며, 적용되는 증강현실컨텐츠재생장치 및 서비스 솔루션의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있다.When augmented reality service is provided, it provides visually additional effects such as gradually rising from a specific effective area within the background image of the augmented reality content into a virtual object, and in particular, reflects the image extracted from the background. Providing augmented reality services to solve the lack of visual relevance and unnaturalness of virtual objects by granting various visual effects to virtual objects using their own images of augmented reality content without additional animation work on the virtual object model. The application of systems and methods can lead to significant advances in terms of visual effects and user satisfaction of AR services, as well as the potential for market or sales of AR applications and service solutions to be applied, as well as realistic. Can be carried out.

100 : 증강현실컨텐츠재생장치
200 : 정보제공장치100: augmented reality content playback device
200: information providing device

Claims (14)

증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하는 정보제공장치; 및
상기 정보제공장치로부터의 상기 서비스구현정보를 저장하고, 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 증강현실컨텐츠재생장치를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 시스템.An information providing device for providing specific service implementation information for implementing a specific visual effect function corresponding to a virtual object applied to an augmented reality service; And
Storing the service implementation information from the information providing device and providing augmented reality service outputting augmented reality content including a background image and a virtual object according to a preset augmented reality implementation function, based on the service implementation information Augmented reality that extracts a specific effective image from the background image according to at least one set of attribute information and performs the corresponding visual effect function by reflecting the effective image for a specific effective region included in the augmented reality content. Augmented reality service providing system comprising a content playback device. 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하는 증강현실서비스제공부; 및
증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장하며, 상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 효과기능제어부를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.An augmented reality service provider for providing an augmented reality service for outputting an augmented reality content including a background image and a virtual object according to a preset augmented reality implementation function; And
Stores specific service implementation information for implementing a specific visual effect function corresponding to the virtual object applied to the augmented reality service, and when providing the augmented reality service, the background screen according to at least one attribute information set based on the service implementation information. Augmented reality content playback comprising: an effect function control unit for extracting a specific effective image from an image and performing a corresponding visual effect function on a specific effective application area included in the augmented reality content Device. 제 2 항에 있어서,
상기 효과기능제어부는,
상기 시각 효과기능의 실행 환경에 대하여 사용자에 의해 상기 적어도 하나의 속성정보를 설정하도록 유도하는 속성설정 유도기능을 제공하고, 이를 통해 설정되는 상기 적어도 하나의 속성정보를 상기 서비스구현정보에 반영하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 2,
The effect function control unit,
Providing an attribute setting inducing function for inducing the user to set the at least one attribute information with respect to an execution environment of the visual effect function, and reflecting the at least one attribute information set through the service implementation information; Augmented reality content playback device characterized in that. 제 2 항 또는 제 3 항에 있어서,
상기 적어도 하나의 속성정보는,
상기 시각 효과기능 수행 과정에서 반영되는 상기 효과적용이미지를 상기 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보, 상기 특정 효과적용영역을 지정하는 영역지정정보, 상기 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보, 상기 시각 효과기능 수행 과정에서 적용되는 투명도(Transparency)를 지정하는 투명도정보, 상기 시각 효과기능 수행에 따라 상기 효과적용영역에 적용되는 변형 특성 및 최종 사이즈를 지정하는 스케일정보, 상기 시각 효과기능 시간을 지정하는 시간지정정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method according to claim 2 or 3,
The at least one attribute information,
Extraction method information specifying an extraction method for extracting the effective use image reflected in the visual effect function from the background screen image, region designation information specifying the specific effective use area, and performing the visual effect function Performance time information specifying a viewpoint, transparency information specifying transparency applied in the process of performing the visual effect function, scale specifying a deformation characteristic and a final size applied to the effective application area according to the visual effect function performance And at least one of information and time specification information for designating the visual effect function time. 제 4 항에 있어서,
상기 추출방식정보는,
사용자로 하여금 상기 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 상기 효과적용이미지를 추출하는 제1추출방식정보 및 특정 이미지인식알고리즘에 근거하여 상기 배경화면이미지로부터 적어도 하나의 이미지를 인식하여 인식된 적어도 하나의 이미지 중 특정 이미지를 상기 효과적용이미지로서 선택하여 추출하는 제2추출방식정보를 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 4, wherein
The extraction method information,
Based on first extraction method information and a specific image recognition algorithm for providing selection induction information for inducing a user to select the effective use image from the background image and extracting the effective use image selected through the selection induction information And at least one of second extraction method information for recognizing at least one image from the background image and selecting and extracting a specific image as the effective image from the at least one image recognized. Real content playback device. 제 5 항에 있어서,
상기 효과기능제어부는,
상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 투명도정보 및 상기 스케일정보를 토대로 해당 시각 효과기능을 수행하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 5, wherein
The effect function control unit,
When the augmented reality service is provided, when the execution time according to the execution time information is reached based on the service implementation information, a specific effective image is extracted from the background screen image based on the extraction method information and according to the region designation information. Applying the effective image as a surface texture to the effective area and performing a corresponding visual effect function on the basis of the transparency information and the scale information during the visual effective time period according to the time specification information; Augmented reality content playback device. 제 5 항에 있어서,
상기 효과기능제어부는,
상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 투명도정보 및 상기 스케일정보를 토대로 상기 효과적용영역에 대한 입체 컨버팅을 수행하여 상기 배경화면이미지 상에서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 표시하고, 상기 시각 효과적용 시간 경과 후 상기 입체 컨버팅 수행에 따른 입체컨텐츠를 상기 증강현실 서비스에 따른 상기 가상객체로 전환하여 표시하는 입체 시각 효과기능을 수행하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 5, wherein
The effect function control unit,
When the augmented reality service is provided, when the execution time according to the execution time information is reached based on the service implementation information, a specific effective image is extracted from the background screen image based on the extraction method information and according to the region designation information. The effective application image is applied as a surface texture for the visual effective time according to the time designation information for the effective use area, and stereoscopic conversion of the effective use area is performed based on the transparency information and the scale information. Display the deformation state to sequentially transform the content corresponding to the effective use area displayed in the 2D form into the 3D content in the 3D form on the background screen image, and the stereoscopic content according to the stereoscopic conversion performed after the visually effective time is elapsed. The virtual according to augmented reality service AR content reproducing apparatus, characterized in that the transition by performing the three-dimensional visual effects, ability to display body. 정보제공장치가 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 제공하는 단계;
증강현실컨텐츠재생장치에서 상기 정보제공장치로부터의 상기 서비스구현정보를 저장하는 단계; 및
상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.Providing, by the information providing apparatus, specific service implementation information for implementing a specific visual effect function corresponding to the virtual object applied to the augmented reality service;
Storing the service implementation information from the information providing apparatus in an augmented reality content reproducing apparatus; And
When the augmented reality content playback device provides an augmented reality service that outputs augmented reality content including a background image and a virtual object according to a preset augmented reality implementation function, at least one attribute information set based on the service implementation information And extracting a particular effective use image from the background image and reflecting the effective use image to a specific effective use area included in the augmented reality content to perform a corresponding visual effect function. How to Deliver Reality Services. 증강현실 서비스에 적용되는 가상객체에 대응하는 특정 시각 효과기능을 구현하는 특정 서비스구현정보를 저장하는 서비스구현정보 저장단계;
기 설정된 증강현실 구현 기능 수행에 따라 배경화면이미지 및 가상객체를 포함하는 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하는 증강현실서비스 실행단계; 및
상기 증강현실 서비스 제공 시, 상기 서비스구현정보를 토대로 기 설정된 적어도 하나의 속성정보에 따라 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하며, 상기 증강현실 컨텐츠에 포함되는 특정 효과적용영역에 대하여 상기 효과적용이미지를 반영하여 해당 시각 효과기능을 수행하는 효과기능 제어단계를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.A service implementation information storage step of storing specific service implementation information for implementing a specific visual effect function corresponding to the virtual object applied to the augmented reality service;
An augmented reality service execution step of providing an augmented reality service outputting an augmented reality content including a background image and a virtual object according to a preset augmented reality implementation function; And
When the augmented reality service is provided, a specific effective use image is extracted from the background image according to at least one set of attribute information based on the service implementation information, and the effect is applied to a specific effective use area included in the augmented reality content. And an effect function control step of performing a corresponding visual effect function by reflecting an applied image. 제 9 항에 있어서,
상기 서비스구현정보 저장단계는,
상기 시각 효과기능의 실행 환경에 대하여 사용자에 의해 설정되는 상기 적어도 하나의 속성정보를 상기 서비스구현정보에 반영하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method of claim 9,
The service implementation information storage step,
And at least one attribute information set by a user with respect to an execution environment of the visual effect function is reflected in the service implementation information. 제 9 항 또는 제 10 항에 있어서,
상기 적어도 하나의 속성정보는,
상기 시각 효과기능 수행 과정에서 반영되는 상기 효과적용이미지를 상기 배경화면이미지로부터 추출하는 추출방식을 지정하는 추출방식정보, 상기 특정 효과적용영역을 지정하는 영역지정정보, 상기 시각 효과기능을 수행하는 수행시점을 지정하는 수행시점정보, 상기 시각 효과기능 수행 과정에서 적용되는 투명도(Transparency)를 지정하는 투명도정보, 상기 시각 효과기능 수행에 따라 상기 효과적용영역에 적용되는 변형 특성 및 최종 사이즈를 지정하는 스케일정보, 상기 시각 효과기능 시간을 지정하는 시간지정정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.11. The method according to claim 9 or 10,
The at least one attribute information,
Extraction method information specifying an extraction method for extracting the effective use image reflected in the visual effect function from the background screen image, region designation information specifying the specific effective use area, and performing the visual effect function Performance time information specifying a viewpoint, transparency information specifying transparency applied in the process of performing the visual effect function, scale specifying a deformation characteristic and a final size applied to the effective application area according to the visual effect function performance And at least one of information and time-designated information for designating the visual effect function time. 제 11 항에 있어서,
상기 추출방식정보는,
사용자로 하여금 상기 배경화면이미지에서 상기 효과적용이미지를 선택하도록 유도하는 선택유도정보를 제공하고 상기 선택유도정보를 통해 선택되는 상기 효과적용이미지를 추출하는 제1추출방식정보 및 특정 이미지인식알고리즘에 근거하여 상기 배경화면이미지로부터 적어도 하나의 이미지를 인식하여 인식된 적어도 하나의 이미지 중 특정 이미지를 상기 효과적용이미지로서 선택하여 추출하는 제2추출방식정보를 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method of claim 11,
The extraction method information,
Based on first extraction method information and a specific image recognition algorithm for providing selection induction information for inducing a user to select the effective use image from the background image and extracting the effective use image selected through the selection induction information And at least one of second extraction method information for recognizing at least one image from the background image and selecting and extracting a specific image as the effective image from the at least one image recognized. Operation Method of Real Content Playback Device. 제 12 항에 있어서,
상기 효과기능 제어단계는,
상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 투명도정보 및 상기 스케일정보를 토대로 해당 시각 효과기능을 수행하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.13. The method of claim 12,
The effect function control step,
When the augmented reality service is provided, when the execution time according to the execution time information is reached based on the service implementation information, a specific effective image is extracted from the background screen image based on the extraction method information and according to the region designation information. Applying the effective image as a surface texture to the effective area and performing a corresponding visual effect function on the basis of the transparency information and the scale information during the visual effective time period according to the time specification information; Operation method of augmented reality content playback device. 제 12 항에 있어서,
상기 효과기능 제어단계는,
상기 증강현실 서비스 제공 시 상기 서비스구현정보를 토대로 상기 수행시점정보에 따른 수행시점에 도달하는 경우, 상기 추출방식정보에 근거하여 상기 배경화면이미지로부터 특정 효과적용이미지를 추출하고 상기 영역지정정보에 따른 효과적용영역에 대하여 상기 시간지정정보에 따른 상기 시각 효과적용 시간 동안 상기 효과적용이미지를 표면 텍스쳐(Texture)로서 적용하고 상기 투명도정보 및 상기 스케일정보를 토대로 상기 효과적용영역에 대한 입체 컨버팅을 수행하여 상기 배경화면이미지 상에서 2D 형태로 표시되는 상기 효과적용영역 대응 컨텐츠를 3D 형태의 입체컨텐츠로 순차적으로 변형시키는 변형상태를 표시하고, 상기 시각 효과적용 시간 경과 후 상기 입체 컨버팅 수행에 따른 입체컨텐츠를 상기 증강현실 서비스에 따른 상기 가상객체로 전환하여 표시하는 입체 시각 효과기능을 수행하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.13. The method of claim 12,
The effect function control step,
When the augmented reality service is provided, when the execution time according to the execution time information is reached based on the service implementation information, a specific effective image is extracted from the background screen image based on the extraction method information and according to the region designation information. The effective application image is applied as a surface texture for the visual effective time according to the time designation information for the effective use area, and stereoscopic conversion of the effective use area is performed based on the transparency information and the scale information. Display the deformation state to sequentially transform the content corresponding to the effective use area displayed in the 2D form into the 3D content in the 3D form on the background screen image, and the stereoscopic content according to the stereoscopic conversion performed after the visually effective time is elapsed. The virtual according to augmented reality service Method of operation of AR contents reproducing apparatus, characterized in that for performing the three-dimensional visual effects, the ability to change the display body.
KR1020110004634A 2011-01-17 2011-01-17 System and method for providing augmented reality service KR101226727B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110004634A KR101226727B1 (en) 2011-01-17 2011-01-17 System and method for providing augmented reality service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110004634A KR101226727B1 (en) 2011-01-17 2011-01-17 System and method for providing augmented reality service

Publications (2)

Publication Number Publication Date
KR20120083147A KR20120083147A (en) 2012-07-25
KR101226727B1 true KR101226727B1 (en) 2013-01-25

Family

ID=46714650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110004634A KR101226727B1 (en) 2011-01-17 2011-01-17 System and method for providing augmented reality service

Country Status (1)

Country Link
KR (1) KR101226727B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230072256A (en) * 2021-11-17 2023-05-24 삼성전자주식회사 Electronic device and method for anchoring of augmented reality object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054153A (en) * 2000-05-24 2000-09-05 전연택 System for reconstructing and editing image of object in screen of three dimensions imagination space
KR20090056760A (en) * 2007-11-30 2009-06-03 광주과학기술원 Method and system for authoring augmented reality, and record media recorded program realizing the same
KR20100081725A (en) * 2009-01-07 2010-07-15 광주과학기술원 System and method for authoring contents of augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054153A (en) * 2000-05-24 2000-09-05 전연택 System for reconstructing and editing image of object in screen of three dimensions imagination space
KR20090056760A (en) * 2007-11-30 2009-06-03 광주과학기술원 Method and system for authoring augmented reality, and record media recorded program realizing the same
KR20100081725A (en) * 2009-01-07 2010-07-15 광주과학기술원 System and method for authoring contents of augmented reality

Also Published As

Publication number Publication date
KR20120083147A (en) 2012-07-25

Similar Documents

Publication Publication Date Title
US10755485B2 (en) Augmented reality product preview
Francone et al. Using the user's point of view for interaction on mobile devices
US8644467B2 (en) Video conferencing system, method, and computer program storage device
JP5976019B2 (en) Theme-based expansion of photorealistic views
KR101227255B1 (en) Marker size based interaction method and augmented reality system for realizing the same
US20140181630A1 (en) Method and apparatus for adding annotations to an image
JP2016539398A (en) Augmented reality content generation for unknown objects
CN109906600B (en) Simulated depth of field
US20190130648A1 (en) Systems and methods for enabling display of virtual information during mixed reality experiences
WO2016153388A1 (en) Method for depicting an object
Cosco et al. Augmented touch without visual obtrusion
US20220172447A1 (en) Image processing device, image processing method, and program
KR101216222B1 (en) System and method for providing augmented reality service
JP2016511850A (en) Method and apparatus for annotating plenoptic light fields
US11501486B2 (en) Surface characterisation apparatus and system
KR20140145217A (en) 3d virtual modeling system using spatial information and method thereof
KR102107706B1 (en) Method and apparatus for processing image
KR101216221B1 (en) System and method for providing augmented reality service
KR101919077B1 (en) Method and apparatus for displaying augmented reality
KR101226727B1 (en) System and method for providing augmented reality service
JP2023171298A (en) Adaptation of space and content for augmented reality and composite reality
KR101211178B1 (en) System and method for playing contents of augmented reality
KR102167273B1 (en) Method, apparatus and computer program product for augmenting real object
KR101316789B1 (en) System and method for playing contents of augmented reality
JP2019032713A5 (en)

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191230

Year of fee payment: 8