KR20120040350A - System and method for playing contents of augmented reality - Google Patents

System and method for playing contents of augmented reality Download PDF

Info

Publication number
KR20120040350A
KR20120040350A KR1020100101703A KR20100101703A KR20120040350A KR 20120040350 A KR20120040350 A KR 20120040350A KR 1020100101703 A KR1020100101703 A KR 1020100101703A KR 20100101703 A KR20100101703 A KR 20100101703A KR 20120040350 A KR20120040350 A KR 20120040350A
Authority
KR
South Korea
Prior art keywords
augmented reality
information
control function
content
reality content
Prior art date
Application number
KR1020100101703A
Other languages
Korean (ko)
Other versions
KR101242512B1 (en
Inventor
정진
한호선
홍선희
박새이
시아오 리우
김현정
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100101703A priority Critical patent/KR101242512B1/en
Publication of KR20120040350A publication Critical patent/KR20120040350A/en
Application granted granted Critical
Publication of KR101242512B1 publication Critical patent/KR101242512B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

PURPOSE: A system for playing AR(Augmented Reality) content and a method thereof are provide to perform a content control function following a specific operation when a user generates the specific operation by moving a general tool such as a hand in a photographing area. CONSTITUTION: An AR content playing device(100) receives control function information for each operation from an information providing server(200). The device analyzes a photographed image of a printed book(10). The device outputs the AR content applied to the photographed image according to the operation of a predetermined AR implementing function in response to the analyzed result. When a specific operation is recognized on the photographed image, the device performs a corresponding content control function in response to relevant operation information based on the control function information.

Description

증강 현실 컨텐츠 재생 시스템 및 방법{SYSTEM AND METHOD FOR PLAYING CONTENTS OF AUGMENTED REALITY}Augmented reality content playback system and method {SYSTEM AND METHOD FOR PLAYING CONTENTS OF AUGMENTED REALITY}

본 발명은 증강 현실 컨텐츠 재생 시스템 및 방법에 관한 것으로, 더욱 상세하게는 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있는 증강 현실 컨텐츠 재생 시스템 및 방법, 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법에 관한 것이다.The present invention relates to a system and method for reproducing augmented reality content, and more particularly, in an augmented reality service that provides augmented reality content based on a photographed image of a printed book located in a photographing area, the user in the photographing area. When a specific action is generated through the movement of everyday tools such as the hand, the content control function according to the action can be performed to provide a variety of user interactions without moving the actual print book and play augmented reality content that can enhance the realism. A system and method, an augmented reality content reproducing apparatus and a method for operating the augmented reality content reproducing apparatus.

AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은, 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. Augmented Reality (AR) is one of virtual reality that combines the real world that the user sees with the virtual world with additional information in one image. AR, a concept that complements the real world with a virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. Computer graphics serve to provide additional information needed for the real world. This means that the distinction between the real environment and the virtual screen is blurred by overlapping the 3D virtual image on the live image that the user sees.

이러한 증강현실을 구현하는 방법에는, 인쇄서적의 페이지를 펼쳐 이를 카메라를 통해 촬영하고 촬영된 실시간 영상을 화면에 디스플레이함에 있어서, 페이지 내에 특정 마커(marker)가 기록되어 있음에 따라 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커에 연결된 3차원 그래픽 모델을 실제 영상 즉 페이지를 촬영한 영상 위에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다.In the method of implementing such an augmented reality, when a page of a printed book is unfolded and photographed through a camera and a captured real-time image is displayed on the screen, a specific marker is recorded in the page, so that the image is captured within the image. When a specific marker is recognized, there is a method of drawing a 3D graphic model connected to the marker on a real image, that is, a page image. Here, the marker is actually present on the two-dimensional plane, and provides information on the size, direction, and position in which the three-dimensional graphic model connected to it is drawn.

헌데, 전술한 종래의 증강현실 구현 방법은, 인쇄서적의 페이지 또는 페이지 상에 증강된 가상 객체(예 : 3차원 그래픽 모델)를 확대 또는 축소 또는 회전하여 보고자 하는 경우, 사용자가 실제 인쇄서적을 카메라에 가깝게 가져가거나 또는 멀리 가져가거나 또는 직접 회전시켜야만 한다. 즉, 현재 사용자가 실제 인쇄서적을 움직이지 않고도 그와 상응하는 다양한 증강현실 구현을 원하고 있지만, 현재의 증강현실 구현 방법에서는 이를 만족시킬 수 있는 방안이 없다는 점에서 여전히 미흡한 수준이라고 하겠다.However, the above-described conventional augmented reality implementation method, when the user wants to enlarge or reduce or rotate the augmented virtual object (for example, a three-dimensional graphics model) on the page of the printed book, the user can view the actual printed book It must be brought close to or far away or rotated directly. In other words, the current user wants to implement various augmented reality corresponding to it without moving the actual printed book, but the current augmented reality implementation method is still insufficient in that there is no way to satisfy this.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 정보제공서버가 제공하면, 상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 증강현실컨텐츠재생장치가 상기 촬영영상에 근거하여 특정 동작이 인지되면, 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강 현실 컨텐츠 재생 시스템 및 방법을 제공하여, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시키는데 있다.The present invention has been made in view of the above circumstances, and an object of the present invention is to provide the control function information for each operation including a content control function corresponding to at least one operation information. The augmented reality content playback device stores the control function information for each operation provided from a providing server, analyzes a photographed image of a print book located in a specific photographing area, and performs a preset augmented reality implementation function corresponding to an analysis result. And outputs augmented reality content applied to the captured image, and when the augmented reality content playback apparatus recognizes a specific operation based on the captured image, responds to the operation information according to the specific operation based on the control function information for each operation. Provides augmented reality content playback system and method for performing the corresponding content control function When a user generates a specific movement through the movement of a daily tool such as a hand in the shooting area, the user can provide various user interactions without moving the actual print book by performing the content control function according to the movement. To improve.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 다른 목적은 특정 촬영구역에 위치하는 인쇄서적을 촬영하고, 상기 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작을 인지하여 동작 인지 결과 상기 특정 동작이 인지되면, 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법을 제공하여, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시키는데 있다.The present invention was created in view of the above circumstances, and another object to be achieved in the present invention is to photograph a printed book located in a specific photographing area, and based on an analysis result of analyzing the photographed photographed image, the analysis. Outputs augmented reality content applied to the photographed image according to a preset augmented reality implementation function corresponding to a result, and recognizes a specific motion based on the photographed image. By providing a method of operating an augmented reality content playback device and an augmented reality content playback device that performs the content control function corresponding to the motion information according to the specific operation based on the control function information for each specific, the user is in the shooting zone When a specific action is generated through the movement of a daily tool, the content control function according to the action is activated. Sikineunde line may be provided to various users Interaction without moving the actual printed book and improving the siljaegam by.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 증강 현실 컨텐츠 재생 시스템은, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공하는 정보제공서버; 및 상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작이 인지되면 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치를 포함한다.An augmented reality content reproduction system according to the first aspect of the present invention for achieving the above object, the information providing server for providing the control function information for each operation including a content control function corresponding to at least one operation information; And storing the control function information for each operation provided from the information providing server, analyzing a photographed image of a print book located in a specific photographing area, and performing the preset augmented reality implementation function corresponding to an analysis result. Output augmented reality content applied to the image, and when the specific motion is recognized based on the photographed image, augmented reality content to perform the corresponding content control function corresponding to the motion information according to the specific motion based on the control function information for each motion It includes a playback device.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 증강현실컨텐츠재생장치는, 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영부; 상기 촬영부를 통해 촬영된 촬영영상을 분석하는 영상분석부; 상기 촬영영상에 근거하여 특정 동작을 인지하는 동작인지부; 및 상기 영상분석부를 통한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 동작인지부를 통해 상기 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 장치제어부를 포함한다.According to a second aspect of the present invention, there is provided an apparatus for reproducing augmented reality content, including: a photographing unit photographing a print book located in a specific photographing area; An image analyzer analyzing the photographed image photographed through the photographing unit; A motion recognition unit for recognizing a specific motion based on the captured image; And outputting augmented reality content applied to the photographed image according to a preset augmented reality implementation function corresponding to the analysis result based on the analysis result through the image analyzer, and when the specific motion is recognized through the motion recognition unit. And a device controller configured to perform a content control function corresponding to the operation information according to the specific operation based on the control function information for each operation.

바람직하게는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보가 저장되는 정보저장부를 더 포함할 수 있다.Preferably, the apparatus may further include an information storage unit for storing the control function information for each operation indicating a preset content control function corresponding to the at least one preset operation information.

바람직하게는, 상기 동작인지부는, 상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지할 수 있다.Preferably, the gesture recognition unit may recognize the specific motion generated according to the movement of the hand image by recognizing a predefined hand image based on the captured image.

바람직하게는, 상기 동작 별 제어기능정보는, 제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함할 수 있다.Preferably, the control function information for each operation includes preset rotation of a virtual object rendered in the augmented reality content or the photographed image in the augmented reality content in response to the first motion information according to a preset rotation speed. Content rotation control function to rotate in the direction, the content movement to move the augmented reality content or a virtual object rendered in the photographed image in the augmented reality content in accordance with the movement path according to the specific motion in response to the second motion information A control function, a content reduction control function for reducing the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content at a preset reduction rate at a preset frame rate in response to the third motion information; The augmented reality content or the augmented reality content in response to fourth motion information At least one of a content magnification control function for enlarging the virtual object rendered in the photographed image at a preset magnification ratio for each preset frame rate.

바람직하게는, 상기 장치제어부는, 상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경/저장할 수 있다.Preferably, the device controller provides a function setting information adjusting function for adjusting setting information of the control function information for each operation, and the control function for each operation in response to the user's adjustment through the function setting information adjusting function. You can change / save the information.

상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 증강 현실 컨텐츠 재생 방법은, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 정보제공서버가 제공하는 단계; 상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하는 단계; 상기 증강현실컨텐츠재생장치가 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 단계; 및 상기 증강현실컨텐츠재생장치가 상기 촬영영상에 근거하여 특정 동작이 인지되면, 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 단계를 포함한다.According to a third aspect of the present invention, there is provided a method of reproducing augmented reality content, the method comprising: providing, by an information providing server, control function information for each operation including a content control function corresponding to at least one operation information; Storing, by the augmented reality content reproducing apparatus, the control function information for each operation provided from the information providing server; Analyzing, by the augmented reality content reproducing apparatus, a photographed image of a print book located in a specific photographing region and outputting augmented reality content applied to the photographed image according to a preset augmented reality implementation function corresponding to the analysis result; And when the augmented reality content playback device recognizes a specific motion based on the captured image, performing a corresponding content control function corresponding to the motion information according to the specific motion based on the control function information for each motion. .

상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 증강현실컨텐츠재생장치의 동작 방법은, 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영 단계; 상기 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 증강현실 컨텐츠 출력단계; 상기 촬영영상에 근거하여 특정 동작을 인지하는 동작 인지단계; 및 동작 인지 결과 상기 특정 동작이 인지되면, 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 제어기능 수행단계를 포함한다.According to a fourth aspect of the present invention, there is provided an operating method of an apparatus for reproducing augmented reality content, the method including: photographing a printing book located in a specific photographing area; An augmented reality content outputting step of outputting an augmented reality content applied to the captured image according to the execution of a preset augmented reality implementation function corresponding to the analysis result based on the analysis result of analyzing the photographed photographed image; A motion recognition step of recognizing a specific motion based on the captured image; And a control function performing step of performing a content control function corresponding to the motion information according to the specific motion based on the control function information for each specific motion, when the specific motion is recognized as a result of the motion recognition.

바람직하게는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보를 기 저장하는 정보 저장단계를 더 포함할 수 있다.Preferably, the method may further include an information storing step of previously storing the control function information for each operation indicating the preset content control function corresponding to the at least one preset operation information.

바람직하게는, 상기 동작 인지단계는, 상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지할 수 있다.Preferably, the gesture recognition step may recognize the specific motion generated according to the movement of the hand image by recognizing a predefined hand image based on the captured image.

바람직하게는, 상기 동작 별 제어기능정보는, 제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함할 수 있다.Preferably, the control function information for each operation includes preset rotation of a virtual object rendered in the augmented reality content or the photographed image in the augmented reality content in response to the first motion information according to a preset rotation speed. Content rotation control function to rotate in the direction, the content movement to move the augmented reality content or a virtual object rendered in the photographed image in the augmented reality content in accordance with the movement path according to the specific motion in response to the second motion information A control function, a content reduction control function for reducing the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content at a preset reduction rate at a preset frame rate in response to the third motion information; The augmented reality content or the augmented reality content in response to fourth motion information At least one of a content magnification control function for enlarging the virtual object rendered in the photographed image at a preset magnification ratio for each preset frame rate.

바람직하게는, 사용자의 요청에 따라 상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경/저장하는 단계를 더 포함할 수 있다.Preferably, a function setting information adjusting function for adjusting setting information of the control function information for each operation is provided according to a user's request, and the control function for each operation in response to the user's adjustment through the function setting information adjusting function is provided. The method may further include changing / storing the information.

이에, 본 발명의 증강 현실 컨텐츠 재생 시스템 및 방법에 의하면, 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.Thus, according to the augmented reality content reproduction system and method of the present invention, in the augmented reality service that provides augmented reality content based on a photographed image of a printed book located in the shooting zone, the user, such as a hand in the shooting zone When a specific action is generated through the movement of a daily tool, content control function according to the action can be performed to provide various user interactions without moving the actual printed book and improve the realism.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 시스템의 제어 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치 의 제어 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 방법의 제어 흐름을 나타내는 흐름도이다.
도 4는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치의 동작 방법을 나타내는 흐름도이다.1 is a control block diagram of an augmented reality content playback system according to a preferred embodiment of the present invention.
2 is a control block diagram of an apparatus for reproducing augmented reality content according to a preferred embodiment of the present invention.
3 is a flowchart illustrating a control flow of a method for reproducing augmented reality content according to a preferred embodiment of the present invention.
4 is a flowchart illustrating a method of operating an augmented reality content playback device according to a preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 시스템을 도시한 도면이다. 1 is a diagram illustrating an augmented reality content playback system according to a preferred embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 증강 현실 컨텐츠 재생 시스템은, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공하는 정보제공서버(200)와, 정보제공서버(200)로부터 제공되는 상기 동작 별 제어기능정보를 저장하고, 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작이 인지되면 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치(100)를 포함한다.As shown in FIG. 1, the augmented reality content reproduction system according to the present invention includes an information providing server 200 providing control function information for each operation including a content control function corresponding to at least one operation information, and information. Save the control function information for each operation provided from the providing server 200, and analyzes the photographed image of the print book 10 located in the specific photographing zone (1) to implement a preset augmented reality corresponding to the analysis result Outputs augmented reality content applied to the captured image as the function is performed, and if a specific operation is recognized based on the captured image, a corresponding content control function corresponding to the operation information according to the specific operation based on the control function information for each operation It includes an augmented reality content playback device 100 to perform.

인쇄서적(10)은, 텍스트 및/또는 그림이 포함되는 적어도 하나의 페이지로 이루어진 오프라인 도서이다. 이러한 인쇄서적(10)은 페이지에 적어도 하나의 증강 현실용의 마커(marker; 10a)를 포함할 수 있다.The printed book 10 is an offline book consisting of at least one page containing text and / or pictures. Such a printed book 10 may include at least one marker 10a for augmented reality on a page.

여기서, 인쇄서적(10)은, 사용자에 의해 특정 페이지가 펼쳐진 채로 증강현실컨텐츠재생장치(100)에 의해 촬영되는 특정 촬영구역(1)에 놓이게 될 것이다. 그리고, 인쇄서적(10)은, 도 1에 도시된 바와 같이, 해당 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보 또는 해당 페이지가 무엇인지를 나타내는 페이지식별정보 또는 특정 가상 객체(예 : 3D의 그래픽 모델)을 특정 위치에 렌더링(rendering)하여 증강 표시하도록 하는 증강식별정보에 대응하는 마커(10a)를 갖는 페이지를 포함할 수 있다.Here, the print book 10 will be placed in the specific photographing zone 1 photographed by the AR content playback apparatus 100 with the specific page unfolded by the user. As shown in FIG. 1, the print book 10 may include book identification information indicating what the print book 10 is or page identification information indicating what the page is or a specific virtual object (eg, 3D). It may include a page having a marker (10a) corresponding to the augmentation identification information to render (rendered) to a specific position to augmented display.

물론, 증강현실컨텐츠재생장치(100)에서 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스를 제공한다면, 인쇄서적(10)은 별도의 마커(10a)를 페이지에 포함하지 않을 수도 있다.Of course, if the augmented reality content reproducing apparatus 100 provides a variety of marker free (marker-free) or marker-less (augmented reality) service based on the print book 10 is a separate marker (10a) on the page May not be included.

정보제공서버(200)는, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공한다.The information providing server 200 provides, to the augmented reality content playback device, control function information for each operation including a content control function corresponding to at least one operation information.

바람직하게는, 정보제공서버(200)는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 동작 별 제어기능정보를 관리하며, 증강현실컨텐츠재생장치(100)로부터의 요청에 따라 또는 특정 제공 이벤트 발생 시 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공할 수 있다.Preferably, the information providing server 200 manages control function information for each operation indicating a preset content control function in response to at least one preset operation information, and requests information from the augmented reality content playback device 100. According to this or when a specific provision event occurs, the control function information for each operation may be provided to the augmented reality content playback device 100.

예를 들면, 정보제공서버(200)는, 인쇄서적 별로 상이하게 제작/생성된 동작 별 제어기능정보를 관리할 수 있으며, 증강현실컨텐츠재생장치(100)로부터 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보가 제공되어 동작 별 제어기능정보가 요청되면, 해당 서적식별정보에 따른 인쇄서적(10)의 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공할 수도 있을 것이다.For example, the information providing server 200 may manage the control function information for each operation produced / generated differently for each print book, and the print book 10 may be read from the augmented reality content playback device 100. When the book identification information is provided and the control function information for each operation is requested, the augmented reality content playback apparatus 100 may provide control function information for each operation of the print book 10 according to the book identification information.

증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력한다.The augmented reality content reproducing apparatus 100 analyzes the photographed image of the print book 10 located in the specific photographing zone 1 and performs the preset augmented reality implementation function corresponding to the analysis result. Output the augmented reality content applied.

이에, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치한 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 분석하여, 분석 결과 마커가 존재하지 않으면 촬영된 실시간 촬영영상을 가상 객체 증강 없이 그대로 처리하여 출력하고, 분석 결과 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행하여 촬영된 실시간 촬영영상에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력함으로써, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 증강현실 서비스를 제공할 수 있다.Thus, the augmented reality content playback apparatus 100 analyzes the photographed image of the unfolded page of the printed book 10 located in the specific photographing zone 1, and if the marker is not present as a result of the analysis, the real-time photographed image is captured. Process the output as it is without augmenting the virtual object, and if there is a marker (eg 10a) as a result of analysis, shoot by performing a preset augmented reality implementation function (eg 3D graphic model rendering) corresponding to the corresponding marker (eg 10a). By augmenting and outputting a virtual object (eg, a 3D graphic model) to the real-time captured image, the augmented reality service may be provided based on the captured image of the print book 10.

한편, 전술에서는 인쇄서적(10)에 마커(10a)가 포함되어 마커 인식을 통해 증강현실컨텐츠재생장치(100)가 증강현실 서비스를 제공하고 있지만 이는 일 실시예 일 뿐이다.Meanwhile, in the above description, although the marker 10a is included in the printed book 10, the augmented reality content reproducing apparatus 100 provides augmented reality service through marker recognition, but this is only an example.

즉, 인쇄서적(10)에 마커(10a)가 포함되지 않더라도, 증강현실컨텐츠재생장치(100)에서는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 기 설정된 증강현실 서비스를 제공하는 것도 물론 가능할 것이다.That is, even if the marker 10a is not included in the printed book 10, the AR content reproducing apparatus 100 provides a preset AR service based on various marker free or markerless methods. Of course it would be possible.

이하에서는, 설명의 편의를 위해, 인쇄서적(10)에 마커(10a)가 포함되어 마커 인식을 통해 증강현실컨텐츠재생장치(100)가 증강현실 서비스를 제공하는 실시예로 설명하도록 하겠다.Hereinafter, for convenience of description, the marker 10a is included in the printed book 10 so that the augmented reality content reproducing apparatus 100 provides augmented reality service through marker recognition.

한편, 증강현실컨텐츠재생장치(100)는, 전술한 바와 같이 정보제공서버(200)로부터 제공되는 동작 별 제어기능정보를 저장할 수 있다.On the other hand, the augmented reality content playback device 100, as described above may store the control function information for each operation provided from the information providing server 200.

그리고, 증강현실컨텐츠재생장치(100)는, 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한 촬영영상을 기반으로 전술과 같이 증강현실 서비스를 제공함에 있어서, 촬영영상에 근거하여 특정 동작이 인지되면 저장된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행한다.The augmented reality content reproducing apparatus 100 provides augmented reality service as described above based on a photographed image of the print book 10 located in the photographing area 1, and based on the photographed image, a specific operation. If it is recognized, the corresponding content control function corresponding to the operation information according to the specific operation is performed based on the stored control function information for each operation.

예를 들면, 사용자가 촬영구역(1) 내로 손(20)과 같은 일상적인 도구를 접근시켜 인쇄서적(10) 상에서 사용자 손(20)의 이동을 통해 특정 동작이 발생되면, 증강현실컨텐츠재생장치(100)는 해당 특정 동작을 인지하고 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행할 수 있다. For example, when a user moves a daily tool such as the hand 20 into the photographing zone 1 and moves a user's hand 20 on the print book 10, a specific motion is generated. The 100 may recognize the specific operation and perform a corresponding content control function corresponding to the operation information according to the specific operation.

이하에서는, 도 2를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치(100)를 보다 구체적으로 설명하도록 한다.Hereinafter, the augmented reality content reproducing apparatus 100 according to the present invention will be described in more detail with reference to FIG. 2.

본 발명에 따른 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영하는 촬영부(110)와, 촬영부(110)를 통해 촬영된 촬영영상을 분석하는 영상분석부(130)와, 상기 촬영영상에 근거하여 특정 동작을 인지하는 동작인지부(140)와, 영상분석부(130)를 통한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 동작인지부(140)를 통해 상기 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 장치제어부(150)를 포함한다.The augmented reality content playback apparatus 100 according to the present invention, the photographing unit 110 for photographing the print book 10 located in the specific photographing zone (1), and the photographed image photographed through the photographing unit 110 On the basis of the analysis result through the image analysis unit 130 to analyze, the motion recognition unit 140 to recognize a specific operation based on the photographed image, and the image analysis unit 130, Outputs augmented reality content applied to the photographed image according to the execution of the set augmented reality implementation function, and when the specific motion is recognized through the motion recognition unit 140, the control unit may perform the control according to the specific motion based on the control function information for each motion. It includes a device control unit 150 for performing a content control function corresponding to the operation information.

촬영부(110)는, 지정된 특정 촬영구역(1)을 촬영하여 해당 촬영구역(1)에 위치한 인쇄서적(10)의 페이지를 촬영한 촬영영상을 영상분석부(130) 및/또는 동작인지부(140) 및/또는 장치제어부(150)로 제공한다. 이러한 촬영부(110)는, 카메라 및 캠(Cam) 및 스캐너 등과 같이 영상을 촬영/인식하여 촬영영상을 제공할 수 있는 형태의 기능장치이면 가능할 것이다.The photographing unit 110 captures a specified specific photographing zone 1 and captures a photographed image of a page of the print book 10 located in the photographing zone 1 by the image analyzer 130 and / or the motion recognition unit. 140 to the device control unit 150 and / or. The photographing unit 110 may be a functional device having a form capable of providing a photographed image by capturing / recognizing an image such as a camera, a cam, and a scanner.

영상분석부(130)는, 촬영부(110)를 통해 촬영된 촬영영상을 분석한다. The image analyzer 130 analyzes the photographed image photographed by the photographing unit 110.

예를 들면 영상분석부(130)는, 촬영부(110)를 통해 촬영된 촬영영상을 분석하여 촬영영상 내의 마커를 인지한 인지 결과 즉, 촬영영상 내에 마커가 존재하는지 여부 및 존재하는 경우 어떤 마커가 존재하는지에 대응하는 분석 결과를 장치제어부(150)로 제공한다.For example, the image analyzer 130 analyzes the photographed image photographed by the photographing unit 110 and recognizes a marker in the photographed image, that is, whether there is a marker in the photographed image and if so, which marker is present. The analysis result corresponding to whether there exists is provided to the device controller 150.

장치제어부(150)는, 영상분석부(130)로부터 제공되는 분석 결과에 근거하여, 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 촬영영상에 적용한 증강현실 컨텐츠를 출력부(120)를 통해 출력한다. 여기서, 출력부(120)는 디스플레이부 및 스피커 중 적어도 어느 하나를 포함할 수 있다.The device controller 150 outputs the augmented reality content applied to the captured image according to the execution of a preset augmented reality implementation function corresponding to the analysis result, based on the analysis result provided from the image analyzer 130. Output through Here, the output unit 120 may include at least one of a display unit and a speaker.

예를 들면, 장치제어부(150)는, 영상분석부(130)로부터 제공되는 분석 결과에 근거하여, 촬영영상 내에 마커가 존재하지 않으면 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 가상 객체 증강 없이 그대로 처리하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상의 컨텐츠가 증강현실 컨텐츠에 대응된다.For example, the device controller 150 captures the unfolded page of the real-time photographed image, that is, the printed book 10, if the marker is not present in the photographed image based on the analysis result provided from the image analyzer 130. One photographed image may be processed as it is without virtual object augmentation and output through the output unit 120. In this case, the content of the captured image photographing the unfolded page of the print book 10 corresponds to the augmented reality content.

또한, 장치제어부(150)는, 영상분석부(130)로부터 제공되는 분석 결과에 근거하여, 촬영영상 내에 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행함으로써, 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 컨텐츠가 증강현실 컨텐츠에 대응된다.In addition, the device controller 150 may, based on the analysis result provided from the image analyzer 130, if a marker (eg, 10a) is present in the captured image, the augmented reality preset according to the corresponding marker (eg, 10a). By performing an implementation function (eg, rendering a 3D graphic model), a virtual object (eg, a 3D graphic model) is augmented on the unfolded page of the captured real-time photographed image, that is, the print book 10, through the output unit 120. You can print In this case, the content of rendering a virtual object (eg, a 3D graphic model) on the open page of the print book 10 corresponds to the augmented reality content.

이처럼, 장치제어부(150)는, 인쇄서적(10)을 촬영한 촬영영상의 마커를 기반으로 일반적인 증강현실 서비스를 제공할 수 있다.As such, the device controller 150 may provide a general augmented reality service based on a marker of a photographed image photographing the print book 10.

한편, 전술에서는 인쇄서적(10)에 마커(10a)가 포함되어 마커 인식을 통해 장치제어부(150)가 증강현실 서비스를 제공하고 있지만 이는 일 실시예일 뿐이다.Meanwhile, in the above description, although the marker 10a is included in the printed book 10, the apparatus controller 150 provides augmented reality service through marker recognition, but this is only an example.

즉, 장치제어부(150)는, 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스 제공 기능을 구비하고, 인쇄서적(10)에 마커(10a)가 포함되지 않는 경우에도 해당하는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스를 제공할 수 있을 것이다.That is, the device controller 150 has various marker free or marker-less augmented reality service providing functions, and the marker 10a is not included in the printed book 10. Also, various marker free or marker-less augmented reality services may be provided.

동작인지부(140)는, 촬영부(110)를 통해 촬영된 촬영영상에 근거하여 특정 동작을 인지한다. 즉 동작인지부(140)는, 촬영부(110)를 통해 촬영된 촬영영상을 분석하여 촬영영상 내에서 기 정의된 특정 동작이 발생하는지 여부를 인지한 인지 결과를 장치제어부(150)로 제공한다.The motion recognition unit 140 recognizes a specific motion based on the captured image photographed by the photographing unit 110. That is, the motion recognition unit 140 analyzes the photographed image photographed by the photographing unit 110 and provides a result of recognizing whether or not a predetermined specific motion occurs in the photographed image to the device controller 150. .

예를 들면, 동작인지부(140)는, 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 인식된 손 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수 있다.For example, the gesture recognition unit 140 may recognize a predetermined hand image based on the captured image and recognize a specific motion generated according to the movement of the recognized hand image.

즉, 사용자가 촬영구역(1) 내로 손(20)을 접근시켜 인쇄서적(10) 상에 손(20)을 위치시키면, 동작인지부(140)는 기 정의된 손 이미지를 토대로 촬영영상에 손(20)이 접근/존재함을 인식할 수 있다. That is, when the user approaches the hand 20 into the photographing zone 1 and places the hand 20 on the print book 10, the motion recognition unit 140 performs a hand on the captured image based on the predefined hand image. 20 may recognize that there is access / existence.

이처럼, 인쇄서적(10) 상에 손(20)이 위치함에 따라 손 이미지가 인식되면, 동작인지부(140)는, 손 이미지가 이동하는 이동 경로를 감시하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있다. 즉, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라, 동작인지부(140)는 이에 대응하여 손 이미지의 이동 경로를 인지하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있을 것이다.As such, when the hand image is recognized as the hand 20 is positioned on the print book 10, the motion recognition unit 140 monitors a movement path through which the hand image moves, and thus a specific motion generated by the hand image movement. It can be recognized. That is, as the user moves the hand 20 located on the print book 10, the motion recognition unit 140 recognizes a movement path of the hand image in response to the specific motion generated by moving the hand image. You will notice.

이때, 동작인지부(140)가 사용자의 손(20)을 쉽게 인식할 수 있도록 손(20)의 특정 손가락(예 : 집게손가락)에 사용자인터페이스를 착용하는 것이 가능하며, 이때 사용자인터페이스는 밴드 형태로 구현되어 마커로서의 기능을 가질 수 있다.In this case, the motion recognition unit 140 may wear the user interface on a specific finger (for example, forefinger) of the hand 20 so that the user's hand 20 can be easily recognized, and the user interface is in the form of a band. It can be implemented to have a function as a marker.

한편, 전술에서는 동작인지부(140)가 손 이미지를 인식하는 것을 설명하고 있으나 이는 일 실시예일 뿐이며, 동작인지부(140)는, 촬영영상에 근거하여 기 정의된 도구 이미지(예 : 포인터펜)를 인식하여 인식된 도구 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수도 있을 것이다.Meanwhile, in the above description, the gesture recognition unit 140 recognizes a hand image, but this is only an example, and the gesture recognition unit 140 may include a predefined tool image (eg, a pointer pen) based on a captured image. It may be able to recognize the specific motion generated by the movement of the recognized tool image by recognizing the.

이상에서 동작인지부(140)가 촬영영상에 근거하여 특정 이미지(예 : 손 이미지, 도구 이미지)를 인식하여 특정 동작을 인지하는 구성은, 일반적으로 사용되고 있는 이미지 인식방식들 중 어느 하나를 채택할 수 있으므로 구체적인 설명을 생략하도록 하겠다.In the above configuration, the motion recognition unit 140 recognizes a specific motion by recognizing a specific image (eg, a hand image, a tool image) based on the captured image, and adopts any one of image recognition methods that are generally used. The detailed description will be omitted.

장치제어부(150)는, 동작인지부(140)를 통해 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 금번 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행한다.If the specific operation is recognized through the operation recognition unit 140, the device controller 150 performs a content control function corresponding to the operation information according to the specific operation based on the predefined control function information for each operation.

보다 구체적으로 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보가 저장되는 정보저장부(160)를 더 포함할 수 있다.More specifically, the augmented reality content playback device 100 according to the present invention, the information storage unit for storing the control function information for each operation indicating a predetermined content control function corresponding to the at least one preset operation information ( 160) may be further included.

이때, 정보저장부(160)에 저장되는 동작 별 제어기능정보는, 외부의 정보제공서버(200)로부터 제공/저장되는 것이 가능할 것이다.In this case, the control function information for each operation stored in the information storage unit 160 may be provided / stored from the external information providing server 200.

여기서, 동작 별 제어기능정보는, 제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함하는 것이 바람직하다.Here, the control function information for each operation rotates the augmented reality content or the virtual object rendered on the photographed image in the augmented reality content in a preset rotational direction according to a preset rotation speed in response to the first motion information. A content rotation control function for moving the contents of the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content according to the movement path according to the specific motion in response to the second motion information; A content reduction control function for reducing a content of the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content at a predetermined reduction rate at a predetermined frame rate in response to the third motion information; The photographing in the augmented reality content or the augmented reality content in response to information To include at least one of a content-up control function of zoom magnification set to the group, with a virtual object rendered in the image group for each set the frame rate is desirable.

이에, 장치제어부(150)는, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 동작인지부(140)를 통해 손(20)의 이동에 의한 특정 동작이 인지되면, 기 저장된 동작 별 제어기능정보에서 금번 인지된 특정 동작에 대응하여 컨텐츠 제어기능을 검색한다. Thus, the device controller 150, when the user moves the hand 20 located on the print book 10, when a specific motion by the movement of the hand 20 is recognized through the motion recognition unit 140, The content control function is searched for in response to the specific operation recognized in the previously stored control function information for each operation.

예를 들어, 금번 인지된 특정 동작이 제1동작정보(예 : 한 손으로 원을 그림)으로 에 해당되어 이에 대응하여 컨텐츠 회전제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향(예 : 왼쪽)으로 기 설정된 회전각(예 : 180) 만큼 회전시키는 컨텐츠 회전제어기능을 수행하여 이에 따른 회전과정을 출력부(120)를 통해 출력할 수 있다.For example, when the specific motion recognized this time corresponds to the first motion information (eg, drawing a circle with one hand) and the content rotation control function is detected correspondingly, the device controller 150 may present According to the augmented reality content provided by the augmented reality service or the virtual object rendered in the image taken in the augmented reality content according to a preset rotational speed in a predetermined rotational direction (eg, left) by a preset rotation angle (eg, 180) By performing a content rotation control function to rotate the rotation process can be output through the output unit 120.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 왼쪽으로 180도 회전시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 왼쪽으로 180도 회전시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (e.g., an unfolded page of the print book 10) on which an object (e.g., a 3D graphic model) is augmented is being displayed, the device controller 150 may determine the augmented reality content (photographed image + virtual object). The entire screen may be rotated 180 degrees to the left or the virtual screen may be rotated 180 degrees to the left on the screen of the augmented reality content (photographed image + virtual object).

한편, 금번 인지된 특정 동작이 제2동작정보(예 : 한 손으로 선을 그림)에 해당되어 이에 대응하여 컨텐츠 이동제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 금번 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능을 수행하여 이에 따른 이동과정을 출력부(120)를 통해 출력할 수 있다.In the meantime, when the specific motion recognized this time corresponds to the second motion information (eg, drawing a line with one hand) and the content movement control function is searched correspondingly, the device controller 150 currently provides The output unit 120 performs a content movement control function for moving the virtual object rendered in the augmented reality content or the augmented reality content according to the augmented reality service according to the movement path according to a specific operation. Can be output via

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 특정 좌표(예 : 중앙 좌표)를 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (e.g., an unfolded page of the print book 10) on which an object (e.g., a 3D graphic model) is augmented is being displayed, the device controller 150 may determine the augmented reality content (photographed image + virtual object). Move the specific coordinates (eg, the center coordinates) according to the movement path of the specific movement that is recognized this time, or display only the virtual objects on the movement path of the specific movement that has been recognized this time on the screen of the augmented reality content (photographed image + virtual object). It can be moved and displayed accordingly.

한편, 금번 인지된 특정 동작이 제3동작정보(예 : 양 손으로 마주하는 중앙 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 축소제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능을 수행하여 이에 따른 축소과정을 출력부(120)를 통해 출력할 수 있다.Meanwhile, a case in which the specific motion recognized this time corresponds to the third motion information (for example, drawing a line toward the center direction facing each other) and the content reduction control function is searched correspondingly, will be described. Performs a content reduction control function to reduce the virtual object rendered in the augmented reality content or the captured image in the augmented reality content according to the currently provided augmented reality service at a predetermined reduction rate for each preset frame rate. Accordingly, the reduction process may be output through the output unit 120.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (e.g., an unfolded page of the print book 10) on which an object (e.g., a 3D graphic model) is augmented is being displayed, the device controller 150 may determine the augmented reality content (photographed image + virtual object). Reduces the entire screen to a preset reduction rate for each preset frame rate and displays it by reducing it to a preset minimum reduction rate, or reduces only the virtual objects on a screen of augmented reality content (shooting video + virtual object) for each preset frame rate. It can be reduced and displayed up to the preset minimum reduction ratio.

한편, 금번 인지된 특정 동작이 제4동작정보(예 : 양 손으로 반대하는 바깥 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 확대제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 확대 비율로 축소시키는 컨텐츠 확대제어기능을 수행하여 이에 따른 확대과정을 출력부(120)를 통해 출력할 수 있다.Meanwhile, a case in which the specific motion recognized this time corresponds to the fourth motion information (for example, drawing a line toward the outward direction with both hands) and the content magnification control function is detected correspondingly will be described. Performs a content expansion control function to reduce a virtual object rendered in the augmented reality content or the captured image in the augmented reality content according to the currently provided augmented reality service at a preset magnification ratio for each preset frame rate. Accordingly, the enlargement process may be output through the output unit 120.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (e.g., an unfolded page of the print book 10) on which an object (e.g., a 3D graphic model) is augmented is being displayed, the device controller 150 may determine the augmented reality content (photographed image + virtual object). The entire screen is enlarged at the preset magnification rate for each preset frame rate, and the displayed screen is enlarged up to the preset maximum magnification rate, or the magnification rate is set for each preset frame rate only on the virtual object on the screen of the augmented reality content (shooting image + virtual object). It can be enlarged and displayed up to the preset maximum magnification ratio.

이처럼 장치제어부(150)는, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 동작인지부(140)를 통해 손(20)의 이동에 의한 특정 동작이 인지되면, 금번 인지된 특정 동작에 대응하는 해당 컨텐츠 제어기능을 수행할 수 있다.As such, when the user moves the hand 20 located on the print book 10, the device controller 150 recognizes a specific motion by the movement of the hand 20 through the motion recognition unit 140. The content control function corresponding to the recognized specific operation may be performed.

더 나아가, 장치제어부(150)는, 정보저장부(160)에 저장된 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 기 저장된 동작 별 제어기능정보를 변경/저장하는 것이 가능하다.Furthermore, the device controller 150 provides a function setting information adjusting function for adjusting setting information of control function information for each operation stored in the information storing unit 160, and adjusts the user through the function setting information adjusting function. Correspondingly, it is possible to change / store the control function information for each pre-stored operation.

즉, 장치제어부(150)는, 사용자로부터 기능설정정보 조정기능 실행이 입력되면 동작 별 제어기능정보에 대한 설정정보를 조정할 수 있는 기능설정정보 조정메뉴를 표시함으로써 기능설정정보 조정기능을 제공할 수 있다.That is, when the execution of the function setting information adjustment function is input from the user, the device controller 150 may provide the function setting information adjustment function by displaying the function setting information adjustment menu for adjusting the setting information of the control function information for each operation. have.

이에, 사용자는 기능설정정보 조정메뉴를 조작하여, 각 동작정보(예 : 제1/2/3/4동작정보) 별로 원하는 컨텐츠 제어기능을 매칭/조정할 수 있고, 각 컨텐츠 제어기능(예 : 컨텐츠 회전/이동/축소/확대기능) 별로 설정 파라미터(예 : 회전속도, 회전방향, 최종회전각, 프레임레이트, 축소비율, 최소축소비율, 확대비율, 최대확대비율, 적용대상(예 : 증강현실 컨텐츠 전체 또는 가상 객체) 등)을 설정/조정할 수 있다.Accordingly, the user can operate the function setting information adjustment menu to match / adjust the desired content control function for each operation information (eg, 1/2/3/4 operation information), and each content control function (eg, content). Setting parameters for each rotation / movement / reduction / enlargement function (e.g. rotation speed, rotation direction, final rotation angle, frame rate, reduction ratio, minimum reduction ratio, enlargement ratio, maximum contrast ratio, application target (e.g. all augmented reality contents) Or virtual objects), etc.).

이상에서 설명한 바와 같이, 본 발명에 따른 증강 현실 컨텐츠 재생 시스템은, 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.As described above, the augmented reality content playback system according to the present invention, in the augmented reality service that provides augmented reality content based on the photographed image of the printed book located in the shooting zone, the user in the shooting zone When a specific action is generated through the movement of a daily tool such as the above, the user can provide various user interactions without moving the actual print book and improve the realism by executing the content control function according to the corresponding action.

이하에서는 도 3 및 도 4를 참조하여, 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 방법을 설명하도록 한다. 여기서, 설명의 편의를 위해 전술한 도 1 내지 도 2에 도시된 구성은 해당 참조번호를 언급하여 설명하겠다. Hereinafter, a method of playing augmented reality content according to a preferred embodiment of the present invention will be described with reference to FIGS. 3 and 4. Here, for the convenience of description, the configuration shown in FIGS. 1 to 2 described above will be described with reference to the corresponding reference numerals.

먼저, 도 3을 참조하여 본 발명의 증강 현실 컨텐츠 재생 방법을 설명하면 다음과 같다. First, the augmented reality content reproduction method of the present invention with reference to FIG.

정보제공서버(200)는 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공한다(S10).The information providing server 200 provides control function information for each operation including a content control function corresponding to the at least one operation information (S10).

바람직하게는, 정보제공서버(200)는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 동작 별 제어기능정보를 관리하며, 증강현실컨텐츠재생장치(100)로부터의 요청에 따라 또는 특정 제공 이벤트 발생 시 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공할 수 있다.Preferably, the information providing server 200 manages control function information for each operation indicating a preset content control function in response to at least one preset operation information, and requests information from the augmented reality content playback device 100. According to this or when a specific provision event occurs, the control function information for each operation may be provided to the augmented reality content playback device 100.

예를 들면, 정보제공서버(200)는, 인쇄서적 별로 상이하게 제작/생성된 나타내는 동작 별 제어기능정보를 관리할 수 있으며, 증강현실컨텐츠재생장치(100)로부터 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보가 제공되어 동작 별 제어기능정보가 요청되면, 해당 서적식별정보에 따른 인쇄서적(10)의 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공할 수도 있을 것이다.For example, the information providing server 200 may manage the control function information for each action, which is produced / generated differently for each print book, and what the print book 10 is from the augmented reality content playback device 100. When the book identification information is provided to provide the control function information for each operation, the control function information for each operation of the print book 10 according to the book identification information may be provided to the AR content reproducing apparatus 100.

이에, 증강현실컨텐츠재생장치(100)는, 전술한 바와 같이 정보제공서버(200)로부터 제공되는 동작 별 제어기능정보를 저장할 수 있다(S20).Thus, the augmented reality content playback apparatus 100 may store the control function information for each operation provided from the information providing server 200 as described above (S20).

증강현실컨텐츠재생장치(100)는 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영한다(S30). The augmented reality content reproducing apparatus 100 photographs the print book 10 located in the specific photographing zone 1 (S30).

여기서, 인쇄서적(10)은, 사용자에 의해 특정 페이지가 펼쳐진 채로 증강현실컨텐츠재생장치(100)에 의해 촬영되는 특정 촬영구역(1)에 놓이게 될 것이다. 이에, 증강현실컨텐츠재생장치(100)는 특정 촬영구역(1)에 위치하는 인쇄서적(10)의 펼쳐진 페이지를 촬영하게 된다.Here, the print book 10 will be placed in the specific photographing zone 1 photographed by the AR content playback apparatus 100 with the specific page unfolded by the user. Accordingly, the augmented reality content reproducing apparatus 100 photographs the unfolded pages of the print book 10 located in the specific photographing zone 1.

그리고, 증강현실컨텐츠재생장치(100)는 촬영된 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력한다(S40).The augmented reality content playback apparatus 100 analyzes the photographed photographed image and outputs augmented reality content applied to the photographed image according to the execution of a preset augmented reality implementation function corresponding to the analysis result (S40).

이에, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치한 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 분석하여, 분석 결과 마커가 존재하지 않으면 촬영된 실시간 촬영영상을 증강 없이 그대로 처리하여 출력하고, 분석 결과 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행하여 촬영된 실시간 촬영영상에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력함으로써, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 증강현실 서비스를 제공할 수 있다.Thus, the augmented reality content playback apparatus 100 analyzes the photographed image of the unfolded page of the printed book 10 located in the specific photographing zone 1, and if the marker is not present as a result of the analysis, the real-time photographed image is captured. Process the output as it is without augmentation, and if a marker (eg 10a) exists as a result of analysis, a real-time shot by performing a preset augmented reality implementation function (eg rendering a 3D graphic model) corresponding to the corresponding marker (eg 10a) By augmenting and outputting a virtual object (eg, a 3D graphic model) on the photographed image, an augmented reality service may be provided based on the photographed image photographing the print book 10.

그리고, 증강현실컨텐츠재생장치(100)는, 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한 촬영영상을 기반으로 전술과 같이 증강현실 서비스를 제공함에 있어서, 촬영영상에 근거하여 특정 동작이 인지되면(S50) 저장된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행한다(S60).The augmented reality content reproducing apparatus 100 provides augmented reality service as described above based on a photographed image of the print book 10 located in the photographing area 1, and based on the photographed image, a specific operation. If it is recognized (S50) based on the stored control function information for each operation performs a corresponding content control function corresponding to the operation information according to the specific operation (S60).

예를 들면, 사용자가 촬영구역(1) 내로 손(20)과 같은 일상적인 도구를 접근시켜 인쇄서적(10) 상에서 사용자 손(20)의 이동을 통해 특정 동작이 발생되면, 증강현실컨텐츠재생장치(100)는 해당 특정 동작을 인지하고 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행할 수 있다.For example, when a user moves a daily tool such as the hand 20 into the photographing zone 1 and moves a user's hand 20 on the print book 10, a specific motion is generated. The 100 may recognize the specific operation and perform a corresponding content control function corresponding to the operation information according to the specific operation.

이하에서는 도 4를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치의 동작 방법을 구체적으로 설명하도록 한다.Hereinafter, an operation method of the apparatus for reproducing augmented reality content according to the present invention will be described in detail with reference to FIG. 4.

본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 동작 별 제어기능정보를 저장한다(S100). 이때, 저장되는 동작 별 제어기능정보는, 외부의 정보제공서버(200)로부터 제공/저장되는 것이 가능할 것이다.The operation method of the augmented reality content playback device 100 according to the present invention stores the control function information for each operation (S100). In this case, the control function information for each operation to be stored may be provided / stored from an external information providing server 200.

여기서, 동작 별 제어기능정보는, 제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함하는 것이 바람직하다.Here, the control function information for each operation rotates the augmented reality content or the virtual object rendered on the photographed image in the augmented reality content in a preset rotational direction according to a preset rotation speed in response to the first motion information. A content rotation control function for moving the contents of the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content according to the movement path according to the specific motion in response to the second motion information; A content reduction control function for reducing a content of the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content at a predetermined reduction rate at a predetermined frame rate in response to the third motion information; The photographing in the augmented reality content or the augmented reality content in response to information To include at least one of a content-up control function of zoom magnification set to the group, with a virtual object rendered in the image group for each set the frame rate is desirable.

이러한 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 지정된 특정 촬영구역(1)을 촬영하여 해당 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한다(S110). 즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 특정 촬영구역(1)에 위치하는 인쇄서적(10)의 펼쳐진 페이지를 촬영할 수 있다.The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention photographs the designated specific photographing region 1 and photographs the print book 10 located in the photographing region 1 (S110). That is, in the method of operating the augmented reality content reproducing apparatus 100 according to the present invention, the unfolded pages of the print book 10 located in the specific photographing zone 1 may be photographed.

그리고 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라(S120) 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력한다(S130).The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention is based on an analysis result of analyzing the photographed photographed image, and according to performing a preset augmented reality implementation function corresponding to the analysis result (S120). The augmented reality content applied to the captured image is output (S130).

즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상을 분석한 분석 결과에 근거하여, 촬영영상 내에 마커가 존재하지 않으면 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 가상 객체 증강 없이 그대로 처리하여 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상의 컨텐츠가 증강현실 컨텐츠에 대응된다.That is, the operating method of the apparatus for reproducing augmented reality content 100 according to the present invention is based on the analysis result of analyzing the photographed image, and if there is no marker in the photographed image, the photographed real-time photographed image, that is, the printed book 10. The captured image of the unfolded page can be processed and output as it is without virtual object enhancement. In this case, the content of the captured image photographing the unfolded page of the print book 10 corresponds to the augmented reality content.

또한, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상을 분석한 분석 결과에 근거하여, 촬영영상 내에 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행함으로써, 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 컨텐츠가 증강현실 컨텐츠에 대응된다.In addition, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention is based on the analysis result of analyzing the photographed image, and if a marker (for example, 10a) exists in the photographed image, the marker (for example, 10a) exists. Correspondingly, by performing a preset augmented reality implementation function (eg, rendering a 3D graphic model), augmented and outputting a virtual object (eg, 3D graphic model) on the captured real-time photographed image, that is, the open page of the print book 10. can do. In this case, the content of rendering a virtual object (eg, a 3D graphic model) on the open page of the print book 10 corresponds to the augmented reality content.

이처럼, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 일반적인 증강현실 서비스를 제공할 수 있다.As described above, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may provide a general augmented reality service based on a photographed image of the print book 10.

이러한 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영된 촬영영상에 근거하여 특정 동작이 인지되는지 여부를 판단한다(S140).The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention determines whether a specific operation is recognized based on the captured image (S140).

즉 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영된 촬영영상을 분석하여 촬영영상 내에서 기 정의된 특정 동작이 발생하는지 여부를 인지할 수 있다. That is, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may analyze whether the captured image is captured and recognize whether a predetermined specific operation occurs in the image.

예를 들면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 인식된 손 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수 있다.For example, the operation method of the augmented reality content playback device 100 according to the present invention, by recognizing a predefined hand image on the basis of the photographed image can recognize a specific operation generated by the movement of the recognized hand image. have.

즉, 사용자가 촬영구역(1) 내로 손(20)을 접근시켜 인쇄서적(10) 상에 손(20)을 위치시키면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 정의된 손 이미지를 토대로 촬영영상에 손(20)이 접근/존재함을 인식할 수 있다. That is, when the user approaches the hand 20 into the photographing zone 1 and places the hand 20 on the print book 10, the method of operating the augmented reality content reproducing apparatus 100 according to the present invention may be described in detail. Based on the defined hand image, it is possible to recognize that the hand 20 approaches / exists in the captured image.

이처럼, 인쇄서적(10) 상에 손(20)이 위치함에 따라 손 이미지가 인식되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 손 이미지가 이동하는 이동 경로를 감시하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있다. 즉, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 이에 대응하여 손 이미지의 이동 경로를 인지하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있을 것이다.As such, when the hand image is recognized as the hand 20 is positioned on the print book 10, the operation method of the augmented reality content reproducing apparatus 100 according to the present invention monitors a movement path through which the hand image moves. It is possible to recognize a specific motion occurring as the hand image moves. That is, as the user moves the hand 20 located on the print book 10, the operation method of the augmented reality content playback device 100 according to the present invention, corresponding to the movement path of the hand image You will be able to recognize certain actions that occur as the hand image moves.

이때, 사용자의 손(20)을 쉽게 인식할 수 있도록 손(20)의 특정 손가락(예 : 집게손가락)에 사용자인터페이스를 착용하는 것이 가능하며, 이때 사용자인터페이스는 밴드 형태로 구현되어 마커로서의 기능을 가질 수 있다.In this case, the user interface can be worn on a specific finger (for example, forefinger) of the hand 20 so that the user's hand 20 can be easily recognized. In this case, the user interface is implemented in a band form to function as a marker. Can have

한편, 전술에서는 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법에서 손 이미지를 인식하는 것을 설명하고 있으나 이는 일 실시예일 뿐이며, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상에 근거하여 기 정의된 도구 이미지(예 : 포인터펜)를 인식하여 인식된 도구 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수도 있을 것이다.Meanwhile, in the above description, the hand image is recognized in the method of operating the augmented reality content reproducing apparatus 100 according to the present invention. However, this is only an example and the method of operating the augmented reality content reproducing apparatus 100 according to the present invention. The electronic device may recognize a specific operation generated according to the movement of the recognized tool image by recognizing a predefined tool image (eg, a pointer pen) based on the captured image.

이상에서 촬영영상에 근거하여 특정 이미지(예 : 손 이미지, 도구 이미지)를 인식하여 특정 동작을 인지하는 구성은, 일반적으로 사용되고 있는 이미지 인식방식들 중 어느 하나를 채택할 수 있으므로 구체적인 설명을 생략하도록 하겠다.The configuration of recognizing a specific operation by recognizing a specific image (eg, a hand image, a tool image) based on the captured image may adopt any one of image recognition methods that are generally used, so that detailed description thereof will be omitted. would.

그리고, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, S140단계를 통해 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 금번 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행한다(S150).In addition, in the method of operating the augmented reality content playback apparatus 100 according to the present invention, if a specific motion is recognized through step S140, the content corresponding to the motion information according to the specific motion based on the predefined control function information for each motion. Perform the control function (S150).

보다 구체적으로 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 S140단계를 통해 손(20)의 이동에 의한 특정 동작이 인지되면, 기 저장된 동작 별 제어기능정보에서 금번 인지된 특정 동작에 대응하여 컨텐츠 제어기능을 검색한다. More specifically, the operation method of the augmented reality content playback device 100 according to the present invention, the hand 20 through the step S140 as the user moves the hand 20 located on the print book 10 When a specific operation by the movement of the is detected, the content control function is searched for in response to the specific operation recognized in the previously stored control function information for each operation.

예를 들어, 금번 인지된 특정 동작이 제1동작정보(예 : 한 손으로 원을 그림)으로 에 해당되어 이에 대응하여 컨텐츠 회전제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향(예 : 왼쪽)으로 기 설정된 회전각(예 : 180) 만큼 회전시키는 컨텐츠 회전제어기능을 수행하여 이에 따른 회전과정을 출력부(120)를 통해 출력할 수 있다.For example, a case in which the specific motion recognized this time corresponds to the first motion information (eg, drawing a circle with one hand) and the content rotation control function is searched correspondingly will be described. The augmented reality content playback according to the present invention will be described. The operation method of the device 100 may include augmented reality content or virtual object rendered in a captured image in an augmented reality content according to a currently provided augmented reality service in a preset rotational direction (eg, left) according to a preset rotational speed. The content rotation control function may be performed to rotate by a preset rotation angle (eg, 180) to output the rotation process according to the output unit 120.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 왼쪽으로 180도 회전시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 왼쪽으로 180도 회전시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (eg, an unfolded page of the printed book 10) on which an object (eg, a 3D graphic model) is augmented is being displayed, the operation method of the augmented reality content playback apparatus 100 according to the present invention may be described as follows. The entire screen of the augmented reality content (photographed image + virtual object) may be rotated 180 degrees to the left, or only the virtual object may be displayed rotated 180 degrees to the left on the screen of the augmented reality content (photographed image + virtual objects). .

한편, 금번 인지된 특정 동작이 제2동작정보(예 : 한 손으로 선을 그림)에 해당되어 이에 대응하여 컨텐츠 이동제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 금번 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능을 수행하여 이에 따른 이동과정을 출력부(120)를 통해 출력할 수 있다.Meanwhile, a case in which the specific motion recognized this time corresponds to the second motion information (for example, drawing a line with one hand) and the content movement control function is searched in response thereto, will be described in the augmented reality content playback apparatus 100 according to the present invention. The operation method of the) performs a content movement control function of moving a virtual object rendered in the augmented reality content or the captured image in the augmented reality content according to the current movement path according to the movement path according to a specific operation. According to the movement process can be output through the output unit 120.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 특정 좌표(예 : 중앙 좌표)를 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (eg, an unfolded page of the printed book 10) on which an object (eg, a 3D graphic model) is augmented is being displayed, the operation method of the augmented reality content playback apparatus 100 according to the present invention may be described as follows. Move the specific coordinates (e.g., center coordinates) of the augmented reality content (image center + virtual object) according to the movement path of the specific motion recognized this time, or display the virtual image on the screen of the augmented reality content (image + virtual object) Only objects may be displayed by moving them according to a movement path of a specific motion recognized this time.

한편, 금번 인지된 특정 동작이 제3동작정보(예 : 양 손으로 마주하는 중앙 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 축소제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능을 수행하여 이에 따른 축소과정을 출력부(120)를 통해 출력할 수 있다.Meanwhile, a case in which the specific motion recognized this time corresponds to the third motion information (for example, drawing a line toward the center direction facing both hands) and the content reduction control function is searched correspondingly will be described. The operation method of the real content playback device 100, a preset reduction ratio of augmented reality content according to the augmented reality service currently provided or a virtual object rendered in the captured image in the augmented reality content for each predetermined frame rate (frame rate) By performing a content reduction control function to reduce the size of the control unit may output the reduction process according to the output unit 120.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (eg, an unfolded page of the printed book 10) on which an object (eg, a 3D graphic model) is augmented is being displayed, the operation method of the augmented reality content playback apparatus 100 according to the present invention may be described as follows. The entire screen of the augmented reality content (shooting image + virtual object) is reduced to the set reduction ratio for each preset frame rate to be reduced to the preset minimum reduction ratio, or on the screen of the augmented reality content (shooting image + virtual object). Only the virtual objects may be reduced to a predetermined reduction ratio for each preset frame rate and displayed down to a predetermined minimum reduction ratio.

한편, 금번 인지된 특정 동작이 제4동작정보(예 : 양 손으로 반대하는 바깥 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 확대제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 확대 비율로 축소시키는 컨텐츠 확대제어기능을 수행하여 이에 따른 확대과정을 출력부(120)를 통해 출력할 수 있다.Meanwhile, the case in which the specific motion recognized this time corresponds to the fourth motion information (for example, drawing a line toward the outward direction with both hands) and the content magnification control function is searched correspondingly, will be described. The operating method of the reality content playback apparatus 100 may include a preset enlargement ratio of augmented reality content or a virtual object rendered in a captured image in an augmented reality content according to a currently provided augmented reality service at a predetermined frame rate. By performing a content enlargement control function to reduce the size of the image, the enlargement process may be output through the output unit 120.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시할 수 있다.That is, augmented reality content that renders a virtual object (eg, a 3D graphic model) on a photographed image (eg, an open page of the print book 10) according to the current augmented reality service is output through the output unit 120 to be virtual. If a photographed image (eg, an unfolded page of the printed book 10) on which an object (eg, a 3D graphic model) is augmented is being displayed, the operation method of the augmented reality content playback apparatus 100 according to the present invention may be described as follows. Enlarges the entire screen of the augmented reality content (shooting image + virtual object) at a preset magnification ratio for each preset frame rate and displays the enlarged maximum magnification ratio, or on the screen of augmented reality content (shooting image + virtual object). Only the virtual object may be enlarged at a preset magnification ratio for each preset frame rate to enlarge and display the preset maximum magnification ratio.

이처럼 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 손(20)의 이동에 의한 특정 동작이 인지되면, 금번 인지된 특정 동작에 대응하는 해당 컨텐츠 제어기능을 수행할 수 있다.As described above, in the method of operating the augmented reality content playback apparatus 100 according to the present invention, when a user moves a hand 20 located on the print book 10, a specific motion caused by the movement of the hand 20 is recognized. In addition, the corresponding content control function corresponding to the specific operation recognized this time may be performed.

더 나아가, 도 4에는 도시되지 아니하였지만, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 저장된 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 기 저장된 동작 별 제어기능정보를 변경/저장하는 것이 가능하다.Furthermore, although not shown in FIG. 4, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention provides a function setting information adjusting function for adjusting setting information on control function information for each pre-stored operation. In response to the user's adjustment through the function setting information adjustment function, it is possible to change / store the control function information for each operation previously stored.

즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자로부터 기능설정정보 조정기능 실행이 입력되면 동작 별 제어기능정보에 대한 설정정보를 조정할 수 있는 기능설정정보 조정메뉴를 표시함으로써 기능설정정보 조정기능을 제공할 수 있다.That is, the operation method of the augmented reality content playback device 100 according to the present invention, when the execution of the function setting information adjustment function input from the user to display the function setting information adjustment menu to adjust the setting information for the control function information for each operation In this way, the function of adjusting the function setting information can be provided.

이에, 사용자는 기능설정정보 조정메뉴를 조작하여, 각 동작정보(예 : 제1/2/3/4동작정보) 별로 원하는 컨텐츠 제어기능을 매칭/조정할 수 있고, 각 컨텐츠 제어기능(예 : 컨텐츠 회전/이동/축소/확대기능) 별로 설정 파라미터(예 : 회전속도, 회전방향, 최종회전각, 프레임레이트, 축소비율, 최소축소비율, 확대비율, 최대확대비율, 적용대상(예 : 증강현실 컨텐츠 전체 또는 가상 객체) 등)을 설정/조정할 수 있다.Accordingly, the user can operate the function setting information adjustment menu to match / adjust the desired content control function for each operation information (eg, 1/2/3/4 operation information), and each content control function (eg, content). Setting parameters for each rotation / movement / reduction / enlargement function (e.g. rotation speed, rotation direction, final rotation angle, frame rate, reduction ratio, minimum reduction ratio, enlargement ratio, maximum contrast ratio, application target (e.g. all augmented reality contents) Or virtual objects), etc.).

이상에서 설명한 바와 같이, 본 발명에 따른 증강 현실 컨텐츠 재생 방법은, 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.As described above, the augmented reality content reproduction method according to the present invention, in the augmented reality service to provide augmented reality content based on the photographed image of the printed book located in the shooting zone, the user in the shooting zone When a specific action is generated through the movement of a daily tool such as the above, the user can provide various user interactions without moving the actual print book and improve the realism by executing the content control function according to the corresponding action.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments, the present invention is not limited to the above-described embodiments, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the following claims. Anyone skilled in the art will have the technical idea of the present invention to the extent that various modifications or changes are possible.

촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시키는 증강 현실 컨텐츠 재생 시스템 및 방법을 적용할 경우, 증강현실 구현의 다양성 확장 및 제어 편의성, 사용자 만족도 측면에서 매우 큰 진보를 가져올 수 있으며, 적용되는 증강현실컨텐츠재생장치 및 서비스 솔루션의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있다.In the augmented reality service that provides augmented reality content based on a photographed image of a print book located in a shooting area, when a user generates a specific motion by moving a daily tool such as a hand in the shooting area, According to the contents control function, it is possible to provide various user interaction without moving the actual printed book and to apply the augmented reality content reproduction system and method that improves the realism, the diversity of augmented reality implementation, control convenience, user satisfaction In terms of progress, it is possible to make great progress, and the possibility of marketing or operating the augmented reality content reproducing apparatus and service solution to be applied is not only sufficient, but also realistically implemented.

10 : 인쇄서적 20 : 손
100 : 증강현실컨텐츠재생장치
200 : 정보제공서버10: print book 20: hand
100: augmented reality content playback device
200: information providing server

Claims (12)

적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공하는 정보제공서버; 및
상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작이 인지되면 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 재생 시스템.An information providing server providing control function information for each operation including a content control function corresponding to the at least one operation information; And
Stores the control function information for each operation provided from the information providing server, analyzes the photographed image photographing the print book located in the specific photographing area, and performs the preset augmented reality implementation function corresponding to the analysis result. Augmented reality content playback to output augmented reality content, and to perform a corresponding content control function corresponding to the motion information according to the specific motion based on the control function information for each motion, when a specific motion is recognized based on the photographed image. Augmented reality content playback system comprising a device. 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영부;
상기 촬영부를 통해 촬영된 촬영영상을 분석하는 영상분석부;
상기 촬영영상에 근거하여 특정 동작을 인지하는 동작인지부; 및
상기 영상분석부를 통한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 동작인지부를 통해 상기 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 장치제어부를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.A photographing unit photographing a print book located in a specific photographing area;
An image analyzer analyzing the photographed image photographed through the photographing unit;
A motion recognition unit for recognizing a specific motion based on the captured image; And
Based on the analysis result through the image analysis unit, the augmented reality content applied to the photographed image is output according to the execution of a preset augmented reality implementation function corresponding to the analysis result, and when the specific motion is recognized through the motion recognition unit, And a device controller configured to perform a content control function corresponding to the operation information according to the specific operation based on the control function information for each operation. 제 2 항에 있어서,
기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보가 저장되는 정보저장부를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 2,
And an information storage unit configured to store the control function information for each operation indicating a preset content control function corresponding to the at least one preset operation information. 제 2 항에 있어서,
상기 동작인지부는,
상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 2,
The operation recognition unit,
And recognizing the specific motion generated according to the movement of the hand image by recognizing a predefined hand image based on the photographed image. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 동작 별 제어기능정보는,
제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method according to any one of claims 2 to 4,
The control function information for each operation,
A content rotation control function for rotating the virtual object rendered in the augmented reality content or the captured image in the augmented reality content in a preset rotational direction according to a preset rotational speed in response to the first motion information, and a second operation A content movement control function for moving the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content according to the movement path according to the specific operation recognized in response to the information; A content reduction control function for reducing a virtual object rendered in the captured content in the real content or the augmented reality content at a predetermined reduction rate for each preset frame rate, the augmented reality content in response to fourth motion information, or Based on the virtual object rendered in the photographed image in the augmented reality content An apparatus for reproducing augmented reality contents comprising at least one of a content enlargement control function for enlarging at a preset enlargement ratio for each set frame rate. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 장치제어부는,
상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경/저장하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method according to any one of claims 2 to 4,
The device control unit,
It provides a function setting information adjustment function for adjusting the setting information for the control function information for each operation, and changes / stores the control function information for each operation in response to the user's adjustment through the function setting information adjustment function Augmented reality content playback device. 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 정보제공서버가 제공하는 단계;
상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하는 단계;
상기 증강현실컨텐츠재생장치가 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 단계; 및
상기 증강현실컨텐츠재생장치가 상기 촬영영상에 근거하여 특정 동작이 인지되면, 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 단계를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 재생 방법.Providing, by the information providing server, control function information for each operation including a content control function corresponding to the at least one operation information;
Storing, by the augmented reality content reproducing apparatus, the control function information for each operation provided from the information providing server;
Analyzing, by the augmented reality content reproducing apparatus, a photographed image of a print book located in a specific photographing region and outputting augmented reality content applied to the photographed image according to a preset augmented reality implementation function corresponding to the analysis result; And
And when the augmented reality content playback device recognizes a specific motion based on the captured image, performing a corresponding content control function corresponding to the motion information according to the specific motion based on the control function information for each motion. Augmented reality content playback method characterized in that. 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영 단계;
상기 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 증강현실 컨텐츠 출력단계;
상기 촬영영상에 근거하여 특정 동작을 인지하는 동작 인지단계; 및
동작 인지 결과 상기 특정 동작이 인지되면, 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 제어기능 수행단계를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.A photographing step of photographing a print book located in a specific photographing area;
An augmented reality content outputting step of outputting an augmented reality content applied to the captured image according to the execution of a preset augmented reality implementation function corresponding to the analysis result based on the analysis result of analyzing the photographed photographed image;
A motion recognition step of recognizing a specific motion based on the captured image; And
And a control function performing step of performing a content control function corresponding to the motion information according to the specific motion based on the control function information for each specific motion, when the specific motion is recognized as a result of the motion recognition. Operation method of the content playback device. 제 8 항에 있어서,
기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보를 기 저장하는 정보 저장단계를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method of claim 8,
And an information storing step of pre-storing the control function information for each operation indicating a preset content control function corresponding to the at least one preset operation information. 제 8 항에 있어서,
상기 동작 인지단계는,
상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method of claim 8,
The motion recognition step,
Recognizing a predetermined hand image based on the photographed image to recognize the specific motion generated according to the movement of the hand image. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 동작 별 제어기능정보는,
제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method according to any one of claims 8 to 10,
The control function information for each operation,
A content rotation control function for rotating the virtual object rendered in the augmented reality content or the captured image in the augmented reality content in a preset rotational direction according to a preset rotational speed in response to the first motion information, and a second operation A content movement control function for moving the augmented reality content or the virtual object rendered in the photographed image in the augmented reality content according to the movement path according to the specific operation recognized in response to the information; A content reduction control function for reducing a virtual object rendered in the captured content in the real content or the augmented reality content at a predetermined reduction rate for each preset frame rate, the augmented reality content in response to fourth motion information, or Based on the virtual object rendered in the photographed image in the augmented reality content And at least one of a content enlargement control function for enlarging at a preset enlargement ratio for each set frame rate. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
사용자의 요청에 따라 상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경/저장하는 단계를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method according to any one of claims 8 to 10,
Providing a function setting information adjustment function for adjusting the setting information of the control function information for each operation in response to a user's request, and changing the control function information for each operation in response to the user's adjustment through the function setting information adjustment function Method of operation of the augmented reality content playback device further comprising the step of storing.
KR1020100101703A 2010-10-19 2010-10-19 System and method for playing contents of augmented reality KR101242512B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100101703A KR101242512B1 (en) 2010-10-19 2010-10-19 System and method for playing contents of augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100101703A KR101242512B1 (en) 2010-10-19 2010-10-19 System and method for playing contents of augmented reality

Publications (2)

Publication Number Publication Date
KR20120040350A true KR20120040350A (en) 2012-04-27
KR101242512B1 KR101242512B1 (en) 2013-03-12

Family

ID=46140257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100101703A KR101242512B1 (en) 2010-10-19 2010-10-19 System and method for playing contents of augmented reality

Country Status (1)

Country Link
KR (1) KR101242512B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014150980A1 (en) * 2013-03-15 2014-09-25 daqri, inc. Content creation tool

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032647A (en) * 1998-11-17 2000-06-15 정선종 3-dimensional reading support system and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014150980A1 (en) * 2013-03-15 2014-09-25 daqri, inc. Content creation tool
US9679416B2 (en) 2013-03-15 2017-06-13 Daqri, Llc Content creation tool
US10147239B2 (en) 2013-03-15 2018-12-04 Daqri, Llc Content creation tool

Also Published As

Publication number Publication date
KR101242512B1 (en) 2013-03-12

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US10788967B2 (en) Gesture mapping for image filter input parameters
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US9530243B1 (en) Generating virtual shadows for displayable elements
CN107479712B (en) Information processing method and device based on head-mounted display equipment
KR101316789B1 (en) System and method for playing contents of augmented reality
JP6790630B2 (en) Document sharing method, program and document sharing device
KR101211178B1 (en) System and method for playing contents of augmented reality
KR101246304B1 (en) System and method for providing augmented reality service
KR101242512B1 (en) System and method for playing contents of augmented reality
KR20120035322A (en) System and method for playing contents of augmented reality
KR20120035321A (en) System and method for playing contents of augmented reality
JP2020514937A (en) Realization method of augmented reality image using vector
WO2019014497A2 (en) Systems and methods for creating and displaying interactive 3d representations of real objects
US11816785B2 (en) Image processing device and image processing method
TW201925989A (en) Interactive system
US20240094886A1 (en) Applying visual modifiers to objects of interest selected by a pointer from a video feed in a frame buffer via processing circuitry
US20220343588A1 (en) Method and electronic device for selective magnification in three dimensional rendering systems
Faaborg et al. METHODS AND APPARATUS TO SCALE ANNOTATIONS FOR DESIRABLE VIEWING IN AUGMENTED REALITY ENVIRONMENTS
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2015081528A1 (en) Causing the display of a time domain video image

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 8