KR101246304B1 - System and method for providing augmented reality service - Google Patents

System and method for providing augmented reality service Download PDF

Info

Publication number
KR101246304B1
KR101246304B1 KR1020100131011A KR20100131011A KR101246304B1 KR 101246304 B1 KR101246304 B1 KR 101246304B1 KR 1020100131011 A KR1020100131011 A KR 1020100131011A KR 20100131011 A KR20100131011 A KR 20100131011A KR 101246304 B1 KR101246304 B1 KR 101246304B1
Authority
KR
South Korea
Prior art keywords
information
augmented reality
content
screen
virtual
Prior art date
Application number
KR1020100131011A
Other languages
Korean (ko)
Other versions
KR20120069454A (en
Inventor
정진
최영경
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100131011A priority Critical patent/KR101246304B1/en
Publication of KR20120069454A publication Critical patent/KR20120069454A/en
Application granted granted Critical
Publication of KR101246304B1 publication Critical patent/KR101246304B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

본 발명은, 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 증강현실 컨텐츠의 화면에 표시되는 가상의 조작화면을 통해 사용자가 손과 같은 일상적인 도구를 이용하여 증강현실 컨텐츠 내 특정 가상객체를 이동시키거나 볼륨을 조정하는 등 증강현실 컨텐츠를 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공하며 실재감을 향상시킬 수 있는 증강 현실 서비스 제공 시스템 및 방법이 개시되어 있다. 본 발명의 증강 현실 서비스 제공 시스템은, 정보제공서버가 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 제공하면 증강현실컨텐츠재생장치가 상기 컨텐츠설정제어정보를 저장하고, 상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하며 상기 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면, 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행하는 구성을 포함한다.The present invention, in the augmented reality service providing augmented reality content, the user moves a specific virtual object in the augmented reality content using a daily tool such as a hand through a virtual operation screen displayed on the screen of the augmented reality content Disclosed are a system and method for providing augmented reality services that can provide a more intuitive and diverse interaction to a user and improve the sense of reality by manipulating augmented reality content such as controlling a volume or adjusting a volume. The augmented reality service providing system of the present invention, the content providing control information including at least one of the content setting change information corresponding to the at least one operation information and the operation screen information for inducing the input of the operation information, the information providing server. When provided, the augmented reality content playback device stores the content setting control information, the augmented reality content playback device provides an augmented reality service for outputting the augmented reality content according to the performance of the preset augmented reality implementation function and the operation screen information When the input of the specific operation information by the user's operation is recognized based on the operation screen according to the control screen, reflecting the corresponding content setting change information according to the operation information based on the content setting control information includes a configuration for performing the augmented reality implementation function do.

Description

증강 현실 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE}Augmented Reality Service Provision System and Method {SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE}

본 발명은 증강 현실 서비스 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 증강현실 컨텐츠의 화면의 조작화면 상에서 사용자가 손과 같은 일상적인 도구를 이용하여 증강현실 컨텐츠 내 특정 가상객체를 이동시키거나 볼륨을 조정하는 등 증강현실 컨텐츠를 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있는 증강 현실 서비스 제공 시스템 및 방법, 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법에 관한 것이다.The present invention relates to a system and method for providing an augmented reality service, and more particularly, in an augmented reality service for providing augmented reality content, a user using an ordinary tool such as a hand on an operation screen of a screen of an augmented reality content. Augmented reality content providing a more intuitive and diverse interaction to the user by manipulating augmented reality content, such as moving a specific virtual object in the augmented reality content or to adjust the volume, augmented reality service providing system and method, augmented reality A method of operating a content playback device and an augmented reality content playback device.

AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은, 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. AR (Augmented Reality) is one of the virtual reality in which the user views the real world viewed by the user and the virtual world having the additional information as one image. AR, a concept that complements the real world with a virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. Computer graphics serve to provide additional information needed for the real world. By overlapping the three-dimensional virtual image on the real image that the user is viewing, it means that the distinction between the real environment and the virtual screen becomes blurred.

이러한 증강현실을 구현하는 방법에는, 인쇄서적의 페이지를 펼쳐 이를 카메라를 통해 촬영하고 촬영된 실시간 영상을 화면에 디스플레이함에 있어서, 페이지 내에 특정 마커(marker)가 기록되어 있음에 따라 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커에 연결된 3차원 그래픽 모델을 실제 영상 즉 페이지를 촬영한 영상 위에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다.In the method of implementing such an augmented reality, when a page of a printed book is unfolded and photographed through a camera and a captured real-time image is displayed on the screen, a specific marker is recorded in the page, so that the image is captured within the image. When a specific marker is recognized, there is a method of drawing a 3D graphic model connected to the marker on a real image, that is, a page image. The marker here refers to providing size, direction, and position information to be drawn on a three-dimensional graphic model that is actually present on a two-dimensional plane and connected to itself.

헌데, 전술한 종래의 증강현실 구현 방법은, 인쇄서적의 페이지 또는 페이지 상에 증강된 가상객체(예 : 3차원 그래픽 모델)를 조작할 수 있는 방법이 없다. 즉, 사용자가 가상객체가 표시된 위치를 이동시키고자 하는 경우, 가상객체를 터치하거나 이동시킬 수 있는 방법이 없기 때문에, 사용자가 실제 인쇄서적을 이동시켜 전체 페이지 이동에 따른 가상객체 이동 효과를 얻을 수 밖에 없었다. However, the conventional augmented reality implementation method described above has no method of manipulating augmented virtual objects (eg, 3D graphic models) on pages or pages of a printed book. That is, when the user wants to move the position where the virtual object is displayed, there is no way to touch or move the virtual object, so the user can move the actual printed book to obtain the virtual object movement effect by moving the entire page. There was only.

이에, 현재 사용자가 실제 인쇄서적을 움직이지 않고도 가상객체를 직관적으로 조작하고 싶은 욕구가 있지만, 현재의 증강현실 구현 방법에서는 이를 만족시킬 수 있는 방안이 없다는 점에서 여전히 미흡한 수준이라고 하겠다.Thus, there is a desire for the user to intuitively manipulate a virtual object without moving the actual printed book, but it is still insufficient because there is no way to satisfy the current augmented reality implementation method.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은 정보제공서버가 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 제공하면 증강현실컨텐츠재생장치가 상기 컨텐츠설정제어정보를 저장하고, 상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하며 상기 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면, 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행하는 증강 현실 서비스 제공 시스템 및 방법을 제공하여, 증강현실 컨텐츠의 화면 상의 조작화면을 통해 사용자가 손과 같은 일상적인 도구를 이용하여 증강현실 컨텐츠를 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공하며 실재감을 향상시키는데 있다. The present invention was created in view of the above circumstances, and an object of the present invention is to provide content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information. When providing the content setting control information including at least one augmented reality content playback device stores the content setting control information, and the augmented reality content playback device outputs the augmented reality content according to the implementation of a predetermined augmented reality implementation function Providing augmented reality service and when the input of the specific operation information by the user's operation is recognized based on the operation screen according to the operation screen information, based on the content setting control information reflects the corresponding content setting change information according to the operation information When providing an augmented reality service performing the augmented reality implementation function By providing a stem and a method, the user manipulates the augmented reality content using an everyday tool such as a hand through an operation screen on the screen of the augmented reality content to provide a more intuitive and diverse interaction to the user and improve the realism.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 다른 목적은 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영하여 상기 인쇄서적을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하여 증강현실 서비스를 제공하며, 상기 촬영영상에 근거하여 상기 출력되는 증강현실 컨텐츠의 화면에 표시되는 상기 조작화면정보에 따른 조작화면 또는 상기 인쇄서적에 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능의 수행을 제어하는 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법을 제공하여, 증강현실 컨텐츠의 화면의 조작화면을 통해 사용자가 손과 같은 일상적인 도구를 이용하여 증강현실 컨텐츠를 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공하며 실재감을 향상시키는데 있다.The present invention has been made in view of the above circumstances, and another object to be achieved in the present invention is at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information. Storing contents setting control information including a; and photographing a print book located in a specific shooting area, and outputting augmented reality content according to a preset augmented reality implementation function based on a photographed image of the print book. An operation screen corresponding to an operation screen according to the operation screen information displayed on a screen of the output augmented reality content or a region in which a specific operation image included in the printed book is displayed based on the photographed image; When the input of the specific operation information is recognized by the user's operation on the content Providing a method of operating an augmented reality content playback device and augmented reality content playback device to control the performance of the augmented reality implementation function by reflecting the corresponding content setting change information according to the operation information based on the setting control information, Through the operation screen of the user, the user manipulates augmented reality content using everyday tools such as a hand to provide a more intuitive and diverse interaction to the user and improve the realism.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 증강 현실 서비스 제공 시스템은, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 제공하는 정보제공서버; 및 상기 정보제공서버로부터 제공되는 상기 컨텐츠설정제어정보를 저장하고, 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하며, 상기 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행하는 증강현실컨텐츠재생장치를 포함한다.The augmented reality service providing system according to the first aspect of the present invention for achieving the above object, at least one of the content setting change information corresponding to the at least one operation information and the operation screen information for inducing the input of the operation information An information providing server providing content setting control information including; And augmented reality service for storing the content setting control information provided from the information providing server and outputting augmented reality content according to a preset augmented reality implementation function, and based on an operation screen according to the operation screen information. When the input of the specific operation information by the user's operation is recognized, the augmented reality content playback device for performing the augmented reality implementation function by reflecting the corresponding content setting change information according to the operation information based on the content setting control information.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 증강현실컨텐츠재생장치는, 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영부; 상기 인쇄서적을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하여 증강현실 서비스를 제공하는 증강현실서비스제어부; 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장하는 정보저장부; 및 상기 촬영영상에 근거하여, 상기 출력되는 증강현실 컨텐츠의 화면에 표시되는 상기 조작화면정보에 따른 조작화면 또는 상기 인쇄서적에 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능의 수행을 제어하는 장치제어부를 포함한다.According to a second aspect of the present invention, there is provided an apparatus for reproducing augmented reality content, including: a photographing unit photographing a print book located in a specific photographing area; An augmented reality service controller configured to provide an augmented reality service by outputting an augmented reality content according to a preset augmented reality implementation function based on a photographed image of the printed book; An information storage unit for storing content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information; And a user operation on an operation screen corresponding to an operation screen according to the operation screen information displayed on the screen of the augmented reality content or an area on which a specific operation image included in the printed book is displayed based on the photographed image. When the input of the specific operation information is recognized by the content setting control information based on the content setting change information according to the operation information includes a device control unit for controlling the performance of the augmented reality implementation function.

바람직하게는, 상기 촬영영상에 근거하여, 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고 상기 손 이미지의 이동에 따라 발생되는 상기 사용자 동작을 인지하여 인지결과를 출력하는 동작인지부를 더 포함할 수 있다.Preferably, the operation recognition unit for recognizing the user's hand image according to a predefined hand image recognition policy based on the photographed image and recognizes the user's motion generated by the movement of the hand image and outputs a recognition result. It may further include.

바람직하게는, 상기 컨텐츠설정제어정보는, 상기 조작정보의 입력을 유도하는 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면을 표시하기 위한 조작화면표시정보와, 상기 조작화면을 상기 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 상기 조작화면정보를 포함할 수 있다.Preferably, the content setting control information includes operation screen display information for displaying the operation screen including at least one of a virtual scroll bar and a virtual keypad for guiding input of the operation information, and the operation screen. Preset display position information to be displayed on at least one region of the screen of the augmented reality content, operation movement path corresponding to the at least one operation information, and operation guide information for displaying a content setting change result according to the operation movement path; It may include the operation screen information including at least one of the.

바람직하게는, 상기 컨텐츠설정제어정보는, 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 상기 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는, 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함할 수 있다.Preferably, the content setting control information may include one of a virtual scroll bar and a virtual keypad corresponding to the operation screen or the operation screen information corresponding to a region where the operation image including at least one of a scroll bar image and a keypad image is displayed. Virtual coordinates applied to a virtual object rendered on the photographed image in the augmented reality content according to the execution of the augmented reality corresponding to the first operation information, which is recognized based on the manipulation screen including at least one Rotate the virtual coordinate at a preset rotation rate in a preset first direction to change the virtual coordinates applied to the virtual object in response to the first rotation setting change information and the second operation information. In response to the virtual coordinate second rotation setting change information and the third operation information which are rotated and changed at a ratio, Virtual coordinate enlargement setting change information that enlarges and changes the virtual coordinates applied to the virtual object at a preset enlargement ratio and a virtual coordinate that reduces and changes the virtual coordinate applied to the virtual object to the preset reduction ratio in response to the fourth operation information. In response to the coordinate reduction setting change information and the fifth operation information, the volume size increase setting change information and the sixth operation information are changed to increase and change the volume size of the augmented reality content according to the execution of the augmented reality implementation function at a preset size ratio. It may include at least one of the volume size reduction setting change information for changing the volume size of the augmented reality content by performing the augmented reality implementation function to reduce by changing to a predetermined size ratio.

바람직하게는, 상기 장치제어부는, 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면 기 저장된 상기 컨텐츠설정제어정보 내 조작화면정보에 근거하여 상기 출력되는 증강현실 컨텐츠의 화면에 상기 조작화면을 표시하고, 사용자에 의해 조작 안내정보 확인이 선택되는 경우 상기 조작화면정보에 근거하여 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경 결과를 포함하는 조작안내화면을 상기 출력되는 증강현실 컨텐츠의 화면에 표시할 수 있다.Preferably, when the augmented reality content operation function is selected by the user, the device control unit displays the operation screen on the screen of the output augmented reality content based on the operation screen information in the content setting control information previously stored, Outputting an operation guide screen including an operation movement path corresponding to the at least one operation information and a content setting change result according to the operation movement path based on the operation screen information when the operation guidance information confirmation is selected by the user; The augmented reality content can be displayed on the screen.

바람직하게는, 상기 장치제어부는, 상기 컨텐츠설정제어정보에 대한 설정변경정보를 조정하는 설정변경정보 조정기능을 제공하고, 상기 설정변경정보 조정기능을 통한 사용자의 조정에 대응하여 상기 컨텐츠설정제어정보를 변경/저장할 수 있다.Preferably, the device control unit provides a setting change information adjusting function for adjusting setting change information for the content setting control information, and the content setting control information in response to a user's adjustment through the setting change information adjusting function. Can be changed / saved.

상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 증강 현실 서비스 제공 방법은, 정보제공서버가 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 제공하는 단계; 증강현실컨텐츠재생장치가 상기 정보제공서버로부터 제공되는 상기 컨텐츠설정제어정보를 저장하는 단계; 상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하는 단계; 및 증강현실컨텐츠재생장치가 상기 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면, 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행하는 단계를 포함한다.According to a third aspect of the present invention, there is provided a method for providing augmented reality service, comprising: content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information by an information providing server; Providing content setting control information including at least one; Storing, by the apparatus for reproducing augmented reality content, the content setting control information provided from the information providing server; Providing an augmented reality service for outputting an augmented reality content according to a predetermined augmented reality implementation function performed by the augmented reality content reproducing apparatus; And when the augmented reality content reproducing apparatus is recognized to input specific manipulation information by a user's operation based on the manipulation screen according to the manipulation screen information, reflects the contents setting change information according to the manipulation information based on the contents setting control information. By performing the augmented reality implementation function.

상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 증강현실컨텐츠재생장치의 동작 방법은, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장하는 정보 저장단계; 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영단계; 상기 인쇄서적을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하여 증강현실 서비스를 제공하는 증강현실서비스 제공단계; 및 상기 촬영영상에 근거하여, 상기 출력되는 증강현실 컨텐츠의 화면에 표시되는 상기 조작화면정보에 따른 조작화면 또는 상기 인쇄서적에 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능의 수행을 제어하는 기능수행 제어단계를 포함한다.According to a fourth aspect of the present invention, there is provided an operation method of an apparatus for reproducing augmented reality contents, comprising: at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information. An information storage step of storing content setting control information including any one; A photographing step of photographing a print book located in a specific photographing area; An augmented reality service providing step of providing an augmented reality service by outputting an augmented reality content according to a preset augmented reality implementation function based on a photographed image of the printed book; And a user operation on an operation screen corresponding to an operation screen according to the operation screen information displayed on the screen of the augmented reality content or an area on which a specific operation image included in the printed book is displayed based on the photographed image. And a function performance control step of controlling performance of the augmented reality implementation function by reflecting the corresponding content setting change information according to the operation information based on the content setting control information when the input of the specific operation information is recognized.

바람직하게는, 상기 촬영영상에 근거하여, 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고 상기 손 이미지의 이동에 따라 발생되는 상기 사용자 동작을 인지하여 인지결과를 출력하는 동작 인지단계를 더 포함할 수 있다.Preferably, a motion recognition step of recognizing a user's hand image according to a predefined hand image recognition policy and recognizing the user's motion generated by the movement of the hand image based on the photographed image and outputting a recognition result. It may further include.

바람직하게는, 상기 컨텐츠설정제어정보는, 상기 조작정보의 입력을 유도하는 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면을 표시하기 위한 조작화면표시정보와, 상기 조작화면을 상기 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 상기 조작화면정보를 포함할 수 있다.Preferably, the content setting control information includes operation screen display information for displaying the operation screen including at least one of a virtual scroll bar and a virtual keypad for guiding input of the operation information, and the operation screen. Preset display position information to be displayed on at least one region of the screen of the augmented reality content, operation movement path corresponding to the at least one operation information, and operation guide information for displaying a content setting change result according to the operation movement path; It may include the operation screen information including at least one of the.

바람직하게는, 상기 컨텐츠설정제어정보는, 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 상기 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는, 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함할 수 있다.Preferably, the content setting control information may include one of a virtual scroll bar and a virtual keypad corresponding to the operation screen or the operation screen information corresponding to a region where the operation image including at least one of a scroll bar image and a keypad image is displayed. Virtual coordinates applied to a virtual object rendered on the photographed image in the augmented reality content according to the execution of the augmented reality corresponding to the first operation information, which is recognized based on the manipulation screen including at least one Rotate the virtual coordinate at a preset rotation rate in a preset first direction to change the virtual coordinates applied to the virtual object in response to the first rotation setting change information and the second operation information. In response to the virtual coordinate second rotation setting change information and the third operation information which are rotated and changed at a ratio, Virtual coordinate enlargement setting change information that enlarges and changes the virtual coordinates applied to the virtual object at a preset enlargement ratio and a virtual coordinate that reduces and changes the virtual coordinate applied to the virtual object to the preset reduction ratio in response to the fourth operation information. In response to the coordinate reduction setting change information and the fifth operation information, the volume size increase setting change information and the sixth operation information are changed to increase and change the volume size of the augmented reality content according to the execution of the augmented reality implementation function at a preset size ratio. It may include at least one of the volume size reduction setting change information for changing the volume size of the augmented reality content by performing the augmented reality implementation function to reduce by changing to a predetermined size ratio.

바람직하게는, 상기 기능수행 제어단계는, 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면 기 저장된 상기 컨텐츠설정제어정보 내 조작화면정보에 근거하여 상기 출력되는 증강현실 컨텐츠의 화면에 상기 조작화면을 표시하는 단계와, 사용자에 의해 조작 안내정보 확인이 선택되는 경우 상기 조작화면정보에 근거하여 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경 결과를 포함하는 조작안내화면을 상기 출력되는 증강현실 컨텐츠의 화면에 표시하는 단계를 포함할 수 있다.Preferably, when the augmented reality content operation function is selected by the user, the function performance control step displays the operation screen on the screen of the augmented reality content output based on previously stored operation screen information in the content setting control information. And an operation movement path corresponding to the at least one operation information based on the operation screen information and a content setting change result according to the operation movement path when the operation guidance information confirmation is selected by the user. And displaying a screen on the screen of the output augmented reality content.

바람직하게는, 상기 컨텐츠설정제어정보에 대한 설정변경정보를 조정하는 설정변경정보 조정기능을 제공하고, 상기 설정변경정보 조정기능을 통한 사용자의 조정에 대응하여 상기 컨텐츠설정제어정보를 변경/저장하는 단계를 더 포함할 수 있다.Preferably, a setting change information adjusting function for adjusting setting change information for the content setting control information is provided, and the content setting control information is changed / stored in response to a user's adjustment through the setting change information adjusting function. It may further comprise a step.

이에, 본 발명의 증강 현실 서비스 제공 시스템 및 방법에 의하면, 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서 증강현실 컨텐츠의 화면의 조작화면 상에서 사용자가 손과 같은 일상적인 도구를 이용하여 증강현실 컨텐츠 내 특정 가상객체를 이동시키거나 볼륨을 조정하는 등 증강현실 컨텐츠를 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.Thus, according to the augmented reality service providing system and method of the present invention, in the augmented reality service providing augmented reality content in the augmented reality content by using a daily tool such as a user's hand on the operation screen of the screen of the augmented reality content By manipulating augmented reality content, such as moving a specific virtual object or adjusting a volume, it is possible to provide a more intuitive and diverse interaction to a user and improve the realism.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치의 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 방법의 제어 흐름을 나타내는 흐름도이다.
도 4는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치의 동작 방법을 나타내는 흐름도이다.
도 5 및 도 6은 본 발명에 따른 증강현실컨텐츠재생장치에서 증강현실 컨텐츠의 화면에 조작화면을 표시하는 예시도이다.1 is a block diagram of an augmented reality service providing system according to a preferred embodiment of the present invention.
2 is a block diagram of an apparatus for reproducing augmented reality content according to a preferred embodiment of the present invention.
3 is a flowchart illustrating a control flow of a method for providing augmented reality service according to a preferred embodiment of the present invention.
4 is a flowchart illustrating a method of operating an augmented reality content playback device according to a preferred embodiment of the present invention.
5 and 6 are exemplary views for displaying an operation screen on the screen of the augmented reality content in the augmented reality content playback apparatus according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 시스템을 도시한 도면이다.1 is a diagram illustrating an augmented reality service providing system according to a preferred embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 증강 현실 서비스 제공 시스템은, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 제공하는 정보제공서버(200)와, 정보제공서버(200)로부터 제공되는 상기 컨텐츠설정제어정보를 저장하고, 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하며, 상기 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행하는 증강현실컨텐츠재생장치(100)를 포함한다.As shown in FIG. 1, the augmented reality service providing system according to the present invention includes at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information. Augmented reality for storing the content setting control information provided from the information providing server 200, content providing control information provided from the information providing server 200, and outputs augmented reality content according to the implementation of a predetermined augmented reality implementation function If a specific operation information input by the user's operation is recognized based on the operation screen according to the operation screen information, the service is applied to reflect the content setting change information according to the operation information based on the content setting control information. It includes an augmented reality content playback device 100 to perform a reality implementation function.

도 1에 도시된 바와 같은 인쇄서적(10)은, 텍스트 및/또는 그림이 포함되는 적어도 하나의 페이지로 이루어진 오프라인 도서이다. 이러한 인쇄서적(10)은 페이지에 적어도 하나의 증강 현실용의 마커(marker)를 포함할 수 있다.The printed book 10 as shown in FIG. 1 is an offline book consisting of at least one page containing text and / or pictures. The printed book 10 may include at least one marker for augmented reality on the page.

즉, 인쇄서적(10)은, 사용자에 의해 특정 페이지가 펼쳐진 채로 증강현실컨텐츠재생장치(100)에 의해 촬영되는 특정 촬영구역(1)에 놓이게 될 것이다. 그리고, 인쇄서적(10)은, 도 1에 도시된 바와 같이, 해당 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보 또는 해당 페이지가 무엇인지를 나타내는 페이지식별정보 또는 특정 가상객체(예 : 3D의 그래픽 모델)를 특정 위치에 렌더링(rendering)하여 증강 표시하도록 하는 증강식별정보에 대응하는 마커를 갖는 페이지를 포함할 수 있다.That is, the print book 10 may be placed in the specific photographing zone 1 photographed by the AR content reproducing apparatus 100 with the specific page unfolded by the user. As shown in FIG. 1, the printed book 10 may include book identification information indicating what the print book 10 is or page identification information indicating what the page is or a specific virtual object (eg, 3D). It may include a page having a marker corresponding to the augmentation identification information to render (rendered) to a specific position to augmented display.

물론, 증강현실컨텐츠재생장치(100)에서 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스를 제공한다면, 인쇄서적(10)은 별도의 마커를 페이지에 포함하지 않을 수도 있다.Of course, if the augmented reality content reproducing apparatus 100 provides a variety of marker free or marker-less augmented reality services, the print book 10 will not include a separate marker on the page It may be.

그리고, 인쇄서적(10)은, 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 조작이미지 즉 조작 그림이 인쇄된 페이지를 포함할 수도 있다.In addition, the printed book 10 may include a manipulation image including at least one of a scroll bar image and a keypad image, that is, a page on which a manipulation picture is printed.

정보제공서버(200)는, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 증강현실컨텐츠재생장치(100)로 제공한다.The information providing server 200 may include content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information. 100).

바람직하게는, 정보제공서버(200)는, 조작정보의 입력을 유도하는 가상 스크롤바 및 가상 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면을 표시하기 위한 조작화면표시정보와, 상기 조작화면을 상기 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 상기 조작화면정보를 포함하는 컨텐츠설정제어정보를 관리할 수 있다.Preferably, the information providing server 200, the operation screen display information for displaying the operation screen including at least one of a virtual scroll bar and a virtual keypad to guide the input of the operation information, and the operation screen to enhance the At least one of display position information preset to be displayed on at least one region of a screen of the actual content, operation movement path corresponding to the at least one operation information, and operation guide information for displaying a content setting change result according to the operation movement path; Content setting control information including the operation screen information including any one may be managed.

더불어, 정보제공서버(200)에서 관리되는 컨텐츠설정제어정보는, 각 조작정보에 대응하는 컨텐츠 설정변경정보로서, 인쇄서적(10)에 이미 인쇄된 상태의 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 특정 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함할 수 있다.In addition, the content setting control information managed by the information providing server 200 is content setting change information corresponding to each operation information, and includes at least one of a scroll bar image and a keypad image already printed on the print book 10. In response to the first operation information recognized on the basis of the operation screen including at least one of the operation screen corresponding to the region on which the specific operation image including the display or the virtual scroll bar according to the operation screen information and the virtual keypad are included. Virtual coordinates first rotation setting for changing the virtual coordinates applied to the virtual object rendered on the captured image in the augmented reality content according to the execution of the augmented reality to rotate at a preset rotation rate in a preset first direction. The virtual coordinates applied to the virtual object in response to the change information and the second operation information are set in the preset second direction. Virtual coordinates to be rotated and changed at a preset rotation rate; second rotation setting change information; and virtual coordinate enlargement setting change information for changing and changing the virtual coordinates applied to the virtual object at a preset magnification ratio in response to the third operation information; Virtual coordinate reduction setting change information for reducing and changing a virtual coordinate applied to the virtual object at a preset reduction ratio in response to fourth manipulation information, and augmented reality content according to performing the augmented reality implementation function in response to fifth manipulation information. Change the volume size of the augmented reality content according to the implementation of the augmented reality content corresponding to the sixth operation information by changing the volume size increase setting change information which is changed by changing the volume size of the predetermined size ratio to a preset size ratio. It may include at least one of the volume size reduction setting change information.

이에, 정보제공서버(200)는, 전술과 같은 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 관리하며, 증강현실컨텐츠재생장치(100)로부터의 요청에 따라 또는 컨텐츠설정제어정보 업데이트와 같은 특정 제공 이벤트 발생 시에 해당되는 컨텐츠설정제어정보를 증강현실컨텐츠재생장치(100)로 제공할 수 있다.Accordingly, the information providing server 200 manages the content setting control information including at least one of the content setting change information and the operation screen information corresponding to the at least one operation information as described above, and the augmented reality content playback device ( According to a request from 100 or when a specific provisioning event such as content setting control information update occurs, content setting control information corresponding to the content setting control information may be provided to the augmented reality content playback device 100.

예를 들면, 정보제공서버(200)는, 인쇄서적 별로 상이하게 제작/생성된 컨텐츠설정제어정보를 관리할 수 있으며, 증강현실컨텐츠재생장치(100)로부터 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보가 제공되어 컨텐츠설정제어정보가 요청되면, 해당 서적식별정보에 따른 인쇄서적(10)의 컨텐츠설정제어정보를 증강현실컨텐츠재생장치(100)로 제공할 수도 있을 것이다.For example, the information providing server 200 may manage content setting control information produced / generated differently for each print book, and indicates what the print book 10 is from the augmented reality content playback device 100. When the book identification information is provided and content setting control information is requested, the content setting control information of the print book 10 according to the book identification information may be provided to the augmented reality content playback device 100.

증강현실컨텐츠재생장치(100)는, 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 사용자에게 인지 가능하도록 출력함으로써, 증강현실 서비스를 제공한다.The augmented reality content playback device 100 provides an augmented reality service by outputting the augmented reality content according to a preset augmented reality implementation function to a user.

예를 들면, 증강현실컨텐츠재생장치(100)는, 도 1에 도시된 바와 같이 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 촬영영상에 가상객체를 적용한 증강현실 컨텐츠를 출력할 수 있다.For example, the augmented reality content reproducing apparatus 100 analyzes a photographed image of a print book 10 located in a specific photographing zone 1 as shown in FIG. As the augmented reality implementation function is performed, the augmented reality content applying the virtual object to the captured image may be output.

이에, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치한 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 분석하여, 분석 결과 마커가 존재하지 않으면 촬영된 실시간 촬영영상을 가상객체 증강 없이 그대로 처리하여 출력하고, 분석 결과 마커가 존재하면 해당 마커에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링 및 사운드 출력)을 수행하여 촬영된 실시간 촬영영상에 가상객체(예 : 3D의 그래픽 모델 및 사운드)를 증강하여 출력함으로써, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 증강현실 서비스를 제공할 수 있다.Thus, the augmented reality content playback apparatus 100 analyzes the photographed image of the unfolded page of the printed book 10 located in the specific photographing zone 1, and if the marker is not present as a result of the analysis, the real-time photographed image is captured. The virtual object is processed and output as it is without augmenting the virtual object, and if a marker exists as a result of analysis, the virtual object is performed on the real-time shot image captured by performing a preset augmented reality implementation function (e.g. 3D graphic model rendering and sound output) corresponding to the marker. By augmenting and outputting (eg, 3D graphic model and sound), an augmented reality service can be provided based on a photographed image of the print book 10.

한편, 전술에서는 인쇄서적(10)에 마커가 포함되어 마커 인식을 통해 증강현실컨텐츠재생장치(100)가 증강현실 서비스를 제공하고 있지만 이는 일 실시예 일 뿐이다.Meanwhile, in the above description, although the marker is included in the printed book 10 and the augmented reality content reproducing apparatus 100 provides augmented reality service through marker recognition, this is only an example.

즉, 인쇄서적(10)에 별도 마커가 포함되지 않더라도, 증강현실컨텐츠재생장치(100)에서는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 기 설정된 증강현실 서비스를 제공하는 것도 물론 가능할 것이다.That is, even if a separate marker is not included in the printed book 10, the AR content reproducing apparatus 100 may also provide various augmented reality services based on various marker free or markerless methods. Of course it will be possible.

한편, 증강현실컨텐츠재생장치(100)는, 전술한 바와 같이 정보제공서버(200)로부터 제공되는 컨텐츠설정제어정보를 저장할 수 있다.Meanwhile, the augmented reality content playback apparatus 100 may store content setting control information provided from the information providing server 200 as described above.

그리고, 증강현실컨텐츠재생장치(100)는, 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한 촬영영상에 근거하여 전술과 같이 증강현실 서비스를 제공함에 있어서, 컨텐츠설정제어정보 내 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면 컨텐츠설정제어정보를 토대로 금번 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행할 수 있다.The augmented reality content playback apparatus 100 provides the augmented reality service as described above based on the photographed image of the print book 10 located in the photographing area 1, and the operation screen within the content setting control information. When the input of the specific operation information by the user's operation is recognized based on the operation screen according to the information, the augmented reality implementation function may be performed by reflecting the corresponding content setting change information according to the operation information based on the content setting control information.

이하에서는, 도 2를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치의 구체적인 구성을 설명하도록 한다.Hereinafter, a detailed configuration of the apparatus for reproducing augmented reality content according to the present invention will be described with reference to FIG. 2.

본 발명에 따른 증강현실컨텐츠재생장치(100)는, 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영부(110)와, 인쇄서적을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력부(120)를 통해 출력하여 증강현실 서비스를 제공하는 증강현실서비스제어부(130)와, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장하는 정보저장부(150)와, 상기 촬영영상에 근거하여, 상기 출력되는 증강현실 컨텐츠의 화면에 표시되는 상기 조작화면정보에 따른 조작화면 또는 상기 인쇄서적에 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능의 수행을 제어하는 장치제어부(160)를 포함한다.The augmented reality content playback device 100 according to the present invention, the photographing unit 110 for photographing a print book located in a specific shooting zone, and performing a preset augmented reality implementation function based on a photographed image photographing the print book. Augmented reality service control unit 130 for outputting the augmented reality content through the output unit 120 to provide an augmented reality service, and the contents setting change information corresponding to at least one operation information and to guide the input of the operation information An information storage unit 150 for storing content setting control information including at least one of operation screen information, and an operation according to the operation screen information displayed on a screen of the output augmented reality content based on the captured image; By the user's operation on the operation screen corresponding to the area where the specific operation image included in the screen or the printed book is displayed, After that the force to reflect the change the content setting information according to the operation information based on the content set control information includes a device controller 160 for controlling the execution of the AR implements functions.

촬영부(110)는, 지정된 특정 촬영구역(1)을 촬영하여 해당 촬영구역(1)에 위치한 인쇄서적(10)의 페이지를 촬영한 촬영영상을 증강현실서비스제어부(130) 및/또는 후술할 동작인지부(140) 및/또는 장치제어부(160)로 제공한다. 이러한 촬영부(110)는, 카메라 및 캠(Cam) 및 스캐너 등과 같이 영상을 촬영/인식하여 촬영영상을 제공할 수 있는 형태의 기능장치이면 가능할 것이다.The photographing unit 110 photographs the designated specific photographing zone 1 and captures a photographed image of the page of the print book 10 located in the photographing zone 1 and the augmented reality service control unit 130 and / or will be described later. It is provided to the operation recognition unit 140 and / or the device control unit 160. The photographing unit 110 may be a functional device having a form capable of providing a photographed image by capturing / recognizing an image such as a camera, a cam, and a scanner.

출력부(120)는, 증강현실서비스제어부(130)에 의해 출력되는 증강현실 컨텐츠를 출력하는 기능부로서, 화면을 출력하는 디스플레이부(미도시) 및/또는 사운드를 출력하는 스피커부(미도시)를 포함할 수 잇다.The output unit 120 is a function unit for outputting augmented reality content output by the augmented reality service control unit 130, a display unit for outputting a screen (not shown) and / or a speaker unit for outputting a sound (not shown) ) May be included.

증강현실서비스제어부(130)는, 촬영부(110)에 의해 인쇄서적(10)을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력부(120)를 통해 출력하여 증강현실 서비스를 제공한다.The augmented reality service control unit 130 outputs the augmented reality content through the output unit 120 according to a predetermined augmented reality implementation function based on a photographed image photographing the print book 10 by the photographing unit 110. To provide augmented reality services.

예를 들면 증강현실서비스제어부(130)는, 촬영부(110)를 통해 촬영된 촬영영상을 분석하여 촬영영상 내의 마커를 인지한 인지 결과 즉, 촬영영상 내에 마커가 존재하는지 여부 및 존재하는 경우 어떤 마커가 존재하는지에 대응하는 분석 결과에 근거하여, 분석 결과에 따라 기 설정된 증강현실 구현기능을 수행함으로써 촬영영상에 가상객체를 적용한 증강현실 컨텐츠를 출력부(120)를 통해 출력한다. For example, the augmented reality service control unit 130 analyzes the photographed image photographed by the photographing unit 110 to recognize a marker in the photographed image, that is, whether or not the marker exists in the photographed image. Based on the analysis result corresponding to the presence of the marker, a preset augmented reality implementation function is performed according to the analysis result to output the augmented reality content applying the virtual object to the captured image through the output unit 120.

다시 말해, 증강현실서비스제어부(130)는, 촬영영상 내에 마커가 존재하지 않으면 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 가상객체 증강 없이 그대로 처리하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상의 컨텐츠가 증강현실 컨텐츠에 대응된다.In other words, the augmented reality service control unit 130, if there is no marker in the photographed image, the processed real-time photographed image, that is, the photographed image of the unfolded page of the printed book 10 is processed as it is without the virtual object augmented output unit ( 120). In this case, the content of the captured image photographing the unfolded page of the print book 10 corresponds to the augmented reality content.

또한, 증강현실서비스제어부(130)는, 촬영영상 내에 마커가 존재하면 해당 마커에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링 및 사운드 출력)을 수행함으로써, 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지에 가상객체(예 : 3D의 그래픽 모델 및 사운드)를 증강하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지에 가상객체(예 : 3D의 그래픽 모델 및 사운드)를 렌더링한 컨텐츠가 증강현실 컨텐츠에 대응된다.In addition, the augmented reality service control unit 130, if there is a marker in the photographed image by performing a preset augmented reality implementation function (for example, 3D graphic model rendering and sound output) corresponding to the marker, the real-time photographed image That is, a virtual object (for example, a 3D graphic model and a sound) may be augmented on the open page of the printed book 10 and output through the output unit 120. In this case, the content of rendering a virtual object (eg, 3D graphic model and sound) on the open page of the print book 10 corresponds to the augmented reality content.

이처럼, 증강현실서비스제어부(130)는, 인쇄서적(10)을 촬영한 촬영영상의 마커를 기반으로 일반적인 증강현실 서비스를 제공할 수 있다.As such, the augmented reality service control unit 130 may provide a general augmented reality service based on a marker of a photographed image photographing the print book 10.

한편, 전술에서는 인쇄서적(10)에 마커가 포함되어 마커 인식을 통해 증강현실서비스제어부(130)가 증강현실 서비스를 제공하고 있지만 이는 일 실시예일 뿐이다.Meanwhile, in the above description, the augmented reality service control unit 130 provides the augmented reality service through the marker recognition by including a marker in the print book 10, but this is only an example.

즉, 증강현실서비스제어부(130)는, 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 기 설정된 증강현실 서비스 제공 기능을 구비하고, 인쇄서적(10)에 마커가 포함되지 않은 경우에도 해당하는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스를 제공할 수 있을 것이다.That is, the augmented reality service control unit 130 is provided with various augmented reality service providing functions based on various marker free or marker-less, and the marker is not included in the print book 10. In this case, various marker free or marker-less based augmented reality services may be provided.

이처럼, 증강현실서비스제어부(130)는, 마커 기반 또는 마커프리 기반 또는 마커리스 기반 등의 다양한 방식을 통해 촬영영상에 가상객체를 렌더링한 증강현실 컨텐츠를 출력하는 일반적인 증강현실 서비스를 제공할 수 있다.As such, the augmented reality service control unit 130 may provide a general augmented reality service that outputs augmented reality content rendered by the virtual object to the captured image through a variety of methods, such as marker-based or marker-free or markerless. .

정보저장부(150)는, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장한다. 여기서, 정보저장부(150)에 저장되는 컨텐츠설정제어정보는, 외부의 정보제공서버(200)로부터 제공/저장되는 것이 가능할 것이다.The information storage unit 150 stores content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information. Here, the content setting control information stored in the information storage unit 150 may be provided / stored from an external information providing server 200.

정보저장부(150)에 저장되는 컨텐츠설정제어정보를 구체적으로 설명하면, 컨텐츠설정제어정보는, 사용자로 하여금 조작정보의 입력할 수 있도록 유도하는 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 조작화면을 표시하기 위한 조작화면표시정보와, 조작화면을 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 조작화면정보를 포함할 수 있다.The content setting control information stored in the information storage unit 150 will be described in detail. The content setting control information includes at least one of a virtual scroll bar and a virtual keypad for inducing a user to input manipulation information. Operation screen display information for displaying an operation screen, display position information preset to display the operation screen on at least one region of the screen of the augmented reality content output through the output unit 120, and at least one operation information. And operation screen information including at least one of a corresponding operation movement path and operation guide information for displaying a content setting change result according to the operation movement path.

여기서, 조작안내정보는, 적어도 하나의 조작정보 각각에 대응하여 해당 조작정보를 입력하기 위해 사용자가 조작 이동해야 하는 조작 이동경로를 표시하고, 해당 조작 이동경로에 따라 사용자가 조작정보를 입력한 경우 이에 따른 컨텐츠 설정변경정보가 반영되어 증강현실 구현 기능이 수행되면 변경되게 되는 정보 즉 컨텐츠 설정변경결과를 표시하기 위한 정보에 해당한다.Herein, the operation guide information indicates an operation movement path that the user needs to move in order to input the operation information corresponding to each of the at least one operation information, and the user inputs the operation information according to the operation movement path. Accordingly, the content setting change information is reflected to correspond to information that is changed when the augmented reality implementation function is performed, that is, information for displaying the content setting change result.

예를 들면, 조작안내정보는, 후술할 제1조작정보(예 : 가상 스크롤바(5a)의 우측 이동)에 대응하여, 제1조작정보를 입력하기 위해 사용자가 조작 이동해야 하는 조작 이동경로(예 : 가상 스크롤바(5a)의 우측 이동 시뮬레이션 영상)를 표시하고, 해당 조작 이동경로에 따라 사용자가 제1조작정보를 입력한 경우 이에 따른 컨텐츠 설정변경정보가 반영되어 증강현실 구현 기능이 수행되면 변경되게 되는 정보 즉 컨텐츠 설정변경결과(예 : 가상객체가 우측 방향으로 90도 회전)를 표시하기 위한 제1조작정보 대응 조작안내정보를 포함할 수 있다.For example, the operation guide information may correspond to the first operation information (for example, the right movement of the virtual scroll bar 5a) to be described later, and the operation movement path (eg, the user should operate) in order to input the first operation information. : Display the right side simulation image of the virtual scroll bar (5a), and if the user inputs the first operation information according to the operation movement path, the content setting change information is reflected accordingly to be changed when the augmented reality implementation function is performed. The first manipulation information may include manipulation guide information corresponding to the first manipulation information for displaying the information, that is, the content setting change result (for example, the virtual object rotates 90 degrees in the right direction).

그리고, 컨텐츠설정제어정보는, 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 상기 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는, 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함할 수 있다.The content setting control information may include at least one of a virtual scroll bar and a virtual keypad according to the manipulation screen or the manipulation screen information corresponding to a region where the manipulation image including at least one of a scroll bar image and a keypad image is displayed. Preset virtual coordinates applied to the virtual object rendered on the photographed image in the augmented reality content according to the execution of the augmented reality implementation function corresponding to the first operation information, which is recognized based on the operation screen including a Virtual coordinates rotate by changing at a preset rotation rate in a first direction The virtual coordinates applied to the virtual object are rotated at a preset rotation rate in a second preset direction corresponding to the first rotation setting change information and the second operation information. To the virtual object in response to the second rotation setting change information and the third operation information. Virtual coordinate enlargement setting change information that enlarges and changes the applied virtual coordinates at a preset enlargement ratio, and virtual coordinate reduction setting that reduces and changes the virtual coordinates applied to the virtual object to a preset reduction ratio in response to the fourth operation information. The volume size increase setting change information for changing and increasing the volume size of the augmented reality content according to the change information and the fifth operation information to a preset size ratio according to the execution of the interim reality implementation function; It may include at least one of the volume size reduction setting change information for changing the volume size of the augmented reality content in accordance with the implementation of the reality to reduce by changing to a predetermined size ratio.

예를 들어 도 5에 도시된 바와 같이 가상 스크롤바(5a,5b,5c)가 포함된 조작화면을 언급하여 설명하면, 컨텐츠설정제어정보는, 가상 스크롤바(5a)를 우측으로 이동시키는 제1조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제1회전설정변경정보를 포함할 수 있다. For example, referring to the operation screen including the virtual scroll bars 5a, 5b, and 5c as illustrated in FIG. 5, the content setting control information includes first operation information for moving the virtual scroll bar 5a to the right. In response to the function of implementing the augmented reality, a virtual coordinate that is changed by rotating a virtual coordinate applied to the virtual object by a preset rotation ratio in a first predetermined direction (eg, the right (x-axis) direction of the virtual coordinate (b)). The first rotation setting change information may be included.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5a)를 좌측으로 이동시키는 제2조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제2방향(예 : 가상좌표(b)의 좌측(y축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제2회전설정변경정보를 포함할 수 있다.In addition, the content setting control information is a second direction (eg, virtual coordinates) that is applied to the virtual coordinates applied to the virtual object when performing the additional reality implementation function corresponding to the second operation information for moving the virtual scroll bar 5a to the left. virtual coordinate second rotation setting change information which is rotated to a predetermined rotation ratio to the left (y-axis direction) of b) and changed.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5b)를 우측으로 이동시키는 제3조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보를 포함할 수 있다.In addition, the content setting control information is a virtual coordinate that is expanded by changing the virtual coordinate applied to the virtual object at a preset magnification ratio in response to the third operation information for moving the virtual scroll bar 5b to the right. The enlargement setting change information may be included.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5b)를 좌측으로 이동시키는 제4조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보를 포함할 수 있다.In addition, the content setting control information corresponds to the fourth operation information for moving the virtual scroll bar 5b to the left, and the virtual coordinates are reduced by changing the virtual coordinates applied to the virtual object to a preset reduction ratio when performing the additional reality implementation function. The reduced setting change information may be included.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5c)를 상측으로 이동시키는 제5조작정보에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보를 포함할 수 있고, 가상 스크롤바(5c)를 하측으로 이동시키는 제6조작정보에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보를 포함할 수 있다.In addition, the content setting control information, in response to the fifth operation information for moving the virtual scroll bar 5c upwards, the volume size of increasing and changing the volume size of the augmented reality content according to the implementation of the augmented reality implementation function to a predetermined size ratio It may include the increase setting change information, and in response to the sixth operation information for moving the virtual scroll bar (5c) to the lower side to reduce the volume size of the augmented reality content in accordance with the implementation of the augmented reality content to change to a predetermined size ratio The volume size reduction setting change information may be included.

한편, 도 6에 도시된 바와 같이 가상 키패드(6)가 포함된 조작화면을 언급하여 설명하면, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제1조작정보(예 : 1,2 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제1회전설정변경정보를 포함할 수 있다. Meanwhile, referring to the operation screen including the virtual keypad 6 as illustrated in FIG. 6, the content setting control information includes first operation information (eg, inputting at least one key on the virtual keypad 6). : 1 or 2 inputs), when performing the augmented reality implementation function, the virtual coordinates applied to the virtual object by the preset rotation ratio in the preset first direction (eg, the right (x-axis) direction of the virtual coordinate (b)). The virtual coordinate first rotation setting change information that is rotated and changed may be included.

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제2조작정보(예 : 2,1 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제2방향(예 : 가상좌표(b)의 좌측(y축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제2회전설정변경정보를 포함할 수 있다.In addition, the content setting control information, the virtual coordinates applied to the virtual object when performing the augmented reality implementation function corresponding to the second operation information (for example, 2,1 input) for inputting at least one key on the virtual keypad (6) The virtual coordinate second rotation setting change information may be included by rotating by changing a preset rotation ratio in a preset second direction (eg, the left (y-axis) direction of the virtual coordinate b).

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제3조작정보(예 : 3,4 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보를 포함할 수 있다.In addition, the content setting control information, the virtual coordinates applied to the virtual object when performing the augmented reality implementation function corresponding to the third operation information (eg, 3, 4 input) for inputting at least one key on the virtual keypad (6) The virtual coordinate enlargement setting change information which is enlarged and changed at a preset enlargement ratio may be included.

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제4조작정보(예 : 4,3 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보를 포함할 수 있다.In addition, the content setting control information, the virtual coordinates applied to the virtual object when performing the augmented reality implementation function corresponding to the fourth operation information (for example, 4,3 input) for inputting at least one key on the virtual keypad (6) The virtual coordinate reduction setting change information which is reduced and changed by a preset reduction ratio may be included.

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제5조작정보(예 : 4,5,6 입력)에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보를 포함할 수 있고, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제6조작정보(예 : 6,5,4 입력)에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보를 포함할 수 있다.In addition, the content setting control information, the volume of the augmented reality content according to the implementation of the augmented reality corresponding to the fifth operation information (for example, 4, 5, 6 input) for inputting at least one key on the virtual keypad (6) The sixth operation information (eg, 6, 5, 4 input) for inputting at least one key on the virtual keypad 6 may include volume size increase setting change information for changing the size by changing the size to a preset size ratio. Correspondingly, the volume size reduction setting change information for reducing and changing the volume size of the augmented reality content according to the execution of the augmented reality implementation function may be included.

그리고 본 발명에 따른 증강현실컨텐츠재생장치(100)는, 동작인지부(140)를 더 포함한다.The augmented reality content playback apparatus 100 according to the present invention further includes a motion recognition unit 140.

동작인지부(140)는, 촬영부(110)에 의한 촬영영상에 근거하여, 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고 상기 손 이미지의 이동에 따라 발생되는 사용자 동작을 인지하여 인지결과를 장치제어부(160)로 출력한다.The motion recognition unit 140 recognizes a user's hand image according to a predefined hand image recognition policy and recognizes a user's motion generated by the movement of the hand image based on the captured image by the photographing unit 110. The recognition result is output to the device controller 160.

즉, 동작인지부(140)는 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고, 인식된 손 이미지의 이동에 따라 발생되는 사용자 동작을 인지할 수 있다.That is, the gesture recognition unit 140 may recognize the user's hand image according to a predefined hand image recognition policy, and may recognize a user's motion generated by the movement of the recognized hand image.

예를 들어, 도 5에 도시되 바와 같이 사용자가 촬영구역(1) 내로 손(20)을 접근시켜 인쇄서적(10) 상에 손(20)을 위치시키면, 동작인지부(140)는 기 정의된 손이미지인식정책을 토대로 사용자의 손 이미지를 인식함으로써 촬영영상에 손(20)이 접근/존재함을 인식할 수 있다.For example, as shown in FIG. 5, when the user approaches the hand 20 into the photographing zone 1 and places the hand 20 on the print book 10, the motion recognition unit 140 may define a predefined image. By recognizing a user's hand image based on the hand image recognition policy, the hand 20 may recognize the approach / existence of the photographed image.

여기서, 손이미지인식정책은, 손의 기 정의된 색상정보(예 : 살색)을 인식하여 살색 영역이 일정 크기 이상이면 손으로 인식하는 방식, 또는 손의 기 정의된 모양정보를 토대로 비슷한 모양이 인지되면 이를 손 이미지로 인식하는 방식, 또는 엣지(edge) 인식을 통해 손가락 끝을 인식하는 방식 등 다양한 기존의 알고리즘을 포함할 수 있다.Here, the hand image recognition policy recognizes a predetermined color information (for example, flesh color) of the hand and recognizes a similar shape based on a method of recognizing the hand if the flesh color area is a predetermined size or based on the predefined shape information of the hand. In this case, various conventional algorithms may be included, such as a method of recognizing a hand image or a method of recognizing a fingertip through edge recognition.

이처럼, 인쇄서적(10) 상에 손(20)이 위치함에 따라 손 이미지가 인식되면, 동작인지부(140)는, 손 이미지가 이동하는 이동 경로를 감시하여 손 이미지 이동에 의해 발생되는 사용자 동작에 해당하는 인지 결과를 장치제어부(160)로 제공한다.As such, when the hand image is recognized as the hand 20 is positioned on the print book 10, the motion recognition unit 140 monitors a movement path through which the hand image moves, and a user's motion generated by the hand image movement. The recognition result corresponding to this is provided to the device controller 160.

한편, 전술에서는 동작인지부(140)가 손 이미지를 인식하는 것을 설명하고 있으나 이는 일 실시예일 뿐이며, 동작인지부(140)는, 촬영영상에 근거하여 기 정의된 도구 이미지(예 : 포인터펜)를 인식하여 인식된 도구 이미지의 이동에 따라 발생되는 사용자 동작을 인지할 수도 있을 것이다.Meanwhile, in the above description, the gesture recognition unit 140 recognizes a hand image, but this is only an example, and the gesture recognition unit 140 may include a predefined tool image (eg, a pointer pen) based on a captured image. It may be able to recognize the user's motion generated by the movement of the recognized tool image.

이에, 장치제어부(160)는, 촬영영상에 근거하여, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 표시되는 조작화면정보에 따른 조작화면 또는 인쇄서적(10) 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 기 저장된 컨텐츠설정제어정보를 토대로 금번 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 증강현실 구현 기능의 수행을 제어하도록 증강현실서비스제어부(130)를 제어한다.Thus, the device control unit 160, based on the photographed image, specific included in the operation screen or the print book 10 according to the operation screen information displayed on the screen of the augmented reality content output through the output unit 120 When the input of specific operation information is recognized by the user's operation on the operation screen corresponding to the area where the operation image is displayed, the augmented reality implementation function is performed by reflecting the corresponding content setting change information according to the operation information based on previously stored content setting control information. Control the augmented reality service control unit 130 to control.

이하에서는, 설명의 편의를 위해 조작화면정보에 따른 조작화면을 표시하는 실시예를 언급하여 설명하도록 하겠다.Hereinafter, for convenience of description, an embodiment of displaying an operation screen according to the operation screen information will be described with reference.

구체적으로 설명하면, 장치제어부(160)는 전술과 같이 증강현실서비스제어부(130)에 의해 증강현실 컨텐츠를 출력부(120)를 통해 출력하여 증강현실 서비스가 제공되는 중, 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면 기 저장된 컨텐츠설정제어정보 내 조작화면정보에 근거하여 현재 출력되는 증강현실 컨텐츠의 화면에 해당 조작화면을 표시할 수 있다.Specifically, the device controller 160 outputs the augmented reality content through the output unit 120 by the augmented reality service control unit 130 as described above, while augmented reality content is provided by the user. When the manipulation function is selected, the manipulation screen may be displayed on the screen of the augmented reality content currently output based on the manipulation screen information in the content setting control information previously stored.

이에, 도 5 및 도 6을 참조하여 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 조작화면을 표시하는 예를 설명하도록 한다.Thus, an example of displaying an operation screen on the screen of the augmented reality content output through the output unit 120 will be described with reference to FIGS. 5 and 6.

먼저, 도 5를 참조하여 설명하면, 증강현실서비스제어부(130)에 의해 인쇄서적(10)을 촬영한 촬영영상에 가상객체(2)가 증강된 형태의 증강현실 컨텐츠를 출력하는 중 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면, 장치제어부(160)는 기 저장된 컨텐츠설정제어정보 내 조작화면정보에 근거하여, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면, 보다 구체적으로는 조작화면정보의 표시위치정보에 따른 위치 즉 인쇄서적(10)에 해당되는 화면 영역의 특정 영역에 조작화면정보의 조작화면표시정보에 따른 가상 스크롤바(5a,5b,5c)를 표시할 수 있다.First, referring to FIG. 5, the augmented reality service control unit 130 outputs augmented reality content in which the virtual object 2 is augmented to a photographed image of the print book 10. When the augmented reality content manipulation function is selected, the device controller 160 displays a screen of the augmented reality content output through the output unit 120, more specifically, an operation screen based on the manipulation screen information in the content setting control information previously stored. The virtual scroll bars 5a, 5b, and 5c according to the operation screen display information of the operation screen information may be displayed in a specific area of the screen area corresponding to the display position information of the information, that is, the print book 10.

한편, 도 6을 참조하여 설명하면, 증강현실서비스제어부(130)에 의해 인쇄서적(10)을 촬영한 촬영영상에 가상객체(2)가 증강된 형태의 증강현실 컨텐츠를 출력하는 중 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면, 장치제어부(160)는 기 저장된 컨텐츠설정제어정보 내 조작화면정보에 근거하여, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면, 보다 구체적으로는 조작화면정보의 표시위치정보에 따른 위치 즉 인쇄서적(10)에 해당되는 화면 영역의 특정 영역에 조작화면정보의 조작화면표시정보에 따른 가상 키패드(6)를 표시할 수 있다.Meanwhile, referring to FIG. 6, the augmented reality service control unit 130 outputs the augmented reality content in which the virtual object 2 is augmented to the photographed image of the print book 10. When the augmented reality content manipulation function is selected, the device controller 160 displays a screen of the augmented reality content output through the output unit 120, more specifically, an operation screen based on the manipulation screen information in the content setting control information previously stored. The virtual keypad 6 according to the operation screen display information of the operation screen information may be displayed in a specific area of the screen area corresponding to the display position information of the information, that is, the print book 10.

한편, 전술과 같이 컨텐츠설정제어정보 내 조작화면정보에 근거하여 가상의 스크롤바 또는 가상의 키패드를 포함하는 조작화면을 표시하는 경우가 아니더라도 인쇄서적(10) 상에 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 특정 조작이미지가 인쇄되어 있음에 따라, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 조작이미지가 표시된 영역에 해당하는 조작화면이 이미 존재하게 될 수도 있을 것이다.On the other hand, at least one of the scroll bar image and the keypad image on the print book 10 even if the operation screen including the virtual scroll bar or the virtual keypad is not displayed based on the operation screen information in the content setting control information as described above. As a specific manipulation image including the printed image is printed, the manipulation screen corresponding to the region where the manipulation image is displayed may already exist on the screen of the augmented reality content output through the output unit 120.

장치제어부(160)는, 사용자에 의해 조작 안내정보 확인이 선택되는 경우, 조작화면정보에 근거하여 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경 결과를 포함하는 조작안내화면을 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 더 표시할 수도 있다.When the user selects the operation guide information, the device controller 160 includes an operation movement path corresponding to the at least one operation information based on the operation screen information and a content setting change result according to the operation movement path. The operation guide screen may be further displayed on the screen of the augmented reality content output through the output unit 120.

도 5를 언급하여 예를 들면, 사용자에 의해 조작 안내정보 확인이 선택되는 경우, 장치제어부(160)는, 가상 스크롤바(5a,5b,5c)를 포함하는 조작화면에서 가능한 각 조작정보에 대응하여 순차적으로 해당 조작정보(예 : 제1조작정보)를 입력하기 위해 사용자가 조작 이동해야 하는 조작 이동경로(예 : 가상 스크롤바(5a)의 우측 이동 시뮬레이션 영상)를 표시하고 해당 조작 이동경로에 따라 사용자가 해당 조작정보(예 : 제1조작정보)를 입력한 경우 이에 따른 컨텐츠 설정변경정보가 반영되어 증강현실 구현 기능이 수행되면 변경되게 되는 정보 즉 컨텐츠 설정변경결과(예 : 가상객체가 우측 방향으로 90도 회전)를 표시함으로써, 조작안내화면을 표시할 수 있다.For example, referring to FIG. 5, when the operation guidance information confirmation is selected by the user, the device control unit 160 corresponds to each operation information available on the operation screen including the virtual scroll bars 5a, 5b, and 5c. In order to input the corresponding operation information (e.g., the first operation information), the operation movement path (for example, a simulation image of the right movement of the virtual scroll bar 5a) that the user needs to move in operation is displayed and the user is moved according to the operation movement path. If the user inputs the operation information (eg, the first operation information), the contents setting change information is reflected accordingly and the information that is changed when the augmented reality implementation function is executed, that is, the contents setting change result (eg, the virtual object is directed to the right direction). 90 degree rotation), the operation guide screen can be displayed.

물론, 장치제어부(160)는, 가상 스크롤바(5a,5b,5c)를 포함하는 조작화면에서 가능한 각 조작정보에 대응하는 조작 이동경로 및 이에 따른 컨텐츠 설정변경결과를 한 화면에 모두 표시하는 조작안내화면을 표시할 수도 있을 것이다.Of course, the device controller 160 may display an operation movement path corresponding to each operation information possible on the operation screen including the virtual scroll bars 5a, 5b, and 5c, and a result of changing content setting on one screen. You might be able to display the screen.

이에, 증강현실컨텐츠재생장치(100)의 사용자로 하여금, 조작화면을 어떤 조작 이동경로에 따라 조작하면 출력 중인 증강현실 컨텐츠에 어떤 변경결과가 적용될 수 있는지를 미리 인지할 수 있도록 한다.Thus, the user of the augmented reality content reproducing apparatus 100 enables the user to recognize in advance which change result can be applied to the augmented reality content being outputted by manipulating the operation screen according to a certain movement path.

장치제어부(160)는, 전술과 같이 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택됨에 따라 증강현실 컨텐츠의 화면에 해당 조작화면을 표시한 상태에서 해당 조작화면 상에서, 또는 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 미리 인쇄된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서, 동작인지부(140)로부터 제공되는 인지 결과에 근거하여 사용자 동작에 의해 특정 조작정보의 입력이 인지되는지 여부를 판단한다.As described above, the device controller 160 may display the operation screen on the screen of the augmented reality content as the user selects the augmented reality content manipulation function on the operation screen or at least one of a scroll bar image and a keypad image. On the operation screen corresponding to the region in which the pre-printed specific operation image including one is displayed, it is determined whether the input of the specific operation information is recognized by the user's operation based on the recognition result provided from the operation recognition unit 140. .

즉, 장치제어부(160)는, 동작인지부(140)로부터 제공되는 인지 결과에 근거하여 조작화면 상에서 사용자 동작에 의해 특정 조작정보 예를 들면 저장된 컨텐츠설정제어정보 내 설정된 제1조작정보 내지 제6조작정보 중 하나의 입력이 인지되는지 여부를 판단할 수 있다.That is, the device controller 160 determines the first operation information to the sixth operation information set in the specific operation information, for example, the stored content setting control information, by the user's operation on the operation screen based on the recognition result provided from the operation recognition unit 140. It may be determined whether an input of one of the manipulation information is recognized.

이에, 조작정보 입력 인지 결과, 특정 조작정보가 입력된다고 인지되면 장치제어부(160)는, 컨텐츠설정제어정보를 토대로 금번 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 증강현실 구현 기능의 수행을 제어하도록 증강현실서비스제어부(130)를 제어할 수 있다.Therefore, when it is recognized that the specific operation information is input as a result of the operation information input, the device controller 160 controls the performance of the augmented reality implementation function by reflecting the corresponding content setting change information according to the operation information based on the content setting control information. The augmented reality service control unit 130 may be controlled to.

도 5를 참조하여 예를 들면, 조작정보 입력 인지 결과 가상 스크롤바(5a)를 우측으로 이동시키는 제1조작정보가 입력된다고 인지되면, 장치제어부(160)는 컨텐츠설정제어정보를 토대로 금번 조작정보 즉 제1조작정보에 따른 해당 가상좌표 제1회전설정변경정보를 반영하여, 가상객체(2)에 적용되는 가상좌표(b)를 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하고 이를 토대로 증강현실 구현 기능의 수행을 제어하도록 증강현실서비스제어부(130)를 제어할 수 있다.For example, with reference to FIG. 5, when it is recognized that first operation information for moving the virtual scroll bar 5a to the right is input as a result of the recognition of operation information input, the device controller 160 determines the operation information, that is, based on the content setting control information. Reflecting the first rotation setting change information of the corresponding virtual coordinate according to the first operation information, the virtual coordinate b applied to the virtual object 2 is moved in the first direction (for example, the right side (x axis) of the virtual coordinate b). Direction) to change the rotation rate by a predetermined rotation rate and control the augmented reality service control unit 130 to control the execution of the augmented reality implementation function based on this.

이에, 증강현실서비스제어부(130)는, 현재 수행 중인 증간현실 구현 기능 수행에 있어서, 변경된 가상좌표 즉 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전된 가상좌표를 적용하여 촬영영상에 가상객체(2)를 렌더링하여 증강현실 컨텐츠를 출력함으로써, 증간현실 구현 기능을 수행할 수 있다.Accordingly, the AR service control unit 130 may preset rotation ratios in a changed virtual coordinate, that is, in a first direction (for example, the right (x-axis) direction of the virtual coordinate (b)) when the augmented reality implementing function is currently being performed. By applying the rotated virtual coordinates by rendering the virtual object (2) in the photographed image to output the augmented reality content, it is possible to perform augmented reality implementation function.

증강현실 서비스는, 출력부(120)의 디스플레이부 화면에 적용되는 실제 좌표와, 증강현실 서비스에 따라 렌더링되는 가상객체에 적용되는 가상 좌표(예 : 도 5 및 도 6의 b)를 갖는다.The augmented reality service has an actual coordinate applied to the display screen of the output unit 120 and a virtual coordinate applied to the virtual object rendered according to the augmented reality service (eg, FIGS. 5 and 6 b).

따라서, 사용자가 조작/입력하는 조작정보에 따라 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 회전 또는 확대 또는 축소시켜 변경하면, 결과적으로 증강현실컨텐츠재생장치(100)에서 출력하는 증강현실 컨텐츠에서 촬영영상에 렌더링되는 가상객체가 회전 또는 확대 또는 축소되어 표시될 것이다.Therefore, if the virtual coordinates applied to the virtual object are rotated or enlarged or reduced according to the operation information input / operated by the user, the augmented reality content output device 100 outputs the result. The virtual object rendered in the captured image in the content will be displayed by being rotated or enlarged or reduced.

한편, 컨텐츠설정제어정보 내 조작화면정보에 근거하여 도 5와 같이 가상 스크롤바(5a)를 포함한 조작화면을 표시한 경우가 아닌 인쇄서적(10) 상에 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 특정 조작이미지가 인쇄되어 있음에 따라 조작이미지가 표시된 영역에 해당하는 조작화면이 존재하는 경우라면, 이러한 조작화면 상에서의 조작정보 입력 인지 결과 스크롤바이미지 상에서 손을 우측으로 이동시키는 제1조작정보가 입력된다고 인지되면, 장치제어부(160)는 컨텐츠설정제어정보를 토대로 금번 조작정보 즉 제1조작정보에 따른 해당 가상좌표 제1회전설정변경정보를 반영하여, 가상객체(2)에 적용되는 가상좌표(b)를 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하고 이를 토대로 증강현실 구현 기능의 수행을 제어하도록 증강현실서비스제어부(130)를 제어할 수도 있을 것이다.On the other hand, based on the operation screen information in the content setting control information as shown in FIG. 5, at least one of a scroll bar image and a keypad image on the print book 10 is not displayed when the operation screen including the virtual scroll bar 5a is displayed. If there is an operation screen corresponding to a region in which the operation image is displayed as a specific operation image is printed, the first operation information for moving the hand to the right on the scroll bar image as a result of inputting the operation information on the operation screen. If it is recognized as input, the device controller 160 reflects the operation information, that is, the corresponding virtual coordinate first rotation setting change information according to the first operation information based on the content setting control information, and the virtual coordinate applied to the virtual object 2. Change (b) by rotating it in the first direction (for example, to the right (x-axis) direction of the virtual coordinate (b)) by a preset rotation rate and increase it based on this. To control the execution of the real implementation function will also control the augmented reality service controller 130.

한편, 도 6을 참조하여 예를 들면, 조작정보 입력 인지 결과 가상 키패드(6)에서 키를 입력하는 제5조작정보(예 : 4,5,6 입력)의 입력이 인지되면, 장치제어부(160)는 컨텐츠설정제어정보를 토대로 금번 조작정보 즉 제5조작정보에 따른 해당 볼륨크기 증가설정변경정보를 반영하여, 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하고 이를 토대로 증강현실 구현 기능의 수행을 제어하도록 증강현실서비스제어부(130)를 제어할 수 있다.On the other hand, referring to Figure 6, for example, if the result of the operation information input recognition of the input of the fifth operation information (for example, 4, 5, 6 input) to enter the key on the virtual keypad 6, the device controller 160 ) Changes the volume size of the augmented reality content to a preset size ratio based on the current operation information, that is, the corresponding volume size increase setting change information according to the fifth operation information, and changes the realization based on the content setting control information. The augmented reality service control unit 130 may be controlled to control the performance of the function.

이에, 증강현실서비스제어부(130)는, 현재 수행 중인 증간현실 구현 기능 수행에 있어서, 변경된 볼륨크기 즉 기 설정된 크기 비율로 증가된 볼륨크기를 적용하여 촬영영상에 가상객체(2)를 렌더링하여 증강현실 컨텐츠를 출력함으로써, 증간현실 구현 기능을 수행할 수 있다.Accordingly, the AR service control unit 130 renders the virtual object 2 in the photographed image by applying a changed volume size, that is, a volume size increased by a preset size ratio, in performing the present augmented reality implementation function. By outputting the reality content, an augmented reality realization function can be performed.

더 나아가, 장치제어부(160)는, 컨텐츠설정제어정보에 대한 설정변경정보를 조정하는 설정변경정보 조정기능을 제공하고, 상기 설정변경정보 조정기능을 통한 사용자의 조정에 대응하여 상기 컨텐츠설정제어정보를 변경/저장할 수 있다.Furthermore, the device controller 160 provides a setting change information adjusting function for adjusting setting change information for content setting control information, and the content setting control information in response to a user's adjustment through the setting change information adjusting function. Can be changed / saved.

즉, 장치제어부(160)는, 사용자로부터 설정변경정보 조정기능 실행이 입력되면 컨텐츠설정제어정보에 대한 설정변경정보를 조정할 수 있는 설정변경정보 조정메뉴를 표시함으로써 설정변경정보 조정기능을 제공할 수 있다.That is, the device controller 160 may provide a setting change information adjusting function by displaying a setting change information adjusting menu for adjusting setting change information for content setting control information when a user executes setting change information adjusting function. have.

이에, 사용자는 설정변경정보 조정메뉴를 조작하여, 각 조작정보에 대응하는 조작 이동경로를 변경/조정할 수 있고, 각 조작정보 별로 원하는 컨텐츠 설정변경정보(예 : 회전/확대/축소/볼륨크기 증가/볼륨크기 감소 등)를 변경하여 매칭/조정할 수 있고, 더 나아가 컨텐츠 설정변경정보(예 : 회전/확대/축소/볼륨크기 증가/볼륨크기 감소 등) 별로 설정 파라미터(예 : 회전속도, 회전방향, 최종회전각, 프레임레이트, 축소비율, 최소축소비율, 확대비율, 최대확대비율, 적용대상(예 : 증강현실 컨텐츠 전체 또는 가상 객체) 등)을 설정/조정할 수 있다.Accordingly, the user can operate the setting change information adjustment menu to change / adjust the operation movement path corresponding to each operation information, and the desired content setting change information for each operation information (e.g. rotation / enlarge / reduce / volume size increase). / Volume size reduction, etc. can be changed and matched, and furthermore, setting parameters (e.g. rotation speed, direction of rotation, etc.) for each content setting change information (e.g. rotation / expansion / reduction / volume size / volume size reduction). You can set / adjust the final rotation angle, frame rate, reduction ratio, minimum reduction ratio, enlargement ratio, maximum contrast ratio, and application target (for example, augmented reality content or virtual object).

이상에서 설명한 바와 같이, 본 발명에 따른 증강 현실 서비스 제공 시스템은, 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서 증강현실 컨텐츠의 화면의 조작화면 상에서 사용자가 손과 같은 일상적인 도구를 이용하여 증강현실 컨텐츠 내 특정 가상객체를 이동시키거나 볼륨을 조정하는 등 증강현실 컨텐츠를 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.As described above, in the augmented reality service providing system according to the present invention, in the augmented reality service for providing augmented reality content, a user using an ordinary tool such as a hand on the operation screen of the screen of the augmented reality content augmented reality By manipulating augmented reality content such as moving a specific virtual object or adjusting volume within the content, it is possible to provide a more intuitive and various interaction to the user and improve the realism.

이하에서는 도 3 내지 도 4를 참조하여, 본 발명의 바람직한 실시예에 따른 증강 현실 서비스 제공 방법을 설명하도록 한다. 여기서, 설명의 편의를 위해 전술한 도 1 내지 도 2 및 도 5, 도6에 도시된 구성은 해당 참조번호를 언급하여 설명하겠다. Hereinafter, a method of providing augmented reality service according to a preferred embodiment of the present invention will be described with reference to FIGS. 3 to 4. Here, for the convenience of description, the configuration shown in FIGS. 1 to 2, 5, and 6 will be described with reference to the corresponding reference numerals.

먼저, 도 3을 참조하여 본 발명의 증강 현실 서비스 제공 방법을 설명하면 다음과 같다. First, the augmented reality service providing method of the present invention will be described with reference to FIG. 3.

정보제공서버(200)는, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 증강현실컨텐츠재생장치(100)로 제공한다(S10).The information providing server 200 may include content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information. 100) to be provided (S10).

바람직하게는, 정보제공서버(200)는, 조작정보의 입력을 유도하는 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면을 표시하기 위한 조작화면표시정보와, 상기 조작화면을 상기 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 상기 조작화면정보를 포함하는 컨텐츠설정제어정보를 관리할 수 있다.Preferably, the information providing server 200, the operation screen display information for displaying the operation screen including at least one of a virtual scroll bar and a virtual keypad for inducing input of the operation information and the operation screen; Preset display position information to be displayed on at least one region of the screen of the augmented reality content, operation movement path corresponding to the at least one operation information, and operation guide information for displaying a content setting change result according to the operation movement path; Content setting control information including the operation screen information including at least one of the can be managed.

더불어, 정보제공서버(200)에서 관리되는 컨텐츠설정제어정보는, 각 조작정보에 대응하는 컨텐츠 설정변경정보로서, 인쇄서적(10)에 이미 인쇄된 상태의 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 특정 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함할 수 있다.In addition, the content setting control information managed by the information providing server 200 is content setting change information corresponding to each operation information, and includes at least one of a scroll bar image and a keypad image already printed on the print book 10. In response to the first operation information recognized on the basis of the operation screen including at least one of the operation screen corresponding to the region on which the specific operation image including the display or the virtual scroll bar according to the operation screen information and the virtual keypad are included. Virtual coordinates first rotation setting for changing the virtual coordinates applied to the virtual object rendered on the captured image in the augmented reality content according to the execution of the augmented reality to rotate at a preset rotation rate in a preset first direction. The virtual coordinates applied to the virtual object in response to the change information and the second operation information are set in the preset second direction. Virtual coordinates to be rotated and changed at a preset rotation rate; second rotation setting change information; and virtual coordinate enlargement setting change information for changing and changing the virtual coordinates applied to the virtual object at a preset magnification ratio in response to the third operation information; Virtual coordinate reduction setting change information for reducing and changing a virtual coordinate applied to the virtual object at a preset reduction ratio in response to fourth manipulation information, and augmented reality content according to performing the augmented reality implementation function in response to fifth manipulation information. Change the volume size of the augmented reality content according to the implementation of the augmented reality content corresponding to the sixth operation information by changing the volume size increase setting change information which is changed by changing the volume size of the predetermined size ratio to a preset size ratio. It may include at least one of the volume size reduction setting change information.

이에, 정보제공서버(200)는, 전술과 같은 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 관리하며, 증강현실컨텐츠재생장치(100)로부터의 요청에 따라 또는 컨텐츠설정제어정보 업데이트와 같은 특정 제공 이벤트 발생 시에 해당되는 컨텐츠설정제어정보를 증강현실컨텐츠재생장치(100)로 제공할 수 있다.Accordingly, the information providing server 200 manages the content setting control information including at least one of the content setting change information and the operation screen information corresponding to the at least one operation information as described above, and the augmented reality content playback device ( According to a request from 100 or when a specific provisioning event such as content setting control information update occurs, content setting control information corresponding to the content setting control information may be provided to the augmented reality content playback device 100.

그리고 증강현실컨텐츠재생장치(100)는, 정보제공서버(200)로부터 제공되는 컨텐츠설정제어정보를 저장할 수 있다(S20).The augmented reality content playback device 100 may store content setting control information provided from the information providing server 200 (S20).

이러한 증강현실컨텐츠재생장치(100)는, 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 사용자에게 인지 가능하도록 출력함으로써, 증강현실 서비스를 제공한다(S30~S40).The apparatus for reproducing augmented reality content 100 provides an augmented reality service by outputting augmented reality content to a user so that the user can recognize augmented reality content according to a preset augmented reality implementation function (S30 to S40).

예를 들면, 증강현실컨텐츠재생장치(100)는, 도 1에 도시된 바와 같이 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영하고(S30), 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 촬영영상에 가상객체를 적용한 증강현실 컨텐츠를 출력할 수 있다(S40).For example, the augmented reality content reproducing apparatus 100, as shown in Figure 1, photographing the print book 10 located in the specific photographing zone (1) (S30), and analyzes the photographed image taken to analyze According to the execution of the preset augmented reality implementation function corresponding to the result, the augmented reality content applying the virtual object to the captured image may be output (S40).

이에, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치한 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 분석하여, 분석 결과 마커가 존재하지 않으면 촬영된 실시간 촬영영상을 가상객체 증강 없이 그대로 처리하여 출력하고, 분석 결과 마커가 존재하면 해당 마커에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링 및 사운드 출력)을 수행하여 촬영된 실시간 촬영영상에 가상객체(예 : 3D의 그래픽 모델 및 사운드)를 증강하여 출력함으로써, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 증강현실 서비스를 제공할 수 있다.Thus, the augmented reality content playback apparatus 100 analyzes the photographed image of the unfolded page of the printed book 10 located in the specific photographing zone 1, and if the marker is not present as a result of the analysis, the real-time photographed image is captured. The virtual object is processed and output as it is without augmenting the virtual object, and if a marker exists as a result of analysis, the virtual object is performed on the real-time shot image captured by performing a preset augmented reality implementation function (e.g. 3D graphic model rendering and sound output) corresponding to the marker. By augmenting and outputting (eg, 3D graphic model and sound), an augmented reality service can be provided based on a photographed image of the print book 10.

한편, 전술에서는 인쇄서적(10)에 마커가 포함되어 마커 인식을 통해 증강현실컨텐츠재생장치(100)가 증강현실 서비스를 제공하고 있지만 이는 일 실시예 일 뿐이다.Meanwhile, in the above description, although the marker is included in the printed book 10 and the augmented reality content reproducing apparatus 100 provides augmented reality service through marker recognition, this is only an example.

즉, 인쇄서적(10)에 별도 마커가 포함되지 않더라도, 증강현실컨텐츠재생장치(100)에서는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 기 설정된 증강현실 서비스를 제공하는 것도 물론 가능할 것이다.That is, even if a separate marker is not included in the printed book 10, the AR content reproducing apparatus 100 may also provide various augmented reality services based on various marker free or markerless methods. Of course it will be possible.

이때, 증강현실컨텐츠재생장치(100)는, 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한 촬영영상에 근거하여 전술과 같이 증강현실 서비스를 제공함에 있어서, 기 저장된 컨텐츠설정제어정보 내 조작화면정보에 따른 조작화면을 증강현실 컨텐츠의 화면에 출력/표시하고(S50), 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면(S60) 컨텐츠설정제어정보를 토대로 금번 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행할 수 있다(S70).In this case, the augmented reality content playback device 100, based on the photographed image of the print book 10 is located in the photographing zone (1) to provide the augmented reality service as described above, in the pre-stored content setting control information Output / display the operation screen according to the operation screen information on the screen of the augmented reality content (S50), and when the input of specific operation information by the user's operation is recognized based on the operation screen (S60), the operation is performed based on the content setting control information. The augmented reality implementation function may be performed by reflecting the corresponding content setting change information according to the information (S70).

이하에서는, 도 4를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치의 동작 방법을 보다 구체적으로 설명하도록 한다.Hereinafter, an operation method of the apparatus for reproducing augmented reality content according to the present invention will be described in more detail with reference to FIG. 4.

본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장한다(S100). The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention includes content setting change information corresponding to at least one operation information and content setting including at least one of operation screen information for inducing input of the operation information. The control information is stored (S100).

여기서, 컨텐츠설정제어정보는, 외부의 정보제공서버(200)로부터 제공/저장되는 것이 가능할 것이다.Here, the content setting control information may be provided / stored from an external information providing server 200.

구체적으로 설명하면 컨텐츠설정제어정보는, 사용자로 하여금 조작정보의 입력할 수 있도록 유도하는 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 조작화면을 표시하기 위한 조작화면표시정보와, 조작화면을 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 조작화면정보를 포함할 수 있다.Specifically, the content setting control information includes operation screen display information for displaying an operation screen including at least one of a virtual scroll bar and a virtual keypad for inducing a user to input operation information, and an operation screen. Display position information set to be displayed on at least one area of the screen of the augmented reality content output through the output unit 120, an operation movement path corresponding to the at least one operation information, and content setting change according to the operation movement path. It may include operation screen information including at least one of the operation guide information for displaying a result.

여기서, 조작안내정보는, 적어도 하나의 조작정보 각각에 대응하여 해당 조작정보를 입력하기 위해 사용자가 조작 이동해야 하는 조작 이동경로를 표시하고, 해당 조작 이동경로에 따라 사용자가 조작정보를 입력한 경우 이에 따른 컨텐츠 설정변경정보가 반영되어 증강현실 구현 기능이 수행되면 변경되게 되는 정보 즉 컨텐츠 설정변경결과를 표시하기 위한 정보에 해당한다.Herein, the operation guide information indicates an operation movement path that the user needs to move in order to input the operation information corresponding to each of the at least one operation information, and the user inputs the operation information according to the operation movement path. Accordingly, the content setting change information is reflected to correspond to information that is changed when the augmented reality implementation function is performed, that is, information for displaying the content setting change result.

예를 들면, 조작안내정보는, 후술할 제1조작정보(예 : 가상 스크롤바(5a)의 우측 이동)에 대응하여, 제1조작정보를 입력하기 위해 사용자가 조작 이동해야 하는 조작 이동경로(예 : 가상 스크롤바(5a)의 우측 이동 시뮬레이션 영상)를 표시하고, 해당 조작 이동경로에 따라 사용자가 제1조작정보를 입력한 경우 이에 따른 컨텐츠 설정변경정보가 반영되어 증강현실 구현 기능이 수행되면 변경되게 되는 정보 즉 컨텐츠 설정변경결과(예 : 가상객체가 우측 방향으로 90도 회전)를 표시하기 위한 제1조작정보 대응 조작안내정보를 포함할 수 있다.For example, the operation guide information may correspond to the first operation information (for example, the right movement of the virtual scroll bar 5a) to be described later, and the operation movement path (eg, the user should operate) in order to input the first operation information. : Display the right side simulation image of the virtual scroll bar (5a), and if the user inputs the first operation information according to the operation movement path, the content setting change information is reflected accordingly to be changed when the augmented reality implementation function is performed. The first manipulation information may include manipulation guide information corresponding to the first manipulation information for displaying the information, that is, the content setting change result (for example, the virtual object rotates 90 degrees in the right direction).

그리고, 컨텐츠설정제어정보는, 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보로서, 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는, 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함할 수 있다.The content setting control information is content setting change information corresponding to at least one operation information, and the operation screen or the operation screen information corresponding to an area where an operation image including at least one of a scroll bar image and a keypad image is displayed. Rendering on the captured image in the augmented reality content according to performing the augmented reality implementation function corresponding to the first operation information, which is recognized based on the operation screen including at least one of a virtual scroll bar and a virtual keypad according to Virtual coordinates that are applied to the rendered virtual object by rotating the virtual coordinates in a preset first direction at a preset rotation rate and changing the virtual coordinates applied to the virtual object in response to the first rotation setting change information and the second operation information. The second virtual coordinate by rotating the controller at a preset rotation rate in a second preset direction Virtual coordinate enlargement setting change information for changing the virtual coordinates applied to the virtual object corresponding to the preset setting change information and the third operation information at a preset enlargement ratio and changing the virtual coordinates to be applied to the virtual object corresponding to the fourth operation information. The virtual coordinate reduction setting change information which is reduced by changing the virtual coordinate at a preset reduction ratio, and the volume size of the augmented reality content according to the execution of the augmented reality implementation function corresponding to the fifth manipulation information is increased by changing to a preset size ratio. At least one of volume size increase setting change information and volume size reduction setting change information for changing and reducing the volume size of augmented reality content according to the execution of the augmented reality realization function according to a sixth operation information to a predetermined size ratio. can do.

예를 들어 도 5에 도시된 바와 같이 가상 스크롤바(5a,5b,5c)가 포함된 조작화면을 언급하여 설명하면, 컨텐츠설정제어정보는, 가상 스크롤바(5a)를 우측으로 이동시키는 제1조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제1회전설정변경정보를 포함할 수 있다. For example, referring to the operation screen including the virtual scroll bars 5a, 5b, and 5c as illustrated in FIG. 5, the content setting control information includes first operation information for moving the virtual scroll bar 5a to the right. In response to the function of implementing the augmented reality, a virtual coordinate that is changed by rotating a virtual coordinate applied to the virtual object by a preset rotation ratio in a first predetermined direction (eg, the right (x-axis) direction of the virtual coordinate (b)). The first rotation setting change information may be included.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5a)를 좌측으로 이동시키는 제2조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제2방향(예 : 가상좌표(b)의 좌측(y축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제2회전설정변경정보를 포함할 수 있다.In addition, the content setting control information is a second direction (eg, virtual coordinates) that is applied to the virtual coordinates applied to the virtual object when performing the additional reality implementation function corresponding to the second operation information for moving the virtual scroll bar 5a to the left. virtual coordinate second rotation setting change information which is rotated to a predetermined rotation ratio to the left (y-axis direction) of b) and changed.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5b)를 우측으로 이동시키는 제3조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보를 포함할 수 있다.In addition, the content setting control information is a virtual coordinate that is expanded by changing the virtual coordinate applied to the virtual object at a preset magnification ratio in response to the third operation information for moving the virtual scroll bar 5b to the right. The enlargement setting change information may be included.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5b)를 좌측으로 이동시키는 제4조작정보에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보를 포함할 수 있다.In addition, the content setting control information corresponds to the fourth operation information for moving the virtual scroll bar 5b to the left, and the virtual coordinates are reduced by changing the virtual coordinates applied to the virtual object to a preset reduction ratio when performing the additional reality implementation function. The reduced setting change information may be included.

또한, 컨텐츠설정제어정보는, 가상 스크롤바(5c)를 상측으로 이동시키는 제5조작정보에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보를 포함할 수 있고, 가상 스크롤바(5c)를 하측으로 이동시키는 제6조작정보에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보를 포함할 수 있다.In addition, the content setting control information, in response to the fifth operation information for moving the virtual scroll bar 5c upwards, the volume size of increasing and changing the volume size of the augmented reality content according to the implementation of the augmented reality implementation function to a predetermined size ratio It may include the increase setting change information, and in response to the sixth operation information for moving the virtual scroll bar (5c) to the lower side to reduce the volume size of the augmented reality content in accordance with the implementation of the augmented reality content to change to a predetermined size ratio The volume size reduction setting change information may be included.

한편, 도 6에 도시된 바와 같이 가상 키패드(6)가 포함된 조작화면을 언급하여 설명하면, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제1조작정보(예 : 1,2 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제1회전설정변경정보를 포함할 수 있다. Meanwhile, referring to the operation screen including the virtual keypad 6 as illustrated in FIG. 6, the content setting control information includes first operation information (eg, inputting at least one key on the virtual keypad 6). : 1 or 2 inputs), when performing the augmented reality implementation function, the virtual coordinates applied to the virtual object by the preset rotation ratio in the preset first direction (eg, the right (x-axis) direction of the virtual coordinate (b)). The virtual coordinate first rotation setting change information that is rotated and changed may be included.

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제2조작정보(예 : 2,1 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 제2방향(예 : 가상좌표(b)의 좌측(y축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하는 가상좌표 제2회전설정변경정보를 포함할 수 있다.In addition, the content setting control information, the virtual coordinates applied to the virtual object when performing the augmented reality implementation function corresponding to the second operation information (for example, 2,1 input) for inputting at least one key on the virtual keypad (6) The virtual coordinate second rotation setting change information may be included by rotating by changing a preset rotation ratio in a preset second direction (eg, the left (y-axis) direction of the virtual coordinate b).

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제3조작정보(예 : 3,4 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보를 포함할 수 있다.In addition, the content setting control information, the virtual coordinates applied to the virtual object when performing the augmented reality implementation function corresponding to the third operation information (eg, 3, 4 input) for inputting at least one key on the virtual keypad (6) The virtual coordinate enlargement setting change information which is enlarged and changed at a preset enlargement ratio may be included.

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제4조작정보(예 : 4,3 입력)에 대응하여 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보를 포함할 수 있다.In addition, the content setting control information, the virtual coordinates applied to the virtual object when performing the augmented reality implementation function corresponding to the fourth operation information (for example, 4,3 input) for inputting at least one key on the virtual keypad (6) The virtual coordinate reduction setting change information which is reduced and changed by a preset reduction ratio may be included.

또한, 컨텐츠설정제어정보는, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제5조작정보(예 : 4,5,6 입력)에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보를 포함할 수 있고, 가상 키패드(6) 상의 적어도 하나의 키를 입력하는 제6조작정보(예 : 6,5,4 입력)에 대응하여 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보를 포함할 수 있다.In addition, the content setting control information, the volume of the augmented reality content according to the implementation of the augmented reality corresponding to the fifth operation information (for example, 4, 5, 6 input) for inputting at least one key on the virtual keypad (6) The sixth operation information (eg, 6, 5, 4 input) for inputting at least one key on the virtual keypad 6 may include volume size increase setting change information for changing the size by changing the size to a preset size ratio. Correspondingly, the volume size reduction setting change information for reducing and changing the volume size of the augmented reality content according to the execution of the augmented reality implementation function may be included.

이러한 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 지정된 특정 촬영구역(1)을 촬영하여 특정 촬영구역(1)에 놓인 인쇄서적(10)을 촬영할 수 있다(S110).The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may photograph the designated specific photographing region 1 and photograph the printed book 10 placed in the specific photographing region 1 (S110).

그리고 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 인쇄서적(10)을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행하여(S120), 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력부(120)를 통해 출력하여 증강현실 서비스를 제공한다(S130).And the operation method of the augmented reality content playback device 100 according to the present invention, by performing a preset augmented reality implementation function based on the photographed image of the print book 10 (S120), according to the augmented reality implementation function The augmented reality content is output through the output unit 120 to provide an augmented reality service (S130).

예를 들면 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영된 촬영영상을 분석하여 촬영영상 내의 마커를 인지한 인지 결과 즉, 촬영영상 내에 마커가 존재하는지 여부 및 존재하는 경우 어떤 마커가 존재하는지에 대응하는 분석 결과에 근거하여, 분석 결과에 따라 기 설정된 증강현실 구현기능을 수행함으로써 촬영영상에 가상객체를 적용한 증강현실 컨텐츠를 출력부(120)를 통해 출력한다. For example, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention analyzes the photographed photographed image to recognize a marker in the photographed image, that is, whether or not the marker exists in the photographed image. Based on the analysis result corresponding to which marker exists, the augmented reality content is applied through the output unit 120 by applying the virtual object to the captured image by performing a preset augmented reality implementation function according to the analysis result.

다시 말해, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상 내에 마커가 존재하지 않으면 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 가상객체 증강 없이 그대로 처리하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상의 컨텐츠가 증강현실 컨텐츠에 대응된다.In other words, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention, if a marker is not present in a captured image, captures a captured real-time captured image, that is, a captured image of an unfolded page of the printed book 10. It can be processed through the output unit 120 as it is without augmentation. In this case, the content of the captured image photographing the unfolded page of the print book 10 corresponds to the augmented reality content.

또한, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상 내에 마커가 존재하면 해당 마커에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링 및 사운드 출력)을 수행함으로써, 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지에 가상객체(예 : 3D의 그래픽 모델 및 사운드)를 증강하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지에 가상객체(예 : 3D의 그래픽 모델 및 사운드)를 렌더링한 컨텐츠가 증강현실 컨텐츠에 대응된다.In addition, the operation method of the augmented reality content playback device 100 according to the present invention, if a marker is present in the photographed image to implement a preset augmented reality implementation function (for example, 3D graphic model rendering and sound output) corresponding to the marker By doing so, the virtual object (eg, 3D graphic model and sound) may be augmented and output through the output unit 120 on the captured real-time photographed image, that is, the unfolded page of the printed book 10. In this case, the content of rendering a virtual object (eg, 3D graphic model and sound) on the open page of the print book 10 corresponds to the augmented reality content.

이처럼, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 인쇄서적(10)을 촬영한 촬영영상의 마커를 기반으로 일반적인 증강현실 서비스를 제공할 수 있다.As described above, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may provide a general augmented reality service based on a marker of a photographed image photographing the printed book 10.

한편, 전술에서는 인쇄서적(10)에 마커가 포함되어 마커 인식을 통해 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법에서 증강현실 서비스를 제공하고 있지만 이는 일 실시예일 뿐이다.Meanwhile, in the above description, although the marker is included in the printed book 10, the augmented reality service is provided in the method of operating the augmented reality content playback apparatus 100 according to the present invention through marker recognition, but this is only an example.

즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 기 설정된 증강현실 서비스 제공 기능을 구비하고, 인쇄서적(10)에 마커가 포함되지 않은 경우에도 해당하는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스를 제공할 수 있을 것이다.That is, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention includes a preset augmented reality service providing function based on various marker free or marker-less, and a printed book ( Even if the marker is not included in 10), various marker free or marker-less based augmented reality services may be provided.

이처럼, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 마커 기반 또는 마커프리 기반 또는 마커리스 기반 등의 다양한 방식을 통해 촬영영상에 가상객체를 렌더링한 증강현실 컨텐츠를 출력하는 일반적인 증강현실 서비스를 제공할 수 있다.As described above, the operating method of the apparatus for reproducing augmented reality content 100 according to the present invention is a general method of outputting augmented reality content in which a virtual object is rendered to a captured image through various methods such as marker-based, marker-free, or markerless based. Augmented reality services can be provided.

그리고, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상에 근거하여, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 표시되는 조작화면정보에 따른 조작화면 또는 인쇄서적(10)에 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 기 저장된 컨텐츠설정제어정보를 토대로 금번 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 증강현실 구현 기능의 수행을 제어할 수 있다.And, the operation method of the augmented reality content playback device 100 according to the present invention, based on the photographed image, the operation screen according to the operation screen information displayed on the screen of the augmented reality content output through the output unit 120 or When the input of specific operation information is recognized by the user's operation on the operation screen corresponding to the area where the specific operation image included in the print book 10 is displayed, the corresponding content is set according to the operation information based on the previously stored content setting control information. The change information may be reflected to control the execution of the augmented reality implementation function.

구체적으로 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 전술의 S130단계와 같이 증강현실 컨텐츠를 출력부(120)를 통해 출력하여 증강현실 서비스가 제공되는 중, 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되는지 여부를 판단하여(S140), 증강현실 컨텐츠 조작 기능이 선택되면 기 저장된 컨텐츠설정제어정보 내 조작화면정보에 근거하여 현재 출력되는 증강현실 컨텐츠의 화면에 해당 조작화면을 표시할 수 있다(S150).In detail, the operation method of the augmented reality content playback device 100 according to the present invention, the augmented reality service is provided by outputting the augmented reality content through the output unit 120 as in step S130, the user It is determined whether the augmented reality content operation function is selected by (S140), and when the augmented reality content operation function is selected, the corresponding operation is displayed on the screen of the augmented reality content currently output based on the operation screen information in the previously stored content setting control information. The screen may be displayed (S150).

이에, 도 5 및 도 6을 참조하여 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 조작화면을 표시하는 예를 설명하도록 한다.Thus, an example of displaying an operation screen on the screen of the augmented reality content output through the output unit 120 will be described with reference to FIGS. 5 and 6.

먼저, 도 5를 참조하여 설명하면, 인쇄서적(10)을 촬영한 촬영영상에 가상객체(2)가 증강된 형태의 증강현실 컨텐츠를 출력하는 중 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 저장된 컨텐츠설정제어정보 내 조작화면정보에 근거하여, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면, 보다 구체적으로는 조작화면정보의 표시위치정보에 따른 위치 즉 인쇄서적(10)에 해당되는 화면 영역의 특정 영역에 조작화면정보의 조작화면표시정보에 따른 가상 스크롤바(5a,5b,5c)를 표시할 수 있다.First, referring to FIG. 5, when the augmented reality content manipulation function is selected by the user while outputting the augmented reality content of the form in which the virtual object 2 is augmented on the photographed image photographing the print book 10, The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may include a screen of an augmented reality content output through the output unit 120 based on manipulation screen information in previously stored content setting control information. The virtual scroll bars 5a, 5b, and 5c according to the operation screen display information of the operation screen information may be displayed in a position according to the display position information of the operation screen information, that is, a screen area corresponding to the print book 10.

한편, 도 6을 참조하여 설명하면, 인쇄서적(10)을 촬영한 촬영영상에 가상객체(2)가 증강된 형태의 증강현실 컨텐츠를 출력하는 중 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 저장된 컨텐츠설정제어정보 내 조작화면정보에 근거하여, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면, 보다 구체적으로는 조작화면정보의 표시위치정보에 따른 위치 즉 인쇄서적(10)에 해당되는 화면 영역의 특정 영역에 조작화면정보의 조작화면표시정보에 따른 가상 키패드(6)를 표시할 수 있다.Meanwhile, referring to FIG. 6, when the augmented reality content manipulation function is selected by the user while outputting the augmented reality content of the form in which the virtual object 2 is augmented on the photographed image photographing the print book 10, The operation method of the apparatus for reproducing augmented reality content 100 according to the present invention may include a screen of an augmented reality content output through the output unit 120 based on manipulation screen information in previously stored content setting control information. The virtual keypad 6 according to the operation screen display information of the operation screen information may be displayed in a specific area of the screen area corresponding to the display position information of the operation screen information, that is, the print book 10.

한편, 전술과 같이 컨텐츠설정제어정보 내 조작화면정보에 근거하여 가상의 스크롤바 또는 가상의 키패드를 포함하는 조작화면을 표시하는 경우가 아니더라도 인쇄서적(10) 상에 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 특정 조작이미지가 인쇄되어 있음에 따라, 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 조작이미지가 표시된 영역에 해당하는 조작화면이 이미 존재하게 될 수도 있으며, 이 경우 S150단계를 생략할 것이다.On the other hand, at least one of the scroll bar image and the keypad image on the print book 10 even if the operation screen including the virtual scroll bar or the virtual keypad is not displayed based on the operation screen information in the content setting control information as described above. As a specific operation image is printed, the operation screen corresponding to the area where the operation image is displayed on the screen of the augmented reality content output through the output unit 120 may already exist, and in this case, step S150. Will be omitted.

그리고, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자에 의해 조작 안내정보 확인이 선택되는지 여부를 판단하고(S160), 조작 안내정보 확인이 선택되는 경우 조작화면정보에 근거하여 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경 결과를 포함하는 조작안내화면을 출력부(120)를 통해 출력되는 증강현실 컨텐츠의 화면에 더 표시할 수도 있다(S170).And, the operation method of the augmented reality content playback device 100 according to the present invention, it is determined whether the operation guide information check is selected by the user (S160), if the operation guide information check is selected based on the operation screen information The operation guide screen including the operation movement path corresponding to the at least one operation information and the content setting change result according to the operation movement path may be further displayed on the screen of the augmented reality content output through the output unit 120. (S170).

도 5를 언급하여 예를 들면, 사용자에 의해 조작 안내정보 확인이 선택되는 경우, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 가상 스크롤바(5a,5b,5c)를 포함하는 조작화면에서 가능한 각 조작정보에 대응하여 순차적으로 해당 조작정보(예 : 제1조작정보)를 입력하기 위해 사용자가 조작 이동해야 하는 조작 이동경로(예 : 가상 스크롤바(5a)의 우측 이동 시뮬레이션 영상)를 표시하고 해당 조작 이동경로에 따라 사용자가 해당 조작정보(예 : 제1조작정보)를 입력한 경우 이에 따른 컨텐츠 설정변경정보가 반영되어 증강현실 구현 기능이 수행되면 변경되게 되는 정보 즉 컨텐츠 설정변경결과(예 : 가상객체가 우측 방향으로 90도 회전)를 표시함으로써, 조작안내화면을 표시할 수 있다. For example, referring to FIG. 5, when the operation guide information confirmation is selected by the user, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention includes virtual scroll bars 5a, 5b, and 5c. Operation movement paths (eg, right-side movement simulation image of the virtual scroll bar 5a) that the user must operate to move in order to sequentially input corresponding operation information (eg, first operation information) corresponding to each operation information possible on the operation screen. If the user inputs the corresponding operation information (eg, the first operation information) according to the operation movement path, the contents setting change information is reflected accordingly and the information changed when the augmented reality implementation function is performed. By displaying the result (for example, the virtual object rotates 90 degrees to the right), the operation guide screen can be displayed.

물론, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 가상 스크롤바(5a,5b,5c)를 포함하는 조작화면에서 가능한 각 조작정보에 대응하는 조작 이동경로 및 이에 따른 컨텐츠 설정변경결과를 한 화면에 모두 표시하는 조작안내화면을 표시할 수도 있을 것이다.Of course, the operation method of the augmented reality content playback apparatus 100 according to the present invention, the operation movement path corresponding to each operation information possible on the operation screen including the virtual scroll bar (5a, 5b, 5c) and the content setting change accordingly You may also display an operation guide that displays all the results on one screen.

이에, 증강현실컨텐츠재생장치(100)의 사용자로 하여금, 조작화면을 어떤 조작 이동경로에 따라 조작하면 출력 중인 증강현실 컨텐츠에 어떤 변경결과가 적용될 수 있는지를 미리 인지할 수 있도록 한다.Thus, the user of the augmented reality content reproducing apparatus 100 enables the user to recognize in advance which change result can be applied to the augmented reality content being outputted by manipulating the operation screen according to a certain movement path.

본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 전술과 같이 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택됨에 따라 증강현실 컨텐츠의 화면에 해당 조작화면을 표시한 상태에서 해당 조작화면 상에서, 또는 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 미리 인쇄된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서, 촬영영상을 토대로 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고 상기 손 이미지의 이동에 따라 발생되는 사용자 동작을 인지하여 특정 조작정보 입력이 인지되는지 여부를 판단한다(S180).In the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention, the augmented reality content manipulation function is selected by the user as described above, and the corresponding operation screen is displayed on the operation screen on the screen of the augmented reality content. Recognize a user's hand image according to a predefined hand image recognition policy based on the captured image on the operation screen corresponding to a region where a specific preprinted manipulation image including at least one of a scroll bar image and a keypad image is displayed. In operation S180, it is determined whether a specific manipulation information input is recognized by recognizing a user's motion generated as the hand image moves.

예를 들어, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, S150단계와 같이 사용자에 의해 증강현실 컨텐츠 조작 기능이 선택됨에 따라 증강현실 컨텐츠의 화면에 해당 조작화면을 표시한 상태에서, 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고, 인식된 손 이미지의 이동에 따라 발생되는 사용자 동작을 인지할 수 있다.For example, in the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention, the operation screen is displayed on the screen of the augmented reality content as the augmented reality content manipulation function is selected by the user in step S150. In the present invention, the user's hand image may be recognized according to a predefined hand image recognition policy, and user's motion generated by the movement of the recognized hand image may be recognized.

예를 들어, 도 5에 도시되 바와 같이 사용자가 촬영구역(1) 내로 손(20)을 접근시켜 인쇄서적(10) 상에 손(20)을 위치시키면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 정의된 손이미지인식정책을 토대로 사용자의 손 이미지를 인식함으로써 촬영영상에 손(20)이 접근/존재함을 인식할 수 있다.For example, as shown in FIG. 5, when the user approaches the hand 20 into the photographing zone 1 and places the hand 20 on the print book 10, the apparatus for reproducing augmented reality content according to the present invention. The operation method of 100 may recognize that the hand 20 approaches / exists in the captured image by recognizing the user's hand image based on a predefined hand image recognition policy.

여기서, 손이미지인식정책은, 손의 기 정의된 색상정보(예 : 살색)을 인식하여 살색 영역이 일정 크기 이상이면 손으로 인식하는 방식, 또는 손의 기 정의된 모양정보를 토대로 비슷한 모양이 인지되면 이를 손 이미지로 인식하는 방식, 또는 엣지(edge) 인식을 통해 손가락 끝을 인식하는 방식 등 다양한 기존의 알고리즘을 포함할 수 있다.Here, the hand image recognition policy recognizes a predetermined color information (for example, flesh color) of the hand and recognizes a similar shape based on a method of recognizing the hand if the flesh color area is a predetermined size or based on the predefined shape information of the hand. In this case, various conventional algorithms may be included, such as a method of recognizing a hand image or a method of recognizing a fingertip through edge recognition.

이처럼, 인쇄서적(10) 상에 손(20)이 위치함에 따라 손 이미지가 인식되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 손 이미지가 이동하는 이동 경로를 감시하여 손 이미지 이동에 의해 발생되는 사용자 동작을 인지한 인지 결과에 근거하여 조작화면 상에서 사용자 동작에 의해 특정 조작정보 예를 들면 저장된 컨텐츠설정제어정보 내 설정된 제1조작정보 내지 제6조작정보 중 하나의 입력이 인지되는지 여부를 판단할 수 있다.As such, when the hand image is recognized as the hand 20 is positioned on the print book 10, the operation method of the augmented reality content reproducing apparatus 100 according to the present invention monitors a movement path through which the hand image moves. Based on a recognition result of recognizing a user's motion generated by moving a hand image, the user inputs specific operation information, for example, one of the first operation information to the sixth operation information set in the stored content setting control information on the operation screen. It can be determined whether this is recognized.

한편, 전술에서는 손 이미지를 인식하는 것을 설명하고 있으나 이는 일 실시예일 뿐이며, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상에 근거하여 기 정의된 도구 이미지(예 : 포인터펜)를 인식하여 인식된 도구 이미지의 이동에 따라 발생되는 사용자 동작을 인지할 수도 있을 것이다.On the other hand, the above description is to recognize the hand image, but this is only an embodiment, the operation method of the augmented reality content playback device 100 according to the present invention, a predefined tool image (eg pointer) based on the captured image A pen may be recognized to recognize a user's motion generated by the movement of the recognized tool image.

S180단계의 판단 결과, 특정 조작정보의 입력이 인지되면 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 저장된 컨텐츠설정제어정보를 토대로 금번 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 증강현실 구현 기능을 수행한다(S190).As a result of the determination in step S180, when the input of the specific operation information is recognized, the operation method of the augmented reality content playback apparatus 100 according to the present invention is based on the previously stored content setting control information, and the corresponding content setting change information according to the current operation information. Reflecting and performing augmented reality implementation (S190).

도 5를 참조하여 예를 들면, 조작정보 입력 인지 결과 가상 스크롤바(5a)를 우측으로 이동시키는 제1조작정보가 입력된다고 인지되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 컨텐츠설정제어정보를 토대로 금번 조작정보 즉 제1조작정보에 따른 해당 가상좌표 제1회전설정변경정보를 반영하여, 가상객체(2)에 적용되는 가상좌표(b)를 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하고 이를 토대로 증강현실 구현 기능의 수행할 수 있다.For example, with reference to FIG. 5, when it is recognized that first operation information for moving the virtual scroll bar 5a to the right is input, the operation method of the augmented reality content reproducing apparatus 100 according to the present invention is described. Based on the content setting control information, the virtual coordinate b applied to the virtual object 2 is reflected in the first direction (for example, by reflecting the operation information, that is, the first rotation setting change information according to the first operation information). Rotating to the right (x-axis direction) of the virtual coordinate (b) by a predetermined rotation rate may be changed and based on this, the augmented reality implementation may be performed.

이에, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 수행 중인 증간현실 구현 기능 수행에 있어서, 변경된 가상좌표 즉 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전된 가상좌표를 적용하여 촬영영상에 가상객체(2)를 렌더링하여 증강현실 컨텐츠를 출력함으로써, 증간현실 구현 기능을 수행할 수 있다.Thus, in the method of operating the augmented reality content playback apparatus 100 according to the present invention, in the execution of the augmented reality implementation function currently being performed, the changed virtual coordinates, that is, the right direction (for example, the virtual coordinate b) (x-axis) Augmented reality can be implemented by rendering the virtual object 2 on the photographed image and outputting the augmented reality content by applying the virtual coordinate rotated by a predetermined rotation ratio in the direction of ()).

증강현실 서비스는, 출력부(120)의 디스플레이부 화면에 적용되는 실제 좌표와, 증강현실 서비스에 따라 렌더링되는 가상객체에 적용되는 가상 좌표(예 : 도 5 및 도 6의 b)를 갖는다.The augmented reality service has an actual coordinate applied to the display screen of the output unit 120 and a virtual coordinate applied to the virtual object rendered according to the augmented reality service (eg, FIGS. 5 and 6 b).

따라서, 사용자가 조작/입력하는 조작정보에 따라 증간현실 구현 기능 수행 시 가상객체에 적용되는 가상좌표를 회전 또는 확대 또는 축소시켜 변경하면, 결과적으로 증강현실컨텐츠재생장치(100)에서 출력하는 증강현실 컨텐츠에서 촬영영상에 렌더링되는 가상객체가 회전 또는 확대 또는 축소되어 표시될 것이다.Therefore, if the virtual coordinates applied to the virtual object are rotated or enlarged or reduced according to the operation information input / operated by the user, the augmented reality content output device 100 outputs the result. The virtual object rendered in the captured image in the content will be displayed by being rotated or enlarged or reduced.

한편, 컨텐츠설정제어정보 내 조작화면정보에 근거하여 도 5와 같이 가상 스크롤바(5a)를 포함한 조작화면을 표시한 경우가 아닌 인쇄서적(10) 상에 스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 특정 조작이미지가 인쇄되어 있음에 따라 조작이미지가 표시된 영역에 해당하는 조작화면이 존재하는 경우라면, 이러한 조작화면 상에서의 조작정보 입력 인지 결과 스크롤바이미지 상에서 손을 우측으로 이동시키는 제1조작정보가 입력된다고 인지되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 컨텐츠설정제어정보를 토대로 금번 조작정보 즉 제1조작정보에 따른 해당 가상좌표 제1회전설정변경정보를 반영하여, 가상객체(2)에 적용되는 가상좌표(b)를 제1방향(예 : 가상좌표(b)의 우측(x축) 방향)으로 기 설정된 회전 비율만큼 회전시켜 변경하고 이를 토대로 증강현실 구현 기능의 수행을 제어하도록 증강현실서비스제어부(130)를 제어할 수도 있을 것이다.On the other hand, based on the operation screen information in the content setting control information as shown in FIG. 5, at least one of a scroll bar image and a keypad image on the print book 10 is not displayed when the operation screen including the virtual scroll bar 5a is displayed. If there is an operation screen corresponding to a region in which the operation image is displayed as a specific operation image is printed, the first operation information for moving the hand to the right on the scroll bar image as a result of inputting the operation information on the operation screen. When it is recognized that the input, the operation method of the augmented reality content playback apparatus 100 according to the present invention, by reflecting the operation information, that is, the first rotation setting change information of the virtual coordinates according to the first operation information based on the content setting control information The preset rotation ratio of the virtual coordinate b applied to the virtual object 2 to the first direction (for example, to the right (x-axis) direction of the virtual coordinate b)). Rotation by a rate may be changed and based on this, the augmented reality service control unit 130 may be controlled to control the performance of the augmented reality implementation function.

한편, 도 6을 참조하여 예를 들면, 조작정보 입력 인지 결과 가상 키패드(6)에서 키를 입력하는 제5조작정보(예 : 4,5,6 입력)의 입력이 인지되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 컨텐츠설정제어정보를 토대로 금번 조작정보 즉 제5조작정보에 따른 해당 볼륨크기 증가설정변경정보를 반영하여, 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하고 이를 토대로 증강현실 구현 기능의 수행할 수 있다.On the other hand, with reference to FIG. 6, for example, when the input of the fifth operation information (eg, 4, 5, 6 input) for inputting a key on the virtual keypad 6 is recognized as operation information input recognition result, The operation method of the apparatus for reproducing augmented reality content 100 reflects the current operation information, that is, the corresponding volume size increase setting change information according to the fifth operation information, based on the content setting control information, and sets the volume size of the augmented reality content in a predetermined size. It can be changed by increasing the ratio and based on this, the augmented reality implementation can be performed.

이에, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 수행 중인 증간현실 구현 기능 수행에 있어서, 변경된 볼륨크기 즉 기 설정된 크기 비율로 증가된 볼륨크기를 적용하여 촬영영상에 가상객체(2)를 렌더링하여 증강현실 컨텐츠를 출력함으로써, 증간현실 구현 기능을 수행할 수 있다.Thus, in the method of operating the augmented reality content reproducing apparatus 100 according to the present invention, in performing the augmented reality realization function currently being performed, a virtual volume is applied to the captured image by applying a changed volume size, that is, a volume size increased at a preset size ratio. By rendering the object 2 and outputting the augmented reality content, it is possible to perform augmented reality implementation function.

더 나아가, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 컨텐츠설정제어정보에 대한 설정변경정보를 조정하는 설정변경정보 조정기능을 제공하고, 상기 설정변경정보 조정기능을 통한 사용자의 조정에 대응하여 상기 컨텐츠설정제어정보를 변경/저장할 수 있다.Furthermore, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention provides a setting change information adjusting function for adjusting setting change information for content setting control information, and a user through the setting change information adjusting function. The content setting control information may be changed / stored in response to adjustment of.

즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자로부터 설정변경정보 조정기능 실행이 입력되면 컨텐츠설정제어정보에 대한 설정변경정보를 조정할 수 있는 설정변경정보 조정메뉴를 표시함으로써 설정변경정보 조정기능을 제공할 수 있다.That is, the operation method of the apparatus for reproducing augmented reality content 100 according to the present invention displays a setting change information adjustment menu for adjusting setting change information for content setting control information when a user executes setting change information adjusting function. Thus, setting change information adjustment function can be provided.

이에, 사용자는 설정변경정보 조정메뉴를 조작하여, 각 조작정보에 대응하는 조작 이동경로를 변경/조정할 수 있고, 각 조작정보 별로 원하는 컨텐츠 설정변경정보(예 : 회전/확대/축소/볼륨크기 증가/볼륨크기 감소 등)를 변경하여 매칭/조정할 수 있고, 더 나아가 컨텐츠 설정변경정보(예 : 회전/확대/축소/볼륨크기 증가/볼륨크기 감소 등) 별로 설정 파라미터(예 : 회전속도, 회전방향, 최종회전각, 프레임레이트, 축소비율, 최소축소비율, 확대비율, 최대확대비율, 적용대상(예 : 증강현실 컨텐츠 전체 또는 가상 객체) 등)을 설정/조정할 수 있다.Accordingly, the user can operate the setting change information adjustment menu to change / adjust the operation movement path corresponding to each operation information, and the desired content setting change information for each operation information (e.g. rotation / enlarge / reduce / volume size increase). / Volume size reduction, etc. can be changed and matched, and furthermore, setting parameters (e.g. rotation speed, direction of rotation, etc.) for each content setting change information (e.g. rotation / expansion / reduction / volume size / volume size reduction). You can set / adjust the final rotation angle, frame rate, reduction ratio, minimum reduction ratio, enlargement ratio, maximum contrast ratio, and application target (for example, augmented reality content or virtual object).

이상에서 설명한 바와 같이, 본 발명에 따른 증강 현실 서비스 제공 방법은, 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서 증강현실 컨텐츠의 화면의 조작화면 상에서 사용자가 손과 같은 일상적인 도구를 이용하여 증강현실 컨텐츠 내 특정 가상객체를 이동시키거나 볼륨을 조정하는 등 증강현실 컨텐츠를 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.As described above, in the augmented reality service providing method according to the present invention, in the augmented reality service for providing augmented reality content, a user uses a daily tool such as a hand on the operation screen of the screen of the augmented reality content augmented reality By manipulating augmented reality content such as moving a specific virtual object or adjusting volume within the content, it is possible to provide a more intuitive and various interaction to the user and improve the realism.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서 증강현실 컨텐츠의 화면의 조작화면을 통해 사용자가 손과 같은 일상적인 도구를 이용하여 조작정보를 입력함에 따라 증강현실 컨텐츠를 조작하도록 하여, 사용자에게 보다 직관적이고 다양한 Interaction을 제공할 수 있고 실재감을 향상시키는 증강 현실 서비스 제공 시스템 및 방법을 적용할 경우, 증강현실 구현의 다양성 확장 및 제어 편의성, 사용자 만족도 측면에서 매우 큰 진보를 가져올 수 있으며, 적용되는 증강현실컨텐츠재생장치 및 서비스 솔루션의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있다.In the augmented reality service that provides augmented reality content, through the operation screen of the screen of the augmented reality content to manipulate the augmented reality content as the user inputs the operation information using a daily tool such as a hand, more intuitive to the user When applying augmented reality service providing system and method that can provide various interactions and improve the realism, it can bring about great progress in terms of diversity expansion, convenience of control, and user satisfaction. Not only is there a sufficient possibility of the commercialization or sales of the content reproducing apparatus and the service solution, but also it can be clearly implemented in reality.

10 : 인쇄서적 20 : 손
100 : 단말장치
200 : 증강현실컨텐츠재생장치10: print book 20: hand
100: terminal device
200: augmented reality content playback device

Claims (14)

적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 제공하는 정보제공서버; 및
상기 정보제공서버로부터 제공되는 상기 컨텐츠설정제어정보를 저장하고, 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하며, 상기 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행하는 증강현실컨텐츠재생장치를 포함하며,
상기 정보제공서버는,
인쇄서적별로 상이한 컨텐츠설정제어정보를 저장하고, 상기 증강현실컨텐츠재생장치에서 촬영되는 특정 인쇄서적에 대응되는 컨텐츠설정제어정보를 추출하여 상기 증강현실컨텐츠재생장치에 제공하는 것을 특징으로 하는 증강 현실 컨텐츠 재생 시스템.An information providing server providing content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information; And
It provides augmented reality service for storing the content setting control information provided from the information providing server, outputting augmented reality content according to the execution of a predetermined augmented reality implementation function, the user based on the operation screen according to the operation screen information Augmented reality content playback device that performs the augmented reality implementation function by reflecting corresponding content setting change information according to the operation information based on the content setting control information when input of specific operation information by an operation is recognized,
The information providing server,
Augmented reality content, characterized in that for storing different content setting control information for each printed book, and extracts the content setting control information corresponding to a specific printing book photographed by the augmented reality content playback device to provide to the augmented reality content playback device; Playback system. 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영부;
상기 인쇄서적을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하여 증강현실 서비스를 제공하는 증강현실서비스제어부;
적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장하는 정보저장부; 및
상기 촬영영상에 근거하여, 상기 출력되는 증강현실 컨텐츠의 화면에 표시되는 상기 조작화면정보에 따른 조작화면 또는 상기 인쇄서적에 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능의 수행을 제어하는 장치제어부를 포함하며,
상기 컨텐츠설정제어정보는,
인쇄서적별로 상이한 컨텐츠설정제어정보를 저장하는 정보제공서버로부터 제공되며 상기 촬영부에서 촬영되는 상기 인쇄서적에 대응되는 것을 특징으로 하는 증강현실컨텐츠재생장치.A photographing unit photographing a print book located in a specific photographing area;
An augmented reality service controller configured to provide an augmented reality service by outputting an augmented reality content according to a preset augmented reality implementation function based on a photographed image of the printed book;
An information storage unit for storing content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information; And
Based on the photographed image, an operation screen according to the operation screen information displayed on the screen of the augmented reality content or an operation screen corresponding to a region where a specific operation image included in the printed book is displayed. And a device control unit for controlling performance of the augmented reality implementation function by reflecting the corresponding content setting change information according to the operation information based on the content setting control information when input of specific operation information is recognized.
The content setting control information,
An augmented reality content playback device provided from an information providing server for storing different content setting control information for each printed book and corresponding to the printed book photographed by the photographing unit. 제 2 항에 있어서,
상기 촬영영상에 근거하여, 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고 상기 손 이미지의 이동에 따라 발생되는 상기 사용자 동작을 인지하여 인지결과를 출력하는 동작인지부를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 2,
On the basis of the photographed image, in accordance with a predefined hand image recognition policy further includes a motion recognition unit for recognizing the user's hand image and the user's motion generated by the movement of the hand image to output a recognition result. Augmented reality content playback device characterized in that. 제 2 항에 있어서,
상기 컨텐츠설정제어정보는,
상기 조작정보의 입력을 유도하는 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면을 표시하기 위한 조작화면표시정보와, 상기 조작화면을 상기 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 상기 조작화면정보를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 2,
The content setting control information,
Operation screen display information for displaying the operation screen including at least one of a virtual scroll bar and a virtual keypad for guiding input of the operation information, and the operation screen on at least one region of a screen of the augmented reality content; The manipulation screen information including at least one of display position information preset to display, manipulation movement route corresponding to the at least one manipulation information, and manipulation guide information for displaying a content setting change result according to the manipulation movement route; Augmented reality content playback device comprising a. 제 2 항에 있어서,
상기 컨텐츠설정제어정보는,
스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 상기 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는, 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.The method of claim 2,
The content setting control information,
Based on the operation screen including at least one of a virtual scroll bar and a virtual keypad according to the operation screen or the operation screen information corresponding to a region where the operation image including at least one of a scroll bar image and a keypad image is displayed. A preset rotation ratio of the virtual coordinates applied to the virtual object rendered on the photographed image in the augmented reality content according to the execution of the augmented reality in response to the first manipulation information. Virtual coordinates to be rotated by changing the first rotation setting change information and the second coordinates of the virtual coordinates which are changed by rotating the virtual coordinates applied to the virtual object to the preset rotation rate in the second preset direction corresponding to the second operation information. Preset virtual coordinates applied to the virtual object in response to setting change information and third operation information. Virtual coordinate enlargement setting change information that is enlarged and changed at an enlargement ratio, and virtual coordinate reduction setting change information that is reduced by changing a virtual coordinate applied to the virtual object at a preset reduction ratio in response to the fourth operation information, and fifth operation information. Corresponding to the volume size increase setting change information and the sixth operation information, the volume size of the augmented reality content is increased by changing the volume size of the augmented reality content according to the execution of the augmented reality corresponding to the sixth operation information. An apparatus for reproducing augmented reality contents, characterized in that it comprises at least one of volume size reduction setting change information for changing and changing the volume size of the reality content to a preset size ratio. 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 장치제어부는,
사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면 기 저장된 상기 컨텐츠설정제어정보 내 조작화면정보에 근거하여 상기 출력되는 증강현실 컨텐츠의 화면에 상기 조작화면을 표시하고, 사용자에 의해 조작 안내정보 확인이 선택되는 경우 상기 조작화면정보에 근거하여 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경 결과를 포함하는 조작안내화면을 상기 출력되는 증강현실 컨텐츠의 화면에 표시하는 것을 특징으로 하는 증강현실컨텐츠재생장치.6. The method according to any one of claims 2 to 5,
The apparatus control unit includes:
When the augmented reality content operation function is selected by the user, the operation screen is displayed on the screen of the output augmented reality content based on the operation screen information in the content setting control information previously stored, and the operation guide information confirmation is selected by the user. And displaying a manipulation guide screen including a manipulation movement route corresponding to the at least one manipulation information and a content setting change result according to the manipulation movement route on the screen of the augmented reality content based on the manipulation screen information. Augmented reality content playback device, characterized in that. 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 장치제어부는,
상기 컨텐츠설정제어정보에 대한 설정변경정보를 조정하는 설정변경정보 조정기능을 제공하고, 상기 설정변경정보 조정기능을 통한 사용자의 조정에 대응하여 상기 컨텐츠설정제어정보를 변경/저장하는 것을 특징으로 하는 증강현실컨텐츠재생장치.6. The method according to any one of claims 2 to 5,
The apparatus control unit includes:
And a setting change information adjusting function for adjusting setting change information of the content setting control information, and changing / storing the content setting control information in response to a user's adjustment through the setting change information adjusting function. Augmented reality content playback device. 정보제공서버가 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 제공하는 단계;
증강현실컨텐츠재생장치가 상기 정보제공서버로부터 제공되는 상기 컨텐츠설정제어정보를 저장하는 단계;
상기 증강현실컨텐츠재생장치가 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하는 증강현실 서비스를 제공하는 단계; 및
증강현실컨텐츠재생장치가 상기 조작화면정보에 따른 조작화면에 근거하여 사용자 동작에 의한 특정 조작정보의 입력이 인지되면, 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능을 수행하는 단계를 포함하며,
상기 컨텐츠설정제어정보를 제공하는 단계는,
인쇄서적별로 상이한 컨텐츠설정제어정보를 저장하는 상기 정보제공서버가, 상기 증강현실컨텐츠재생장치에서 촬영되는 특정 인쇄서적에 대응되는 컨텐츠설정제어정보를 추출하여 상기 증강현실컨텐츠재생장치에 제공하는 것을 특징으로 하는 증강 현실 컨텐츠 재생 방법.Providing, by the information providing server, content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information;
Storing, by the apparatus for reproducing augmented reality content, the content setting control information provided from the information providing server;
Providing an augmented reality service for outputting an augmented reality content according to a predetermined augmented reality implementation function performed by the augmented reality content reproducing apparatus; And
When the augmented reality content reproducing apparatus is recognized that the input of the specific operation information by the user's operation on the basis of the operation screen according to the operation screen information, by reflecting the corresponding content setting change information according to the operation information based on the content setting control information Performing the augmented reality implementation function;
Providing the content setting control information,
The information providing server storing different content setting control information for each printed book extracts content setting control information corresponding to a specific printing book photographed by the augmented reality content playback device and provides the same to the augmented reality content playback device. Augmented reality content playback method. 적어도 하나의 조작정보에 대응하는 컨텐츠 설정변경정보 및 상기 조작정보의 입력을 유도하는 조작화면정보 중 적어도 어느 하나를 포함하는 컨텐츠설정제어정보를 저장하는 정보 저장단계;
특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영단계;
상기 인쇄서적을 촬영한 촬영영상에 근거하여 기 설정된 증강현실 구현 기능 수행에 따른 증강현실 컨텐츠를 출력하여 증강현실 서비스를 제공하는 증강현실서비스 제공단계; 및
상기 촬영영상에 근거하여, 상기 출력되는 증강현실 컨텐츠의 화면에 표시되는 상기 조작화면정보에 따른 조작화면 또는 상기 인쇄서적에 상에 포함된 특정 조작이미지가 표시된 영역에 해당하는 조작화면 상에서 사용자 동작에 의해 특정 조작정보의 입력이 인지되면 상기 컨텐츠설정제어정보를 토대로 상기 조작정보에 따른 해당 컨텐츠 설정변경정보를 반영하여 상기 증강현실 구현 기능의 수행을 제어하는 기능수행 제어단계를 포함하며,
상기 컨텐츠설정제어정보는,
인쇄서적별로 상이한 컨텐츠설정제어정보를 저장하는 정보제공서버로부터 제공되며 상기 촬영단계에서 촬영되는 상기 인쇄서적에 대응되는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.An information storing step of storing content setting control information including at least one of content setting change information corresponding to at least one operation information and operation screen information for inducing input of the operation information;
A photographing step of photographing a print book located in a specific photographing area;
An augmented reality service providing step of providing an augmented reality service by outputting an augmented reality content according to a preset augmented reality implementation function based on a photographed image of the printed book; And
Based on the photographed image, an operation screen according to the operation screen information displayed on the screen of the augmented reality content or an operation screen corresponding to a region where a specific operation image included in the printed book is displayed. And a function performance control step of controlling performance of the augmented reality implementation function by reflecting corresponding content setting change information according to the operation information based on the content setting control information when the input of specific operation information is recognized.
The content setting control information,
A method for operating an augmented reality content playback device, characterized in that it is provided from an information providing server for storing different content setting control information for each printed book and corresponds to the printed book photographed in the photographing step. 제 9 항에 있어서,
상기 촬영영상에 근거하여, 기 정의된 손이미지인식정책에 따라 사용자의 손 이미지를 인식하고 상기 손 이미지의 이동에 따라 발생되는 상기 사용자 동작을 인지하여 인지결과를 출력하는 동작 인지단계를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method of claim 9,
And a motion recognition step of recognizing a user's hand image according to a predefined hand image recognition policy and recognizing the user's motion generated by the movement of the hand image based on the photographed image and outputting a recognition result. Method of operation of augmented reality content playback device, characterized in that. 제 9 항에 있어서,
상기 컨텐츠설정제어정보는,
상기 조작정보의 입력을 유도하는 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면을 표시하기 위한 조작화면표시정보와, 상기 조작화면을 상기 증강현실 컨텐츠의 화면 내 적어도 일 영역에 표시하도록 기 설정된 표시위치정보와, 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경결과를 표시하기 위한 조작안내정보 중 적어도 어느 하나를 포함하는 상기 조작화면정보를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method of claim 9,
The content setting control information,
Operation screen display information for displaying the operation screen including at least one of a virtual scroll bar and a virtual keypad for guiding input of the operation information, and the operation screen on at least one region of a screen of the augmented reality content; The manipulation screen information including at least one of display position information preset to display, manipulation movement route corresponding to the at least one manipulation information, and manipulation guide information for displaying a content setting change result according to the manipulation movement route; Method of operation of the augmented reality content playback device comprising a. 제 9 항에 있어서,
상기 컨텐츠설정제어정보는,
스크롤바이미지 및 키패드이미지 중 적어도 어느 하나를 포함하는 상기 조작이미지가 표시된 영역에 해당하는 상기 조작화면 또는 상기 조작화면정보에 따른 가상의 스크롤바 및 가상의 키패드 중 적어도 어느 하나를 포함하는 상기 조작화면에 근거하여 인지되는, 제1조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상객체에 적용되는 가상좌표를 기 설정된 제1방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제1회전설정변경정보, 제2조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 제2방향으로 기 설정된 회전 비율로 회전시켜 변경하는 가상좌표 제2회전설정변경정보, 제3조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 확대 비율로 확대시켜 변경하는 가상좌표 확대설정변경정보, 제4조작정보에 대응하여 상기 가상객체에 적용되는 가상좌표를 기 설정된 축소 비율로 축소시켜 변경하는 가상좌표 축소설정변경정보, 제5조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 증가시켜 변경하는 볼륨크기 증가설정변경정보, 제6조작정보에 대응하여 상기 증간현실 구현 기능 수행에 따른 증강현실 컨텐츠의 볼륨크기를 기 설정된 크기 비율로 감소시켜 변경하는 볼륨크기 감소설정변경정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.The method of claim 9,
The content setting control information,
Based on the operation screen including at least one of a virtual scroll bar and a virtual keypad according to the operation screen or the operation screen information corresponding to a region where the operation image including at least one of a scroll bar image and a keypad image is displayed. A preset rotation ratio of the virtual coordinates applied to the virtual object rendered on the photographed image in the augmented reality content according to the execution of the augmented reality in response to the first manipulation information. Virtual coordinates to be rotated by changing the first rotation setting change information and the second coordinates of the virtual coordinates which are changed by rotating the virtual coordinates applied to the virtual object to the preset rotation rate in the second preset direction corresponding to the second operation information. Preset virtual coordinates applied to the virtual object in response to setting change information and third operation information. Virtual coordinate enlargement setting change information that is enlarged and changed at an enlargement ratio, and virtual coordinate reduction setting change information that is reduced by changing a virtual coordinate applied to the virtual object at a preset reduction ratio in response to the fourth operation information, and fifth operation information. Corresponding to the volume size increase setting change information and the sixth operation information, the volume size of the augmented reality content is increased by changing the volume size of the augmented reality content according to the execution of the augmented reality corresponding to the sixth operation information. A method of operating an augmented reality content playback device, characterized in that it comprises at least one of volume size reduction setting change information for changing and changing the volume size of the reality content to a predetermined size ratio. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 기능수행 제어단계는,
사용자에 의해 증강현실 컨텐츠 조작 기능이 선택되면 기 저장된 상기 컨텐츠설정제어정보 내 조작화면정보에 근거하여 상기 출력되는 증강현실 컨텐츠의 화면에 상기 조작화면을 표시하는 단계와,
사용자에 의해 조작 안내정보 확인이 선택되는 경우 상기 조작화면정보에 근거하여 상기 적어도 하나의 조작정보에 대응하는 조작 이동경로 및 해당 조작 이동경로에 따른 컨텐츠 설정변경 결과를 포함하는 조작안내화면을 상기 출력되는 증강현실 컨텐츠의 화면에 표시하는 단계를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.13. The method according to any one of claims 9 to 12,
The function performance control step,
Displaying the manipulation screen on a screen of the augmented reality content based on the manipulation screen information in the contents setting control information when the augmented reality content manipulation function is selected by a user;
Outputting an operation guide screen including an operation movement path corresponding to the at least one operation information and a content setting change result according to the operation movement path based on the operation screen information when the operation guidance information confirmation is selected by the user; Operating method of the augmented reality content playback device comprising the step of displaying on the screen of the augmented reality content. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 컨텐츠설정제어정보에 대한 설정변경정보를 조정하는 설정변경정보 조정기능을 제공하고, 상기 설정변경정보 조정기능을 통한 사용자의 조정에 대응하여 상기 컨텐츠설정제어정보를 변경/저장하는 단계를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.13. The method according to any one of claims 9 to 12,
Providing a setting change information adjusting function for adjusting setting change information for the content setting control information, and changing / storing the content setting control information in response to the user's adjustment through the setting change information adjusting function. Method of operation of augmented reality content playback device, characterized in that.
KR1020100131011A 2010-12-20 2010-12-20 System and method for providing augmented reality service KR101246304B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100131011A KR101246304B1 (en) 2010-12-20 2010-12-20 System and method for providing augmented reality service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131011A KR101246304B1 (en) 2010-12-20 2010-12-20 System and method for providing augmented reality service

Publications (2)

Publication Number Publication Date
KR20120069454A KR20120069454A (en) 2012-06-28
KR101246304B1 true KR101246304B1 (en) 2013-03-21

Family

ID=46687688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131011A KR101246304B1 (en) 2010-12-20 2010-12-20 System and method for providing augmented reality service

Country Status (1)

Country Link
KR (1) KR101246304B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101413794B1 (en) * 2013-10-15 2014-07-01 이지유 Edutainment contents mobile terminal using augmented reality and method for controlling thereof
KR102083997B1 (en) * 2019-04-19 2020-03-03 (주)웨스토 Method for providing motion image based on objects and server using the same
KR102304829B1 (en) * 2019-08-02 2021-09-27 주식회사 에스지엠 Method for providing augmented reality images and system for providing augmented reality images about golf

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056760A (en) * 2007-11-30 2009-06-03 광주과학기술원 Method and system for authoring augmented reality, and record media recorded program realizing the same
KR20090061514A (en) * 2007-12-11 2009-06-16 한국전자통신연구원 Method and system for playing mixed reality contents

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056760A (en) * 2007-11-30 2009-06-03 광주과학기술원 Method and system for authoring augmented reality, and record media recorded program realizing the same
KR20090061514A (en) * 2007-12-11 2009-06-16 한국전자통신연구원 Method and system for playing mixed reality contents

Also Published As

Publication number Publication date
KR20120069454A (en) 2012-06-28

Similar Documents

Publication Publication Date Title
US20220084279A1 (en) Methods for manipulating objects in an environment
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR102638526B1 (en) Modifying scenes in augmented reality using parameterized markers
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
KR101315303B1 (en) Head mounted display apparatus and contents display method
CN116719452A (en) Method for interacting with virtual controls and/or affordances for moving virtual objects in a virtual environment
KR20200035103A (en) Gaze-based user interaction
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
EP3262505B1 (en) Interactive system control apparatus and method
US20180108183A1 (en) Projecting a two-dimensional image onto a three-dimensional graphical object
KR101246304B1 (en) System and method for providing augmented reality service
JP6360509B2 (en) Information processing program, information processing system, information processing method, and information processing apparatus
KR101316789B1 (en) System and method for playing contents of augmented reality
KR101211178B1 (en) System and method for playing contents of augmented reality
JP5665396B2 (en) Information processing apparatus and control method thereof
US20220244788A1 (en) Head-mounted display
JP6801138B1 (en) Terminal device, virtual object operation method, and virtual object operation program
CN115690306A (en) Apparatus, method and graphical user interface for three-dimensional preview of objects
KR20120035322A (en) System and method for playing contents of augmented reality
KR101242512B1 (en) System and method for playing contents of augmented reality
GB2535730A (en) Interactive system control apparatus and method
US20220343588A1 (en) Method and electronic device for selective magnification in three dimensional rendering systems
CN116670627A (en) Method for grouping user interfaces in an environment
CN117043723A (en) Method for manipulating objects in an environment
EP3062221A1 (en) Interactive system control apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 8