KR102328714B1 - Composite reality driving system using assembling 3D structure and composite reality driving method using the same - Google Patents
Composite reality driving system using assembling 3D structure and composite reality driving method using the same Download PDFInfo
- Publication number
- KR102328714B1 KR102328714B1 KR1020200098882A KR20200098882A KR102328714B1 KR 102328714 B1 KR102328714 B1 KR 102328714B1 KR 1020200098882 A KR1020200098882 A KR 1020200098882A KR 20200098882 A KR20200098882 A KR 20200098882A KR 102328714 B1 KR102328714 B1 KR 102328714B1
- Authority
- KR
- South Korea
- Prior art keywords
- marker unit
- reality
- module
- dimensional
- content
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 가상 현실 및 증강 현실을 동시 또는 이시에 구동하는 복합 현실 구동 시스템 및 이를 이용한 방법에 관한 것으로써, 보다 상세하게는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템 및 이를 이용한 복합 현실 구동 방법에 관한 것이다.The present invention relates to a complex reality driving system for simultaneously or simultaneously driving virtual reality and augmented reality and a method using the same, and more particularly, to a complex reality driving system using an assembleable three-dimensional structure and a mixed reality driving method using the same is about
최근에 가상현실(Virtual Reality) 또는 증강 현실(Augment Reality) 또는 이들의 결합된 방식인 혼합 현실(Mixed Reality)를 이용한 실감형 컨텐츠 개발이 증가하고 있다.In recent years, development of realistic content using virtual reality, augmented reality, or mixed reality, which is a combined method thereof, is increasing.
실감형 컨텐츠는 일반적인 컨텐츠에 비하여 사용자의 몰입도를 증대시키고, 전통적인 방식에 비하여 정보 전달 비용을 절약할 수 있으며, 어떤 분야에든 적용이 가능하다는 장점으로 인하여 폭넓은 분야에 적용되는 특징이 있다.Immersive content has the characteristics of being applied to a wide range of fields due to the advantages of increasing the user's immersion compared to general content, reducing the cost of information delivery compared to the traditional method, and being applicable to any field.
이러한 실감형 컨텐츠의 특징으로 인하여 역사, 관광, 교육, 게임 등 다양한 컨텐츠 소비 영역에서 이종 분양을 서로 융합한 컨텐츠 개발의 필요성이 증대되고 있다.Due to the characteristics of these immersive content, the need for content development that combines heterogeneous sales in various content consumption areas such as history, tourism, education, and games is increasing.
특히, 역사 교육의 경우에는 현재 남아 있는 문화재 또는 사적을 간접적으로 체험할 수 밖에 없는 기존 컨텐츠를 이용하는 방식에서 교육 효과를 높이기 위해서 실감형 교육 컨텐츠로 대체되고 있는 실정이다. In particular, in the case of history education, in order to enhance the educational effect, the method of using existing content that has no choice but to indirectly experience the remaining cultural assets or historical sites is being replaced by realistic educational content.
하지만, 역사 교육 컨텐츠의 경우에는 교육 효과를 높이기 위해서 기존에 사진을 이용한 VR/AR/MR 컨텐츠를 실행시키는 방식으로는 한계점이 나타났고, 사용자가 문화재의 모형을 만들어서 직접 체험을 통해서 VR/AR/MR 컨텐츠에 참여하도록 함으로써, 교육 효과를 증대시키기 위한 새로운 개념의 복합 현실 구동 시스템에 대한 개발의 필요성이 요구되고 있다.However, in the case of historical educational contents, there were limitations to the existing method of executing VR/AR/MR contents using photos to increase the educational effect, and users made a model of cultural assets and experienced VR/AR/MR through direct experience. By allowing participants to participate in MR contents, there is a need for development of a new concept complex reality driving system to increase the educational effect.
상술한 필요성에 의해서 안출된 본 발명은 사용자가 문화재를 미니어처로 구현한 조립가능한 3차원 구조체를 직접 만들고, 사용자에 의해서 만들어진 3차원 구조체를 이용해서 VR/AR/MR 컨텐츠를 구동시키는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템 및 이를 이용한 복합 현실 구동 방법을 제공하는 것을 목적으로 한다.The present invention devised by the above necessity is a three-dimensional assemblable three-dimensional structure in which a user directly creates an assemblable three-dimensional structure that implements a cultural property in a miniature, and drives VR/AR/MR contents using the three-dimensional structure created by the user. An object of the present invention is to provide a mixed reality driving system using a structure and a mixed reality driving method using the same.
상술한 목적을 달성하기 위하여 본 발명의 일 실시 예에 따른 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템은 입체 마커로 기능하도록 사용자에 의해서 3차원 구조체로 미리 조립되는 3차원 마커부; 및 상기 3차원 마커부를 특정 방향으로 지향해서 상기 입체 마커로써 인식할 경우에 해당 입체 마커에 대응하는 증강현실, 가상현실 또는 이들의 혼합 현실 컨텐츠를 디스플레이하도록 구성되는 전자 장치;를 포함한다.In order to achieve the above object, a complex reality driving system using an assembleable three-dimensional structure according to an embodiment of the present invention includes: a three-dimensional marker unit pre-assembled into a three-dimensional structure by a user to function as a three-dimensional marker; and an electronic device configured to display augmented reality, virtual reality, or mixed reality content corresponding to the three-dimensional marker when the three-dimensional marker is directed in a specific direction and recognized as the three-dimensional marker.
이 경우에, 상기 3차원 마커부는, 상기 3차원 구조체를 구성하는 다수의 부품의 형태가 미리 인쇄된 부품 플레이트에서 상기 다수의 부품으로 분리되고, 분리된 상기 다수의 부품을 상호 조립해서, 문화재의 특징점을 포함하는 미니어처 문화재를 구성하는 3차원 구조체이다.In this case, the three-dimensional marker unit is separated into the plurality of parts on a part plate on which the shapes of the plurality of parts constituting the three-dimensional structure are pre-printed, and by assembling the separated parts with each other, It is a three-dimensional structure constituting a miniature cultural property including feature points.
이 경우에, 상기 부품 플레이트는, 표면에 상기 미니어처 문화재를 구성하는 부품의 모양이 인쇄되어 있고, 다중으로 압축된 종이 재질로 구성될 수 있다.In this case, the part plate, the shape of the part constituting the miniature cultural property is printed on the surface, and may be composed of a paper material compressed in multiple ways.
한편, 상기 문화재의 특징점은, 실제 문화재으로부터 획득된 문자, 도형, 모양, 형태, 색채 및 이들의 결합으로 이루어질 수 있다.On the other hand, the characteristic point of the cultural heritage may be composed of characters, figures, shapes, shapes, colors, and combinations thereof obtained from actual cultural assets.
한편, 상기 전자 장치는, 상기 3차원 마커부를 광학적으로 인식하는 카메라 모듈, 상기 카메라 모듈에 의해서 인식된 상기 3차원 마커부를 화면에 표시하는 디스플레이 모듈, 상기 3차원 마커부와 관련된 정보를 표시하기 위한 정보 제공 모듈, 상기 3차원 마커부와 관련된 증강 현실 및 가상 현실을 실행시켜서 상기 디스플레이모듈에 중첩시켜 표시하는 AR/VR 실행 모듈, 상기 3차원 마커부와 관련된 이미지를 상기 디스플레이 모듈에 표시하는 이미지 재생 모듈, 이들의 동작을 전반적으로 제어하는 제어 모듈 및 외부 서버와 통신을 위한 통신 모듈을 포함한다.Meanwhile, the electronic device includes a camera module for optically recognizing the 3D marker unit, a display module for displaying the 3D marker unit recognized by the camera module on a screen, and information related to the 3D marker unit. An information providing module, an AR/VR execution module that executes augmented reality and virtual reality related to the 3D marker unit to overlap and display on the display module, and image reproduction for displaying an image related to the 3D marker unit on the display module It includes a module, a control module for overall controlling their operation, and a communication module for communicating with an external server.
이 경우에, 상기 제어 모듈은, 상기 카메라 모듈에 의해서 피사체로 상기 3차원 구조체를 촬상하도록 제어하고, 상기 디스플레이 모듈에 3차원 구조체를 표시하되, 표시된 상기 3차원 구조체를 마커로 인식하면, 상기 정보 제공 모듈을 통해서 메뉴 정보를 상기 디스플레이 모듈에 표시하고, 사용자에 의해서 증강 현실 또는 가상 현실에 관한 컨텐츠 요청을 수신하면, 상기 AR/VR 실행 모듈을 통해서 증강 현실 컨텐츠 또는 가상 현실 컨텐츠를 상기 디스플레이 모듈에 표시하도록 제어할 수 있다.In this case, the control module controls to image the three-dimensional structure as a subject by the camera module, and displays the three-dimensional structure on the display module. When the displayed three-dimensional structure is recognized as a marker, the information When menu information is displayed on the display module through a providing module and a content request related to augmented reality or virtual reality is received by a user, the augmented reality content or virtual reality content is transmitted to the display module through the AR/VR execution module You can control the display.
본 발명의 다른 실시 예에 따른 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 이용한 복합 현실 구동 방법은, 입체 마커로 기능하도록 사용자에 의해서 3차원 구조체로 미리 조립되는 3차원 마커부 및 상기 3차원 마커부를 특정 방향으로 지향해서 상기 입체 마커로써 인식할 경우에 해당 입체 마커에 대응하는 증강현실, 가상현실 또는 이들의 혼합 현실 컨텐츠를 디스플레이하도록 구성되는 전자 장치;를 포함하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 이용하되, 상기 전자 장치는, 카메라 모둘에 의해서 상기 3차원 마커부를 광학적으로 인식하는 단계; 상기 카메라 모듈에 의해서 인식된 상기 3차원 마커부를 화면에 표시하는 단계; 상기 3차원 마커부와 관련된 정보 메뉴를 표시하는 단계; 상기 정보 메뉴를 통해서 사용자의 가상 현실 또는 증강 현실 실행 요청이 있으면, 상기 3차원 마커부와 관련된 증강 현실 및 가상 현실을 실행시켜서 상기 디스플레이 모듈을 통해서 증강 현실 또는 가상 현실 컨텐츠를 실행시키는 단계; 상기 정보 메뉴를 통해서 사용자의 이미지 표시 실행 요청이 있으면, 상기 증강 현실 또는 가상 현실 컨텐츠와 관련된 이미지를 독출한 뒤, 상기 디스플레이 모듈을 통해서 독출된 이미지를 표시하는 단계;를 포함한다.The complex reality driving method using the complex reality driving system using the assembleable three-dimensional structure according to another embodiment of the present invention includes a three-dimensional marker unit and the three-dimensional (3D) marker that are pre-assembled into a three-dimensional structure by a user to function as a three-dimensional marker. An electronic device configured to display augmented reality, virtual reality, or mixed reality contents corresponding to the three-dimensional marker when the marker unit is directed in a specific direction and recognized as the three-dimensional marker; Using a mixed reality driving system, the electronic device comprising: optically recognizing the 3D marker unit by a camera module; displaying the 3D marker unit recognized by the camera module on a screen; displaying an information menu related to the three-dimensional marker unit; executing augmented reality or virtual reality related to the 3D marker unit and executing augmented reality or virtual reality content through the display module when a user requests to execute virtual reality or augmented reality through the information menu; and reading the image related to the augmented reality or virtual reality content when the user requests to display the image through the information menu, and then displaying the read image through the display module.
이 경우에, 상기 가상 현실 또는 증강 현실 컨텐츠를 실행시키는 단계는, 상기 3차원 마커부가 표시된 화면 상에 상기 가상 현실 컨텐츠를 실행시키기 위한 적어도 하나 이상의 가상 현실 컨텐츠 실행 메뉴를 중첩되도록 디스플레이하는 단계; 상기 가상 현실 컨텐츠 실행 메뉴 중 하나가 선택되면, 상기 3차원 마커부가 표시된 화면을 선택된 실행 메뉴와 관련된 상기 가상 현실 컨텐츠 화면으로 전환시키는 단계; 및 상기 가상 현실 컨텐츠 화면 상에서 사용자가 상기 전자 장치를 상측, 하측 좌측 또는 우측으로 움직이면, 움직임에 반응하여 상기 가상 현실 컨텐츠 화면에 대해서 변화된 컨텐츠 화면을 상기 디스플레이 모듈을 통해서 표시한다.In this case, the executing of the virtual reality or augmented reality content may include: displaying at least one virtual reality content execution menu for executing the virtual reality content on the screen on which the 3D marker unit is displayed so as to overlap; when one of the virtual reality content execution menus is selected, converting the screen on which the 3D marker unit is displayed to the virtual reality content screen related to the selected execution menu; and when the user moves the electronic device upward, downward, left, or right on the virtual reality content screen, a content screen changed with respect to the virtual reality content screen in response to the movement is displayed through the display module.
한편, 상기 가상 현실 또는 증강 현실 컨텐츠를 실행시키는 단계는, 상기 정보 메뉴를 통해서 증강 현실 실행 요청이 있으면, 상기 3차원 마커부가 표시된 화면 상에 미리 저장된 상기 증강 현실 컨텐츠를 반투명 또는 불투명 방식으로 중첩되도록 디스플레이하고, 상기 증강 현실 컨텐츠는 동적 컨텐츠이다.On the other hand, in the step of executing the virtual reality or augmented reality content, if there is an augmented reality execution request through the information menu, the augmented reality content stored in advance on the screen on which the 3D marker unit is displayed is superimposed in a semi-transparent or opaque manner. display, and the augmented reality content is dynamic content.
한편, 상기 이미지를 표시하는 단계는, 상기 정보 메뉴를 통해서 이미지 표시 실행 요청이 있으면, 상기 가상 현실 또는 증강 현실 컨텐츠가 실행 중에 있을 경우에는 해당 가상 현실 또는 증강 현실 컨텐츠를 중지시키고, 상기 3차원 마커부에 의해서 인식된 문화재에 대한 미리 저장된 과거 이미지를 상기 디스플레이 모듈을 통해서 표시한다. On the other hand, in the displaying of the image, if there is an image display execution request through the information menu, when the virtual reality or augmented reality content is being executed, the corresponding virtual reality or augmented reality content is stopped, and the three-dimensional marker A pre-stored past image of the cultural property recognized by the department is displayed through the display module.
본 발명의 다양한 실시 예에 따르면, 사용자가 문화재의 미니어처를 직접 조립해서 복합 현실 컨텐츠를 구동시키기 위한 입체 마커를 만듦으로써, 해당 문화재에 대한 체험 교육의 효과를 증가시킬 수 있고,According to various embodiments of the present disclosure, the effect of experiential education on the cultural heritage can be increased by making a three-dimensional marker for driving the complex reality content by directly assembling the miniature of the cultural property by the user,
또한, 사용자에 의해서 조립가능한 문화재 3차원 조립체를 이용하여 해당 문화재에 관한 다양한 정보를 가상 현실, 증강 현실 및 복합 현실 컨텐츠 등의 다양한 방식으로 직관적으로 제공함으로써, 사용자의 사용상의 편의성을 증대시키는 효과를 발휘한다.In addition, by intuitively providing various information about the cultural heritage in various ways such as virtual reality, augmented reality, and mixed reality content using a three-dimensional assembly of cultural assets that can be assembled by the user, the effect of increasing user convenience is achieved. perform
도 1은 본 발명의 일 실시 예에 따른 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 예시적으로 설명하기 위한 블럭도,
도 2는 도 1에 도시된 3차원 마커부를 예시적으로 설명하기 위한 도면,
도 3은 도 2에 도시된 3차원 마커부의 조립 플레이트를 예시적으로 설명하기 위한 도면,
도 4는 도 3에 도시된 조립 플레이트에서 조립 부품이 모두 분리된 상태를 예시적으로 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 다른 종류의 3차원 마커부를 예시적으로 설명하기 위한 도면,
도 6은 도 5에 도시된 3차원 마커부의 조립 플레이트를 예시적으로 설명하기 위한 도면,
도 7은 도 6에 도시된 조립 플레이트에서 조립 부품이 모두 분리된 상태를 예시적으로 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른 전자 장치를 예시적으로 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른 전자 장치를 이용하여 3차원 마커부를 촬상하는 일 예를 예시적으로 설명하기 위한 도면,
도 10은 도 9에 도시된 전자 장치에 3차원 마커부를 인식하는 과정을 예시적으로 설명하기 위한 도면,
도 11은 도 10에 도시된 3차원 마커부와 관련 가상 현실 컨텐츠 메뉴를 예시적으로 도시한 도면,
도 12 내지 14는 도 11에 도시된 가상 현실 컨텐츠 메뉴 중 하나를 선택해서 실행된 가상 현실 컨텐츠를 예시적으로 설명하는 도면,
도 15는 본 발명의 일 실시 예에 따른 3차원 마커부와 관련된 이미지를 표시하는 일 예를 예시적으로 설명하는 도면,
도 16은 본 발명의 다른 실시 예에 따른 3차원 마커부를 이용하여 증강 현실 컨텐츠를 스캐닝하는 과정을 예시적으로 도시한 도면,
도 17은 도 16에 도시된 3차원 마커부에 대응하는 증강 현실 컨텐츠를 실행시키는 과정을 예시적으로 도시한 도면,
도 18은 도 17에 도시된 3차원 마커부에 증강 현실 컨텐츠를 중첩하여 표시하는 일 예를 예시적으로 도시한 도면, 그리고,
도 19는 도 18에 도시된 3차원 마커부에 증강 현실 컨텐츠를 동적으로 표시하는 일 예를 예시적으로 도시한 도면.1 is a block diagram for illustratively explaining a complex reality driving system using an assembleable three-dimensional structure according to an embodiment of the present invention;
2 is a view for explaining the three-dimensional marker unit shown in FIG. 1 by way of example;
3 is a view for explaining the assembly plate of the three-dimensional marker shown in FIG. 2 by way of example;
4 is a view for illustratively explaining a state in which all assembly parts are separated from the assembly plate shown in FIG. 3;
5 is a view for explaining by way of example another type of three-dimensional marker unit according to an embodiment of the present invention;
6 is a view for explaining the assembly plate of the three-dimensional marker shown in FIG. 5 by way of example;
7 is a view for illustratively explaining a state in which all assembly parts are separated from the assembly plate shown in FIG. 6;
8 is a view for explaining an electronic device according to an embodiment of the present invention by way of example;
9 is a view for explaining an example of imaging a 3D marker unit using an electronic device according to an embodiment of the present invention;
10 is a view for explaining a process of recognizing a 3D marker unit in the electronic device shown in FIG. 9 by way of example;
11 is a view exemplarily showing the three-dimensional marker unit shown in FIG. 10 and a related virtual reality content menu;
12 to 14 are views exemplarily explaining virtual reality content executed by selecting one of the virtual reality content menus shown in FIG. 11;
15 is a view exemplarily illustrating an example of displaying an image related to a three-dimensional marker unit according to an embodiment of the present invention;
16 is a diagram exemplarily illustrating a process of scanning augmented reality content using a three-dimensional marker unit according to another embodiment of the present invention;
17 is a view exemplarily showing a process of executing augmented reality content corresponding to the three-dimensional marker unit shown in FIG. 16;
18 is a view exemplarily showing an example of displaying augmented reality content overlaid on the 3D marker shown in FIG. 17;
19 is a diagram exemplarily showing an example of dynamically displaying augmented reality content on the 3D marker unit shown in FIG. 18;
이하에서, 도면을 참고하여 본 발명의 바람직한 실시 예에 대해서 설명한다. 이하에서 설명되는 실시 예는 본 발명의 기술적 사상의 범위 이내에서 다양하게 설계변경될 수 있으며, 이렇게 설계 변경된 범위까지도 본 발명의 기술 사상 이내에서는 본 발명의 권리 범위에 속한다.Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings. The embodiments described below may be variously changed in design within the scope of the technical spirit of the present invention, and even the design-changed scope falls within the scope of the present invention within the technical spirit of the present invention.
도 1은 본 발명의 일 실시 예에 따른 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 예시적으로 설명하기 위한 블럭도이다. 도 1을 참고하면, 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템은 3차원 마커부(100) 및 전자 장치(200)를 포함하고, 전자 장치(200)는 웹 서버(300)와 유무선 통신을 통해서 연결될 수 있다.1 is a block diagram for illustratively explaining a complex reality driving system using an assembleable three-dimensional structure according to an embodiment of the present invention. Referring to FIG. 1 , a complex reality driving system using an assembleable three-dimensional structure includes a three-
3차원 마커부(100)는 사용자에 의해서 조립되서 3차원 형태로 구성되면 VR/AR/MR을 실행시키기 위한 입체 마커로 기능한다. 본 발명의 다양한 실시 예에 따르면 3차원 마커부(100)는 국가 문화재, 지방 문화재, 사적, 각종의 기념물 등을 나타내도록 구성될 수 있다. 여기서, 3차원 마커부(100)는 사용자에 의해서 조립될 수 있다는 점에 기술적 특징이 있고, 3차원 마커부(100)의 조립이 완성되면 역사적 기념물을 표현하는 미니어처(miniature)가 될 수 있다. 이러한 3차원 마커부(100)는 역사적 기념품을 표현할 수 있는 적어도 하나 이상의 특징점을 포함할 수 있다.When the three-
전자 장치(200)는 3차원 마커부를 광학적으로 인식하는 카메라 모듈, 카메라 모듈에 의해서 인식된 3차원 마커부를 화면에 표시하는 디스플레이 모듈, 3차원 마커부와 관련된 정보를 표시하기 위한 정보 제공 모듈, 3차원 마커부와 관련된 증강 현실 및 가상 현실을 실행시켜서 디스플레이 모듈에 중첩시켜 표시하는 AR/VR 실행 모듈, 3차원 마커부와 관련된 이미지를 디스플레이 모듈에 표시하는 이미지 재생 모듈, 이들의 동작을 전반적으로 제어하는 제어 모듈 및 외부 웹 서버와 통신을 위한 통신 모듈을 포함한다.The
웹 서버(300)는 전자 장치(200)와 유무선 네트워크를 통해서 연결되고, 데이터 및 정보를 교환한다. 웹 서버(300)는 전자 장치(200)에 설치되는 애플리케이션을 저장하거나 AR/VR/MR 컨텐츠를 저장하거나, 회원제로 운영될 경우에 회원 정보 및 가입 정보 등을 저장하는 애플리케이션 운영 서버로 동작한다. 웹 서버(300)는 사용자의 요청에 따라 새로운 버전의 애플리케이션을 전자 장치(200)로 제공할 수 있고, 새롭게 추가된 AR/VR/MR 컨텐츠를 제공할 수 있다. 또한, 웹 서버(300)는 새로운 종류의 3차원 마커부(100)에 대한 정보를 데이터베이스에 추가하여 등록할 수 있고, 미인식 마커부에 대한 로그 정보를 수신하여 저장하고 분석할 수 있다.The
도 2는 도 1에 도시된 3차원 마커부를 예시적으로 설명하기 위한 도면이다. 도 2를 참고하면, 3차원 마커부(100)는 전통 사찰을 미니어처 형태로 구성한 3차원 형태의 마커이다. 3차원 마커부(100)는 각각의 부품이 이하에서 설명하는 부품 플레이트로부터 분리되서 사용자에 의해서 조립되어 완성될 수 있다. 이러한 3차원 마커부(100-1)는 전통 사찰(예컨대, 동국사 : 동국사(東國寺)는 1909년 일본 승려 선응불관 스님에 의해 창건되어 일제 강점기 36년을 일인 승려들에 의해 운영되다가 1945년 8월 15일 해방을 맞이하여 대한민국의 품으로 돌아온 뼈아픈 역사를 간직하고 있는 사찰이다. 그리하여 대한제국과 일제 강점기 시대를 거쳐 오늘에 이르고 있다. 우리나라에 남겨진 유일의 일본식 사찰로 대웅전과 요사채가 실내 복도로 이어진 것이 특징이다. 화려한 단청이 있는 우리나라와는 달리 아무런 장식이 없는 처마와 대웅전 외벽에 많은 창문이 일본색을 나타낸다. 조계종 제 24교구인 고창 선운사의 말사로, 동국사의 대웅전은 2003년 7월에 국가지정 등록 문화재 제 64호로 지정되었다. 동국사의 본래 이름은 금강선사였다. 금강선사는 1909년 일본인 승려 내전불관이 군산에 포교소를 개설하면서 창건한 조동종 사찰)을 미니어처 형태로 구성한 것이다. 이러한 미니어처 형식의 3차원 마커부(100)는 특정 방향에서 해당 마커부를 인식해서 VR/AR/MR 애플리케이션을 실행시킬 수 있다.FIG. 2 is a view for explaining the three-dimensional marker unit shown in FIG. 1 by way of example. Referring to FIG. 2 , the three-
도 3은 도 2에 도시된 3차원 마커부의 조립 플레이트를 예시적으로 설명하기 위한 도면이다. 도 3을 참고하면, 3차원 마커부의 조립 플레이트(100-1)는 좌측 플레이트(도 3(a) 참조)와 우측 플레이트(도 3(b) 참조)로 구성된 2개 1세트의 조립 플레이트이다. 실시 예에 따라서는 2개 이상의 조립 플레이트로 구성될 수도 있다.FIG. 3 is a view for exemplarily explaining the assembly plate of the three-dimensional marker unit shown in FIG. 2 . Referring to FIG. 3 , the assembly plate 100-1 of the three-dimensional marker unit is a set of two assembly plates composed of a left plate (see FIG. 3(a)) and a right plate (see FIG. 3(b)). Depending on the embodiment, it may be composed of two or more assembly plates.
조립 플레이트에는 미리 인쇄된 각종의 부품이 분리되기 쉽게 구성되어 있다. 각각의 부품은 조립 플레이트로부터 분리되서 다른 부품과 조립되서 3차원 마커부(100)를 구성하게 된다.The assembly plate is configured so that various pre-printed parts can be easily separated. Each part is separated from the assembly plate and assembled with other parts to constitute the three-
도 4는 도 3에 도시된 조립 플레이트에서 조립 부품이 모두 분리된 상태를 예시적으로 설명하기 위한 도면이다. 도 4를 참고하면, 모든 부품이 분리되고, 서로 연결되는 부품을 상호 조립하면 3차원 마커부(100)가 완성된다. 도 4에 도시된 조립 플레이트에는 부품 별로 고유 번호가 인쇄되어 있고, 각각의 고유 번호를 이용하여 각각의 부품별로 조립이 이루어지게 된다. 다만, 각각의 고유 번호는 조립의 순서를 의미하는 것은 아니다.FIG. 4 is a view for explaining a state in which all assembly parts are separated from the assembly plate shown in FIG. 3 . Referring to FIG. 4 , when all parts are separated and parts connected to each other are assembled together, the three-
도 5는 본 발명의 일 실시 예에 따른 다른 종류의 3차원 마커부를 예시적으로 설명하기 위한 도면이다. 도 5를 참고하면, 3차원 마커부(100)는 지방 사적을 미니어처 형태로 구성한 3차원 형태의 마커이다. 3차원 마커부(100)는 각각의 부품이 이하에서 설명하는 부품 플레이트로부터 분리되서 사용자에 의해서 조립되어 완성될 수 있다. 이러한 3차원 마커부(100-1)는 지방 사적(예컨대, 1930년대 군산항 : 전라북도 군산시에 있는 항구. 개항 이전에도 조운의 중심지로 미곡의 집산지였다. 1899년 5월 개항되었으며 수출품은 일본의 쌀 반출로 미곡이 약 90%를 차지하였다)을 미니어처 형태로 구성한 것이다. 이러한 미니어처 형식의 3차원 마커부(100)는 특정 방향에서 해당 마커부를 인식해서 VR/AR/MR 애플리케이션을 실행시킬 수 있다. 또한, 본 발명의 일 실시 예에 따른 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템은 과거 시절의 군산항(1930년대 군산항)을 대표하는 특징점을 VR/AR/MR 컨텐츠 중 어느 하나 이상의 방식으로 표현할 수 있다.5 is a diagram for illustratively explaining another type of 3D marker unit according to an embodiment of the present invention. Referring to FIG. 5 , the three-
도 6은 도 5에 도시된 3차원 마커부의 조립 플레이트를 예시적으로 설명하기 위한 도면이다. 도 6을 참고하면, 3차원 마커부의 조립 플레이트(100-1)는 상측 플레이트(도 6(a) 참조)와 하측 플레이트(도 6(b) 참조)로 구성된 2개 1세트의 조립 플레이트이다. 실시 예에 따라서는 2개 이상의 조립 플레이트로 구성될 수도 있다.FIG. 6 is a view for exemplarily explaining the assembly plate of the three-dimensional marker unit shown in FIG. 5 . Referring to FIG. 6 , the assembly plate 100-1 of the three-dimensional marker unit is a set of two assembly plates composed of an upper plate (see FIG. 6(a)) and a lower plate (see FIG. 6(b)). Depending on the embodiment, it may be composed of two or more assembly plates.
도 6에 도시된 조립 플레이트에는 부품 별로 고유의 색채가 채색되어 있으며, 이러한 채색은 조립이 완성되면 3차원 마커부(100)를 인식시키는 고유한 특징으로 작용될 수 있다. 또한, 조립 플레이트에는 미리 인쇄된 각종의 부품이 분리되기 쉽게 구성되어 있다. 각각의 부품은 조립 플레이트로부터 분리되서 다른 부품과 조립되서 3차원 마커부(100)를 구성하게 된다.The assembly plate shown in FIG. 6 is colored with a unique color for each part, and this coloring may serve as a unique feature for recognizing the three-
도 7은 도 6에 도시된 조립 플레이트에서 조립 부품이 모두 분리된 상태를 예시적으로 설명하기 위한 도면이다. 도 7을 참고하면, 모든 부품이 분리되고, 서로 연결되는 부품을 상호 조립하면 3차원 마커부(100)가 완성된다. 각각의 부품의 주변에는 고유 번호가 인쇄되어 있고, 각각의 고유 번호를 이용하여 각각의 부품별로 조립이 이루어지게 된다. 다만, 각각의 고유 번호는 조립의 순서를 의미하는 것은 아니다.7 is a view for exemplarily explaining a state in which all assembly parts are separated from the assembly plate shown in FIG. 6 . Referring to FIG. 7 , when all parts are separated and parts connected to each other are assembled together, the three-
도 8은 본 발명의 일 실시 예에 따른 전자 장치를 예시적으로 설명하기 위한 도면이다. 도 8을 참고하면, 전자 장치(200)는 카메라 모듈(210), 디스플레이 모듈(220), 정보 제공 모듈(230), AR/VR 실행 모듈(240), 이미지 재생 모듈(250), 제어 모듈(260) 및 통신 모듈(270)을 포함한다.8 is a diagram for explaining an electronic device according to an embodiment of the present invention. Referring to FIG. 8 , the
카메라 모듈(210)은 광학 방식으로 작동하고, 피사체인 3차원 마커부를 촬상하여, 해당 3차원 마커부의 특징점을 추출하도록 기능한다. 카메라 모듈(210)은 3차원 마커부(100)의 모양, 형태, 색채, 문자, 기호, 그림 중 적어도 하나 이상의 특징점을 촬상하고, 이렇게 촬상된 특징점을 전기적 신호로 변환하여 제어 모듈(260)로 전달한다.The
디스플레이 모듈(220)은 카메라 모듈(210)에 의해서 인식된 3차원 마커부(100)를 표시하는 기능을 수행한다. 디스플레이 모듈(220)은 액정 디스플레이, OLED 등 디스플레이 표시 기능과 터치 패널부를 더 구비하여 외부 입력을 감지하여 입력 장치로써의 기능도 겸할 수 있다.The
정보 제공 모듈(230)은 3차원 마커부(100)와 관련된 정보를 디스플레이 모듈(220)을 통해서 표시하기 위한 각종의 정보를 생성한다. 정보 제공 모듈(230)은 AR/VR/이미지 표시 기능을 선택할 수 있는 메뉴 버튼을 제공할 수 있다. 또한, 정보 제공 모듈(230)은 AR/VR/MR 컨텐츠에 대한 세부 정보를 디스플레이 모듈(220)을 통해서 사용자에게 제공할 수 있다.The
AR/VR 실행 모듈(240)은 3차원 마커부(100)와 관련된 증강 현실 및 가상 현실 컨텐츠를 디스플레이 모듈(220)에 중첩시켜서 표시하도록 증강 현실 및 가상 현실 컨텐츠를 생성하는 기능을 수행한다. AR/VR 실행 모듈(240)은 미리 저장된 AR 컨텐츠와 VR 컨텐츠를 호출해서 디스플레이 모듈(220)을 통해서 사용자에게 제공할 수 있다. 또는 AR/VR 실행 모듈(240)은 사용자의 조작에 반응해서 이미 실행 중인 AR/VR 컨텐츠의 내용을 변경해서 수정된 AR/VR 컨텐츠를 생성하고, 생성된 수정 AR/VR 컨텐츠를 디스플레이 모듈(220)을 통해서 사용자에게 제공할 수 있다.The AR/
이미지 재생 모듈(250)은 현재 실행 중인 3차원 마커부(100)와 관련된 이미지를 저장 모듈(미도시)로부터 독출하고, 독출된 이미지 데이터를 디스플레이 모듈(220)를 통해서 사용자에게 제공할 수 있다. 이미지 재생 모듈(250)은 정적 이미지, 동적 이미지, 애니메이션, 플래시, 사운드 및 이들의 조합된 컨텐츠로 제공될 수 있다. The
제어 모듈(260)은 카메라 모듈(210), 디스플레이 모듈(220), 정보 제공 모듈(230), AR/VR 실행 모듈(240), 이미지 재생 모듈(250) 및 통신 모듈(270) 등의 전반적인 동작을 제어한다.The
제어 모듈(260)은 MPU, APU, CPU 등을 적어도 하나 이상 포함하는 싱글 보드 컴퓨터로 구성될 수 있다. 제어 모듈(260)은 다양한 입출력 인터페이스를 포함하고, 이를 통해서 다양한 외부 장치를 연결해서 기능을 확장할 수 있다. 제어 모듈(260)은 각각의 모듈의 동작을 모니터링하고, 예외 상황이 발생하면 VR/AR 애플리케이션의 동작을 중지시켜서 예외 처리를 실행할 수 있다. 제어 모듈(260)은 사용자의 제어 명령, 애플리케이션의 실행 결과 등과 관련된 로그 정보를 수집하고, 이를 기초하여 애플리케이션 및 시스템의 정상 동작 여부를 감지할 수 있다.The
통신 모듈(270)은 제어 모듈(260)의 제어에 따라 외부 서버(300)와 유무선 통신 방식으로 데이터를 교환할 수 있다. 통신 모듈(270)은 외부 서버(300)로 VR/AR 컨텐츠를 요청하는 요청 신호를 전송하고, 외부 서버로(300)로부터 VR/AR 컨텐츠 데이터 신호를 수신할 수 있다.The
도 9는 본 발명의 일 실시 예에 따른 전자 장치를 이용하여 3차원 마커부를 촬상하는 일 예를 예시적으로 설명하기 위한 도면이다. 도 9를 참고하면, 사용자는 3차원 마커부(100)를 조립해서 완성한 뒤 책상 위에 놓아 둔다. 사용자는 전자 장치(200)를 이용해서 책상 위에 놓여 있는 3차원 마커부(100)를 소정의 각도에서 지향해서 촬상한다. 이때, 전자 장치(200)는 3차원 마커부(100)를 인식하게 되면, 자동으로 전자 장치(200)에 미리 설치되어 있는 VR/AR 애플리케이션을 실행시키고, VR/AR 애플리케이션이 실행된 상태에서 3차원 마커부(100)를 디스플레이 모듈(220)을 통해서 사용자에게 표시한다.9 is a view for explaining an example of imaging a 3D marker unit using an electronic device according to an embodiment of the present invention. Referring to FIG. 9 , the user assembles and completes the three-
도 10은 도 9에 도시된 전자 장치에 3차원 마커부를 인식하는 과정을 예시적으로 설명하기 위한 도면이다. 도 10을 참고하면, 전자 장치(200)의 디스플레이 모듈(220)에는 3차원 마커부(100)의 실제 이미지가 표시될 수 있다. 전자 장치(200)의 디스플레이 모듈(220)에 3차원 마커부(100)가 표시되고, VR/AR 애플리케이션이 실행되면, 해당 3차원 마커부(100)를 인식하는 상태로 넘어가고, VR/AR 애플리케이션의 메뉴등이 디스플레이 모듈(220)을 통해서 사용자에게 제공될 수 있다.FIG. 10 is a diagram for exemplarily explaining a process of recognizing a 3D marker unit in the electronic device shown in FIG. 9 . Referring to FIG. 10 , an actual image of the
도 11은 도 10에 도시된 3차원 마커부와 관련 가상 현실 컨텐츠 메뉴를 예시적으로 도시한 도면이다. 도 11을 참고하면, 정보 제공 모듈(230)은 3차원 마커부(100)의 이미지 상에 다양한 종류의 정보를 중첩적으로 표시하여 사용자에게 제공한다. 정보 제공 모듈(230)은 실행 버튼 선택 메뉴(230-1), 이동 및 질문 메뉴(230-2), 컨텐츠 정보 메뉴(230-3) 등을 제공한다. 11 is a diagram exemplarily illustrating a 3D marker unit shown in FIG. 10 and a related virtual reality content menu. Referring to FIG. 11 , the
또한, AR/VR 실행 모듈(240)은 3차원 마커부(100)의 이미지에 중첩적으로 가상 현실 컨텐츠를 선택할 수 있는 가상 현실 컨텐츠 메뉴(240-1)를 표시함으로써, 가상 현실 컨텐츠를 실행할 수 있도록 한다. 만약, AR/VR 실행 모듈(240)에 의해서 실행된 가상 현실 컨텐츠 메뉴(240-1) 중 어느 하나의 메뉴가 선택되면, 해당 선택된 메뉴에 의해서 연결된 가상 현실 화면으로 전환된다.In addition, the AR/
도 12 내지 14는 도 11에 도시된 가상 현실 컨텐츠 메뉴 중 하나를 선택해서 실행된 가상 현실 컨텐츠를 예시적으로 설명하는 도면이다. 도 12는 도 11에서 선택된 가상 현실 메뉴에 대응하는 미리 준비된 해당 장소에 대한 VR 컨텐츠 중 일부이다. 도 12에서 전자 장치(200)를 X축 또는 Y축 방향으로 이동시키면, 이동되는 화면에 연속적인 VR 컨텐츠를 디스플레이 모듈(220)을 통해서 표시한다.12 to 14 are diagrams exemplarily illustrating virtual reality content executed by selecting one of the virtual reality content menus shown in FIG. 11 . FIG. 12 is a portion of VR contents for a corresponding place prepared in advance corresponding to the virtual reality menu selected in FIG. 11 . When the
도 13은 도 12에 도시된 화면 상태에서 X축 방향으로 전자 장치(200)를 회전시켜서 전환된 VR 컨텐츠를 나타낸다. 도 14는 도 12에 도시된 화면 상태에 -X축 방향을 전자 장치(200)를 회전시켜서 전환된 VR 컨텐츠를 나타낸다. 사용자는 전자 장치(200)를 Y축으로 이동시키거나 -Y축으로 이동시켜서 연속적으로 VR 컨텐츠 화면을 디스플레이 모듈(220)을 통해서 경험할 수 있다.FIG. 13 shows VR contents converted by rotating the
도 15는 본 발명의 일 실시 예에 따른 3차원 마커부와 관련된 이미지를 표시하는 일 예를 예시적으로 설명하는 도면이다. 도 15를 참고하면, 정보 제공 모듈(230)에 의해서 제공되는 실행 버튼 선택 메뉴(230-1) 중 사용자에 의해서 과거 사진 메뉴가 선택되면, 해당 3차원 마커부(100)와 연관되어 있는 이미지 정보가 디스플레이 모듈(220)을 통해서 표시될 수 있다. 도 15에서는 3차원 마커부(100)는 군산 동국사에 대한 컨텐츠이므로, 전자 장치(200)는 과거 동국사에 관한 이미지를 디스플레이 모듈(220)을 통해서 표시함으로써 사용자에게 제공한다.15 is a view exemplarily illustrating an example of displaying an image related to a 3D marker unit according to an embodiment of the present invention. Referring to FIG. 15 , when a past photo menu is selected by the user from among the execution button selection menu 230-1 provided by the
도 16은 본 발명의 다른 실시 예에 따른 3차원 마커부를 이용하여 증강 현실 컨텐츠를 스캐닝하는 과정을 예시적으로 도시한 도면이다. 도 16을 참고하면, 정보 제공 모듈(230)에 의해서 제공되는 실행 버튼 선택 메뉴(230-1) 중 증강 현실 버튼이 선택되거나 설정에 따라서는 VR/AR 애플리케이션이 처음 실행될 때, 증강 현실 컨텐츠를 실행하기 위한 스캐닝 동작이 이루어진다.16 is a diagram exemplarily illustrating a process of scanning augmented reality content using a 3D marker unit according to another embodiment of the present invention. Referring to FIG. 16 , when an augmented reality button is selected from among the execution button selection menus 230-1 provided by the
도 17은 도 16에 도시된 3차원 마커부에 대응하는 증강 현실 컨텐츠를 실행시키는 과정을 예시적으로 도시한 도면이다. 도 17을 참고하면, 3차원 마커부(100)에 대한 스캐닝이 완료된 후, 3차원 마커부(100)에 관련된 AR 컨텐츠를 디스플레이 모듈(220)을 통해서 표시한다. 이때, AR/VR 실행 모듈(240)은 3차원 마커부(100)에 중첩되도록 AR 컨텐츠(240-1)을 표시함으로써, 증강 현실이 실행되고 있음을 사용자에게 알려줄 수 있다.FIG. 17 is a diagram exemplarily illustrating a process of executing augmented reality content corresponding to the 3D marker unit shown in FIG. 16 . Referring to FIG. 17 , after scanning of the
도 18은 도 17에 도시된 3차원 마커부에 증강 현실 컨텐츠를 중첩하여 표시하는 일 예를 예시적으로 도시한 도면이다. 도 18을 참고하면, 전자 장치(200)는 AR/VR 실행 모듈(240)에 의해서 생성된 증강 현실 컨텐츠(240-2)를 3차원 마커부(100) 상에 중첩되도록 표시한다. 이때, 증강 현실 컨텐츠(240-2)는 정적 컨텐츠뿐만 아니라 동적 컨텐츠 및 이들을 조합한 형태의 컨텐츠로 표현될수 있다. 예를 들어, 도 18에서는 1930년대 군산항에서 밀물인 상태를 표현해주고 있다.FIG. 18 is a diagram exemplarily showing an example of displaying augmented reality content overlaid on the 3D marker shown in FIG. 17 . Referring to FIG. 18 , the
도 19는 도 18에 도시된 3차원 마커부에 증강 현실 컨텐츠를 동적으로 표시하는 일 예를 예시적으로 도시한 도면이다. 도 19를 참고하면, 증강 현실 컨텐츠(240-2)는 정적 컨텐츠뿐만 아니라 동적 컨텐츠 및 이들을 조합한 형태의 컨텐츠로 표현될 수 있다. 예를 들어, 도 19에서는 1930년대 군산항에서 썰물과 밀물이 상호 전환되는 예를 동적으로 표현해주고 있다.19 is a diagram exemplarily illustrating an example of dynamically displaying augmented reality content on the 3D marker unit shown in FIG. 18 . Referring to FIG. 19 , the augmented reality content 240 - 2 may be expressed not only as static content but also as dynamic content and content in the form of a combination thereof. For example, FIG. 19 dynamically expresses an example in which low tide and high tide are switched in Gunsan Port in the 1930s.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.On the other hand, even though it has been described that all components constituting the embodiment of the present invention are combined or operated as one, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components are selectively combined to perform some or all functions of the combined components in one or a plurality of hardware program modules It may be implemented as a computer program having Codes and code segments constituting the computer program can be easily deduced by those skilled in the art of the present invention. Such a computer program is stored in a computer-readable non-transitory computer readable media, read and executed by the computer, thereby implementing an embodiment of the present invention.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.Here, the non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium that stores data for a short moment, such as a register, cache, memory, etc. . Specifically, the above-described programs may be provided by being stored in a non-transitory readable recording medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
100 : 3차원 마커부 200 : 전자 장치
210 : 카메라 모듈 220 : 디스플레이 모듈
230 : 정보 제공 모듈 240 : VR/AR 실행 모듈
250 : 이미지 재생 모듈 260 : 제어 모듈
270 : 통신 모듈 300 : 웹 서버100: three-dimensional marker unit 200: electronic device
210: camera module 220: display module
230: information providing module 240: VR / AR execution module
250: image playback module 260: control module
270: communication module 300: web server
Claims (10)
입체 마커로 기능하도록 사용자에 의해서 3차원 구조체로 미리 조립되는 3차원 마커부; 및
상기 3차원 마커부를 특정 방향으로 지향해서 상기 입체 마커로써 인식할 경우에 해당 입체 마커에 대응하는 증강현실, 가상현실 또는 이들의 혼합 현실 컨텐츠를 디스플레이하도록 구성되는 전자 장치;를 포함하고,
상기 3차원 마커부는, 상기 3차원 구조체를 구성하는 다수의 부품의 형태가 미리 인쇄된 부품 플레이트에서 상기 다수의 부품으로 분리되고, 분리된 상기 다수의 부품을 상호 조립해서, 문화재의 특징점을 포함하는 미니어처 문화재를 구성하는 3차원 구조체인 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템.
In a complex reality driving system using an assembleable three-dimensional structure,
a three-dimensional marker unit pre-assembled into a three-dimensional structure by a user to function as a three-dimensional marker; and
and an electronic device configured to display augmented reality, virtual reality, or mixed reality contents corresponding to the three-dimensional marker when the three-dimensional marker unit is directed in a specific direction and recognized as the three-dimensional marker;
The three-dimensional marker unit is separated into the plurality of parts in a part plate on which the shapes of the plurality of parts constituting the three-dimensional structure are pre-printed, and by assembling the separated parts with each other, including characteristic points of cultural properties A complex reality driving system using an assembleable three-dimensional structure, characterized in that it is a three-dimensional structure constituting a miniature cultural property.
상기 부품 플레이트는, 표면에 상기 미니어처 문화재를 구성하는 부품의 모양이 인쇄되어 있고, 다중으로 압축된 종이 재질로 구성된 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템.
According to claim 1,
The component plate is a complex reality driving system using an assembleable three-dimensional structure, characterized in that the shape of the parts constituting the miniature cultural property is printed on the surface, and is composed of a multi-compressed paper material.
상기 문화재의 특징점은, 실제 문화재으로부터 획득된 문자, 도형, 모양, 형태, 색채 및 이들의 결합으로 이루어진 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템.
According to claim 1,
The characteristic point of the cultural heritage is a complex reality driving system using an assembleable three-dimensional structure, characterized in that it consists of characters, figures, shapes, shapes, colors, and combinations thereof obtained from actual cultural assets.
상기 전자 장치는, 상기 3차원 마커부를 광학적으로 인식하는 카메라 모듈, 상기 카메라 모듈에 의해서 인식된 상기 3차원 마커부를 화면에 표시하는 디스플레이 모듈, 상기 3차원 마커부와 관련된 정보를 표시하기 위한 정보 제공 모듈, 상기 3차원 마커부와 관련된 증강 현실 및 가상 현실을 실행시켜서 상기 디스플레이모듈에 중첩시켜 표시하는 AR/VR 실행 모듈, 상기 3차원 마커부와 관련된 이미지를 상기 디스플레이 모듈에 표시하는 이미지 재생 모듈, 이들의 동작을 전반적으로 제어하는 제어 모듈 및 외부 서버와 통신을 위한 통신 모듈을 포함하는 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템.
According to claim 1,
The electronic device provides a camera module for optically recognizing the 3D marker unit, a display module for displaying the 3D marker unit recognized by the camera module on a screen, and information for displaying information related to the 3D marker unit A module, an AR/VR execution module that executes augmented reality and virtual reality related to the three-dimensional marker unit and overlaps and displays the display module, an image reproduction module that displays an image related to the three-dimensional marker unit on the display module; A complex reality driving system using an assembleable three-dimensional structure, characterized in that it comprises a control module for overall controlling their operation and a communication module for communication with an external server.
상기 제어 모듈은, 상기 카메라 모듈에 의해서 피사체로 상기 3차원 구조체를 촬상하도록 제어하고, 상기 디스플레이 모듈에 3차원 구조체를 표시하되, 표시된 상기 3차원 구조체를 마커로 인식하면, 상기 정보 제공 모듈을 통해서 메뉴 정보를 상기 디스플레이 모듈에 표시하고, 사용자에 의해서 증강 현실 또는 가상 현실에 관한 컨텐츠 요청을 수신하면, 상기 AR/VR 실행 모듈을 통해서 증강 현실 컨텐츠 또는 가상 현실 컨텐츠를 상기 디스플레이 모듈에 표시하도록 제어하는 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템.
6. The method of claim 5,
The control module controls to image the three-dimensional structure as a subject by the camera module, and displays the three-dimensional structure on the display module. When the displayed three-dimensional structure is recognized as a marker, through the information providing module Displaying menu information on the display module, and when receiving a content request related to augmented reality or virtual reality by a user, control to display the augmented reality content or virtual reality content on the display module through the AR/VR execution module A complex reality driving system using an assembleable three-dimensional structure, characterized in that.
상기 전자 장치는, 카메라 모듈에 의해서 상기 3차원 마커부를 광학적으로 인식하는 단계;
상기 카메라 모듈에 의해서 인식된 상기 3차원 마커부를 화면에 표시하는 단계;
상기 3차원 마커부와 관련된 정보 메뉴를 표시하는 단계;
상기 정보 메뉴를 통해서 사용자의 가상 현실 또는 증강 현실 실행 요청이 있으면, 상기 3차원 마커부와 관련된 증강 현실 및 가상 현실을 실행시켜서 상기 디스플레이 모듈을 통해서 증강 현실 또는 가상 현실 컨텐츠를 실행시키는 단계;
상기 정보 메뉴를 통해서 사용자의 이미지 표시 실행 요청이 있으면, 상기 증강 현실 또는 가상 현실 컨텐츠와 관련된 이미지를 독출한 뒤, 상기 디스플레이 모듈을 통해서 독출된 이미지를 표시하는 단계;를 포함하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 이용한 복합 현실 구동 방법.
In order to function as a three-dimensional marker, the shape of a plurality of parts constituting a three-dimensional structure is separated into the plurality of parts on a pre-printed part plate by a user, and the separated parts are assembled with each other to include a characteristic point of cultural property A three-dimensional marker unit composed of a miniature cultural property that In a complex reality driving method using a complex reality driving system using an assembleable three-dimensional structure comprising an electronic device,
The electronic device may include: optically recognizing the 3D marker unit by a camera module;
displaying the 3D marker unit recognized by the camera module on a screen;
displaying an information menu related to the three-dimensional marker unit;
executing augmented reality or virtual reality related to the 3D marker unit when a user requests to execute virtual reality or augmented reality through the information menu to execute augmented reality or virtual reality content through the display module;
When there is a user's image display execution request through the information menu, reading the image related to the augmented reality or virtual reality content, and then displaying the read image through the display module; Assemblyable three-dimensional structure comprising a A mixed reality driving method using a mixed reality driving system using
상기 가상 현실 또는 증강 현실 컨텐츠를 실행시키는 단계는,
상기 3차원 마커부가 표시된 화면 상에 상기 가상 현실 컨텐츠를 실행시키기 위한 적어도 하나 이상의 가상 현실 컨텐츠 실행 메뉴를 중첩되도록 디스플레이하는 단계;
상기 가상 현실 컨텐츠 실행 메뉴 중 하나가 선택되면, 상기 3차원 마커부가 표시된 화면을 선택된 실행 메뉴와 관련된 상기 가상 현실 컨텐츠 화면으로 전환시키는 단계; 및
상기 가상 현실 컨텐츠 화면 상에서 사용자가 상기 전자 장치를 상측, 하측 좌측 또는 우측으로 움직이면, 움직임에 반응하여 상기 가상 현실 컨텐츠 화면에 대해서 변화된 컨텐츠 화면을 상기 디스플레이 모듈을 통해서 표시하는 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 이용한 복합 현실 구동 방법.
8. The method of claim 7,
The step of executing the virtual reality or augmented reality content comprises:
displaying at least one virtual reality content execution menu for executing the virtual reality content to be superimposed on the screen on which the 3D marker unit is displayed;
when one of the virtual reality content execution menus is selected, converting the screen on which the 3D marker unit is displayed to the virtual reality content screen related to the selected execution menu; and
When the user moves the electronic device upward, downward, left, or right on the virtual reality content screen, a content screen changed with respect to the virtual reality content screen in response to the movement is displayed through the display module. A mixed reality driving method using a mixed reality driving system using a dimensional structure.
상기 가상 현실 또는 증강 현실 컨텐츠를 실행시키는 단계는,
상기 정보 메뉴를 통해서 증강 현실 실행 요청이 있으면, 상기 3차원 마커부가 표시된 화면 상에 미리 저장된 상기 증강 현실 컨텐츠를 반투명 또는 불투명 방식으로 중첩되도록 디스플레이하고,
상기 증강 현실 컨텐츠는 동적 컨텐츠인 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 이용한 복합 현실 구동 방법.
8. The method of claim 7,
The step of executing the virtual reality or augmented reality content comprises:
If there is an augmented reality execution request through the information menu, the augmented reality content stored in advance on the screen on which the 3D marker unit is displayed is displayed so as to be superimposed in a semi-transparent or opaque manner,
The augmented reality content is a complex reality driving method using a complex reality driving system using an assembleable three-dimensional structure, characterized in that the dynamic content.
상기 이미지를 표시하는 단계는, 상기 정보 메뉴를 통해서 이미지 표시 실행 요청이 있으면, 상기 가상 현실 또는 증강 현실 컨텐츠가 실행 중에 있을 경우에는 해당 가상 현실 또는 증강 현실 컨텐츠를 중지시키고,
상기 3차원 마커부에 의해서 인식된 문화재에 대한 미리 저장된 과거 이미지를 상기 디스플레이 모듈을 통해서 표시하는 것을 특징으로 하는 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템을 이용한 복합 현실 구동 방법.
8. The method of claim 7,
In the step of displaying the image, when there is a request to execute image display through the information menu, when the virtual reality or augmented reality content is being executed, the corresponding virtual reality or augmented reality content is stopped;
A mixed reality driving method using a complex reality driving system using an assembleable three-dimensional structure, characterized in that the display module displays the previously stored past images of the cultural assets recognized by the three-dimensional marker unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200098882A KR102328714B1 (en) | 2020-08-06 | 2020-08-06 | Composite reality driving system using assembling 3D structure and composite reality driving method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200098882A KR102328714B1 (en) | 2020-08-06 | 2020-08-06 | Composite reality driving system using assembling 3D structure and composite reality driving method using the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102328714B1 true KR102328714B1 (en) | 2021-11-18 |
Family
ID=78717176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200098882A KR102328714B1 (en) | 2020-08-06 | 2020-08-06 | Composite reality driving system using assembling 3D structure and composite reality driving method using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102328714B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102618048B1 (en) * | 2022-09-27 | 2023-12-27 | 주식회사 아키클래스 | Creating My Home Educational Contents Provision System |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060065159A (en) * | 2004-12-10 | 2006-06-14 | (주)제니텀 엔터테인먼트 컴퓨팅 | 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same |
KR20100067155A (en) * | 2008-12-11 | 2010-06-21 | 인천대학교 산학협력단 | Apparatus and method for providing realistic contents through augmented book |
KR20190025391A (en) | 2017-09-01 | 2019-03-11 | 렛츠컴바인 주식회사 | Output method and system of augmented reality 3d image for historic site |
KR101989969B1 (en) | 2018-10-11 | 2019-06-19 | 대한민국 | Contents experience system of architectural sites based augmented reality |
KR102049773B1 (en) | 2018-07-04 | 2019-11-28 | 현상무 | A system and methods for the solutions of making up personalized tourism and cultural 3D mixed reality contents with operating the digital signage |
-
2020
- 2020-08-06 KR KR1020200098882A patent/KR102328714B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060065159A (en) * | 2004-12-10 | 2006-06-14 | (주)제니텀 엔터테인먼트 컴퓨팅 | 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same |
KR20100067155A (en) * | 2008-12-11 | 2010-06-21 | 인천대학교 산학협력단 | Apparatus and method for providing realistic contents through augmented book |
KR20190025391A (en) | 2017-09-01 | 2019-03-11 | 렛츠컴바인 주식회사 | Output method and system of augmented reality 3d image for historic site |
KR102049773B1 (en) | 2018-07-04 | 2019-11-28 | 현상무 | A system and methods for the solutions of making up personalized tourism and cultural 3D mixed reality contents with operating the digital signage |
KR101989969B1 (en) | 2018-10-11 | 2019-06-19 | 대한민국 | Contents experience system of architectural sites based augmented reality |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102618048B1 (en) * | 2022-09-27 | 2023-12-27 | 주식회사 아키클래스 | Creating My Home Educational Contents Provision System |
KR102618052B1 (en) * | 2022-09-27 | 2023-12-27 | 주식회사 아키클래스 | Educational system for improving social skills using house building tools |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4284855B2 (en) | Information input / output system, information input / output method, and program storage medium | |
Lal | Digital design essentials: 100 ways to design better desktop, web, and mobile interfaces | |
CN112230909B (en) | Method, device, equipment and storage medium for binding data of applet | |
US20210314668A1 (en) | Display Device And Content Recommendation Method | |
CN110442245A (en) | Display methods, device, terminal device and storage medium based on physical keyboard | |
CN101598916B (en) | Display apparatus, and display control method | |
CN104199542A (en) | Intelligent mirror obtaining method and device and intelligent mirror | |
JP5987780B2 (en) | Information processing apparatus and information processing program | |
WO2013088819A1 (en) | Augmented reality display method | |
JP6300113B2 (en) | Information display system and information display terminal | |
JP2001136504A (en) | System and method for information input and output | |
JP4555701B2 (en) | Information processing method, interface device, program, and recording medium | |
KR102328714B1 (en) | Composite reality driving system using assembling 3D structure and composite reality driving method using the same | |
CN114363705A (en) | Augmented reality equipment and interaction enhancement method | |
KR20190125565A (en) | Method for providing virtual reality tour and record media recorded program for implement thereof | |
KR102159326B1 (en) | System and Device for learning creator's style | |
KR101640688B1 (en) | A configuration system for apps on the smart device using the memo note and stickers | |
CN101620497A (en) | Multi-picture operation system and operation method thereof | |
CN107615265A (en) | Shift more device workspaces data method and system | |
KR102405324B1 (en) | Method for studying drawing with device | |
Sadun | The Core IOS 6 Developer's Cookbook | |
CN114115691A (en) | Electronic device and interaction method and medium thereof | |
US11947893B1 (en) | Integrating multiple slides for a presentation using a generated common background | |
KR102240410B1 (en) | Device for learning and method thereof | |
Cardoso et al. | Interaction tasks and controls for public display applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |