KR102191570B1 - Puzzle Assembly-Based Augmented Reality Service Providing System - Google Patents

Puzzle Assembly-Based Augmented Reality Service Providing System Download PDF

Info

Publication number
KR102191570B1
KR102191570B1 KR1020190077849A KR20190077849A KR102191570B1 KR 102191570 B1 KR102191570 B1 KR 102191570B1 KR 1020190077849 A KR1020190077849 A KR 1020190077849A KR 20190077849 A KR20190077849 A KR 20190077849A KR 102191570 B1 KR102191570 B1 KR 102191570B1
Authority
KR
South Korea
Prior art keywords
puzzle
image
smart device
augmented reality
module
Prior art date
Application number
KR1020190077849A
Other languages
Korean (ko)
Inventor
박정식
Original Assignee
박정식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박정식 filed Critical 박정식
Priority to KR1020190077849A priority Critical patent/KR102191570B1/en
Application granted granted Critical
Publication of KR102191570B1 publication Critical patent/KR102191570B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/06—Patience; Other games for self-amusement
    • A63F9/08—Puzzles provided with elements movable in relation, i.e. movably connected, to each other
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a system for providing an augmented reality service based on puzzle assembly, which confirms a result with augmented reality through a puzzle result formed by using puzzle pieces to double a learning ability and to enhance curiosity of a learner, can continuously enhance interest, selectively selects various dynamic images of a subject with one puzzle image by having an event selecting output module, can confirm the result with the augmented reality to enable a user to select and obtain the same as various augmented reality contents related to a puzzle image subject so as to contribute to the diversification of educational content on the basis of the augmented reality. To this end, the system of the present invention comprises: a plurality of puzzles fitted to a puzzle plate or fitted to each other to form a specific rough sketch, and expressed as a dynamic image of a specific subject in a static puzzle image to output the same as stereoscopic content; a smart device interworking with the specific rough sketch formed in a fitted puzzle by a wireless communication, and expressing the static image in a puzzle as a dynamic image to output the same as stereoscopic content on a screen when recognizing the puzzle at a predetermined interval; and a server for calculating completeness of the recognized puzzle when a specific puzzle is recognized by a smart device, and storing a dynamic event of the specific subject interworking with the static image in the puzzle to provide the same for the smart device.

Description

퍼즐 조립 기반 증강현실 서비스 제공 시스템{Puzzle Assembly-Based Augmented Reality Service Providing System}Puzzle Assembly-Based Augmented Reality Service Providing System}

본 발명은 퍼즐 조립 기반 증강현실 서비스 제공 시스템에 관한 것이다. 보다 상세하게는 본 발명에 의하면, 퍼즐 조각들을 이용하여 만든 퍼즐 결과물을 통해 증강현실로 결과물을 확인함으로써, 학습능력을 배가하며 학습자의 호기심을 증대시키고, 지속적인 흥미를 증진 시킬 수 있고, 이벤트선택출력모듈을 구비함으로써, 하나의 퍼즐 이미지로 피사체의 다양한 동적 영상을 선택적으로 선택하고, 증강현실로 그 결과물을 확인할 수 있어 퍼즐 이미지 주제와 관련된 다양한 증강현실 컨텐츠로 사용자가 선택하여 습득할 수 있어, 증강현실을 기반으로한 교육용 컨텐츠의 다양화에 기여하는 퍼즐 조립 기반 증강현실 서비스 제공 시스템에 관한 것이다. The present invention relates to a puzzle assembly-based augmented reality service providing system. More specifically, according to the present invention, by checking the result in augmented reality through the result of the puzzle made using the puzzle pieces, it is possible to increase the learning ability, increase the curiosity of the learner, and promote continuous interest, and output event selection. By providing a module, it is possible to selectively select various dynamic images of the subject with a single puzzle image, and check the result with augmented reality, so that the user can select and acquire various augmented reality contents related to the subject of the puzzle image. It relates to a puzzle assembly-based augmented reality service providing system that contributes to diversification of educational contents based on reality.

전자통신기기의 보편화와 IT 기술 인프라의 보급화에 의해 전자통신기기를 이용한 각종 정보, 교육의 제공이나 홍보 등이 다양한 방식으로 이루어지고 있다.With the widespread use of electronic communication devices and the spread of IT technology infrastructure, various types of information, education and promotion using electronic communication devices are being provided in various ways.

특히, 전자 통신 기기에서 접목된 기술로는 카메라와 디스플레이가 혼합된 증강 현실(AR: Augmented Reality)이 점차 대중화되고 있으며, 이러한 증강 현실은 현실의 이미지에 3차원 가상 이미지를 합성함으로써 하나의 영상으로 화면상에 디스플레이시켜주는 현시 기술을 의미한다.In particular, as a technology grafted in electronic communication devices, augmented reality (AR) in which a camera and a display are mixed is becoming increasingly popular, and such augmented reality is a single image by synthesizing a 3D virtual image with a real image. It refers to a manifestation technology that displays on the screen.

보다 상세하게는, 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여 주는 기술로 혼합현실(Mixed Reality, MR)이라고도 한다. 자신(객체)과 배경·환경 모두 현실이 아닌 가상의 이미지를 사용하는 가상현실과는 달리 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 즉, 증강현실은 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주어 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로서 1990년대 후반부터 연구개발이 진행되어 왔다.In more detail, it is also called mixed reality (MR) as a technology that superimposes a 3D virtual image on a real image or background to show it as a single image. Unlike virtual reality, which uses a virtual image that is not real in both the self (object) and the background and environment, the augmented reality technology in which the real environment and the virtual object are mixed allows the user to see the real environment, providing a better sense of reality and addition. Provide information. That is, augmented reality is a hybrid VR system that combines the real world with the virtual world with additional information in real time and displays it as a single image, and has been researched and developed since the late 1990s. It has been going on.

이에 따라 스마트폰, 태블릿 등 첨단 ICT 기술의 발전으로 모바일 증강현실 활용 분야가 다양하게 늘어나고 있고, 이러한 증강현실 기술은 교육 시스템에도 활용되고 있으나 아직은 활용이 미미한 실정이다. Accordingly, with the advancement of advanced ICT technologies such as smartphones and tablets, the field of mobile augmented reality application is increasing in various ways, and such augmented reality technology is also used in education systems, but its use is still insignificant.

선행기술문헌 : KR 등록특허공보 제1593659호(2016.2.12 공고)Prior art literature: KR Patent Publication No. 1593659 (2016.2.12 announcement)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 증강현실 기반의 퍼즐을 이용하여 흥미를 떨어뜨리지 않으면서 집중력과 기억력 향상에 도움이 됨은 물론, 교육에 유용한 콘텐츠를 제공하는 퍼즐 조립 기반 증강현실 서비스 제공 시스템을 제공하는 데 그 목적이 있다.The present invention was conceived to solve the above problems, and in particular, using augmented reality-based puzzles, a puzzle assembly base that helps to improve concentration and memory without diminishing interest, as well as providing useful content for education. Its purpose is to provide an augmented reality service providing system.

상기 목적을 달성하기 위해 안출된 본 발명에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템은 퍼즐판에 맞춰지거나 상호 끼워맞춤 되어 특정 밑그림을 형성하도록 하고, 정적인 퍼즐 이미지에 특정 피사체의 동적인 영상으로 발현되어 입체적 콘텐츠로 출력될 수 있도록 하는 다수의 퍼즐; 맞춰진 퍼즐로 형성된 특정 밑그림과 무선통신으로 연동되고, 퍼즐과 소정 간격을 두고 인식시키면, 퍼즐 내 정적인 이미지가 동적인 영상으로 발현되어 입체적 콘텐츠로 화면에 출력하는 스마트기기; 및 스마트기기로 특정 퍼즐이 인식되었을 때 인식된 퍼즐의 완성도를 산출하고, 퍼즐 내 정적인 이미지와 연계된 특정 피사체의 동적인 이벤트가 저장되어 이를 스마트기기로 제공하는 서버를 포함할 수 있다.The puzzle assembly-based augmented reality service providing system according to the present invention devised to achieve the above object is to form a specific sketch by being fitted to the puzzle plate or to each other, and expressed as a dynamic image of a specific subject in a static puzzle image A plurality of puzzles that can be output as three-dimensional content; A smart device that is interlocked with a specific sketch formed of a matched puzzle through wireless communication, and when recognized at a predetermined distance from the puzzle, a static image in the puzzle is expressed as a dynamic image and output as a three-dimensional content on the screen; And a server that calculates the completeness of the recognized puzzle when a specific puzzle is recognized by the smart device, stores a dynamic event of a specific subject associated with a static image in the puzzle, and provides it to the smart device.

또한, 스마트기기는 퍼즐의 이미지를 인식하고, 인식된 퍼즐 이미지를 서버로 송신하며, 서버의 신호에 따라 해당 퍼즐 이미지를 화면에 출력할 수 있는 인식촬영모듈, 및 인식촬영모듈로 퍼즐의 이미지가 화면에 출력된 상태에서, 하나 이상의 동적 영상 중에서 특정 동적영상 수행을 선택할 수 있도록 화면에 메뉴를 제공하고, 선택된 동적 영상 수행 명령을 서버로 송신하여 서버에 저장된 특정 동적 영상을 화면에 구현되도록 하는 이벤트선택출력모듈을 포함할 수 있다.In addition, the smart device recognizes the image of the puzzle, transmits the recognized puzzle image to the server, and displays the puzzle image on the screen according to a signal from the server. In the state displayed on the screen, an event that provides a menu on the screen so that you can select to perform a specific dynamic image among one or more dynamic images, and transmits the selected dynamic image execution command to the server to implement a specific dynamic image stored in the server on the screen. It may include a selection output module.

또한, 스마트기기는 퍼즐에 스마트기기를 소정 간격을 두고 위치시키면, 인식촬영모듈로 이미지를 인식하고, 인식된 이미지에 대응되는 주제 또는 내용에 관련된 텍스트, 음성,영상이 선택적으로 출력되는 이벤트활성모듈을 포함할 수 있다.In addition, the smart device is an event activation module that recognizes an image with a recognition photographing module and selectively outputs text, voice, and video related to the subject or content corresponding to the recognized image when the smart device is placed on the puzzle at a predetermined interval. It may include.

본 발명에 의하면, 퍼즐 조각들을 이용하여 만든 퍼즐 결과물을 통해 증강현실로 결과물을 확인함으로써, 학습능력을 배가하며 학습자의 호기심을 증대시키고, 지속적인 흥미를 증진 시킬 수 있는 데 그 효과가 있다.According to the present invention, it is possible to double the learning ability, increase the curiosity of the learner, and promote continuous interest by confirming the result in augmented reality through the result of the puzzle made using the puzzle pieces.

또한, 본 발명에 의하면, 이벤트선택출력모듈을 구비함으로써, 하나의 퍼즐 이미지로 피사체의 다양한 동적 영상을 선택적으로 선택하고, 증강현실로 그 결과물을 확인할 수 있어 퍼즐 이미지 주제와 관련된 다양한 증강현실 컨텐츠로 사용자가 선택하여 습득할 수 있어, 증강현실을 기반으로한 교육용 컨텐츠의 다양화에 기여하는 데 그 효과가 있다. In addition, according to the present invention, by providing an event selection output module, it is possible to selectively select various dynamic images of a subject with a single puzzle image, and check the result with augmented reality, so that various augmented reality contents related to the subject of the puzzle image Since the user can select and learn, it is effective in contributing to the diversification of educational contents based on augmented reality.

도 1은 본 발명의 바람직한 실시예에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템의 구성도,
도 2는 본 발명의 바람직한 두 실시예(실시예 1, 실시예 2)에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템의 스마트기기에 구현되는 인식촬영모듈을 나타낸 스마트기기 애플리케이션의 예시화면,
도 3은 본 발명의 바람직한 제1 실시예에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템의 스마트기기에 구현되는 이벤트선택출력모듈을 나타낸 스마트기기 애플리케이션의 예시화면,
도 4는 본 발명의 바람직한 제1 실시예에 따른 퍼즐의 회전과 함께 증강현실(피사체의 이벤트)의 회전으로 스마트기기 화면에 출력되는 것을 나타낸 예시화면,
도 5는 본 발명의 바람직한 제2 실시예에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템의 스마트기기에 구현되는이벤트활성모듈을 나타낸 스마트기기 애플리케이션의 예시화면, 및
도 6는 본 발명의 바람직한 두 실시예(실시예 1, 실시예 2)에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템의 서버에서 맞춰진 퍼즐들 중 잘못된 위치에 위치한 퍼즐이 인식되어 퍼즐 이미지 화면 출력을 제한하는 것을 나타낸 스마트기기 애플리케이션의 예시화면이다.1 is a block diagram of a puzzle assembly-based augmented reality service providing system according to an embodiment of the present invention,
FIG. 2 is an exemplary screen of a smart device application showing a recognition photographing module implemented in a smart device of a puzzle assembly-based augmented reality service providing system according to two preferred embodiments of the present invention (Example 1, Example 2),
3 is an exemplary screen of a smart device application showing an event selection output module implemented in a smart device of a puzzle assembly-based augmented reality service providing system according to a first preferred embodiment of the present invention;
4 is an exemplary screen showing output on the screen of a smart device by rotation of augmented reality (event of a subject) with rotation of a puzzle according to a first embodiment of the present invention;
5 is an exemplary screen of a smart device application showing an event activation module implemented in a smart device of a puzzle assembly-based augmented reality service providing system according to a second preferred embodiment of the present invention, and
6 shows a puzzle located in an incorrect position among puzzles matched by a server of a puzzle assembly-based augmented reality service providing system according to two preferred embodiments of the present invention (Example 1 and Example 2), thereby limiting the output of the puzzle image screen. This is an example screen of a smart device application that shows that.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to elements of each drawing, it should be noted that the same elements have the same numerals as possible, even if they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, a preferred embodiment of the present invention will be described below, but the technical idea of the present invention is not limited thereto or is not limited thereto, and may be modified and variously implemented by a person skilled in the art.

도 1은 본 발명의 바람직한 실시예에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템(100)의 구성도이고, 도 2는 본 발명의 바람직한 두 실시예(실시예 1, 실시예 2)에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템(100)의 스마트기기(20)에 구현되는 인식촬영모듈(21)을 나타낸 스마트기기(20) 애플리케이션의 예시화면이며, 도 3은 본 발명의 바람직한 제1 실시예에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템(100)의 스마트기기(20)에 구현되는 이벤트선택출력모듈(22)을 나타낸 스마트기기(20) 애플리케이션의 예시화면이고, 도 4는 본 발명의 바람직한 제1 실시예에 따른 퍼즐(10)의 회전과 함께 증강현실(피사체의 이벤트)의 회전으로 스마트기기(20) 화면에 출력되는 것을 나타낸 예시화면이며, 도 5는 본 발명의 바람직한 제2 실시예에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템(100)의 스마트기기(20)에 구현되는이벤트활성모듈(24)을 나타낸 스마트기기(20) 애플리케이션의 예시화면이고, 도 6은 본 발명의 바람직한 두 실시예(실시예 1, 실시예 2)에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템(100)의 서버(30)에서 맞춰진 퍼즐(10)들 중 잘못된 위치에 위치한 퍼즐(10)이 인식되어 퍼즐(10) 이미지 화면 출력을 제한하는 것을 나타낸 스마트기기(20) 애플리케이션의 예시화면이다.1 is a block diagram of a puzzle assembly-based augmented reality service providing system 100 according to a preferred embodiment of the present invention, and FIG. 2 is a puzzle assembly according to two preferred embodiments of the present invention (Example 1, Example 2) An exemplary screen of the application of the smart device 20 showing the recognition photographing module 21 implemented in the smart device 20 of the based augmented reality service providing system 100, and FIG. 3 is a first preferred embodiment of the present invention. An exemplary screen of the application of the smart device 20 showing the event selection output module 22 implemented in the smart device 20 of the puzzle assembly-based augmented reality service providing system 100, and FIG. 4 is a first preferred embodiment of the present invention. It is an exemplary screen showing that the rotation of the puzzle 10 and the rotation of the augmented reality (event of the subject) are output on the screen of the smart device 20, and FIG. 5 is a puzzle according to a second preferred embodiment of the present invention. An exemplary screen of the application of the smart device 20 showing the event activation module 24 implemented in the smart device 20 of the assembly-based augmented reality service providing system 100, and FIG. 6 is a two preferred embodiment of the present invention. The puzzle 10 located in the wrong position among the puzzles 10 matched by the server 30 of the puzzle assembly-based augmented reality service providing system 100 according to Example 1 and 2) is recognized, and the puzzle 10 image screen This is an example screen of the application of the smart device 20 showing limiting the output.

도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 퍼즐 조립 기반 증강현실 서비스 제공 시스템(100)은 퍼즐(10)과 스마트기기(20)의 애플리케이션을 연동함으로써 구축되고, 서버(30)의 신호에 따라 피사체의 동적 영상, 텍스트, 음성, 영상이 스마트기기(20)의 화면에 구현된다.Referring to Figure 1, the puzzle assembly-based augmented reality service providing system 100 according to a preferred embodiment of the present invention is built by linking the application of the puzzle 10 and the smart device 20, the signal of the server 30 Accordingly, a dynamic image, text, audio, and image of the subject are implemented on the screen of the smart device 20.

이하, 퍼즐(10)부터 상세히 설명하기로 한다.Hereinafter, starting from the puzzle 10 will be described in detail.

퍼즐(10)은 퍼즐판에 맞춰지거나 상호 끼워맞춤 되어 특정 밑그림을 형성하도록 하고, 형성된 밑그림은 본 발명에서 특정 주제를 표현하기도 하며, 정적인 퍼즐(10) 이미지에 특정 피사체의 동적인 영상으로 발현되어 입체적 콘텐츠로 출력될 수 있도록 한다.The puzzle 10 is fitted to the puzzle plate or is fitted with each other to form a specific sketch, and the formed sketch expresses a specific subject in the present invention, and is expressed as a dynamic image of a specific subject in the static puzzle 10 image. So that it can be output as three-dimensional content.

또한, 퍼즐판은 다수의 퍼즐(10)이 각 자리에 맞춰 끼워지도록 자리가 구획되며, 본 발명에서 퍼즐판은 다양하게 변경 실시 가능하고, 한정하지 않음은 물론이다.In addition, the puzzle plate is partitioned so that a plurality of puzzles 10 are fitted to each seat, and the puzzle plate in the present invention can be variously changed, but is not limited thereto.

스마트기기(20)는 인식촬영모듈(21), 이벤트선택출력모듈(22), 퍼즐완성도조절모듈(23), 및 이벤트활성모듈(24)을 포함하여 구성되며, 퍼즐(10) 이미지를 인식하고, 서버(30)로부터 신호를 수신하여 증강현실을 화면 내에 구현한다.The smart device 20 is configured to include a recognition photographing module 21, an event selection output module 22, a puzzle completion degree control module 23, and an event activation module 24, and recognizes the puzzle 10 image. , By receiving a signal from the server 30 implements augmented reality in the screen.

보다 상세하게는, 스마트기기(20)는 맞춰진 퍼즐(10)로 형성된 특정 밑그림과 무선통신으로 연동되고, 퍼즐(10)과 소정 간격을 두고 인식시키면, 퍼즐(10) 내 정적인 이미지가 서버(30)로부터 신호를 수신하여 동적인 영상(증강현실)으로 발현되어 입체적 콘텐츠로 화면에 출력한다.More specifically, the smart device 20 is interlocked with a specific sketch formed of the matched puzzle 10 through wireless communication, and when recognized at a predetermined distance from the puzzle 10, the static image in the puzzle 10 is transferred to the server ( 30), it is expressed as a dynamic image (augmented reality) and displayed as a three-dimensional content on the screen.

이하, 스마트기기(20)의 구성인 인식촬영모듈(21)부터 상세히 설명하기로 한다.Hereinafter, it will be described in detail from the recognition photographing module 21 that is a configuration of the smart device 20.

도 2를 참조하면, 인식촬영모듈(21)은 퍼즐(10)의 이미지를 인식하고, 인식된 퍼즐(10) 이미지를 서버(30)로 송신하며, 서버(30)의 신호에 따라 해당 퍼즐(10) 이미지를 화면에 출력할 수 있다.Referring to FIG. 2, the recognition photographing module 21 recognizes the image of the puzzle 10, transmits the recognized puzzle 10 image to the server 30, and transmits the recognized puzzle 10 image to the server 30, and the corresponding puzzle ( 10) Images can be displayed on the screen.

일례로, 도 2에 도시된 바와 같이 퍼즐(10)을 완성한 후, 퍼즐(10)과 소정 간격을 두고 스마트기기(20)에 퍼즐(10)을 인식시키면, 스마트기기(20)의 인식촬영모듈(21)로 퍼즐(10) 이미지를 찾아 스마트기기(20)의 화면에 출력할 수 있다. 본 발명에서는 두가지의 실시예로 나타내었으며, 제1 실시예는 이벤트선택출력모듈(22)로 특정 이벤트를 선택하여 화면에 출력되도록 하고, 제2 실시예는 이벤트활성모듈(24)로 서버(30)에 저장된 이벤트가 화면에 출력되도록 한다.For example, after completing the puzzle 10 as shown in FIG. 2, when the puzzle 10 is recognized by the smart device 20 at a predetermined distance from the puzzle 10, the recognition photographing module of the smart device 20 With (21), the puzzle 10 image can be found and output on the screen of the smart device 20. In the present invention, two embodiments are shown. In the first embodiment, a specific event is selected by the event selection output module 22 and displayed on the screen, and in the second embodiment, the server 30 is selected by the event activation module 24. ) To be displayed on the screen.

도 3을 참조하면, 이벤트선택출력모듈(22)은 인식촬영모듈(21)로 퍼즐(10)의 이미지가 화면에 출력된 상태에서, 퍼즐(10) 이미지에 부합하는 하나 이상의 동적 영상 중, 특정 동적영상 수행을 선택할 수 있도록 화면에 제공하고, 선택된 동적 영상 수행 명령을 서버(30)로 송신하여 서버(30)에 저장된 특정 동적 영상을 수신하여 스마트기기(20) 화면에 구현되도록 한다.3, the event selection output module 22 is a recognition photographing module 21, in a state in which the image of the puzzle 10 is output on the screen, among one or more dynamic images corresponding to the puzzle 10 image, It is provided on a screen so that a dynamic image execution can be selected, and a specific dynamic image stored in the server 30 is received by transmitting the selected dynamic image execution command to the server 30 to be implemented on the screen of the smart device 20.

보다 상세하게는, 이벤트선택출력모듈(22)로 특정 동적영상 수행을 선택하면, 특정 동적 영상인 피사체의 영상 출력, 음성출력, 텍스트 출력, 이미지 출력을 포함하는 이벤트출력을 서버(30)로부터 수신하여 스마트기기(20) 화면에 발현되며, 도 3에서는 "앞차기"라는 메뉴(특정 동적영상)를 선택하게 되면 팬더 캐릭터가 증강현실로 구현되어 앞차기하는 모습을 영상으로 구현한다.In more detail, when selecting to perform a specific dynamic image with the event selection output module 22, event output including image output, audio output, text output, and image output of a subject that is a specific dynamic image is received from the server 30. As a result, it is displayed on the screen of the smart device 20, and in FIG. 3, when a menu (a specific dynamic image) is selected, the panda character is implemented in augmented reality to implement the image of the front kick.

또한, 이벤트선택출력모듈(22)은 선택된 이벤트가 화면에 표시 될 때나 되지 않을 때나 구분없이, 퍼즐(10) 이미지가 스마트기기(20) 화면에 출력되었을 경우, 퍼즐(10)의 회전이 발생하면, 화면에 퍼즐(10)의 회전으로 인한 노출면이 화면에 출력되고, 이벤트가 발현되어 있을 경우에도 퍼즐(10)과 같이 이벤트 대상 피사체의 회전으로 인한 노출면이 화면에 출력되는 것을 포함한다.In addition, the event selection output module 22, regardless of whether the selected event is displayed on the screen or not, when the puzzle 10 image is output on the smart device 20 screen, when the rotation of the puzzle 10 occurs. , The exposed surface due to rotation of the puzzle 10 is output on the screen, and even when an event is expressed, the exposed surface due to rotation of the event target subject, like the puzzle 10, is output on the screen.

일례로, 도 4를 참조하면, 현실의 퍼즐(10)의 회전으로 인해 증강현실 피사체인태권도복을 입은 곰돌이도 퍼즐(10)의 회전과 함께 회전한 상태로 스마트기기(20) 화면에 출력되는 것을 확인할 수 있다.As an example, referring to FIG. 4, a bear wearing a taekwondo uniform, which is an augmented reality subject due to the rotation of the puzzle 10 in reality, is also displayed on the screen of the smart device 20 in a rotated state with the rotation of the puzzle 10. Can be confirmed.

퍼즐완성도조절모듈(23)은 인식촬영모듈(21)로 인식된 퍼즐(10) 이미지에서 피사체의 동적 영상, 텍스트, 음성, 및 영상을 포함하는 이벤트가 발현되기 위한 퍼즐(10)의 완성도를 설정하여 난이도를 조절할 수 있다.The puzzle completion degree control module 23 sets the degree of completion of the puzzle 10 for expressing an event including a dynamic image, text, voice, and video of the subject from the puzzle 10 image recognized by the recognition and photographing module 21 You can adjust the difficulty level.

일례로, 퍼즐완성도조절모듈(23)로 이벤트가 발현되기 위한 퍼즐(10)의 완성도를 80%라고 설정했다면, 퍼즐(10)의 조각이 100 개일 때 80개 이상 제 위치에 맞춰지지 않는 다면, 이벤트선택출력모듈(22)이나 이벤트활성모듈(24)로 증강현실(이벤트:영상/음성/이미지 출력 등)이 구현되지 않고, 퍼즐(10)완성도가 부족하다는 멘트를 출력할 수 있다.For example, if the puzzle completion degree control module 23 sets the completion degree of the puzzle 10 for the event to be expressed as 80%, if more than 80 pieces of the puzzle 10 do not fit in place when there are 100 pieces, Augmented reality (event: video/audio/image output, etc.) is not implemented by the event selection output module 22 or the event activation module 24, and a message indicating that the puzzle 10 is insufficiently completed may be output.

이벤트활성모듈(24)은 퍼즐(10)에 스마트기기(20)를 소정 간격을 두고 위치시키면, 인식촬영모듈(21)로 이미지를 인식하고, 인식된 이미지에 대응되는 주제 또는 내용에 관련된 텍스트, 음성,영상이 선택적으로 출력되는 모듈이다.When the event activation module 24 places the smart device 20 on the puzzle 10 at a predetermined interval, the recognition photographing module 21 recognizes the image, and the text related to the subject or content corresponding to the recognized image, It is a module that selectively outputs audio and video.

이벤트활성모듈(24)은 도 2, 도 5 내지 도 6의 실시예 2를 참조하면 퍼즐(10)이 맞춰지고, 스마트기기(20)를 소정 간격을 두고 위치시키면, 인식촬영모듈(21)로 이미지가 인식되고 인식된 이미지에 대응되는 주제 또는 내용에 관련된 텍스트, 음성, 영상을 포함하는 이벤트를 서버(30)로부터 수신하여 선택적으로 출력될 수 있다.When the puzzle 10 is aligned and the smart device 20 is placed at a predetermined interval, referring to the second embodiment of FIGS. 2 and 5 to 6, the event activation module 24 is transferred to the recognition photographing module 21. An image is recognized and an event including text, audio, and video related to the subject or content corresponding to the recognized image may be received from the server 30 and may be selectively output.

여기서, 출력되는 이벤트는 텍스트와 음성만 출력될 수도 있고, 음성과 영상만 출력될 수도 있으며, 선택적으로 출력되기에 어떤 부분이 출력되느냐는 상황에 맞게 변경실시 가능하다.Here, the output event may be only text and audio, or only audio and video, and since it is selectively output, which part is output can be changed according to the situation.

일례로, 도 2와 도 5를 참조하면, 도 2의 실시예2에서 인식촬영모듈(21)로 인식된 광안대교는 이벤트활성모듈(24)을 통해 광안대교 증강현실이 구현되고, 폭죽이 터지는 등 텍스트 출력 및 영상 출력이 구현된다.As an example, referring to FIGS. 2 and 5, the Gwangan Bridge recognized as the recognition photographing module 21 in the second embodiment of FIG. 2 implements augmented reality for the Gwangan Bridge through the event activation module 24, and firecrackers burst. Etc. Text output and video output are implemented.

또한, 이벤트활성모듈(24)과 이벤트선택출력모듈(22)의 차이는, 인식촬영모듈(21)로 퍼즐(10) 이미지를 인식 후, 이벤트활성모듈(24)은 서버(30)에서 해당 퍼즐(10) 이미지에 대응되는 주제 또는 내용에 관련된 이벤트(텍스트/음성/영상 등)가 바로 출력되는 것이고, 이벤트선택출력모듈(22)은 사용자가 특정 명령을 선택하면 그 명령에 해당하는 증강현실 이벤트(영상/음성/텍스트)가 스마트기기(20) 화면에 출력되도록 한다. In addition, the difference between the event activation module 24 and the event selection output module 22 is that after the puzzle 10 image is recognized by the recognition photographing module 21, the event activation module 24 is (10) Events (text/audio/video, etc.) related to the subject or content corresponding to the image are immediately output, and the event selection output module 22 is an augmented reality event corresponding to the command when the user selects a specific command. (Video/Audio/Text) is output on the screen of the smart device 20.

서버(30)는 스마트기기(20)로 특정 퍼즐(10)이 인식되었을 때 인식된 퍼즐(10)의 완성도를 산출하고, 퍼즐(10) 내 정적인 이미지와 연계된 특정 피사체의 동적인 이벤트가 저장되어있어 이를 스마트기기(20)로 제공한다.The server 30 calculates the completeness of the puzzle 10 recognized when a specific puzzle 10 is recognized by the smart device 20, and a dynamic event of a specific subject related to a static image in the puzzle 10 It is stored and provides it to the smart device 20.

또한, 서버(30)는 인식된 퍼즐(10)의 이미지를 스마트기기(20)의 화면에 이벤트활성모듈(24)로 출력하도록 할 수 있고, 스마트기기(20)의 화면에 이벤트선택출력모듈(22)로 선택된 특정 피사체의 이벤트를 스마트기기(20)에 출력하도록 할 수 있음은 물론이다.In addition, the server 30 may output the recognized image of the puzzle 10 to the event activation module 24 on the screen of the smart device 20, and the event selection output module ( Of course, it is possible to output the event of a specific subject selected by 22) to the smart device 20.

또한, 서버(30)는 인식촬영모듈(21)로부터 퍼즐(10) 이미지를 수신하여, 맞춰진 퍼즐(10) 조각의 완성도를 산출하고, 퍼즐완성도조절모듈(23)로 지정한 완성도 미만일 경우에는 스마트기기(20)의 인식촬영모듈(21)에서 퍼즐(10) 이미지 출력 제한을 안내하도록 하여 이벤트활성모듈(24)이나 이벤트선택출력모듈(22)로 이벤트가 구현되지 못하게 됨에 따라 퍼즐(10) 조합의 난이도를 퍼즐완성도조절모듈(23)로 조절할 수 있도록 한다.In addition, the server 30 receives the puzzle 10 image from the recognition photographing module 21, calculates the completeness of the matched puzzle 10, and if it is less than the completeness specified by the puzzle completeness control module 23, the smart device As the recognition and photographing module 21 of (20) guides the image output limit of the puzzle 10, the event activation module 24 or the event selection output module 22 prevents the event from being implemented. The difficulty level can be adjusted with the puzzle completion level control module 23.

또한, 도 6을 참조하면, 서버(30)는 인식촬영모듈(21)로부터 퍼즐(10) 이미지를 수신하고, 퍼즐완성도조절모듈(23)로 지정한 완성도와 비교하되, 완성도가 퍼즐완성도조절모듈(23)로 지정한 값 이상이라 할지라도, 맞춰진 퍼즐(10)들 중 잘못된 위치에 위치한 퍼즐(10)이 인식될 경우, 스마트기기(20)의 인식촬영모듈(21)에서 퍼즐(10) 위치 오류로 인한 퍼즐(10) 이미지 출력 제한을 안내하도록 하여 이벤트활성모듈(24)이나 이벤트선택출력모듈(22)로 이벤트가 구현되지 못하게 됨에 따라, 잘못된 퍼즐(10)위치로 완성도를 채워 이벤트가 구현되는 것을 방지하고, 잘못된 위치로 인한 퍼즐(10)의 손상을 방지하도록 한다.In addition, referring to FIG. 6, the server 30 receives the puzzle 10 image from the recognition photographing module 21 and compares the degree of completion designated by the puzzle completion degree control module 23, but the degree of completion is compared with the puzzle completion degree control module ( Even if it is more than the value specified by 23), if the puzzle 10 located in the wrong position among the matched puzzles 10 is recognized, the recognition photographing module 21 of the smart device 20 causes a position error of the puzzle 10 As the event cannot be implemented by the event activation module 24 or the event selection output module 22 by guiding the image output limitation of the puzzle 10 due to the problem, the event is implemented by filling the completeness with the wrong puzzle 10 position. And to prevent damage to the puzzle 10 due to an incorrect position.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the technical field to which the present invention belongs can make various modifications, changes, and substitutions within the scope not departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

10 - 퍼즐
20 - 스마트기기
21 - 인식촬영모듈
22 - 이벤트선택출력모듈
23 - 퍼즐완성도조절모듈
24 - 이벤트활성모듈
30 - 서버
100 - 퍼즐 조립 기반 증강현실 서비스 제공 시스템10-puzzle
20-Smart device
21-Recognition shooting module
22-Event selection output module
23-Puzzle Completion Control Module
24-Event activation module
30-server
100-Augmented reality service providing system based on puzzle assembly

Claims (3)

퍼즐판에 맞춰지거나 상호 끼워맞춤 되어 특정 밑그림을 형성하도록 하고, 정적인 퍼즐 이미지에 특정 피사체의 동적인 영상으로 발현되어 입체적 콘텐츠로 출력될 수 있도록 하는 다수의 퍼즐;
맞춰진 퍼즐로 형성된 특정 밑그림과 무선통신으로 연동되고, 퍼즐과 소정 간격을 두고 인식시키면, 퍼즐 내 정적인 이미지가 동적인 영상으로 발현되어 입체적 콘텐츠로 화면에 출력하는 스마트기기; 및
스마트기기로 특정 퍼즐이 인식되었을 때 인식된 퍼즐의 완성도를 산출하고, 퍼즐 내 정적인 이미지와 연계된 특정 피사체의 동적인 이벤트가 저장되어 이를 스마트기기로 제공하는 서버
를 포함하고,
스마트기기는
퍼즐의 이미지를 인식하고, 인식된 퍼즐 이미지를 서버로 송신하며, 서버의 신호에 따라 해당 퍼즐 이미지를 화면에 출력할 수 있는 인식촬영모듈,
인식촬영모듈로 퍼즐의 이미지가 화면에 출력된 상태에서, 하나 이상의 동적 영상 중에서 특정 동적영상 수행을 선택할 수 있도록 화면에 메뉴를 제공하고, 선택된 동적 영상 수행 명령을 서버로 송신하여 서버에 저장된 특정 동적 영상을 화면에 구현되도록 하는 이벤트선택출력모듈,
퍼즐에 스마트기기를 소정 간격을 두고 위치시키면, 인식촬영모듈로 이미지를 인식하고, 인식된 이미지에 대응되는 주제 또는 내용에 관련된 텍스트, 음성,영상이 선택적으로 출력되는 이벤트활성모듈, 및
인식촬영모듈로 인식된 퍼즐 이미지에서 피사체의 동적 영상, 텍스트, 음성, 및 영상을 포함하는 이벤트가 발현되기 위한 퍼즐의 완성도를 설정하여 난이도를 조절할 수 있는 퍼즐완성도조절모듈
포함하며,
서버는
인식촬영모듈로부터 수신한 퍼즐 이미지의 퍼즐 조각 완성도가 퍼즐완성도조절모듈로 지정한 완성도 미만일 경우, 스마트기기의 인식촬영모듈에서 퍼즐 이미지 출력 제한을 안내하도록 하여 이벤트활성모듈이나 이벤트선택출력모듈로 이벤트가 구현되지 못하도록 할 수 있는 것
을 포함하는 퍼즐 조립 기반 증강현실 서비스 제공 시스템.A plurality of puzzles that are fitted to the puzzle plate or are fitted with each other to form a specific sketch, and are expressed as a dynamic image of a specific subject in a static puzzle image to be output as three-dimensional content;
A smart device that is interlocked with a specific sketch formed of a matched puzzle through wireless communication, and when recognized at a predetermined distance from the puzzle, a static image in the puzzle is expressed as a dynamic image and output as a three-dimensional content on the screen; And
A server that calculates the completeness of the recognized puzzle when a specific puzzle is recognized by a smart device, stores dynamic events of a specific subject linked to a static image in the puzzle, and provides it to a smart device
Including,
Smart devices
Recognition shooting module that recognizes the image of the puzzle, transmits the recognized puzzle image to the server, and outputs the puzzle image on the screen according to the signal from the server,
Recognition shooting module provides a menu on the screen so that you can select to perform a specific dynamic image among one or more dynamic images while the image of the puzzle is displayed on the screen, and sends the selected dynamic image execution command to the server to save a specific dynamic image stored in the server. Event selection output module that allows video to be implemented on the screen,
When the smart device is placed on the puzzle at a predetermined interval, the recognition and photographing module recognizes the image, and an event activation module that selectively outputs text, voice, and video related to the subject or content corresponding to the recognized image, and
A puzzle completion degree control module that can adjust the difficulty level by setting the degree of completion of the puzzle for expressing events including dynamic images, text, voice, and images of the subject from the puzzle image recognized by the recognition shooting module.
Includes,
Server
When the puzzle piece completion level of the puzzle image received from the recognition shooting module is less than the completion level specified by the puzzle completion level control module, the recognition shooting module of the smart device guides the puzzle image output limitation, and the event is implemented by the event activation module or the event selection output module. What can be prevented
Puzzle assembly-based augmented reality service providing system comprising a. 삭제delete 삭제delete
KR1020190077849A 2019-06-28 2019-06-28 Puzzle Assembly-Based Augmented Reality Service Providing System KR102191570B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077849A KR102191570B1 (en) 2019-06-28 2019-06-28 Puzzle Assembly-Based Augmented Reality Service Providing System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077849A KR102191570B1 (en) 2019-06-28 2019-06-28 Puzzle Assembly-Based Augmented Reality Service Providing System

Publications (1)

Publication Number Publication Date
KR102191570B1 true KR102191570B1 (en) 2020-12-15

Family

ID=73780425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077849A KR102191570B1 (en) 2019-06-28 2019-06-28 Puzzle Assembly-Based Augmented Reality Service Providing System

Country Status (1)

Country Link
KR (1) KR102191570B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077669A (en) * 2021-02-24 2021-07-06 上海英方软件股份有限公司 AR toy-based auxiliary learning device, system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190002850A (en) * 2017-06-30 2019-01-09 주식회사 한스에이알 Puzzle completion type augmented reality application system and a variety of articles used therefor
KR20190051779A (en) * 2017-11-06 2019-05-15 (주)비욘드리밋 Augmented Reality System And Method Of The Same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190002850A (en) * 2017-06-30 2019-01-09 주식회사 한스에이알 Puzzle completion type augmented reality application system and a variety of articles used therefor
KR20190051779A (en) * 2017-11-06 2019-05-15 (주)비욘드리밋 Augmented Reality System And Method Of The Same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077669A (en) * 2021-02-24 2021-07-06 上海英方软件股份有限公司 AR toy-based auxiliary learning device, system and method

Similar Documents

Publication Publication Date Title
CN110300909B (en) Systems, methods, and media for displaying an interactive augmented reality presentation
CN109426333B (en) Information interaction method and device based on virtual space scene
CN109865289B (en) real-scene environment entertainment system based on augmented reality technology and method thereof
US20170195650A1 (en) Method and system for multi point same screen broadcast of video
CN107454433B (en) Live broadcasting annotation method and device, terminal and live broadcasting system
US20180342105A1 (en) Augmented reality-based information acquiring method and apparatus
JP6739611B1 (en) Class system, viewing terminal, information processing method and program
CN102695032A (en) Information processing apparatus, information sharing method, program, and terminal device
CN112312111A (en) Virtual image display method and device, electronic equipment and storage medium
GB2526245A (en) Sharing content
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
WO2018175335A1 (en) Method and system for discovering and positioning content into augmented reality space
US20190164323A1 (en) Method and program for generating virtual reality contents
CN109640070A (en) A kind of stereo display method, device, equipment and storage medium
JP2018533317A (en) Virtual reality video transmission method, playback method, and program using them
KR102191570B1 (en) Puzzle Assembly-Based Augmented Reality Service Providing System
JP5350427B2 (en) Image processing apparatus, image processing apparatus control method, and program
US11012676B2 (en) Methods, systems, and media for generating and rendering immersive video content
CN106598250A (en) VR display method and apparatus, and electronic device
JPWO2017141584A1 (en) Information processing apparatus, information processing system, information processing method, and program
CN112752085A (en) Naked eye 3D video playing system and method based on human eye tracking
KR20200076626A (en) Method and system for providing teaching contents based on augmented reality
US20190058961A1 (en) System and program for implementing three-dimensional augmented reality sound based on realistic sound
CN109996060B (en) Virtual reality cinema system and information processing method
CN109587188B (en) Method and device for determining relative position relationship between terminal devices and electronic device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant