KR20180058895A - Augmented reality system linked to smart device - Google Patents

Augmented reality system linked to smart device Download PDF

Info

Publication number
KR20180058895A
KR20180058895A KR1020160157521A KR20160157521A KR20180058895A KR 20180058895 A KR20180058895 A KR 20180058895A KR 1020160157521 A KR1020160157521 A KR 1020160157521A KR 20160157521 A KR20160157521 A KR 20160157521A KR 20180058895 A KR20180058895 A KR 20180058895A
Authority
KR
South Korea
Prior art keywords
augmented reality
virtual object
information
smart device
unit
Prior art date
Application number
KR1020160157521A
Other languages
Korean (ko)
Other versions
KR102075383B1 (en
Inventor
정성욱
조현우
구본기
권승준
길연희
김현진
김희권
신희숙
유초롱
유호영
이수웅
이영운
이준우
이지수
지형근
채원석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160157521A priority Critical patent/KR102075383B1/en
Publication of KR20180058895A publication Critical patent/KR20180058895A/en
Application granted granted Critical
Publication of KR102075383B1 publication Critical patent/KR102075383B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72519—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

An augmented reality implementing method according to an embodiment of the present invention includes a step in which an augmented reality implementing apparatus recognizes an event generated according to an interaction between a user and a virtual object while augmented reality is implemented by the augmented reality implementing apparatus; a step in which the augmented reality implementing apparatus transmits the information of the virtual object to a smart device; a step in which the smart device generates a modified virtual object by applying a user input for the virtual object to the virtual object and transmits the generated information of the modified virtual object to the augmented reality implementing apparatus; and a step in which the augmented reality implementing apparatus implements the augmented reality by rendering a previously stored virtual object based on the information of the modified virtual object. Accordingly, the present invention can maximize an educational effect by enabling the user with the smart device to directly participate in the implementation of the augmented reality.

Description

스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법{Augmented reality system linked to smart device}Technical Field [0001] The present invention relates to an Augmented Reality system interworking with a smart device,

본 발명은 증강현실 시스템에 관한 것으로, 상세하게는 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법에 관한 것이다.
The present invention relates to an augmented reality system, and more particularly, to an augmented reality system interworking with a smart device and a method of implementing an augmented reality using the augmented reality system.

증강현실 기술은 카메라로부터 들어오는 영상에서 정의된 마커나 학습된 자연 영상 정보를 추출하여 증강할 물체의 위치와 자세를 추정하고, 이를 이용해 3차원의 가상 콘텐츠, 그림, 동영상 등의 멀티미디어 콘텐츠를 덧입혀 보여주는 기술이다.The augmented reality technology estimates the position and attitude of the object to be augmented by extracting the markers defined in the image coming from the camera or the learned natural image information, and uses this information to add multimedia contents such as three-dimensional virtual contents, pictures and videos It is a technique to show.

증강현실 기술을 실현하기 위하여 구현된 증강현실 시스템은 다양한 분야에서 활용되고 있는데, 일례로 교육용으로도 활용되고 있다.The augmented reality system implemented to realize the augmented reality technology has been utilized in various fields, for example, it is also used for educational purposes.

현재, 교육용으로 사용되는 증강현실 시스템은 대형 스크린(혹은 모니터)을 이용하여 증강현실을 구현하고 있으며, 카메라 영상에서 사용자를 분리하고, 정면의 대형 스크린에 가상 객체 및 사람을 증강시켜 가상 객체와의 상호 작용을 통해 가상 환경에서의 교육적 효과를 이끌어 내고 있다.Currently, an augmented reality system used for educational purposes implements an augmented reality by using a large screen (or monitor). It separates a user from a camera image, enhances a virtual object and a person on a large screen on the front, And interacts in the virtual environment.

한편, 2D 기반의 증강현실 시스템은, 카메라를 이용하여 입력 영상에서 사람의 제스처 및 배경을 인지하고, 인지 결과를 모니터에 증강시키고, 2D 가상 객체를 증강시켜 사용자와의 상호 작용을 유도한다. On the other hand, the 2D-based augmented reality system recognizes a human gesture and background in an input image using a camera, enhances the recognition result on a monitor, and enhances a 2D virtual object to induce interaction with a user.

하지만, 이러한 2D 기반의 증강현실 시스템은, 조명 및 환경 조건에 의하여 시스템의 안정화가 필수적으로 필요하게 된다. 즉, 2D 기반의 증강현실 시스템을 외부환경에서 이용하기에는 여러 가지의 제약 조건이 따른다.However, such a 2D-based augmented reality system is required to stabilize the system by illumination and environmental conditions. In other words, there are various constraints to use 2D augmented reality system in external environment.

그리고, 3D 기반의 증강현실 시스템은, RGB-D 장치를 활용하여 깊이 정보까지 입력받아, 컬러 영상 및 깊이 영상을 분석할 수 있다.In addition, a 3D-based augmented reality system can input depth information using an RGB-D device, and analyze a color image and a depth image.

이와 같이, 3D 기반의 증강현실 시스템은, 3차원 공간의 깊이 정보를 입력으로 사용하기 때문에, 공간상의 객체의 위치 정보를 추정할 수 있고, 이를 증강현실 구현에 활용한다.As described above, since the 3D-based augmented reality system uses the depth information of the 3D space as input, it can estimate the position information of the object in space and utilize it to realize the augmented reality.

하지만, 기존의 시스템은 모든 가상 환경을 정면의 디스플레이에 증강시킨다는 한계가 있고, 다수의 사용자가 이용하는 경우 서비스가 제한되는 문제점이 있다.However, existing systems have the limitation that they increase all the virtual environments on the front display, and there is a problem that the service is limited when many users use the virtual environment.

즉, 하나의 주 디스플레이에 모든 효과가 증강되기 때문에, 모든 사용자는 주 디스플레이를 통해서만 효과를 체험하게 되고, 주 디스플레이를 제외하고는 가상 체험을 할 수 없다는 단점이 있다.That is, since all effects are enhanced on one main display, all users experience the effect only through the main display, and there is a disadvantage that the user can not experience a virtual experience except for the main display.

위와 같은 문제점을 해결하기 위해서는 다수의 사용자가 참여할 수 있도록 구현된 개인용 디바이스(ex, 모바일, 스마트 패드 등)가 필요하게 된다. 하지만, 현재 시판되고 있는 상업용 개인용 디바이스의 경우, 제한된 리소스(ex, 처리 속도, 배터리 문제 등)로 인하여, 고성능의 알고리즘을 처리하기에는 제한이 따른다.
In order to solve the above problem, a personal device (ex, mobile, smart pad, etc.) implemented to allow a large number of users to participate can be required. However, currently commercially available commercial personal devices are limited in their ability to handle high performance algorithms due to limited resources (ex, processing speed, battery problems, etc.).

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 사용자에 의해 스마트 기기에 입력되는 가상 객체를 스마트 기기와의 연동을 통해 입력받고, 입력받은 가상 객체를 반영하여 증강현실을 구현하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법을 제공함에 있다.
SUMMARY OF THE INVENTION The present invention has been made in order to solve the problems of the prior art as described above, and it is an object of the present invention to provide a virtual device, Augmented reality system that realizes an augmented reality by reflecting an object, and a method of implementing an augmented reality using the same.

상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 증강현실 구현 방법은, 증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 사용자와 가상 객체의 인터랙션에 따라 발생하는 이벤트를 인식하는 단계; 상기 증강현실 구현 장치가 상기 가상 객체의 정보를 스마트 기기로 전송하는 단계; 상기 스마트 기기가 상기 가상 객체에 대한 사용자 입력을 상기 가상 객체에 적용하여 변형 가상 객체를 생성하고, 생성된 변형 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및 상기 증강현실 구현장치가 상기 변형 가상 객체의 정보를 바탕으로, 기 저장된 가상 객체를 렌더링하여, 증강현실을 구현하는 단계를 포함한다.
According to another aspect of the present invention, there is provided a method for realizing an augmented reality according to an embodiment of the present invention, Recognizing an event to be performed; Transmitting the information of the virtual object to the smart device by the augmented reality implementing device; Generating a modified virtual object by applying a user input to the virtual object to the virtual object by the smart device and transmitting information of the modified virtual object to the augmented reality implementing device; And implementing the augmented reality by rendering the pre-stored virtual object based on the information of the deformed virtual object.

이와 같은 본 발명의 실시 예에 따르면, 증강현실 구현장치와 스마트 기기의 연동을 통한 증강현실 구현방법이 제공된다.According to the embodiment of the present invention, a method of implementing an augmented reality through interworking of an augmented reality realization device and a smart device is provided.

따라서, 증강현실 구현장치는 스마트 기기로부터 전송되는 정보를 반영하여 증강현실을 구현할 수 있다.Therefore, the augmented reality realization device can implement the augmented reality by reflecting the information transmitted from the smart device.

특히, 본 발명의 증강현실 구현방법에 따르면, 증강현실된 가상 객체와 사용자와의 인터랙션에 따라 발생하는 이벤트가 스마트 기기로 제공되고, 사용자가 이벤트에 대한 처리를 수행할 수 있다.In particular, according to the method for realizing the augmented reality of the present invention, an event generated according to the interaction between the augmented virtual object and the user is provided to the smart device, and the user can perform processing for the event.

따라서, 스마트 기기를 소지한 사용자는 증강현실 구현에 직접 참여할 수 있기 때문에, 교육적인 효과를 극대화할 수 있다.
Therefore, a user possessing a smart device can directly participate in implementing an augmented reality, thereby maximizing the educational effect.

도 1은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 스마트 기기의 구성을 도시한 도면이다.
도 3은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 동작을 도시한 순서도이다.FIG. 1 is a diagram illustrating a configuration of an augmented reality system interworking with a smart device according to a preferred embodiment of the present invention.
2 is a block diagram of a smart device of an augmented reality system according to a preferred embodiment of the present invention.
3 is a flowchart illustrating an operation of an augmented reality system in conjunction with a smart device according to a preferred embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.For specific embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be embodied in various forms, And should not be construed as limited to the embodiments described.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms " comprising ", or " having ", and the like, are intended to specify the presence of stated features, integers, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
On the other hand, if an embodiment is otherwise feasible, the functions or operations specified in a particular block may occur differently from the order specified in the flowchart. For example, two consecutive blocks may actually be performed at substantially the same time, and depending on the associated function or operation, the blocks may be performed backwards.

이하, 본 발명에서 제안하는 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, an augmented reality system interworking with a smart device proposed in the present invention and a method of implementing an augmented reality using the augmented reality system will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 구성을 도시한 도면이다.FIG. 1 is a diagram illustrating a configuration of an augmented reality system interworking with a smart device according to a preferred embodiment of the present invention.

도 1에 도시된 스마트 기기와 연동하는 증강현실 시스템(100, 이하 ‘시스템’)은 사용자에 의해 스마트 기기에 입력되는 가상 객체를 스마트 기기와의 연동을 통해 입력받고, 입력받은 가상 객체를 반영하여 증강현실을 구현한다.The augmented reality system 100 (hereinafter, referred to as 'system') interworking with the smart device shown in FIG. 1 receives a virtual object input to a smart device by a user in cooperation with a smart device, reflects the input virtual object Realizes augmented reality.

이를 위해, 상기 시스템(100)은 기능을 수행하는 적어도 하나 이상의 프로세서를 포함하고, 또한 기능 수행을 위한 정보 혹은 수행 결과를 저장하는 적어도 하나 이상의 메모리를 포함할 수 있다.To this end, the system 100 may include at least one processor that performs a function, and may also include at least one memory that stores information for performing a function or a result of execution.

구체적으로, 상기 시스템(100)은, 서로 연동하는 증강현실 구현장치(110) 및 스마트 기기(130)로 구성될 수 있다.Specifically, the system 100 may include an augmented reality realization device 110 and a smart device 130 interlocked with each other.

그리고, 상기 증강현실 구현장치(110)는 카메라부(111), 증강현실 구현부(113) 및 디스플레이부(115)로 구성될 수 있다.The augmented reality implementing apparatus 110 may include a camera unit 111, an augmented reality implementing unit 113, and a display unit 115.

상기 카메라부(111)는 증강현실 공간을 구축하기 위해 실제 공간을 촬영하여 실제 영상 정보를 획득한다.The camera unit 111 acquires actual image information by photographing an actual space to construct an augmented reality space.

이때, 상기 카메라부(111)는 RGB 카메라와 깊이 카메라로 구성되어, 이미지정보와 함께, 색상 정보 및 깊이 정보를 함께 획득한다.At this time, the camera unit 111 includes an RGB camera and a depth camera, and acquires color information and depth information together with image information.

상기 증강현실 구현부(113)는 카메라부(111)에 의해 획득되는 실제 영상 정보와 기 저장된 가상 객체를 렌더링하여 증강현실을 디스플레이부(115)에 구현하는 한편, 디스플레이부(115)에서 발생하는 이벤트를 분석하여, 분석 결과를 스마트 기기(130)로 제공한다.The augmented reality implementing unit 113 realizes the augmented reality on the display unit 115 by rendering the actual image information acquired by the camera unit 111 and the previously stored virtual object, Analyzes the event, and provides the analysis result to the smart device 130.

또한, 상기 증강현실 구현부(113)는 스마트 기기(130)로부터 전송되는 가상 객체를 반영하여 증강현실을 구현한다.In addition, the augmented reality implementing unit 113 implements the augmented reality by reflecting the virtual objects transmitted from the smart device 130.

상기 디스플레이부(115)는 증강현실 구현부(113)로부터 제공되는 영상을 디스플레이 하는 한편, 발생하는 이벤트를 증강현실 구현부(113)로 출력한다.The display unit 115 displays an image provided from the augmented reality implementing unit 113 and outputs the generated event to the augmented reality implementing unit 113.

구체적으로, 상기 증강현실 구현부(113)는 3차원 공간 생성부(113a), 인터랙션부(113b), 증강영상 생성부(113c) 및 객체정보 데이터베이스(113d)로 구성될 수 있다.Specifically, the augmented reality implementing unit 113 may include a three-dimensional space generating unit 113a, an interaction unit 113b, an augmented image generating unit 113c, and an object information database 113d.

상기 3차원 공간 생성부(113a)는 카메라부(111)로부터 전송되는 이미지 정보, 색상 정보 및 깊이 정보를 바탕으로, 3차원 공간을 생성하여 증강영상 생성부(113c)로 제공한다.The three-dimensional space generation unit 113a generates a three-dimensional space based on image information, color information, and depth information transmitted from the camera unit 111, and provides the three-dimensional space to the augmented image generation unit 113c.

특히, 상기 3차원 공간 생성부(113a)는 이미지 정보, 색상 정보 및 깊이 정보를 바탕으로 3차원 메쉬(mesh) 정보를 생성하여 증강영상 생성부(113c)로 제공한다.In particular, the three-dimensional space generation unit 113a generates three-dimensional mesh information based on image information, color information, and depth information, and provides the generated three-dimensional mesh information to the augmented image generation unit 113c.

상기 3차원 메쉬 정보를 생성하는 과정을 살펴보면, 상기 3차원 공간 생성부(111a)는 RGB 카메라와 깊이 카메라 간의 내부(intrinsic) 및 외부(extrinsic) 파라미터를 계산하고, 카메라부(111)로부터 들어오는 깊이정보 데이터(Point Cloud)들을 카메라 파라미터 값을 이용하여 컬러 정보와 깊이 정보를 정합시키고, 메쉬로 변환하는 작업을 수행함으로써, 3차원 메쉬 정보를 생성한다.The three-dimensional space generation unit 111a calculates intrinsic and extrinsic parameters between the RGB camera and the depth camera, and calculates the depth of the depth from the camera unit 111, 3D mesh information is generated by matching the color information and the depth information with the information data (Point Clouds) using the camera parameter values and converting them into meshes.

이때, 상기 3차원 공간 생성부(111a)는 Tasi의 캘리브레이션 알고리즘과 같은 방법을 사용하여 내부 파라미터를 계산하고, 기준 카메라를 기반으로 상대적인 카메라의 외부 파라미터를 계산한다.At this time, the three-dimensional space generation unit 111a calculates internal parameters using the same method as the Tasi calibration algorithm, and calculates relative parameters of the camera based on the reference camera.

상기 인터랙션부(113b)는 디스플레이부(115)로부터 발생된 이벤트를 인식 및 분석하여, 분석 결과를 스마트 기기(130)로 제공한다. 또한, 상기 인터랙션부(113b)는 분석 결과를 증강영상 생성부(113)로 제공할 수도 있다.The interaction unit 113b recognizes and analyzes an event generated from the display unit 115, and provides the analysis result to the smart device 130. [ In addition, the interaction unit 113b may provide the analysis result to the augmented image generation unit 113. [

예를 들어, 상기 디스플레이부(115)에 디스플레이되는 가상 객체가 터치된 경우, 이러한 가상 객체 터치(이벤트)는 인터랙션부(113b)에 의해 인식되고, 인터랙션부(113b)는 이벤트를 분석하여, 분석 결과를 스마트 기기(130) 및/또는 증강영상 생성부(113c)로 제공한다.For example, when a virtual object displayed on the display unit 115 is touched, the virtual object touch (event) is recognized by the interaction unit 113b, the interaction unit 113b analyzes the event, And provides the result to the smart device 130 and / or the augmented image generation unit 113c.

이때, 기 설정된 바에 따라, 인터랙션부(113b)가 생성하는 분석 결과는 다를 수 있으며, 예를 들어, 상기 인터랙션부(113b)는 터치된 가상 객체에 대한 정보(ex, 종류, 위치, 포즈 등)를 스마트 기기(130) 및/또는 증강영상 생성부(113c)로 제공할 수 있다.For example, the interaction unit 113b may generate information (ex, kind, position, pose, etc.) about the touched virtual object, To the smart device 130 and / or the augmented image generation unit 113c.

또한, 상기 인터랙션부(113b)는 사용자의 위치 및 제스처를 검출하고, 검출된 사용자에 대한 위치 정보 및 제스처 정보를 증강영상 생성부(113b)로 제공할 수 있다.The interaction unit 113b may detect the position and gesture of the user, and may provide the detected position information and gesture information of the user to the augmented image generation unit 113b.

상기 증강영상 생성부(113c)는 3차원 공간 생성부(113a)로부터 제공되는 3차원 공간과 객체정보 데이터베이스(113d)에 저장된 가상 객체를 렌더링하여 증강영상을 생성하여, 디스플레이부(115)로 출력한다.The augmented image generating unit 113c generates augmented image by rendering a virtual object stored in the three-dimensional space and the object information database 113d provided from the three-dimensional space generating unit 113a, and outputs the augmented image to the display unit 115 do.

또한, 상기 증강영상 생성부(113c)는 스마트 기기(130)로부터 전송되는 가상 객체를 반영하여 증강영상을 생성할 수 있다.The augmented image generation unit 113c may generate an augmented image by reflecting the virtual object transmitted from the smart device 130. [

또한, 상기 증강영상 생성부(113c)는 인터랙션부(113b)로부터 제공되는 이벤트 분석 결과를 반영하여 증강영상을 생성할 수 있다.Also, the augmented image generation unit 113c may generate an augmented image by reflecting the event analysis result provided from the interaction unit 113b.

또한, 상기 증강영상 생성부(113c)는 인터랙션부(113b)로 제공되는 사용자에 대한 위치 정보 및 제스처 정보를 반영하여 증강영상을 생성할 수 있다.Also, the augmented image generating unit 113c may generate the augmented image by reflecting the position information and the gesture information about the user provided to the interaction unit 113b.

상기 객체정보 데이터베이스(113d)는 본 발명의 증강현실 시스템(100)을 통해 구현하고자 하는 증강현실과 관련된 객체 정보를 기 저장하고 있다.The object information database 113d stores object information related to the augmented reality to be implemented through the augmented reality system 100 of the present invention.

예를 들어, 상기 객체정보 데이터베이스(113d)에는 객체에 대한 형태 정보 및 동작 정보가 저장될 수 있으며, 이외에도 증강현실 구현을 위한 다양한 정보가 저장될 수 있다.
For example, the object information database 113d may store shape information and operation information for an object, and various information for implementing an augmented reality may be stored.

상기 스마트 기기(130)는 사용자에 의해 입력되는 정보를 바탕으로 생성된 가상 객체를 증강현실 구현부(113)로 제공하며, 증강현실 구현부(113)로부터 제공되는 이벤트 분석 결과를 수신하고, 이벤트 분석 결과를 표시하여 사용자에게 제공할 수 있다.The smart device 130 provides the augmented reality implementation unit 113 with the virtual object generated based on the information input by the user, receives the event analysis result provided from the augmented reality implementation unit 113, The analysis result can be displayed and provided to the user.

도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 스마트 기기의 구성을 도시한 도면이다.2 is a block diagram of a smart device of an augmented reality system according to a preferred embodiment of the present invention.

도 2를 참조하면, 상기 스마트 기기(130)는 이벤트 인식부(131), 가상객체 생성부(133), 사용자 인터페이스(135) 및 가상객체 렌더링부(137)를 포함한다.Referring to FIG. 2, the smart device 130 includes an event recognizer 131, a virtual object generator 133, a user interface 135, and a virtual object renderer 137.

상기 이벤트 인식부(131)는 증강현실 구현부(113)로부터 전송되는 이벤트 분석 결과를 수신 및 분석하여, 발생된 이벤트 정보를 인식한다. 이때, 상기 이벤트 정보는 디스플레이부(115) 상의 터치된 가상객체의 정보를 포함할 수 있다.The event recognition unit 131 receives and analyzes the event analysis result transmitted from the augmented reality implementing unit 113 and recognizes the generated event information. At this time, the event information may include information of a touched virtual object on the display unit 115. [

그리고, 상기 이벤트 인식부(131)는 인식된 이벤트 정보를 가상객체 생성부(133)로 제공할 수 있다.The event recognition unit 131 may provide the recognized event information to the virtual object generation unit 133. [

상기 가상객체 생성부(133)는 이벤트 인식부(131)로부터 제공되는 이벤트 정보에 포함된 가상객체의 정보에 상응하는 가상 객체를 사용자 인터페이스(135)에 제공하여 사용자 인터페이스(135)가 가상 객체를 표시하도록 함으로써, 사용자가 디스플레이부(115) 상의 터치된 가상 객체를 확인할 수 있도록 한다.The virtual object creating unit 133 provides the virtual object corresponding to the virtual object information included in the event information provided from the event recognizing unit 131 to the user interface 135 so that the user interface 135 displays the virtual object So that the user can confirm the touched virtual object on the display unit 115. [

또한, 상기 가상객체 생성부(133)는 가상 객체를 가상객체 렌더링부(137)로 제공할 수 있다.In addition, the virtual object generation unit 133 may provide a virtual object to the virtual object rendering unit 137.

이때, 상기 가상객체 생성부(133)는 디스프레이부(115) 상의 3D 가상 객체를 2D로 변환하는 과정을 수행하여, 사용자 인터페이스(135) 및 가상객체 렌더링부(137)로 2D 가상 객체를 제공한다.At this time, the virtual object generating unit 133 converts the 3D virtual object on the display unit 115 to 2D, and provides the 2D virtual object to the user interface 135 and the virtual object rendering unit 137 .

상기 사용자 인터페이스(135)는 UI(User Interface)/UX(User Experience) 제공 가능한 인터페이스로서, 가상객체 생성부(133)로부터 제공되는 가상 객체를 표시한다. 그리고, 상기 사용자 인터페이스(135)는 사용자의 입력을 인식하고, 인식된 입력은 가상객체 렌더링부(137)로 제공된다.The user interface 135 is a UI (User Interface) / UX (User Experience) -provable interface, and displays a virtual object provided from the virtual object creation unit 133. The user interface 135 recognizes the user's input, and the recognized input is provided to the virtual object rendering unit 137.

상기 가상객체 렌더링부(137)는 가상객체 생성부(133)로부터 제공되는 가상 객체에 사용자 인터페이스(135)로부터 제공되는 입력을 적용하여 변형된 가상 객체를 생성한다.The virtual object rendering unit 137 applies the input provided from the user interface 135 to the virtual object provided from the virtual object creation unit 133 to generate a modified virtual object.

그리고, 상기 가상객체 렌더링부(137)는 생성된 변형 가상 객체를 3D 모델로 렌더링하는 과정과 2D로 표현하는 과정을 수행한다.The virtual object rendering unit 137 performs a process of rendering the generated deformed virtual object as a 3D model and a process of rendering the deformed virtual object as 2D.

또한, 상기 가상객체 렌더링부(137)는 생성된 변형 가상 객체를 사용자 인터페이스(135)를 통해 표시할 수 있고, 또한 증강영상 생성부(133c)로 전송할 수 있다.
In addition, the virtual object rendering unit 137 may display the generated deformed virtual object through the user interface 135 and may also transmit the deformed virtual object to the augmented image generating unit 133c.

이상에서는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템을 구성하는 증강현실 구현장치 및 스마트 기기의 세부 구성 및 각 구성별 기능에 대해서 살펴보았다. 이하에서는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 동작에 대해서 좀 더 구체적으로 살펴보기로 한다.
The detailed configuration of the augmented reality realization device and the smart device constituting the augmented reality system according to the preferred embodiment of the present invention and the functions of each configuration have been described. Hereinafter, the operation of the augmented reality system according to the preferred embodiment of the present invention will be described in more detail.

도 3은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 동작을 도시한 순서도이다.3 is a flowchart illustrating an operation of an augmented reality system in conjunction with a smart device according to a preferred embodiment of the present invention.

도 3을 참조하면, 증강현실 구현장치(110)는 카메라부(111)에 의해 획득되는 정보를 바탕으로 생성되는 3차원 공간 정보와 객체정보 데이터베이스(113d)에 저장된 가상 객체를 렌더링하여 증강영상을 생성하여 디스플레이부(115)에 출력하여, 증강현실을 구현한다(S300).3, the augmented reality implementing apparatus 110 renders a virtual object stored in the object information database 113d and three-dimensional spatial information generated based on information acquired by the camera unit 111, And outputs it to the display unit 115 to implement an augmented reality (S300).

상기 단계 S300에서와 같이 증강현실이 구현된 상태에서, 증강현실 구현장치(110)는 사용자와 가상 객체의 인터랙션에 따른 이벤트 발생을 인식하면(S310), 인터랙션된 가상 객체의 정보를 스마트 기기(130)로 전송한다(S320).In a state where the augmented reality is implemented as in step S300, the augmented reality implementing device 110 recognizes the occurrence of an event according to the interaction between the user and the virtual object (S310), and transmits the information of the interacted virtual object to the smart device 130 (S320).

상기 단계 S320에 따라 전송된 가상 객체 정보를 수신하면, 스마트 기기(130)는, 가상 객체 정보에 상응하는 가상 객체를 사용자 인터페이스(135)를 통해 표시한다(S330).Upon receiving the virtual object information transmitted in step S320, the smart device 130 displays the virtual object corresponding to the virtual object information through the user interface 135 (S330).

그리고, 상기 단계 S330에 따라 표시된 가상 객체에 대한 사용자 입력을 가상 객체에 적용하여 변형된 가상 객체를 생성하고(S340), 생성된 변형 가상 객체의 정보를 증강현실 구현장치(110)로 전송한다(S350).The modified virtual object is generated by applying the user input of the displayed virtual object to the virtual object according to step S330, and transmits the generated modified virtual object information to the augmented reality implementing apparatus 110 (step S340) S350).

상기 단계 S350에 따라 전송된 변형 가상 객체의 정보를 수신하면, 증강현실 구현장치(110)는 기 저장된 가상 객체를 변형 가상 객체의 정보를 바탕으로 렌더링하여 디스플레이부(115)에 3차원으로 출력하여, 증강현실을 구현한다(S360).
Upon receiving the information of the transformed virtual object transmitted in step S350, the augmented reality implementing apparatus 110 renders the previously stored virtual object on the basis of the transformed virtual object information, and outputs the transformed virtual object to the display unit 115 in three dimensions , And realizes an augmented reality (S360).

이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of functions combined in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like can be included.

이상에서와 같이, 본 발명에 따른 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.As described above, the augmented reality system interworking with the smart device according to the present invention and the method for realizing the added reality using the system have been described with reference to the embodiments. However, the scope of the present invention is not limited to the specific embodiments. And various modifications, alterations, and changes may be made without departing from the scope of the invention.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Therefore, the embodiments described in the present invention and the accompanying drawings are intended to illustrate rather than limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and accompanying drawings . The scope of protection of the present invention should be construed according to the claims, and all technical ideas within the scope of equivalents should be interpreted as being included in the scope of the present invention.

100 : 증강현실 시스템 110 : 증강현실 구현장치
111 : 카메라부 113 : 증강현실 구현부
113a : 3차원 공간 생셩부 113b : 인터랙션부
113c ; 증강영상 생성부 113d : 객체정보 데이터베이스
115 : 디스플레이부 130 : 스마트 기기
131 : 이벤트 인식부 133 : 가상객체 생성부
135 : 사용자 인터페이스 137 : 가상객체 렌더링부100: augmented reality system 110: augmented reality implementation device
111: camera unit 113: augmented reality implementation unit
113a: 3D spatial rendering unit 113b: Interaction unit
113c; Enhanced Image Generation Unit 113d: Object Information Database
115: display unit 130: smart device
131: Event Recognition Unit 133: Virtual Object Creation Unit
135: user interface 137: virtual object rendering unit

Claims (1)

증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 사용자와 가상 객체의 인터랙션에 따라 발생하는 이벤트를 인식하는 단계;
상기 증강현실 구현 장치가 상기 가상 객체의 정보를 스마트 기기로 전송하는 단계;
상기 스마트 기기가 상기 가상 객체에 대한 사용자 입력을 상기 가상 객체에 적용하여 변형 가상 객체를 생성하고, 생성된 변형 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및
상기 증강현실 구현장치가 상기 변형 가상 객체의 정보를 바탕으로, 기 저장된 가상 객체를 렌더링하여, 증강현실을 구현하는 단계를 포함하는
증강현실 구현 방법.
Recognizing an event occurring in accordance with an interaction between a user and a virtual object in a state where an augmented reality by the augmented reality realization device is implemented;
Transmitting the information of the virtual object to the smart device by the augmented reality implementing device;
Generating a modified virtual object by applying a user input to the virtual object to the virtual object by the smart device and transmitting information of the modified virtual object to the augmented reality implementing device; And
Wherein the augmented reality implementing apparatus includes a step of rendering an augmented reality by rendering a previously stored virtual object based on the information of the deformed virtual object
How to Implement Augmented Reality.
KR1020160157521A 2016-11-24 2016-11-24 Augmented reality system linked to smart device KR102075383B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160157521A KR102075383B1 (en) 2016-11-24 2016-11-24 Augmented reality system linked to smart device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160157521A KR102075383B1 (en) 2016-11-24 2016-11-24 Augmented reality system linked to smart device

Publications (2)

Publication Number Publication Date
KR20180058895A true KR20180058895A (en) 2018-06-04
KR102075383B1 KR102075383B1 (en) 2020-02-12

Family

ID=62628095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160157521A KR102075383B1 (en) 2016-11-24 2016-11-24 Augmented reality system linked to smart device

Country Status (1)

Country Link
KR (1) KR102075383B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080372A (en) * 2018-12-14 2020-07-07 삼성전자주식회사 Robot control apparatus and method for learning task skill of the robot
KR20200138096A (en) 2020-06-25 2020-12-09 이은령 System for Sharing Augmented Reality contents and Driving method thereof
KR20200137523A (en) 2019-05-30 2020-12-09 이은령 System for Sharing Augmented Reality contents and Driving method thereof
KR20210061727A (en) 2019-11-20 2021-05-28 김재근 Augmented Reality Device Stationary Smart Phone
KR20220077000A (en) 2020-12-01 2022-06-08 김재근 Augmented Re|ality Instrument for Education

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057799A (en) * 2010-11-29 2012-06-07 삼성전자주식회사 Method and apparatus for providing dictionary function in a portable terminal
KR20140010616A (en) * 2012-07-16 2014-01-27 한국전자통신연구원 Apparatus and method for processing manipulation of 3d virtual object
KR20150087763A (en) * 2014-01-22 2015-07-30 단국대학교 산학협력단 system and method for providing collaborative contents service based on augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057799A (en) * 2010-11-29 2012-06-07 삼성전자주식회사 Method and apparatus for providing dictionary function in a portable terminal
KR20140010616A (en) * 2012-07-16 2014-01-27 한국전자통신연구원 Apparatus and method for processing manipulation of 3d virtual object
KR20150087763A (en) * 2014-01-22 2015-07-30 단국대학교 산학협력단 system and method for providing collaborative contents service based on augmented reality

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080372A (en) * 2018-12-14 2020-07-07 삼성전자주식회사 Robot control apparatus and method for learning task skill of the robot
US11911912B2 (en) 2018-12-14 2024-02-27 Samsung Electronics Co., Ltd. Robot control apparatus and method for learning task skill of the robot
KR20200137523A (en) 2019-05-30 2020-12-09 이은령 System for Sharing Augmented Reality contents and Driving method thereof
KR20210061727A (en) 2019-11-20 2021-05-28 김재근 Augmented Reality Device Stationary Smart Phone
KR20200138096A (en) 2020-06-25 2020-12-09 이은령 System for Sharing Augmented Reality contents and Driving method thereof
KR20220077000A (en) 2020-12-01 2022-06-08 김재근 Augmented Re|ality Instrument for Education

Also Published As

Publication number Publication date
KR102075383B1 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
Zhu et al. Bishare: Exploring bidirectional interactions between smartphones and head-mounted augmented reality
CN107491174B (en) Method, device and system for remote assistance and electronic equipment
EP3852068A1 (en) Method for training generative network, method for generating near-infrared image and apparatuses
EP3769509B1 (en) Multi-endpoint mixed-reality meetings
KR20180058895A (en) Augmented reality system linked to smart device
CN106575160B (en) Interface providing method and device for recognizing action according to user viewpoint
KR101940720B1 (en) Contents authoring tool for augmented reality based on space and thereof method
US9829996B2 (en) Operations in a three dimensional display system
US20090109215A1 (en) Method and apparatus for user interface communication with an image manipulator
CN110473293B (en) Virtual object processing method and device, storage medium and electronic equipment
CN103440033B (en) A kind of method and apparatus realizing man-machine interaction based on free-hand and monocular cam
CN107566793A (en) Method, apparatus, system and electronic equipment for remote assistance
US11475662B2 (en) Real time object surface identification for augmented reality environments
JP2014110043A (en) Device, method and program for connecting a plurality of three-dimensional models
Fiorentino et al. Design review of CAD assemblies using bimanual natural interface
US20170213394A1 (en) Environmentally mapped virtualization mechanism
CN107660338A (en) The stereoscopic display of object
KR102358543B1 (en) Authoring of augmented reality experiences using augmented reality and virtual reality
Sheldon et al. Putting the AR In (AR) chitecture
KR102346325B1 (en) System and method for producing webtoon using three dimensional data
KR101630257B1 (en) 3D image providing system and providing method thereof
KR20180053494A (en) Method for constructing game space based on augmented reality in mobile environment
KR101420818B1 (en) Method of embodying three-dimensional object animation, apparatus performing the same and storage media storing the same
MacAllister et al. Implementing native support for oculus and leap motion in a commercial engineering visualization and analysis platform
Pavlopoulou et al. A Mixed Reality application for Object detection with audiovisual feedback through MS HoloLenses

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant