KR101821352B1 - Records the location of the event system of omnidirectional camera and method using the same - Google Patents

Records the location of the event system of omnidirectional camera and method using the same Download PDF

Info

Publication number
KR101821352B1
KR101821352B1 KR1020160038382A KR20160038382A KR101821352B1 KR 101821352 B1 KR101821352 B1 KR 101821352B1 KR 1020160038382 A KR1020160038382 A KR 1020160038382A KR 20160038382 A KR20160038382 A KR 20160038382A KR 101821352 B1 KR101821352 B1 KR 101821352B1
Authority
KR
South Korea
Prior art keywords
event
signal
camera
image
signal transmitter
Prior art date
Application number
KR1020160038382A
Other languages
Korean (ko)
Other versions
KR20170111986A (en
Inventor
전세웅
강병두
경동욱
Original Assignee
(주)씨소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨소 filed Critical (주)씨소
Priority to KR1020160038382A priority Critical patent/KR101821352B1/en
Publication of KR20170111986A publication Critical patent/KR20170111986A/en
Application granted granted Critical
Publication of KR101821352B1 publication Critical patent/KR101821352B1/en

Links

Images

Classifications

    • H04N13/0278—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H04N5/2259—
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Abstract

본 발명은 전방향 카메라에 의해 촬영된 영상에 대하여 이벤트가 발생되는 포인트의 위치를 추적하여 기록하기 위한 전방향 카메라의 이벤트 위치 기록 시스템 및 기록 방법에 관한 것이다. 본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템은 이벤트가 발생되는 포인트에 구비되어 신호를 송출하는 신호송출기, 신호송출기로부터 송출되는 신호를 수신하며, 전방향에 대한 영상을 촬영하고, 촬영된 영상과 함께 이벤트가 발생되는 포인트의 위치 정보를 기록하는 전방향 카메라를 포함한다.The present invention relates to an event position recording system and a recording method of an omnidirectional camera for tracking and recording the position of a point at which an event is generated with respect to an image photographed by an omnidirectional camera. An event location recording system of an omnidirectional camera according to the present invention includes a signal transmitter provided at a point where an event is generated and transmitting a signal, a signal receiver for receiving a signal transmitted from the signal transmitter, And an omnidirectional camera for recording positional information of a point at which an event is generated.

Description

전방향 카메라의 이벤트 위치 기록 시스템 및 기록 방법{Records the location of the event system of omnidirectional camera and method using the same}Technical Field [0001] The present invention relates to an event location recording system and a recording method of an omnidirectional camera,

본 발명은 전방향 카메라의 이벤트 위치 기록 시스템에 관한 것으로, 더욱 상세하게는 전방향 카메라에 의해 촬영된 영상에 대하여 이벤트가 발생되는 포인트의 위치를 추적하여 기록하기 위한 전방향 카메라의 이벤트 위치 기록 시스템 및 기록 방법에 관한 것이다.The present invention relates to an event location recording system of an omnidirectional camera, and more particularly to an event location recording system of an omni-directional camera for tracking and recording the location of a point where an event is generated, And a recording method.

일반적으로, VR(Virtual Reality: 가상 현실)은 컴퓨터 그래픽(Computer Graphic, CG) 기술을 통하여 만들어진 실제 환경과 유사한 3차원 가상환경 내에서 인체의 모든 감각(시각, 청각, 후각, 미각, 촉각)이 상호 작용하여, 가상으로 창조한 세계에 몰입되게 함으로써 참여자에게 가상 공간을 3차원적으로 재현하고 인간을 이 가상 공간에 몰입시킴으로써 정보의 활용을 극대화하는 것을 궁극적 목표로 하는 기술이다.In general, VR (Virtual Reality) is a virtual reality in which all senses (visual, auditory, olfactory, taste, tactile) of the human body are generated in a 3D virtual environment similar to the real environment created through computer graphic It is a technology that ultimately aims to maximize the utilization of information by engaging the human being in this virtual space by three-dimensionally reproducing the virtual space to the participant by making it interact with the virtual world.

현재의 가상 현실 기술은 Web 3D, 시뮬레이션, 게임, 설계, 교육, 의료, 군사 등의 다양한 분야에 응용되고 있으며, 이러한 가상 현실 기술 중 파노라마 VR(Panorama VR)이란 카메라를 이용해 촬영된 이미지를 가지고 이어붙여 제작한 실사 기반의 VR 기술로서, 이 제작 방법은 풍경 또는 실내를 회전하며 (360° 수평 또는 수직) 촬영된 이미지를 가공 과정을 거쳐 연결하여 붙인 뒤 구형, 또는 원통형 모양에 덮어씌우는 과정(mapping)을 거쳐, 촬영 지점(nodal point)을 중심으로 이미지를 회전(rotate), 확대/축소(zoom in/zoom out), 이동(move)하면서 볼 수 있도록 구현된다.Current virtual reality technology is applied to various fields such as Web 3D, simulation, game, design, education, medical, military, etc. Among these virtual reality technologies, panorama VR (Panorama VR) (360 ° horizontal or vertical), which is attached to a camera through a processing process, and then is attached to a spherical or cylindrical shape (mapping The image can be rotated, zoomed in / zoom out, and moved around the nodal point.

이러한 파노라마 VR 기술은 작업이 쉽고 비용이 매우 저렴하며, 짧은 시간 내에 결과물을 얻을 수 있다는 측면에서 다른 VR 기술보다 빨리 도입되어 현재 영화, 유적, 관광, 건축, 모델하우스, 인테리어, 여행, 쇼핑몰, 부동산 등의 다양한 분야에 활용되고 있다.These panorama VR technologies are easy to work with, are very inexpensive, and are introduced sooner than other VR technologies in terms of achieving results in a short time, so that they can be used for movies, relics, tourism, architecture, model houses, And so on.

최근에는 이러한 파노라마 VR 기술을 통해 제작된 영상을 헤드 마운트 디스플레이 등의 VR 재생기를 통해 가상현실을 구현하여 게임이나, 영화에 적용하고 있다.In recent years, images produced through such panoramic VR technology have been applied to games and movies by implementing virtual reality through a VR player such as a head-mounted display.

그러나 VR 재생기를 통해 재생되는 영상에는 영상을 제작한 제작자의 시점에 대한 정보가 전혀 포함되어 있지 않다. 즉, 제작자가 어떠한 특정방향에 집중도를 요하는 컨텐츠를 제작할 경우, 영상을 관람하는 사용자는 어느 방향에서 컨텐츠가 재생되는지 알지 못하여 컨텐츠의 맥락을 놓치는 등의 문제점이 발생될 수 있다.However, the video reproduced through the VR player does not contain any information about the viewpoint of the producer who produced the video. In other words, when the producer produces contents requiring concentration in a specific direction, the user who views the images may not know the direction in which the contents are reproduced, thereby causing a problem of missing the context of the contents.

한국등록특허 제10-0944389호(2010.02.19.)Korean Patent No. 10-0944389 (Feb. 19, 2010)

따라서 본 발명의 목적은 VR 재생기를 통해 재생되는 영상에서 제작자가 의도하는 시점에 대한 정보를 반영하도록 할 수 있는 전방향 카메라의 이벤트 위치 기록 시스템 및 기록 방법을 제공하는 데 있다.Accordingly, it is an object of the present invention to provide an event location recording system and a recording method of an omnidirectional camera that can reflect information about a time point intended by a manufacturer in an image reproduced through a VR player.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템은 이벤트가 발생되는 포인트에 구비되어 신호를 송출하는 신호송출기, 상기 신호송출기로부터 송출되는 신호를 수신하며, 전방향에 대한 영상을 촬영하고, 상기 촬영된 영상과 함께 상기 이벤트가 발생되는 포인트의 위치를 추적하여 기록하는 전방향 카메라를 포함한다.An event location recording system of an omnidirectional camera according to the present invention includes a signal transmitter provided at a point where an event is generated to transmit a signal, a signal receiver for receiving a signal transmitted from the signal transmitter, And an omnidirectional camera for tracking and recording the position of the point at which the event occurs.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템에 있어서, 상기 전방향 카메라는, 전방향에 대한 영상을 촬영하는 카메라부, 상기 카메라부가 촬영을 수행하면 상기 신호송출기로부터 송출되는 신호를 수신하는 방향추적기, 상기 방향추적기로부터 수신한 신호를 통해 상기 신호송출기의 위치를 추적하여 상기 카메라부로부터 촬영된 영상과 함께 기록하는 제어부를 포함하는 것을 특징으로 한다.In the event location recording system of an omnidirectional camera according to the present invention, the forward camera may include a camera unit for capturing an image in all directions, a direction for receiving a signal transmitted from the signal transmitter And a controller for tracking the position of the signal transmitter through a signal received from the direction tracker and for recording the image together with the image photographed from the camera unit.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템에 있어서, 상기 방향추적기는 RF, 마크네틱, UWB 통신 및 지그비를 포함하는 근거리 통신을 통해 상기 신호송출기로부터 송출되는 상기 신호를 수신하는 것을 특징으로 한다.In the event location recording system of an omnidirectional camera according to the present invention, the direction tracker receives the signal transmitted from the signal transmitter through short-range communication including RF, mark net, UWB communication, and ZigBee .

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템에 있어서, 상기 제어부는 상기 카메라부로부터 촬영되는 영상 내에서 상기 이벤트가 발생되는 위치를 시간과 함께 기록한 위치 정보를 생성하는 것을 특징으로 한다.In the event location recording system of the omnidirectional camera according to the present invention, the controller generates position information in which the location of the event is recorded together with the time in the image photographed from the camera unit.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템에 있어서, 상기 위치 정보는 상기 이벤트 발생 시간, 상기 이벤트 발생 포인트의 위도 및 경도 정보를 포함하는 것을 특징으로 한다.In the event location recording system of the omnidirectional camera according to the present invention, the location information includes the event occurrence time, latitude and longitude information of the event occurrence point.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템에 있어서, 상기 제어부는 상기 카메라부에 의해 촬영된 영상을 통해 영상 파일을 생성하고, 상기 영상 파일과 함께 상기 위치 정보를 저장하는 것을 특징으로 한다.In the event location recording system of the omnidirectional camera according to the present invention, the control unit may generate an image file through an image photographed by the camera unit, and store the location information together with the image file.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템에 있어서, 상기 신호송출기는 이벤트를 발생시키는 사람 또는 사물에 구비되는 것을 특징으로 한다.In the event location recording system of an omni-directional camera according to the present invention, the signal transmitter is provided in a person or an object for generating an event.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 방법은 전방향 카메라가 전방향에 대한 영상을 촬영하면서 이벤트가 발생되는 포인트에 구비되는 신호 송출기로부터 송출되는 신호를 수신하는 단계, 전방향 카메라가 상기 영상과 함께 상기 이벤트가 발생되는 포인트의 위치를 추적하여 기록하는 단계를 포함한다.A method for recording an event location of an omnidirectional camera according to the present invention includes the steps of: receiving a signal transmitted from a signal emitter provided at a point where an event is generated while an omnidirectional camera captures an image in all directions; And tracking and recording the location of the point where the event occurs.

본 발명에 따른 전방향 카메라의 이벤트 위치 기록 시스템은 전방향 카메라가 이벤트가 발생되는 포인트에 구비되는 신호송출기를 통해 신호를 수신하며, 전방향에 대한 영상을 촬영하고, 촬영된 영상에 대하여 이벤트가 발생되는 포인트의 위치를 추적하여 기록하도록 함으로써, 영상 제작자가 의도하는 시점에 대한 정보를 반영하도록 할 수 있다.An event location recording system of an omnidirectional camera according to the present invention is a system in which an omnidirectional camera receives a signal through a signal emitter provided at a point where an event is generated, photographs an image in all directions, The position of the point to be generated is tracked and recorded so that the information about the time point intended by the video producer can be reflected.

이에 따라 VR 재생기를 통해 영상을 시청하는 시청자는 영상 제작자가 의도하는 시점을 정확히 파악할 수 있고, 컨텐츠의 맥락을 놓치는 문제점을 해결할 수 있다.Accordingly, a viewer who views an image through the VR player can accurately grasp a time point intended by a video producer, and can solve the problem of missing the context of the content.

도 1은 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 시스템의 구성을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 전방향 카메라의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 방법을 나타낸 순서도이다.1 is a block diagram showing the configuration of an event location recording system of an omnidirectional camera according to an embodiment of the present invention.
2 is a block diagram showing the configuration of an omnidirectional camera according to an embodiment of the present invention.
3 is a flowchart illustrating an event location recording method of an omnidirectional camera according to an embodiment of the present invention.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.In the following description, only parts necessary for understanding the embodiments of the present invention will be described, and the description of other parts will be omitted so as not to obscure the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and the inventor is not limited to the meaning of the terms in order to describe his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely preferred embodiments of the present invention, and are not intended to represent all of the technical ideas of the present invention, so that various equivalents And variations are possible.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 시스템의 구성을 나타낸 구성도이다.1 is a block diagram showing the configuration of an event location recording system of an omnidirectional camera according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 시스템(300)은 전방향 카메라(100)를 통해 촬영하는 영상 제작자가 의도하는 시점에 대한 정보를 촬영되는 영상과 함께 반영되도록 할 수 있다.1, an event position recording system 300 of an omnidirectional camera according to an embodiment of the present invention includes information on a time point intended by a video producer shooting through an omnidirectional camera 100, .

이러한 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 시스템(300)은 신호송출기(200) 및 전방향 카메라(100)를 포함한다.The event location recording system 300 of the omnidirectional camera according to the embodiment of the present invention includes a signal transmitter 200 and an omnidirectional camera 100.

신호송출기(200)는 이벤트가 발생되는 포인트의 위치 정보를 생성하기 위한 신호를 송출할 수 있다. 즉 신호송출기(200)는 영상 제작자가 원하는 시점에 대한 정보를 생성하기 위한 신호를 송출하여 전방향 카메라(100)로 하여금 위치를 추적하도록 할 수 있다.The signal transmitter 200 may transmit a signal for generating position information of a point where an event is generated. That is, the signal transmitter 200 may transmit a signal for generating information about a desired time point of the video producer so that the omnidirectional camera 100 tracks the position.

예컨데 전방향 카메라(100)를 통해 영화를 제작할 경우, 신호송출기(200)는 영화에 출현하는 배우의 몸에 착용되거나, 포커스가 집중되는 사물에 구비되도록 할 수 있다. 신호송출기(200)는 팔찌 형태나 허리띠 형태로 제작되어 사람의 몸에 착용될 수 있다. For example, when a movie is produced through the omnidirectional camera 100, the signal transmitter 200 may be provided on an object of an actor appearing in the movie or on an object focused on the focus. The signal transmitter 200 may be manufactured in the form of a bracelet or a waistband and may be worn on a human body.

이러한 신호송출기(200)는 RFID, 마그네틱, UWB 통신 및 지그비를 포함하는 근거리 통신을 통해 전방향 카메라(100)로 신호를 송출할 수 있다. 이 밖에도 신호송출기(200)는 NFC 통신, 와이파이(WiFi) 및 블루투스(bluetooth) 등 다양한 근거리 무선 통신 방식을 통해 전방향 카메라(100)와 통신을 수행할 수 있다.The signal transmitter 200 can transmit a signal to the omnidirectional camera 100 through short-range communication including RFID, magnetic, UWB communication, and ZigBee. In addition, the signal transmitter 200 can perform communication with the omnidirectional camera 100 through various short-range wireless communication methods such as NFC communication, WiFi, and bluetooth.

하지만 이에 한정된 것은 아니고 신호송출기(200)는 근거리 무선 통신 뿐만 아니라, 다양한 통신망을 통해 전방향 카메라(100)와 통신할 수 있다. 예컨데 통신망은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, 무선랜(WLAN, Wireless LAN), 와이브로(Wibro), 와이맥스(Wimax), 고속하향패킷접속(HSDPA, High Speed Downlink Packet Access) 등의 무선 통신방식이 될 수 있다.However, the present invention is not limited to this, and the signal transmitter 200 can communicate with the omni-directional camera 100 through various communication networks as well as near-field wireless communication. For example, various types of communication networks may be used for the communication network. For example, wireless communication networks such as a WLAN (Wireless Local Area Network), a Wibro, a Wimax, a High Speed Downlink Packet Access (HSDPA) Communication system.

전방향 카메라(100)는 전방향에 대한 영상을 촬영한다. 예컨데 전방향 카메라(100)는 복수의 카메라를 통해 촬영된 영상을 조합하여 하나의 파노라마 영상을 생성할 수 있다. 이때 전방향 카메라(100)는 복수의 카메라로부터 촬영된 영상을 가공 과정을 거쳐 연결하여 붙인 뒤 구형, 또는 원통형 모양에 덮어씌우는 매핑(mapping) 과정을 거쳐, 촬영 지점(nodal point)을 중심으로 이미지를 회전(rotate), 확대/축소(zoom in/zoom out), 이동(move)하면서 볼 수 있도록 구현할 수 있다. 여기서 매핑 과정은 전방향 카메라(100)에서 수행할 수 있으나, 이에 한정된 것은 아니고 전방향 카메라(100)가 파노라마 영상을 VR 재생기로 제공하고, VR 재생기에서 매핑 과정을 수행하도록 구성될 수 있다.The omnidirectional camera 100 takes images of all directions. For example, the omnidirectional camera 100 may combine images photographed through a plurality of cameras to generate one panoramic image. At this time, the omnidirectional camera 100 performs a mapping process of connecting a captured image from a plurality of cameras through a machining process and covering the spherical or cylindrical shape, Can be implemented to rotate, zoom in / zoom out, and move. Here, the mapping process may be performed by the omnidirectional camera 100, but the omnidirectional camera 100 may be configured to provide the panoramic image to the VR player and to perform the mapping process in the VR player.

또한 전방향 카메라(100)는 신호송출기(200)로부터 송출되는 신호를 수신하여, 신호송출기(200)가 위치하는 위치 정보를 생성할 수 있다. 즉 전방향 카메라(100)는 전방향 영상뿐만 아니라, 전방향 영상 중 이벤트가 발생되는 위치 정보를 생성하여 기록할 수 있다. 여기서 전방향 카메라(100)는 이벤트가 발생되는 시간을 포함하는 이벤트가 발생되는 포인트의 위치 정보를 생성한다. 생성된 위치 정보에는 이벤트 발생 시간, 이벤트 발생 포인트의 위도 및 경도 정보를 포함할 수 있다. 전방향 카메라(100)는 촬영된 영상을 통해 영상 파일을 생성하고, 영상파일과 함께 생성한 위치 정보블 저장할 수 있다.The omni-directional camera 100 may receive a signal transmitted from the signal transmitter 200 and generate position information on which the signal transmitter 200 is located. That is, the forward camera 100 can generate and record location information of an omnidirectional image as well as an omnidirectional image. Here, the omnidirectional camera 100 generates position information of a point at which an event including a time at which an event occurs is generated. The created location information may include event occurrence time, latitude and longitude information of the event occurrence point. The omnidirectional camera 100 generates an image file through the photographed image and stores the generated location information together with the image file.

영상 파일과 함께 저장된 위치 정보는 VR 재생기를 통해 재생될 경우, 영상의 출력과 함께 위치 정보를 출력하여 VR 재생기를 사용하는 사용자가 영상 제작자가 의도하는 시점에 대한 정보를 인지하도록 할 수 있다.When the location information stored together with the image file is reproduced through the VR player, the location information may be outputted together with the output of the image so that the user using the VR player can recognize the information about the intended time of the video producer.

예컨데 위치 정보는 자막 파일이 영상 파일의 화면 상에 출력되는 것처럼, 화면 상에 출력될 수 있다. 화면 상에 출력되는 형태는 위도 및 경도를 숫자로 화면상에 표시하거나, 화살표로 이벤트가 발생되는 포인트를 안내하는 형식으로 구성될 수 있다.For example, the position information can be outputted on the screen as if the subtitle file is outputted on the screen of the video file. The form displayed on the screen may be configured to display the latitude and longitude on the screen in numerical form or to guide the point where the event occurs by the arrow.

이하 도면을 참조하여 본 발명의 실시예에 따른 전방향 카메라(100)의 구성에 대하여 더욱 상세히 설명하도록 한다.Hereinafter, the configuration of the omnidirectional camera 100 according to the embodiment of the present invention will be described in more detail with reference to the drawings.

도 2는 본 발명의 실시예에 따른 전방향 카메라의 구성을 나타낸 블록도이다.2 is a block diagram showing the configuration of an omnidirectional camera according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 전방향 카메라(100)는 카메라부(110), 방향추적기(120), 입력부(130), 표시부(140), 저장부(150) 및 제어부(160)를 포함할 수 있다.1 and 2, an omnidirectional camera 100 according to an embodiment of the present invention includes a camera unit 110, a direction tracker 120, an input unit 130, a display unit 140, a storage unit 150, And a control unit 160. [0029]

카메라부(110)는 전방향을 촬영하여 전방향에 대한 영상을 촬영할 수 있다. 이러한 카메라부(110)는 전 방위 파노라마 영상을 만들기 위해 다수개의 카메라의 기하학적인 조건을 결정하고 각각의 카메라에서 획득한 영상들을 하나로 접합하는 과정을 통하여 전방향 촬영을 수행할 수 있다. 이러한 다중카메라를 이용하여 전방향 영상을 구성하는 경우 높은 해상도의 영상을 재구성함으로써 사용자가 주위의 여러 방향을 바라볼 수 있도록 하기 위해 단일 영상들을 결합하여 합성한 파노라마 영상을 구현하기 편리할 수 있다. 하지만 이에 한정된 것은 아니고 카메라부(110)는 어안렌즈와 같은 사각이 180도를 넘는 초광각 렌즈를 사용할 수 있다. 이러한 어안렌즈는 크기가 작고 회손 가능성이 낮고 가격이 저렴한 장점을 가지고 있다. 또한 카메라부는 렌즈를 통한 굴절과 거울에 의한 반사의 조화로 구성된 반사굴절 카메라가 사용될 수 있다.The camera unit 110 can take an image in all directions and take an image in all directions. The camera unit 110 may determine the geometric conditions of a plurality of cameras to create a full-direction panoramic image, and may perform an omnidirectional imaging process by joining the images acquired by the respective cameras together. When constructing an omnidirectional image using such a multi-camera, it is convenient to reconstruct a high-resolution image, thereby realizing a panoramic image obtained by combining a single image to allow the user to view various directions around the user. However, the present invention is not limited thereto, and the camera unit 110 may use an ultra-wide angle lens having a square angle of more than 180 degrees such as a fisheye lens. These fisheye lenses have a small size, low possibility of bending, and low cost. Also, a refraction refracting camera, which is composed of refraction of the camera part and refraction by the mirror, may be used.

방향추적기(120)는 신호송출기(200)로부터 송출되는 신호를 수신할 수 있다. 여기서 방향추적기(120)는 전방향 카메라(100)의 내부에 구비되어 카메라부(110), 입력부(130), 출력부(140), 저장부(150) 및 제어부(160)와 일체로 구성되어 신호송출기(200)로부터 송출되는 신호를 수신하도록 구성될 수 있다. 하지만 이에 한정된 것은 아니고, 방향추적기(120)는 전방향 카메라(100)와 별도로 구비되어 전방향 카메라(100)와 탈부착 가능한 형태로 구성될 수 있다. 이 경우, 방향추적기(120)는 전방향 카메라(100)와 결합되어 신호송출기(200)로부터 수신한 데이터를 전방향 카메라(100)로 전달할 수 있는 별도의 잭이 형성될 수 있다. 이때, 전방향 카메라(100)는 방향추적기(120)의 입력 잭에 대응되는 입력 포트를 구비하여 방향추적기(100)로부터 신호송출기(200)로부터 송출되는 신호를 전달받을 수 있다. The direction tracker 120 may receive a signal transmitted from the signal transmitter 200. Here, the direction tracker 120 is integrally formed with the camera unit 110, the input unit 130, the output unit 140, the storage unit 150, and the control unit 160, And may be configured to receive signals sent from the signal emitter 200. However, the present invention is not limited thereto, and the direction tracker 120 may be provided separately from the forward camera 100 and may be detachably attached to the forward camera 100. In this case, the direction tracker 120 may have a separate jack coupled to the forward camera 100 and capable of transmitting data received from the signal transmitter 200 to the forward camera 100. At this time, the omnidirectional camera 100 has an input port corresponding to the input jack of the direction tracker 120, and can receive signals transmitted from the signal transmitter 200 from the direction tracker 100.

한편 카메라부(110)에 의해 촬영된 파노라마 영상에서 어느 한 포인트에 대한 위치는 위도와 경도로 표시될 수 있다. 이에 따라 방향추적기(120)는 신호송출기(200)로부터 송출되는 신호를 수신하여 신호가 발생되는 위치를 추적하고 위도와 경도로 산출할 수 있다.On the other hand, the position of a certain point in the panoramic image photographed by the camera unit 110 can be displayed in latitude and longitude. Accordingly, the direction tracker 120 may receive the signal transmitted from the signal transmitter 200, track the location where the signal is generated, and calculate the latitude and longitude.

입력부(130)는 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 전방향 카메라(100)의 각종 기능 설정 및 기능 제어와 관련하여 입력되는 신호를 제어부(160)로 전달한다. 또한 입력부(130)는 사용자의 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 여기서 본 발명의 실시예에 따른 입력부(130)는 카메라부(110)의 기능 설정 및 카메라부(110)의 동작을 제어하기 위한 신호를 입력받을 수 있다.The input unit 130 receives various information such as numbers and character information, and transmits signals to the controller 160 in connection with various function setting and function control of the omnidirectional camera 100. The input unit 130 may include at least one of a keypad and a touchpad that generates an input signal according to a user's operation. Here, the input unit 130 according to the embodiment of the present invention may receive a signal for controlling the function of the camera unit 110 and the operation of the camera unit 110.

표시부(140)는 전방향 카메라(100)의 기능 수행 중에 발생되는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시한다. 또한, 표시부(140)는 전방향 카메라(100)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 표시부(140)는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 본 발명의 실시예에 따른 표시부(140)는 카메라부(110)로부터 촬영된 각 렌즈에 대한 영상, 각 렌즈에 대한 영상을 결합한 파노라마 영상 등을 표시할 수 있다.The display unit 140 displays information on a series of operation states and operation results generated during the performance of the function of the omnidirectional camera 100. [ Also, the display unit 140 can display menus of the omnidirectional camera 100 and user data input by the user. The display unit 140 may be a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), a light emitting diode (LED), an organic light emitting diode (OLED) Active matrix organic light emitting diodes (AMOLEDs), active matrix OLEDs, retina displays, flexible displays, and three-dimensional displays. The display unit 140 according to the embodiment of the present invention may display an image of each lens taken from the camera unit 110, a panorama image combining images of the respective lenses, and the like.

저장부(150)는 데이터를 저장하기 위한 장치로, 전방향 카메라(100)의 기능 동작에 필요한 응용 프로그램을 저장한다. 또한 저장부(150)는 카메라부(110)에 의해 촬영한 영상, 방향추적기(120)에 의해 수신된 신호송출기(200)의 위치, 신호송출기(200)의 위치에 따라 제어부(160)에 의해 가공된 신호송출기(200)의 위치 정보를 저장할 수 있다. 여기서 저장부(150)는 전방향 카메라(100)의 사용자의 요청에 상응하여 각 기능을 활성화 하는 경우, 제어부(160)의 제어 하에 해당 응용 프로그램을 실행하여 각 기능을 제공할 수 있다.The storage unit 150 is an apparatus for storing data, and stores an application program required for the function operation of the omnidirectional camera 100. [ The storage unit 150 stores the image captured by the camera unit 110 and the position of the signal transmitter 200 received by the direction tracker 120 and the position of the signal transmitter 200 by the controller 160 And the position information of the processed signal transmitter 200 can be stored. Here, when activating each function according to a request of a user of the forward direction camera 100, the storage unit 150 may execute the corresponding application program under the control of the controller 160 to provide each function.

제어부(160)는 입력부(130)에 의해 카메라부(110)의 동작 신호가 입력되면, 카메라부(110)를 동작시켜 카메라부(110)가 전방향에 대한 영상을 촬영하도록 할 수 있다. 이때 제어부(160)는 카메라부(110)를 동작시킴과 동시에 방향추적기(120)를 동작시켜 신호송출기(200)로부터 송출되는 신호를 수신하도록 할 수 있다. 이때 제어부(160)는 신호송출기(200)로부터 송출되는 신호를 방향추적기(120)가 수신하게 되면, 방향추적기(120)가 수신한 신호를 통해 신호송출기(200)가 위치하는 위치 정보를 생성할 수 있다.The control unit 160 may operate the camera unit 110 to allow the camera unit 110 to capture an image in all directions when an operation signal of the camera unit 110 is input by the input unit 130. [ At this time, the control unit 160 may operate the camera unit 110 and operate the direction tracker 120 to receive a signal transmitted from the signal transmitter 200. At this time, when the direction tracker 120 receives a signal transmitted from the signal transmitter 200, the controller 160 generates position information on the signal transmitter 200 through the signal received by the direction tracker 120 .

즉 제어부(160)는 방향추적기(120)를 통해 전달받은 신호송출기의 위치 즉, 이벤트 발생 포인트에 대한 위도 및 경도 정보에 시간에 대한 정보를 포함시켜 위치 정보를 생성할 수 있다. 여기서 위치 정보는 카메라부(110)로부터 촬영되는 영상 내에서 이벤트가 발생되는 위치를 시간과 함께 기록한 정보이다. 즉 위치 정보는 이벤트 발생 시간, 이벤트가 발생된 포인트의 위도 및 경도 정보를 포함할 수 있다. 제어부(160)는 촬영된 영상을 통해 영상 파일을 생성하고, 영상 파일과 함께 생성한 위치 정보를 저장부(150)에 저장할 수 있다. 여기서 위치 정보는 카메라부(110)로부터 촬영되어 생성된 영상 파일과 함께 하나의 파일로 저장되거나, 영상 파일과 각각의 파일로 저장되어 VR 재생기로 재생되도록 할 수 있다.That is, the controller 160 may generate the location information by including the time information on the location of the signal transmitter received through the direction tracker 120, that is, the latitude and longitude information of the event occurrence point. Here, the position information is information in which the position where an event is generated in the image photographed from the camera unit 110 is recorded together with time. That is, the location information may include an event occurrence time, latitude and longitude information of the point where the event occurred. The control unit 160 generates an image file through the photographed image and stores the generated position information together with the image file in the storage unit 150. [ Here, the location information may be stored together with the image file photographed and generated by the camera unit 110 as one file, or may be stored as an image file and each file, and reproduced by the VR player.

이하 도면을 참조하여 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 방법에 대하여 설명하도록 한다.Hereinafter, an event location recording method of an omnidirectional camera according to an embodiment of the present invention will be described with reference to the drawings.

도 3은 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 방법을 나타낸 순서도이다.3 is a flowchart illustrating an event location recording method of an omnidirectional camera according to an embodiment of the present invention.

도 3을 참조하면, 먼저 S10 단계에서 전방향 카메라는 전방향에 대한 영상을 촬영한다. 이때 전방향 카메라는 촬영을 시작함과 동시에 신호송출기로부터 송출되는 신호를 수신한다.Referring to FIG. 3, in step S10, the omnidirectional camera takes an image in all directions. At this time, the omnidirectional camera starts shooting and receives a signal transmitted from the signal transmitter.

다음으로 S20 단계에서 전방향 카메라는 신호송출기로부터 송출되는 신호를 수신하게 되면, 수신한 신호를 통해 신호송출기가 위치하는 위치 정보를 생성할 수 있다. S20 단계에서 전방향 카메라는 전방향에 대한 영상뿐만 아니라, 전방향 영상 중 이벤트가 발생되는 위치 정보를 생성할 수 있다. 즉 S20 단계에서 전방향 카메라는 촬영되는 영상 내에서 이벤트가 어디에서 발생 되는지를 신호송출기로부터 송출되는 신호를 통해 위치 정보를 생성할 수 있다.Next, in step S20, when the omnidirectional camera receives the signal transmitted from the signal transmitter, the omnidirectional camera can generate position information on the signal transmitter through the received signal. In step S20, the omnidirectional camera can generate not only an image for all directions but also position information for generating an event among omnidirectional images. That is, in the step S20, the omnidirectional camera can generate the position information through the signal transmitted from the signal transmitter from where the event occurs in the captured image.

그리고 S30 단계에서는 촬영된 영상과 함께 위치 정보를 기록할 수 있다. 즉 전방향 카메라는 S20 단계에서 촬영된 영상을 통해 생성된 영상 파일과 함께 생성한 위치 정보를 저장할 수 있다. 여기서 위치 정보는 촬영되는 영상 내에서 이벤트가 발생되는 위치를 시간과 함께 기록한 정보이다. 즉 위치 정보는 이벤트 발생 시간, 이벤트가 발생된 포인트의 위도 및 경도 정보를 포함할 수 있다. 여기서 위치 정보는 전방향 카메라로부터 촬영되어 생성된 영상 파일과 함께 하나의 파일로 저장되거나, 영상 파일과 각각의 파일로 저장되어 VR 재생기로 재생되도록 할 수 있다.In step S30, positional information can be recorded together with the photographed image. That is, the forward direction camera can store the position information generated together with the image file generated through the image photographed in step S20. Here, the positional information is information in which the position where the event is generated in the captured image is recorded together with the time. That is, the location information may include an event occurrence time, latitude and longitude information of the point where the event occurred. Here, the location information may be stored together with the image file photographed and generated from the forward camera as one file, or may be stored as an image file and each file, and reproduced by the VR player.

이와 같이, 본 발명의 실시예에 따른 전방향 카메라의 이벤트 위치 기록 시스템 및 방법은 전방향 카메라가 이벤트가 발생되는 포인트에 구비되는 신호송출기를 통해 신호를 수신하며, 전방향에 대한 영상을 촬영하고, 촬영된 영상에 대하여 이벤트가 발생되는 포인트의 위치 정보를 생성하여 기록하도록 함으로써, 영상 제작자가 의도하는 시점에 대한 정보를 반영하도록 할 수 있다.As described above, in the system and method for recording an event location of an omnidirectional camera according to the embodiment of the present invention, an omnidirectional camera receives a signal through a signal emitter provided at a point where an event occurs, , Positional information of a point at which an event is generated with respect to the photographed image is generated and recorded so that the information about the time point intended by the video producer can be reflected.

이에 따라 VR 재생기를 통해 영상을 시청하는 시청자는 영상 제작자가 의도하는 시점을 정확히 파악할 수 있고, 컨텐츠의 맥락을 놓치는 문제점을 해결할 수 있다.Accordingly, a viewer who views an image through the VR player can accurately grasp a time point intended by a video producer, and can solve the problem of missing the context of the content.

한편, 본 도면에 개시된 실시예는 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.It should be noted that the embodiments disclosed in the drawings are merely examples of specific examples for the purpose of understanding, and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

100 : 전방향 카메라 110 : 카메라부
120 : 방향추적기 130 : 입력부
140 : 표시부 150 : 저장부
160 : 제어부 200 : 신호송출기100: omnidirectional camera 110: camera unit
120: direction tracker 130: input
140: Display unit 150:
160: control unit 200: signal transmitter

Claims (7)

전방향 영상 내에서 이벤트가 발생되는 포인트에 구비되어 신호를 송출하는 신호송출기;
상기 신호송출기로부터 송출되는 신호를 수신하며, 상기 전방향 영상을 촬영하고, 상기 촬영된 전방향 영상과 함께 상기 수신한 신호를 통해 상기 이벤트가 발생되는 포인트의 위치 정보를 기록하는 전방향 카메라; 를 포함하고,
상기 전방향 카메라는,
전방향 영상을 촬영하는 카메라부;
상기 카메라부가 촬영을 수행하면 상기 신호송출기로부터 송출되는 신호를 수신하는 방향추적기;
상기 방향추적기로부터 수신한 신호를 통해 상기 신호송출기의 위치 정보를 생성하여 상기 카메라부로부터 촬영된 전방향 영상과 함께 기록하는 제어부;
를 포함하는 것을 특징으로 하는 전방향 카메라의 이벤트 위치 기록 시스템.A signal transmitter provided at a point where an event is generated in the omnidirectional image to transmit a signal;
An omni-directional camera for receiving a signal transmitted from the signal emitter, photographing the omnidirectional image, and recording positional information of a point at which the event is generated through the received signal together with the captured omnidirectional image; Lt; / RTI >
The omni-directional camera comprises:
A camera unit for photographing an omnidirectional image;
A direction tracker for receiving a signal transmitted from the signal transmitter when the camera unit performs photographing;
A controller for generating position information of the signal transmitter through a signal received from the direction tracker and recording the position information together with the omnidirectional image photographed from the camera unit;
Wherein the event location recording system comprises: 삭제delete 제1항에 있어서,
상기 방향추적기는 RF, 마크네틱, UWB 통신 및 지그비를 포함하는 근거리 통신을 통해 상기 신호송출기로부터 송출되는 상기 신호를 수신하는 것을 특징으로 하는 전방향 카메라의 이벤트 위치 기록 시스템.The method according to claim 1,
Wherein the direction tracker receives the signal transmitted from the signal transmitter through a short distance communication including RF, mark net, UWB communication, and ZigBee. 제1항에 있어서,
상기 제어부는 상기 카메라부로부터 촬영되는 영상 내에서 상기 이벤트가 발생되는 위치를 시간과 함께 기록한 위치 정보를 생성하는 것을 특징으로 하는 전방향 카메라의 이벤트 위치 기록 시스템.The method according to claim 1,
Wherein the control unit generates position information indicating a position where the event occurs in the image captured by the camera unit together with time. 제4항에 있어서,
상기 위치 정보는 상기 이벤트 발생 시간, 상기 이벤트 발생 포인트의 위도 및 경도 정보를 포함하는 것을 특징으로 하는 전방향 카메라의 이벤트 위치 기록 시스템.5. The method of claim 4,
Wherein the location information includes the event occurrence time, latitude and longitude information of the event occurrence point, and the like. 제5항에 있어서,
상기 제어부는 상기 카메라부에 의해 촬영된 전방향 영상을 통해 영상 파일을 생성하고, 상기 영상 파일과 함께 상기 위치 정보를 저장하는 것을 특징으로 하는 전방향 카메라의 이벤트 위치 기록 시스템.6. The method of claim 5,
Wherein the control unit generates an image file through the omnidirectional image taken by the camera unit and stores the position information together with the image file. 전방향 카메라가 카메라부를 통해 전방향 영상을 촬영하면서, 방향 추적기를 통해 이벤트가 발생되는 포인트에 구비되는 신호 송출기로부터 송출되는 신호를 수신하는 단계;
상기 전방향 카메라가 상기 전방향 영상과 함께 상기 방향추적기로부터 수신한 신호를 통해 상기 신호송출기의 위치 정보를 생성하여 상기 카메라부로부터 촬영된 전방향 영상과 함께 기록하는 단계;
를 포함하는 것을 특징으로 하는 전방향 카메라의 이벤트 위치 기록 방법.Receiving a signal transmitted from a signal transmitter provided at a point where an event is generated through a direction tracker while an omnidirectional camera captures an omnidirectional image through a camera unit;
Generating the position information of the signal transmitter through the signal received from the direction tracker together with the omnidirectional image and recording the omnidirectional image photographed from the camera unit;
And storing the event location information in the memory.
KR1020160038382A 2016-03-30 2016-03-30 Records the location of the event system of omnidirectional camera and method using the same KR101821352B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160038382A KR101821352B1 (en) 2016-03-30 2016-03-30 Records the location of the event system of omnidirectional camera and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160038382A KR101821352B1 (en) 2016-03-30 2016-03-30 Records the location of the event system of omnidirectional camera and method using the same

Publications (2)

Publication Number Publication Date
KR20170111986A KR20170111986A (en) 2017-10-12
KR101821352B1 true KR101821352B1 (en) 2018-01-25

Family

ID=60140532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160038382A KR101821352B1 (en) 2016-03-30 2016-03-30 Records the location of the event system of omnidirectional camera and method using the same

Country Status (1)

Country Link
KR (1) KR101821352B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008510357A (en) * 2004-08-13 2008-04-03 インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ Image encoding method, encoding device, image decoding method, and decoding device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008510357A (en) * 2004-08-13 2008-04-03 インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ Image encoding method, encoding device, image decoding method, and decoding device

Also Published As

Publication number Publication date
KR20170111986A (en) 2017-10-12

Similar Documents

Publication Publication Date Title
US10574889B2 (en) Information processing device, information processing method, and program
US11170580B2 (en) Information processing device, information processing method, and recording medium
US9245389B2 (en) Information processing apparatus and recording medium
US11636644B2 (en) Output of virtual content
US20190172227A1 (en) Information processing apparatus and method and program
US10924691B2 (en) Control device of movable type imaging device and control method of movable type imaging device
CN105453011A (en) Virtual object orientation and visualization
US20070188493A1 (en) Display apparatus, image processing apparatus and image processing method, imaging apparatus, and program
US20210112194A1 (en) Method and device for taking group photo
US10521013B2 (en) High-speed staggered binocular eye tracking systems
CN106357966A (en) Panoramic image photographing device and panoramic image acquiring method
Oskiper et al. Augmented reality binoculars
CN108830944B (en) Optical perspective three-dimensional near-to-eye display system and display method
EP3264228A1 (en) Mediated reality
TWI764366B (en) Interactive method and system based on optical communication device
JP6534972B2 (en) Image display apparatus, image display method and image display program
KR102200115B1 (en) System for providing multi-view 360 angle vr contents
KR102568871B1 (en) Method and device for presenting synthesized reality companion content
KR101672268B1 (en) Exhibition area control system and control method thereof
KR101821352B1 (en) Records the location of the event system of omnidirectional camera and method using the same
CN111602391A (en) Method and apparatus for customizing a synthetic reality experience according to a physical environment
CN111242107B (en) Method and electronic device for setting virtual object in space
CN107426522B (en) Video method and system based on virtual reality equipment
WO2020244576A1 (en) Method for superimposing virtual object on the basis of optical communication apparatus, and corresponding electronic device
JP2005064681A (en) Image pick-up/display device, image pick-up/display system, video image forming method, program of the method and recording medium having the program recorded thereon

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant