KR101725024B1 - 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 - Google Patents

룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 Download PDF

Info

Publication number
KR101725024B1
KR101725024B1 KR1020160153989A KR20160153989A KR101725024B1 KR 101725024 B1 KR101725024 B1 KR 101725024B1 KR 1020160153989 A KR1020160153989 A KR 1020160153989A KR 20160153989 A KR20160153989 A KR 20160153989A KR 101725024 B1 KR101725024 B1 KR 101725024B1
Authority
KR
South Korea
Prior art keywords
moving picture
picture information
degree
lookup table
video
Prior art date
Application number
KR1020160153989A
Other languages
English (en)
Inventor
최재용
Original Assignee
최재용
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최재용 filed Critical 최재용
Priority to KR1020160153989A priority Critical patent/KR101725024B1/ko
Application granted granted Critical
Publication of KR101725024B1 publication Critical patent/KR101725024B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템 및 이를 이용한 360도 VR 동영상 제작 방법이 개시된다. 본 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템은 피사체에 대한 제1 동영상 정보를 수집하는 제1 동영상 정보 수집부; 및 상기 수집된 제1 동영상 정보를 기저장된 룩업테이블을 기반으로 가공하여 제2 동영상 정보를 생성하는 제2 동영상 정보 생성부;를 포함한다. 이에 의해, 복수의 영상을 기반으로 360도 VR 동영상을 제작함에 있어, 피사체의 3차원 실세계 좌표와 화면에 의해 출력되는 피사체의 2차원 영상 좌표 사이의 편차를 보정하여 비선형 방사왜곡 및 이에 의해 발생되는 해상도 및 화질의 저화를 완화시킬 수 있다. 그리고 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 360도 VR 동영상을 제작하되, 제한된 리소스(resource) 상에서 실시간으로 영상 처리 과정을 수행할 수 있으며, 360도 VR 동영상 제작 시스템의 크기를 소형화시킬 수 있어, 동영상 촬영 수단과 동영상 처리 수단을 하나의 자립형 임베디드로 구현할 수 있다.

Description

룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템 및 이를 이용한 360도 VR 동영상 제작 방법{System for real time making of 360 degree VR video base on lookup table and Method for using the same}
본 발명은 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템 및 이를 이용한 360도 VR 동영상 제작 방법에 관한 것으로서, 더욱 상세하게는 촬영된 동영상 정보를 기저장된 룩업테이블을 기반으로 가공하여 360 VR 동영상을 제작하는 360도 VR 동영상 제작 시스템 및 이를 이용한 360도 VR 동영상 제작 방법에 관한 것이다.
전자통신 기술의 비약적인 발전과 스마트 기기의 보급으로 인해 사용자들은 댁내에서도 컴퓨터 그래픽(Computer Graphic, CG) 기술을 통하여 만들어진 실제 환경과 유사한 3차원 가상환경 내에서 인체의 모든 감각(시각, 청각, 후각, 미각, 촉각)이 상호 작용하여, 가상으로 창조한 세계에 몰입되게 함으로써 참여자에게 가상공간을 3차원적으로 재현하고 인간을 이 가상공간에 몰입시킴으로써 정보의 활용을 극대화하는 VR(Virtual Reality: 가상현실)을 체험할 수 있게 되었다.
현재의 VR 기술은 Web 3D, 시뮬레이션, 게임, 설계, 교육, 의료, 군사 등의 다양한 분야에 응용되고 있으며, 이러한 VR 기술의 제작 방법은 풍경 또는 실내를 회전하며 (360도 수평 또는 수직) 촬영된 이미지를 가공 과정을 거쳐 연결하여 붙인 뒤 구형, 또는 원통형 모양에 덮어씌우는 과정(mapping)을 거쳐, 촬영 지점(nodal point)을 중심으로 이미지를 회전(rotate), 확대/축소(zoom in/zoom out), 이동(move)하면서 볼 수 있도록 구현된다.
360도 VR 동영상은 촬영자가 선택한 시점에 고정되었던 기존의 동영상과는 달리 재생 도중에 키보드나 마우스 등을 활용해 사용자가 보고 싶은 방향이나 지점을 선택하여, 해당 지점의 가상현실(VR)의 모습이 360도 VR 전용 디스플레이 장치로 디스플레이되도록 구현된 동영상이다.
이러한 360 VR 동영상은 복수의 카메라에 의해 촬영된 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티치(stitch) 처리하는 과정이 필요하다.
예를 들어, 도 1에 도시된 바와 같이 A 카메라를 통해 a 장면을 촬영한 시점과 B 카메라를 통해 b 장면을 촬영한 시점을 일치시키는 타임 라인 동기화 작업을 수행하고, 타임 라인이 동기화된 상태에서 a 장면의 우측 에지 부분(α-1)의 피사체와 b 장면의 좌측 에지 부분(α-2)의 피사체를 결합함으로써 a 장면과 b 장면이 자연스러운 하나의 장면(α)이 되어 피사체의 온전한 부분이 디스플레이되도록 하는 과정이 필요한 것이다.
그러나 현재의 VR 대부분이 100도 이내의 카메라들을 동서남북, 위, 아래에 위치하도록 함으로써, 영상의 가공 시간에 따른 360도 VR 동영상 제작 및 디스플레이가 지연되거나, 해상도와 화질이 매우 저하되는 등의 문제점이 있었다.
한편, 일반적으로 초점 거리가 40~60mm인 렌즈를 표준렌즈라고 하며, 광각렌즈는 초점 거리 28~30mm로 60~130도 정도의 화각을 갖는다. 이보다 초점거리가 짧은 어안 렌즈는 광각렌즈의 일종으로 초광각 렌즈라고 부르기도 하며, 구면수차를 역이용하여 180도 이상의 화각을 갖도록 설계되었다.
하지만, 렌즈의 화각이 클수록 직선이 둥글게 변형되는 비선형 방사왜곡(radial distortion)이 커진다. 영상의 현실감을 저해함으로써 또 다른 문제를 초래할 수 있다.
또한, 종래의 360도 VR 동영상 제작 기술은 장치의 리소스(resource) 한계 때문에, 복수의 동영상 촬영 장치가 동영상을 촬영하여 별도로 마련된 동영상 처리 장치에 촬영된 동영상을 전달하면, 별도의 동영상 처리 장치가 수신된 동영상을 가공하여 360도 VR 동영상을 제작할 수 있어, 360도 VR 동영상의 제작이 실시간 처리되지 못한다는 문제가 발생한다.
이에, 비선형 방사왜곡에 대한 문제를 해결하기 위한 동영상 처리 과정을 거쳐 360도 VR 동영상을 제작하되, 실시간으로 동영상 처리 과정을 수행할 수 있는 연구에 대한 모색이 필요하다.
한국등록특허 제10-1648673호 : 360° VR 영상 콘텐츠제작을 위한 유손실 이미지 복원 및 컨버팅 방법
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로 본 발명의 목적은, 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 360도 VR 동영상을 제작하되, 제한된 리소스(resource) 상에서 영상 처리 과정을 수행하도록, 기저정된 촬영된 동영상 정보를 룩업테이블을 기반으로 실시간 가공하여 360 VR 동영상을 제작하는 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템 및 이를 이용한 360도 VR 동영상 제작 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템은, 피사체에 대한 제1 동영상 정보를 수집하는 제1 동영상 정보 수집부; 및 상기 수집된 제1 동영상 정보를 기저장된 룩업테이블을 기반으로 가공하여 제2 동영상 정보를 생성하는 제2 동영상 정보 생성부;를 포함한다.
여기서, 상기 제2 동영상 정보 생성부는, 상기 제1 동영상 정보 수집부를 통해 상기 제1 동영상 정보가 수집되면, 상기 수집된 제1 동영상 정보가 출력되거나, 저장되기 이전에 상기 기저장된 룩업테이블을 기반으로 가공하여 제2 동영상 정보를 생성할 수 있다.
그리고 상기 제2 동영상 정보 생성부는, 상기 수집된 제1 동영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되어 상기 제2 동영상 정보를 생성할 수 있다.
또한, 상기 제2 동영상 정보 생성부는, 상기 수집된 제1 동영상 정보가 복수인 경우, 각각의 제1 동영상 정보를 구성하는 상기 각각의 픽셀들의 상기 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 상기 제2 위치 좌표로 실시간 매핑되어 각각의 제2 동영상 정보를 생성하되, 상기 각각의 제2 동영상 정보의 좌측 및 우측의 기설정된 영역이 서로 스티치(stitch) 되도록 할 수 있다.
그리고 상기 제2 동영상 정보 생성부는, 상기 각각의 제2 동영상 정보가 스티치되면, 스티치된 상기 제2 동영상 정보를 VR영상 규격에 맞게 인코딩하여 저장하거나 출력할 수 있다.
또한, 상기 룩업테이블은 시각(angle of view)이 180도를 넘는 어안 렌즈(fish-eye lens)가 이퀄 솔리드 유형의 어안 렌즈로 구현되고, 상기 제1 동영상 정보를 구성하는 상기 각각의 픽셀들의 상기 제1 위치 좌표의 X좌표가,
Figure 112016112726897-pat00001
로 산출되고, Y좌표가
Figure 112016112726897-pat00002
로 산출되는 경우, 상기 제2 위치 좌표의 X좌표가
Figure 112016112726897-pat00003
로 산출되고, Y좌표가
Figure 112016112726897-pat00004
로 산출되어 작성될 수 있다.
그리고 상기 제1 동영상 정보 수집부는, 시각(angle of view)이 180도를 넘는 어안 렌즈(fish-eye lens)가 서로 다른 방향을 향하도록 복수로 마련되되, 각각의 렌즈의 각도(Angle)가 좌측방, 우측방, 상방 또는 하방으로 조절될 수 있다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 방법은 제1 동영상 정보 수집부를 통해 피사체를 서로 다른 시점에서 촬영하여 복수의 제1 동영상 정보를 수집하는 단계; 및 제2 동영상 정보 생성부가 기저장된 룩업테이블을 기반으로 가공하여 제2 동영상 정보를 생성하는 단계;를 포함한다.
이에 의해, 복수의 영상을 기반으로 360도 VR 동영상을 제작함에 있어, 피사체의 3차원 실세계 좌표와 화면에 의해 출력되는 피사체의 2차원 영상 좌표 사이의 편차를 보정하여 비선형 방사왜곡 및 이에 의해 발생되는 해상도 및 화질의 저화를 완화시킬 수 있다.
그리고 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 360도 VR 동영상을 제작하되, 제한된 리소스(resource) 상에서 실시간으로 영상 처리 과정을 수행할 수 있으며, 360도 VR 동영상 제작 시스템의 크기를 소형화시킬 수 있어, 동영상 촬영 수단과 동영상 처리 수단을 하나의 자립형 임베디드로 구현할 수 있다.
도 1은 종래의 360도 VR 동영상을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템의 제1 동영상 정보 수집부의 구성을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템의 제1 동영상 정보 수집부를 이용하여 피사체에 대한 제1 동영상 정보를 수집하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템의 제2 동영상 정보 생성부의 구성을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템의 제2 동영상 정보 생성부를 이용하여 수집된 제1 동영상 정보를 가공하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템의 제2 동영상 정보 생성부를 이용하여 수집된 제1 동영상 정보를 가공하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템의 제2 동영상 정보 생성부를 이용하여 수집된 제1 동영상 정보를 가공하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템을 이용하는 360도 VR 동영상 제작 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 룩업테이블을 설명하기 위해 도시된 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하기로 한다.
도 2는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템을 도시한 도면이다.
이하에서는 도 2를 참조하여 본 실시예에 따른 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템(이하, '360도 VR 동영상 제작 시스템'으로 총칭함)에 대하여 설명하기로 한다.
본 360도 VR 동영상 제작 시스템은 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 360도 VR 동영상을 제작하되, 실시간으로 영상 처리 과정을 수행하도록, 기저정된 촬영된 동영상 정보를 룩업테이블을 기반으로 가공하여 360 VR 동영상을 제작하기 위해 마련된다.
구체적으로 360도 VR 동영상 제작 시스템은 동영상에 촬영된 피사체의 3차원 실세계 좌표와 화면에 의해 출력되는 피사체의 2차원 영상 좌표 사이의 편차를 보정하고, 보정된 동영상을 룩업테이블을 기반으로 가공하여 360도 VR 동영상을 제작할 수 있으며, 이러한 과정을 실시간으로 수행할 수 있다.
이를 위해, 본 실시예에 따른 360도 VR 동영상 제작 시스템은 제1 동영상 정보 수집부(100) 및 제2 동영상 정보 생성부(200)를 포함한다.
제1 동영상 정보 수집부(100)는, 복수의 동영상을 촬영하여, 피사체에 대한 제1 동영상 정보를 수집하기 위해 마련된다.
구체적으로, 서로 다른 방향으로 마련된 카메라를 이용하여 좌측방, 우측방, 상방 또는 하방으로 카메라의 각도(Angle)를 조절하며, 서로 다른 방향에 마련된 각각의 피사체를 동시에 촬영하여, 피사체에 대한 제1 동영상 정보를 수집할 수 있다.
제2 동영상 정보 생성부(200)는, 제1 동영상 정보가 수집되면, 수집된 제1 동영상 정보를 가공하여 제2 동영상 정보를 생성하기 위해 마련된다.
구체적으로, 제2 동영상 정보 생성부(200)는, 복수의 카메라에 의해 촬영된 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티치(stitch) 처리하여 360도 VR 동영상을 제작하되, 복수의 동영상을 촬영하는 제1 동영상 정보 수집부(100)의 특성(카메라의 특성)에 따른 편차를 보정한 상태로 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티치(stitch) 처리하는 과정을 실시간으로 수행하여 제2 동영상 정보를 생성할 수 있다.
제2 동영상 정보가 생성되면, 그리고 제2 동영상 정보 생성부(200)는, 제2 동영상 정보를 VR영상 규격에 맞게 인코딩하여 360도 VR 동영상을 제작할 수 있으며, 제작된 360도 VR 동영상을 저장하거나, 유, 무선 네크워크를 통해 디스플레이 장치와 같은 외부 장치로 전달하도록 할 수 있다.
또한, 제2 동영상 정보 생성부(200)는 복수의 제1 동영상 정보들이 서로 다른 채널에서 촬영되어 수집된 이후, 룩업테이블을 기반으로 가공되어 제2 동영상 정보들이 생성되도록 할 수 있다.
한편, 본 360도 VR 동영상 제작 시스템은 전술한 제1 동영상 정보 수집부(100) 및 제2 동영상 정보 생성부(200)를 제외하고, 전술한 제1 동영상 정보 수집부(100)를 지지하기 위해 마련되는 트라이포드부(300)를 더 포함할 수 있다.
이때, 트라이포드부(300)는 카메라를 지지하는 삼각대 형태의 지지대인 트라이포드(tripod)가 구비되며, 제1 동영상 정보 수집부(100)와 제2 동영상 정보 생성부(200)가 하나의 임베디드로 구현된 경우, 제1 동영상 정보 수집부(100)뿐 아니라 제2 동영상 정보 생성부(200)까지 지지하는 형태로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 360도 VR 동영상 제작 시스템의 제1 동영상 정보 수집부의 구성을 설명하기 위해 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 360도 VR 동영상 제작 시스템의 제1 동영상 정보 수집부를 이용하여 피사체에 대한 제1 동영상 정보를 수집하는 과정을 설명하기 위한 도면이다.
이하에서는 도 3 내지 도 4를 참조하여 본 실시예에 따른 360도 VR 동영상 제작 시스템의 제1 동영상 정보 수집부에 대하여 상세히 설명하기로 한다.
본 실시예에 따른 제1 동영상 정보 수집부(100)는 서로 다른 방향으로 마련된 카메라를 이용하여 좌측방, 우측방, 상방 또는 하방으로 카메라의 각도(Angle)를 조절하며, 서로 다른 방향에 마련된 각각의 피사체를 동시에 촬영하기 위해, 어안 렌즈(110), 센서(120), 제어부(130) 및 렌즈 각도 조절 구동부(140)를 포함한다.
어안 렌즈(110)는 fish-eye lens라고도 불리며, 피사체를 촬영하기 위해 마련된다.
여기서, 어안 렌즈(110)는 시각(angle of view)이 180도를 넘어 하늘의 구름의 양의 측정과 같이 특수한 효과가 필요한 사진촬영에서 사용되는 카메라 렌즈이며, 구체적으로 어안 렌즈(110)는 서로 다른 방향을 향하도록 복수로 마련되되, 각각의 렌즈의 각도(Angle)가 좌측방, 우측방, 상방 또는 하방으로 조절되도록 마련될 수 있다.
첨언하면, 본 실시예에 따른 제1 동영상 정보 수집부(100)는 기존의 100도 이내의 시각을 갖는 일반 렌즈가 아닌 어안 렌즈(110)를 카메라 렌즈로 이용함으로써, 좌우 360도의 VR 동영상을 제작하기 위해 필요한 카메라의 수를 절감시킬 수 있다.
구체적으로 예를 들면, 100도 이내의 시각을 갖는 일반 렌즈 4개를 이용하여 동서남북을 촬영하는 기존의 방식과 다르게 180도를 넘는 시각을 갖는 어안 렌즈(110) 2개를 이용하여 동서남북을 촬영함으로써, 좌우 360도의 VR 동영상을 제작하기 위한 카메라의 수를 절감시킬 수 있다.
센서(120)는 어안 렌즈(110)를 통해 입사되는 빛을 감지하기 위해 마련된다. 구체적으로 카메라용 광학 센서로 구현될 수 있다.
또한, 각각의 어안 렌즈(110)와 각각의 센서(120)는 개별적으로 매칭되어 고유한 채널을 이루며, 각각의 채널에 따라 서로 다른 피사체를 동시에 촬영할 수 있으며, 이때, 각각의 센서(120)는 도 4의 a와 같이 매칭된 어안 렌즈(110)로부터 입사되는 빛을 감지하여, 도 4의 b와 같이 피사체를 촬영하여 제1 동영상 정보를 수집할 수 있다.
여기서, 각각의 어안 렌즈(110)는 구 형태로 형성되어 촬영된 피사체의 영상이 도 4의 b와 같이 왜곡 특성을 갖게 된다.
한편, 제어부(130)는 제1 동영상 정보 수집부(100) 전반을 제어하기 위해 마련된다. 구체적으로 제어부(130)는, 각각의 어안 렌즈(110)의 각도를 조절하거나, 센서(120)를 통해 수집된 영상정보를 기반으로 동영상이 촬영되도록 할 수 있다.
구체적으로 제어부(130)는, 각각의 어안 렌즈(110)가 피사체를 촬영하여 수집된 영상정보를 기반으로 제1 사이즈의 해상도 및 YUV 방식(Format)의 동영상이 촬영되도록 할 수 있다.
이때, 제1 사이즈의 해상도는 1920X1080 해상도 일 수 있으며, YUV 방식은 휘도 신호(Y)와 색차 신호(U,V)로 색을 표현하는 방식으로 본 실시예에 따른 제어부(130)는 YUV420P 방식의 동영상 정보를 수집할 수 있다.
렌즈 각도 조절 구동부(140)는 어안 렌즈(110)의 각도를 조절하기 위해 마련된다. 구체적으로 렌즈 각도 조절 구동부(140)는 제어부(130)로부터 어안 렌즈(110)의 각도가 조절되도록 하는 제어 신호가 전달되면, 수신된 제어 신호를 기반으로 어안 렌즈(110)의 각도가 조절되도록 구동될 수 있다.
도 5는 본 발명의 일 실시예에 따른 360도 VR 동영상 제작 시스템의 제2 동영상 정보 생성부의 구성을 설명하기 위해 도시한 도면이고, 도 6 내지 도 8은 본 발명의 일 실시예에 따른 360도 VR 동영상 제작 시스템의 제2 동영상 정보 생성부를 이용하여 수집된 제1 동영상 정보를 가공하는 과정을 설명하기 위한 도면이다.
이하에서는 도 5 내지 도 8을 참조하여 본 실시예에 따른 360도 VR 동영상 제작 시스템의 제2 동영상 정보 생성부(200)의 구성 및 이를 이용하여 360도 VR 동영상을 제작하는 과정을 설명하기로 한다.
본 실시예에 따른 제2 동영상 정보 생성부(200)는, 복수의 동영상을 촬영하는 제1 동영상 정보 수집부(100)의 특성(카메라의 특성)에 따른 편차를 보정한 상태로 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티치(stitch) 처리하여 360도 VR 동영상을 제작하되, 복수의 동영상을 촬영하는 제1 동영상 정보 수집부(100)의 특성(카메라의 특성)에 따른 편차를 보정한 상태로 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티치(stitch) 처리하는 과정을 실시간으로 수행하기 위해, 저장부(210), 실시간 매핑부(220), 스티치부(230) 및 인코딩부(240)를 포함한다.
저장부(210)는 본 360도 VR 동영상 제작 시스템을 구동하는데 필요한 정보들을 저장하기 위해 마련된다.
구체적으로 저장부(210)는 제1 동영상 정보 수집부(100)의 특성에 따라 작성된 룩업테이블 및 제2 동영상 정보를 저장할 수 있다.
여기서, 룩업테이블(lookup table)은 영상처리 기법에서 주로 사용되는 알고리즘으로서, 주어진 연산에 대해 미리 계산된 결과들의 배열을 의미한다.
일반적으로 룩업테이블에 배열된 룩업테이블 값들은 주어진 연산에 대한 결과를 계산하는 시간보다 더 빠르게 값을 취득해 갈 수 있도록 사용되는 레퍼런스로 이용되어, 주로 실시간 데이터 취득, 실시간 프로세싱 시스템(embedded system)에서 적용될 수 있지만, 시간 내 연산 결과 획득에 대한 요구사항이 매우 높기 때문에, 배열의 최초 초기화할 때에는 연산량이 매우 많다는 문제가 있어, 초기화에서 딜레이가 일어날 수 있다.
이에, 본 실시예에 따른 제2 동영상 정보 생성부(200)는, 어안 렌즈(110)의 실제 곡률 특성에 따른 보정 값이 산출되면, 산출된 보정 값에 따라 각도별 룩업테이블 값을 작성하여 저장부(210)에 저장할 수 있다.
첨언하면, 어안 렌즈(110)의 표면에서 광축(optical axis)로 투사되는 곡률이 어안 투사 유형에 따라 등거리 어안(equidistant fisheye) 유형, 입체 화법(stereographic) 유형, 정사영(orthographic) 유형 및 이퀄 솔리드(equisolid)으로 구분될 수 있으며, 각각의 어안 투사 유형에 따라 실제 곡률 특성에 따른 보정 값이 실험적 데이터 및 수학적 원리에 근거한 수식을 통해 개별적으로 산출되며, 산출된 보정 값에 따라 각도별 룩업테이블 값이 작성될 수 있다.
실시간 매핑부(220)는 어안 렌즈(110)의 실제 곡률 특성에 따라 보정 값이 산출되면, 산출된 보정 값에 따라 작성된 각도별 룩업테이블 값을 기반으로 수집된 제1 동영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되도록 하기 위해 마련된다.
구체적으로 실시간 매핑부(220)는 도 6a에 도시된 제1 동영상 정보를 구성하는 복수의 픽셀들 중 어느 하나의 픽셀의 제1 위치 좌표(X1, Y1)를 도 6b에 도시된 바와 같이 기저장된 룩업테이블에 대응되는 제2 위치 좌표(X2, Y2)로 실시간 매핑시켜, 도 6c에 도시된 제1 동영상 정보의 좌측 에지 부분(α-1)과 우측 에지 부분(α-2)에 대한 2차원 영상 좌표 사이의 편차가 보정하여 제2 동영상 정보가 생성되도록 할 수 있다.
여기서 제2 동영상 정보는, 도 6d에 도시된 바와 같이 출력되는 피사체의 2차원 영상 좌표 사이의 편차가 보정된 동영상 정보이다.
또한, 구체적으로 예를 들면, 실시간 매핑부(220)는 본 실시예에 따른 어안 렌즈(110)가 이퀄 솔리드 유형의 어안 렌즈(110)로 구현되는 경우, 실제 곡률 특성에 따른 보정 값은 아래와 같은 수식으로 산출할 수 있다.
제1 위치 좌표의 경우, 아래와 같은 수식으로 산출할 수 있다.
Figure 112016112726897-pat00005
Figure 112016112726897-pat00006
여기서, r은 원점을 기준으로 특정 위치 좌표까지의 최단거리를 나타내며, φ는 위도를 나타내고, θ는 경도를 나타내며, 삼각함수를 이용하여 φ와 θ는 아래와 같은 수식으로 산출될 수 있다.
Figure 112016112726897-pat00007
Figure 112016112726897-pat00008
또한, 이 경우, 제2 위치 좌표는 아래와 같은 수식으로 산출될 수 있다.
Figure 112016112726897-pat00009
Figure 112016112726897-pat00010
이때, 원점을 기준으로 직교의 위치 좌표까지의 최단거리를 나타내는
Figure 112016112726897-pat00011
과 원점을 기준으로 제1 위치 좌표까지의 최단거리를 나타내는
Figure 112016112726897-pat00012
은 아래와 같은 수식으로 산출될 수 있다.
Figure 112016112726897-pat00013
Figure 112016112726897-pat00014
수식을 정리하면, 제2 위치 좌표의 경우, 아래와 같은 수식으로 산출할 수 있다.
Figure 112016112726897-pat00015
Figure 112016112726897-pat00016
여기서, f는 초점거리(Focal distance)를 의미하며, 상기의 수식을 기반으로 각각의 픽셀들의 제1 위치 좌표들을 기반으로 제2 위치 좌표가 산출되고, 산출된 제2 위치 좌표들을 기반으로 룩업테이블이 작성되도록 할 수 있다.
또한, 작성된 룩업테이블을 기반으로 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 시간이 단축됨으로써, 수집된 동영상을 실시간 영상 처리하여 비선형 방사왜곡에 대한 문제가 해결된 360도 VR 동영상이 실시간으로 제작되도록 할 수 있다.
한편, 스티치부(230)는 생성된 제2 동영상 정보들을 서로 스티치 처리하여 360도 VR 동영상을 제작하기 위해 마련된다.
구체적으로 스티치부(230)는 도 7a에 도시된 바와 같이 피사체가 촬영되어 수집된 이후, 수집된 복수의 제1 동영상 정보들의 좌측 및 우측의 기설정된 영역(α-1, α-3, β-1, β-3)이 룩업테이블을 기반으로 개별적으로 가공되어 도 7b에 도시된 바와 같이 각각의 제2 동영상 정보들의 좌측 및 우측의 기설정된 영역(α-2, α-4, β-2, β-4)이 생성되면, 도 8에 도시된 바와 같이 생성된 각각의 제2 동영상 정보들의 좌측 및 우측의 기설정된 영역(α, β)이 서로 스티치(stitch) 되도록 할 수 있다.
인코딩부(240)는 제작된 360도 VR 동영상 기설정된 방식(Format)으로 인코딩하기 위해 마련된다.
구체적으로 인코딩부(240)는 H.264 코덱을 이용하여 스티치된 제2 동영상 정보를 VR영상 규격에 맞게 인코딩할 수 있으며, 예를 들면, 제1 사이즈 해상도가 1920X1080 해상도인 경우, 제2 사이즈 해상도는 1920X960 해상도로 360도 VR 동영상을 크기가 조절되어 인코딩될 수 있다.
도 9는 본 발명의 일 실시예에 따른 360도 VR 동영상 제작 시스템을 이용하는 360도 VR 동영상 제작 방법을 설명하기 위한 도면이고, 도 10은 본 발명의 일 실시예에 따른 룩업테이블을 설명하기 위해 도시된 도면이다.
이하에서는 도 9 내지 도 10을 참조하여 본 실시예에 따른 360도 VR 동영상 제작 시스템을 이용하는 360도 VR 동영상 제작 방법을 설명하기로 한다.
우선, 제1 동영상 정보 수집부(100)를 통해 복수의 동영상이 촬영되어 피사체에 대한 제1 동영상 정보가 수집될 수 있다(S910). 구체적으로 예를 들면, 각각의 어안 렌즈(110)에 의해 서로 다른 방향의 피사체가 동시에 촬영되어 피사체에 대한 제1 동영상 정보가 수집될 수 있다.
복수의 동영상이 촬영되어 제1 동영상 정보가 수집되면, 제2 동영상 정보 생성부(200)가 각각의 제1 동영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되도록 할 수 있다(S920).
여기서 룩업테이블은 도 10에 도시된 바와 같이 각각의 어안 렌즈(110)의 특성에 따라 산출된 편차의 보정 값을 기반으로 작성된다.
구체적으로 설명하면, 좌우 360도 상하 180도를 갖는 360도 VR 동영상을 제작하기 위하여, 룩업테이블은 X축은 0부터 959까지 Y축은 0부터 1919까지의 좌표가 분할되고, 분할된 좌표에 대한 연산 값들이 산출되도록 작성될 수 있다.
이때, 산출된 연산 값들은 어안 렌즈(110)의 실제 곡률 특성에 따른 실험적 데이터(α 또는 β)가 부가되어 보정될 수 있으며, 동일한 곡률 특성을 갖고 있는 위치 좌표들은 동일한 연산 식에 따라 산출된다.
제1 동영상 정보를 구성하는 각각의 픽셀들이 제2 위치 좌표로 매핑되면, 제2 동영상 생성부(200)가 매핑된 제2 위치 좌표에 각각의 픽셀들ㄹ이 배치되어 각각의 제2 동영상 정보를 생성하고(S930), 생성된 제2 동영상 정보들을 각각의 제2 동영상 정보의 좌측 및 우측의 기설정된 영역이 서로 스티치되도록 할 수 있다(S940).
각각의 제2 동영상 정보들이 서로 스티치되어 하나의 360도 VR 동영상이 생성되면, 제2 동영상 생성부(200)는 스티치된 360도 VR 동영상을 VR영상 규격에 맞게 크기를 조절하여 인코딩할 수 있다(S950).
이에 의해, 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 360도 VR 동영상을 제작하되, 실시간으로 영상 처리 과정을 수행할 수 있으며, 360도 VR 동영상 제작 시스템의 크기를 소형화시킬 수 있어, 동영상 촬영 수단과 동영상 처리 수단을 하나의 자립형 임베디드로 구현할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명의 기술적 사상을 효과적으로 설명하기 위한 특정의 실시예를 위주로 도시하고 설명한 것에 불과하다. 따라서, 본 발명은 상기한 실시예에만 한정되지는 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 청구범위에 기재된 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다. 아울러, 본 발명의 범위는 상기의 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어진다. 또한, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 제1 동영상 정보 수집부 110 : 어안 렌즈
120 : 센서 130 : 제어부
140 : 렌즈 각도 조절 구동부 200 : 제2 동영상 정보 생성부
210 : 저장부 220 : 실시간 매핑부
230 : 스티치부 240 : 인코딩부
300 : 트라이포드부

Claims (8)

  1. 피사체에 대한 제1 동영상 정보를 수집하는 제1 동영상 정보 수집부; 및
    상기 수집된 제1 동영상 정보를 기저장된 룩업테이블을 기반으로 가공하여 제2 동영상 정보를 생성하는 제2 동영상 정보 생성부;를 포함하고,
    상기 제2 동영상 정보 생성부는,
    상기 제1 동영상 정보 수집부를 통해 상기 제1 동영상 정보가 수집되면, 상기 수집된 제1 동영상 정보가 출력되거나, 저장되기 이전에 상기 기저장된 룩업테이블을 기반으로 가공하여 상기 제2 동영상 정보를 생성하며,
    상기 제2 동영상 정보 생성부는,
    상기 수집된 제1 동영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되어 상기 제2 동영상 정보를 생성하고,
    상기 룩업테이블은,
    시각(angle of view)이 180도를 넘는 어안 렌즈(fish-eye lens)가 이퀄 솔리드 유형의 어안 렌즈로 구현되고, 상기 제1 동영상 정보를 구성하는 상기 각각의 픽셀들의 상기 제1 위치 좌표의 X좌표가,
    Figure 112017029811115-pat00031
    로 산출되고,
    Y좌표가,
    Figure 112017029811115-pat00032
    로 산출되는 경우,
    상기 제2 위치 좌표의 X좌표가,
    Figure 112017029811115-pat00033
    로 산출되고,
    Y좌표가,
    Figure 112017029811115-pat00034
    로 산출되어 작성되는 것을 특징으로 하는 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제2 동영상 정보 생성부는,
    상기 수집된 제1 동영상 정보가 복수인 경우, 각각의 제1 동영상 정보를 구성하는 상기 각각의 픽셀들의 상기 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 상기 제2 위치 좌표로 실시간 매핑되어 각각의 제2 동영상 정보를 생성하되, 상기 각각의 제2 동영상 정보의 좌측 및 우측의 기설정된 영역이 서로 스티치(stitch) 되도록 하는 것을 특징으로 하는 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템.
  5. 제4항에 있어서,
    상기 제2 동영상 정보 생성부는,
    상기 각각의 제2 동영상 정보가 스티치되면, 스티치된 상기 제2 동영상 정보를 VR영상 규격에 맞게 인코딩하여 저장하거나 출력하는 것을 특징으로 하는 룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템.
  6. 삭제
  7. 삭제
  8. 제1 동영상 정보 수집부를 통해 피사체를 서로 다른 시점에서 촬영하여 복수의 제1 동영상 정보를 수집하는 단계; 및
    제2 동영상 정보 생성부가 기저장된 룩업테이블을 기반으로 가공하여 제2 동영상 정보를 생성하는 단계;를 포함하며,
    상기 제2 동영상 정보 생성부는,
    상기 제1 동영상 정보 수집부를 통해 상기 제1 동영상 정보가 수집되면, 상기 수집된 제1 동영상 정보가 출력되거나, 저장되기 이전에 상기 기저장된 룩업테이블을 기반으로 가공하여 상기 제2 동영상 정보를 생성하며,
    상기 제2 동영상 정보 생성부는,
    상기 수집된 제1 동영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되어 상기 제2 동영상 정보를 생성하고,
    상기 룩업테이블은,
    시각(angle of view)이 180도를 넘는 어안 렌즈(fish-eye lens)가 이퀄 솔리드 유형의 어안 렌즈로 구현되고, 상기 제1 동영상 정보를 구성하는 상기 각각의 픽셀들의 상기 제1 위치 좌표의 X좌표가,
    Figure 112017029811115-pat00035
    로 산출되고,
    Y좌표가,
    Figure 112017029811115-pat00036
    로 산출되는 경우,
    상기 제2 위치 좌표의 X좌표가,
    Figure 112017029811115-pat00037
    로 산출되고,
    Y좌표가,
    Figure 112017029811115-pat00038
    로 산출되어 작성되는 것을 특징으로 하는 룩업테이블 기반의 실시간 360도 VR 동영상 제작 방법.
KR1020160153989A 2016-11-18 2016-11-18 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 KR101725024B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160153989A KR101725024B1 (ko) 2016-11-18 2016-11-18 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160153989A KR101725024B1 (ko) 2016-11-18 2016-11-18 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법

Publications (1)

Publication Number Publication Date
KR101725024B1 true KR101725024B1 (ko) 2017-04-07

Family

ID=58583596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160153989A KR101725024B1 (ko) 2016-11-18 2016-11-18 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법

Country Status (1)

Country Link
KR (1) KR101725024B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190032787A (ko) 2017-09-20 2019-03-28 주식회사 쓰리아이 360°비디오 생성 시스템 및 방법
WO2019083266A1 (ko) * 2017-10-24 2019-05-02 엘지전자 주식회사 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
KR20190061165A (ko) 2017-11-27 2019-06-05 주식회사 유브이알 광고를 포함하는 360°비디오 생성 시스템 및 방법
US10602062B1 (en) 2018-12-20 2020-03-24 3I Corporation System and method for generating 360° video including advertisement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993471A (ja) * 1995-09-25 1997-04-04 N H K Itec:Kk パノラマ式テレビカメラ装置および映像モニタ装置
KR101502448B1 (ko) * 2014-09-25 2015-03-13 주식회사 영국전자 좌우 360도 상하 360도의 화각을 가지는 영상감시 시스템 및 감시방법
KR101648673B1 (ko) 2015-06-26 2016-08-17 동서대학교산학협력단 360° vr 영상 콘텐츠제작을 위한 유손실 이미지 복원 및 컨버팅 방법
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993471A (ja) * 1995-09-25 1997-04-04 N H K Itec:Kk パノラマ式テレビカメラ装置および映像モニタ装置
KR101502448B1 (ko) * 2014-09-25 2015-03-13 주식회사 영국전자 좌우 360도 상하 360도의 화각을 가지는 영상감시 시스템 및 감시방법
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR101648673B1 (ko) 2015-06-26 2016-08-17 동서대학교산학협력단 360° vr 영상 콘텐츠제작을 위한 유손실 이미지 복원 및 컨버팅 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190032787A (ko) 2017-09-20 2019-03-28 주식회사 쓰리아이 360°비디오 생성 시스템 및 방법
WO2019083266A1 (ko) * 2017-10-24 2019-05-02 엘지전자 주식회사 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
CN110612723A (zh) * 2017-10-24 2019-12-24 Lg电子株式会社 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
JP2020521348A (ja) * 2017-10-24 2020-07-16 エルジー エレクトロニクス インコーポレイティド 魚眼ビデオ情報を含む３６０度ビデオを送受信する方法及びその装置
CN110612723B (zh) * 2017-10-24 2022-04-29 Lg电子株式会社 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
KR20190061165A (ko) 2017-11-27 2019-06-05 주식회사 유브이알 광고를 포함하는 360°비디오 생성 시스템 및 방법
US10602062B1 (en) 2018-12-20 2020-03-24 3I Corporation System and method for generating 360° video including advertisement

Similar Documents

Publication Publication Date Title
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
CN109479114B (zh) 用于图像捕获和处理的方法、系统和介质
KR101944050B1 (ko) 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링
CN107637060B (zh) 相机装备和立体图像捕获
US8208048B2 (en) Method for high dynamic range imaging
US20180309982A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
JP2019511016A (ja) フレームのパノラマフレームへのステッチング
JP3992045B2 (ja) 映像信号処理装置及び該方法並びに仮想現実感生成装置
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
KR101915729B1 (ko) 360도 전방향 뷰 영상 생성 장치 및 방법
KR20130112574A (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
KR101704362B1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
KR20150084807A (ko) 파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치
JP2006515128A (ja) 立体パノラマ画像取り込み装置
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN113454685A (zh) 基于云的相机标定
JP2019164782A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
WO2018121401A1 (zh) 一种全景视频图像的拼接方法及全景相机
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
JP2018033107A (ja) 動画の配信装置及び配信方法
JP2017199958A (ja) 撮像装置、その制御方法、および制御プログラム
JP2018109946A (ja) 表示装置、プログラム、表示方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant