KR102354132B1 - 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법 - Google Patents

분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102354132B1
KR102354132B1 KR1020200132648A KR20200132648A KR102354132B1 KR 102354132 B1 KR102354132 B1 KR 102354132B1 KR 1020200132648 A KR1020200132648 A KR 1020200132648A KR 20200132648 A KR20200132648 A KR 20200132648A KR 102354132 B1 KR102354132 B1 KR 102354132B1
Authority
KR
South Korea
Prior art keywords
virtual reality
area
margin
divided
image
Prior art date
Application number
KR1020200132648A
Other languages
English (en)
Inventor
장준환
박우출
양진욱
윤상필
최민수
이준석
송수호
구본재
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200132648A priority Critical patent/KR102354132B1/ko
Priority to PCT/KR2020/015702 priority patent/WO2022080560A1/ko
Application granted granted Critical
Publication of KR102354132B1 publication Critical patent/KR102354132B1/ko
Priority to US18/056,144 priority patent/US20230084960A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

본 발명의 가상현실(VR: Virtual Reality) 영상을 제공하기 위한 에지서버는 가상현실장치와 시야 범위 및 마진을 동기화하는 렌더링동기부와, 전체 가상현실 영상에서 회전 중심을 기준으로 상기 시야 범위에 해당하는 시야 영역 및 상기 마진에 해당하는 마진 영역을 렌더링하여 렌더링 영상을 생성하는 렌더링부와, 상기 마진 영역의 해상도를 스케일링 팩터로 나누어 축소하여 축소 마진 영역을 생성한 후, 상기 시야 영역 및 상기 축소 마진 영역 및 인코딩하여 인코딩된 시야 영역 및 축소 마진 영역을 포함하는 분할 가상현실 영상을 생성하는 인코딩부와, 상기 분할 가상현실 영상을 상기 가상현실장치로 전송하는 스트리밍전송부를 포함한다.

Description

분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법{Apparatus for providing divided-rendered virtual reality images and method therefor}
본 발명은 가상현실 영상을 제공하기 위한 기술에 관한 것으로, 보다 상세하게는, 전체 가상현실 영상, 즉, 360도 등장방형(equirectangular) 영상을 분할 렌더링하여 제공하기 위한 장치 및 이를 위한 방법에 관한 것이다.
가상현실(virtual reality, VR)은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. 이때, 만들어진 가상의 환경이나 상황 등은 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 상상의 경계를 자유롭게 드나들게 한다.
한국공개특허 제2016-0125708호 2016년 11월 01일 공개 (명칭: 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치)
본 발명의 목적은 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상현실(VR: Virtual Reality) 영상을 제공하기 위한 에지서버는 가상현실장치와 시야 범위 및 마진을 동기화하는 렌더링동기부와, 전체 가상현실 영상에서 회전 중심을 기준으로 상기 시야 범위에 해당하는 시야 영역 및 상기 마진에 해당하는 마진 영역을 렌더링하여 렌더링 영상을 생성하는 렌더링부와, 상기 마진 영역의 해상도를 스케일링 팩터로 나누어 축소하여 축소 마진 영역을 생성한 후, 상기 시야 영역 및 상기 축소 마진 영역 및 인코딩하여 인코딩된 시야 영역 및 축소 마진 영역을 포함하는 분할 가상현실 영상을 생성하는 인코딩부와, 상기 분할 가상현실 영상을 상기 가상현실장치로 전송하는 스트리밍전송부를 포함한다.
상기 마진 영역은 복수의 구간으로 구분되며, 상기 복수의 구간 각각의 스케일링 팩터는 상기 시야 영역으로부터 멀어질수록 상대적으로 큰 값을 가지는 것을 특징으로 한다.
상기 스트리밍전송부는 상기 분할 가상현실 영상에 CMAF(Common Media Aplication Format) 라이브 프로파일을 먹싱하고, 상기 CMAF에 따라 청크 단위로 분할 인코딩하여 상기 분할 가상현실 영상을 전송하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상현실 영상을 제공하기 위한 가상현실장치는 에지서버와 시야 범위 및 마진을 동기화하는 재생동기부와, 상기 에지서버로부터 분할 가상현실 영상을 수신하면, 상기 시야 범위 및 상기 마진에 따라 시야 영역 및 축소 마진 영역을 디코딩하고, 스케일링 팩터에 따라 축소 마진 영역을 확대하여 상기 시야 영역 및 상기 마진 영역을 포함하는 분할 가상현실 영상을 도출하는 디코딩부와, 상기 도출된 분할 가상현실 영상을 재생하는 재생부를 포함한다.
상기 디코딩부는 상기 시야 영역 및 상기 마진 영역을 포함하는 분할 가상현실 영상을 디코딩 버퍼에 저장하고, 상기 재생부는 상기 버퍼에 저장된 분할 가상현실 영상으로부터 시야 윈도우를 통해 재생 영역을 도출하고, 도출된 재생 영역을 재생하는 것을 특징으로 한다.
상기 마진 영역은 복수의 구간으로 구분되며, 상기 복수의 구간 각각의 스케일링 팩터는 상기 시야 영역으로부터 멀어질수록 상대적으로 큰 값을 가지는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 에지서버의 가상현실 영상을 제공하기 위한 방법은 렌더링동기부가 가상현실장치와 시야 범위 및 마진을 동기화하는 단계와, 렌더링부가 전체 가상현실 영상에서 회전 중심을 기준으로 상기 시야 범위에 해당하는 시야 영역 및 상기 마진에 해당하는 마진 영역을 렌더링하여 렌더링 영상을 생성하는 단계와, 인코딩부가 상기 마진 영역의 해상도를 스케일링 팩터로 나누어 축소하여 축소 마진 영역을 생성한 후, 상기 시야 영역 및 상기 축소 마진 영역 및 인코딩하여 인코딩된 시야 영역 및 축소 마진 영역을 포함하는 분할 가상현실 영상을 생성하는 단계와, 스트리밍전송부가 상기 분할 가상현실 영상을 상기 가상현실장치로 전송하는 단계를 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상현실장치의 가상현실 영상을 제공하기 위한 방법은 재생동기부가 에지서버와 시야 범위 및 마진을 동기화하는 단계와, 디코딩부가 상기 에지서버로부터 분할 가상현실 영상을 수신하면, 상기 시야 범위 및 상기 마진에 따라 시야 영역 및 축소 마진 영역을 디코딩하고, 스케일링 팩터에 따라 축소 마진 영역을 확대하여 상기 시야 영역 및 상기 마진 영역을 포함하는 분할 가상현실 영상을 도출하는 단계와, 재생부가 상기 도출된 분할 가상현실 영상을 재생하는 단계를 포함한다.
본 발명에 따르면, 사용자의 시야 범위 내에 있는 가상현실 영상을 스트리밍으로 제공할 수 있어, 사용자의 가상현실장치의 성능과 관계없이 고품질 가상현실 영상을 스트리밍할 수 있다.
도 1은 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 에지서버의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 가상현실장치의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 분할 렌더링된 가상현실 영상을 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 12는 본 발명의 실시예에 따른 분할 렌더링된 가상현실 영상을 제공하기 위한 방법을 설명하기 위한 화면 예이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 가상현실(VR: Virtual Reality) 영상을 제공하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 시스템은 에지서버(10) 및 가상현실장치(20)를 포함한다. 에지서버(10) 및 가상현실장치(20)는 무선 통신을 통해 연결된다.
에지서버(10)는 가상현실장치(20)와 가장 가까운 위치에 있는 에지 클라우드 서버(Edge Cloud Server)이거나, 가상현실장치(20)와 Wi-Fi 등으로 연결된 고성능의 PC 등이 될 수 있다.
가상현실장치(20)는 가상현실을 재생할 수 있는 모든 장치가 될 수 있다. 대표적으로, 가상현실장치(20)는 헤드마운티드디스플레이(Head Mounted Display: HMD)를 예시할 수 있다.
본 발명에 따르면, 에지서버(10)는 가상현실 영상을 렌더링하여 실시간 스트리밍으로 가상현실장치(20)에 제공하며, 가상현실장치(20)는 스트리밍으로 수신되는 가상현실 영상을 실시간으로 재생할 수 있다. 이에 따라, 가상현실장치(20)의 성능과 무관하게 고품질의 가상현실 영상을 제공할 수 있다.
다음으로, 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 에지서버(10)에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 에지서버의 구성을 설명하기 위한 도면이다. 도 2를 참조하면, 본 발명의 실시예에 따른 에지서버(10)는 통신모듈(11), 저장모듈(12) 및 제어모듈(13)을 포함한다.
통신모듈(11)은 네트워크를 통해 가상현실장치(20)와 통신하기 위한 것이다. 통신모듈(11)은 가상현실장치(20)와 데이터를 송수신 할 수 있다. 통신모듈(11)은 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 또한, 통신모듈(11)은 데이터를 송수신하기 위해 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(modem)을 포함할 수 있다. 이러한 통신모듈(11)은 제어모듈(13)로부터 전달 받은 데이터를 가상현실장치(20)로 전송할 수 있다. 또한, 통신모듈(11)은 가상현실장치(20)로부터 수신되는 데이터를 제어모듈(13)로 전달할 수 있다.
저장모듈(12)은 에지서버(10)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 예컨대, 저장모듈(12)은 가상현실 영상 컨텐츠를 저장할 수 있다. 또한, 저장모듈(12)은 가상현실장치(20)의 시야 범위 및 마진 등을 저장할 수 있다. 마진 및 마진의 복수의 계층 각각의 스케일링 팩터 등을 저장할 수 있다. 저장모듈(121)에 저장되는 각 종 데이터는 에지서버(10) 관리자의 조작에 따라 등록, 삭제, 변경, 추가될 수 있다.
제어모듈(13)은 에지서버(10)의 전반적인 동작 및 에지서버(10)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어모듈(130)은 중앙처리장치(central processing unit), 디지털신호처리기(digital signal processor) 등이 될 수 있다. 또한, 제어모듈(13)은 추가로 이미지 프로세서(Image processor) 혹은 GPU(Graphic Processing Unit)를 더 구비할 수 있다. 이러한 제어모듈(13)은 랜더링동기부(110), 랜더링부(120), 인코딩부(130) 및 스트리밍처리부(140)를 포함한다. 이러한 제어모듈(13)의 동작에 대해서는 아래에서 더 상세하게 설명하기로 한다.
다음으로, 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 가상현실장치(20)에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 가상현실 영상을 제공하기 위한 가상현실장치의 구성을 설명하기 위한 도면이다. 도 3을 참조하면, 본 발명의 실시예에 따른 가상현실장치(20)는 통신부(21), 센서부(22), 오디오부(23), 입력부(24), 표시부(25), 저장부(26) 및 제어부(27)를 포함한다.
통신부(21)는 에지서버(10)와 통신을 위한 것이다. 통신부(21)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신부(21)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다.
센서부(22)는 관성을 측정하기 위한 것이다. 이러한 센서부(12)는 관성센서(Inertial Measurement Unit: IMU), 도플러속도센서(Doppler Velocity Log: DVL) 및 자세방위각센서(Attitude and Heading Reference. System: AHRS) 등을 포함한다. 센서부(22)는 가상현실장치(20)의 회전 및 이동의 위치 및 속도를 포함하는 관성 정보를 측정하여 측정된 가상현실장치(20)의 관성 정보를 제어부(27)로 제공한다.
오디오부(23)는 오디오 신호를 출력하기 위한 스피커(SPK)와, 오디오 신호를 입력받기 위한 마이크(MIKE)를 포함한다. 오디오부(23)는 제어부(27)의 제어에 따라 오디오 신호를 스피커(SPK)를 통해 출력하거나, 마이크(MIKE)를 통해 입력되는 오디오 신호를 제어부(27)로 전달할 수 있다. 특히, 오디오부(23)는 가상현실 영상의 오디오 신호를 출력하는 역할을 수행한다.
입력부(24)는 가상현실장치(20)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(27)에 전달한다. 입력부(24)는 가상현실장치(20)를 제어하기 위한 각 종 키들을 포함할 수 있다. 이러한 입력부(24)의 기능의 일부는 터치스크린으로 형성될 수도 있다.
표시부(25)는 가상현실장치(20)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(25)는 가상현실장치(20)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 특히, 표시부(25)는 본 발명의 실시예에 따른 가상현실 영상을 화면으로 출력하는 기능을 수행한다. 이러한 표시부(25)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다.
저장부(26)는 가상현실장치(20)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장부(26)는 가상현실 영상, 분할 가상현실 영상 등을 일시로 저장하기 위한 디코딩버퍼(DB) 및 재생 영역을 일시로 저장하기 위한 렌더링버퍼(RB)를 포함한다. 또한, 저장부(26)는 시야 범위, 마진, 마진 영역의 스케일링 팩터 등의 각 종 파라미터를 저장할 수 있다. 저장부(26)에 저장되는 각 종 데이터는 가상현실장치(20) 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어부(27)는 가상현실장치(20)의 전반적인 동작 및 가상현실장치(20)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 또한, 제어부(27)는 기본적으로, 가상현실장치(20)의 각 종 기능을 제어하는 역할을 수행한다. 제어부(27)는 CPU(Central Processing Unit), BP(baseband processor), AP(application processor), GPU(Graphic Processing Unit), DSP(Digital Signal Processor) 등을 예시할 수 있다. 이러한 제어모듈(13)의 동작에 대해서는 아래에서 더 상세하게 설명하기로 한다.
다음으로, 본 발명의 실시예에 따른 분할 렌더링된 가상현실 영상을 제공하기 위한 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 분할 렌더링된 가상현실 영상을 제공하기 위한 방법을 설명하기 위한 흐름도이다. 도 5 내지 도 12는 본 발명의 실시예에 따른 분할 렌더링된 가상현실 영상을 제공하기 위한 방법을 설명하기 위한 화면 예이다.
도 4를 참조하면, 가상현실장치(20)의 재생동기부(210)는 S110 단계에서 센서부(22)를 통해 가상현실장치(20)의 움직임과 관련된 정보, 대표적으로, 가상현실장치(20)의 회전 중심(RC)과 회전 중심(RC)이 이동하는 위치 및 속도를 포함하는 관성 정보를 도출하고, 도출된 관성 정보를 통신부(21)를 통해 에지서버(10)로 전송한다. 이러한 S110 단계의 관성 정보의 제공은 지속적으로 이루어진다. 이에 따라, 에지서버(10)와 가상현실장치(20)는 S120 단계에서 시야 범위(VF: visual field) 및 마진(M: Margin)을 동기화할 수 있다. 이를 위하여, 에지서버(10)의 렌더링동기부(110)는 관성 정보를 기초로 가상현실장치(20)의 시야 범위(VF) 및 마진(M)을 도출한다. 여기서, 가상현실장치(20) 혹은 사용자의 시야 범위(VF)는 관성 정보로부터 도출된다. 마진(M)은 사용자의 시야 범위(VF) 및 관성 정보로부터 도출되는 사용자의 시점 이동 속도를 고려하여 도출된다. 한편, 이러한 마진(M)은 지속적으로 수신되는 관성 정보로부터 도출되는 사용자의 행동 패턴 혹은 네트워크 환경에 따라 변경될 수도 있다. 이어서, 렌더링동기부(110)는 도출된 시야 범위(VF) 및 마진(M)을 통신모듈(11)을 통해 가상현실장치(20)로 전송한다. 그러면, 가상현실장치(20)의 재생동기부(210)는 통신부(21)를 통해 시야 범위(VF) 및 마진(M)을 수신하고, 수신된 시야 범위(VF) 및 마진(M)을 저장부(26)에 저장함으로써, 에지서버(10)와 가상현실장치(20)는 시야 범위(VF) 및 마진(M)을 동기화할 수 있다.
이어서, 에지서버(10)의 렌더링부(120)는 S130 단계에서 도 5에 도시된 바와 같이, 전체 가상현실 영상(EQ), 즉, 360도 등장방형(equirectangular) 영상에서 회전 중심(RC)을 기준으로 시야 범위(VF)에 해당하는 시야 영역(VA) 및 마진(M)에 해당하는 마진 영역(MA)을 렌더링하여 렌더링 영상을 생성한다. 도 6에 도시된 바와 같이, 렌더링 영상은 입체 영상(Stereo-Scopic Image)을 제공하기 위해 좌측 영상(LI) 및 우측 영상(RI)을 포함하며, 각각 시야 영역(VA) 및 마진 영역(MA)을 포함한다.
또한, 도 7에 보인 바와 같이, 전체 가상현실 영상(EQ)에서 시야 범위(VF)로부터 도출된 시야 영역(VA)은 Vx × Vy의 크기를 가지며, 시야 영역(VA)의 테두리로부터 마진(M) Tx, Ty 만큼 외부(상하좌우)로 확장된 영역이 마진 영역(MA)이다.
다음으로, 인코딩부(130)는 S140 단계에서 마진 영역(MA)의 해상도를 스케일링 팩터(scaling factor)로 나누어 축소하여 축소 마진 영역(RMA)을 생성한 후, 시야 영역(VA) 및 축소 마진 영역(RMA)을 인코딩하여 인코딩된 시야 영역(VA) 및 축소 마진 영역(RMA)을 포함하는 분할 가상현실 영상을 생성한다. 예컨대, 도 8에 도시된 바와 같이, 마진 영역(MA)의 해상도를 스케일링 팩터 n으로 나누어 축소함으로써, 축소 마진 영역(RMA)을 생성할 수 있다(Tx/n, Ty/n). 이에 따라, 화질이 감소되어 분할 가상현실 영상의 크기를 줄일 수 있다.
다른 실시예에 따르면, 인코딩부(130)는 렌더링 영상을 인코딩할 때 마진 영역에 대해 단계적 차이(Gradation)를 적용할 수 있다. 이에 대해 자사하게 설명하면 다음과 같다. 전술한 바와 같이, 일 실시예에 따르면, 마진 영역(MA)은 시야 영역(VA)의 테두리로부터 외부로 확장된 영역이다. 다른 실시예에 따르면, 이러한 마진 영역(MA)은 복수의 구간으로 구분할 수 있다. 복수의 구간 각각의 스케일링 팩터는 시야 영역(VA)으로부터 멀어질수록 상대적으로 큰 값을 가진다. 따라서 마진 영역(MA) 내의 복수의 구간 각각을 단계적 차이(Gradation)를 가지는 스케일링 팩터를 이용하여 축소하여 축소 마진 영역(RMA)을 생성할 수 있다. 예컨대, 도 9에 도시된 바와 같이, 마진 영역(MA)을 제1 구간(ma1), 제2 구간(ma2) 및 제3 구간(ma3)으로 구분할 수 있다. 그리고 제1 구간(ma1), 제2 구간(ma2) 및 제3 구간(ma3) 각각에 대응하는 스케일링 팩터 n1, n2 및 n3를 시야 영역(VA)으로부터 멀어질수록 상대적으로 큰 값을 가지도록 설정할 수 있다(n1 < n2 < n3). 이에 따라, 축소마진영역(RMA)는 “(Tx1/n1, Ty1/n1), (Tx2/n2, Ty2/n2), (Tx3/n3, Ty3/n3)”와 같이 생성할 수 있다. 이를 통해 동일한 자원으로 상대적으로 더 넓은 영역의 가상현실 영상을 생성할 수 있다. 또한, 필요한 경우, 상대적으로 더 작은 크기로 가상현실 영상을 생성할 수 있다. 특히, 이러한 도 9를 참조로 하는 실시예는 가상현실장치(20)의 사용자가 움직임이 상대적으로 작은 경우, 화질 저하가 크지 않은 영상을 제공할 수 있다.
다음으로, 스트리밍전송부(140)는 S150 단계에서 앞서 인코딩된 분할 가상현실 영상에 CMAF(Common Media Aplication Format) 라이브 프로파일을 먹싱하고(muxing), CMAF 라이브 프로파일이 포함된 분할 가상현실 영상을 가상현실장치(20)로 전송한다. 이때, 스트리밍전송부(140)는 CMAF에 따라 분할 가상현실 영상을 청크 단위로 분할 인코딩한 후, 분할 가상현실 영상을 청크 단위로 전송할 수 있다.
CMAF 라이브 프로파일이 포함된 상기 분할 가상현실 영상을 수신하면, 가상현실장치(20)의 스트리밍수신부(220)는 분할 가상현실 영상으로부터 CMAF 라이브 프로파일을 디먹싱하여(demuxing) 분할 가상현실 영상을 도출한다.
그런 다음, 디코딩부(230)는 S180 단계에서 회전 중심(RC)을 기준으로 시야 범위(VF)에 해당하는 시야 영역(VA) 및 스케일링 팩터에 따라 축소 마진 영역(RMA)을 디코딩하고, 축소 마진 영역(RMA)을 역으로 확대하여 시야 영역(VA) 및 마진 영역(MA)을 포함하는 분할 가상현실 영상을 도출한다. 그런 다음, 도출된 시야 영역(VA) 및 마진 영역(MA)을 포함하는 분할 가상현실 영상을 저장부(26)의 디코딩버퍼(DB)에 저장한다.
예컨대, 도 10에 도시된 바와 같이, 시야 영역(VA)의 폭과 높이가 Vx, Vy이고, 마진 영역(MA)의 폭과 높이가 2Tx, 2Ty일 때, 그러면, 디코딩부(230)는 시야 범위(VF)에 해당하는 시야 영역(VA) 및 “Tx/n, Ty/n”와 같이, 스케일링 팩터 n에 따라 축소된 축소 마진 영역(RMA)을 디코딩하고, 축소 마진 영역(RMA)을 디코딩하고, 스케일링 팩터에 따라 축소된 축소 마진 영역(RMA)을 역으로 확대하여 시야 영역(VA) 및 마진 영역(MA)을 포함하는 분할 가상현실 영상을 도출한다. 그러면, 시야 영역(VA) 및 마진 영역(MA)을 모두 고려하여 디코딩버퍼(DB)는 (Vx+2Tx)×(Vy+2Ty)의 크기로 설정하며, 분할 가상현실 영상을 디코딩버퍼(DB)에 저장한다.
마찬가지로, 본 발명의 다른 실시예에 따라 마진 영역(MA) 내의 복수의 구간 각각을 단계적 차이(Gradation)를 가지는 스케일링 팩터를 이용하여 복수의 구간 각각을 축소하여 축소 마진 영역(RMA)을 생성한 경우에도, 스케일링 팩터에 따라 역으로 확장함으로써 분할 가상현실 영상을 도출할 수 있다.
다음으로, 재생부(240)는 S190 단계에서 분할 가상현실 영상을 재생한다. 이때, 도 11을 참조하면, 재생부(240)는 센서부(22)를 통해 재생 시점의 사용자의 회전 중심(RC)을 도출한다. 그리고 재생부(240)는 예컨대, 도 11의 (가)와 같이, 디코딩버퍼(DB)에 저장된 분할 가상현실 영상으로부터 예컨대, 도 11의 (나)와 같이, 재생 시점의 사용자의 회전 중심(RC)을 기준으로 시야 범위(VF)에 해당하는 시야 윈도우(VW: View Window)를 통해 재생 영역을 도출한다. 이러한 재생 영역은 렌더링버퍼(RF)에 저장될 수 있다. 이어서, 재생부(240)는 도 11의 (다)에 도시된 바와 같이, 재생부(240)는 도출된 재생 영역을 렌더링하여 재생한다.
이와 같이, 분할 가상현실 영상의 다음 프레임이 수신되기 전에 사용자의 시야가 움직이는 경우, 시야 윈도우(VW)를 이동시켜 해당 영역을 렌더링한다. 만약, 도 12의 (a)에 도시된 바와 같이, 사용자의 움직임에 따라 시야 윈도우(VW)가 시야 영역(VM)을 벗어나는 경우, 도 12의 (b)에 도시된 바와 같이, 재생 영역의 일부는 마진 영역(MA)이기 때문에 해상도가 상대적으로 낮을 수 있다. 이에 따라, 도 12의 (c)와 같이 재생 시, 다음 프레임의 분할 가상현실 영상이 수신되어 디코딩 되기 전까지 사용자는 해상도가 낮은 영역을 포함하여 감상하게 된다.
한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
감정 기복이 심한 정신질환자들이나 독거노인의 상시 케어를 위해 가족 및 보호자들은 어려움을 호소한다. 하지만, 본 발명은 홈 환경에서도 지속적인 관찰과 모니터링이 필요한 공황장애, 우울증, 조현명 등의 정신질환자들과의 공감하는 대화를 통해 지속적인 케어를 지원할 수 있다. 더욱이, 본 발명은 원거리에서도 보호자가 환자의 응급 상황을 알림 받을 수 있고, 의료진들에게 병원 밖에서의 환자 상태를 24시간 모니터링하여 전달할 수 있어서 정확한 환자 상태 파악이 가능하다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 에지서버 11: 통신모듈
12: 저장모듈 13: 제어모듈
20: 가상현실장치 21: 통신부
22: 센서부 23: 오디오부
24: 입력부 25: 표시부
26: 저장부 27: 제어부
110: 렌더링동기부 120: 렌더링부
130: 인코딩부 140: 스트리밍전송부
210: 재생동기부 220: 스트리밍전송부
230: 디코딩부 240: 재생부

Claims (8)

  1. 가상현실(VR: Virtual Reality) 영상을 제공하기 위한 에지서버에 있어서,
    가상현실장치와 시야 범위 및 마진을 동기화하는 렌더링동기부;
    전체 가상현실 영상에서 회전 중심을 기준으로 상기 시야 범위에 해당하는 시야 영역 및 상기 마진에 해당하는 마진 영역을 렌더링하여 렌더링 영상을 생성하는 렌더링부;
    상기 마진 영역의 해상도를 스케일링 팩터로 나누어 축소하여 축소 마진 영역을 생성한 후, 상기 시야 영역 및 상기 축소 마진 영역을 인코딩하여 인코딩된 시야 영역 및 축소 마진 영역을 포함하는 분할 가상현실 영상을 생성하는 인코딩부; 및
    상기 분할 가상현실 영상을 상기 가상현실장치로 전송하는 스트리밍전송부; 를 포함하되,
    상기 인코딩부는
    상기 마진 영역을 복수의 구간으로 구분하고, 상기 복수의 구간 각각을 상기 시야 영역으로부터 멀어질수록 큰 값을 가지는 스케일링 팩터를 이용하여 상기 축소 마진 영역을 생성하는 것을 특징으로 하는
    가상현실 영상을 제공하기 위한 에지서버.
  2. 삭제
  3. 제1항에 있어서,
    상기 스트리밍전송부는
    상기 분할 가상현실 영상에 CMAF(Common Media Aplication Format) 라이브 프로파일을 먹싱하고, 상기 CMAF에 따라 청크 단위로 분할 인코딩하여 상기 분할 가상현실 영상을 전송하는 것을 특징으로 하는
    가상현실 영상을 제공하기 위한 에지서버.
  4. 가상현실(VR: Virtual Reality) 영상을 제공하기 위한 가상현실장치에 있어서,
    에지서버와 시야 범위 및 마진을 동기화하는 재생동기부;
    상기 에지서버로부터 분할 가상현실 영상을 수신하면, 상기 시야 범위 및 상기 마진에 따라 시야 영역 및 축소 마진 영역을 디코딩하고, 스케일링 팩터에 따라 축소 마진 영역을 확대하여 상기 시야 영역 및 마진 영역을 포함하는 분할 가상현실 영상을 도출하는 디코딩부; 및
    상기 도출된 분할 가상현실 영상을 재생하는 재생부;를 포함하되,
    상기 축소 마진 영역은
    상기 마진 영역이 복수의 구간으로 구분되고, 상기 복수의 구간 각각이 상기 시야 영역으로부터 멀어질수록 큰 값을 가지는 스케일링 팩터를 통해 축소되어 생성되는 것을 특징으로 하는
    가상현실 영상을 제공하기 위한 가상현실장치.
  5. 제4항에 있어서,
    상기 디코딩부는
    상기 시야 영역 및 상기 마진 영역을 포함하는 분할 가상현실 영상을 디코딩 버퍼에 저장하고,
    상기 재생부는
    상기 버퍼에 저장된 분할 가상현실 영상으로부터 시야 윈도우를 통해 재생 영역을 도출하고, 도출된 재생 영역을 재생하는 것을 특징으로 하는
    가상현실 영상을 제공하기 위한 가상현실장치.
  6. 삭제
  7. 에지서버의 가상현실 영상을 제공하기 위한 방법에 있어서,
    렌더링동기부가 가상현실장치와 시야 범위 및 마진을 동기화하는 단계;
    렌더링부가 전체 가상현실 영상에서 회전 중심을 기준으로 상기 시야 범위에 해당하는 시야 영역 및 상기 마진에 해당하는 마진 영역을 렌더링하여 렌더링 영상을 생성하는 단계;
    인코딩부가 상기 마진 영역의 해상도를 스케일링 팩터로 나누어 축소하여 축소 마진 영역을 생성한 후, 상기 시야 영역 및 상기 축소 마진 영역을 인코딩하여 인코딩된 시야 영역 및 축소 마진 영역을 포함하는 분할 가상현실 영상을 생성하는 단계; 및
    스트리밍전송부가 상기 분할 가상현실 영상을 상기 가상현실장치로 전송하는 단계;를 포함하되,
    상기 분할 가상현실 영상을 생성하는 단계는
    상기 마진 영역을 복수의 구간으로 구분하고, 상기 복수의 구간 각각을 상기 시야 영역으로부터 멀어질수록 큰 값을 가지는 스케일링 팩터를 이용하여 상기 축소 마진 영역을 생성하는 것을 특징으로 하는
    에지서버의 가상현실 영상을 제공하기 위한 방법.
  8. 가상현실장치의 가상현실 영상을 제공하기 위한 방법에 있어서,
    재생동기부가 에지서버와 시야 범위 및 마진을 동기화하는 단계;
    디코딩부가 상기 에지서버로부터 분할 가상현실 영상을 수신하면, 상기 시야 범위 및 상기 마진에 따라 시야 영역 및 축소 마진 영역을 디코딩하고, 스케일링 팩터에 따라 축소 마진 영역을 확대하여 상기 시야 영역 및 마진 영역을 포함하는 분할 가상현실 영상을 도출하는 단계;
    재생부가 상기 도출된 분할 가상현실 영상을 재생하는 단계;를 포함하되,
    상기 축소 마진 영역은
    상기 마진 영역이 복수의 구간으로 구분되고, 상기 복수의 구간 각각이 상기 시야 영역으로부터 멀어질수록 큰 값을 가지는 스케일링 팩터를 통해 축소되어 생성되는 것을 특징으로 하는
    가상현실장치의 가상현실 영상을 제공하기 위한 방법.
KR1020200132648A 2020-10-14 2020-10-14 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법 KR102354132B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200132648A KR102354132B1 (ko) 2020-10-14 2020-10-14 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법
PCT/KR2020/015702 WO2022080560A1 (ko) 2020-10-14 2020-11-10 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법
US18/056,144 US20230084960A1 (en) 2020-10-14 2022-11-16 Apparatus and method for providing split-rendered virtual reality image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200132648A KR102354132B1 (ko) 2020-10-14 2020-10-14 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR102354132B1 true KR102354132B1 (ko) 2022-01-24

Family

ID=80049663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132648A KR102354132B1 (ko) 2020-10-14 2020-10-14 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법

Country Status (3)

Country Link
US (1) US20230084960A1 (ko)
KR (1) KR102354132B1 (ko)
WO (1) WO2022080560A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160125708A (ko) 2015-04-22 2016-11-01 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR20180119238A (ko) * 2017-04-25 2018-11-02 동의대학교 산학협력단 증강현실을 이용한 항로표지 관제 시스템 및 방법
KR20190063590A (ko) * 2017-11-30 2019-06-10 전자부품연구원 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
KR20200060900A (ko) * 2018-11-23 2020-06-02 (주)텔리언 다방향 뷰 영상 데이터 전송 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
KR102023905B1 (ko) * 2018-11-09 2019-11-04 전자부품연구원 분할 영상 다중 채널 재생을 하는 전자장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160125708A (ko) 2015-04-22 2016-11-01 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR20180119238A (ko) * 2017-04-25 2018-11-02 동의대학교 산학협력단 증강현실을 이용한 항로표지 관제 시스템 및 방법
KR20190063590A (ko) * 2017-11-30 2019-06-10 전자부품연구원 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
KR20200060900A (ko) * 2018-11-23 2020-06-02 (주)텔리언 다방향 뷰 영상 데이터 전송 시스템

Also Published As

Publication number Publication date
WO2022080560A1 (ko) 2022-04-21
US20230084960A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US10952009B2 (en) Audio parallax for virtual reality, augmented reality, and mixed reality
KR102227661B1 (ko) 화면 미러링 방법 및 그에 따른 장치
US10297086B2 (en) System and method for processing digital video
EP2816564B1 (en) Method and apparatus for smart video rendering
US10460501B2 (en) System and method for processing digital video
KR101580237B1 (ko) 4ｄ 컨텐츠 제작 서비스 제공 방법 및 시스템, 이를 위한 컨텐츠 제작 장치
CN113556598A (zh) 多窗口投屏方法及电子设备
US20210006922A1 (en) Timer-based access for audio streaming and rendering
KR20130129471A (ko) 관심 객체 기반 이미지 처리
US20080150964A1 (en) Method and apparatus for displaying content
JP2013514044A (ja) ビデオディスプレイシステムのためのデコンポーズドマルチストリーム（ｄｍｓ）技法
US20180288557A1 (en) Use of earcons for roi identification in 360-degree video
KR20150022532A (ko) 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
US20210006976A1 (en) Privacy restrictions for audio rendering
US20220028157A1 (en) 3d conversations in an artificial reality environment
WO2019019232A1 (zh) 基于vr头戴设备播放视频的方法及vr头戴设备
TW202024896A (zh) 六自由度及三自由度向後相容性
US20200372933A1 (en) Image acquisition system and method
KR102354132B1 (ko) 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법
KR20200054978A (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
EP4044615A1 (en) Method and device for adjusting attribute of video stream
CN110720089B (zh) 由用户的物理环境所触发的空间音频
WO2016095380A1 (zh) 一种即时通讯方法及装置
US12022226B2 (en) Systems and methods for enabling user-controlled extended reality
KR20160131827A (ko) 클라우드 스트리밍 서비스 시스템, 알파 레벨을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant