KR20190136992A - 영상 처리 방법 및 이를 이용한 영상 재생 장치 - Google Patents

영상 처리 방법 및 이를 이용한 영상 재생 장치 Download PDF

Info

Publication number
KR20190136992A
KR20190136992A KR1020190063678A KR20190063678A KR20190136992A KR 20190136992 A KR20190136992 A KR 20190136992A KR 1020190063678 A KR1020190063678 A KR 1020190063678A KR 20190063678 A KR20190063678 A KR 20190063678A KR 20190136992 A KR20190136992 A KR 20190136992A
Authority
KR
South Korea
Prior art keywords
overlay
overlays
area
information
information indicating
Prior art date
Application number
KR1020190063678A
Other languages
English (en)
Other versions
KR102413098B1 (ko
Inventor
정준영
윤국진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US16/428,549 priority Critical patent/US11044456B2/en
Publication of KR20190136992A publication Critical patent/KR20190136992A/ko
Application granted granted Critical
Publication of KR102413098B1 publication Critical patent/KR102413098B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 360도 비디오 상에 추가 정보를 표시하는 오버레이를 출력하는 방법 및 재생 장치를 개시한다. 본 발명에 따른 영상 처리 방법은, 오버레이를 복호화하는 단계, 및 오버레이 관련 정보에 기초하여 상기 복호화된 오버레이를 360도 비디오에 렌더링하는 단계를 포함할 수 있다. 이때, 상기 오버레이 관련 정보는 오버레이의 개수를 나타내는 정보 및 상기 오버레이에 할당되는 고유 식별자를 나타내는 정보를 포함할 수 있고, 복수의 오버레이가 존재하는 경우, 상기 복수의 오버레이 각각에 할당되는 식별자는 상이할 수 있다.

Description

영상 처리 방법 및 이를 이용한 영상 재생 장치{IMAGE PROCESSING METHOD AND IMAGE PLAYER USING THEREOF}
본 발명은 360도 비디오 상에 추가 정보를 표시하는 오버레이를 출력하는 방법 및 재생 장치에 관한 것이다.
360도 비디오는 적어도 하나의 기준축을 중심으로 회전 자유도를 갖는 비디오를 360도 비디오라 정의할 수 있다. 일 예로, 360도 비디오는 Yaw, Roll 또는 Pitch 중 적어도 하나에 대한 회전 자유도를 가질 수 있다. 360도 비디오는 2D 비디오에 비해 상당한 양의 영상 정보를 더 포함하게 되므로, 그 파일 크기 또한 현저히 증가하게 된다. 이에 따라, 360도 비디오를 로컬 디바이스에 저장하는 동영상 서비스 보다 원격지에 저장된 360도 비디오를 원격 재생 또는 스트리밍하는 동영상 서비스가 각광받을 것으로 예상된다. 이에, 네트워크에 기반한 360도 비디오의 처리 방안에 대한 논의가 활발히 이루어지고 있다.
본 발명은 360도 비디오에 오버레이를 렌더링하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 360도 비디오에 오버레이를 렌더링하기 위한 오버레이 관련 메타데이터의 상세 구조를 제안한다.
본 발명은 360도 비디오에 오버레이를 렌더링하기 위한 다양한 오버레이 관련 정보를 제안한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 영상 처리 방법 및 영상 재생 장치는, 오버레이를 복호화하고, 오버레이 관련 정보에 기초하여 상기 복호화된 오버레이를 360도 비디오에 렌더링할 수 있다. 이때, 상기 오버레이 관련 정보는 오버레이의 개수를 나타내는 정보 및 상기 오버레이에 할당되는 고유 식별자를 나타내는 정보를 포함할 수 있고, 복수의 오버레이가 존재하는 경우, 상기 복수의 오버레이 각각에 할당되는 식별자는 상이할 수 있다.
본 발명에 따른 영상 처리 방법 및 영상 재생 장치에 있어서, 상기 오버레이 관련 정보는 상기 오버레이가 렌더링될 영역의 크기 또는 위치 중 적어도 하나를 결정하기 위한 영역 정보를 포함할 수 있다.
본 발명에 따른 영상 처리 방법 및 영상 재생 장치에 있어서, 상기 영역 정보는 현재 뷰포트의 크기 대비 상기 영역의 크기를 나타내는 크기 정보 또는 상기 현재 뷰포트 내 상기 영역의 위치를 나타내는 위치 정보 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 영상 처리 방법 및 영상 재생 장치에 있어서, 상기 오버레이 관련 정보는 상기 오버레이의 우선순위를 나타내는 정보를 포함할 수 있다.
본 발명에 따른 영상 처리 방법 및 영상 재생 장치에 있어서, 상기 오버레이를 복호화할 것인지 여부는, 상기 우선순위에 기초하여 결정될 수 있다.
본 발명에 따른 영상 처리 방법 및 영상 재생 장치에 있어서, 상기 오버레이 관련 정보는 상기 오버레이가 렌더링될 영역의 깊이를 나타내는 깊이 정보를 포함할 수 있다.
본 발명에 따른 영상 처리 방법 및 영상 재생 장치에 있어서, 상기 깊이 정보는 구 표면에서 상기 영역까지의 거리 또는 구 중심점으로부터 상기 영역까지의 거리를 나타낼 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 의하면, 360도 비디오에 오버레이를 렌더링하는 방법 및 장치를 제공할 수 있다.
본 발명에 의하면, 오버레이 관련 메타데이터를 이용하여 360도 비디오에 효과적으로 오버레이를 렌더링할 수 있다.
본 발명에 의하면, 다양한 오버레이 관련 정보를 바탕으로 오버레이 출력을 제어할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른, 콘텐트 생성 장치의 블록도이다.
도 2는 본 발명의 일실시예에 따른 콘텐트 재생 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 데이터 처리 과정을 나타낸 흐름도이다.
도 4는 구 표면에 오버레이가 출력되는 양상을 나타낸 도면이다.
도 5는 오버레이 우선순위에 기초하여 디코딩 순서가 결정되는 예를 설명하기 위한 도면이다.
도 6은 오버레이의 깊이와 360도 비디오의 깊이가 상이하게 설정된 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급 또는 도시된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명에서 설명하는 콘텐트 생성 장치 및 콘텐트 재생 장치는 360도 비디오 관련 데이터 처리를 수행하는 장치를 의미한다.
도 1은 본 발명의 일 실시예에 따른, 콘텐트 생성 장치의 블록도이다.
도 1을 참조하면, 콘텐트 생성 장치(100)는 이미지 전처리부(110), 오디오 인코딩부(120), 비디오 인코딩부(130) 및 캡슐화부(140)를 포함할 수 있다.
오디오 센서와 카메라 기기에 의해 현실 세계에 대한 오디오-비디오가 캡처되면, 비디오 시그널과 오디오 시그널이 콘텐트 생성 장치(100)로 입력된다. 카메라 기기는 360도 비디오를 촬영하기 위한 것이고, 360도 비디오는 중심점(center point) 주변 전 방향을 커버할 수 있다. 360도 비디오 생성을 위해, 상기 비디오 시그널은 복수 방향에 대한 복수 영상을 포함할 수 있다.
이미지 전처리부(110)는 비디오 인코딩부(120)에서 비디오 인코딩을 수행하기 위한 2차원 영상을 생성한다. 구체적으로, 이미지 전처리부(110)는 복수 영상을 스티칭하고, 스티치된 영상을 구체(sphere)에 투사할 수 있다. 그리고 나서, 이미지 전처리부(110)는 투사 포맷에 기초하여, 구 형태의 영상 데이터를 2차원으로 전개하여 투사 픽처(projected picture)를 생성할 수 있다. 투사 포맷은 등장방형 투사(Equrectangular projection), 큐브맵 투사(CubeMap projection), TPP (Truncated Pyramid Projection) 또는 SSP (Segmented Sphere Projection) 중 적어도 하나를 포함할 수 있다.
이미지 전처리부(110)는 투사 픽처를 패킹 픽처(packed picture)로 변환할 수 있다. 패킹 픽처는 사각형의 영상 데이터일 수 있다. 투사 픽처를 패킹 픽처로 변환하기 위해, 이미지 전처리부(110)는 투사 픽처를 적어도 하나의 페이스로 구획할 수 있다. 페이스의 개수, 모양 또는 크기 중 적어도 하나는 투사 포맷에 기초하여 결정될 수 있다. 그리고 나서, 이미지 전처리부(110)는 리전 와이즈 패킹(region-wise packing)을 통해 투사 픽처를 패킹 픽처로 변환할 수 있다. 리전 와이즈 패킹은 페이스의 리사이징, 와핑(warping) 또는 재배치 중 적어도 하나를 수반한다. 리전 와이즈 패킹이 수행되지 않을 경우, 이미지 전처리부(110)는 패킹 픽처를 투사 픽처와 동일하게 설정할 수 있다.
투사 픽처는 구의 전체 영역을 커버하는 반면, 패킹 픽처에는 위 제한사항이 적용되지 않는다. 일 예로, 투사 픽처로부터 구체 상의 일부 영역만을 커버하는 패킹 픽처를 생성할 수 있다.
또한, 동일한 소스 이미지에 대해 상술한 이미지 전처리가 반복적으로 수행될 수 있다. 동일한 소스 이미지에 대해 복수 회 이미지 전처리를 수행함으로써 복수의 패킹 픽처들을 생성할 수 있다. 이때, 복수의 패킹 픽처들 각각이 커버하는 구체 상의 영역은 상이할 수 있다.
이미지 전처리부(110)는 투사 픽처 및/또는 패킹 픽처와 관련한 메타 데이터를 생성할 수 있다. 상기 메타 데이터는 콘텐트 재생 장치에서 복호화된 픽처를 구체로 렌더링하는 것에 이용될 수 있다. 상기 메타 데이터는 투사 픽처의 투사 포맷 정보, 패킹 픽처에 의해 커버되는 구 표면 영역 정보 또는 리전 와이즈 패킹 정보 중 적어도 하나를 포함할 수 있다.
오디오 인코딩부(120)는 오디오 신호를 인코딩할 수 있다. 오디오 신호 인코딩의 결과로 오디오 비트스트림이 출력될 수 있다.
비디오 인코딩부(120)는 패킹 픽처를 부호화할 수 있다. 비디오 신호 인코딩 결과로 비디오 비트스트림이 출력될 수 있다.
캡슐화부(140)는 특정 미디어 컨테이너 파일 포맷에 따라 오디오 비트스트림 및 비디오 비트스트림을 하나의 미디어 파일로 합성할 수 있다. 또는, 캡슐화부(140)는 특정 미디어 컨테이너 파일 포맷에 따라 오디오 파일 및 비디오 파일을 스트리밍을 위한 세그먼트 시퀀스로 구성할 수 있다. 미디어 컨테이너 파일 포맷은 ISO BMFF (Base Media File Format)일 수 있다. 파일 또는 세그먼트는 디코딩된 픽처의 3D 렌더링을 위한 메타데이터를 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 콘텐트 재생 장치의 블록도이다. 콘텐트 재생 장치는 HMD (Head Mount Display), 스마트폰, 랩톱, 태블릿, PC, 웨어러블 기기 또는 TV와 같은 단말 장치일 수 있다.
도 2를 참조하면, 콘텐트 재생 장치(200)는 디캡슐화부(210), 오디오 디코더부(220), 비디오 디코더부(230), 렌더링부(240) 및 유저 트래킹부(250)를 포함할 수 있다.
디캡슐화부(210)는 콘텐트 생성 장치로부터 수신한 미디어 파일 또는 세그먼트 시퀀스로부터 오디오 비트스트림 및 비디오 비트스트림을 추출할 수 있다. 또한, 디캡슐화부(210)는 미디어 파일 또는 세그먼트로부터 복호화된 픽처의 3D 렌더링을 위한 메타 데이터를 파싱할 수 있다.
트래킹부는 사용자의 시청 방향을 결정하고, 시청 방향을 나타내는 메타 데이터를 생성한다. 트래킹부는 헤드 트래킹(Head tracking) 또는 아이 트래킹(Eye tracing)에 기초하여 시청 방향을 결정할 수 있다.
오디오 디코더부(220)는 오디오 비트스트림을 복호화한다. 오디오 비트스트림의 복호화 결과 복호화된 오디오 신호가 출력될 수 있다.
비디오 디코더부(230)는 비디오 비트스트림을 복호화한다. 비디오 비트스트림의 복호화 결과, 복호화된 픽처가 출력될 수 있다.
비디오 비트스트림은 복수의 서브 픽처 비트스트림 또는 복수의 트랙들을 포함할 수 있다. 현재 시청 방향과 일치하는 부분을 렌더링하기 위해, 비디오 디코더부(230)에서 현재 시청 방향을 나타내는 정보를 이용할 수 있다. 일 예로, 비디오 디코더부(230)는 비디오 비트스트림 중 현재 시청 방향에 따른 뷰 포트(Viewport)를 포함하는 적어도 하나의 서브 픽처 비트스트림 또는 현재 시청 방향에 따른 뷰 포트를 포함하는 적어도 하나의 트랙을 복호화할 수 있다.
렌더링부(240)는 시청 방향 또는 뷰포트를 나타내는 메타 데이터 또는 파일 또는 세그먼트로부터 파싱된 메타데이터 중 적어도 하나에 기초하여, 복호화된 픽처를 360도 영상으로 변환할 수 있다. 또한, 렌더링부(240)는 현재 시청 방향에 따라 복호화된 오디오 신호를 렌더링할 수 있다.
도 3은 본 발명의 일실시예에 따른 데이터 처리 과정을 나타낸 흐름도이다. 도 3의 좌측은 콘텐트 생성 장치에서의 데이터 처리 과정을 나타낸 것이고, 도 3의 우측은 콘텐트 재생 장치에서의 데이터 처리 과정을 나타낸 것이다.
콘텐트 생성 장치에 비디오 신호가 입력되면, 이미지 전처리부에서 입력된 비디오 신호를 비디오 인코더기로 입력하기 위한 이미지 전처리를 수행할 수 있다(S310). 이미지 전처리는, 이미지 스티칭, 회전, 투사 및 리전 와이즈 패킹 중 적어도 하나의 과정을 수반할 수 있다. 이미지 전처리 과정을 통해 투사 이미지 및 패킹 이미지가 생성될 수 있고, 투사 이미지 및 패킹 이미지 생성과 관련된 정보가 메타데이터로 생성될 수 있다.
그리고 나서, 패킹 이미지에 대해 비디오 인코딩이 수행될 수 있다(S320).
콘텐트 생성 장치에 오디오 신호가 입력되면, 오디오 인코더에부에서 입력된 오디오 신호를 인코딩할 수 있다(S330).
비디오 비트스트림 및 오디오 비트스트림이 생성되면, 이들을 합성하여 미디어 파일을 생성할 수 있다(S340). 또는, 상기 미디어 파일을 스트리밍을 위한 세그먼트들로 분할하여 세그먼트 시퀀스를 생성할 수 있다. 이미지 전처리과정에서 생성된 메타데이터가 상기 미디어 파일 또는 상기 세그먼트에 포함될 수 있다.
비디오 신호의 처리와 오디오 신호는 병렬처리될 수 있다.
콘텐트 생성 장치로부터 미디어 파일 또는 세그먼트 시퀀스가 수신되면, 콘텐트 재생장치는 수신된 미디어 파일 또는 세그먼트 시퀀스로부터 비디오 비트스트림, 오디오 비트스트림 및 메타데이터를 파싱할 수 있다(S350).
콘텐트 재생 장치는 파싱된 비디오 비트스트림을 복호화할 수 있다(S360). 이때, 콘텐트 재생 장치는 사용자의 시청 방향 또는 현재 뷰 포트를 고려하여, 복호화 대상 비트스트림을 결정할 수 있다. 그리고, 콘텐트 재생 장치는 메타데이터를 이용하여 복호화된 이미지를 렌더링할 수 있다(S370). 복호화된 이미지 렌더링 시 사용자의 시청 방향 또는 현재 뷰 포트가 더 고려될 수 있다.
콘텐트 재생 장치는 파싱된 오디오 비트스트림을 복호화하고(S380), 복호화된 오디오를 렌더링할 수 있다(S390). 복호화된 오디오 렌더링 시 사용자의 시청 방향 또는 현재 뷰 포트가 고려될 수 있다.
사용자 경험 향상을 위해, 360도 비디오 상에 추가 정보를 출력하는 방안을 고려할 수 있다. 일 예로, 360도 비디오 상에 로고, 수화 번역, 360도 비디오 전체 영역에 대응하는 ERP 기반의 프리뷰 윈도우, 상기 프리뷰 윈도우 상에서 현재 뷰포트를 안내하는 가이드 라인 및/또는 추천 뷰포트의 썸네일을 출력함으로써, 사용자 편의를 제공하는 한편, 사용자 시청 경험을 향상시킬 수 있다. 위처럼, 360도 비디오 상에 출력되는 추가 영상을 오버레이(Overlay)라 정의할 수 있다.
도 4는 구 표면에 오버레이가 출력되는 양상을 나타낸 도면이다.
360도 비디오 상에 오버레이를 렌더링하기 위해, 오버레이 관련 메타데이터가 정의되어야 한다. 비디오 복호화기에서 오버레이 영상이 복호화되면, 렌더링부는 오버레이 관련 메타데이터를 참조하여, 360도 비디오 상에 오버레이를 출력할 수 있다. 이하, 오버레이 관련 메타데이터에 대해 상세히 살펴보기로 한다.
오버레이 관련 메타데이터는 오버레이 개수, 오버레이 식별자, 오버레이 영역 정보, 오버레이 깊이 정보, 오버레이 우선순위, 기타, 재생 시점 변경 정보, 레이어링 순서 정보, 투명도 또는 유저 인터랙션(interaction) 정보 중 적어도 하나를 포함할 수 있다.
오버레이 개수는, 오버레이가 존재하는지 여부 및 오버레이가 존재하는 경우 오버레이의 개수를 나타낸다. 오버레이 관련 메타데이터에는 오버레이 개수를 나타내기 위한 신택스 ‘num_overlays’가 포함될 수 있다. 일 예로, num_overlays의 값이 0인 것은 오버레이가 존재하지 않음을 나타낸다. num_overlays의 값이 0보다 큰 경우, num_overlays의 값만큼의 오버레이가 존재함을 나타낸다.
오버레이 식별자는 오버레이에 할당되는 고유의 식별자를 나타낸다. 일 예로, 메타데이터에는 오버레이의 고유 식별자를 나타내기 위한 신택스 ‘overlay_id’가 포함될 수 있다. 동일한 식별자가 둘 이상의 오버레이에 할당될 수 없다. 즉, 복수의 오버레이가 존재하는 경우, 각 오버레이에 할당되는 식별자는 상이하다.
표 1은 오버레이에 오버레이 식별자를 할당하기 위한 구문 구조를 예시한 것이다.
Figure pat00001
OverlayStruct 함수는 오버레이 관련 메타데이터를 나타낸다. SingleOverlayStruct는 단일 오버레이에 대한 메타 데이터를 나타낸다.
OverlayStruct 함수는, num_overlays 신택스를 포함할 수 있다. num_overlays를 통해 오버레이가 존재하는지 여부 및 오버레이의 개수가 결정될 수 있다. 복수의 오버레이가 존재하는 경우, 각 오버레이 마다 overlay_id를 통해 식별자를 할당할 수 있다.
표 1에서는 신택스 overlay_id가 OverlayStruct 함수에 포함되는 것으로 예시되었다. 다른 예로, 단일 오버레이에 대한 메타데이터를 나타내는 SingleOverlayStruct 함수에서 신택스 overlay_id가 정의될 수 있다.
오버레이 영역 정보는 오버레이가 렌더링될 영역의 위치 및/또는 크기를 나타낸다. 상기 오버레이 영역 정보를 통해 360도 비디오 위 오버레이의 출력 위치 및/또는 크기가 결정될 수 있다.
표 2는 오버레이 위치 정보를 나타내는 구문 구조를 예시한 것이다.
Figure pat00002
표 2에 나타난 예에서와 같이, 오버레이에 의해 커버되는 구 상의 영역을 나타내는 SphereRegionStruct 함수가 OverlayStruct 함수에 추가될 수 있다.
복수개의 오버레이가 존재하는 경우, 각 오버레이 별로 SphereRegionStruct 함수를 호출할 수 있다. 이에 따라, 복수의 오버레이들에 대한 렌더링 영역의 위치가 개별적으로 결정될 수 있다.
표 2에서는 SphereRegionStruct 함수가 OverlayStruct 함수의 하위 함수인 것으로 예시되었다. 다른 예로, 단일 오버레이에 대한 메타데이터를 나타내는 SingleOverlayStruct 함수의 하위 함수로 SphereRegionStruct 함수가 정의될 수 있다.
오버레이가 렌더링될 영역의 위치를 결정하기 위해, 상기 영역의 너비 및 높이를 나타내는 신택스가 정의될 수 있다. 또한, 오버레이가 렌더링될 영역의 위치를 결정하기 위해, 투사 픽처 내 상기 영역의 위치, 패킹 픽처 내 상기 영역의 위치 또는 뷰 포트 내 상기 영역의 위치를 나타내는 신택스가 정의될 수 있다.
표 3 및 표 4는 오버레이 영역 정보와 관련한 신택스를 예시한 것이다.
Figure pat00003
표 3에서 proj_reg_width 및 proj_reg_height는 각각 오버레이를 렌더링할 영역의 너비 및 높이를 나타낸다. proj_reg_top 및 proj_reg_left는 투사 픽처 내 오버레이를 렌더링할 영역의 좌상단 좌표를 나타낸다.
다른 예로, 패킹 픽처(즉, 디코딩된 픽처) 내 오버레이를 렌더링할 영역의 좌상단 좌표를 나타내는 packed_reg_top 및 packed_reg_left를 이용할 수 있다.
Figure pat00004
표 4에서 rect_left_percent 및 rect_left_percent는 오버레이를 렌더링항 영역의 좌상단 좌표를 나타낸다. 구체적으로, rect_left_percent는 현재 뷰포트의 좌측 경계를 0%로 가정하고, 우측 경계를 100%로 가정했을 때, 상기 영역의 좌측 좌표의 비율을 나타낸다. rect_top_percent는 현재 뷰포트의 상단 경계를 0%로 가정하고, 하단 경계를 100%로 가정했을 때, 상기 영역의 상단 좌표의 비율을 나타낸다. rect_width_percent는 현재 뷰 포트의 너비와 상기 영역의 너비 비율을 나타내고, rect_height_percent는 현재 뷰 포트의 높이와 상기 영역의 높이 비율을 나타낸다.
오버레이 우선순위는 오버레이 간 우선순위를 나타낸다. 콘텐트 재생 장치는 오버레이 간 우선순위에 기초하여 복수 오버레이들의 디코딩 순서를 결정할 수 있다. 일 예로, 복수의 오버레이를 렌더링하기 위해서는, 콘텐트 재생 장치에 복수의 디코더가 구비되어야 한다. 그러나, 콘텐트 재생 장치에 포함된 디코더의 개수가 모든 오버레이들에 대한 비트스트림을 복호화하기에 충분치 못한 경우, 콘텐트 재생 장치에 어느 오버레이를 우선하여 복호화하여야 하는지 알려주어야 한다. 콘텐트 재생 장치는 상기 오버레이 간 우선순위를 나타내는 정보에 기초하여, 타 오버레이보다 우선시하여 복호화하여야할 오버레이를 결정할 수 있다.
도 5는 오버레이 우선순위에 기초하여 디코딩 순서가 결정되는 예를 설명하기 위한 도면이다.
사용자의 뷰 포트 상에 오버레이 렌더링을 위한 3개의 영역이 포함되나, 콘텐트 재생 장치에는 1개의 디코더만이 구비된 경우, 상기 뷰 포트 상에 3개의 오버레이들을 동시에 출력할 수 없다. 콘텐트 재생 장치는 3개의 오버레이들의 우선순위에 기초하여 디코딩 대상을 결정할 수 있다. 즉, 3개의 오버레이들 중 우선순위가 가장 높은 오버레이를 복호화하고, 뷰포트 위 복호화된 오버레이를 렌더링할 수 있다.
표 5은 오버레이 우선순위를 나타내는 정보를 나타내는 구문 구조를 예시한 것이다.
Figure pat00005
표 5에 나타난 예에서와 같이, 오버레이의 우선 순위를 나타내는 신택스 overlay_priority가 OverlayStruct 함수에 추가될 수 있다. 복수의 오버레이들이 존재하는 경우, 각각의 오버레이마다 신택스 overlay_priority를 파싱할 수 있다.
표 5에서는 신택스 overlay_priority가 OverlayStruct 함수에 포함되는 것으로 예시되었다. 다른 예로, 단일 오버레이에 대한 메타데이터를 나타내는 SingleOverlayStruct 함수에서 신택스 overlay_priority가 정의될 수 있다.
동일한 우선순위가 둘 이상의 오버레이에 할당될 수 없다. 즉, 복수의 오버레이가 존재하는 경우, 각 오버레이에 할당되는 우선순위는 상이하다. 오버레이 우선순위가 0인 것은 해당 오버레이가 필수로 출력되어야 함을 나타낸다.
오버레이 깊이 정보는 오버레이가 렌더링될 영역의 깊이를 나타낸다. 구 표면에 오버레이 영상을 디스플레이하는 것보다, 오버레이가 렌더링되는 영역을 구 표면으로부터 이격하는 것이 사용자에게 더 나은 가시성(visibility)을 제공할 수 있다.
도 6은 오버레이의 깊이와 360도 비디오의 깊이가 상이하게 설정된 예를 나타낸 도면이다.
렌더링부는 상기 오버레이 깊이 정보를 이용하여 오버레이가 출력될 영역의 깊이를 결정할 수 있다. 오버레이 깊이 정보는 중심점으로부터 상기 영역까지의 거리 또는 구 표면으로부터 상기 영역까지의 거리를 나타낼 수 있다.
표 6은 오버레이 깊이 정보를 나타내는 구문 구조를 예시한 것이다.
Figure pat00006
표 6에 나타난 예에서와 같이, 오버레이 깊이를 나타내는 신택스 overlay_depth가 정의될 수 있다. 신택스 overlay_depth는 OverlayDepth 함수에 포함될 수 있다. 신택스 overlay_depth는 중심점으로부터 오버레이가 렌더링될 영역까지의 거리 또는 구 표면으로부터 상기 영역까지의 거리를 나타낼 수 있다.
OverlayDepth 함수는 OverlayStruct 또는 SingleOverlayStruct의 하위 함수로 정의될 수 있다.
재생 시점 변경 정보는 오버레이의 재생 시점이 360도 비디오와 상이하게 설정될 수 있는지 여부를 나타낸다. 상기 사항을 지시하기 위해 신택스 timeline_chage_flag가 정의될 수 있다.
일 예로, timeline_change_flag가 1인 것은, 오버레이의 재생 시점이 360도 비디오와 동일하게 설정되어야 함을 나타낸다. 즉, 사용자의 뷰포트가 오버레이를 벗어나 오버레이의 재생이 일시 정지되었다 하더라도, 사용자의 뷰포트가 복귀되면, 360도 비디오의 재생 시점과 동일한 재생 시점부터 상기 오버레이를 재생할 수 있다.
반면, timeline_change_flag가 0인 것은, 오버레이의 재생 시점이 360도 비디오와 상이하게 설정될수 있음을 나타낸다. 즉, 사용자의 뷰포트가 오버레이를 벗어나 오버레이의 재생이 일시 정지되었다면, 사용자의 뷰포트가 복귀된 이후에는 360도 비디오의 재생 시점과 관계없이 중단 시점 이후부터 오버레이가 재생될 수 있다.
레이어링 순서 정보는 오버레이들의 레이어링 순서를 나타낸다. 레이어링 순서가 작은 오버레이가 앞에 배치되고, 레이어링 순서가 큰 오버레이가 뒤에 배치될 수 있다. 레이어링 순서 정보를 나타내기 위해, 신택스 layering_order가 정의될 수 있다.
투명도는 오버레이의 투명도를 나타낸다. 오버레이의 투명도를 나타내기 위해, 신택스 opacity가 정의될 수 있다. 투명도는 0부터 100까지의 숫자로 표현될 수 있다. 0은 완전 투명 상태를 나타내고, 100은 완전 불투명 상태를 나타낼 수 있다.
유저 상호작용 정보는, 오버레이 관련 설정이 사용자 입력에 의해 변경될 수 있는지 여부를 나타낸다. 여기서, 오버레이 관련 설정은 오버레이의 출력 위치, 오버레이 깊이, 오버레이 On/Off, 투명도, 오버레이 크기, 오버레이 레이어 순서, 오버레이 우선순위, 오버레이 소스(또는, 오버레이 미디어)를 나타낼 수 있다. 오버레이 관련 설정이 사용자 입력에 의해 변경 가능한지 여부를 나타내는 플래그들이 정의될 수 있다.
상기 열거된 오버레이 관련 정보들은 제어 구조 함수로서 구현될 수 있다. 제어 구조 함수는 단일 오버레이의 메타데이터(즉, SingleOverlayStruct)에 정의된 하위 함수를 의미한다. 제어 구조 함수별로 상이한 인덱스가 할당되고, 단일 오버레이의 메타데이터에 제어 구조 함수가 존재하는지 여부를 나타내는 플래그가 포함될 수 있다.
표 7는 제어 구조 함수별 인덱스 할당 예시를 나타낸 것이다.
Figure pat00007
표 8은 제어 구조 함수가 존재하는지 여부를 나타내는 구문 구조를 예시한 것이다.
Figure pat00008
표 6에서, num_flag_bytes는 제어 구조 플래그 overlay_control_flag들에 할당되는 총 비트수를 나타낸다. overlay_control_flag는 제어 구조 함수가 존재하는지 여부를 나타낸다. 일 예로, overlay_control_flag[i]의 값이 0인 것은, 인덱스가 i인 제어 구조 함수가 존재하지 않음을 나타낸다. 반면, overlay_control_flag[i]의 값이 1인 것은, 인덱스가 i인 제어 구조 함수가 존재함을 나타낸다.
overlay_cotrol_flag[i]의 값이 1인 경우, i번째 인덱스에 대응하는 제어 구조 함수를 호출하여, 오버레이 관련 정보를 획득할 수 있다.
추가로, 콘텐트 재생 장치가 제어 구조 함수를 필수적으로 파싱하여야 하는지 여부를 나타내는 플래그가 단일 오버레이의 메타데이터에 포함될 수 있다.
표 9는 제어 구조 함수를 필수적으로 파싱하여야 하는지 여부를 나타내는 구문 구조를 예시한 것이다.
Figure pat00009
표 9에서, overlay_control_essential_flag는 제어 구조 함수를 필수적으로 파싱하여야 하는지 여부를 나타낸다. 일 예로, overlay_control_essential_flag[i]의 값이 0인 것은, 콘텐트 재생 장치가 인덱스가 i인 제어 구조 함수를 파싱하는 것이 요구되지 않음을 나타낸다. 반면, overlay_control_essential_flag[i]의 값이 1인 것은, 콘텐트 재생 장치가 인덱스가 i인 제어 구조 함수를 파싱하여야 함을 나타낸다.
상술한 실시예는 일련의 단계 또는 순서도를 기초로 설명되고 있으나, 이는 발명의 시계열적 순서를 한정한 것은 아니며, 필요에 따라 동시에 수행되거나 다른 순서로 수행될 수 있다. 또한, 상술한 실시예에서 블록도를 구성하는 구성요소(예를 들어, 유닛, 모듈 등) 각각은 하드웨어 장치 또는 소프트웨어로 구현될 수도 있고, 복수의 구성요소가 결합하여 하나의 하드웨어 장치 또는 소프트웨어로 구현될 수도 있다. 상술한 실시예는 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

Claims (14)

  1. 오버레이를 복호화하는 단계; 및
    오버레이 관련 정보에 기초하여 상기 복호화된 오버레이를 360도 비디오에 렌더링하는 단계를 포함하되,
    상기 오버레이 관련 정보는 오버레이의 개수를 나타내는 정보 및 상기 오버레이에 할당되는 고유 식별자를 나타내는 정보를 포함하고,
    복수의 오버레이가 존재하는 경우, 상기 복수의 오버레이 각각에 할당되는 식별자는 상이한 것을 특징으로 하는, 영상 처리 방법.
  2. 제1 항에 있어서,
    상기 오버레이 관련 정보는 상기 오버레이가 렌더링될 영역의 크기 또는 위치 중 적어도 하나를 결정하기 위한 영역 정보를 포함하는, 영상 처리 방법.
  3. 제2 항에 있어서,
    상기 영역 정보는 현재 뷰포트의 크기 대비 상기 영역의 크기를 나타내는 크기 정보 또는 상기 현재 뷰포트 내 상기 영역의 위치를 나타내는 위치 정보 중 적어도 하나를 포함하는, 영상 처리 방법.
  4. 제1 항에 있어서,
    상기 오버레이 관련 정보는 상기 오버레이의 우선순위를 나타내는 정보를 포함하는, 영상 처리 방법.
  5. 제4 항에 있어서,
    상기 오버레이를 복호화할 것인지 여부는, 상기 우선순위에 기초하여 결정되는 것을 특징으로 하는, 영상 처리 방법.
  6. 제1 항에 있어서,
    상기 오버레이 관련 정보는 상기 오버레이가 렌더링될 영역의 깊이를 나타내는 깊이 정보를 포함하는, 영상 처리 방법.
  7. 제6 항에 있어서,
    상기 깊이 정보는 구 표면에서 상기 영역까지의 거리 또는 구 중심점으로부터 상기 영역까지의 거리를 나타내는 것을 특징으로 하는, 영상 처리 방법.
  8. 오버레이를 복호화하는 영상 복호화부; 및
    오버레이 관련 정보에 기초하여 상기 복호화된 오버레이를 360도 비디오에 렌더링하는 렌더링부를 포함하되,
    상기 오버레이 관련 정보는 오버레이의 개수를 나타내는 정보 및 상기 오버레이에 할당되는 고유 식별자를 나타내는 정보를 포함하고,
    복수의 오버레이가 존재하는 경우, 상기 복수의 오버레이 각각에 할당되는 식별자는 상이한 것을 특징으로 하는, 영상 재생 장치.
  9. 제8 항에 있어서,
    상기 오버레이 관련 정보는 상기 오버레이가 렌더링될 영역의 크기 또는 위치 중 적어도 하나를 결정하기 위한 영역 정보를 포함하는, 영상 재생 장치.
  10. 제9 항에 있어서,
    상기 영역 정보는 현재 뷰포트의 크기 대비 상기 영역의 크기를 나타내는 크기 정보 또는 상기 현재 뷰포트 내 상기 영역의 위치를 나타내는 위치 정보 중 적어도 하나를 포함하는, 영상 재생 장치.
  11. 제8 항에 있어서,
    상기 오버레이 관련 정보는 상기 오버레이의 우선순위를 나타내는 정보를 포함하는, 영상 재생 장치.
  12. 제11 항에 있어서,
    상기 오버레이를 복호화할 것인지 여부는, 상기 우선순위에 기초하여 결정되는 것을 특징으로 하는, 영상 재생 장치.
  13. 제8 항에 있어서,
    상기 오버레이 관련 정보는 상기 오버레이가 렌더링될 영역의 깊이를 나타내는 깊이 정보를 포함하는, 영상 재생 장치.
  14. 제13 항에 있어서,
    상기 깊이 정보는 구 표면에서 상기 영역까지의 거리 또는 구 중심점으로부터 상기 영역까지의 거리를 나타내는 것을 특징으로 하는, 영상 재생 장치.
KR1020190063678A 2018-05-31 2019-05-30 영상 처리 방법 및 이를 이용한 영상 재생 장치 KR102413098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/428,549 US11044456B2 (en) 2018-05-31 2019-05-31 Image processing method and image player using thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180063059 2018-05-31
KR20180063059 2018-05-31

Publications (2)

Publication Number Publication Date
KR20190136992A true KR20190136992A (ko) 2019-12-10
KR102413098B1 KR102413098B1 (ko) 2022-06-24

Family

ID=69003177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190063678A KR102413098B1 (ko) 2018-05-31 2019-05-30 영상 처리 방법 및 이를 이용한 영상 재생 장치

Country Status (1)

Country Link
KR (1) KR102413098B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669547A (zh) * 2020-05-29 2020-09-15 成都易瞳科技有限公司 全景视频结构化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110106367A (ko) * 2008-12-15 2011-09-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 기반 ３ｄ 비디오 포맷
US20140375764A1 (en) * 2011-06-21 2014-12-25 Lg Electronics Inc. Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
KR20170052673A (ko) * 2014-09-22 2017-05-12 삼성전자주식회사 3 차원 비디오의 재구성

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110106367A (ko) * 2008-12-15 2011-09-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 기반 ３ｄ 비디오 포맷
US20140375764A1 (en) * 2011-06-21 2014-12-25 Lg Electronics Inc. Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
KR20170052673A (ko) * 2014-09-22 2017-05-12 삼성전자주식회사 3 차원 비디오의 재구성

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669547A (zh) * 2020-05-29 2020-09-15 成都易瞳科技有限公司 全景视频结构化方法
CN111669547B (zh) * 2020-05-29 2022-03-11 成都易瞳科技有限公司 全景视频结构化方法

Also Published As

Publication number Publication date
KR102413098B1 (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
US11051040B2 (en) Method and apparatus for presenting VR media beyond omnidirectional media
TWI709325B (zh) 用於編解碼視訊資料的方法及裝置
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
JP7151486B2 (ja) 生成装置、生成方法、再生装置および再生方法
US11178377B2 (en) Methods and apparatus for spherical region presentation
JP7218826B2 (ja) 再生装置および画像生成方法
JP7035401B2 (ja) 画像処理装置およびファイル生成装置
KR102543309B1 (ko) 화상 처리 장치 및 파일 생성 장치
US11587200B2 (en) Method and apparatus for enabling multiple timeline support for omnidirectional content playback
US11044456B2 (en) Image processing method and image player using thereof
KR20200013607A (ko) 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치
KR102413098B1 (ko) 영상 처리 방법 및 이를 이용한 영상 재생 장치
CN110933461A (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
US20200204785A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JP7239029B2 (ja) 画像処理装置およびファイル生成装置
KR102621434B1 (ko) 미디어 리소스 재생 및 텍스트 렌더링 방법, 장치, 기기 및 저장 매체
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
KR102612605B1 (ko) 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치
US20220076485A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant