KR101827427B1 - 영상 신호 송신 장치 및 그 영상 신호 송신 방법 - Google Patents

영상 신호 송신 장치 및 그 영상 신호 송신 방법 Download PDF

Info

Publication number
KR101827427B1
KR101827427B1 KR1020160076468A KR20160076468A KR101827427B1 KR 101827427 B1 KR101827427 B1 KR 101827427B1 KR 1020160076468 A KR1020160076468 A KR 1020160076468A KR 20160076468 A KR20160076468 A KR 20160076468A KR 101827427 B1 KR101827427 B1 KR 101827427B1
Authority
KR
South Korea
Prior art keywords
size
frame
frames
encoded
video signal
Prior art date
Application number
KR1020160076468A
Other languages
English (en)
Other versions
KR20180001606A (ko
Inventor
정영호
김경호
곽호영
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020160076468A priority Critical patent/KR101827427B1/ko
Publication of KR20180001606A publication Critical patent/KR20180001606A/ko
Application granted granted Critical
Publication of KR101827427B1 publication Critical patent/KR101827427B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 신호 송신 장치가 개시된다. 영상 신호 송신 장치는, 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득하는 인코더, 통신 채널의 상태에 기초하여 상기 통신 채널에서 수용 가능한 전송 비트의 크기를 결정하고, 상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트의 크기보다 큰 경우, 상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트의 크기 이하가 되도록 상기 인코딩된 데이터 그룹에 포함되는 복수의 프레임 중 적어도 하나의 크기를 조정하고, 상기 크기가 조정된 영상 프레임 그룹을 전송하도록 통신부를 제어하는 프로세서 및 상기 통신 채널을 통하여 상기 크기가 조정된 영상 프레임 그룹을 전송하는 상기 통신부를 포함한다.

Description

영상 신호 송신 장치 및 그 영상 신호 송신 방법{VIDEO SIGNAL TRANSMITTING APPARATUS AND METHOD THEREOF}
본 개시는 영상 신호 송신 장치 및 그 영상 신호 송신 방법에 대한 것으로, 보다 상세하게는 영상 신호의 전송 손실을 최소화하는 영상 신호 송신 장치 및 그 영상 신호 송신 방법에 대한 것이다.
일반적으로 무선 통신 시스템에서는 잡음 (noise), 페이딩 (fading) 및 심볼간 간섭 (ISI: inter-symbol interference) 등이 원인이 되어 링크(link) 성능이 저하되는 현상이 발생한다. 또한, 수많은 기기가 제한된 무선 통신 자원을 랜덤하게 이용함으로써 채널 상황(예를 들어, 데이터 전송율, 자원 할당량)이 시시 각각으로 변동된다.
이러한 가변적인 무선 통신 시스템 환경에서 영상 신호를 수신하는 사용자가 느끼는 체감 품질(QoE: quality of experience, 이하 QoE)은 낮을 수 밖에 없는데, 이를 향상시키기 위한 다양한 노력이 있다. 대표적인 예로, 인코딩 비트 레이트를 채널 상황에 맞게 가변하는 기술이 있다.
하지만, 실시간으로 채널의 비트 레이트를 반영하여 인코딩을 다시 수행하는 경우, 반복적 인코딩 연산으로 인한 지연 시간이 길어지는 단점이 있다. 또한, 복수의 비트 레이트에 대응되는 복수의 인코딩 데이터를 미리 저장해두고 전송에 이용하는 경우, 상기 복수의 인코딩 데이터 저장으로 인한 메모리 자원의 낭비가 있다.
이에 따라, 변동되는 채널 상황에서, 인코딩 연산으로 인한 지연 및 메모리 자원의 낭비 없이 QoE를 만족시키기 위한 방안에 대한 필요성이 대두되었다. 본 개시는 가변적인 무선 채널 상태에 적응하여 최적의 영상 신호를 전송하는 영상 신호 송신 장치 및 그 영상 신호 송신 방법을 제공한다.
본 개시의 다양한 실시 예에 따른 영상 신호 송신 장치는, 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득하는 인코더, 통신 채널의 상태에 기초하여 상기 통신 채널에서 수용 가능한 전송 비트의 크기를 결정하고, 상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트의 크기보다 큰 경우, 상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트의 크기 이하가 되도록 상기 인코딩된 데이터 그룹에 포함되는 복수의 프레임 중 적어도 하나의 크기를 조정하고, 상기 크기가 조정된 영상 프레임 그룹을 전송하도록 통신부를 제어하는 프로세서 및 상기 통신 채널을 통하여 상기 크기가 조정된 영상 프레임 그룹을 전송하는 상기 통신부를 포함할 수 있다.
본 개시의 다양한 실시 예에 따른 영상 신호 송신 방법은, 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득하는 과정과, 통신 채널의 상태에 기초하여 상기 통신 채널에서 수용 가능한 전송 비트의 크기를 결정하는 과정과, 상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트의 크기보다 큰 경우, 상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트 크기 이하가 되도록 상기 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임 중 적어도 하나의 크기를 조정하는 과정과, 상기 크기가 조정된 영상 프레임 그룹을 전송하는 과정을 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 무선 채널 상태에 따른 추가적인 인코딩 연산이 필요 없으므로, 영상 데이터 전송 지연을 감소시킬 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 영상 화질 저하가 최소화되도록 블록 및 슬라이스에 우선 순위가 설정되어, 중요도가 낮은 블록 및 슬라이스가 먼저 제거되므로 영상 품질 저하가 최소화된다. 이에 따라, QoE를 최대치로 만족시킬 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 블록 및 슬라이스의 제거는 컨텐트의 종류(예를 들면, VOD(video on demand), 실시간 방송), 인코딩 방법, 무선 통신망 종류 등에 관계없이 수행되므로, 다양한 종류의 전자장치에 구조적 변경 없이 간단하게 적용 가능하다.
도 1은 본 개시의 일 실시 예에 따른 영상 신호 송수신 시스템의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 영상 신호 송신 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 대상 프레임에 포함되는 블록 또는 슬라이스를 제거하는 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 다른 실시 예에 따른 대상 프레임에 포함되는 슬라이스를 제거하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 단일 슬라이스를 복수의 블록으로 매핑하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 영상 송신 방법을 설명하기 위한 흐름도이다.
도 7은 본 개시의 다른 실시 예에 따른 영상 송신 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시 예에 대한 동작원리를 상세히 설명한다. 또한, 발명에 대한 실시 예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 하기에서 사용되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 사용된 용어들의 정의는 본 명세서 전반에 걸친 내용 및 이에 상응한 기능을 토대로 해석되어야 할 것이다.
도 1은 본 개시의 일 실시 예에 따른 영상 신호 송수신 시스템(10)의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 영상 신호 송수신 시스템(10)은 영상 신호 송신 장치(100), 영상 신호 수신 장치(200) 및 통신망(300)을 포함한다.
영상 신호 송신 장치(100)는 영상 신호를 처리한다.
구체적으로, 영상 신호 송신 장치(100)는 영상 데이터를 인코딩할 수 있다. 이 경우, 영상 신호 송신 장치(100)는 입력받은 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득할 수 있다. 예를 들어, 영상 신호 송신 장치(100)는 입력되는 영상 데이터를 기설정된 시간 단위에 따라 인코딩을 수행함으로써, 적어도 하나의 영상 프레임 그룹을 획득할 수 있다.
영상 신호 송신 장치(100)는 인코딩된 영상 데이터를 송신한다. 이 경우, 영상 신호 송신 장치(100)는 인코딩된 영상 프레임 그룹별로 처리할 수 있다. 또한, 영상 신호 송신 장치(100)는 인코딩된 영상 프레임 그룹을 처리함에 있어 통신망(300)의 채널 상태를 고려할 수 있다.
예를 들어, 영상 신호 송신 장치(100)는 현재 통신 채널의 데이터 전송률 변화를 판단하여, 인코딩된 영상 프레임 그룹들 중 하나의 영상 프레임 그룹(이하, 데이터 그룹)의 전체 영상 비트가 기설정된 시간 내에 전송될 수 있는지 여부를 판단할 수 있다. 여기서, 영상 프레임 그룹이 기설정된 시간 내에 전송될 수 있는 것으로 판단된 경우, 영상 신호 송신 장치(100)는 영상 프레임 그룹 전부를 송신한다. 반대로, 영상 프레임 그룹이 기설정된 시간 내에 전송될 수 없는 것으로 판단된 경우, 영상 신호 송신 장치(100)는 영상 프레임 그룹의 일부 데이터를 제거하여 크기가 조정된 인코딩된 영상 프레임 그룹을 송신한다. 이에 따라, 영상 신호 송신 장치(100)는 현재 통신 채널의 이용 가능한 용량에 부합하는 크기의 인코딩된 영상 프레임 그룹을 전송할 수 있다.
이 경우, 영상 신호 송신 장치(100)는 서버, 가정용 공유기, 기지국(Base Station) 등 다양한 형태로 구현될 수 있다.
영상 신호 수신 장치(200)는, 영상 신호 송신 장치(100)로부터 수신받은 영상 프레임 그룹을 처리한다.
구체적으로, 영상 신호 수신 장치(200)는 영상 신호 송신 장치(100)로부터 크기가 조정된 영상 프레임 그룹을 수신할 수 있다. 영상 신호 수신 장치(200)는 크기가 조정된 영상 프레임 그룹을 디코딩하여 출력 프레임을 생성하고, 생성된 출력 프레임을 렌더링하여 디스플레이할 수 있다.
여기서, 영상 신호 수신 장치(200)는 영상 신호 송신 장치(100)로부터 영상 신호를 수신하여 디스플레이할 수 있는 TV(television), PC(personal computer) 등일 수 있고, 사용자가 이동하면서 영상 데이터를 재생하여 볼 수 있는 스마트폰이나 이동통신 단말기 등이 될 수 있으며, 이에 제한되지는 않는다.
통신망(300)은 영상 신호 송신 장치(100)가 영상 신호 수신 장치(200)로 영상을 전송하는 전송 경로를 제공하고, 영상 신호 수신 장치(200)가 영상 신호 송신 장치(100)에 접속하기 위한 경로를 제공한다. 여기서, 통신망(300)은 WCDMA, HDPA, 3G, 4G 등 이동 통신망과, 블루투스(Bluethooth), 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망 등을 포함한다.
상술한 바와 같이, 영상 신호 송신 장치(100)는 현재 통신 채널 상태를 고려하여, 인코딩된 영상 프레임 그룹의 전체 영상 비트에서 일부 비트를 제거하여 상기 인코딩된 영상 프레임의 크기를 조정하고, 조정된 영상 프레임 그룹을 전송할 수 있다. 이 경우, 영상 신호 송신 장치(100)는 영상 프레임 그룹에 포함되는 프레임 각각의 중요도를 고려하여 영상 데이터의 크기를 조정할 수 있다. 이에 따라, 영상 신호 송수신 시스템(10)은 영상 데이터의 전송 지연을 최소화하는 동시에 사용자가 느끼는 체감 품질인 QoE(Quality of Experience)를 최대로 이끌어 낼 수 있다. 이하에서, 다양한 도면을 참조하여 영상 신호 송신 장치의 영상 신호 송신 방법에 대한 실시 예들을 상세히 설명한다.
도 2는 본 개시의 일 실시 예에 따른 영상 신호 송신 장치(100')의 구성을 설명하기 위한 블록도이다.
도 2에 따르면, 영상 신호 송신 장치(100')는 인코더(110), 통신부(120) 및 프로세서(130)를 포함한다.
인코더(110)는 영상 데이터를 인코딩한다. 이 경우, 인코더(110)는 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득할 수 있다. 구체적으로, 인코더(110)는 송신 오류를 정정하기 위하여, 영상 데이터를 적어도 하나의 영상 프레임 그룹으로 그룹화하여 인코딩을 수행할 수 있다. 여기서, 영상 프레임 그룹은 영상 프레임의 집합인 것으로 정의한다. 다시 말해, 영상 프레임 그룹은 적어도 하나의 영상 프레임을 포함하는 GoP(Group of Picture)이다.
이 경우, 인코더(110)는 영상 데이터를 일정한 또는 다양한 크기의 영상 프레임 그룹으로 분할할 수 있다. 여기서, 분할된 각 영상 프레임 그룹에 포함되는 복수의 프레임은 각각의 속성에 따라 다르게 정의될 수 있다. 예를 들어, 분할된 각 영상 프레임 그룹에 포함되는 프레임들을 각각 I 프레임, P 프레임, B 프레임으로 정의할 수 있다. 여기서, I 프레임은 전후의 프레임(또는 픽쳐)과는 상관없이 I 프레임 자체의 정보만을 이용하여 부호화된 프레임일 수 있다. 또한, P 프레임은 프레임 간의 순방향 예측 부호화를 통해 얻어지는 프레임을 의미하고, B 프레임은 픽쳐 간 양방향 예측 부호화를 얻어지는 프레임일 수 있다. 이와 같이, I 프레임은 P 프레임을 부호화하는데 이용되고, P 프레임은 B 프레임을 부호화하는데 이용되므로, I 프레임, P 프레임, B 프레임의 순서로 중요도가 높다. 또한, 중요도 순서와 동일하게, I 프레임, P 프레임, B 프레임의 순서로 데이터 크기가 큰 것이 보통이다.
이하에서는, 본 개시에 따른 다양한 실시 예로, 영상 데이터가 I 프레임, P 프레임, B 프레임으로 구성된 영상 프레임 그룹으로 인코딩된 경우를 예로 들어 설명한다. 여기서, I 프레임, P 프레임, B 프레임으로 인코딩되는 방식은 설명을 위해 예시를 든 것일 뿐, 영상 데이터를 그룹화하여 인코딩하는 다양한 방식에 본 개시가 적용될 수 있음은 물론이다. 또한, 본 개시의 다양한 실시 예에서, 영상 데이터를 예를 들어 설명하지만, 영상 데이터뿐만 아니라, 오디오, DIMS(Dynamic and Interactive Multimedia Scenes), 텍스트 등의 멀티미디어 데이터에 적용될 수 있음은 물론이다.
통신부(120)는 채널을 통하여 영상 데이터를 전송한다. 구체적으로, 통신부(120)는 인코딩된 영상 데이터 즉, 적어도 하나의 영상 프레임 데이터를 기설정된 단위의 블록으로 나눌 수 있다. 그 후, 통신부(120)는 나누어진 블록들을 각 블록별로 오류 정정 코딩 및 변조하여 전송한다. 예를 들어, 통신부(120)는 오류 정정 방법으로 순방향 오류 정정(Forward Error Correction 또는 Graceful Degradation-FEC, 이하, 'FEC'라 지칭함) 방법을 이용할 수 있으며 변조 방식으로 QPSK, 16QAM, 64QAM 등을 이용할 수 있다. 이 경우, 통신부(120)는 크기가 조정된 영상 프레임 그룹에 대해 오류 정정 코딩 및 변조를 수행하여 이를 송신할 수 있다.
　프로세서(130)는 영상 신호 송신 장치(100')를 전반적으로 제어한다. 특히, 프로세서(130)는 영상 신호 송신을 위해 다양한 기능을 수행한다.
프로세서(130)는 채널의 상태에 기초하여 상기 채널에서 수용 가능한 전송 비트의 크기를 결정할 수 있다. 여기서, 채널의 상태는 상기 채널의 이용 가능한 자원 블록의 개수에 따라 결정될 수 있다. 즉, 프로세서(130)는 채널의 이용 가능한 자원 블록의 개수에 기초하여 상기 채널에서 수용 가능한 전송 비트의 크기를 결정할 수 있다. 일 예로, 프로세서(130)는 채널의 이용 가능한 자원 블록의 개수, FEC 코딩율 및 변조지수의 곱에 기설정된 시간을 곱하여 기설정된 시간당 전송 가능한(채널에서 수용 가능한) 전송 비트의 크기를 결정할 수 있다.
한편, 프로세서(130)는 인코딩된 영상 프레임 그룹의 크기(예를 들어, 영상 데이터의 적어도 하나의 영상 프레임 그룹 중 현재 처리될 순서에 해당하는 영상 프레임 그룹) 및 채널에서 수용 가능한 전송 비트(이하, '수용 가능 전송 비트'의 크기를 비교할 수 있다. 인코딩된 영상 프레임 그룹의 크기가 수용 가능 전송 비트의 크기보다 큰 경우, 프로세서(130)는 인코딩된 영상 프레임 그룹의 크기가 수용 가능 전송 비트의 크기 이하가 되도록 인코딩된 영상 프레임 그룹의 크기를 조정할 수 있다.
구체적으로, 프로세서(130)는 인코딩된 영상 프레임 그룹의 크기를 조정하기 위해, 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임 중 적어도 하나의 크기를 조정할 수 있다.
이 경우, 복수의 프레임 중 크기가 조정되어야 할 대상 프레임이 결정되어야 하는데, 프로세서(130)는 복수의 프레임의 기설정된 순서를 판단하여 크기가 조정될 대상 프레임을 결정할 수 있다. 즉, 프로세서(130)는 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임의 기설정된 우선 순위에 기초하여 복수의 프레임 중 크기가 조정될 대상 프레임을 결정할 수 있다.
여기서, 복수의 프레임의 기설정된 우선 순위는 현재 데이터 그룹에 포함되는 복수의 프레임의 다양한 속성에 의해 결정될 수 있다. 일 예로, 기설정된 우선 순위는 복수의 프레임 각각의 크기(또는 cut length)에 따라 설정될 수 있다.
상술한 인코딩 방식의 경우를 예로 들어, 인코딩된 영상 프레임 그룹에 포함되는 I 프레임, P 프레임, B 프레임은 I 프레임, P 프레임, B 프레임의 순서대로 크기가 큰 것으로 가정한다. 일 예로, 프로세서(130)는 크기가 가장 작은 B 프레임을 크기가 조정될 대상 프레임으로 결정할 수 있다. 다른 예로, 프로세서(130)는 인코딩된 영상 프레임 그룹에 복수의 I 프레임, 복수의 P 프레임, 복수의 B 프레임이 포함되는 경우, 크기가 조정될 대상 프레임은 복수의 B 프레임 중 적어도 하나일 수 있다. 이 경우, 복수의 B 프레임 중에서도 크기에 기초하여 기설정된 우선 순위가 설정될 수 있다. 또는, 복수의 B 프레임 모두가 크기가 조정될 대상 프레임으로 결정될 수도 있다. 또 다른 예로, B 프레임이 없는 경우, 프로세서(130)는 P 프레임을 크기가 조정될 대상 프레임으로 결정할 수 있다. 또 다른 예로, B 및 P 프레임이 없는 경우, 프로세서(130)는 I 프레임을 크기가 조정될 대상 프레임으로 결정할 수도 있다.
상술한 예에서와 같이, 복수의 프레임 각각의 크기에 따라 복수의 프레임의 기설정된 우선 순위가 설정될 수 있지만, 이에 제한되지는 않는다.
예를 들어, 기설정된 우선 순위는 인코딩된 영상 프레임에 포함되는 복수의 프레임 각각의 종류에 따라 설정될 수 있다. 여기서, 복수의 프레임 각각의 종류는 어느 하나의 프레임이 다른 하나의 프레임을 참조하여 생성되었는지 여부로 결정될 수 있다. 이 경우, 복수의 프레임 중 일 프레임이 다른 프레임을 참조하여 생성된 종류인 경우, 일 프레임은 다른 프레임에 비해 후 순위로 설정될 수 있다. 일 예로, 상술한 인코딩 방식을 고려하면, 인코딩된 영상 프레임은 I 프레임, P 프레임, B 프레임의 3가지 종류의 프레임을 포함하는데, 기설정된 우선 순위는 I 프레임, P 프레임, B 프레임 순위일 수 있다. 여기서, I 프레임은 I 프레임 자체를, P 프레임은 I 프레임을, B 프레임은 P 프레임을 참조하여 생성될 수 있는데, 상술한 내용과 중복되므로 여기서 상세한 설명은 생략한다.
다른 예로, 복수의 프레임 각각의 중요도에 따라 기설정된 우선 순위가 설정될 수도 있다. 일 예로, 복수의 프레임 각각의 중요도가 I 프레임, P 프레임, B 프레임 순서로 기설정된 경우를 가정한다. 이 경우, I 프레임, B 프레임, P 프레임의 순서대로 크기가 크더라도, 프로세서(130)는 크기가 조정될 대상 프레임을 중요도가 가장 낮은 B 프레임으로 결정할 수 있다. 여기서, 복수의 프레임 각각의 중요도는 임의대로 설정될 수 있음은 물론이고, 상술한 복수의 프레임 각각의 종류에 따라 결정될 수도 있으며 이에 제한되지는 않는다.
상술한 다양한 예에서, 영상 프레임 그룹의 크기 조정을 위해, 영상 프레임 그룹에 포함되는 복수의 프레임 중 크기가 조정될 대상 프레임을 결정하는 방법을 상세히 설명하였다.
한편, 대상 프레임이 하나의 슬라이스로 인코딩된 경우, 프로세서(130)는 슬라이스를 복수 개의 블록으로 매핑하고, 복수 개의 블록 중 적어도 하나를 제거하여 크기가 조정될 대상 프레임(이하, '대상 프레임'의 크기를 조정할 수 있다. 이하에서는, 도 3 및 도 4를 참조하여, 대상 프레임에 포함되는 블록 또는 슬라이스를 제거하여, 영상 프레임 그룹의 크기가 수용 가능 전송 비트의 크기 이하가 되도록 하는 다양한 실시 예를 상세히 설명한다. 한편, 대상 프레임이 단일 슬라이스로 인코딩된 경우 단일 슬라이스를 복수의 블록으로 매핑하는 방법에 대하여는 도 5를 참조하여 상세히 후술한다.
이하에서, 블록은 영상 데이터를 처리하는 단위이다. 여기서, 블록의 크기는 통신 네트워크에서 정한 FEC(forward error correction) 블록의 크기에 따라 설정될 수 있다. 또한, 블록의 크기는 통신 네트워크에서 정한 FEC 블록의 크기 외에 임의로 설정될 수 있음도 물론이다. 또한, 슬라이스는 영상 데이터를 처리하는 단위이다. 여기서, 슬라이스는 하나 이상의 헤더와 하나 이상의 데이터 필드를 가질 수 있다. 또한, 하나의 슬라이스는 상술한 블록 단위로 구분될 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 대상 프레임에 포함되는 블록 또는 슬라이스를 제거하는 방법을 설명하기 위한 도면이다.
도 3에 따르면, 영상 프레임 그룹(400)은 I 프레임(I0), 복수의 P 프레임(P1, P4, P7) 및 복수의 B 프레임(B2, B3, B5, B6, B8, B9)을 포함한다. 여기서, 기설정된 우선 순위에 기초하여, 프로세서(130)는 대상 프레임으로 B2, B6 및 B8 프레임을 결정한 것으로 가정한다. 또한, 대상 프레임인 B2, B6 및 B8 프레임 각각은 단일 슬라이스로 인코딩된 것으로 가정한다. 이 경우, B2, B6 및 B8 프레임이 인코딩된 슬라이스 각각은 복수의 블록(1 내지 36번 블록)으로 매핑된 것으로 가정한다.
프로세서(130)는 인코딩된 영상 프레임 그룹의 비트 크기(이하, '영상 프레임 그룹의 크기')와 및 수용 가능 전송 비트의 크기를 비교하여, 영상 프레임 그룹의 데이터 중 제거되어야 할 데이터의 크기(또는, 제거되어야 할 비트의 크기)를 결정할 수 있다.
도 3을 참조하면, 예를 들어, 프로세서(130)가 영상 프레임 그룹의 크기가 수용 가능 전송 비트의 크기 이하가 되기 위해, 기설정된 블록의 크기의 28배를 제거해야 하는 것으로 판단한 경우, 프로세서(130) B2 프레임의 23번 블록 내지 36번 블록, B6 프레임의 28번 블록 내지 36번 블록, B8 프레임의 32번 블록 내지 36번 블록을 제거할 수 있다. 이 경우, 프로세서(130)는 B2 프레임의 23번 블록 내지 36번 블록을, B6 프레임의 28번 블록 내지 36번 블록, B8 프레임의 32번 블록 내지 36번 블록을, 대상 프레임 및 대상 프레임에 포함된 블록 모두에 대해 랜덤하게 제거할 수 있다. 또는, 프로세서(130)는 대상 프레임 각각에 대하 순차적으로 블록 하나씩 제거하되, 같은 대상 프레임에 포함된 대상 블록 중 하나를 랜덤하게 제거할 수도 있다. 또는, 프로세서(130)는 대상 프레임에 포함된 블록 중 후 순위 블록(예를 들면, B2 프레임의 36번 블록부터)부터 제거할 수 있다.
상술한 예에서, 각 대상 프레임(B2, B6 및 B8 프레임)은 블록 단위로 구분된 것으로 설명하였으나 이에 제한되지 않는다. 예를 들어, 각 대상 프레임은 복수의 슬라이스로 구분될 수도 있다. 이 경우, 각 대상 프레임은 1번 슬라이스 내지 36번 슬라이스를 포함할 수 있으며, 각 슬라이스들은 현재 데이터 그룹의 크기를 조정하기 위해 상술한 다양한 예들과 동일한 방법으로 제거될 수 있다.
한편, 프로세서(130)는 복수의 슬라이스에 기설정된 중요도 값에 기초하여, 복수 개의 슬라이스 중 적어도 하나를 제거할 수 있다. 이에 대하여, 도 4를 참조하여 상세히 설명한다.
도 4는 본 개시의 다른 실시 예에 따른 대상 프레임에 포함되는 슬라이스를 제거하는 방법을 설명하기 위한 도면이다.
도 4에 따르면, 프로세서(130)는 영상 프레임 그룹의 크기를 조정하기 위해 기설정된 중요도에 기초하여 대상 프레임(500)에 포함되는 슬라이스 중 적어도 하나를 제거할 수 있다. 여기서, 대상 프레임(500)은 복수의 슬라이스(슬라이스 1 내지 슬라이스 500)로 인코딩된 경우를 가정한다.
도 4를 참조하면, 대상 프레임(500)의 복수의 슬라이스(슬라이스 1 내지 슬라이스 500) 각각에는 기설정된 중요도가 매칭되어 있다. 여기서, 기설정된 중요도는, 대상 프레임(500)이 디스플레이되는 경우, 복수의 슬라이스(슬라이스 1 내지 슬라이스 500) 각각이 디스플레이되는 화면에서 차지하는 중요도를 말할 수 있다. 예를 들면, 작은 사물이 화면 상을 움직이는 경우 작은 사물에 해당하는 슬라이스는 중요도가 높고, 화면에서 변동이 없는 배경에 대응되는 슬라이스는 중요도가 낮게 설정될 수 있다.
예를 들어, 프로세서(130)가 영상 프레임 그룹의 크기 중 기설정된 슬라이스 크기의 5배가 제거되어야 하는 것으로 판단한 경우를 가정한다. 이 경우, 프로세서(130)는 기설정된 중요도에 기초하여, 중요도가 낮은 것으로 설정된 95번 슬라이스, 2번 슬라이스, 156번 슬라이스, 144번 슬라이스, 48번 슬라이스를 제거할 수 있다.
상술한 예에서, 대상 프레임에 포함되는 복수의 슬라이스 각각에 중요도가 설정되는 예를 설명하였으나 이에 제한되지는 않는다. 예를 들어, 대상 프레임이 복수의 블록으로 구분되는 경우, 복수의 블록 각각에 중요도가 설정될 수 있다. 이에 따라, 프로세서(130)는 영상 프레임 그룹의 크기를 조정하기 위하여 중요도가 낮은 블록부터 제거할 수 있다.
한편, 프로세서(130)는 크기가 조정된 영상 프레임 그룹을 전송하도록 통신부(120)를 제어할 수 있다.
상술한 바와 같이, 현재 데이터 그룹의 크기를 채널의 상태에 맞게 조정함으로써, 영상 데이터에 대한 추가적인 인코딩 연산이 요구되지 않으므로 전송 지연을 크게 줄일 수 있다. 이에 따라, 송신단 구성의 복잡도도 크게 줄일 수 있다. 또한, 중요도가 낮은 블록 또는 슬라이스 중 일부를 제거하여 현재 데이터 그룹의 크기를 조정함으로써, 영상 화질의 저하를 최소화할 수 있다.
한편, 단일 프레임을 단일 슬라이스로 인코딩한 경우 단일 슬라이스를 복수의 블록으로 매핑하는 방법에 대하여 도 5를 참조하여 상세히 설명한다.
도 5는 본 개시의 일 실시 예에 따른 단일 슬라이스를 복수의 블록으로 매핑하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 영상 데이터의 i 번째 슬라이스(단일 슬라이스)(530)는 복수의 FEC 블록(540-1, 540-2, 540-i)으로 매핑될 수 있다. 여기서, LFEC,i는 통신 네트워크(예를 들어, 셀룰러 통신 시스템)에서 정한 FEC 블록의 비트 크기를 의미하며, LVSD,i는 i 번째 슬라이스(530)의 비트 크기를 말한다. 따라서, i 번째 슬라이스(530)가 매핑되는 FEC 블록의 수 NFEC,i는 NFEC,i=ceil (LVSD,i/LFEC,i)로 계산될 수 있다. 또한, ceil()은 주어진 값을 올림하는 함수를 의미한다. 또한, LFEC ',i는 FEC 블록 크기로 i 번째 슬라이스(530)를 나눈 나머지 비트를 나타낸다. 따라서, i 번째 슬라이스(530)에서 가장 마지막에 매핑되는 FEC 블록(540-i)은 다른 FEC 블록(540-1 내지 540-(i-1))에 비해 작거나 같은 데이터 크기를 가질 수 있다.
도 6은 본 개시의 일 실시 예에 따른 영상 송신 방법을 설명하기 위한 흐름도이다.
도 6에 따르면, 프로세서(130)는 채널에 수용 가능한 전송 비트의 크기를 결정할 수 있다(S610). 그 다음, 프로세서(130)는 영상 프레임 그룹의 크기 및 채널에 수용 가능한 전송 비트의 크기를 비교할 수 있다(S620). 여기서, 영상 프레임 그룹의 크기가 채널 수용 가능 전송 비트의 크기보다 작은 경우(S630-N), 프로세서(130)는 영상 프레임 그룹을 전송할 수 있다(S690). 반면에, 영상 프레임 그룹의 크기가 채널 수용 전송 비트의 크기보다 큰 경우(S630-Y), 프로세서(130)는 크기가 조정될 대상 프레임을 결정할 수 있다(S640). 그 다음, 프로세서(130)는 대상 프레임이 단일 슬라이스로 인코딩되었는지 여부를 판단할 수 있다(S650). 여기서, 대상 프레임이 단일 슬라이스로 인코딩된 것으로 판단된 경우(S650-Y), 프로세서(130)는 복수의 블록으로 블록 매핑을 수행할 수 있다(S670). 그 다음, 프로세서(130)는 제거 대상 블록을 결정하여 제거할 수 있다(S680). 그 다음, 프로세서(130)는 크기가 조정된 영상 프레임 그룹을 전송할 수 있다(S690). 한편, 대상 프레임이 2 이상의 슬라이스로 인코딩된 것으로 판단된 경우(S650-N), 프로세서(130)는 제거 대상 슬라이스를 결정하여 제거할 수 있다(S660), 그 다음, 프로세서(130)는 크기가 조정된 영상 프레임 그룹을 전송할 수 있다(S690).
도 7은 본 개시의 다른 실시 예에 따른 영상 송신 방법을 설명하기 위한 흐름도이다.
먼저, 영상 신호 송신 방법은 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득하고(S710), 통신 채널의 상태에 기초하여 통신 채널에서 수용 가능한 전송 비트의 크기를 결정하고(S720), 인코딩된 영상 프레임 그룹의 크기가 수용 가능한 전송 비트의 크기보다 큰 경우, 인코딩된 영상 프레임 그룹의 크기가 수용 가능한 전송 비트 크기 이하가 되도록 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임 중 적어도 하나의 크기를 조정하며(S730), 크기가 조정된 영상 프레임 그룹을 전송한다(S740).
여기서, 조정하는 과정은 통신 채널의 이용 가능한 자원 블록의 개수에 기초하여 수용 가능한 전송 비트의 크기를 결정하는 과정을 포함할 수 있다.
또한, 조정하는 과정은 인코딩된 영상 프레임 그룹의 크기가 수용 가능한 전송 비트의 크기보다 큰 경우, 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임의 기설정된 우선 순위에 기초하여 복수의 프레임 중 크기가 조정될 대상 프레임을 결정하는 과정을 포함할 수 있다.
여기서, 기설정된 우선 순위는 복수의 프레임 중 일 프레임이 다른 프레임을 참조하여 생성된 경우, 일 프레임은 다른 프레임에 비해 후 순위로 설정된 것일 수 있다.
또한, 조정하는 과정은 대상 프레임이 하나의 슬라이스로 인코딩된 경우, 슬라이스를 복수 개의 블록으로 매핑하고, 복수 개의 블록 중 적어도 하나를 제거하여 대상 프레임의 크기를 조정할 수 있다.
또한, 대상 프레임이 복수 개의 슬라이스로 인코딩된 경우, 기설정된 중요도 값에 기초하여 복수 개의 슬라이스 중 적어도 하나를 제거하여 대상 프레임의 크기를 조정하는 과정을 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 영상 신호 송신 방법은 컴퓨터로 실행 가능한 프로그램 코드로 구현되어 다양한 비 일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 프로세서에 의해 실행되도록 각 서버 또는 기기들에 제공될 수 있다.
일 예로, 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득하는 과정, 통신 채널의 상태에 기초하여 통신 채널에서 수용 가능한 전송 비트의 크기를 결정하는 과정, 인코딩된 영상 프레임 그룹의 크기가 수용 가능한 전송 비트의 크기보다 큰 경우, 인코딩된 영상 프레임 그룹의 크기가 수용 가능한 전송 비트의 크기 이하가 되도록 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임 중 적어도 하나의 크기를 조정하는 과정 및 크기가 조정된 영상 프레임 그룹을 전송하는 과정을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 영상 신호 송신 장치 200: 영상 신호 수신 장치
110: 인코더 120: 통신부
130: 프로세서

Claims (12)

  1. 통신 채널을 통해 영상 신호를 송신하는 장치에 있어서,
    통신부;
    영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득하는 인코더; 및
    통신 채널의 상태에 기초하여 상기 통신 채널에서 수용 가능한 전송 비트의 크기를 결정하고, 상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트의 크기보다 큰 경우, 상기 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임의 기설정된 우선 순위에 기초하여 상기 복수의 프레임 중 크기가 조정될 대상 프레임을 결정하고, 상기 대상 프레임이 복수 개의 슬라이스로 인코딩된 경우, 상기 복수 개의 슬라이스 각각이 나타내는 오브젝트(object)가 화면 상을 이동하는지 여부에 따라 설정되는 중요도에 기초하여 상기 복수 개의 슬라이스 중 적어도 하나를 제거하여 상기 대상 프레임의 크기를 조정하고, 상기 크기가 조정된 영상 프레임 그룹을 전송하도록 통신부를 제어하는 프로세서;를 포함하는, 영상 신호 송신 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 통신 채널의 이용 가능한 자원 블록의 개수에 기초하여 상기 수용 가능한 전송 비트의 크기를 결정하는, 영상 신호 송신 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 기설정된 우선 순위는,
    상기 복수의 프레임 중 일 프레임이 다른 프레임을 참조하여 생성된 경우, 상기 일 프레임은 상기 다른 프레임에 비해 낮은 우선 순위로 설정된, 영상 신호 송신 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 대상 프레임이 하나의 슬라이스로 인코딩된 경우, 상기 슬라이스를 복수 개의 블록으로 매핑하고, 상기 복수 개의 블록 중 적어도 하나를 제거하여 상기 대상 프레임의 크기를 조정하는, 영상 신호 송신 장치.
  6. 삭제
  7. 통신 채널을 통해 영상 신호를 송신하는 방법에 있어서,
    영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득하는 과정과,
    통신 채널의 상태에 기초하여 상기 통신 채널에서 수용 가능한 전송 비트의 크기를 결정하는 과정과,
    상기 인코딩된 영상 프레임 그룹의 크기가 상기 수용 가능한 전송 비트의 크기보다 큰 경우, 상기 인코딩된 영상 프레임 그룹에 포함되는 복수의 프레임의 기설정된 우선 순위에 기초하여 상기 복수의 프레임 중 크기가 조정될 대상 프레임을 결정하고, 상기 대상 프레임이 복수 개의 슬라이스로 인코딩된 경우, 상기 복수 개의 슬라이스 각각이 나타내는 오브젝트(object)가 화면상을 이동하는지 여부에 따라 설정되는 중요도에 기초하여 상기 복수 개의 슬라이스 중 적어도 하나를 제거하여 상기 대상 프레임의 크기를 조정하는 과정과,
    상기 크기가 조정된 영상 프레임 그룹을 전송하는 과정을 포함하는, 영상 신호 송신 방법.
  8. 제7항에 있어서,
    상기 조정하는 과정은,
    상기 통신 채널의 이용 가능한 자원 블록의 개수에 기초하여 상기 수용 가능한 전송 비트의 크기를 결정하는 과정을 포함하는, 영상 신호 송신 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 기설정된 우선 순위는,
    상기 복수의 프레임 중 일 프레임이 다른 프레임을 참조하여 생성된 경우, 상기 일 프레임은 상기 다른 프레임에 비해 낮은 우선 순위로 설정된, 영상 신호 송신 방법.
  11. 제7항에 있어서,
    상기 조정하는 과정은,
    상기 대상 프레임이 하나의 슬라이스로 인코딩된 경우, 상기 슬라이스를 복수 개의 블록으로 매핑하고, 상기 복수 개의 블록 중 적어도 하나를 제거하여 상기 대상 프레임의 크기를 조정하는, 영상 신호 송신 방법.



  12. 삭제
KR1020160076468A 2016-06-20 2016-06-20 영상 신호 송신 장치 및 그 영상 신호 송신 방법 KR101827427B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160076468A KR101827427B1 (ko) 2016-06-20 2016-06-20 영상 신호 송신 장치 및 그 영상 신호 송신 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160076468A KR101827427B1 (ko) 2016-06-20 2016-06-20 영상 신호 송신 장치 및 그 영상 신호 송신 방법

Publications (2)

Publication Number Publication Date
KR20180001606A KR20180001606A (ko) 2018-01-05
KR101827427B1 true KR101827427B1 (ko) 2018-02-08

Family

ID=61001869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160076468A KR101827427B1 (ko) 2016-06-20 2016-06-20 영상 신호 송신 장치 및 그 영상 신호 송신 방법

Country Status (1)

Country Link
KR (1) KR101827427B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235090B (zh) * 2018-01-22 2021-09-17 广州市千钧网络科技有限公司 一种调整画面角度的方法及装置
KR102116410B1 (ko) * 2018-09-19 2020-05-28 주식회사 와이젯 채널환경에 따른 무선영상 가변 전송방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968266B1 (ko) * 2009-10-28 2010-07-06 주식회사 인비전트 실시간 데이터 전송 제어 시스템 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968266B1 (ko) * 2009-10-28 2010-07-06 주식회사 인비전트 실시간 데이터 전송 제어 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
KR20180001606A (ko) 2018-01-05

Similar Documents

Publication Publication Date Title
US10419787B2 (en) Dynamic programming across multiple streams
CA2878327C (en) Methods for quality-aware adaptive streaming over hypertext transfer protocol
US10680911B2 (en) Quality of experience based network resource management
US20150208079A1 (en) Adaptive frame type detection for real-time low-latency streaming servers
WO2017031692A1 (zh) 视频下载方法、装置及系统
US20090110060A1 (en) Method and apparatus for performing lower complexity multiple bit rate video encoding using metadata
EP3022884A1 (en) Quality optimization with buffer and horizon constraints in adaptive streaming
CN112868229A (zh) 用于流传输数据的方法和设备
US20140105285A1 (en) Wireless channel aware adaptive video bit rate encoding
US10003626B2 (en) Adaptive real-time transcoding method and streaming server therefor
EP3047627B1 (en) Dash representations adaptations in network
CN104394484A (zh) 一种无线实时流媒体传输方法
WO2014105383A1 (en) Method and system for adaptive video transmission
US9106911B2 (en) Wireless communication device and wireless communication method
CN101047476B (zh) 一种选择调制方式的方法和装置
CN111263192A (zh) 视频处理方法及相关设备
KR20170047489A (ko) 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록매체
KR101827427B1 (ko) 영상 신호 송신 장치 및 그 영상 신호 송신 방법
CN108377400A (zh) 一种图像传输优化方法、系统及其装置
CN116193133A (zh) 基于无线空口带宽的码率自适应调整装置和方法
KR102095207B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR102037165B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20140082572A (ko) 계층 변조 신호의 성상비
JP2014526179A (ja) モバイルｉｐｔｖサービスの提供方法及びそれを実行するシステム
JP7280535B2 (ja) 符号化データ生成方法、符号化データ生成装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant