KR101853744B1 - 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치 - Google Patents

멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치 Download PDF

Info

Publication number
KR101853744B1
KR101853744B1 KR1020110035110A KR20110035110A KR101853744B1 KR 101853744 B1 KR101853744 B1 KR 101853744B1 KR 1020110035110 A KR1020110035110 A KR 1020110035110A KR 20110035110 A KR20110035110 A KR 20110035110A KR 101853744 B1 KR101853744 B1 KR 101853744B1
Authority
KR
South Korea
Prior art keywords
video
encoding
layer
svc
information
Prior art date
Application number
KR1020110035110A
Other languages
English (en)
Other versions
KR20120117382A (ko
Inventor
배태면
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020110035110A priority Critical patent/KR101853744B1/ko
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to US14/111,834 priority patent/US9083949B2/en
Priority to EP15194417.0A priority patent/EP3021587A3/en
Priority to JP2014505084A priority patent/JP5557265B1/ja
Priority to PCT/KR2012/002861 priority patent/WO2012141551A2/ko
Priority to EP15193340.5A priority patent/EP3001683A3/en
Priority to CN201280024116.8A priority patent/CN103548353B/zh
Priority to EP15193360.3A priority patent/EP3007445A1/en
Priority to EP12771035.8A priority patent/EP2698995A4/en
Publication of KR20120117382A publication Critical patent/KR20120117382A/ko
Priority to US14/797,471 priority patent/US20150319443A1/en
Priority to US14/884,967 priority patent/US20160037169A1/en
Priority to US14/884,943 priority patent/US10750185B2/en
Application granted granted Critical
Publication of KR101853744B1 publication Critical patent/KR101853744B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된, 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치에 관한 것이다.
본 발명에 따른 비디오 인코딩 장치는, 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 비디오 정렬부; 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 비트스트림 분석부; 및 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 SVC 재인코딩부를 포함한다.

Description

멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치{Fast scalable video coding method and device using multi-track video}
본 발명은 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치에 관한 것으로서, 더욱 자세하게는 둘 이상의 멀티트랙 비디오(multi-track video)를 해상도, 프레임율, 비트율에 따라 SVC(Scalable Video Coding) 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림(bitstream)을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된 것이다.
컨텐츠 제공자(CP)로부터 제공받은 비디오 및 오디오를 포함하는 컨텐츠를 사용자 단말기에 서비스 하기 위해서는 기본적인 해상도 스케일링(Resolution Scaling), 프레임율 변환(frame rate conversion), 비디오/오디오 인코딩(Vidoe/audio Encoding), 메타데이터 삽입(Metadata Insertion), 패키징(Packaging) 등의 인제스팅(Ingesting) 과정을 거친다.
이때, 컨텐츠 서버에서 인제스팅 과정을 수행할 때 오류가 발생한 비디오를 사용자 단말기에 서비스하는 경우 사용자 단말기에서 재생할 때 문제가 발생하게 된다. 이를 방지하기 위해 최종 결과물을 재생하여 사람이 직접 확인하는 과정을 마지막으로 거치게 된다.
그런데, 컨텐츠 서버에서 사용자 단말기에 제공하는 대부분의 비디오는 그 양이 많거나 방대하므로 인제스팅 하기 위해서 사용자가 일일이 확인하는 과정은 오래 걸리거나 한계가 있으므로 사람에 의한 확인 과정을 자동화하여 좀 더 빠르게 수행하는 기술이 최근에 많이 제안되고 있다.
이와 함께 온라인 비디오 서비스는 인터넷을 통해 비디오를 스트리밍하여 사용자가 비디오를 소비할 수 있도록 하는데, 이 때 사용자의 네트워크 환경에 맞게 비디오 데이터량을 조절하면서 전송하는 적응적 비디오 스트리밍(adaptive video streaming) 기술을 통해 사용자에게 중간에 끊기거나 영상이 깨진 비디오를 시청하도록 하는 일을 방지하는 기술이 일반화되고 있다. 현재의 adaptive video streaming 기술은 하나의 원본 비디오에 대해 다양한 데이터 크기를 가지는 압축비디오를 만들어 두고 사용자의 네트워크 환경에 맞는 압축비디오를 선택하는 기술이 주를 이루고 있는데, 이러한 방법은 서비스 시스템이 하나의 비디오에 대해 여러 개의 압축 비디오(Multi-track video)를 인제스팅해야 한다.
한편, 최근에는 하나의 압축 비디오로 다양한 device와 네트워크 환경에 대해 비디오 서비스를 제공하는 것을 목적으로 Scalable Video Coding(SVC) 방법이 ITU와 MPEG의 join video technology(JVT) group에 의해 H.264를 기반으로 표준화 되었다.
그러나 SVC는 표준화가 최근에 이루어져 상용화에 있어서는 초기 단계에 있으며, 현재는 SVC 전 단계로 video를 H.264와 같은 기존의 coding방법으로 여러 개의 파일을 준비하여 각 device와 네트워크 환경에 맞는 파일을 제공하는 multi-track video 방식을 활용하고 있다. 앞으로 SVC로 전환하는 경우, 기존의 multi-track video를 SVC로 재인코딩해야 하며, 이러한 재인코딩은 시간이 많이 소요되는 문제점이 있다.
전술한 문제점을 해결하기 위한 본 발명은, 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된, 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치를 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오에서 가장 하위 레이어(layer)의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오 내지 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 것을 특징으로 하는 비디오 인코딩 장치가 제공된다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 비디오 정렬부; 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 비트스트림 분석부; 및 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 SVC 재인코딩부를 포함하는 비디오 인코딩 장치가 제공된다.
또한, 상기 비디오 정렬부는, 상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬할 수 있다.
또한, 상기 비트스트림 분석부는, 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출할 수 있다.
또한, 상기 SVC 재인코딩부는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행할 수 있다.
그리고, 상기 SVC 재인코딩부는, 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 재인코딩을 수행할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 또다른 측면에 따르면, (a) 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 단계; (b) 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하는 단계; 및 (c) 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 단계를 포함하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법이 제공된다.
또한, 상기 (a) 단계는, 상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬할 수 있다.
또한, 상기 (b) 단계는, 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오로부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출할 수 있다.
또한, 상기 (c) 단계는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행할 수 있다.
그리고, 상기 (c) 단계는, 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 재인코딩을 수행할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 또다른 측면에 따르면, (a) 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 단계; (b) 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하는 단계; (c) 상기 인코딩 정보를 기반으로 인터레이어 인트라 프리딕션을 수행하여 인터레이어 인트라 모드의 인코딩 코스트를 산출하는 단계; (d) 현재 인코딩 모드의 인코딩 코스트를 산출하는 단계; 및 (e) 상기 두 인코딩 코스트를 비교하여 그 결과에 따라 현재 인코딩 모드 또는 인터레이어 인트라 모드로 SVC 재인코딩을 실행하는 단계를 포함하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법이 제공된다.
여기서, 상기 인코딩 코스트는 를 통해 산출하고, R은 inter mode일 때 motion vector를 전송하는 데 필요한 데이터 크기를 나타내는 cost이고, λ는 Lagrange multipler로써 예측오차 cost와 움직임 정보 cost의 weight를 표현하는 상수이며 상기 Intra mode의 encoding cost의 경우에 R이 zero가 된다.
본 발명에 의하면, 멀티트랙 비디오를 스케일러블 비디오로의 인코딩 시간을 단축시켜 고속화를 실현할 수 있다.
또한, 기존의 인코딩 모드를 최대한 활용하여 멀티트랙 비디오를 스케일러블 비디오로 고속 변환이 가능하고, 스케일러블 비디오의 특징인 인터레이어 인트라 프리딕션 모드를 활용하여 압축 효율을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 비디오 제공 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 비디오 인코딩 장치의 내부 기능 블럭을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명의 실시예에 따라 원본 비디오를 N 개의 멀티트랙 비디오로 생성하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 각 매크로블럭별 SVC 재인코딩 과정을 설명하기 위한 동작 흐름도이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 비디오 제공 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 비디오 제공 시스템(100)은 비디오 인코딩 장치(110), 통신망(120) 및 사용자 단말기(130) 등을 포함한다.
비디오 인코딩 장치(110)는 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오에서 가장 하위 레이어(layer)의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오 내지 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행한다.
이어, 비디오 인코딩 장치(110)는 재인코딩 된 SVC 비디오를 통신망(120)을 통해 사용자 단말기(130)에 전송하여 제공한다.
여기서, 비디오 인코딩 장치(110)는 원본 비디오를 인제스팅하여 하나 이상의 사용자 단말기(130)에 전송해 주는 미디어 서버 등이 될 수 있으며, 원본 비디오를 입력받아 둘 이상 다수 개의 멀티트랙 비디오로 인제스팅해서 통신망(120)을 통해 전송할 수 있는 전용 미디어 장치 등이 될 수 있다.
통신망(120)은 비디오 인코딩 장치(110)에서 사용자 단말기(130)로 비디오를 전송하는 전송 경로를 제공하고, 사용자 단말기(130)가 비디오 인코딩 장치(110)에 접속하기 위한 접속 경로를 제공한다. 여기서, 통신망(120)은 WCDMA, HDPA, 3G, 4G 등 이동 통신망과, 블루투스(Bluetooth)와 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망과, 인터넷이나 PSTN 등 유선 통신망 등을 포함한다.
사용자 단말기(130)는 비디오 인코딩 장치(110)로부터 인제스팅 된 SVC 비디오를 수신하여 디코딩해서 디스플레이한다.
여기서, 사용자 단말기(130)는 비디오 인코딩 장치(110)로부터 비디오 데이터를 수신하여 디스플레이할 수 있는 IPTV, 셋탑박스(Settop Box) 등이 될 수 있으며, 사용자가 이동하면서 비디오 데이터를 재생하여 볼 수 있는 스마트 폰이나 이동통신 단말기 등이 될 수 있다.
도 2는 본 발명의 실시예에 따른 비디오 인코딩 장치의 내부 기능 블럭을 개략적으로 나타낸 구성도이다.
도 2를 참조하면, 본 발명에 따른 비디오 인코딩 장치(110)는, 통신부(210), 원본비디오 저장부(220), 멀티트랙비디오 인코더(230), 비디오 정렬부(240), 비트스트림 분석부(250) 및 SVC 재인코딩부(260) 등을 포함한다.
통신부(210)는 사용자 단말기(130)와 통신망(120)을 통해 통신한다.
즉, 통신부(210)는 사용자 단말기(130)로부터 통신망(120)을 통해 비디오 및 오디오를 포함하는 컨텐츠의 전송 요청을 수신하거나, 사용자 단말기(130)에 인제스팅(Ingesting) 된 컨텐츠를 전송한다.
원본비디오 저장부(220)는 오디오와 비디오를 포함하는 원본 비디오를 다양한 종류에 따라 다수 개로 저장하고 있다.
멀티트랙 비디오 인코더(230)는 원본 비디오를 입력받아 도 4에 도시된 바와 같이 화질이 서로 다른 둘 이상 N 개의 압축비디오를 생성한다. 도 4는 본 발명의 실시예에 따라 원본 비디오를 N 개의 압축비디오로 생성하는 예를 나타낸 도면이다.
비디오 정렬부(240)는 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬한다.
이때, 비디오 정렬부(240)는, 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bit rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬한다.
비트스트림 분석부(250)는 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출한다.
이때, 비트스트림 분석부(250)는, 비디오 정렬부(240)를 통해 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출한다.
SVC 재인코딩부(260)는 추출된 인코딩 정보를 기반으로 SVC 재인코딩을 실행한다.
이때, SVC 재인코딩부(260)는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행한다. 즉, SVC 재인코딩부(260)는 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처(texture) 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드(Encoding Mode)의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 재인코딩을 수행한다.
여기서, 인코딩 모드는 매크로블럭을 압축하는 방법인 인트라 또는 인터 모드를 통틀어 인코딩 모드라 하고, 프리딕션 정보는 motion vector, block partion 정보 등 움직임 예측에 관련된 정보이며, 인터레이어 인트라 프리딕션은 SVC에서 레이어 간 정보를 이용하여 인트라 prediction을 수행하는 것을 의미한다.
또한, 인코딩 코스트(encoding cost)는 인코딩 시 필요한 비트(bit)량을 나타내며, H.264에서 일반적으로 사용되는 움직임 예측 시 오차(SAD:Sum of Absolute Difference, SSD:Sum of Square Difference, MSE: Mean Square Error)와 인코딩 시 필요한 motion vector의 bit량(R)을 Lagrange multipler ramda를 활용하여 나타내며, SVC 재인코딩부(260)는 encoding cost가 최소가 되는 motion vector를 활용한다.
도 3은 본 발명의 실시예에 따른 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법을 설명하기 위한 동작 흐름도이다.
도 3을 참조하면, 본 발명에 따른 비디오 인코딩 장치(100)는 원본 비디오를 멀티트랙비디오 인코더(230)에 입력받아 도 4에 도시된 바와 같이 화질이 서로 다른 둘 이상 N 개의 멀티트랙 비디오를 생성한다(S310). 여기서, 도 4는 본 발명의 실시예에 따라 원본 비디오를 N 개의 멀티트랙 비디오로 생성하는 예를 나타낸 도면이다.
이어, 비디오 인코딩 장치(100)는 둘 이상의 멀티트랙 비디오를 비디오 정렬부(240)를 통해 SVC 인코딩에 맞게 정렬한다(S320).
이때, 비디오 인코딩 장치(100)는 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬한다.
이어, 비디오 인코딩 장치(100)는 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 비트스트림 분석부(250)에 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출한다(S330).
이어, 비디오 인코딩 장치(100)는 추출된 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 SVC 재인코딩을 수행한다(S340).
이어, 비디오 인코딩 장치(100)는 다음 비디오가 최상위 레이어의 N 번째 비디오이면(S350-예) 인코딩 동작을 종료하고, 그렇지 않으면 그 다음 하위 레이어의 3번째 비디오로부터 최상위 레이어의 N 번째 비디오까지 2 개씩 입력받아 각각의 비트스트림을 분석하여 인코딩 정보를 추출한다(S360).
그리고, 비디오 인코딩 장치(100)는 2 개의 인코딩 정보를 바탕으로 SVC 재인코딩부(260)를 통해 해당 비트스트림을 매크로블록 단위로 최상위 N 번째 비디오까지 SVC 재인코딩을 수행한다(S340).
여기서, SVC 재인코딩부(260)는 도 5에 도시된 흐름도와 같이 각 매크로블럭별 재인코딩을 수행한다. 도 5는 본 발명의 실시예에 따른 각 매크로블럭별 SVC 재인코딩 과정을 설명하기 위한 동작 흐름도이다.
SVC 재인코딩부(260)는 입력되는 2 개의 인코딩(encoding) 정보를 바탕으로 상위 layer에 해당하는 비트스트림을 매크로블럭 단위로 수행한다.
먼저, SVC 재인코딩부(260)는 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션을 수행하고 inter-layer intra prediction 영상을 구성한다(S510).
이어, SVC 재인코딩부(260)는 다음 수학식 1과 같이 인터레이어 인트라 모드의 인코딩 코스트(encoding cost)를 산출한다(S520).
Figure 112011027906594-pat00001
여기서 R은 inter mode일 때 motion vector를 전송하는 데 필요한 데이터 크기를 나타내는 cost이고, λ는 Lagrange multipler로써 예측오차 cost와 움직임 정보 cost의 weight를 표현하는 상수이다. Intra mode의 encoding cost의 경우에는 R이 zero가 된다.
이어, SVC 재인코딩부(260)는 수학식 1에 따라 현재 인코딩 모드의 인코딩 코스트를 산출한다(S530).
이어, SVC 재인코딩부(260)는 인터레이어 인트라 모드의 인코딩 코스트와 현재 인코딩 모드의 인코딩 코스트를 비교하여, 인터레이어 인트라 모드의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값(α)을 더한 값보다 작으면(S540-예), 인터레이어 인트라 모드로 SVC 재인코딩을 수행하고(S550), 그렇지 않으면(S540-아니오) 현재의 인코딩 모드로 인코딩을 수행한다(S560).
이때, 특정 상수값(α)은 inter-layer intra mode로 재인코딩시의 cost가 현재 encoding mode보다 현저히 높은 효율을 보이지 않는다면 현재 encoding mode를 유지하도록 하는 역할을 한다.
전술한 바와 같이 본 발명에 의하면, 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된, 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치를 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 컨텐츠 서버에서 사용자 단말기로 비디오를 포함하는 컨텐츠를 전송하는 서비스 및 시스템에 적용할 수 있다.
또한, 사용자 단말기에 컨텐츠를 전송하기 위해 인제스팅 과정을 수행하는 컨텐츠 서버에 적용할 수 있다.
그리고, 비디오 및 오디오를 포함하는 컨텐츠를 통신망을 이용해 서비스하는 컨텐츠 서버 또는 컨텐츠를 수신하여 디스플레이하는 사용자 단말기를 포함하는 컨텐츠 미디어 통신 시스템에 적용할 수 있다.
100 : 비디오 제공 시스템 110 : 비디오 인코딩 장치
120 : 통신망 130 : 사용자 단말기
210 : 통신부 220 : 원본비디오 저장부
230 : 멀티트랙비디오 인코더 240 : 비디오 정렬부
250 : 비트스트림 분석부 260 : SVC 재인코딩부

Claims (13)

  1. 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오에서 가장 하위 레이어(layer)의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오 내지 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하되,
    상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하는 것을 특징으로 하는 비디오 인코딩 장치.
  2. 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 비디오 정렬부;
    상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 비트스트림 분석부; 및
    상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 SVC 재인코딩부;
    를 포함하고,
    상기 비디오 정렬부는, 상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하는 것을 특징으로 하는 비디오 인코딩 장치.
  3. 삭제
  4. 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 비디오 정렬부;
    상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 비트스트림 분석부; 및
    상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 SVC 재인코딩부;
    를 포함하고,
    상기 비트스트림 분석부는, 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 것을 특징으로 하는 비디오 인코딩 장치.
  5. 제 2 항에 있어서,
    상기 SVC 재인코딩부는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행하는 것을 특징으로 하는 비디오 인코딩 장치.
  6. 제 5 항에 있어서,
    상기 SVC 재인코딩부는, 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 재인코딩을 수행하는 것을 특징으로 하는 비디오 인코딩 장치.
  7. (a) 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 단계;
    (b) 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하는 단계; 및
    (c) 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 단계;
    를 포함하고,
    상기 (a) 단계는, 상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오가 더 높은 레이어(Layer)에 정렬되고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오가 더 높은 레이어에 위치하도록 정렬되며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오가 더 높은 레이어에 위치하도록 정렬되는 것을 특징으로 하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법.
  8. 삭제
  9. (a) 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 단계;
    (b) 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하는 단계; 및
    (c) 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 단계;
    를 포함하고,
    상기 (b) 단계는, 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오로부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 것을 특징으로 하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법.
  10. 제 7 항에 있어서,
    상기 (c) 단계는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행하는 것을 특징으로 하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법.
  11. 제 10 항에 있어서,
    상기 (c) 단계는, 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 인코딩 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 SVC 재인코딩을 수행하는 것을 특징으로 하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법.
  12. 삭제
  13. 삭제
KR1020110035110A 2011-04-15 2011-04-15 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치 KR101853744B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020110035110A KR101853744B1 (ko) 2011-04-15 2011-04-15 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
EP12771035.8A EP2698995A4 (en) 2011-04-15 2012-04-16 DEVICE AND METHOD FOR HIGH SPEED EVOLVING VIDEO ENCODING USING MULTIPISTE VIDEO
JP2014505084A JP5557265B1 (ja) 2011-04-15 2012-04-16 マルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法
PCT/KR2012/002861 WO2012141551A2 (ko) 2011-04-15 2012-04-16 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법
EP15193340.5A EP3001683A3 (en) 2011-04-15 2012-04-16 High speed scalable video coding device and method using multi-track video
CN201280024116.8A CN103548353B (zh) 2011-04-15 2012-04-16 使用多轨视频的高速可伸缩视频编码装置和方法
US14/111,834 US9083949B2 (en) 2011-04-15 2012-04-16 High speed scalable video coding device and method using multi-track video
EP15194417.0A EP3021587A3 (en) 2011-04-15 2012-04-16 High speed scalable video coding device and method using multi-track video
EP15193360.3A EP3007445A1 (en) 2011-04-15 2012-04-16 High speed scalable video coding device and method using multi-track video
US14/797,471 US20150319443A1 (en) 2011-04-15 2015-07-13 High speed scalable video coding device and method using multi-track video
US14/884,967 US20160037169A1 (en) 2011-04-15 2015-10-16 High speed scalable video coding device and method using multi-track video
US14/884,943 US10750185B2 (en) 2011-04-15 2015-10-16 High speed scalable video coding device and method using multi-track video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110035110A KR101853744B1 (ko) 2011-04-15 2011-04-15 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160035725A Division KR101834531B1 (ko) 2016-03-25 2016-03-25 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120117382A KR20120117382A (ko) 2012-10-24
KR101853744B1 true KR101853744B1 (ko) 2018-05-03

Family

ID=47285352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110035110A KR101853744B1 (ko) 2011-04-15 2011-04-15 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101853744B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247869B (zh) 2013-05-24 2019-05-10 株式会社Kt 解码多层视频的方法和设备
WO2014189345A1 (ko) * 2013-05-24 2014-11-27 주식회사 케이티 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232521A1 (en) 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232521A1 (en) 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. Schwarz, et al. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard. IEEE Trans. on CSVT. Sep. 2007, Vol.17, No.9, pp.1103-1120*
J. D. Cock, et al. Architectures for Fast Transcoding of H.264/AVC to Quality-Scalable SVC Streams. IEEE Trans. on Multimedia. Nov. 2009, Vol.11, No.7, pp.1209-1224

Also Published As

Publication number Publication date
KR20120117382A (ko) 2012-10-24

Similar Documents

Publication Publication Date Title
TWI586177B (zh) 基於場景之適應性位元率控制
CN106105209A (zh) 多层视频编解码器的级别定义
CN111277826B (zh) 一种视频数据处理方法、装置及存储介质
US10609383B2 (en) Video compression using down-sampling patterns in two phases
CN106657998A (zh) 一种kvm视频编码量化参数范围控制方法
US10750185B2 (en) High speed scalable video coding device and method using multi-track video
KR101853744B1 (ko) 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101990098B1 (ko) 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
CN101888545B (zh) 一种低码率信源压缩编码方法
KR101834531B1 (ko) 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101594411B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101875853B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101749613B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101625441B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101626757B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR20180080167A (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
Skupin et al. Packet level video quality evaluation of extensive H. 264/AVC and SVC transmission simulation
Xu et al. Rate control for consistent visual quality of H. 264/AVC encoding
KR101606121B1 (ko) 동영상 파일 조각화 방법 및 그 장치
JP2011228785A (ja) 形式変換装置、映像配信装置、多重化装置、形式変換方法、映像配信方法、及びプログラム
Uddin et al. Optimization and Evaluation of Emerging Codecs
Aubry et al. Spatial downsizing impact in the transrating tradeoff for content/context awareness in media network
Pradeep Kumar et al. Intra-frame Prediction Mode Decision for Efficient Compression and Signal Quality

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant