KR20170095047A - 동적 프레임 삭제 장치 및 방법 - Google Patents

동적 프레임 삭제 장치 및 방법 Download PDF

Info

Publication number
KR20170095047A
KR20170095047A KR1020160016542A KR20160016542A KR20170095047A KR 20170095047 A KR20170095047 A KR 20170095047A KR 1020160016542 A KR1020160016542 A KR 1020160016542A KR 20160016542 A KR20160016542 A KR 20160016542A KR 20170095047 A KR20170095047 A KR 20170095047A
Authority
KR
South Korea
Prior art keywords
frame
frame rate
motion vector
candidates
frames
Prior art date
Application number
KR1020160016542A
Other languages
English (en)
Inventor
정동훈
Original Assignee
엔쓰리엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔쓰리엔 주식회사 filed Critical 엔쓰리엔 주식회사
Priority to KR1020160016542A priority Critical patent/KR20170095047A/ko
Publication of KR20170095047A publication Critical patent/KR20170095047A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동적 프레임 삭제 장치를 개시하고 있다. 상기 장치는 입력되는 영상을 디코딩하는 디코더 및 디코딩된 영상의 프레임 레이트(frame rate)를 변환하는 프레임 컨버터(FRC: Frame Rate Converter)를 포함하되, 상기 프레임 컨버터는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제한다.

Description

동적 프레임 삭제 장치 및 방법{DYNAMIC FRAME DELETION APPARATUS AND METHOD}
본 발명은 트랜스코딩 방법 및 장치에 관한 것으로, 보다 상세하게는 동영상 복원 및 압축을 수행하는 데이터 트랜스코딩 방법 및 장치에 관한 것이다.
일반적으로 고화질 영상표시장치는 HDTV(High Definition Television)와 같이 기존의 표시장치에 비하여 화면의 선명도가 월등히 향상된 표시장치를 말한다. 통상 풀 HD(full HD)급으로 불리는 HDTV는 1920×1080/60p로서, 1920×1080 해상도의 화면을 1초에 60번 보여주는 방식이다.
화면의 선명도를 높여 고화질의 영상을 디스플레이하기 위해서는 고해상도와 함께 높은 프레임 레이트를 필요로 한다. 프레임 레이트를 높여줌으로써, 모션블러(motion blur)와 같은 화질저하 현상을 개선할 수 있기 때문이다. 여기서, 프레임 레이트는 초당 화면에 표시되는 프레임의 수를 의미한다.
반면, 위와 같이, 프레임 레이트를 높이는 방식으로 변환을 줄 수도 있지만, 프레임 레이트를 낮춰 60Hz의 프레임 레이트를 30Hz로 낮춰야할 경우도 존재한다.이러한 프레임 레이트 변환(FRC: Frame Rate Conversion)은 통상 비디오 전송 신호와 디스플레이의 프레임 레이트가 다를 경우에 적용되며, PC나 HDTV 등에서 다양한 신호 규격을 갖는 프로그램들을 서로 교환하기 위해서 적용된다.
FRC 기법은 초기에는 압축되지 않은 상태에서 프레임 레이트를 변환시키는 여러 가지 기법들이 개발되고 이용되어 왔다. 그러나 영상 데이터의 급격한 증가와 함께 ISO/IEC JTC1계열이나 ITU-T계열의 영상 압축 방식이 발전되면서 영상을 압축 및 전송할 때 압축된 영상 신호와 이를 응용하는 영상 시스템에서 프레임 레이트를 변환시키기 위한 방법이 적용되고 있다.
도 1은 일반적인 프레임 레이트 축소 변환의 예시적인 모습을 나타낸 도면이다.
도 1을 참조하면, 프레임 레이트 변환 전의 복수 개의 프레임들(110-1, 120-1, 110-2, 120-2, 110-3, 120-3,...)이 존재하는 상황에서 프레임 레이트를 절반으로(예컨대, 60Hz에서 30Hz로) 변환하는 상황을 가정할 수 있다.
일반적인 방식에 따르면, 규칙적으로 홀수 프레임들(110-1, 110-2, 110-3,...)을 삭제하여 짝수 프레임들(120-1, 120-2, 120-3,...)만 남게 하는 방식을 사용하여 변환 전 프레임들 중 반을 삭제할 수 있다. 또는 그 반대의 경우도 가능하였다.
이 경우, 프레임 레이트를 감소시키는 변환에 따라 부자연스러움이 있을 수 있는데, 위와 같이, 일괄적으로 프레임 레이트에 맞게 홀수 또는 짝수 프레임을 삭제하는 방식은 프레임 레이트 감소에 따른 화질 저하 현상을 심화시키거나 이를 완화하는 방식이 존재하지 않아 문제가 된다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 프레임 레이트를 줄이는 변환 수행시 규칙적으로 프레임을 삭제하지 않고 모션 벡터 변화가 상대적으로 적은 프레임을 삭제하여 트랜스코딩 속도를 개선시키는 동적 프레임 삭제 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 동적 프레임 삭제 장치는 입력되는 영상을 디코딩하는 디코더 및 디코딩된 영상의 프레임 레이트(frame rate)를 변환하는 프레임 컨버터(FRC: Frame Rate Converter)를 포함하되, 상기 프레임 컨버터는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제할 수 있다.
상기 모션 벡터 크기는 하나의 프레임 내의 모션 벡터 크기의 평균치일 수 있다.
상기 프레임 후보는 상기 프레임 레이트에 따라 소정 개수의 프레임 단위로 선정될 수 있다.
I 프레임(Intra coded Frame)은 상기 프레임 후보에서 제외될 수 있다.
상기 변환되는 프레임 레이트에 따라 d개의 프레임에서 n개 - d 및 n은 모두 자연수임 - 의 프레임으로 줄이는 경우, d개의 프레임을 상기 프레임 후보로 선정하고 (d-n) 개의 상대적으로 모션 벡터 크기의 평균치가 작은 프레임을 선택하여 삭제할 수 있다.
상기 프레임 컨버터는 변환되는 프레임 레이트에 따라 복수 개의 프레임 후보들을 선정하는 후보 선정부, 해당 프레임 내의 모션 벡터 크기 평균치를 측정하는 모션 벡터 크기 평균치 측정부, 상기 복수 개의 후보들의 모션 벡터 크기 평균치의 크기를 상대적으로 비교하는 비교부 및 상기 비교 결과에 따라 모션 벡터 크기 평균치의 크기가 적은 소정 개수의 프레임을 선택하여 삭제하는 선택 삭제부를 포함할 수 있다.
상기 모션 벡터 크기 평균치 측정부는 해당 프레임 내의 인터 부호화된 유닛만을 고려할 수 있다.
상기 동적 프레임 삭제 장치는 상기 프레임 레이트가 변환된 디코딩 영상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.
상기 동적 프레임 삭제 장치는 상기 프레임 레이트가 변환된 디코딩 영상 정보를 수신측으로 전송하는 전송부를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 동적 프레임 삭제를 통한 트랜스코딩 장치는 입력되는 영상을 디코딩하는 디코더, 디코딩된 영상의 프레임 레이트(frame rate)를 변환하는 프레임 컨버터(FRC: Frame Rate Converter) 및 상기 변화된 프레임 레이트의 영상을 인코딩하는 인코더를 포함하되, 상기 프레임 컨버터는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 동적 프레임 삭제 방법은 디코더에 의해 입력되는 영상을 디코딩하는 단계 및 프레임 컨버터(FRC: Frame Rate Converter)에 의해 디코딩된 영상의 프레임 레이트(frame rate)를 변환하는 단계를 포함하되, 상기 프레임 레이트 변환 단계는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제하는 단계를 포함할 수 있다.
상기 모션 벡터 크기는 하나의 프레임 내의 모션 벡터의 크기의 평균치일 수 있다.
상기 프레임 후보는 상기 프레임 레이트에 따라 소정 개수의 프레임 단위로 선정될 수 있다.
I 프레임(Intra coded Frame)은 상기 프레임 후보에서 제외될 수 있다.
상기 변환되는 프레임 레이트에 따라 d개의 프레임에서 n개 - d 및 n은 모두 자연수임 - 의 프레임으로 줄이는 경우, d개의 프레임을 상기 프레임 후보로 선정하고 (d-n) 개의 상대적으로 모션 벡터 크기의 평균치가 작은 프레임을 선택하여 삭제할 수 있다.
상기 프레임 레이트 변환 단계는 변환되는 프레임 레이트에 따라 복수 개의 프레임 후보들을 선정하는 단계, 해당 프레임 내의 모션 벡터 크기 평균치를 측정하는 단계, 상기 복수 개의 후보들의 모션 벡터 크기 평균치의 크기를 상대적으로 비교하는 단계 및 상기 비교 결과에 따라 모션 벡터 크기 평균치의 크기가 적은 소정 개수의 프레임을 선택하여 삭제하는 단계를 포함할 수 있다.
상기 해당 프레임 내의 모션 벡터 크기 평균치를 측정하는 단계는 해당 프레임 내의 인터 부호화된 유닛만을 고려하는 단계를 포함할 수 있다.
상기 동적 프레임 삭제 방법은 상기 프레임 레이트가 변환된 디코딩 영상을 디스플레이하는 단계를 더 포함할 수 있다.
상기 동적 프레임 삭제 방법은 상기 프레임 레이트가 변환된 디코딩 영상 정보를 수신측으로 전송하는 단계를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 동적 프레임 삭제를 통한 트랜스코딩 방법은 디코더에 의해 입력되는 영상을 디코딩하는 단계, 프레임 컨버터에 의해 디코딩된 영상의 프레임 레이트를 변환하는 단계 및 인코더에 의해 상기 변화된 프레임 레이트의 영상을 인코딩하는 단계를 포함하되, 상기 프레임 레이트를 변환하는 단계는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제하는 단계를 포함할 수 있다.
본 발명에 따른 동적 프레임 삭제 장치 및 방법에 따르면, 규칙적으로 원래 삭제해야하는 프레임보다 움직임이 적은 프레임을 식별하여 삭제함으로써 동영상 압축 효율 및 트랜스 코딩 속도를 개선시킬 수 있고, 화질이 개선되는 느낌을 주는 효과가 있다.
도 1은 일반적인 프레임 레이트 축소 변환의 예시적인 모습을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치를 포함하는 디스플레이 장치를 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치의 프레임 컨버터를 구체적으로 나타낸 상세 블록도,
도 4는 본 발명의 일 실시예에 따른 동적 프레임 삭제 방법에 따른 I 프레임의 처리를 설명하기 위한 개념도,
도 5는 본 발명의 다른 실시예에 따른 동적 프레임 삭제 방법에 따른 I 프레임의 처리를 설명하기 위한 개념도,
도 6은 모션 벡터 크기의 평균치 산출을 위한 방법을 설명하기 위한 개념도,
도 7은 본 발명의 다른 실시예에 따른 동적 프레임 삭제 장치를 포함하는 서버 장치를 나타낸 블록도,
도 8은 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치를 이용한 트랜스코더의 구조를 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치를 포함하는 디스플레이 장치를 나타낸 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치는 디코더(210), 프레임 컨버터(220) 및 디스플레이 패널(230)를 포함할 수 있다. 여기서, 상기 디코더(210) 및 프레임 컨버터(220) 구성요소들은 하나의 하드웨어 프로세서로 통합구현되거나 그리고/또는 복수 개의 하드웨어 프로세서로 각 기능별로 분리되어 구현될 수 있다.
디코더(210)는 입력되는 영상 프레임을 디코딩할 수 있다. 디코더(210)는 HEVC(High Efficiency Video Coding: H.265), AVC(Advanced Video Coding: H.264), H.263, H.262, H.261, MPEG-1, MPEG-2, MPEG-4, WebM 코덱, VC-1, VP46, VP7, WMV, AMV, AVS 등의 코덱 기술을 통해 디코딩을 수행할 수 있다. 본 명세서에서는 H.264/AVC를 기준으로 설명한다. 디코더(210)는 입력되는 영상을 입력 프레임에 맞춰 디코딩을 수행하고, 이때, 디코딩을 수행하면서 획득되는 예측 관련 정보(예컨대, 예측/부호화/변환 유닛 관련 정보, 매크로블록 정보 및/또는 모션 벡터 정보 등)를 프레임 컨버터(220)로 제공할 수 있다.
프레임 컨버터(220)는 특정 프레임 레이트(예컨대, 50Hz, 60Hz 또는 75Hz)의 입력 영상을 다른 프레임 레이트(예컨대, 25Hz, 30Hz, 37.5Hz 등)로 변환할 수 있다. 프레임 컨버터(220)는 집적회로(IC: Integrated Circuit)으로 구성될 수 있다. 프레임 컨버터(220)는 디코더(210)로부터 수신되는 각종 예측 관련 정보를 이용하여 감소되는 프레임 레이트(예컨대, 50Hz에서 25Hz로)에 맞게 적절하게 원본 프레임 중 일부를 삭제하는 기능을 수행할 수 있다. 이때, 각 프레임의 평균 모션벡터 양이 사용될 수 있다. 즉, 일반적으로 절반으로 프레임 레이트를 줄이는 경우 짝수 프레임 또는 홀수 프레임을 삭제하던 것을, 각 프레임의 모션 벡터 크기 평균치를 계산하여 동적으로 및/또는 적응적으로 프레임을 삭제할 수 있다.
프레임 컨버터(220)는 원본 프레임의 변환되는 프레임 레이트에 맞게 프레임 후보(frame candidate)를 설정하고, 설정된 프레임 후보들의 모션벡터 크기 평균치를 측정 및 비교하여 움직임이 상대적으로 더 적은 프레임을 선택적으로 삭제할 수 있다. 이 경우, 규칙적으로 프레임을 삭제하는 것보다 모션벡터 변화가 상대적으로 적은 프레임들을 삭제함으로써 눈에 거슬리는 부분이 줄어들어 화질이 개선된 느낌을 줄 수 있다.
본 발명의 다른 실시예에 따르면, 두 프레임 중 하나의 프레임을 삭제해야 하는 상황인 경우, 두 프레임 모두 움직임이 특정 임계값 이하로 적은 프레임이라고 판단되는 경우, 두 프레임을 모두 삭제할 수 있다. 이때, 설정되는 임계값은 디폴트 값으로 정해지거나 사용자 인터페이스를 사용자 임의로 가변할 수 있는 값일 수 있다. 즉, 움직임이 적은 동영상의 경우, 원래 삭제해야 하는 프레임보다 움직임이 더 적은 프레임이 더 많은 경우가 존재할 수 있다. 이때, 더 많은 프레임을 삭제하여 디스플레이, 동영상 파일 전송 및 동영상 압축 부호화 과정을 줄임으로써 프레임 레이트 변환 효율 및 속도를 개선할 수 있다.
디스플레이 패널(230)은 프레임 컨버터(220)를 통해 프레임 레이트가 변환된 출력 신호를 디스플레이한다.
도 3은 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치의 프레임 컨버터를 구체적으로 나타낸 상세 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프레임 컨버터(300)는 후보 선정부(310), 모션 벡터 팽균치 측정부(320), 비교부(330) 및 선택 삭제부(340)를 포함할 수 있다. 앞서 설명한 바와 같이, 각 구성요소는 하나의 프로세서 및/또는 복수 개의 프로세서에 해당 기능을 지시하는 지시어를 포함하는 메모리와 연동하여 구현될 수 있다.
도 3을 참조하면, 후보 선정부(310)는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보를 선정할 수 있다. 후보 선정부(310)는 변환 전 프레임 레이트와 변환 후 프레임 레이트의 비율을 기반으로 후보를 선정할 수 있다. 후보 선정방식을 여러가지가 있을 수 있으나, 본 명세서 상에는 몇가지 실시예를 들어 설명한다.
본 발명의 일 실시예에 따르면, 후보 선정부(310)는 I 프레임(Intra Frame: 인트라 부호화된 프레임)은 후보에서 제외할 수 있다. I 프레임의 경우, 화면 전환 프레임, 또는 중요 장면일 가능성이 높고, 기타 P 프레임(Predictive-coded picture) 또는 B 프레임(Bidirectional-coded picture)이 이러한 I 프레임을 참조할 가능성이 높으므로, 삭제될 프레임 후보에서 제외할 수 있다. 여기서, I 프레임은 인트라 예측을 통해 다른 프레임을 참조하지 않고 복호화되는 프레임을 의미하고, P 프레임은 단방향 픽처를 참조하는 프레임 및 B 프레임은 양 방향의 픽처를 참조하는 프레임일 수 있다. I 프레임을 후보 선정에서 제외하는 방식은 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 동적 프레임 삭제 방법에 따른 I 프레임의 처리를 설명하기 위한 개념도이다.
도 4를 참조하면, 프레임 레이트 변화를 n/d로 표시하는 경우, d는 변환 전 프레임의 프레임 비율을 나타내고, n은 변환 후 프레임의 프레임비율을 나타낸다고 가정할 수 있다. 즉, 60Hz를 20Hz로 변환하는 경우, 3개 프레임이 1개 프레임으로 변환되는 것으로 2개 프레임을 삭제하는 것이므로, d는 3이고, n은 1일 수 있다. 이때. n은 소수(양의 약수가 1과 자기뿐인 1보다 큰 자연수) 또는 1인 경우가 바람직하고, 이에 따라 d를 적절히 설정할 수 있다. 다만, 사용자 설정을 통해 이는 입력 영상의 특성 또는 장치의 성능을 고려하여 다르게 설정가능하다.
이 경우, 후보 선정부는 d개 단위로 프레임 후보를 선정할 수 있다. 이를 후보 그룹이라 부를 수 있는데, 후보 그룹은 3개의 프레임을 가질 수 있다. 예컨대, 후보 그룹 1은 프레임(412), 프레임(414) 및 프레임(416)을 후보로 가질 수 있고, 후보 그룹 2 역시 프레임(416) 이후 3개의 프레임을 후보로 가질 수 있다. 이때, 후보 그룹 1 및 2에 포함되는 프레임 후보들은 P 프레임 및/또는 B 프레임일 수 있다. 즉, I 프레임(410)은 프레임 후보에서 제외될 수 있다. 후보 그룹을 그룹핑하다가 I 프레임(410)이 나타나면, I 프레임은 후보에서 제외하고, 건너뛰어 그 다음 프레임(412)을 포함하여 3개 프레임을 후보 프레임으로 선정할 수 있다. 또는 I 프레임에서 끊고 다음 프레임부터 새로운 후보 그룹을 생성할 수도 있다.
그리고는, n이 1이기 때문에, 각각의 후보 그룹들로써 선정된 후보 프레임 3(d가 3이기 때문) 중 하나의 프레임만이 선택되고, 나머지는 삭제될 수 있다. 즉, d개의 후보 중 d-n(본 실시예에서는 3-1= 2)개의 프레임이 삭제되고 n개(본 실시예에서는 1)의 프레임만이 남게 되어 변경된 프레임 레이트에 맞춰지게 된다.
도 5는 본 발명의 다른 실시예에 따른 동적 프레임 삭제 방법에 따른 I 프레임의 처리를 설명하기 위한 개념도이다.
도 5를 참조하면, d는 4이고, n은 2인 경우를 가정한다. 이 경우, 4개 프레임 단위로 후보 그룹을 구성할 수 있다. 본 발명의 실시예에 따르면, I 프레임의 경우, 후보 그룹에 포함시키되, 프레임 레이트 변경 후에도 살아남을 수 있도록 설정할 수 있다. 즉, 위와 마찬가지로 I 프레임이 제외될 가능성은 없다. 다만, I 프레임이 후보 그룹 내에 포함되고, n개 중 한 자리를 차지하는 방식으로 선택될 수 있다. 즉, d가 4인 경우, 4개 프레임 후보 중 I 프레임은 삭제되지 않는 프레임으로 설정되고, n-t(t는 해당 후보 그룹 내의 I 프레임의 개수) 개의 프레임만이 삭제되지 않고 남게된다. 결국, t개의 I 프레임과 n-t개의 P 또는 B 프레임이 선택되어 살아남게 되고, d-n개의 움직임 변화가 적은 프레임이 선택되어 삭제될 수 있다. 만약, n이 1이고, 후보 그룹에 I 프레임이 1개 있다면, 이때는 움직임 변화량 비교 없이 I 프레임만을 살려놓고 나머지 P 및/또는 B 프레임은 삭제될 수 있다. I 프레임이 복수 개라면, 복수 개의 I 프레임을 모두 살려놓는 것이 바람직하다.
도 5의 실시예에서는 후보 그룹에는 프레임(510), 프레임(520-1), 프레임(520-2) 및 프레임(520-3)의 4개 프레임이 선택되고, 프레임(510)은 I 프레임이기 때문에 프레임 간의 움직임 비교 과정 없이 바로 살아남게 된다. 그리고는, 프레임(510)을 제외한 3개의 프레임들(520-1, 520-2, 520-3) 간에 모션 벡터를 통한 움직임 크기 비교를 통해 2개 프레임(520-1, 520-3)이 선택 삭제되고, 하나의 P 프레임(520-2)이 살아남게 된다.
후보 그룹의 크기 또는 I 프레임의 후보 그룹 포함 여부는 전술한 바와 같이, 사용자가 임의로 설정가능하다. 특히, 후보 그룹의 크기는 프레임간 움직임 비교의 단위가 될 수 있으므로, 하드웨어 프로세서의 연산량, 속도, 기능 등을 고려하여 선택될 수 있다. 왜냐하면, 프레임 후보의 수가 많아질수록 비교 대상이 증가하여 프로세서의 연산량이 증가할 수 있고, 속도가 감소할 수 있기 때문이다.
다시 도 3으로 돌아가서, 모션 벡터 크기 평균치 측정부(320)는 각 후보 내의 P 및/또는 B 프레임의 모션 벡터의 크기의 평균치를 측정한다. 여기서, 모션 벡터의 크기의 평균치란 해당 프레임 내에 존재하는 모든 모션 벡터 크기 값의 평균치를 나타내는 것이다. 이때, 모션 벡터의 합은 벡터 합 계산뿐만 아니라 스칼라 합 계산 방식이 이용될 수 있다. 이하, 모션 벡터 크기 평균치 측정부(320)의 모션 벡터 합 계산 방식에 대한 내용을 도 6을 통해 상세히 설명한다.
도 6은 모션 벡터 크기의 평균치 산출을 위한 방법을 설명하기 위한 개념도이다.
도 6을 참조하면, 먼저 모션 벡터 크기 평균치 측정부는 모션 벡터 크기 평균치를 측정해야 할 프레임 후보 프레임(예컨대, P 및/또는 B 프레임)에서 인트라 부호화된 블록을 제외한 인터 부호화된 블록만을 추출한다. 여기서, 블록은 예측 블록, 부호화 블록, 변환 블록 및/또는 매크로 블록을 의미할 수 있고, 블록은 유닛(unit)이라 불릴 수 있다.
그리고는, 추출된 인터 부호화된 유닛의 모션 벡터 값을 측정한다. 각 인터부호화된 유닛은 서로 다른 참조 픽처의 서로 다른 참조 유닛에 대한 모션 벡터를 가질 수 있다. 본 발명의 실시예에 따르면, 인터 부호화된 유닛의 모션 벡터 값을 추출하여 이 값의 합을 산출한다. 이때, 합 계산은 벡터량 계산에 따르면, 상충되는 방향의 값이 상쇄되어 없어지므로, 모션 벡터 크기 계산에 적합하지 않을 수 있으므로, 스칼라 계산을 활용하는 것이 바람직하다. 다만, 반드시 스칼라 계산만이 활용되는 것은 아니고, 벡터 계산을 사용하여도 무방하다. 따라서, 각 모션 벡터의 크기 총합을 산출하고, 이를 상기 추출된 인터 부호화된 유닛의 수로 나누어 모션 벡터 크기의 평균치를 산출할 수 있다. 또는 인터 부호화된 유닛의 면적의 비를 가중치로 두어 특정 유닛의 면적비에 따른 가중치와 해당 유닛의 모션 벡터 크기 값을 기반으로 모션 벡터 크기 평균치를 산출할 수 있다. 이때, 면적비는 전체 프레임 면적 대비 해당 유닛의 면적이 될 수도 있고, 전체 인터 부호화된 유닛의 크기 대비 해당 유닛의 면적이 될 수도 있으며, 가중치의 총 합은 1이 되어 전체적으로 평균 크기 값이 산출될 수 있다.
경우에 따라서는, 모션 벡터 크기 총합이 프레임 비교에 직접 사용될 수도 있다. 이를 수학식으로 나타내면 다음과 같다.
Figure pat00001
여기서,
Figure pat00002
는 특정 프레임 후보의 모션벡터 크기의 평균치를 나타내는 평균 벡터를 나타내고(이는 벡터 총합 계산을 통해 산출된 값임),
Figure pat00003
는 특정 프레임 후보 내의 특정 인터 부호화된 유닛의 모션벡터를 나타낸다. wn은 특정 프레임 내의 특정 인터 부호화된 유닛의 면적에 따른 가중치 값을 나타낸다. 이때, 모션 벡터에서는 벡터 방향 값뿐만 아니라 스칼라량도 서로 다를 수 있고, 양 부분이 모두 고려될 수 있고, 경우에 따라 스칼라량만 고려될 수도 있다.
다시 도 3으로 돌아가서, 비교부(330)는 모션 벡터 크기 평균치 측정부(320)에서 계산된 프레임 후보들의 각각의 모션 벡터 크기 평균치 정보를 획득한 후, 상대적인 비교를 수행한다. 이를 통해 변환되는 프레임 레이트의 비율에 맞게 상대적인 움직임 비교를 수행한다. 앞서 설명한 바와 같이, 비교부(330)는 경우에 따라 극히 움직임이 적은 프레임은 변환되는 프레임 레이트와 상관없이 삭제할 수 있다. 예컨대, 임계 움직임의 양을 25 픽셀이라고 가정하면, 25 픽셀 이하의 움직임 양을 갖는 프레임 후보들은 변환되는 프레임 레이트의 비율에 상관없이 삭제될 수 있다. 이는 움직임이 적어 삭제되어도 동영상 화질에 크게 문제를 주지 않기 때문일 수 있다.
선택 삭제부(340)는 비교부(330)에서의 비교 결과를 기반으로, 변환된 프레임 비율에 맞는 움직임 변화량 상위 프레임만 남겨놓은 채, 나머지 프레임을 선택 삭제한다. 이때, 앞서 설면한 바와 같이, 미리 설정된 임계값 이하의 움직임 변화량을 갖는 프레임은 변환되는 프레임 레이트와 상관없이 선택 삭제된다. 선택 삭제부(340)로부터 출력되는 프레임들은 변경된 프레임 레이트의 디코딩 영상이 될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 동적 프레임 삭제 장치를 포함하는 서버 장치를 나타낸 블록도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치를 포함하는 서버 장치는 디코더(710), 프레임 컨버터(720) 및 전송부(730)를 포함할 수 있다.
도 7의 실시예에 있어서, 디코더(710) 및 프레임 컨버터(720)는 도 2의 대응되는 구성요소(210, 220)와 동일한 기능을 수행할 수 있다.
전송부(730)는 수신측(예컨대, 클라이언트 장치)으로 출력되는 변경된 프레임 레이트의 영상 데이터를 전송할 수 있다. 전송부(730)는 수신측으로부터 원하는 프레임 레이트 정보를 수신할 수 있고, 이를 프레임 컨버터(720)로 제공할 수 있다. 이에 따라 프레임 컨버터(720)는 상기한 방식에 따라 모션 벡터를 삭제하여 수신측에서 원하는 프레임 레이트의 출력 영상 신호(디코딩된 영상 프레임)를 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 동적 프레임 삭제 장치를 이용한 트랜스코더의 구조를 나타낸 블록도이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 트랜스코더(800)는 디코더(810), 프레임 컨버터(820) 및 전송부(830)를 포함할 수 있다.
도 8의 실시예에 있어서, 디코더(810) 및 프레임 컨버터(820)는 도 2의 대응되는 구성요소(210, 220)와 동일한 기능을 수행할 수 있다.
인코더(830)는 프레임 레이트 변환된 디코딩된 비트스트림을 기반으로 특정 포맷 및/또는 특정 사이즈로 인코딩을 수행할 수 있다. 인코딩 역시, 다수의 코덱 표준 기술을 기반으로 수행될 수 있다. 인코딩에 있어서, 디코딩시에 사용되었던 각종 예측 정보가 이용될 수 있다. 즉, 디코더(810)로부터 인트라/인터 예측 값 및/또는 매크로블록 관련 정보 등을 수신하여 동일한 예측 과정을 다시 수행하지 않고, 그 값을 이용하여 원하는 포맷 및/또는 사이즈로의 인코딩을 수행할 수 있다. 이에 따라 변환된 프레임 레이트로, 변환된 포맷 및/또는 사이즈의 영상 비트스트림을 출력할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 동적 프레임 삭제 장치에 있어서,
    입력되는 영상을 디코딩하는 디코더; 및
    디코딩된 영상의 프레임 레이트(frame rate)를 변환하는 프레임 컨버터(FRC: Frame Rate Converter)를 포함하되,
    상기 프레임 컨버터는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제하는 것을 특징으로 하는 동적 프레임 삭제 장치.
  2. 제 1 항에 있어서,
    상기 모션 벡터 크기는 하나의 프레임 내의 모션 벡터의 크기의 평균치인 것을 특징으로 하는 동적 프레임 삭제 장치.
  3. 제 1 항에 있어서,
    상기 프레임 후보는 상기 프레임 레이트에 따라 소정 개수의 프레임 단위로 선정되는 것을 특징으로 하는 동적 프레임 삭제 장치.
  4. 제 1 항에 있어서,
    I 프레임(Intra coded Frame)은 상기 프레임 후보에서 제외되는 것을 특징으로 하는 동적 프레임 삭제 장치.
  5. 제 1 항에 있어서,
    상기 변환되는 프레임 레이트에 따라 d개의 프레임에서 n개 - d 및 n은 모두 자연수임 - 의 프레임으로 줄이는 경우, d개의 프레임을 상기 프레임 후보로 선정하고 (d-n) 개의 상대적으로 모션 벡터 크기의 평균치가 작은 프레임을 선택하여 삭제하는 것을 특징으로 하는 동적 프레임 삭제 장치.
  6. 제 1 항에 있어서, 상기 프레임 컨버터는
    변환되는 프레임 레이트에 따라 복수 개의 프레임 후보들을 선정하는 후보 선정부;
    해당 프레임 내의 모션 벡터 크기 평균치를 측정하는 모션 벡터 크기 평균치 측정부;
    상기 복수 개의 후보들의 모션 벡터 크기 평균치의 크기를 상대적으로 비교하는 비교부; 및
    상기 비교 결과에 따라 모션 벡터 크기 평균치의 크기가 적은 소정 개수의 프레임을 선택하여 삭제하는 선택 삭제부를 포함하는 것을 특징으로 하는 동적 프레임 삭제 장치.
  7. 제 6 항에 있어서,
    상기 모션 벡터 크기 평균치 측정부는 해당 프레임 내의 인터 부호화된 유닛만을 고려하는 것을 특징으로 하는 동적 프레임 삭제 장치.
  8. 제 1 항에 있어서,
    상기 프레임 레이트가 변환된 디코딩 영상을 디스플레이하는 디스플레이부를 더 포함하는 것을 특징으로 하는 동적 프레임 삭제 장치.
  9. 제 1 항에 있어서,
    상기 프레임 레이트가 변환된 디코딩 영상 정보를 수신측으로 전송하는 전송부를 더 포함하는 것을 특징으로 하는 동적 프레임 삭제 장치.
  10. 동적 프레임 삭제를 통한 트랜스코딩 장치에 있어서,
    입력되는 영상을 디코딩하는 디코더;
    디코딩된 영상의 프레임 레이트(frame rate)를 변환하는 프레임 컨버터(FRC: Frame Rate Converter); 및
    상기 변화된 프레임 레이트의 영상을 인코딩하는 인코더를 포함하되,
    상기 프레임 컨버터는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제하는 것을 특징으로 하는 동적 프레임 삭제를 통한 트랜스코딩 장치.
  11. 동적 프레임 삭제 방법에 있어서,
    디코더에 의해 입력되는 영상을 디코딩하는 단계; 및
    프레임 컨버터(FRC: Frame Rate Converter)에 의해 디코딩된 영상의 프레임 레이트(frame rate)를 변환하는 단계를 포함하되,
    상기 프레임 레이트 변환 단계는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제하는 단계를 포함하는 것을 특징으로 하는 동적 프레임 삭제 방법.
  12. 제 11 항에 있어서,
    상기 모션 벡터 크기는 하나의 프레임 내의 모션 벡터의 크기의 평균치인 것을 특징으로 하는 동적 프레임 삭제 방법.
  13. 제 11 항에 있어서,
    상기 프레임 후보는 상기 프레임 레이트에 따라 소정 개수의 프레임 단위로 선정되는 것을 특징으로 하는 동적 프레임 삭제 방법.
  14. 제 11 항에 있어서,
    I 프레임(Intra coded Frame)은 상기 프레임 후보에서 제외되는 것을 특징으로 하는 동적 프레임 삭제 방법.
  15. 제 11 항에 있어서,
    상기 변환되는 프레임 레이트에 따라 d개의 프레임에서 n개 - d 및 n은 모두 자연수임 - 의 프레임으로 줄이는 경우, d개의 프레임을 상기 프레임 후보로 선정하고 (d-n) 개의 상대적으로 모션 벡터 크기의 평균치가 작은 프레임을 선택하여 삭제하는 것을 특징으로 하는 동적 프레임 삭제 방법.
  16. 제 11 항에 있어서, 상기 프레임 레이트 변환 단계는
    변환되는 프레임 레이트에 따라 복수 개의 프레임 후보들을 선정하는 단계;
    해당 프레임 내의 모션 벡터 크기 평균치를 측정하는 단계;
    상기 복수 개의 후보들의 모션 벡터 크기 평균치의 크기를 상대적으로 비교하는 단계; 및
    상기 비교 결과에 따라 모션 벡터 크기 평균치의 크기가 적은 소정 개수의 프레임을 선택하여 삭제하는 단계를 포함하는 것을 특징으로 하는 동적 프레임 삭제 방법.
  17. 제 16 항에 있어서,
    상기 해당 프레임 내의 모션 벡터 크기 평균치를 측정하는 단계는 해당 프레임 내의 인터 부호화된 유닛만을 고려하는 단계를 포함하는 것을 특징으로 하는 동적 프레임 삭제 방법.
  18. 제 11 항에 있어서,
    상기 프레임 레이트가 변환된 디코딩 영상을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 동적 프레임 삭제 방법.
  19. 제 11 항에 있어서,
    상기 프레임 레이트가 변환된 디코딩 영상 정보를 수신측으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 동적 프레임 삭제 방법.
  20. 동적 프레임 삭제를 통한 트랜스코딩 방법에 있어서,
    디코더에 의해 입력되는 영상을 디코딩하는 단계;
    프레임 컨버터에 의해 디코딩된 영상의 프레임 레이트를 변환하는 단계; 및
    인코더에 의해 상기 변화된 프레임 레이트의 영상을 인코딩하는 단계를 포함하되,
    상기 프레임 레이트를 변환하는 단계는 변환되는 프레임 레이트에 따라 삭제될 프레임 후보(frame candidate)를 선정하고 상기 선정된 프레임 후보들의 모션 벡터 크기를 상대적으로 비교하여 상기 프레임 후보들 중 일부를 삭제하는 단계를 포함하는 것을 특징으로 하는 동적 프레임 삭제를 통한 트랜스코딩 방법.
KR1020160016542A 2016-02-12 2016-02-12 동적 프레임 삭제 장치 및 방법 KR20170095047A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160016542A KR20170095047A (ko) 2016-02-12 2016-02-12 동적 프레임 삭제 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160016542A KR20170095047A (ko) 2016-02-12 2016-02-12 동적 프레임 삭제 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170095047A true KR20170095047A (ko) 2017-08-22

Family

ID=59757897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160016542A KR20170095047A (ko) 2016-02-12 2016-02-12 동적 프레임 삭제 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170095047A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111836055A (zh) * 2020-07-17 2020-10-27 上海顺久电子科技有限公司 图像处理装置及memc基于图像内容的图像块匹配方法
CN113747159A (zh) * 2021-09-06 2021-12-03 深圳软牛科技有限公司 一种生成可变帧率视频媒体文件的方法、装置及相关组件

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111836055A (zh) * 2020-07-17 2020-10-27 上海顺久电子科技有限公司 图像处理装置及memc基于图像内容的图像块匹配方法
CN111836055B (zh) * 2020-07-17 2023-01-10 上海顺久电子科技有限公司 图像处理装置及memc基于图像内容的图像块匹配方法
CN113747159A (zh) * 2021-09-06 2021-12-03 深圳软牛科技有限公司 一种生成可变帧率视频媒体文件的方法、装置及相关组件
CN113747159B (zh) * 2021-09-06 2023-10-13 深圳软牛科技有限公司 一种生成可变帧率视频媒体文件的方法、装置及相关组件

Similar Documents

Publication Publication Date Title
US8718143B2 (en) Optical flow based motion vector estimation systems and methods
US10574988B2 (en) System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
CN108012163B (zh) 视频编码的码率控制方法及装置
JP6449329B2 (ja) ディスプレイストリーム圧縮（ｄｓｃ）において量子化パラメータ（ｑｐ）を選択するためのシステムおよび方法
JP2006352181A (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JPWO2011080925A1 (ja) 画像符号化装置および方法
KR20170137090A (ko) 디스플레이 스트림 압축을 위한 레이트 제약형 폴백 모드
EP3073737B1 (en) Video coding device, video coding program, video coding method, and video coding and decoding system
KR20180056382A (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
JP6435029B2 (ja) 映像符号化装置及び映像符号化プログラム
GB2516222A (en) Intra video coding in error prone environments
KR20170095047A (ko) 동적 프레임 삭제 장치 및 방법
JP2009218965A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP4911625B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
JP6735370B2 (ja) 復号化方法
JP2005303362A (ja) 画像符号化装置及びプログラム
JP6434172B2 (ja) 復号化方法
WO2022179221A1 (zh) 视频编码中的运动矢量(mv)约束和变换约束
JP6523495B2 (ja) 復号化方法
WO2013073422A1 (ja) 動画像符号化装置
JP6222756B2 (ja) 復号化方法
JP6364462B2 (ja) 復号化装置及び復号化方法
JP6117302B2 (ja) 復号化方法
JP5913474B2 (ja) 復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment