KR20150113714A - 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치 - Google Patents

깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20150113714A
KR20150113714A KR1020140038098A KR20140038098A KR20150113714A KR 20150113714 A KR20150113714 A KR 20150113714A KR 1020140038098 A KR1020140038098 A KR 1020140038098A KR 20140038098 A KR20140038098 A KR 20140038098A KR 20150113714 A KR20150113714 A KR 20150113714A
Authority
KR
South Korea
Prior art keywords
block
condition
merging candidate
current block
coding
Prior art date
Application number
KR1020140038098A
Other languages
English (en)
Inventor
박광훈
이윤진
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020140038098A priority Critical patent/KR20150113714A/ko
Priority to US15/126,106 priority patent/US20170094303A1/en
Priority to PCT/KR2015/000451 priority patent/WO2015152505A1/ko
Publication of KR20150113714A publication Critical patent/KR20150113714A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals

Abstract

본 발명에서는 깊이 정보를 이용한 움직임 병합 후보 코딩 방법 및 장치를 제안한다. 본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법은 현재 블록 및 상기 현재 블록과 공간적으로 인접한 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하되, 상기 깊이 정보를 이용하여 판단하는 단계, 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단하는 단계 및 상기 제 1조건 및 상기 제 2조건을 만족하는 경우, 상기 현재 블록의 움직임 병합 후보를 코딩하는 대신에 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩하는 단계를 포함한다.

Description

깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치{METHOD AND DEVICE FOR CODING MERGE CANDIDATES USING DEPTH INFORMATION}
본 발명은 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치에 관한 것으로써, 보다 상세하게는, 현재 블록에 대한 움직임 병합 후보 유도를 위해서 참조 블록의 부호화 정보를 이용하여 움직임 병합 후보를 유도하는 방법 및 장치에 관한 것이다.
최근 FHD (Full High Definition) 및 UHD (Ultra High Definition)와 같은 고품질 비디오 서비스 수요와 더불어 차세대 비디오 압축 표준에 대한 요구가 증가하였다. ISO/IEC MPEG (Moving Picture Expert Group)과 ITU-T VCEG (Video Coding Expert Group)에서는 JCT-VC (Joint Collaborative Team on Video Coding)을 결성하여 H.264/AVC의 압축효율을 2배 이상 향상시키는 것을 목표로 새로운 비디오 압축 표준인 HEVC (High Efficiency Video Coding)에 대한 표준화를 진행하였다. 2013년 1월 HEVC version 1에 대한 표준 기술 개발이 완료되었으며, 이후, 다양한 컬러 포맷과 비트 심도의 지원을 위한 HEVC 확장 (Range extension) 표준에 대한 개발이 진행 중이다.
HEVC에서는 부호화 효율뿐 아니라 차세대 비디오 표준에서 요구되는 다양한 부호화/복호화를 고려한 기술이 표준화 단계에서 채택되었다. 일례로 부/복호화 과정의 병렬성을 고려한 타일이라는 새로운 픽쳐 분할 단위와 PU 단위 복호화의 병렬성을 보장하는 MER (Merge Estimation Region) 등의 기술들이 있다. 특히, 고해상도, 고화질에 대한 시장의 요구에 맞추어, 주관적 화질을 향상시키기 위해 디블록킹 필터 및 SAO (Sample Adaptive Offset), 스케일링 리스트 등의 기술이 채택되어 있다. 그러나, 움직임 정보 유도 시 별도의 추가 비트(Bit)의 삽입이 필요하며, 이 비트를 최소화하여 보다 효율적으로 움직임 정보를 부호화/복호화할 필요성이 대두되고 있다.
한편, 대한민국공개특허 제10-2011-0137042호(발명의 명칭: 인터 예측 방법 및 그 장치)에서는 현재 픽쳐 내의 복호화 대상 유닛에 대해 참조 움직임 정보를 도출하는 단계 및 이에 대한 움직임 보상을 수행하는 방법을 개시하고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로써, 본 발명의 일부 실시예는 영상에 대한 HEVC(High Efficiency Video Coding) 코딩 결과에서 움직임 병합 예측 모드로 코딩되는 블록들에 대한 움직임 정보의 분석결과, 동일한 객체 내의 블록들은 동일한 움직임 정보를 갖는 경향이 있으므로, 이를 활용하여 효율적인 움직임 정보 코딩 방법 및 장치를 제안하는 데에 그 목적이 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법은 현재 블록 및 상기 현재 블록과 공간적으로 인접한 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하되, 상기 깊이 정보를 이용하여 판단하는 단계; 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단하는 단계; 및 상기 제 1조건 및 상기 제 2조건을 만족하는 경우, 상기 현재 블록의 움직임 병합 후보를 코딩하는 대신에 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩하는 단계를 포함한다.
또한 본 발명의 일실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 장치는 현재 블록 및 상기 현재 블록과 공간적으로 인접한 인접 블록의 깊이 정보를 추출하는 깊이 정보 추출부; 상기 깊이 정보 추출부로부터 추출된 깊이 정보에 기초하여 상기 현재 블록 및 상기 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하는 객체 영역 비교부; 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단하는 움직임 병합 후보 비교부; 상기 객체 영역 비교부와 상기 움직임 병합 후보 비교부 중 적어도 어느 하나의 판단 결과를 기초로 플래그 정보를 생성하는 플래그 정보 생성부; 및 상기 현재 블록의 움직임 병합 후보 및 상기 플래그 정보 중 적어도 어느 하나를 코딩하는 코딩부를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 깊이 정보에 기초하여 객체 영역을 판단하고, 그 결과를 바탕으로 움직임 병합 후보 및 플래그 정보 중에서 적어도 하나를 부호화함으로써 부호화/복호화 효율을 향상시킬 수 있다.
또한, 깊이 정보를 직접 부호화/복호화하지 않더라도, 복호화기 입장에서 플래그 정보를 기초로 현재 블록과 인접 블록이 동일한 객체 영역에 존재하는지에 대해 간접적으로 판단 가능하므로, 전체적인 부호화/복호화 효율을 향상 시킬 수 있다.
또한, 영상 부호화 장치 및 복호화 장치는 깊이 정보를 이용한 플래그 정보를 서로 공유하여 객체 정보를 유추할 수 있고, 각각의 블록이 속하는 객체 영역을 설정할 수 있다.
또한, 본 발명의 일실시예에 따르면 움직임 병합 후보를 부호화/복호화 하지 않고 플래그 정보만을 부호화/복호화함으로써, 전반적인 코딩의 효율을 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 장치의 블록도이다.
도 2는 동일한 객체 영역에서 코딩을 수행한 이후, 분석된 스킵(SKIP) 블록을 도시한 것이다.
도 3은 동일한 객체 영역에서의 현재 블록과 공간적으로 인접한 인접 블록을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법에 대한 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보를 코딩 방법에 대한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본 발명의 구체적인 실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 다만, 본 발명의 사상은 제시되는 일 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 동일한 사상의 범위 내에서 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 쉽게 발명할 수 있을 것이나, 이 또한 본 발명의 사항의 범위 내에 포함된다고 할 것이다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
또한, 본 발명의 실시예들에서 개시되는 방법 및 장치는 신호 처리 과정에서 수행되는 부호화 과정과 복호화 과정에 모두 적용 가능하며, 본 명세서 전반에 사용된 코딩은 부호화 과정과 복호화 과정을 모두 포함하는 상위 개념이다.
도 1은 본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 장치(100)는, 깊이 정보 추출부(110), 객체 영역 비교부(120), 움직임 병합 후보 비교부(130), 플래그 생성부(140), 및 코딩부(150)를 포함할 수 있다.
일실시예에서, 깊이 정보 추출부(110)는 현재 블록 및 상기 현재 블록과 공간적으로 인접한 인접 블록의 깊이 정보를 추출할 수 있다.
객체 영역 비교부(120)는 위의 깊이 정보 추출부(110)로부터 추출된 깊이 정보에 기초하여 상기 현재 블록 및 상기 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단할 수 있다.
예를 들어, 객체 영역 비교부(120)는 깊이 카메라를 통해 획득된 깊이 정보를 분석하여 현재 블록이 존재하는 객체 영역과 인접 블록이 존재하는 객체 영역에 대해 각각 라벨링을 수행하고, 이러한 라벨링을 기초로 제 1 조건을 판단할 수 있다.
이러한 깊이 정보를 획득하기 위한 깊이 카메라(160)는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치(100)의 일부로써 결합/연결되거나 별도의 구성으로써 배치될 수 있고, 기술 발전에 따라 크기, 형태 등의 제한 없이 다양하게 제작될 수 있다.
움직임 병합 후보 비교부(130)는 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단할 수 있다.
플래그 정보 생성부(140)는 객체 영역 비교부(120)와 움직임 병합 후보 비교부(130) 중 적어도 어느 하나의 판단 결과를 기초로 플래그 정보를 생성할 수 있다.
코딩부(150)는 현재 블록의 움직임 병합 후보 및 플래그 정보 중 적어도 어느 하나를 코딩할 수 있다.
구체적으로, 제 1조건 및 제 2조건을 만족하는 경우, 코딩부(150)는 현재 블록의 움직임 병합 후보를 코딩하는 대신에 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩할 수 있다.
예를 들어, 현재 블록과 인접 블록이 동일 객체 영역에 속하고, 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한 경우에, 현재 블록에 대한 움직임 병합 후보를 코딩 하지 않고 플래그 정보에 same_merge_flag는 1로 코딩할 수 있다.
또한, 코딩부(150)는 제 1조건 또는 제 2 조건을 불만족 하는 경우, 상술된 현재 블록과 인접 블록이 동일한 객체 영역에 존재하지 않거나 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하지 않다는 플래그 정보를 코딩하고, 현재 블록의 움직임 병합 후보를 코딩 할 수 있다.
예를 들어, 현재 블록과 인접 블록이 동일한 객체 영역에 있지 않거나 현재 블록과 인접 블록의 움직임 병합 후보가 상이한 경우, 플래그 정보에 same_merge_flag는0을 코딩하고, 현재 블록(X3)의 움직임 병합 후보를 코딩할 수 있다
한편, 다른 실시예에서 움직임 병합 후보 비교부(130)는 현재 블록과 인접한 제 1인접 블록 및 제 2 인접 블록 간의 움직임 병합 후보가 동일한지에 대한 제 3조건을 판단할 수 있다.
여기서, 제 1 인접 블록은 현재 블록의 상측 블록이고, 상기 제 2 인접 블록은 현재 블록의 좌측 블록일 수 있다.
또한, 움직임 병합 후보 비교부(130)는 제 1인접 블록과 제 2인접 블록 중 적어도 하나는 스킵(Skip) 블록일 수 있는데, 상술된 스킵 블록은 동일한 객체 영역에 존재하면서 동일한 움직임 병합 후보를 갖는 블록일 수 있다.
플래그 정보 생성부(140)는 객체 영역 비교부(120)와 움직임 병합 후보 비교부(130) 중 적어도 어느 하나의 판단 결과를 기초로 플래그 정보를 생성할 수 있다.
아울러, 움직임 병합 후보 비교부(130)에서 판단된 제 3조건을 만족하는 경우, 객체 영역 비교부(120)는 제 1 조건을 판단하고 움직임 병합 후보 비교부(130)는 2 조건을 판단할 수 있다.
코딩부(150)는 제 1조건, 제 2 조건, 및 제 3조건을 만족하는 경우, 현재 블록의 움직임 병합 후보를 코딩하는 대신에 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩할 수 있다.
예를 들어, 현재 블록과 인접 블록이 동일 객체 영역에 속하고, 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한 경우에, 현재 블록에 대한 움직임 병합 후보를 코딩 하지 않고 플래그 정보에 same_merge_flag는1로 코딩할 수 있다.
또한 제 3조건을 불만족 하는 경우, 코딩부(150)는 현재 블록의 움직임 병합 후보를 코딩할 수 있다.
도 2는 동일한 객체 영역에서 코딩을 수행한 이후, 분석된 스킵(SKIP) 블록을 도시한 것이다.
도 2를 참조하면, 소정의 영역(211)을 포함하는 예시 이미지(210)를 코딩하여 얻은 깊이 정보 영상(220)을 보여주고 있으며, 깊이 정보 영상에서 소정의 영역(211)에 상응하는 영역(221)의 코딩 결과(230)를 보여주고 있다.
여기서 도 2 에 도시된 화살표(231)는 동일한 움직임 병합 후보를 갖는 스킵(SKIP) 블록을 나타내고 있으며, 스킵 블록은 동일한 객체 영역에서 무리지어 코딩되는 특성을 보여주고 있다.
따라서, 영상 부호화 장치 및 복호화 장치는, 동일한 객체 영역은 동일한 움직임 정보를 가진다는 특성을 이용하여, 기존의 움직임 정보와 연계하여 깊이 정보를 공유할 수 있고, 그로 인해 이들 장치의 부호화/복호화 효율은 전체적으로 향상될 수 있다.
도 3은 동일한 객체 영역에서의 현재 블록과 공간적으로 인접한 인접 블록을 도시한 것이다.
본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 장치에서 제안되는 현재 블록, 인접 블록, 및 그와 관련된 내용을 도 3 을 참고하여 설명 하기로 한다.
객체 영역(310)에 존재하는 현재 블록(X3), 및 현재 블록(X3)과 공간적으로 인접한 인접 블록(A32, B31)은 동일한 객체 영역(310)에 존재한다. 이 때 현재 블록의 움직임 병합 후보와 이들 인접 블록의 움직임 병합 후보가 동일한 경우, 현재 블록(X3)의 움직임 병합 후보를 코딩하는 대신에 현재 블록(X3)의 움직임 병합 후보와 인접 블록(A32, B31)의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩할 수 있다.
예를 들어, 현재 블록(X3)과 인접 블록(A32, B31)이 동일 객체 영역(310)에 속하고, 현재 블록(X3)의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한 경우에, 현재 블록(X3)에 대한 움직임 병합 후보를 코딩 하지 않고 플래그 정보에 same_merge_flag 는 1로 코딩할 수 있다.
다른 실시예에서 현재 블록(X3)과 인접 블록(A32, B31)이 동일한 객체 영역(310)에 있지 않거나 현재 블록(X3)과 인접 블록(A32, B31)의 움직임 병합 후보가 상이한 경우, 플래그 정보에 상술된 현재 블록(X3)과 인접 블록(A32, B31)이 동일한 객체 영역(310)에 존재하지 않거나 현재 블록(X3)의 움직임 병합 후보와 인접 블록(A32, B31)의 움직임 병합 후보가 동일하지 않다는 플래그 정보를 코딩하고, 현재 블록(X3)의 움직임 병합 후보를 코딩할 수 있다.
예를 들어, 상술된 현재 블록(X3)과 인접 블록(A32, B31)이 동일한 객체 영역(310)에 존재하지 않거나 현재 블록(X3)의 움직임 병합 후보와 인접 블록(A32, B31)의 움직임 병합 후보가 동일하지 않다는 플래그 정보에 same_merge_flag 는0으로 코딩하고, 현재 블록(X3)의 움직임 병합 후보를 코딩할 수 있다.
이를 통해 본 발명에서는 복호화 또는 부호화 시, 움직임 병합 후보 예측 수행 과정과 동일한 객체 영역을 유추할 수 있게 되고, 깊이 정보(또는 깊이 정보로부터 유도된 객체 정보)를 높은 효율로 이용할 수 있게 된다.
본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법에 대해서는 후술하는 과정에서 도 4및 도 5를 통해 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법에 대한 순서도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법은 현재 블록 및 현재 블록과 공간적으로 인접한 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하되, 깊이 정보를 이용하여 판단할 수 있다. (S420)
다음으로, 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단할 수 있다.(S430)
계속해서, 제 1조건 및 상기 제 2조건을 만족하는 경우, 현재 블록의 움직임 병합 후보를 코딩하는 대신에 상기 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩하는 단계(S440)를 포함할 수 있다.
예를 들어, 현재 블록과 인접 블록이 동일 객체 영역에 속하고, 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한 경우에, 현재 블록에 대한 움직임 병합 후보를 코딩 하지 않고 플래그 정보에 same_merge_flag는1로 코딩할 수 있다.
본 발명의 일실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법에 의하면, 깊이 정보에 기초하여 객체 영역을 판단하고, 그 결과를 바탕으로 움직임 병합 후보 및 플래그 정보 중에서 적어도 하나를 코딩함으로써 부호화/복호화 효율을 향상시킬 수 있는 효과가 있다.
다른 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법은 위의 제 1조건 또는 제 2조건을 불만족 하는 경우, 상술된 현재 블록과 인접 블록이 동일한 객체 영역에 존재하지 않거나 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하지 않다는 플래그 정보를 출력 및 코딩하고, 현재 블록의 움직임 병합 후보를 코딩 할 수 있다.(S450)
예를 들어, 상술된 현재 블록과 인접 블록이 동일한 객체 영역에 존재하지 않거나 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하지 않다는 플래그 정보를 same_merge_flag 는 0으로 코딩하고, 현재 블록의 움직임 병합 후보를 코딩할 수 있다
여기서, 상술된 현재 블록 및 현재 블록과 공간적으로 인접한 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하되, 깊이 정보를 이용하여 판단하는 단계(S420)는 깊이 카메라를 통해 획득된 깊이 정보를 분석하여 상기 현재 블록이 존재하는 객체 영역과 상기 인접 블록이 존재하는 객체 영역에 대해 각각 라벨링을 수행하는 단계(미도시)를 포함하고 상기 라벨링을 기초로 상기 제 1 조건을 판단할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법에 대한 순서도이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법은 현재 블록 및 현재 블록과 공간적으로 인접한 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하되, 깊이 정보를 이용하여 판단할 수 있다.(S530)
다음으로, 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단할 수 있다.(S540)
계속해서, 제 1조건 및 제 2조건을 만족하는 경우, 현재 블록의 움직임 병합 후보를 코딩하는 대신에 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩하는 단계(S550)를 포함할 수 있다.
아울러, 상술된 다른 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법은 현재 블록과 인접한 제 1 인접 블록 및 제 2 인접 블록 간의 움직임 병합 후보가 동일한지에 대한 제 3 조건을 판단하는 단계(S520)를 더 포함할 수 있다.
상술된 제 3조건을 만족하는 경우, 위의 제 1조건 및 제 2조건을 판단하며, 제 1조건, 제 2조건, 및 제 3조건을 만족하는 경우, 상술된 S550단계에서 상기 플래그 정보를 코딩할 수 있다.
예를 들어, 현재 블록과 인접 블록이 동일 객체 영역에 속하고, 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일한 경우에, 현재 블록에 대한 움직임 병합 후보를 코딩 하지 않고 플래그 정보에 same_merge_flag는 1로 코딩할 수 있다.
이때, 제 1인접 블록은 상기 현재 블록의 상측 블록이고, 제 2인접 블록은 현재 블록의 좌측 블록일 수 있고, 제 1 인접 블록과 제 2 인접 블록 중 적어도 하나는 스킵(Skip) 블록일 수 있다.
또 다른 실시예에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법은 제 3조건을 불만족 하는 경우, 현재 블록의 움직임 병합 후보를 코딩하는 단계(S560)를 더 포함할 수 있다.
아울러, 본 발명의 또 다른 실시예에서 제 1 조건 또는 제 2 조건을 불만족 하는 경우, 상술된 현재 블록과 인접 블록이 동일한 객체 영역에 존재하지 않거나 현재 블록의 움직임 병합 후보와 인접 블록의 움직임 병합 후보가 동일하지 않다는 플래그 정보에 same_merge_flag는 0으로 코딩하고, 현재 블록의 움직임 병합 후보를 코딩할 수 있다.(S570)
본 발명의 실시예에 포함되는 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
상술한 본 발명에 따른 깊이 정보를 이용한 움직임 병합 후보 코딩 방법 및 장치는 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 움직임 병합 후보 코딩 장치 110: 깊이 정보 추출부
120: 객체 영역 비교부 130: 움직임 병합 후보 비교부
140: 플래그 정보 생성부 150: 코딩부

Claims (16)

  1. 깊이 정보를 이용한 움직임 병합 후보 코딩 방법에 있어서,
    (a) 현재 블록 및 상기 현재 블록과 공간적으로 인접한 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하되, 상기 깊이 정보를 이용하여 판단하는 단계;
    (b) 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단하는 단계; 및
    (c) 상기 제 1조건 및 상기 제 2조건을 만족하는 경우, 상기 현재 블록의 움직임 병합 후보를 코딩하는 대신에 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩하는 단계를 포함하는 깊이 정보를 이용한 움직임 병합 후보 코딩 방법.
  2. 제 1항에 있어서,
    (d) 상기 현재 블록과 인접한 제 1인접 블록 및 제 2인접 블록 간의 움직임 병합 후보가 동일한지에 대한 제 3조건을 판단하는 단계를 더 포함하고,
    상기 제 3조건을 만족하는 경우, 상기 제 1조건 및 상기 제 2조건을 판단하며,
    상기 제 1조건, 상기 제 2조건, 및 상기 제 3조건을 만족하는 경우, 상기 (c)단계는 상기 플래그 정보를 코딩하는 깊이 정보를 이용한 움직임 병합 후보 코딩 방법.
  3. 제 2항에 있어서,
    상기 제 1인접 블록은 상기 현재 블록의 상측 블록이고,
    상기 제 2인접 블록은 상기 현재 블록의 좌측 블록인 깊이 정보를 이용한 움직임 병합 후보 코딩 방법.
  4. 제 2항에 있어서,
    상기 제 1인접 블록과 상기 제 2인접 블록 중 적어도 하나는 스킵(Skip) 블록인 깊이 정보를 이용한 움직임 병합 후보 코딩 방법.
  5. 제 2항에 있어서,
    (e) 상기 제 3조건을 불만족 하는 경우, 상기 현재 블록의 움직임 병합 후보를 코딩하는 단계를 더 포함하는 깊이 정보를 이용한 움직임 병합 후보 코딩 방법.
  6. 제 1항에 있어서,
    (f) 상기 제 1조건 또는 상기 제 2조건을 불만족 하는 경우, 상기 플래그 정보를 0으로 코딩하고, 상기 현재 블록의 움직임 병합 후보를 코딩하는 단계를 더 포함하는 깊이 정보를 이용한 움직임 병합 후보 코딩 방법.
  7. 제 1항에 있어서,
    상기 (a)단계는
    깊이 카메라를 통해 획득된 깊이 정보를 분석하여 상기 현재 블록이 존재하는 객체 영역과 상기 인접 블록이 존재하는 객체 영역에 대해 각각 라벨링을 수행하는 단계를 포함하고,
    상기 라벨링을 기초로 상기 제 1조건을 판단하는 깊이 정보를 이용한 움직임 병합 후보 코딩 방법.
  8. 깊이 정보를 이용한 움직임 병합 후보 코딩 장치에 있어서,
    현재 블록 및 상기 현재 블록과 공간적으로 인접한 인접 블록의 깊이 정보를 추출하는 깊이 정보 추출부;
    상기 깊이 정보 추출부로부터 추출된 깊이 정보에 기초하여 상기 현재 블록 및 상기 인접 블록이 동일한 객체 영역에 존재하는지에 대한 제 1조건을 판단하는 객체 영역 비교부;
    상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일한지에 대한 제 2조건을 판단하는 움직임 병합 후보 비교부;
    상기 객체 영역 비교부와 상기 움직임 병합 후보 비교부 중 적어도 어느 하나의 판단 결과를 기초로 플래그 정보를 생성하는 플래그 정보 생성부; 및
    상기 현재 블록의 움직임 병합 후보 및 상기 플래그 정보 중 적어도 어느 하나를 코딩하는 코딩부를 포함하는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  9. 제 8항에 있어서,
    상기 객체 영역 비교부는
    깊이 카메라를 통해 획득된 깊이 정보를 분석하여 상기 현재 블록이 존재하는 객체 영역과 상기 인접 블록이 존재하는 객체 영역에 대해 각각 라벨링을 수행하고,
    상기 라벨링을 기초로 상기 제 1조건을 판단하는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  10. 제 8항에 있어서,
    상기 움직임 병합 후보 비교부는
    상기 현재 블록과 인접한 제 1인접 블록 및 제 2인접 블록 간의 움직임 병합 후보가 동일한지에 대한 제 3조건을 판단하는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  11. 제 10항에 있어서,
    상기 제 1인접 블록은 상기 현재 블록의 상측 블록이고,
    상기 제 2인접 블록은 상기 현재 블록의 좌측 블록인 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  12. 제 10항에 있어서,
    상기 제 1인접 블록과 상기 제 2인접 블록 중 적어도 하나는 스킵(Skip) 블록인 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  13. 제 8항에 있어서,
    상기 코딩부는
    상기 제 1조건 및 상기 제 2조건을 만족하는 경우, 상기 현재 블록의 움직임 병합 후보를 코딩하는 대신에 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩하는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  14. 제 8항에 있어서,
    상기 코딩부는
    상기 제 1조건 또는 상기 제 2조건을 불만족 하는 경우, 상기 플래그 정보를 0으로 코딩하면서 상기 현재 블록의 움직임 병합 후보를 코딩하는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  15. 제 10항에 있어서,
    상기 제 3조건을 만족하는 경우, 객체 영역 비교부는 상기 제 1조건 및 움직임 병합 후보 비교부는 상기 제 2조건을 판단하고,
    상기 제 1조건, 상기 제 2조건, 및 상기 제 3조건을 만족하는 경우, 상기 코딩부는 상기 현재 블록의 움직임 병합 후보를 코딩하는 대신에 상기 현재 블록의 움직임 병합 후보와 상기 인접 블록의 움직임 병합 후보가 동일하다는 것을 나타내는 플래그 정보를 코딩하는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
  16. 제 10항에 있어서,
    상기 코딩부는
    상기 제 3조건을 불만족 하는 경우, 상기 현재 블록의 움직임 병합 후보를 코딩하는 깊이 정보를 이용한 움직임 병합 후보 코딩 장치.
KR1020140038098A 2014-03-31 2014-03-31 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치 KR20150113714A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140038098A KR20150113714A (ko) 2014-03-31 2014-03-31 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치
US15/126,106 US20170094303A1 (en) 2014-03-31 2015-01-15 Method and device for encoding/decoding motion merging candidate using depth information
PCT/KR2015/000451 WO2015152505A1 (ko) 2014-03-31 2015-01-15 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140038098A KR20150113714A (ko) 2014-03-31 2014-03-31 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150113714A true KR20150113714A (ko) 2015-10-08

Family

ID=54240786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140038098A KR20150113714A (ko) 2014-03-31 2014-03-31 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20170094303A1 (ko)
KR (1) KR20150113714A (ko)
WO (1) WO2015152505A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
RS57809B1 (sr) * 2010-07-09 2018-12-31 Samsung Electronics Co Ltd Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova
WO2012097378A1 (en) * 2011-01-14 2012-07-19 General Instrument Corporation Temporal block merge mode
WO2012171442A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법

Also Published As

Publication number Publication date
US20170094303A1 (en) 2017-03-30
WO2015152505A1 (ko) 2015-10-08

Similar Documents

Publication Publication Date Title
US11546613B2 (en) Method and apparatus for adaptive motion vector precision
US11178414B2 (en) Classification for multiple merge tools
CN113170173B (zh) 变换量化或量化旁路模式的改进方法
CN113455003B (zh) 视频编解码方法及电子设备
CN107454398B (zh) 编码方法、编码装置、解码方法和解码装置
US20170353719A1 (en) Method and Apparatus for Template-Based Intra Prediction in Image and Video Coding
US11245922B2 (en) Shared candidate list
US11057546B2 (en) Video encoding and decoding
US20200169757A1 (en) Signaling For Multi-Reference Line Prediction And Multi-Hypothesis Prediction
US20200137413A1 (en) Error resilience and parallel processing for decoder side motion vector derivation
CN115152227A (zh) 并行处理的选择性切换
US20240007665A1 (en) Decoupled mode inference and prediction
WO2019161798A1 (en) Intelligent mode assignment in video coding
US20230396780A1 (en) Illumination compensation method, encoder, and decoder
US20100322316A1 (en) Moving-picture encoding apparatus and decoding apparatus
KR20150113714A (ko) 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치
WO2023131047A1 (en) Method, apparatus, and medium for video processing
WO2023193691A1 (en) Method, apparatus, and medium for video processing
WO2023056895A1 (en) Method, apparatus, and medium for video processing
US20170006296A1 (en) Method and device for deriving motion information using depth information, and method and device for deriving motion merging candidate using depth information

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid