KR20120086131A - 모션 벡터 예측 방법 및 모션 벡터 복호화 방법 - Google Patents

모션 벡터 예측 방법 및 모션 벡터 복호화 방법 Download PDF

Info

Publication number
KR20120086131A
KR20120086131A KR1020110007390A KR20110007390A KR20120086131A KR 20120086131 A KR20120086131 A KR 20120086131A KR 1020110007390 A KR1020110007390 A KR 1020110007390A KR 20110007390 A KR20110007390 A KR 20110007390A KR 20120086131 A KR20120086131 A KR 20120086131A
Authority
KR
South Korea
Prior art keywords
motion vector
subblock
current
current block
prediction
Prior art date
Application number
KR1020110007390A
Other languages
English (en)
Inventor
이충구
김민성
박준성
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Priority to KR1020110007390A priority Critical patent/KR20120086131A/ko
Publication of KR20120086131A publication Critical patent/KR20120086131A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

모션 벡터 예측 방법이 개시된다. 먼저 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록의 모션 벡터를 예측하기 위해 현재 블록과 인접한 비대칭 파티션된 블록들 중 참조 서브 블록을 결정하고, 결정된 적어도 하나의 참조 서브 블록들의 모션 벡터에 기초하여 현재 서브 블록의 모션 벡터를 예측한다. 따라서, 모션 벡터 예측에 소요되는 처리 시간을 단축하고 부호화 효율을 높일 수 있다.

Description

모션 벡터 예측 방법 및 모션 벡터 복호화 방법{METHODS FOR PREDICTING MOTION VECTOR AND METHODS FOR DECORDING MOTION VECTOR}
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 모션 벡터 예측 방법 및 모션 벡터 복호화 방법에 관한 것이다.
일반적으로 영상 압축 방법에서는 압축 효율을 높이기 위해 픽처들의 중복도를 제거하는 화면간 예측(inter prediction) 및 화면내 예측(intra prediction) 기술을 이용한다.
화면내 예측을 이용한 영상 부호화 방법은 현재 부호화할 블록 주위에 위치한 이미 부호화된 블록(예를 들면, 현재 블록을 기준으로 상단, 좌측, 좌측 상단 및 우측 상단 블록)내의 화소값으로부터 블록간의 화소 상관도를 이용하여 화소값을 예측하고, 그 예측오차를 전송한다.
또한, 화면내 예측 부호화에서는 부호화하려는 영상의 특성에 맞게 여러가지의 예측 방향(예를 들면, 가로, 세로, 대각선, 평균값 등) 중에서 최적의 예측 모드를 선택한다.
화면간 예측을 이용한 영상 부호화 방법은 픽처들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 방법으로, 대표적으로 움직임 보상 예측 부호화 방법이 있다.
움직임 보상 예측 부호화는 현재 부호화되는 픽처의 전방 또는 후방에 위치하는 적어도 하나의 참조 픽처에서 현재 부호화되는 블록과 유사한 영역을 검색하여 움직임 벡터(MV: Motion Vector)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록과 현재 블록의 차이값을 변환하고 양자화한 후 엔트로피 부호화하여 전송한다.
H.264/AVC 표준에서는 움직임 보상 예측에 사용되는 매크로 블록으로 16×16, 8×16, 8×8 픽셀 등의 크기를 가지는 블록을 사용하였고, 변환 및 양자화에는 8×8 또는 4×4 픽셀 크기를 가지는 블록을 사용하였다.
그러나, 상술한 바와 같이 움직임 보상 예측에 사용되는 블록의 크기는 HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상의 부호화에는 적합하지 않은 단점이 있다.
구체적으로, 부호화되는 영상의 해상도가 낮은 소화면의 경우에는 작은 크기를 가지는 블록을 사용하여 움직임 예측 및 보상을 수행하는 것이 비트율 측면에서 효과적일 수 있으나, 해상도가 높은 대화면의 영상에 대해서 16×16 이하의 크기를 가지는 블록 단위로 움직임 예측 및 보상을 수행하게 되면, 하나의 픽처에 포함된 블록의 개수가 기하급수적으로 증가하게 되어 연산량이 매우 증가하는 단점이 있다. 이와 같은 연산량의 증가는 실시간 방송이나 실시간 화상 회의 등과 같이 짧은 지연시간이 요구되는 어플리케이션에서는 특히 문제가 될 수 있다.
또한, 영상의 해상도가 높을수록 거의 디테일이 없거나 편차가 없는 영역들도 넓어지기 때문에 종래의 움직임 보상 예측 과정에서처럼 16×16 픽셀 크기를 가지는 정방형의 블록을 이용하여 움직임 예측 및 보상을 수행할 경우 부호화 잡음이 증가하게 된다.
따라서, 모션 추정 과정에서 연산량을 감소시켜 고속 모션 추정을 가능하게 하고 부호화 품질을 향상시키기 위한 많은 연구들이 수행되고 있다. 이러한 연구들의 일환으로 조기 중단 방법, 계층적 탐색 방법 또는 블록 모드 스킵 방법 등이 알려져 있다.
도 1은 탐색 초기 위치를 기준으로 모션 벡터를 예측하는 방법을 나타내는 개념도이다.
도 1을 참조하면, 모션 벡터 예측은 참조 프레임(10)에 포함된 소정의 탐색 영역(12) 내에서 픽셀 또는 서브 픽셀 단위로 이동하면서 현재 블록(14)과 가장 잘 매칭되는 참조 프레임(10)에서의 참조 블록을 찾는 과정이다. 이 때 현재 블록(14)과 찾은 영역인 참조 영역 사이의 변위가 바로 현재 블록의 모션 벡터가 된다.
그런데, 만약 모션 예측을 수행하기 이전에 현재 블록에 대한 예측 모션 벡터(predicted motion vector)를 알 수 있다면, 상기 현재 블록의 위치(15)에서 예측된 모션 벡터가 가리키는 지점(16)을 탐색 초기치로 하여 모션 예측을 수행함으로써 모션 예측의 연산량을 감소시킬 수 있을 것이다. 이는 최종적으로 결정되는 모션 벡터가 상기 예측 모션 벡터와 차이가 작을 것이라는 예측에 기초한다.
또한, 예측 모션 벡터를 알 수 있다면, 이와 같은 모션 벡터의 초기치 뿐만 아니라 모션 벡터 자체의 부호화량을 감소시킬 수도 있다. 통상적인 비디오 부호화 기술들에서는 모션 벡터를 직접 모션 벡터 복호화 장치에 전송하는 것이 아니라, 상기 모션 벡터와 상기 예측 모션 벡터와의 차이를 모션 벡터 복호화 장치에 전송한다. 이러한 차이를 MVD(motion vector difference; 모션 벡터 차이)라고도 부른다. 예측 모션 벡터가 실제의 모션 벡터와 유사할수록 MVD는 0에 가까운 값이 되고, 이에 따라 부호화 효율도 높아지게 된다.
본 발명의 목적은 모션 벡터 예측의 연산량을 감소시킬 수 있는 모션 벡터 예측 방법 및 모션 벡터 복호화 방법을 제공하는 것이다.
또한, 발명의 다른 목적은 모션 벡터 예측의 정확도를 향상시킴으로써 부호화 효율을 향상시킬 수 있는 모션 벡터 예측 방법 및 모션 벡터 복호화 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 모션 벡터 예측 방법은, 현재 블록에 포함된 현재 서브 블록의 모션 벡터를 예측하기 위해 상기 현재 블록과 인접한 블록들 중 참조 서브 블록을 결정하는 단계와, 결정된 적어도 하나의 참조 서브 블록들의 모션 벡터에 기초하여 상기 현재 서브 블록의 모션 벡터를 예측하는 단계를 포함한다. 여기서, 상기 현재 블록은 비대칭 파티션될 수 있다. 여기서, 상기 현재 블록과 인접한 블록들 중 참조 서브 블록을 결정하는 단계는 상기 현재 블록과 인접한 비대칭 파티션된 블록들 각각에 포함된 비대칭 서브 블록들 중 상기 현재 서브 블록에 상응하는 모양 또는 크기를 가지는 적어도 하나의 서브 블록을 참조 서브블록으로 결정할 수 있다. 상기 현재 블록과 인접한 블록들 중 참조 서브 블록을 결정하는 단계는 상기 현재 블록과 인접한 비대칭 파티션된 블록들 각각에 포함된 비대칭 서브 블록들 중 상기 현재 서브 블록에 인접하는 적어도 하나의 서브 블록을 참조 서브블록으로 결정할 수 있다. 상기 결정된 적어도 하나의 참조 서브 블록들의 모션 벡터에 기초하여 상기 현재 서브 블록의 모션 벡터를 예측하는 단계는 상기 결정된 적어도 하나의 참조 서브 블록들 각각의 모션 벡터의 메디안 연산을 수행하여 상기 현재 서브 블록의 모션 벡터를 예측할 수 있다.
본 발명의 다른 측면에 따른 및 모션 벡터 복호화 방법은 입력되는 비트스트림을 무손실 복호화하여 현재 블록에 관한 모션 벡터 차이를 생성하는 단계와, 상기 현재 블록의 주변 블록들이 갖는 모션 벡터를 이용하여 상기 현재 블록에 대한 예측 모션 벡터를 생성하는 단계와, 상기 모션 벡터 차이와 상기 생성된 현재 블록에 대한 예측 모션 벡터를 이용하여 원래 영상을 복원하는 단계를 포함한다. 상기 현재 블록은 비대칭 파티션될 수 있다. 상기 현재 블록에 대한 예측 모션 벡터는 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록에 대한 예측 모션 벡터가 될 수 있다. 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록에 대한 예측 모션 벡터는 상기 현재 블록과 인접한 비대칭 파티션된 블록들 각각에 포함된 비대칭 서브 블록들 중 상기 현재 서브 블록에 상응하는 모양 또는 크기를 가지는 적어도 하나의 서브 블록을 참조 서브블록으로 결정하고, 상기 결정된 적어도 하나의 참조 서브 블록들 각각의 모션 벡터의 메디안 연산을 수행하여 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록의 모션 벡터를 예측할 수 있다. 상기 현재 블록에 관한 모션 벡터 차이는 상기 비대칭 파티션된 현재 블록에 대한 예측 모션 벡터와 실제 모션 벡터간의 차이가 될 수 있다. 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록의 모션 벡터 예측은 상기 결정된 적어도 하나의 참조 서브 블록들 각각의 모션 벡터의 메디안 연산을 수행하여 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록의 모션 벡터를 예측할 수 있다.
상술한 모션 벡터 예측 방법 및 모션 벡터 복호화 방법에 따르면, 비대칭으로 파티션된 현재 서브블록과 가장 상관도가 높은 참조 서브블록의 모션 벡터를 이용하여 예측 모션 벡터를 구한 후, 이를 이용하여 현재 서브블록에 대한 실제 모션 벡터를 구하고, 상기 예측 모션 벡터와 상기 실제 모션 벡터의 차이값을 구하여 이를 부호화 함으로써, 모션 벡터 예측에 소요되는 처리 시간을 단축하고 부호화 효율을 높일 수 있는 장점이 있다.
도 1은 탐색 초기 위치를 기준으로 모션 벡터를 탐색하는 방법을 나타내는 개념도이다.
도 2는 순환적 코딩 유닛의 구조를 나타내는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 모션 벡터 예측 과정에서 예측 단위로 사용되는 비대칭 파티션 분할 방식을 설명하기 위한 개념도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 모션 벡터 예측 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 모션 벡터 예측 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 일 실시예에서는 HD(High Definition)급 이상의 해상도를 가지는 고해상도에 적용하기 위하여 32×32 픽셀 크기 이상의 확장 매크로블록(Extended Macroblock) 크기를 이용하여 화면간 예측 부호화 및 복호화를 수행할 수도 있고, 하기에 설명하는 순환적(recursive) 코딩 유닛(CU: Coding Unit) 구조 중 말단 코딩 유닛을 사용하여 화면간 예측 부호화 및 복호화를 수행할 수도 있다.
도 2는 순환적 코딩 유닛의 구조를 나타내는 개념도이다.
도 2를 참조하면, 각 코딩 유닛(CU)은 정방형의 픽셀 크기를 가지며, 2N×2N(단위: 픽셀) 크기의 가변적인 크기를 가질 수 있다. 화면간 예측, 화면내 예측, 변환, 양자화, 디블록킹 필터링 및 엔트로피 부호화는 코딩 유닛(CU) 단위로 이루어질 수 있다.
코딩 유닛(CU)은 최대 코딩 유닛(LCU: Largest Coding Unit), 최소 코딩 유닛(SCU: Smallest Coding Unit)을 포함할 수 있고, 최대 코딩 유닛(LCU)과 최소 코딩 유닛(SCU)의 크기는 8 이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다.
코딩 유닛의 크기는 8 이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다. 예를 들어, 상기 입력된 코딩 유닛은 16×16 픽셀 이하의 크기를 가지거나 32×32 또는 64×64 픽셀 이상의 크기를 가지는 확장 마크로 블록일 수 있다. 또는, 코딩 유닛의 크기는 128× 128 이상의 크기를 가질 수도 있다. 상기 확장 마크로 블록은 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도에 적합하도록 32x32 픽셀 이상의 크기, 즉 64x64 픽셀, 128x128 픽셀 또는 그 이상의 크기를 가질 수 있다. 상기 확장 마크로 블록은 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도의 경우 인코더 및 디코더 복잡도를 고려하여 최대 64x64 픽셀 크기 이하로 제한될 수도 있다.
상기 코딩 유닛(CU)은 순환적인 트리 구조를 가질 수 있다. 도 2는 최대 코딩 유닛(LCU)인 CU0의 한 변의 크기(2N0)가 128(N0=64)이고, 최대 계층 레벨(level) 또는 계층 깊이(depth)가 5인 경우를 나타낸다. 순환적인 구조는 일련의 플래그(flag)를 통하여 표현될 수 있다. 예를 들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)의 플래그 값이 0인 경우, 코딩 유닛(CUk)에 대한 코딩은 현재의 계층 레벨 또는 계층 깊이에 대해 이루어진다.
또는, 플래그 값이 1인 경우 현재의 계층 레벨 또는 계층 깊이가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk+1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨 또는 계층 깊이가 k+1이 되며, 크기는 Nk+1×Nk+1가 된다. 이 경우 코딩 유닛(CUk+1)은 코딩 유닛(CUk)의 서브 코딩 유닛으로 나타낼 수 있다. 코딩 유닛(CUk+1)의 계층 레벨 또는 계층 깊이가 최대 허용 가능한 계층 레벨 또는 계층 깊이에 도달할 때까지 코딩 유닛(CUk+1)은 순환적으로(recursive) 처리될 수 있다. 코딩 유닛(CUk+1)의 계층 레벨 또는 계층 깊이가 최대 허용 가능한 계층 레벨 또는 계층 깊이-도 2에서는 4인 경우를 예로 들었음-과 동일한 경우에는 더 이상의 분할은 허용되지 않는다.
최대 코딩 유닛(LCU)의 크기 및 최소 코딩 유닛(SCU)의 크기는 시퀀스 파라미터 셋(SPS: Sequence Parameter Set)에 포함될 수 있다. 시퀀스 파라미터 셋(SPS)은 최대 코딩 유닛(LCU)의 최대 허용 가능한 계층 레벨 또는 계층 깊이를 포함할 수 있다. 예를 들어, 도 2의 경우는 최대 허용 가능한 계층 레벨 또는 계층 깊이는 5이고, 최대 코딩 유닛(LCU)의 한변의 크기가 128(단위: 픽셀)인 경우, 128×128(LCU), 64×64, 32×32, 16×16 및 8×8(SCU)의 5가지 종류의 코딩 유닛 크기가 가능하다. 즉, 최대 코딩 유닛(LCU)의 크기 및 최대 허용 가능한 계층 레벨 또는 계층 깊이가 주어지면 허용가능한 코딩 유닛의 크기가 결정될 수 있다.
상기 코딩 유닛의 크기는 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도의 경우 인코더 및 디코더 복잡도를 고려하여 최대 64x64 픽셀 크기 이하로 제한될 수도 있다.
상기한 바와 같이 코딩 유닛의 계층적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 유닛 계층 트리의 말단 코딩 유닛(leaf Coding Unit)에 대해 화면간 예측 또는 화면내 예측을 수행할 수 있으며, 이러한 말단 코딩 유닛이 화면간 또는 화면내 예측의 기본 단위인 예측 유닛(PU: Prediction Unit)으로 사용된다. 또한, 화면간 예측 또는 화면내 예측을 위하여 상기 말단 코딩 유닛에 대해 파티션(partition) 분할이 수행될 수 있다.
화면간 예측 또는 화면내 예측을 위한 파티션 분할은 대칭적 파티션 분할(symmetric partitioning) 방식으로 이루어질 수도 있고, 비대칭적 파티션(asymmetric patitioning) 분할 방식으로 이루어질 수도 있다.
도 3은 본 발명의 일 실시예에 따른 모션 벡터 예측 과정에서 예측 단위로 사용되는 비대칭 파티션 분할 방식을 설명하기 위한 개념도이다.
도 2에서 설명한 바와 같이 코딩 유닛 계층의 계층적인 분할 과정이 완료되어 말단 코딩 유닛(leaf Coding Unit)이 결정되면, 상기 말단 코딩 유닛(즉, 예측 유닛)에 대해 비대칭 파티션(aysmmetric partition)이 수행된다. 여기서, 예측 유닛(PU)은 화면간 예측(또는 인터 예측) 또는 화면내 예측(또는 인트라 예측)을 위한 기본 단위의 의미이며, 기존의 매크로 블록 단위 또는 서브-매크로 블록 단위가 될 수도 있고, 32 X 32 픽셀 크기 이상의 확장 매크로 블록 단위 또는 코딩 유닛 단위가 될 수도 있다.
도 3에 도시한 바와 같이 비대칭 파티션은 정방형의 예측 유닛에 대해 세로의 중앙을 분할하거나(2N×N), 가로의 중앙을 분할하거나(N×2N), 세로의 상단의 분할하거나(2N×nU), 세로의 하단을 분할하거나(2N×nD), 가로의 좌측을 분할하거나(nL×2N), 가로의 우측을 분할(nR×2N)하는 방식으로 이루어질 수 있다.
상기한 바와 같은 비대칭 파티션 분할은 모든 예측 유닛에 대해 동일한 형태로 설정될 수도 있고, 예측 유닛이 표현하는 영상의 내용이나 특징에 따라 예측 유닛별로 서로 다르게 설정될 수도 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 모션 벡터 예측 방법을 설명하기 위한 개념도이다.
본 발명의 일 실시예에 따른 모션 벡터 예측 방법에서는 모션 벡터를 예측하고자 하는 현재 블록에 대해 수행된 비대칭 파티션을 고려하여 수행된다.
즉, 비대칭 파티션이 수행된 현재 블록의 모션 벡터 예측은 현재 블록의 주변에 위치한 블록들 중에서 이미 모션 벡터가 결정된 블록들, 즉 좌측 블록(Left), 상측 블록(Upper), 좌상측 블록(UpperLeft) 및 우상측 블록(UpperRight) 중 현재 블록과 비대칭 파티션 형태가 가장 유사한 파티션 형태를 가지는 적어도 하나의 블록 또는 파티션된 서브블록의 크기가 유사한 서브블록들의 모션 벡터를 참조하여 수행될 수 있다. 또는 상기 모션 벡터를 예측하기 위해 참조되는 서브 블록들은 상기 현재 서브 블록과 인접한 서브 블록들로 구성될 수도 있다.
도 4를 참조하면, 비대칭으로 파티션된 서브블록 X와 서브블록 X'로 구성된 현재 블록(410)의 모션 벡터를 예측하고자 하는 경우, 이미 모션 벡터가 결정된 현재 블록의 좌측, 상측, 좌상측 및 우상측에 위치한 참조 블록들 중 현재 서브블록(X)와 파티션 형태가 가장 유사한 서브블록 또는 파티션된 서브블록의 크기가 가장 유사한 서브블록들을 검색하여, 검색된 서브블록 A, B, C, D의 모션 벡터에 기초하여 현재 서브블록 X의 예측 모션 벡터를 획득할 수 있다.
여기서, 모션 벡터를 예측하기 위해 참조되는 서브 블록들은 상기 참조 블록에 포함된 서브 블록들 중 현재 서브 블록과 인접한 서브 블록들로 구성될 수 있다.
또한, 현재 서브블록의 참조 서브블록들의 모션 벡터들을 비교하여 모션 벡터들의 차이가 미리 설정된 기준값 이상의 차이가 나는 모션 벡터는 모션 벡터 예측에서 제외할 수도 있다. 예를 들어, 서브블록 D의 모션 벡터가 다른 서브블록 A, B 및 C의 모션 벡터와 상기 기준값 이상 차이가 나는 경우 상기 서브블록 D의 모션 벡터는 현재 서브 블록 X의 모션 벡터 예측에서 제외될 수 있다.
예측 모션 벡터는 다음의 수학식 1에 나타낸 바와 같이 참조 서브 블록의 모션 벡터들의 메디안 연산을 통해 구할 수 있다.
예를들어, 서브블록 A, B 및 C의 모션 벡터(MVA, MVB 및 MVC)가 현재 서브 블록 X의 모션 벡터 예측에 사용되는 경우, 수학식 1과 같이 상기 서브블록들의 모션 벡터에 대해 메디안 연산을 취해 현재 서브블록 X의 예측 모션 벡터(MVprediction)를 산출할 수 있다.
Figure pat00001
또는, 예측 모션 벡터는 상기한 메디안 연산 이외에도 현재 블록과 참조 블록의 거리 또는 파티션 유사도 등을 고려하여 각 참조 블록의 모션 벡터에 가중치를 다르게 설정하여 연산함으로써 획득할 수도 있다.
또한, 다중 참조를 허용하는 비디오 부호화 방법에 상기한 모션 벡터 예측 방법이 적용될 경우, 현재 블록의 주변 블록들이 갖는 모션 벡터가 서로 다른 참조 프레임으로부터 얻어질 수 있으므로, 참조 블록의 개수가 변화할 수 있다. 따라서, 일부 참조 블록의 개수만으로 예측 모션 벡터를 구할수도 있고, 참조 블록이 존재하지 않는 경우에는 예측 모션 벡터를 영(zero) 벡터로 설정하는 등의 제한된 방법을 사용할 수도 있다.
또한, 이미 모션 벡터가 결정된 부호화된 주변 블록들의 모션 벡터가 서로 다른 참조 프레임을 지시하는 경우에는 상기 주변 블록들의 모션 벡터와 상기 현재 프레임으로부터의 거리에 따라 상기 주변 블록들의 모션 벡터를 정규화(normalization)시킨 후 예측 모션 벡터를 구할 수 있다. 즉, 상기 예측 모션 벡터는 상기 정규화된 주변 블록들의 모션 벡터를 이용하여 구할 수 있다. 구체적으로 상기 예측 모션 벡터는 상기 정규화된 주변 블록들에 대해 메디안 연산을 통하여 구할 수 있다.
여기서, 각각의 주변 블록의 모션 벡터는 현재 프레임으로부터의 현재블록의 거리(distance)를 상기 주변 블록의 현재 프레임으로부터의 거리로 나누어줌으써 정규화될 수 있다. 상기 정규화는 P 픽춰 및 B 픽춰에 대해 적용될 수 있다.
도 5를 참조하면, 비대칭으로 파티션된 서브블록 Y와 서브블록 Y'로 구성된 현재 블록(510) 중 서브블록 Y의 모션 벡터를 예측하고자 하는 경우, 이미 모션 벡터가 결정된 현재 블록의 좌측, 상측, 좌상측 및 우상측에 위치한 블록들(520 내지 550) 중 현재 서브블록 Y와 가장 유사한 서브블록을 검색하여 좌측 블록(520), 좌상측 블록(530) 및 상측 블록(540)의 서브블록들 D, E, F를 모션 벡터를 예측하기 위한 참조 서브블록으로 결정하고, 상기 서브블록 D, E 및 F의 모션 벡터를 이용하여 현재 서브블록 Y의 예측 모션 벡터를 획득할 수 있다. 여기서, 상기 예측 모션 벡터는 상기 서브블록 D, E 및 F의 모션 벡터의 메디안 연산을 통하여 획득할 수 있다.
또한, 서브블록 Y'의 모션 벡터를 예측하고자 하는 경우에는, 이미 모션 벡터가 결정된 현재 블록의 좌측, 상측, 좌상측 및 우상측에 위치한 블록들(520 내지 550) 중 현재 서브블록 Y'와 인접하면서 유사한 서브블록을 검색하여 상측 블록(540) 및 우상측 블록(550)의 서브블록 F' 및 G를 모션 벡터를 예측하기 위한 참조 서브블록으로 결정하고, 상기 서브블록 F' 및 G의 모션 벡터를 이용하여 현재 서브블록 Y'의 예측 모션 벡터를 획득할 수도 있다. 여기서, 상기 예측 모션 벡터는 상기 서브블록 D, E 및 F의 모션 벡터들의 메디안 연산을 통하여 획득할 수 있다. 또는 상기 서브 블록은 상기 현재 서브블록 Y'와의 유사도는 고려하지 않고 상기 현재 서브블록 Y'와 인접한 서브블록(도 6에서는 서브블록 F' 및 G)을 검색하여 상측 블록(540) 및 우상측 블록(550)의 서브블록 F' 및 G를 모션 벡터를 예측하기 위한 참조 서브블록으로 결정할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 모션 벡터 예측 방법을 나타내는 흐름도로서, 비대칭으로 파티션된 현재 블록에 포함된 각 서브 블록에 대한 모션 벡터 예측 과정을 나타낸다.
도 6을 참조하면, 먼저 현재 블록과 인접하고 모션 벡터가 구해진 참조 블록들(즉, 좌측, 좌상측, 상측 및 우상측 블록) 중 현재 서브블록과 대응되는 서브블록을 예측 모션 벡터를 구하기 위한 참조 서브블록으로 결정한다(단계 610).
여기서, 상기 참조 서브블록은 현재 서브블록과 모양 또는 크기가 유사한 서브블록으로 결정될 수도 있고, 현재 서브블록과 모양 또는 크기가 유사한 서브블록들 중 현재 서브블록과 직접적으로 인접하고 있는 서브블록들로 결정될 수도 있고, 또는 현재 서브블록과 직접적으로 인접하고 있는 서브블록들로 결정될 수도 있다.
이후, 참조 서브블록들의 모션 벡터를 획득한다(단계 620). 여기서, 참조 서브블록들은 이미 부호화 또는 복호화가 완료된 상태이기 때문에 모션 벡터가 결정된 상태이다.
상기한 바와 같이 참조 서브블록들의 모션 벡터를 획득한 후, 획득한 모션 벡터들에 기초하여 현재 서브블록의 예측 모션 벡터를 결정한다(단계 630). 여기서, 획득한 참조 서브블록들의 모션 벡터들 중 다른 모션 벡터들과 미리 설정된 기준값 이상의 차이가 있는 모션 벡터는 예측 모션 벡터 결정 과정에서 제외될 수도 있다. 또한, 예측 모션 벡터 결정과정에서는 수학식 1에 표시한 바와 같이 참조 서브블록들의 모션 벡터들에 대해 메디안 연산을 취하여 산출할 수도 있고, 모션 벡터를 정규화(normalization)시킨 후 메디안 연산을 취하여 산출할 수도 있다. 또는 참조 블록들의 시간적 또는 공간적 상관관계를 고려하여 해당 참조 블록의 모션 벡터에 가중치를 다르게 설정한 후 메디안 연산을 취하여 산출할 수도 있다.
상기한 바와 같이 현재 서브 블록에 대한 예측 모션 벡터가 결정되면, 예측 모션 벡터를 이용하여 현재 서브 블록의 실제 모션 벡터를 획득한 후(단계 640), 예측 모션 벡터와 실제 모션 벡터의 차이를 산출하여(단계 650), 그 결과를 부호화한다(단계 650). 상기 예측 모션 벡터와 실제 모션 벡터의 차이는 부호화기에서 복호화기로 전송되며, 상기 복호화기에서는 상기 예측 모션 벡터와 실제 모션 벡터의 차이(MVD)를 수신하여 움직임 예측을 수행하여 원본 영상을 복원할 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따른 모션 벡터 예측 방법에서는 비대칭으로 파티션된 현재 서브블록과 가장 상관도가 높은 참조 서브블록의 모션 벡터를 이용하여 예측 모션 벡터를 구한 후, 이를 이용하여 현재 서브블록에 대한 실제 모션 벡터를 구하고, 상기 예측 모션 벡터와 상기 실제 모션 벡터의 차이값을 구하여 이를 부호화 함으로써, 모션 벡터 예측에 소요되는 처리 시간을 단축하고 부호화 효율을 높일 수 있는 장점이 있다.
본 발명의 일 실시예에 따른 모션 벡터 복호화 장치는 엔트로피 복호화부, 예측 모션 벡터 생성부 및 제1 가산기를 포함할 수 있다. 모션 벡터 복호화 장치는 역자화부, 역 공간적 변환부, 모션 보상부, 제2 가산기를 더 포함할 수 있다.
엔트로피 복호화부는 입력 비트스트림을 무손실 복호화하여, 부호화기로부터 전송된 현재 블록에 관한 모션 벡터 차이(MVD, 즉 예측 모션 벡터와 실제 모션 벡터의 차이) 및 참조 프레임 번호를 구한다.
예측 모션 벡터 생성부는 상기 현재 블록의 주변 블록들이 갖는 모션 벡터를 이용하여, 상기 참조 프레임 번호에 해당하는 참조 프레임 상에서, 상기 현재 블록에 대한 주변 모션 벡터들을 생성하고, 생성된 주변 모션 벡터들로부터 상기 현재 블록에 대한 예측 모션 벡터를 생성한다. 이와 같은 예측 모션 벡터의 생성 과정은 모션 벡터 부호화 장치와 유사하지만, 모션 벡터 복호화 장치의 경우에는 이미 참조 프레임 번호가 제공되어 있으므로 이에 대한 예측 모션 벡터만 생성하면 된다. 모션 벡터 부호화 장치는 대상이 되는 참조 프레임들 전체의 각각에 대하여 예측 모션 벡터를 생성한 바 있다.
제1 가산기는 상기 모션 벡터 차이(MVD)와 상기 생성된 현재 블록에 대한 예측 모션 벡터를 가산하여 현재 블록에 관한 최종 모션 벡터를 복원한다. 이와 같이 구해진 최종 모션 벡터는 잔차 영상을 복원하는 데에 이용될 수 있다.
상기 엔트로피 복호화부는 상기 모션 벡터 차이 및 참조 프레임 번호와 더불어, 텍스쳐 데이터를 추출한다. 추출된 텍스쳐 데이터는 역 양자화부에 제공된다.
역 양자화부는 엔트로피 복호화부로부터 전달된 텍스쳐 데이터를 역 양자화한다.
역 공간적 변환부는 공간적 변환을 역으로 수행하여, 상기 역 양자화 결과 생성된 계수들(주파수 영역)을 공간적 영역에서의 잔차 블록으로 변환한다. 예를 들어, 부호화기에서 DCT 방식으로 공간적 변환된 경우에는 역 DCT 변환을 수행한다.
모션 보상부는 상기 제1 가산기로부터 제공되는 최종 모션 벡터를 이용하여 이미 복원된 프레임을 모션 보상하여 모션 보상 프레임을 생성한다.
제2 가산기는 역 공간적 변환부에서 복원되는 잔차 블록과 모션 보상부로부터 제공되는 모션 보상된 프레임에서의 대응 영상을 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록들의 총합은 하나의 복원된 프레임을 형성할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (11)

  1. 현재 블록에 포함된 현재 서브 블록의 모션 벡터를 예측하기 위해 상기 현재 블록과 인접한 블록들 중 참조 서브 블록을 결정하는 단계; 및
    결정된 적어도 하나의 참조 서브 블록들의 모션 벡터에 기초하여 상기 현재 서브 블록의 모션 벡터를 예측하는 단계를 포함하는 모션 벡터 예측 방법.
  2. 제1항에 있어서, 상기 현재 블록은 비대칭 파티션된 것을 특징으로 하는 모션 벡터 예측 방법.
  3. 제2항에 있어서, 상기 현재 블록과 인접한 블록들 중 참조 서브 블록을 결정하는 단계는,
    상기 현재 블록과 인접한 비대칭 파티션된 블록들 각각에 포함된 비대칭 서브 블록들 중 상기 현재 서브 블록에 상응하는 모양 또는 크기를 가지는 적어도 하나의 서브 블록을 참조 서브블록으로 결정하는 것을 특징으로 하는 모션 벡터 예측 방법.
  4. 제2항에 있어서, 상기 현재 블록과 인접한 블록들 중 참조 서브 블록을 결정하는 단계는,
    상기 현재 블록과 인접한 비대칭 파티션된 블록들 각각에 포함된 비대칭 서브 블록들 중 상기 현재 서브 블록에 인접하는 적어도 하나의 서브 블록을 참조 서브블록으로 결정하는 것을 특징으로 하는 모션 벡터 예측 방법.
  5. 제2항에 있어서, 상기 결정된 적어도 하나의 참조 서브 블록들의 모션 벡터에 기초하여 상기 현재 서브 블록의 모션 벡터를 예측하는 단계는
    상기 결정된 적어도 하나의 참조 서브 블록들 각각의 모션 벡터의 메디안 연산을 수행하여 상기 현재 서브 블록의 모션 벡터를 예측하는 것을 특징으로 하는 모션 벡터 예측 방법.
  6. 입력되는 비트스트림을 무손실 복호화하여 현재 블록에 관한 모션 벡터 차이를 생성하는 단계;
    상기 현재 블록의 주변 블록들이 갖는 모션 벡터를 이용하여 상기 현재 블록에 대한 예측 모션 벡터를 생성하는 단계; 및
    상기 모션 벡터 차이와 상기 생성된 현재 블록에 대한 예측 모션 벡터를 이용하여 원래 영상을 복원하는 단계를 포함하는 모션 벡터 복호화 방법.
  7. 제6항에 있어서, 상기 현재 블록은 비대칭 파티션된 것을 특징으로 하는 모션 벡터 복호화 방법.
  8. 제7항에 있어서, 상기 현재 블록에 대한 예측 모션 벡터는 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록에 대한 예측 모션 벡터인 것을 특징으로 하는 모션 벡터 복호화 방법.
  9. 제8항에 있어서, 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록에 대한 예측 모션 벡터는
    상기 현재 블록과 인접한 비대칭 파티션된 블록들 각각에 포함된 비대칭 서브 블록들 중 상기 현재 서브 블록에 상응하는 모양 또는 크기를 가지는 적어도 하나의 서브 블록을 참조 서브블록으로 결정하고, 상기 결정된 적어도 하나의 참조 서브 블록들 각각의 모션 벡터의 메디안 연산을 수행하여 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록의 모션 벡터를 예측하는 것을 특징으로 하는 모션 벡터 복호화 방법.
  10. 제9항에 있어서, 상기 현재 블록에 관한 모션 벡터 차이는 상기 비대칭 파티션된 현재 블록에 대한 예측 모션 벡터와 실제 모션 벡터간의 차이인 것을 특징으로 하는 모션 벡터 복호화 방법.
  11. 제9항에 있어서, 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록의 모션 벡터 예측은
    상기 결정된 적어도 하나의 참조 서브 블록들 각각의 모션 벡터의 메디안 연산을 수행하여 상기 비대칭 파티션된 현재 블록에 포함된 현재 서브 블록의 모션 벡터를 예측하는 것을 특징으로 하는 모션 벡터 복호화 방법.
KR1020110007390A 2011-01-25 2011-01-25 모션 벡터 예측 방법 및 모션 벡터 복호화 방법 KR20120086131A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110007390A KR20120086131A (ko) 2011-01-25 2011-01-25 모션 벡터 예측 방법 및 모션 벡터 복호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110007390A KR20120086131A (ko) 2011-01-25 2011-01-25 모션 벡터 예측 방법 및 모션 벡터 복호화 방법

Publications (1)

Publication Number Publication Date
KR20120086131A true KR20120086131A (ko) 2012-08-02

Family

ID=46872050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110007390A KR20120086131A (ko) 2011-01-25 2011-01-25 모션 벡터 예측 방법 및 모션 벡터 복호화 방법

Country Status (1)

Country Link
KR (1) KR20120086131A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020141881A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 서브블록 단위의 움직임 정보 기반 인터 예측 방법 및 장치
US11563954B2 (en) 2017-10-26 2023-01-24 Electronics And Telecommunications Research Institute Method and device for image encoding/decoding on basis of asymmetric sub-block

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563954B2 (en) 2017-10-26 2023-01-24 Electronics And Telecommunications Research Institute Method and device for image encoding/decoding on basis of asymmetric sub-block
WO2020141881A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 서브블록 단위의 움직임 정보 기반 인터 예측 방법 및 장치

Similar Documents

Publication Publication Date Title
KR102026856B1 (ko) 다중 참조를 허용하는 비디오 코덱에서 모션 벡터를 예측하는 방법, 및 그 방법을 이용한 모션 벡터 부호화/복호화 장치
US8625670B2 (en) Method and apparatus for encoding and decoding image
US10484703B2 (en) Adapting merge candidate positions and numbers according to size and/or shape of prediction block
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
JP6518274B2 (ja) 映像復号化方法および映像符号化方法
KR101292091B1 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
CN107623853B (zh) 视频编码和解码方法及非暂时性计算机可读存储介质
JP2017201793A (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
KR101298598B1 (ko) 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
KR20080069069A (ko) 인트라/인터 예측 방법 및 장치
KR20090058954A (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR20110090781A (ko) 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
KR20230110459A (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
KR20110090841A (ko) 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR20120086131A (ko) 모션 벡터 예측 방법 및 모션 벡터 복호화 방법
KR20130055317A (ko) 순차적으로 후보 블록을 선정하여 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
KR20110067648A (ko) 영상 부호화/복호화 방법 및 이를 수행하는 장치
KR20180041831A (ko) 블록 분할에 따른 skip 후보 리스트를 사용하는 비디오 코딩 방법 및 장치
KR101499558B1 (ko) 영상의 복호화 방법
KR20130055314A (ko) 공통 병합 가능 블록 집합을 이용한 영상 부호화/복호화 장치 및 방법
KR20130055315A (ko) 서로 다른 병합 가능 블록 집합을 이용한 영상 부호화/복호화 장치 및 방법
KR20130055318A (ko) 제한된 후보 블록을 기반으로 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
KR20120008271A (ko) 주변 화소의 정합을 이용한 예측 움직임 벡터 선택 장치 및 그 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Withdrawal due to no request for examination