KR101770211B1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR101770211B1
KR101770211B1 KR1020167000322A KR20167000322A KR101770211B1 KR 101770211 B1 KR101770211 B1 KR 101770211B1 KR 1020167000322 A KR1020167000322 A KR 1020167000322A KR 20167000322 A KR20167000322 A KR 20167000322A KR 101770211 B1 KR101770211 B1 KR 101770211B1
Authority
KR
South Korea
Prior art keywords
unit
inter
motion vector
depth
virtual
Prior art date
Application number
KR1020167000322A
Other languages
English (en)
Other versions
KR20160026972A (ko
Inventor
남정학
예세훈
김태섭
유선미
정지욱
허진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20160026972A publication Critical patent/KR20160026972A/ko
Application granted granted Critical
Publication of KR101770211B1 publication Critical patent/KR101770211B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호 처리 방법 및 장치에 관한 것으로, 제1 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득하고, 상기 임시 시점 간 움직임 벡터를 이용하여 상기 제1 유닛에 대응되는 가상 뎁스 정보를 획득하고, 상기 제1 유닛에 대응되는 가상 뎁스 정보를 이용하여 상기 제1 유닛에 대응되는 시점 간 움직임 벡터를 획득하고, 상기 제1 유닛에 대응되는 시점 간 움직임 벡터를 업데이트할 수 있다.

Description

비디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL}
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점 간 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
본 발명은 시점 합성 예측에서 뎁스 정보를 이용한 와핑 과정에서 복수의 뎁스 정보가 존재하더라도 하나의 뎁스 정보 만을 이용하는 것을 특징으로 한다.
또한, 본 발명은 임시 시점 간 움직임 벡터를 이용하여 와핑 과정에 이용되는 시점 간 움직임 벡터를 획득하는 것을 특징으로 한다.
또한, 본 발명은 획득된 시점 간 움직임 벡터를 업데이트하여 추후 이용하는 것을 특징으로 한다.
또한, 본 발명은 인코더로부터 전송된 기결정된 시점 간 움직임 벡터를 이용하여 와핑 과정을 수행하는 것을 특징으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 시점 합성 예측에서 뎁스 정보를 이용한 와핑 과정에서 복수의 뎁스 정보가 존재하더라도 하나의 뎁스 정보 만을 이용하여 참조 블록 간의 순서가 뒤집어 지거나 거리가 멀어지는 경우를 방지함으로써 시점 합성 예측의 정확도를 높일 수 있다.
또한, 본 발명은 임시 시점 간 움직임 벡터를 이용함으로써 와핑 과정에 이용되는 유닛의 정확한 시점 간 움직임 벡터를 획득할 수 있다.
또한, 본 발명은 획득된 시점 간 움직임 벡터를 업데이트함으로써 와핑 과정에 이용되는 유닛의 정확한 시점 간 움직임 벡터를 획득할 수 있다.
또한, 본 발명은 인코더로부터 전송된 기결정된 시점 간 움직임 벡터를 이용하여 와핑 과정을 수행함으로써 와핑 과정에 이용되는 유닛의 정확한 시점 간 움직임 벡터를 획득할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일 실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 3은 본 발명이 적용되는 일 실시예로서, 시점 합성 예측이 수행되는 일례를 나타내는 순서도이다.
도 4는 참조 블록과 뎁스 블록을 이용하여 가상 참조 블록을 획득하는 일례를 도시한 것이다.
도 5-a는 참조 블록과 뎁스 블록을 이용하여 획득된 가상 참조 블록의 순서가 뒤집어진 일례를 도시한 것이다.
도 5-b는 참조 블록과 뎁스 블록을 이용하여 획득된 가상 참조 블록의 간격이 멀어진 일례를 도시한 것이다.
도 6은 본 발명이 적용되는 일 실시예로서, 시점 합성 예측의 가상 참조 픽쳐를 획득하는 방법의 일례에 대한 흐름도를 도시한 것이다.
도 7은 본 발명에서 적용되는 일 실시예로서, 시점 합성 예측의 와핑 방법의 일례를 도시한 것이다.
도 8은 본 발명이 적용되는 일 실시예로서, 가상 뎁스 정보를 이용하여 N 번째 유닛의 시점 간 움직임 벡터를 획득하는 일례에 대한 흐름도를 도시한 것이다.
도 9는 본 발명이 적용되는 일 실시예로서, 가상 뎁스 정보를 이용하여 N 번째 유닛의 시점 간 움직임 벡터를 획득하는 일례를 도시한 것이다.
도 10은 본 발명이 적용되는 일 실시예로서, 시점 간 움직임 벡터를 업데이트하는 일례에 대한 흐름도를 도시한 것이다.
발명의 실시를 위한 최선의 형태
본 발명은 제1 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득하고, 상기 임시 시점 간 움직임 벡터를 이용하여 상기 제1 유닛에 대응되는 가상 뎁스 정보를 획득하고, 상기 제1 유닛에 대응되는 가상 뎁스 정보를 이용하여 상기 제1 유닛에 대응되는 시점 간 움직임 벡터를 획득하고, 상기 제1 유닛에 대응되는 시점 간 움직임 벡터를 업데이트하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 임시 시점 간 움직임 벡터는 상기 제1 유닛의 이웃 유닛에 대응되는 시점 간 움직임 벡터를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 가상 뎁스 정보는 상기 제1 유닛과 다른 시점의 뎁스 블록의 뎁스 정보인 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 업데이트된 시점 간 움직임 벡터를 이용하여 제2 유닛에 대응되는 시점 간 움직임 벡터를 획득하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 제1 유닛에 대응되는 시점 간 움직임 벡터를 이용하여 제2 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득하고, 상기 제2 유닛에 대응되는 임시 시점 간 움직임 벡터를 이용하여 상기 제2 유닛에 대응되는 가상 뎁스 정보를 획득하고, 상기 제2 유닛에 대응되는 가상 뎁스 정보를 이용하여 상기 제2 유닛에 대응되는 시점 간 움직임 벡터를 획득하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 제2 유닛에 대응되는 시점 간 움직임 벡터를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 제1 유닛에 대응되는 시점 간 움직임 벡터를 이용하여 제1 가상 참조 블록을 획득하되, 상기 제1 가상 참조 블록은 시점 합성 예측을 위한 가상 참조 픽쳐 내 포함되는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
발명의 실시를 위한 형태
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점 간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상을 코딩할 수 있다. 또한, 필요에 따라 다시점 텍스쳐 영상에 대응하는 뎁스 데이터를 더 코딩할 수도 있다. 뎁스 데이터를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점 간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 데이터는 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 본 명세서 내에서 뎁스 데이터는 뎁스 정보, 뎁스 영상, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 비트스트림 등과 같이 뎁스에 관련된 정보로 유연하게 해석될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
본 실시예에 따른 방송 수신기는 공중파 방송신호를 수신하여 영상을 재생하기 위한 것이다. 상기 방송 수신기는 수신된 뎁스 관련 정보들을 이용하여 3차원 콘텐츠를 생성할 수 있다. 상기 방송 수신기는 튜너(100), 복조/채널 디코더(102), 트랜스포트 역다중화부(104), 패킷 해제부(106), 오디오 디코더(108), 비디오 디코더(110), PSI/PSIP 처리부(114), 3D 렌더링부(116), 포맷터(120) 및 디스플레이부(122)를 포함한다.
튜너(100)는 안테나(미도시)를 통해 입력되는 다수의 방송 신호들 중에서 사용자가 선국한 어느 한 채널의 방송 신호를 선택하여 출력한다. 복조/채널 디코더(102)는 튜너(100)로부터의 방송 신호를 복조하고 복조된 신호에 대하여 에러 정정 디코딩을 수행하여 트랜스포트 스트림(TS)을 출력한다. 트랜스포트 역다중화부(104)는 트랜스포트 스트림을 역다중화하여, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다. 패킷 해제부(106)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 오디오 디코더(108)는 오디오 ES를 디코딩하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다. 비디오 디코더(110)는 비디오 ES를 디코딩하여 원래의 영상을 복원한다. 상기 오디오 디코더(108) 및 상기 비디오 디코더(110)의 디코딩 과정은 PSI/PSIP 처리부(114)에 의해 확인되는 패킷 ID(PID)를 토대로 진행될 수 있다. 디코딩 과정에서, 상기 비디오 디코더(110)는 뎁스 정보를 추출할 수 있다. 또한, 가상 카메라 시점의 영상을 생성하는데 필요한 부가 정보, 예를 들어, 카메라 정보, 또는 상대적으로 앞에 있는 객체에 의해 가려지는 영역(Occlusion)을 추정하기 위한 정보(예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 컬러 정보) 등을 추출하여 3D 렌더링부(116)에 제공할 수 있다. 그러나, 본 발명의 다른 실시예에 있어서는, 상기 뎁스 정보 및/또는 부가 정보가 트랜스포트 역다중화부(104)에 의해 분리될 수도 있다.
PSI/PSIP 처리부(114)는 트랜스포트 역다중화부(104)로부터의 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리(미도시) 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송이 재생되도록 한다. 3D 렌더링부(116)는 복원된 영상, 뎁스 정보, 부가 정보 및 카메라 파라미터를 이용하여, 가상 카메라 위치에서의 컬러 정보, 뎁스 정보 등을 생성할 수 있다.
또한, 3D 렌더링부(116)는 복원된 영상과, 상기 복원된 영상에 대한 뎁스 정보를 이용하여 3D 와핑(Warping)을 수행함으로써, 가상 카메라 위치에서의 가상 영상을 생성한다. 본 실시예에서는 상기 3D 렌더링부(116)가 상기 비디오 디코더(110)와 별개의 블록으로 구성되어 설명되고 있지만, 이는 일실시예에 불과하며, 상기 3D 렌더링부(116)는 상기 비디오 디코더(110)에 포함되어 수행될 수도 있다.
포맷터(120)는 디코딩 과정에서 복원한 영상 즉, 실제 카메라에 의하여 촬영된 영상과, 3D 렌더링부(116)에 의하여 생성된 가상 영상을 해당 수신기에서의 디스플레이 방식에 맞게 포맷팅하여, 디스플레이부(122)를 통해 3D 영상이 표시되도록 하게 된다. 여기서, 상기 3D 렌더링부(116)에 의한 가상 카메라 위치에서의 뎁스 정보 및 가상 영상의 합성, 그리고 포맷터(120)에 의한 영상 포맷팅이 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시)을 조작하여 합성 영상이 표시되지 않도록 할 수도 있고, 영상 합성이 이루어질 시점을 지정할 수도 있다.
상기에서 살펴본 바와 같이, 3D 영상을 생성하기 위해 뎁스 정보는 3D 렌더링부(116)에서 이용되고 있지만, 다른 실시예로서 상기 비디오 디코더(110)에서 이용될 수도 있다. 이하에서는 상기 비디오 디코더(110)에서 뎁스 정보를 이용하는 다양한 실시예들을 살펴보도록 한다.
도 2는 본 발명이 적용되는 실시예로서, 비디오 디코더의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 상기 비디오 디코더(110)는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 디블로킹 필터부(240), 복호 픽쳐 버퍼부(250), 인터 예측부(260) 및 인트라 예측부(270)를 포함할 수 있다. 여기서, 실선은 컬러 픽쳐 데이터의 흐름을 의미하며, 점선은 뎁스 픽쳐 데이터의 흐름을 의미한다. 이와 같이, 상기 도 2에서는 컬러 픽쳐 데이터와 뎁스 픽쳐 데이터를 구분하여 표시하였지만, 이는 별개의 비트스트림을 의미할 수 있고, 또는 하나의 비트스트림 내에서 데이터의 흐름만을 구분한 것으로 볼 수도 있다. 즉, 상기 컬러 픽쳐 데이터와 상기 뎁스 픽쳐 데이터는 하나의 비트스트림, 또는 별개의 비트스트림으로 전송될 수 있고, 도 2에서는 데이터의 흐름을 나타낼 뿐 하나의 디코더 내에서 모두 수행되는 것으로 한정되지 않는다.
먼저, 수신된 뎁스 비트스트림(200)을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 이 때 NAL 헤더 영역, NAL 헤더의 확장 영역, 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트), 시퀀스 헤더의 확장 영역, 픽쳐 헤더 영역(예를 들어, 픽쳐 파라미터 세트), 픽쳐 헤더의 확장 영역, 슬라이스 헤더 영역, 슬라이스 헤더의 확장 영역, 슬라이스 데이터 영역, 또는 매크로 블록 영역에는 뎁스에 관련된 여러 가지 속성 정보가 포함될 수 있다. 뎁스 코딩은 별개의 코덱으로 이용될 수 있지만, 기존 코덱과의 호환을 이루는 경우라면 뎁스 비트스트림인 경우에 한해 뎁스에 관련된 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트) 또는 시퀀스 헤더의 확장 영역에서 뎁스 비트스트림인지 여부를 식별할 수 있는 뎁스 식별 정보를 추가할 수 있다. 상기 뎁스 식별 정보에 따라, 입력된 비트스트림이 뎁스 코딩된 비트스트림일 경우에 한해 뎁스 시퀀스에 대한 속성 정보들을 추가할 수 있다.
파싱된 뎁스 비트스트림(200)은 엔트로피 디코딩부(210)를 통하여 엔트로피 디코딩되고, 각 매크로블록의 계수, 움직임 벡터 등이 추출된다. 역양자화부(220)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 역변환부(230)에서는 상기 계수값을 역변환하여 뎁스 픽쳐의 뎁스 정보를 복원하게 된다. 인트라 예측부(270)에서는 현재 뎁스 픽쳐의 복원된 뎁스 정보를 이용하여 화면내 예측을 수행하게 된다. 한편, 디블로킹 필터부(240)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 디블로킹 필터링을 적용한다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(250)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(250)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 뎁스 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(250)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보도 함께 이용할 수 있다.
또한, 상기 복호 픽쳐 버퍼부(250)는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 뎁스 시점에 대한 정보를 이용할 수 있다. 예를 들어, 뎁스-뷰 참조 정보(depth-view reference information)를 이용할 수 있다. 뎁스-뷰 참조 정보란, 뎁스 픽쳐들의 시점간 의존 관계를 나타내기 위해 이용되는 정보들을 말한다. 예를 들어, 전체 뎁스 시점의 개수, 뎁스 시점 식별 번호, 뎁스-뷰 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 뎁스 시점 식별 번호 등이 있을 수 있다.
상기 복호 픽쳐 버퍼부(250)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 컬러 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(260)에서 뎁스 코딩을 위해 이용될 수 있다.
도 2를 참조하면, 인터 예측부(260)는 움직임 보상부(261), 가상시점 합성부(262) 및 뎁스 픽쳐 예측부(263)를 포함할 수 있다.
움직임 보상부(261)에서는 엔트로피 디코딩부(210)로부터 전송된 정보들을 이용하여 현재 유닛의 움직임을 보상한다. 비디오 신호로부터 현재 유닛에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 유닛의 움직임 벡터 예측값을 획득한다. 상기 움직임 벡터 예측값과 상기 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 유닛의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 뎁스 코딩에 있어서, 현재 뎁스 픽쳐가 다른 시점에 있는 뎁스 픽쳐를 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(250)에 저장되어 있는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다.
또한, 가상 시점 합성부(Virtual View Synthesizing Unit)(262)는 현재 컬러 픽쳐의 시점에 이웃하는 시점의 컬러 픽쳐를 이용하여 가상 시점의 컬러 픽쳐를 합성한다. 서로 이웃하는 시점의 컬러 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 컬러 픽쳐들을 이용하기 위해, 상기 컬러 픽쳐의 시점을 나타내는 시점 식별 정보가 이용될 수 있다. 상기 가상 시점의 컬러 픽쳐를 생성할 경우, 상기 가상 시점의 컬러 픽쳐를 생성할지 여부를 지시하는 플래그 정보를 정의할 수 있다. 상기 플래그 정보가 상기 가상 시점의 컬러 픽쳐를 생성할 것을 지시하는 경우, 상기 시점 식별 정보를 이용하여 가상 시점의 컬러 픽쳐를 생성할 수 있다. 상기 가상 시점 합성부(262)를 통해 획득된 가상 시점의 컬러 픽쳐는 레퍼런스 픽쳐로 사용될 수도 있으며, 이 경우 상기 가상 시점의 컬러 픽쳐에도 상기 시점 식별 정보를 할당할 수 있음은 물론이다.
다른 실시예로, 상기 가상 시점 합성부(262)는 현재 뎁스 픽쳐의 시점에 이웃하는 시점에 있는 뎁스 픽쳐를 이용하여 가상 시점의 뎁스 픽쳐를 합성할 수 있다. 마찬가지로, 뎁스 픽쳐의 시점을 나타내기 위해 뎁스 시점 식별 정보가 이용될 수 있다. 여기서, 상기 뎁스 시점 식별 정보는 대응되는 컬러 픽쳐의 시점 식별 정보로부터 유도될 수 있다. 예를 들어, 상기 대응되는 컬러 픽쳐는 현재 뎁스 픽쳐와 동일한 픽쳐 출력 순서 정보 및 동일한 시점 식별 정보를 가질 수 있다.
뎁스 픽쳐 생성부(263)는 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 생성할 수 있다. 여기서, 상기 뎁스 코딩 정보는 카메라와 객체간의 거리를 나타내는 거리 변수(예를 들어, 카메라 좌표계상의 Z좌표값 등), 뎁스 코딩을 위한 매크로블록 타입 정보, 뎁스 픽쳐 내의 경계선 식별 정보, RBSP내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 정보, 또는 데이터 타입이 뎁스 픽쳐 데이터인지 컬러 픽쳐 데이터인지 또는 패러렉스 데이터인지 여부를 나타내는 정보 등을 포함할 수 있다. 또한, 상기 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 예측할 수도 있다. 즉, 현재 뎁스 픽쳐에 이웃하는 뎁스 픽쳐를 이용한 인터 예측이 가능하며, 현재 뎁스 픽쳐내 디코딩된 뎁스 정보를 이용한 인트라 예측이 가능할 것이다.
다시점 영상을 디코딩하기 위한 시점 간 예측 방법으로 시점 간 인터 예측(DCP, disparity compensated prediction) 및 시점 합성 예측(VSP, view synthesis prediction)이 존재한다.
시점 합성 예측은 뎁스 정보를 이용하여 텍스쳐 픽쳐 내 블록을 와핑하여 현재 유닛을 디코딩하기 위한 가상 참조 픽쳐로 이용하는 예측 방법으로 도 3과 같은 순서에 의해 수행될 수 있다.
도 3은 본 발명이 적용되는 일 실시예로서, 시점 합성 예측이 수행되는 일례를 나타내는 순서도이다.
현재 유닛이 시점 합성 예측을 이용하는지 여부를 판단할 수 있다(S310). 여기서, 현재 유닛은 디코딩되는 다시점 영상 내 임의의 유닛을 나타낼 수 있다. 현재 유닛이 시점 합성 예측을 이용하는지 판단하기 위해 현재 유닛의 예측 방법을 나타내는 현재 유닛의 예측 정보를 획득할 수 있다. 그리고, 현재 유닛의 예측 정보가 시점 합성 예측을 나타내는 경우 현재 유닛에 대한 시점 합성 예측을 수행할 수 있다.
시점 합성 예측을 위한 참조 텍스쳐 정보 및 뎁스 정보를 획득할 수 있다(S320). 여기서, 참조 텍스쳐 정보는 현재 유닛의 이웃 시점인 기준 시점 내 참조 픽쳐를 나타낼 수 있다. 참조 픽쳐는 현재 유닛이 포함된 픽쳐와 다른 시점, 동일 시간에 존재할 수 있다. 그리고, 뎁스 정보는 현재 유닛과 동일 시점에 존재하는 뎁스 정보 또는 현재 유닛의 이웃 시점인 기준 시점에 존재하는 뎁스 정보를 나타낼 수 있다.
참조 텍스쳐 정보 및 뎁스 정보를 이용하여 가상 참조 픽쳐를 획득할 수 있다(S330). 뎁스 정보를 이용하여 획득된 시점 간 움직임 벡터를 획득할 수 있다. 픽셀 단위 또는 블록 단위로 시점 간 움직임 벡터와 참조 텍스쳐 정보를 이용하여 가상 참조 픽쳐를 획득할 수 있다.
가상 참조 픽쳐를 이용하여 현재 유닛을 디코딩할 수 있다(S340). 예를 들어, 현재 유닛에 대응되는 가상 참조 픽쳐 내 유닛의 픽셀 값을 현재 유닛의 예측 값으로 획득할 수 있다.
본 발명에서는 시점 합성 예측의 정확성을 높이기 위해 시점 합성 예측에 이용되는 뎁스 정보를 획득하는 방법 및 참조 텍스쳐 정보 및 뎁스 정보를 이용하여 가상 참조 픽쳐를 와핑하는 방법에 대해 제안한다.
다시점 영상에서 하나의 예측 유닛은 동일하거나 유사한 특성을 가지고 있는 예측 단위일 수 있다. 예를 들어, 하나의 예측 유닛은 유사한 색 또는 유사한 움직임 정보를 갖고 있을 수 있다, 또한, 하나의 텍스쳐 픽쳐 내 예측 블록(유닛)은 유사한 뎁스 정보를 갖고 있을 수 있다. 그러므로, 예측 블록을 디코딩하는 과정에서 시점 합성 예측이 이용되는 경우, 예측 블록에 대응되는 뎁스 블록은 하나의 뎁스 레이어가 포함되어 있을 수 있다. 만일, 예측 블록에 대응되는 뎁스 블록은 하나의 뎁스 레이어가 존재하는 경우, 도 4와 같이 참조 텍스쳐 픽쳐 내 참조 텍스쳐 블록과 대응되는 뎁스 블록(또는, 가상 뎁스 블록)을 이용하여 일정한 간격의 가상 참조 블록을 획득할 수 있다.
그러나, 디코딩 과정에서 예측 유닛에 대응되는 뎁스 블록에 복수의 뎁스 레이어가 존재할 수 있고, 이러한 경우 시점 합성 예측의 정확도가 저하될 수 있다. 만일, 예측 유닛에 대응되는 뎁스 블록에 복수의 뎁스 레이어가 존재하는 경우, 도 5-a와 같이 가상 참조 픽쳐 내 가상 참조 블록(유닛)의 순서가 뒤집어지거나, 도 5-b와 같이 가상 참조 픽쳐 내 가상 참조 블록의 간격이 멀어지는 경우가 발생할 수 있다. 가상 참조 블록의 순서가 뒤집어지거나 가상 참조 블록의 간격이 멀어져서 획득되는 가상 참조 픽쳐를 이용하여 현재 유닛을 예측하는 경우 정확한 예측 값을 획득하기 어렵다.
그리하여, 이하에서는 시점 합성 예측의 일 실시예로 가상 참조 픽쳐를 와핑하는 과정에서 하나의 뎁스 레이어 만이 사용되도록 뎁스 값을 보정하는 방법 및 장치에 대해 제안한다. 이하에서는, 도 6 및 도 7을 이용하여 본 발명에서 제안하는 시점 합성 예측에서 가상 참조 픽쳐를 획득하기 위한 와핑 방법에 대해서 설명하도록 한다.
도 6은 본 발명이 적용되는 일 실시예로서, 시점 합성 예측의 가상 참조 픽쳐를 획득하는 방법의 일례에 대한 흐름도를 도시한 것이다.
N-1 번째 유닛(제1 참조 블록)을 와핑하여 N-1 번째 가상 참조 블록(제1 가상 참조 블록)을 획득할 수 있다(S610). 이하에서 N-1 번째 유닛은 가상 참조 픽쳐를 획득하기 위해 이용되는 기준 시점 내 텍스쳐 블록으로서, N 번째 유닛이 와핑되기 전에 와핑되는 유닛으로 정의될 수 있다. 그리고, N-1 번째 가상 참조 블록은 N-1 번째 유닛과 N-1 번째 유닛에 대응되는 뎁스 블록에 의해 와핑된 가상 참조 픽쳐 내 블록으로 정의될 수 있다.
N 번째 유닛을 와핑하여 N 번째 가상 참조 블록를 획득할 수 있다(S620). 이하에서, N 번째 유닛(제2 참조 블록)은 가상 참조 픽쳐를 획득하기 위해 이용되는 기준 시점 내 텍스쳐 블록으로서, N-1 번째 유닛이 와핑된 후 와핑되는 유닛으로 정의될 수 있다. 그리고, N 번째 가상 참조 블록(제2 가상 참조 블록)은 N 번째 유닛과 N 번째 유닛에 대응되는 뎁스 블록에 의해 와핑된 가상 참조 픽쳐 내 블록으로 정의될 수 있다.
N-1 번째 가상 참조 블록의 위치와 N 번째 가상 참조 블록의 위치를 비교할 수 있다(S630). N-1 번째 가상 참조 블록의 위치와 N 번째 가상 참조 블록의 위치를 비교하여 도 5-a 또는 도 5-b와 같이 N 번째 가상 참조 블록의 위치와 N-1 번째 가상 참조 블록의 위치가 일정 거리 이상 떨어져 있거나 순서가 뒤집혀 있는지 판단할 수 있다.
N-1 번째 가상 참조 블록의 위치와 N 번째 가상 참조 블록의 위치를 비교하는 방법의 일례로, N-1 번째 가상 참조 블록의 좌측 상단 픽셀의 위치와 N 번째 가상 참조 블록의 좌측 상단 픽셀의 위치를 비교하여 두 픽셀 간 거리와 기결정된 임계 값를 비교할 수 있다. 또는, N-1 번째 가상 참조 블록의 중심 픽셀의 위치와 N 번째 가상 참조 블록의 중심 픽셀의 위치를 비교하여 두 픽셀 간 거리와 기결정된 임계 값를 비교할 수도 있다. 여기서, 기결정된 임계 값은 N-1 번째 가상 참조 블록의 너비일 수 있다. 또는, N-1 번째 가상 참조 블록의 좌측 상단 픽셀을 기준으로 비교 범위를 설정하고, N 번째 가상 참조 블록의 좌측 상단 픽셀이 비교 범위에 포함되는지 여부를 통해 N-1 번째 가상 참조 블록의 위치와 N 번째 가상 참조 블록의 위치를 비교할 수도 있다. 또는, N-1 번째 가상 참조 블록의 중심 픽셀을 기준으로 비교 범위를 설정하고, N 번째 가상 참조 블록의 중심 픽셀이 비교 범위에 포함되는지 여부를 통해 N-1 번째 가상 참조 블록의 위치와 N 번째 가상 참조 블록의 위치를 비교할 수도 있다. N-1 번째 가상 참조 블록의 위치와 N 번째 가상 참조 블록의 위치를 비교하는 방법은 상술한 실시예에 한정되지 않고 다양하게 실시될 수 있다.
만일, S630 단계의 비교 결과에 비추어 N 번째 가상 참조 블록과 N-1 번째 가상 참조 블록이 일정 거리 이상 떨어져 있거나 순서가 뒤집혀 있는 경우, N 번째 가상 참조 블록의 위치를 수정할 수 있다(S640). 수정되는 N 번째 가상 참조 블록은 N-1 번째 가상 참조 블록과 이웃하게 위치될 수 있다. 또는, S630의 기결정된 임계 값 또는 비교 범위에 대응되어 위치될 수 있다.
N+1 번째 유닛을 와핑하여 N+1 번째 가상 참조 블록를 획득할 수 있다(S650). 와핑 과정은 가상 참조 픽쳐가 획득되기 전까지 수행될 수 있다. 이하에서, N+1 번째 유닛(제3 참조 블록)은 가상 참조 픽쳐를 획득하기 위해 이용되는 기준 시점 내 텍스쳐 블록으로서, N 번째 유닛이 와핑된 후 와핑되는 유닛으로 정의될 수 있다. 그리고, N+1 번째 가상 참조 블록(제3 가상 참조 블록)은 N+1 번째 유닛과 N+1 번째 유닛에 대응되는 뎁스 블록에 의해 와핑된 가상 참조 픽쳐 내 블록으로 정의될 수 있다.
만일, N 번째 가상 참조 블록과 N-1 번째 가상 참조 블록이 일정 거리 이상 떨어져 있거나 순서가 뒤집혀 있지 않은 경우, N 번째 가상 참조 블록의 위치를 수정하는 단계를 수행하지 않고, N+1 번째 유닛을 와핑하여 N+1 번째 가상 참조 블록를 획득할 수 있다(S650).
도 7은 본 발명에서 적용되는 일 실시예로서, 시점 합성 예측의 와핑 방법의 일례를 도시한 것이다.
기준 시점 내 텍스쳐 블록인 N 번째 유닛(700)을 와핑하기 전, N-1 번째 유닛(710)은 대응되는 뎁스 블록(715)를 이용하여 N-1 번째 가상 참조 블록(720)으로 와핑될 수 있다. 그리고, N 번째 유닛(700)은 대응되는 뎁스 블록(705)를 이용하여 와핑될 수 있다. 만일 와핑 과정을 통해 획득된 N 번째 가상 참조 블록(730)이 동일 레이어 범위(740)를 벗어나는 경우, N 번째 가상 참조 블록(730)의 위치를 동일 레이어 범위(740) 내로 수정하여 수정된 참조 블록(735)를 획득할 수 있다.
상술한 도 6과 도 7의 가상 참조 픽쳐를 획득하는 방법을 통해 하나의 뎁스 레이어 만을 이용한 가상 참조 픽쳐를 획득할 수 있다. 이에 따른 가상 참조 픽쳐를 이용하여 시점 합성 예측을 수행함에 따라 현재 유닛의 정확한 예측 값을 획득할 수 있다.
상술한 바와 같이 시점 합성 예측의 정확한 예측을 위해 가상 참조 픽쳐를 획득하는 과정에 이용되는 정확한 뎁스 정보를 획득하는 과정이 중요하다. 이하에서는 시점 합성 예측에서 가상 참조 픽쳐를 획득하기 위해 이용되는 가상 뎁스 정보를 획득하는 방법에 대해서 설명하도록 한다.
기준 시점의 텍스쳐 정보와 뎁스 정보는 항상 존재하지만, 현재 시점의 뎁스 정보는 존재할 수도 있고, 존재하지 않을 수도 있다. 만일, 현재 시점의 뎁스 정보가 존재하지 않을 경우, 기준 시점의 뎁스 정보를 이용하여 가상 뎁스 정보를 유도할 수 있다. 이하에서, 가상 뎁스 정보는 기준 시점 내 위치한 뎁스 블록의 뎁스 정보를 나타낼 수 있다. 가상 뎁스 정보는 디코딩되는 현재 유닛의 시점 간 움직임 벡터를 이용하여 획득될 수 있다. 그러나, 현재 유닛의 시점 간 움직임 벡터가 디코딩 전인 경우, 현재 유닛의 이웃 유닛의 시점 간 움직임 벡터를 이용하여 현재 유닛의 시점 간 움직임 벡터를 획득할 수 있다. 이웃 유닛의 시점 간 움직임 벡터를 이용하여 획득된 현재 유닛의 시점 간 움직임 벡터를 이용하여 가상 뎁스 블록을 획득하고, 가상 뎁스 블록의 뎁스 값을 이용하여 현재 유닛의 시점 간 움직임 벡터를 획득하여 시점 합성 예측을 수행할 수 있다.
이하에서는 시점 합성 예측에서 가상 참조 픽쳐를 획득하기 위한 뎁스 정보가 존재하지 않는 경우, 가상 참조 픽쳐를 획득하기 위해 가상 뎁스 정보를 이용하여 시점 간 움직임 벡터를 획득하는 방법에 대해 도 8 및 도 9를 참조하여 설명하도록 한다.
도 8은 본 발명이 적용되는 일 실시예로서, 가상 뎁스 정보를 이용하여 N 번째 유닛의 시점 간 움직임 벡터를 획득하는 일례에 대한 흐름도를 도시한 것이다.
이웃 유닛의 시점 간 움직임 벡터를 이용하여 임시 시점 간 움직임 벡터를 획득할 수 있다(S810). 여기서, 이웃 유닛은 시점 합성 예측에 의해 와핑되는 N 번째 유닛(본 명세서에서 N 번째 유닛을 제1 유닛으로 나타낼 수 있다.)에 공간적 또는 시간적으로 이웃한 유닛을 나타낼 수 있다. 그리고, 임시 시점 간 움직임 벡터는 기준 시점에 존재하는 가상 뎁스 정보를 획득하기 위해 이용되는 시점 간 움직임 벡터를 나타낼 수 있다. 만일, 이웃 유닛이 시점 간 움직임 벡터를 이용하여 코딩되는 경우, N 번째 유닛은 이웃 유닛의 시점 간 움직임 벡터를 이용하여 임시 시점 간 움직임 벡터를 획득할 수 있다.
임시 시점 간 움직임 벡터를 이용하여 N 번째 유닛의 가상 뎁스 정보를 획득할 수 있다(S820). 가상 뎁스 정보는 임시 시점 간 움직임 벡터가 가리키는 기준 시점의 뎁스 블록 내 뎁스 값일 수 있다. 그리고, 임시 시점 간 움직임 벡터는 추후 설명할 S830 단계에서 획득되는 N 번째 유닛의 시점 간 움직임 벡터도 포함될 수 있다. N 번째 유닛의 시점 간 움직임 벡터는 N+1 번째 유닛(본 명세서에서 N+1 번째 유닛을 제2 유닛으로 나타낼 수 있다.)의 가상 뎁스 정보를 획득하기 위해 이용될 수 있다.
가상 뎁스 정보를 이용하여 N 번째 유닛의 시점 간 움직임 벡터를 획득할 수 있다(S830). 가상 뎁스 정보는 기준 시점의 뎁스 블록 내 뎁스 값 중 최대값, 최소값, 평균값, 최빈값 중 하나일 수 있다. 그리고, N 번째 유닛의 시점 간 움직임 벡터은 가상 뎁스 정보를 이용하여 획득될 수 있다. 한편, N 번째 유닛이 서브 유닛을 포함하는 경우, 각 서브 유닛 별로 시점 간 움직임 벡터를 획득할 수 있다. 여기서, 서브 유닛은 N 번째 유닛의 하위 예측 유닛으로, 2N X N, N X 2N 또는 N X N의 크기일 수 있다.
만약 N+1 번째 유닛을 와핑하기 위한 뎁스 정보가 존재하지 않는 경우, S820 단계와 같이 S830 단계에서 획득된 N 번째 유닛의 시점 간 움직임 벡터를 임시 시점 간 움직임 벡터로 이용하여 N+1 번째 유닛을 와핑하기 위한 가상 뎁스 정보를 획득할 수 있다. 그리고, S830 단계와 같이 가상 뎁스 정보를 이용하여 N+1 번째 유닛의 시점 간 움직임 벡터를 획득할 수 있다.
만약 N+1 번째 유닛을 와핑하기 위한 뎁스 정보가 존재하는 경우, 가상 뎁스 정보를 더 이상 획득하지 않을 수 있다.
도 9는 본 발명이 적용되는 일 실시예로서, 가상 뎁스 정보를 이용하여 N 번째 유닛의 시점 간 움직임 벡터를 획득하는 일례를 도시한 것이다.
N 번째 유닛(910)에 대응되는 현재 시점의 뎁스 정보가 없는 경우, N 번째 유닛(920)에 이웃한 이웃 유닛(920)의 시점 간 움직임 벡터를 임시 시점 간 움직임 벡터(930)로 이용하여 기준 시점의 뎁스 블록(940)을 획득할 수 있다. 기준 시점의 뎁스 블록(940)의 뎁스 값은 N 번째 유닛(910)의 가상 뎁스 정보로 이용될 수 있다. N 번째 유닛(910)의 가상 뎁스 정보를 이용하여 N 번째 유닛의 시점 간 움직임 벡터(950)을 획득할 수 있다. 그리고, N+1 번째 유닛(960)도 시점 합성 예측을 이용하여 코딩되는 경우 대응되는 현재 시점의 뎁스 정보가 없으므로 N 번째 유닛의 시점 간 움직임 벡터(950)을 임시 시점 간 움직임 벡터(970)로 이용하여 기준 시점의 뎁스 블록(980)을 획득할 수 있다. 기준 시점의 뎁스 블록(980)의 뎁스 값은 N+1 번째 유닛(960)의 가상 뎁스 정보로 이용될 수 있다. N+1 번째 유닛(960)의 가상 뎁스 정보를 이용하여 N+1 번째 유닛의 시점 간 움직임 벡터(990)를 획득할 수 있다.
상술한 도 8과 도 9의 가상 뎁스 정보를 획득하는 방법을 통해 N 번째 유닛과 동일 시점의 뎁스 정보가 존재하지 않는 경우에도 N 번째 유닛을 와핑하기 위한 시점 간 움직임 벡터를 획득할 수 있다.
가상 참조 픽쳐를 획득하기 위해 이용되는 뎁스 정보가 정확할수록 시점 합성 예측의 정확도는 높아진다. 따라서, 최적의 가상 참조 픽쳐를 획득할 수 있는 뎁스 정보를 획득하는 것은 시점 합성 예측을 정확도를 높이기 위해 매우 중요한 요소이다. 이하에서는 최적의 가상 참조 픽쳐를 획득하기 위한 뎁스 정보를 뎁스 블록 유도 정보를 이용하여 획득하는 방법에 대해 설명하도록 한다.
S320 단계에서 뎁스 정보를 획득할 때, 뎁스 블록 유도 정보를 이용하여 뎁스 정보를 획득할 수 있다. 여기서, 뎁스 블록 유도 정보는 N 번째 유닛을 와핑하기 위한 뎁스 블록의 위치를 가리키는 정보를나타낼 수 있다. 그리고, 뎁스 블록 유도 정보는 비트스트림으로부터 획득될 수 있다. 뎁스 블록 유도 정보는 인코더에서 인코딩을 통해 가상 참조 픽쳐를 획득하기 위한 최적의 뎁스 정보를 획득하고, 최적의 뎁스 정보를 포함하는 뎁스 블록을 가리키는 시점 간 움직임 벡터를 비트스트림을 통해 디코더로 전송함으로써 획득될 수 있다.
일례로 N 번째 유닛의 뎁스 블록 유도 정보가 획득된 경우, 뎁스 블록 유도 정보를 이용하여 특정 뎁스 블록의 위치를 획득할 수 있다. 특정 뎁스 블록에 대응되는 뎁스 정보를 이용하여 N 번째 유닛을 와핑하기 위한 시점 간 움직임 벡터를 획득할 수 있다.
또 다른 일례로 뎁스 블록 유도 정보는 이웃 블록을 가리킬 수 있다. 예를 들어, 특정 이웃 블록이 시점 간 움직임 벡터를 유도하여 코딩된 블록인 경우, 특정 주변 블록의 시점 간 움직임 벡터를 이용하여 뎁스 블록의 위치를 획득할 수 있다. 그리고, 뎁스 블록에 대응되는 뎁스 정보를 이용하여 N 번째 유닛을 와핑하기 위한 시점 간 움직임 벡터를 획득할 수 있다.
상술한 뎁스 블록 유도 정보를 이용하여 뎁스 정보를 획득하는 경우 최적의 뎁스 정보를 이용하여 가상 참조 픽쳐를 획득함으로써 시점 합성 예측의 정확도를 높일 수 있다.
이하에서는 시점 간 움직임 벡터를 업데이트하는 방법에 대해서 설명하도록 한다.
도 10은 본 발명이 적용되는 일 실시예로서, 시점 간 움직임 벡터를 업데이트하는 일례에 대한 흐름도를 도시한 것이다.
이웃 유닛의 시점 간 움직임 벡터를 이용하여 N 번째 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득할 수 있다(S1010). 여기서, 이웃 유닛은 N 번째 유닛(본 명세서에서 N 번째 유닛을 제1 유닛으로 나타낼 수 있다.)에 대응하여 공간적 또는 시간적으로 이웃한 유닛을 나타낼 수 있다. 예를 들어, 이웃 유닛은 N 번째 유닛의 좌측, 상단, 좌측상단, 우측상단 또는 우측하단에 위치할 수 있다. 그리고, 임시 시점 간 움직임 벡터는 기준 시점에 존재하는 가상 뎁스 정보를 획득하기 위해 이용되는 시점 간 움직임 벡터를 나타낼 수 있다. 만일, 이웃 유닛이 시점 간 움직임 벡터를 이용하여 코딩되는 경우, N 번째 유닛은 이웃 유닛의 시점 간 움직임 벡터를 이용하여 임시 시점 간 움직임 벡터를 획득할 수 있다.
임시 시점 간 움직임 벡터를 이용하여 N 번째 유닛의 가상 뎁스 정보를 획득할 수 있다(S820). 가상 뎁스 정보는 임시 시점 간 움직임 벡터가 가리키는 N 번째 유닛과 다른 시점의 뎁스 블록에 대응되는 뎁스 정보를 나타내는 것으로 정의한다. 여기서 기준 시점의 뎁스 블록은 임시 시점 간 움직임 벡터가 가리키는 기준 시점의 텍스쳐 블록의 위치와 대응될 수 있다. 그리고, 임시 시점 간 움직임 벡터는 추후 설명할 S830 단계에서 획득되는 N 번째 유닛의 시점 간 움직임 벡터를 포함될 수도 있다. N 번째 유닛의 시점 간 움직임 벡터는 N+1 번째 유닛(본 명세서에서 N+1 번째 유닛을 제2 유닛으로 나타낼 수 있다.)의 가상 뎁스 정보를 획득하기 위해 이용될 수 있다. N+1 번째 유닛은 N 번째 유닛 이후에 디코딩되거나 와핑되는 유닛을 나타낼 수 있다.
가상 뎁스 정보를 이용하여 N 번째 유닛에 대응되는 시점 간 움직임 벡터를 획득할 수 있다(S830). 가상 뎁스 정보는 기준 시점의 뎁스 블록 내 뎁스 값 중 최대값, 최소값, 평균값, 최빈값 중 하나일 수 있다. 그리고, N 번째 유닛의 시점 간 움직임 벡터은 가상 뎁스 정보를 이용하여 획득될 수 있다. 한편, N 번째 유닛이 서브 유닛을 포함하는 경우, 각 서브 유닛 별로 시점 간 움직임 벡터를 획득할 수 있다. 여기서, 서브 유닛은 N 번째 유닛의 하위 예측 유닛으로, 2N X N, N X 2N 또는 N X N의 크기일 수 있다. 예를 들어, N 번째 유닛이 N X N 크기의 서브 유닛을 4개 포함하는 경우, 4개 서브 유닛 각각의 가상 뎁스 정보를 이용하여 4개의 시점 간 움직임 벡터를 획득할 수 있다.
만약 N+1 번째 유닛을 와핑하기 위한 뎁스 정보가 존재하지 않는 경우, S820 단계와 같이 S830 단계에서 획득된 N 번째 유닛의 시점 간 움직임 벡터를 임시 시점 간 움직임 벡터로 이용하여 N+1 번째 유닛을 와핑하기 위한 가상 뎁스 정보를 획득할 수 있다. 그리고, S830 단계와 같이 가상 뎁스 정보를 이용하여 N+1 번째 유닛의 시점 간 움직임 벡터를 획득할 수 있다.
만약 N+1 번째 유닛을 와핑하기 위한 뎁스 정보가 존재하는 경우, 가상 뎁스 정보를 더 이상 획득하지 않을 수 있다.
S1010 단계 내지 S1030 단계에서 획득된 시점 간 움직임 벡터를 업데이트(저장)할 수 있다(S1040). 여기서, 업데이트는 N 번째 유닛을 포함하는 예측 유닛의 디코딩 과정에 이용되기 위해 저장되거나 기억되는 것을 나타낼 수 있다. 그리고, 본 단계의 업데이트되는 시점 간 움직임 벡터는 뎁스 블록 벡터 유도 정보를 이용하여 획득된 시점 간 움직임 벡터도 포함될 수 있다.
예를 들어, S1030 단계에서 획득된 4개 서브 유닛의 시점 간 움직임 벡터들은 N 번째 유닛 이외의 예측 유닛의 디코딩 과정을 위해 업데이트될 수 있다. 또한, N 번째 유닛에 대응되는 시점 간 움직임 벡터는 N 번째 유닛의 움직임 벡터 리스트에 포함되도록 업데이트될 수도 있다.
업데이트된 시점 간 움직임 벡터는 예측 유닛의 디코딩에 이용될 수 있다(S1050, 미도시). 예를 들어, N 번째 유닛 이후에 디코딩되는 예측 유닛에 대응되는 시점 간 움직임 벡터를 획득하기 위해서 업데이트된 서브 유닛의 시점 간 움직임 벡터들 중 하나를 이용할 수 있다. 또는, N 번째 유닛의 예측 값을 획득하기 위해 움직임 벡터 리스트에 포함된 N 번째 유닛에 대응되는 시점 간 움직임 벡터를 이용할 수도 있다.
업데이트된 시점 간 움직임 벡터가 이용되는 일례로, 시점 합성 예측에서 N 번째 유닛을 와핑하기 위해 이용되는 시점 간 움직임 벡터는 업데이트된 시점 간 움직임 벡터 중 하나를 이용하여 획득될 수 있다.
또 다른 예로, 시점 합성 예측에서 N 번째 유닛을 와핑하기 위한 뎁스 정보를 포함하는 뎁스 블록을 가리키기 위해 업데이트된 시점 간 움직임 벡터 중 하나를 이용하여 획득될 수 있다.
업데이트된 시점 간 움직임 벡터 중 하나를 선택하는 방법은 시점 간 움직임 벡터가 업데이트된 순서에 따라 인덱스를 할당하고, 시점 간 움직임 벡터 선택 인덱스가 가리키는 시점 간 움직임 벡터를 디코딩 또는 와핑 과정에 이용할 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (16)

  1. 제1 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득하는 단계;
    상기 임시 시점 간 움직임 벡터를 이용하여 상기 제1 유닛에 대응되는 가상 뎁스 정보를 획득하는 단계;
    상기 제1 유닛에 대응되는 가상 뎁스 정보를 이용하여 상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 획득하는 단계;
    상기 제1 시점 간 움직임 벡터를 이용하여 시점 합성 예측을 수행하여 상기 제1 유닛을 디코딩하는 단계; 및
    상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 업데이트하는 단계를 포함하되,
    상기 업데이트된 제1 유닛에 대응되는 제1 시점 간 움직임 벡터는 제2 유닛의 디코딩에 이용되고,
    상기 제2 유닛은 상기 제1 유닛과 공간적으로 이웃하고, 상기 제1 유닛과 동일시점, 동일 픽쳐에 포함되는 블록이고,
    상기 제1 시점 간 움직임 벡터는 상기 제1 유닛에 대응되는 상기 가상 뎁스 정보의 뎁스 값 중 최대값을 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법.
  2. 제1 항에 있어서,
    상기 임시 시점 간 움직임 벡터는 상기 제1 유닛의 이웃 유닛에 대응되는 시점 간 움직임 벡터를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법.
  3. 제1 항에 있어서,
    상기 가상 뎁스 정보는 상기 제1 유닛이 포함되는 제1 시점과 다른 제2 시점에 포함된 뎁스 블록의 뎁스 정보인 것을 특징으로 하는 비디오 신호 처리 방법.
  4. 제1 항에 있어서,
    상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 상기 제1 유닛의 움직임 벡터 리스트에 포함시키는 단계; 및
    상기 제1 유닛의 움직임 벡터 리스트를 이용하여 상기 제1 유닛을 디코딩하는 단계를 더 포함하는 비디오 신호 처리 방법.
  5. 제1 항에 있어서,
    상기 제2 유닛의 디코딩은, 상기 업데이트된 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 이용하여 상기 제2 유닛에 대응되는 제2 시점 간 움직임 벡터를 획득하는 것을 포함하는 비디오 신호 처리 방법.
  6. 제1 항에 있어서,
    상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 이용하여 상기 제2 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득하는 단계;
    상기 제2 유닛에 대응되는 임시 시점 간 움직임 벡터를 이용하여 상기 제2 유닛에 대응되는 가상 뎁스 정보를 획득하는 단계; 및
    상기 제2 유닛에 대응되는 가상 뎁스 정보를 이용하여 상기 제2 유닛에 대응되는 제2 시점 간 움직임 벡터를 획득하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제5 항에 있어서,
    상기 제2 유닛에 대응되는 상기 제2 시점 간 움직임 벡터를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 제 1 항에 있어서,
    상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 이용하여 가상 참조 블록을 획득하는 단계를 더 포함하되,
    상기 가상 참조 블록은 시점 합성 예측을 위한 가상 참조 픽쳐에 포함되는 블록인 것을 특징으로 하는 비디오 신호 처리 방법.
  9. 제1 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득하고, 상기 임시 시점 간 움직임 벡터를 이용하여 상기 제1 유닛에 대응되는 가상 뎁스 정보를 획득하고, 상기 제1 유닛에 대응되는 가상 뎁스 정보를 이용하여 상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 획득하고, 상기 제1 시점 간 움직임 벡터를 이용하여 시점 합성 예측을 수행하여 상기 제1 유닛을 디코딩하고, 상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 업데이트하는 인터 예측부를 포함하되,
    상기 업데이트된 제1 유닛에 대응되는 제1 시점 간 움직임 벡터는 제2 유닛의 디코딩에 이용되고,
    상기 제2 유닛은 상기 제1 유닛과 공간적으로 이웃하고, 상기 제1 유닛과 동일시점, 동일 픽쳐에 포함되는 블록이고,
    상기 제1 시점 간 움직임 벡터는 상기 제1 유닛에 대응되는 상기 가상 뎁스 정보의 뎁스 값 중 최대값을 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 장치.
  10. 제9 항에 있어서,
    상기 임시 시점 간 움직임 벡터는 상기 제1 유닛의 이웃 유닛에 대응되는 시점 간 움직임 벡터를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 장치.
  11. 제9 항에 있어서,
    상기 가상 뎁스 정보는 상기 제1 유닛이 포함되는 제1 시점과 다른 제2 시점에 포함된 뎁스 블록의 뎁스 정보인 것을 특징으로 하는 비디오 신호 처리 장치.
  12. 제9 항에 있어서,
    상기 인터 예측부는 상기 제1 유닛에 대응되는 상기 제1 시점 간 움직임 벡터를 상기 제1 유닛의 움직임 벡터 리스트에 포함시키고, 상기 제1 유닛의 움직임 벡터 리스트를 이용하여 상기 제1 유닛을 디코딩하는 것을 특징으로 하는 비디오 신호 처리 장치.
  13. 제9 항에 있어서,
    상기 제2 유닛의 디코딩은 상기 업데이트된 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 이용하여 상기 제2 유닛에 대응되는 제2 시점 간 움직임 벡터를 획득하는 것을 특징으로 하는 비디오 신호 처리 장치.
  14. 제9 항에 있어서,
    상기 인터 예측부는 상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 이용하여 상기 제2 유닛에 대응되는 임시 시점 간 움직임 벡터를 획득하고, 상기 제2 유닛에 대응되는 임시 시점 간 움직임 벡터를 이용하여 상기 제2 유닛에 대응되는 가상 뎁스 정보를 획득하고, 상기 제2 유닛에 대응되는 가상 뎁스 정보를 이용하여 상기 제2 유닛에 대응되는 제2 시점 간 움직임 벡터를 획득하는 것을 특징으로 하는 비디오 신호 처리 장치.
  15. 제14 항에 있어서,
    상기 인터 예측부는 상기 제2 유닛에 대응되는 상기 제2 시점 간 움직임 벡터를 업데이트하는 것을 특징으로 하는 비디오 신호 처리 장치.
  16. 제9 항에 있어서,
    상기 인터 예측부는 상기 제1 유닛에 대응되는 제1 시점 간 움직임 벡터를 이용하여 가상 참조 블록을 획득하되,
    상기 가상 참조 블록은 시점 합성 예측을 위한 가상 참조 픽쳐에 포함되는 블록인 것을 특징으로 하는 비디오 신호 처리 장치.
KR1020167000322A 2013-07-18 2014-07-18 비디오 신호 처리 방법 및 장치 KR101770211B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201361856030P 2013-07-18 2013-07-18
US201361856026P 2013-07-18 2013-07-18
US201361856024P 2013-07-18 2013-07-18
US201361856027P 2013-07-18 2013-07-18
US61/856,024 2013-07-18
US61/856,027 2013-07-18
US61/856,026 2013-07-18
US61/856,030 2013-07-18
PCT/KR2014/006523 WO2015009091A1 (ko) 2013-07-18 2014-07-18 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160026972A KR20160026972A (ko) 2016-03-09
KR101770211B1 true KR101770211B1 (ko) 2017-09-05

Family

ID=52346462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000322A KR101770211B1 (ko) 2013-07-18 2014-07-18 비디오 신호 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US20160165259A1 (ko)
EP (1) EP3024241A4 (ko)
JP (1) JP2016528807A (ko)
KR (1) KR101770211B1 (ko)
CN (1) CN105393540A (ko)
WO (1) WO2015009091A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10096130B2 (en) 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
CA3065492C (en) * 2017-05-17 2022-06-14 Kt Corporation Method and device for video signal processing
CN116389769A (zh) * 2019-03-13 2023-07-04 北京大学 视频处理方法和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100105877A (ko) * 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
US9113196B2 (en) * 2008-11-10 2015-08-18 Lg Electronics Inc. Method and device for processing a video signal using inter-view prediction
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
KR20120018906A (ko) * 2010-08-24 2012-03-06 삼성전자주식회사 컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법
KR101747434B1 (ko) * 2011-01-20 2017-06-16 연세대학교 산학협력단 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Heiko Schwarz ET AL., Inter-View Prediction of Motion Data in Multiview Video Coding, 2012 Picture Coding Symposium, May 7-9, 2012, IEEE*

Also Published As

Publication number Publication date
WO2015009091A1 (ko) 2015-01-22
CN105393540A (zh) 2016-03-09
EP3024241A4 (en) 2017-02-22
EP3024241A1 (en) 2016-05-25
JP2016528807A (ja) 2016-09-15
KR20160026972A (ko) 2016-03-09
US20160165259A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
KR101619450B1 (ko) 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
KR101697598B1 (ko) 가상 뷰 이미지 합성 방법 및 장치
KR101619448B1 (ko) 영상 신호 처리 방법 및 장치
KR20160002716A (ko) 비디오 신호 처리 방법 및 장치
KR20150116840A (ko) 비디오 신호 처리 방법 및 장치
KR101770211B1 (ko) 비디오 신호 처리 방법 및 장치
KR20160034259A (ko) 비디오 신호 처리 방법 및 장치
RU2625526C2 (ru) Способ и устройство для обработки видеосигнала
KR102248074B1 (ko) 비디오 신호 처리 방법 및 장치
US20150215626A1 (en) Method and device for processing video signal
KR101753592B1 (ko) 비디오 신호 처리 방법 및 장치
KR20150095679A (ko) 비디오 신호 처리 방법 및 장치
KR101750316B1 (ko) 비디오 신호 처리 방법 및 장치
KR101783617B1 (ko) 비디오 신호 처리 방법 및 장치
KR20150079606A (ko) 비디오 신호 처리 방법 및 장치
KR20160002712A (ko) 비디오 신호 처리 방법 및 장치
KR102300036B1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
GRNT Written decision to grant