KR20120083209A - 깊이 영상 부호화/복호화 장치 및 방법 - Google Patents

깊이 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20120083209A
KR20120083209A KR1020110141112A KR20110141112A KR20120083209A KR 20120083209 A KR20120083209 A KR 20120083209A KR 1020110141112 A KR1020110141112 A KR 1020110141112A KR 20110141112 A KR20110141112 A KR 20110141112A KR 20120083209 A KR20120083209 A KR 20120083209A
Authority
KR
South Korea
Prior art keywords
mode
intra
encoding
block
modes
Prior art date
Application number
KR1020110141112A
Other languages
English (en)
Inventor
오관정
이재준
박두식
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/350,250 priority Critical patent/US8902982B2/en
Publication of KR20120083209A publication Critical patent/KR20120083209A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 영상 부호화/복호화 장치 및 방법을 제안한다. 일 측면에 따른 깊이영상 부호화 장치는 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하고, 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드를 인트라 후보 부호화 모드 중에 하나로 포함하고, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 깊이영상의 특성에 맞게 정렬해서 부호화 한다.

Description

깊이 영상 부호화/복호화 장치 및 방법{Depth Map Coding/Decoding Apparatus and Method}
기술분야는 깊이 영상을 부호화하고 복호화하기 위한 장치 및 방법에 관한 것이다.
입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 말한다. 이때, 단순히 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오와는 달리 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공하기 위해서는, 여러 시점에서 촬영한 영상이 필요하다. 여러 시점에서 촬영한 영상을 이용한 응용분야는 자유시점 TV, 3차원 TV 등이 존재한다. 자유시점 TV는 동일 장면에 대해 다시점 영상을 획득 후 분석하여 사물을 바라보는 시점을 자유롭게 변경할 수 있으며, 3차원 TV의 경우 사람의 양쪽 눈에 비치는 영상을 달리함으로써 사실적인 3차원 깊이를 인지할 수 있도록 한다. 그러나 여러 시점에서 찍은 영상은 데이터량이 방대하기 때문에 압축하여 전송하려면 네트워크 인프라, 지상파 대역폭 등의 확보에 많은 어려움이 따른다.
여러 시점의 비디오를 모두 압축 전송하는 대신 깊이영상을 만들어, 여러 시점의 영상 중에서 일부 시점의 영상과 함께 압축 전송하면 압축시 발생하는 데이터량을 줄일 수 있다. 깊이영상은 칼라영상에서 물체가 시청자와 떨어져 있는 거리를 0~255의 값으로 나타낸 영상이기 때문에, 그 특징이 칼라영상과 비슷하다. 하지만, 깊이영상은 칼라영상과 달리 평탄한(flat) 특성을 가진다. 따라서, 깊이영상에 더 효과적인 부호화 방법이 필요로 하다.
일 측면에 있어서, 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 인트라 모드 예측부와, 상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 인트라 부호화부와, 상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 인터 부호화부 및 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 부호화 모드 결정부를 포함하는 깊이 영상 부호화 장치가 제공되고, 이때, 상기 인트라 후보 부호화 모드들에, 상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드가 포함된다.
이때, 상기 인트라 예측 모드는, 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고, 상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화해서 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 부호화해서 상기 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드일 수 있다.
이때, 상기 인트라 스킵 모드는, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위일 수 있다.
이때, 상기 예측한 방향성은, 상기 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나일 수 있다.
이때, 상기 인트라 후보 부호화 모드들의 종류는, 매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분될 수 있다.
이때, 상기 인터 후보 부호화 모드들은 매크로 블록 당 하나의 움직임 벡터를 참조하고, 상기 인터 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 움직임 벡터의 부호화 여부 및 잔차신호의 부호화 여부를 중에서 적어도 하나의 차이에 따라 구분될 수 있다.
이때, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위는, 상기 인트라 후보 부호화 모드들이 상기 인터 후보 부호화 모드들보다 우선순위가 높게 설정될 수 있다.
이때, 상기 인트라 후보 부호화 모드들 간의 우선순위는, 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 방향성 정보를 부호화 하지 않는 모드가 방향성 정보를 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되고, 방향성이 있는 모드가 방향성이 없는 모드보다 우선순위가 높게 설정될 수 있다.
이때, 상기 인터 후보 부호화 모드들 간의 우선순위는, 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 움직임 벡터를 부호화 하지 않는 모드가 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정될 수 있다.
이때, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는, 기설정되거나 또는 깊이 영상을 부호화할 때 정의되어 복호화 장치로 송신될 수 있다.
이때, 상기 부호화 모드 결정부는, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 부호화 모드들이 최종 결정된 빈도에 따라 변경할 수 있다.
이때, 현재 매크로 블록은 깊이영상의 매크로 블록, 흑백영상의 매크로 블록, 평탄한 특성을 가진 칼라영상의 매크로 블록 또는 엑스레이 영상의 매크로 블록 중 하나일 수 있다.
이때, 상기 예측 블록을 이용해서 복원된 블록을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고, 상기 디블록킹 필터부는, 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 상기 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 상기 인터 부호화 된 경우 보다 상대적으로 강하게 필터링할 수 있다.
일 측면에 있어서, 수신한 부호화된 매크로 블록의 부호화 모드를 확인하는 부호화 모드 복원부와, 상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 인트라 모드 복원부 및 상기 예측한 방향성을 이용해서 예측 블록을 생성하는 인트라 복호화부를 포함하는 깊이 영상 복호화 장치가 제공된다.
이때, 상기 부호화 모드 복원부는, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 상기 부호화된 매크로 블록의 부호화 모드를 확인하고, 상기 인트라 예측 모드는 상기 인트라 후보 부호화 모드들에 포함될 수 있다.
이때, 상기 부호화 모드 복원부는, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 확인된 부호화 모드들의 빈도에 따라 변경할 수 있다.
이때, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는, 기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신될 수 있다.
이때, 상기 예측한 방향성은, 상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나일 수 있다.
이때, 상기 인트라 예측 모드는, 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고, 상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화 장치로부터 제공받지 않는 모드이고, 상기 인트라 다이렉트 모드는 잔차신호를 상기 부호화 장치로부터 수신하고 상기 예측한 방향성 정보는 상기 부호화 장치로부터 제공받지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드일 수 있다.
이때, 상기 예측 블록을 이용해서 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고, 상기 디블록킹 필터부는, 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링할 수 있다.
일 측면에 있어서, 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 단계와, 상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 단계와, 상기 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이면, 상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 단계 및 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 단계를 포함하는 깊이 영상 부호화 방법이 제공되고, 이때, 상기 인트라 후보 부호화 모드는, 상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드를 포함한다.
이때, 상기 인트라 예측 모드는, 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고, 상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화해서 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 부호화해서 상기 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드일 수 있다.
이때, 상기 인트라 스킵 모드는, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위일 수 있다.
이때, 상기 예측한 방향성은, 상기 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나일 수 있다.
일 측면에 있어서, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 부호화된 매크로 블록의 부호화 모드를 확인하는 단계와, 상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 단계 및 상기 예측한 방향성을 이용해서 예측 블록을 생성하는 단계를 포함하는 깊이 영상 복호화 방법이 제공된다.
이때, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는, 기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신될 수 있다.
이때, 상기 예측한 방향성은, 상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나일 수있다.
이때, 상기 인트라 예측 모드는, 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고, 상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화 장치로부터 제공받지 않는 모드이고, 상기 인트라 다이렉트 모드는 잔차신호를 상기 부호화 장치로부터 수신하고 상기 예측한 방향성 정보는 상기 부호화 장치로부터 제공받지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드일 수 있다.
본 발명의 실시 예들에 따르면, 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하고, 예측한 방향성을 이용해서 인트라 부호화하고, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 깊이영상의 특성에 맞게 정렬해서 부호화함으로써, 깊이영상에 대한 부호화 효율이 개선될 수 있다.
도 1은 다시점 영상의 부호화 구조를 도시한 도면,
도 2는 깊이영상을 부호화하는 깊이영상 부호화 장치의 구성을 도시한 도면,
도 3은 깊이영상을 복호화하는 깊이영상 복호화 장치의 구성을 도시한 도면,
도 4는 인트라 예측 모드를 위해 방향성을 예측할 때 참조하는 영역을 도시한 도면,
도 5는 깊이영상 부호화 장치에서 부호화 모드를 결정하는 과정을 도시한 흐름도,
도 6은 깊이영상 복호화 장치에서 복호화를 위해 예측블록을 생성하는 과정을 도시한 흐름도 및,
도 7은 깊이영상 부호화 장치 또는 깊이영상 복호화 장치에서 디블럭킹을 위한 필터링 강도를 설정하는 과정을 도시한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시 예들은, 깊이 영상을 부호화하고 복호화하기 위한 장치 및 방법에 관한 것으로서, 상세한 설명에 앞서 부호화하는 깊이 영상의 부호화 구조 및 부호화 모드에 관해서 먼저 확인하고자 한다.
도 1은 다시점 영상의 부호화 구조를 도시한 도면이다.
도 1을 참조하면, 깊이 영상은 다시점 영상의 부호화 구조로 구성될 수 있다. 다시점 영상의 부호화 구조는 일반적으로 인접 시점간의 참조만을 이용하여 부호화 하는 anchor frame과 시간 방향의 참조와 시점 방향의 참조를 모두 이용하는 non-anchor frame으로 구성된다. anchor frame은 random access를 위해 필요하며 시점간 예측만을 이용하여 부호화하기 때문에 기존의 단일 시점 압축과 가장 큰 특성의 차이를 보이는 부분이다. 도 1의 다시점 영상의 부호화 구조는 세개의 시점 영상을 입력(Left View, Center View, Right View) 받았을 때 GOP(Group of Picture) '8'로 부호화하는 MVC(Multiview Video Coding) 구조를 나타낸다.
다시점(Multi-view) 영상을 압축할 때는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 픽처(Hierarchical B Picture) 개념을 적용하기 때문에 영상간의 많은 중복성(Redundancy)를 줄일 수 있다. 현재 도 1의 MVC 구조는 세 개의 시점 영상을 압축할 때 Left 영상을 압축한 뒤 Right 영상과 Center 영상을 차례대로 압축한다. 이 때, Left 영상은 기존의 2D 영상을 압축할 때와 같이 움직임 탐색(Motion Estimation)을 하여 이전 영상들로부터 비슷한 영역을 찾아 시간적 중복성(Temporal Redundancy)을 제거하면서 부호화된다. 하지만 Right 영상이 압축될 때에는 이미 압축된 Left 영상을 참조영상으로 이용할 수 있기 때문에 움직임 탐색을 통한 시간적 중복성뿐만 아니라 변이 탐색(Disparity Estimation)을 통하여 시점간의 중복성(View Redundancy)도 제거하면서 부호화된다. Center 영상의 경우에는 Left와 Right 영상을 참조영상으로 모두 이용할 수 있기 때문에 양방향으로 변이 탐색을 하여 시점간의 중복성을 제거할 수 있다.
도 1에서 Left 영상처럼 다른 시점으로부터의 예측 없이 부호화되는 시점을 I-View(Intra View), Right 영상처럼 다른 시점의 영상으로부터 단방향으로 예측하면서 부호화하는 시점을 P-View(Predictive View), Center 영상처럼 좌우 시점의 영상들로부터 양방향 예측하면서 부호화하는 시점을 B-View(Interpolative View)로 MVC에서는 일반적으로 정의한다.
그리고, 각각의 영상(picture)은 부호화 타입(coding type)에 따라 I-픽처(intra picture), P-픽처(predictive picture), B-픽처(interpolative picture)로 나뉘어진다. 이때, I-픽처는 영상간 예측없이 영상 자체를 부호화하고, P-픽처은 순방향으로만 참조영상을 이용해서 영상간 예측하여 예측값과의 차이를 부호화하며, B-픽처는 순방향과 역방향 양측으로 참조영상을 이용해서 영상간 예측하여 부호화한다.
기존의 H.264/AVC는 각 매크로블록을 부호화 할 때 다양한 매크로 블록 모드를 이용하는데 이 중 최적의 매크로 블록 모드를 선택하여 부호화하고 모드 타입에 대한 정보를 각 매크로블록마다 부호화하여 보낸다. 이때 매크로블록의 모드 정보에 이용되는 비트를 최소화하기 위해 자주 발생되고 부호화 할 비트가 적은 모드부터 우선 순위를 두어 매크로블록을 부호화 한다. <표 1>, <표 2> 및 <표 3> 각각 H.264/AVC에서 I 픽처, P 픽처, B 픽처의 frame 부호화시에 이용되는 다양한 매크로블록 형태에 대한 표이다.
[표 1]
Figure pat00001
[표 2]
Figure pat00002
[표 3]
Figure pat00003
하지만, <표 1>, <표 2> 및 <표 3>에 나와 있는 매크로블록 모드들은 컬러영상의 관점에서 디자인되어 깊이 영상에서는 효과적이지 못하다. 매크로블록 모드 중 비트를 가장 효과적으로 줄일 수 있는 SKIP 모드(매크로블록 모드 정보와 잔차성분이 부호화 되지 않음)의 경우 칼라영상에 비해 깊이영상의 발생 확률이 낮은 특성을 갖는다.
이는 기존의 SKIP 모드(이후, 인터 SKIP 모드라 한다.)는 인접 매크로블록의 움직임 벡터로부터 미디언 움직임 벡터값을 기반으로 예측을 하는데 깊이영상의 경우 texture가 많이 존재하지 않는 평탄(flat)한 특성이 주를 이루기 때문에 인터 SKIP 모드는 효과적이지 못하다.
또한, 깊이영상은 현재 4:2:0 yuv 형태로 흔히 제공되는데 이 경우 색차신호의 값은 128로 모두 정해져 색차 성분에 대한 잔차(residual)가 발생하지 않는다. 따라서, 기존의 H.264/AVC의 모드에서 색차의 잔차를 갖는 매크로블록 모드는 효과적이지 못하다.
또한 기존의 H.264/AVC의 모드에서 움직임 벡터를 기반으로 하는 부호화 방식은 깊이영상에서 일부 texture가 존재하는 영역을 제외하고는 효과적이지 못하다. 그리고, 기존의 H.264/AVC의 B 픽처 프레임에 이용되는 Bi-prediction(양방향 예측)의 경우도 깊이영상에서는 제 성능을 발휘하지 못한다. 때문에 기존의 색상영상의 관점에서 디자인된 매크로블록의 모드들은 깊이영상에서는 상당부분 비효율적이다. 불필요하게 많은 매크로블록 모드의 수는 매크로블록 정보의 부호화에 사용되는 비트를 증가시켜 부호화 측면에서 비효율적이다. 또한 각 모드들에 대한 예측 방법 및 매크로블록간 우선순위도 색상 영상 관점에서 디자인되어 비효율적이다.
이러한 문제점을 극복하기 위해 본 발명의 실시예에서 인트라 기반의 예측방법인 인트라 예측 방법을 제안하고, 인트라 예측 방법을 I 픽처, P 픽처, B 픽처의 프레임에 공통적으로 적용하고자 한다. 인트라 예측 방법은 인트라 SKIP 모드와 인트라 Direct 모드를 포함할 수 있다. 인트라 SKIP 모드와 인트라 Direct 모드의 설명은 이후 도 2의 설명에서 후술하고자 한다.
그리고, 깊이영상 부호화시 불필요한 매크로블록 모드를 삭제하고 깊이영상에 적합하도록 매크로블록의 우선순위를 변경할 수 있다.
깊이영상 부호화 시 매크로블록 모드의 우선순위를 변경하고자 하는 경우 고려해야 할 몇 가지 사항들을 살펴보고자 한다.
첫째로, 깊이영상은 현재 4:2:0 yuv 형태로 흔히 제공되는데 이 경우 색차신호의 값은 128로 모두 정해져 색차 성분에 대한 residual은 발생하지 않는다. 때문에 Intra 16x16 모드 중 색차성분에 대한 cbp가 0이 아닌 경우에 대한 모드 타입인 5~12, 17~24번은 무의미하다. 때문에 이러한 모드들을 제거하는 것이 바람직하다. I_16x16_a_b_c의 형태에서 a는 Intra 16x16의 방향성을 b는 색차성분에 대한 cbp를 c는 밝기 성분에 대한 cbp 정보를 나타낸다.
둘째로, 깊이영상의 경우 복잡한 영역이 Inter 16x8, 8x16, 8x8으로 부호화 되기보다는 Intra4x4로 부호화되는 경우가 많다. 또한 깊이영상은 색상영상과 비교하면 B화면이나 P화면에서 인트라의 발생 빈도가 높은 편이다. 정리하면 다양한 매크로블록 모드에 대한 우선순위에 대한 실시예는 SKIP >　Direct >　Inter16x16 >　Intra NxN >　Inter 8x16 >　Inter 16x16 >　Inter P8x8 >　Intra16x16 정도가 될 수 있다. 이 경우 SKIP과 Direct 모드는 제안하는 인트라 모드로 대체된 경우에 대한 실시예이다.
I 픽처, P 픽처, B 픽처 프레임에 대해 새롭게 정의한 매크로블록 모드와 그 우선 순위에 대한 실시예는 아래 <표 4>, <표 5> 및 <표 6>와 같이 구성될 수 있다.
[표 4]
Figure pat00004
[표 5]
Figure pat00005
[표 6]
Figure pat00006
상술한 인트라 예측 모드와 우선순위의 재정렬 등의 내용은 깊이영상의 특성에 맞게 최적화되어 있다. 그러나 인트라 예측 모드의 인트라 SKIP 모드나 인트라 Direct 모드는 non-anchor 프레임의 부호화에서는 비효율적일 수 있다. 이는 기존의 SKIP 방법인 인터 SKIP 모드가 non-anchor에서는 안정적인 성능을 보이기 때문이다. 따라서 anchor와 non-anchor에 대한 SKIP 및 direct 모드의 효과적인 적용을 위해서
anchor와 non-anchor에서 인트라 SKIP 모드와 인터 SKIP 모드의 효율을 먼저 확인하고자 한다. 일반적으로 anchor에서는 인트라 SKIP이 효과적이고 non-anchor에서는 인터 SKIP 방법이 더 효과적이다. 때문에 이를 모두 혼용하여 상용하려면 보다 효과적인 예측 방법을 SKIP에 이용하고, 다른 예측 방법을 Direct 모드에 이용하도록 할 수도 있다.
일 실시예로 anchor 프레임의 코딩에서는 인트라 SKIP 모드를 최상위의 우선순위에 위치시키고 인터 SKIP 모드를 차상위에 우선순위 위치에 위치시킬 수 있다. 반대로 non-anchor에서는 인터 SKIP 모드를 최상위의 우선순위에 위치시키고, 인트라 SKIP 모드를 차상위의 우선순위에 위치시킬 수 있다.
이 외에도 다양한 조합으로 우선순위를 재정렬할 수 있다. 또한 SKIP 모드나 다른 모드 정보 뒤에 flag bit를 정의하여 인터 스킵 모드와 인트라 스킵 모드를 구분할 수도 있다.
도 2는 깊이영상을 부호화하는 깊이영상 부호화 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 깊이영상 부호화 장치는 인트라모드 예측부(210), 인트라 부호화부(212), 움직임 예측부(214), 인터 부호화부(216), 부호화 모드 결정부(218), 예측블록 생성부(220), 차분부(222), 변환 및 양자화부(224), 엔트로피 부호화부(226), 역변환 및 역양자화부(228), 결합부(230) 및 디블록킹 필터부(232)를 포함한다.
인트라모드 예측부(210)는 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측한다. 이때, 예측한 방향성은 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 현재 매크로 블록의 상기 위쪽 경계화소와 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 현재 매크로 블록의 위쪽 경계화소와 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나가 될 수 있다.
인트라 부호화부(212)는 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화한다.
인트라 후보 부호화 모드에는 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드가 포함된다. 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함할 수 있다. 인트라 스킵 모드는 예측한 방향성 정보와 잔치신호를 복호화 장치로 전달하지 않는 모드이고, 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 상기 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드이다.
그리고, 인트라 스킵 모드는 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위이다.
인트라 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분될 수 있다.
움직임 예측부(214)는 부호화하려는 현재 매크로 블록과 이전에 입력된 매크로 블록을 이용하여 움직임 벡터를 추정한다.
인터 부호화부(216)는 현재 매크로 블록을 움직임 예측부(214)를 통해 추정된 움직임 벡터에 기초해서 인터 후보 부호화 모드들 별로 인터 부호화한다.
이때, 인터 후보 부호화 모드들은 매크로 블록 당 하나의 움직임 벡터를 참조해서 부호화한다. 그리고, 인터 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류 및 잔차신호의 부호화 여부를 고려해서 구분될 수 있다. 이때 매크로블록은 부호화 되는 최대 크기의 블록을 의미하며 16x16 보다 더 클수도 있다.
부호화 모드 결정부(218)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정한다.
인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위는 상기 인트라 후보 부호화 모드들이 상기 인터 후보 부호화 모드들보다 우선순위가 높게 설정된다.
그리고, 인트라 후보 부호화 모드들 간의 우선순위는 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 방향성 정보를 부호화 하지 않는 모드가 방향성 정보를 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되고, 방향성이 있는 모드가 방향성이 없는 모드보다 우선순위가 높게 설정된다.
인터 후보 부호화 모드들 간의 우선순위는 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 움직임 벡터를 부호화 하지 않는 모드가 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정된다.
한편, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는 기설정되거나 또는 깊이 영상을 부호화할 때 정의되어 복호화 장치로 송신될 수 있다.
부호화 모드 결정부(218)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 부호화 모드들이 최종 결정된 빈도에 따라 변경하도록 할 수도 있다.
예측블록 생성부(220)는 부호화 모드 결정부(218)에서 결정한 부호화 모드를 이용해서 예측블록을 생성한다.
차분부(222)는 현재 매크로 블록에서 예측블록을 감산하여 차분(Residual) 신호를 매크로 블록 단위로 생성한다.
변환 및 양자화부(224)는 차분부(222)에서 생성된 차분 신호를 변환 방식을 이용하여 변환하고, 변환된 차분 신호를 양자화하여 양자화된 변환계수를 생성한다. 변환 방식의 예로는, 이산 코사인 변환(DCT: Discrete cosine transform)이 있다.
엔트로피 부호화부(226)는 양자화된 변환계수, 움직임 벡터 등의 부호화 정보를 엔트로피 부호화하여 비트스트림을 생성한다. 생성되는 비트스트림은 압축된 깊이 영상이다.
역변환 및 역양자화부(228)는 변환 및 양자화부(224)에서 양자화된 차분 신호를 다음에 부호화되는 프레임의 예측에 이용하기 위해 역양자화하고, 역이산 코사인 변환하여 부호화 이전의 차분 신호로 복원한다.
결합부(230)는 복원된 차분 신호와 예측블록 생성부(220)에서 생성된 예측블록을 가산하여 부호화 이전의 현재 매크로 블록을 복원한다.
디블록킹 필터부(232)는 복원된 블록 또는 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거한다. 디블록킹 필터부(232)는 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링 한다. 이때, 인트라 부호화는 인트라 예측 모드를 포함하고, 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함한다. 디블록킹 필터부(232)는 필터링의 강도를 이후 도 7과 같이 설정할 수도 있다.
도 3은 깊이영상을 복호화하는 깊이영상 복호화 장치의 구성을 도시한 도면이다.
도 3을 참조하면, 깊이영상 복호화 장치는 엔트로피 복호화부(310), 부호화 모드 복원부(312), 움직임 복원부(314), 인터 복호화부(316), 인트라 모드 복원부(318), 인트라 복호화부(320), 역변환 및 역양자화부(322), 결합부(324) 및 디블록킹 필터부(326)를 포함한다.
엔트로피 복호화부(310)는 입력되는 압축 비트스트림을 엔트로피 복호화하여 차영상의 양자화된 계수값, 움직임 벡터 등의 부호화 정보를 추출할 수 있다.
부호화 모드 복원부(312)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 부호화된 매크로 블록의 부호화 모드를 확인한다.
부호화 모드 복원부(312)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 확인된 부호화 모드들의 빈도에 따라 변경할 수 있다.
또한, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는 기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신될 수도 있다.
움직임 복원부(314)는 엔트로피 복호화부(310)에서 부호화 정보에서 움직임 벡터를 확인한다.
인터 복호화부(316)는 움직임 복원부(314)에서 확인한 움직임 벡터를 이용해서 인터 복호화하여 예측블록을 생성한다.
인트라 모드 복원부(318)는 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측한다. 이때, 예측한 방향성은 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 부호화된 매크로 블록의 위쪽 경계화소와 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나이다.
인트라 모드 복원부(318)는 부호화된 매크로 블록의 부호화 모드가 인트라 후보 부호화 모드들 중 하나이면, 수신한 비트 스트림에 포함된 방향성 정보를 확인한다.
인트라 복호화부(320)는 인트라 모드 복원부(318)에서 예측한 방향성 또는 확인한 방향성 정보를 이용해서 예측 블록을 생성한다.
역변환 및 역양자화부(322)는 추출된 양자화 계수값을 매크로블록 단위로 역양자화하여 역변환에 대응하는 차분 신호의 계수값을 생성한다. 역변환 및 역양자화부(322)는 생성된 차영상의 계수값을 이산 코사인 역변환(IDCT: Invert Discrete cosine transform)하여 차분 신호를 획득할 수 있다. 이로써, 압축 비트스트림은 복호화되어 깊이 영상으로 임시 복원된다.
결합부(324)는 차분 신호와 예측 블록을 더하여 깊이 영상을 복원한다. 차분 신호는 역변환 및 역양자화부(322)로부터 결합부(324)로 입력되며, 예측 블록은 인터 복호화부(316) 또는 인트라 복호화부(320)로부터 결합부(324)로 입력된다.
디블록킹 필터부(326)는 결합부(324)에서 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거한다. 디블록킹 필터부(326)는 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링 한다. 이때, 인트라 부호화는 인트라 예측 모드를 포함하고, 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함한다. 디블록킹 필터부(326)는 필터링의 강도를 이후 도 7과 같이 설정할 수도 있다.
부호화 장치의 인트라 모드 예측부(210)와 복호화 장치의 인트라 모드 복원부(318)은 방향성의 예측을 아래 도 4와 같은 방법으로 예측할 수 있다.
도 4는 인트라 예측 모드를 위해 방향성을 예측할 때 참조하는 영역을 도시한 도면이다.
도 4를 참조하면, 인트라 모드 예측부(210)와 인트라 모드 복원부(318)은 아래 <수학식 1>과 같이 현재 매크로블록(410)과 인접한 윗쪽 블록(420)의 경계값과 왼쪽 블록(430)의 경계값의 복잡도를 비교하여 보다 복잡한 경계의 방향성을 따르는 방법을 취한다.
[수학식 1]
Figure pat00007
Figure pat00008
여기서, SSE(Sum of Squared Errors)는 복잡도 측정 기법 중에 하나이고, A_SSE는 윗쪽 블록의 경계값의 복잡도 이고, L_SSE는 왼쪽 블록의 경계값의 복잡도 이다.
<수학식 1>은 현재 매크로블록에 대한 방향성을 예측하기 위한 하나의 실시예로 예측한 방향성은 이 방법 외에도 이미 부호화 된 인접 시점의 깊이영상을 이용하거나 색상 정보를 이용하는 방법을 통해서도　예측이 가능하다. 또한 방향성의 예측 방법에는 인접 블록의 경계화소가 아닌 모드 정보나 움직임 정보 혹은 인접 블록의 edge 성분의 분석을 통해서도 예측이 가능하다. 또한 방향성 정보 획득을 위한 수식도 differnece의 제곱합이 아닌 단순합이나 분산 등 다양한 difference들을 사용할 수 있다.　
<수학식 1> 외에도 다른 방법으로 방향성을 예측할 수도 있다. 2개의 복잡도 측정 기법을 이용해서 방향성을 예측하는 방법을 아래에서 도 5를 통해서 설명하고자 한다.
도 5는 인트라 예측 모드를 위해 방향성을 예측하는 방법의 일 예를 도시한 도면이다.
도 5를 참조하면, 인트라 모드 예측부(210)와 인트라 모드 복원부(318)와 같은 방향성 예측 장치는, 510단계에서 왼쪽블록과 윗쪽블록이 모두 존재하는지 확인한다.
510단계의 확인결과 왼쪽블록과 윗쪽블록 중 하나만 존재하거나 모두 존재하지 않으면, 방향성 예측 장치는 512단계에서 왼쪽블록이 존재하는지 확인한다.
512단계 왼쪽블록이 존재하면, 방향성 예측 장치는 536단계에서 방향성을 수평(Horizontal)으로 판단한다.
512단계 왼쪽블록이 존재하지 않으면, 방향성 예측 장치는 514단계에서 윗쪽블록이 존재하는지 확인한다.
514단계 위쪽블록이 존재하면, 방향성 예측 장치는 534단계에서 방향성을 수직(Vertical)으로 판단한다. 514단계 위쪽블록도 존재하지 않으면, 방향성 예측 장치는 532단계에서 방향성을 DC(Direct Current)로 판단한다.
한편, 510단계의 확인결과 왼쪽블록과 윗쪽블록이 모두 존재하면, 방향성 예측 장치는 516단계에서 L_SSE와 A_SSE를 계산한다. 이때, SSE(Sum of Squared Errors)는 복잡도 측정 기법 중에 하나이고, A_SSE는 SSE의 기법을 이용해서 계산한 윗쪽 블록의 경계값의 복잡도 이고, L_SSE는 SSE의 기법을 이용해서 계산한 왼쪽 블록의 경계값의 복잡도 이다.
그리고, 방향성 예측 장치는 518단계에서 L_SSE가 0.95가 곱해진 A_SSE 보다 작은지 확인한다. 이때, 0.95는 오차범위를 위해 기설정된 가중치이다.
518단계의 확인결과 L_SSE가 0.95가 곱해진 A_SSE 보다 작으면, 방향성 예측 장치는 536단계로 진행한다.
518단계의 확인결과 L_SSE가 0.95가 곱해진 A_SSE 보다 크거나 같으면, 방향성 예측 장치는 520단계에서 518단계에서 A_SSE가 0.95가 곱해진 L_SSE 보다 작은지 확인한다. 이때, 0.95는 오차범위를 위해 기설정된 가중치이다.
520단계의 확인결과 A_SSE가 0.95가 곱해진 L_SSE 보다 작으면, 방향성 예측 장치는 534단계로 진행한다.
520단계의 확인결과 A_SSE가 0.95가 곱해진 L_SSE 보다 크거나 같으면, 방향성 예측 장치는 522단계에서 SL_SSE와 SA_SSE를 계산한다. 이때, SSE(Sum of Squared Errors)는 복잡도 측정 기법 중에 하나이고, SL_SSE(SSE of sorted left line)는 정렬된 왼쪽블록을 SSE를 이용해서 계산한 경계값의 복잡도이고, SA_SSE(SSE of sorted above line)는 정렬된 윗쪽블록을 SSE를 이용해서 계산한 경계값의 복잡도이다.
그리고, 방향성 예측 장치는 524단계에서 SL_SSE와 SA_SSE가 모두 0보다 큰지를 확인한다.
524단계의 확인결과 SL_SSE와 SA_SSE가 모두 0보다 크지 않으면, 방향성 예측 장치는 526단계에서 SL_SSE가 0인지를 확인해서 SL_SSE가 0이면 534단계로 진행하고 SL_SSE가 0이 아니면 536단계로 진행한다. 이때, SL_SSE 또는 SA_SSE 가 0이라는 의미는 왼쪽블록 또는 윗쪽블록에 포함된 픽셀들이 모두 동일한 경우를 의미한다.
524단계의 확인결과 SL_SSE와 SA_SSE가 모두 0보다 크면, 방향성 예측 장치는 528단계에서 SL_SSE와 SA_SSE가 동일한지 여부를 확인한다. 528단계의 확인결과 SL_SSE와 SA_SSE가 동일하면, 방향성 예측 장치는 532단계로 진행한다.
528단계의 확인결과 SL_SSE와 SA_SSE가 동일하지 않으면, 방향성 예측 장치는 530단계에서 SL_SSE가 SA_SSE 보다 작은지를 확인한다.
530단계의 확인결과 SL_SSE가 SA_SSE 보다 작으면, 방향성 예측 장치는 534단계로 진행한다. 그리고, 530단계의 확인결과 SL_SSE가 SA_SSE 보다 크거나 같으면, 방향성 예측 장치는 536단계로 진행한다.
상기 도 5에서는 SSE와 S_SSE 2개의 복잡도 측정 기법을 이용해서 복잡도를 예측했지만, 그 외의 여러 복잡도 측정 기법을 이용할 수 있다.
또한, 도 5에서 방향성을 예측하는 기준은 현재 매크로블록(410)과 인접한 윗쪽 블록(420)의 경계값과 왼쪽 블록(430)의 경계값의 복잡도를 비교하여 보다 복잡도가 낮은 쪽의 방향성을 따르는 방법을 취했으나, 복잡도가 높은 쪽의 방향성을 따를 수도 있다.
즉, 도 5의 방향성 예측 방법을 정리하면 다음과 같다.
적어도 2개의 복잡도 측정 기법을 이용해서 방향성을 예측한다.
먼저, 제1 복잡도 측정 기법으로 왼쪽 블록와 윗쪽 블록의 복잡도를 측정하고, 오차범위를 고려하더라도 복잡도가 구분되는 경우, 제1 복잡도 측정 기법으로 측정한 복잡도를 고려해서 방향성을 예측한다.
하지만, 제1 복잡도 측정 기법으로 왼쪽 블록와 윗쪽 블록의 복잡도를 측정한 결과 오차범위를 내에서 유사한 경우, 제2 복잡도 측정 기법을 이용해서 왼쪽 블록와 윗쪽 블록의 복잡도를 다시한번 계산하고, 제2 복잡도 측정 기법으로 측정한 복잡도를 고려해서 방향성을 예측한다.
실시예에 따라 제안하는 부호화 장치와 복호화 장치는 깊이영상을 부호화하고 복호화 하는데 최적화되었다. 하지만 부호화 장치와 복호화 장치는 깊이영상에 한정되지 않으며 깊이영상 뿐 아니라, 흑백영상, 엑스레이 영상과 같은 의료영상 및 평탄한 특성을 가지는 칼라영상에도 적용 가능하다.
이하, 상기와 같이 구성된 본 발명에 따른 깊이영상 부호화/복호화 장치에서 인트라 예측 모드를 이용해서 깊이영상을 부호화하고 복호화하기 위한 방법을 아래에서 도면을 참조하여 설명한다.
도 6은 깊이영상 부호화 장치에서 부호화 모드를 결정하는 과정을 도시한 흐름도이다.
도 6을 참조하면, 부호화 장치는 610단계에서 부호화할 깊이영상의 매크로 블록을 수신한다.
그리고, 부호화 장치는 612단계에서 인트라 예측 모드를 위해 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하고, 인트라 예측 모드를 제외한 나머지 인트라 후보 부호화 모드를 위해 RDO 관점에서 방향성을 결정한다.
그리고, 부호화 장치는 614단계에서 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화한다.
이때, 인트라 후보 부호화 모드는 인트라 예측 모드를 포함하고 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함할 수 있다. 인트라 스킵 모드는 예측한 방향성 정보와 잔치신호를 부호화해서 복호화 장치로 전달하지 않는 모드이고, 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 부호화해서 상기 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드이다.
그리고, 인트라 스킵 모드는 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위이다. 인트라 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분될 수 있다.
한편, 부호화 장치는 616단계에서 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록인지 확인한다.
616단계의 확인결과 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이 아니면, 부호화 장치는 620단계로 진행한다.
616단계의 확인결과 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이면, 부호화 장치는 618단계에서 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화한다.
그리고, 부호화 장치는 620단계에서 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 현재 매크로 블록의 부호화 모드로 결정한다.
도 7은 깊이영상 복호화 장치에서 복호화를 위해 예측블록을 생성하는 과정을 도시한 흐름도이다.
도 7을 참조하면, 복호화 장치는 710단계에서 부호화된 매크로 블록을 수신하면, 712단계에서 부호화된 매크로 블록에 포함된 부호화 정보를 확인해서 부호화 모드를 확인한다.
그리고, 복호화 장치는 714단계에서 부호화된 매크로 블록의 부호화 모드가 인트라 모드인지 확인한다.
714단계의 확인결과 부호화 모드가 인트라 모드가 아니면, 복호화 장치는 716단계에서 인터 모드에 따른 예측블록을 생성한다.
714단계의 확인결과 부호화 모드가 인트라 모드이면, 복호화 장치는 718단계에서 부호화 모드가 인트라 예측 모드인지 확인한다.
718단계의 확인결과 부호화 모드가 인트라 예측 모드이면, 복호화 장치는 720단계에서 복호화한 주변의 매크로 블록들을 이용해서 부호화된 매크로 블록의 방향성을 예측한다. 그리고, 복호화 장치는 722단계에서 예측한 방향성을 이용해서 예측 블록을 생성한다.
718단계의 확인결과 부호화 모드가 인트라 예측 모드가 아니면, 즉, 부호화된 매크로 블록의 부호화 모드가 인트라 후보 부호화 모드들 중 하나이면 복호화 장치는 724단계에서 부호화 정보에 포함된 방향성 정보를 확인한다. 그리고, 복호화 장치는 726단계에서 확인한 방향성 정보를 이용해서 예측 블록을 생성한다.
도 8은 깊이영상 부호화 장치 또는 깊이영상 복호화 장치에서 디블럭킹을 위한 필터링 강도를 설정하는 과정을 도시한 흐름도이다.
도 8을 참조하면, 깊이영상 부호화 장치 또는 깊이영상 복호화 장치의 디블럭킹 필터링부는 810단계에서 경계를 기준으로 양쪽블록들 중 하나라도 인트라 부호화되었는지 여부를 확인한다. 이때, 인트라 부호화는 인트라 예측 모드를 포함하고, 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함한다.
810단계의 확인결과 경계를 기준으로 양쪽블록들 중 하나라도 인트라 부호화되었으면, 디블럭킹 필터링부는 820단계에서 양쪽 블록 사이의 경계가 매크로 블록의 에지인지 여부를 확인한다.
820단계의 확인결과 경계가 매크로 블록의 에지가 아니면, 디블럭킹 필터링부는 824단계에서 필터링 강도(BS; boundary strength)를 3으로 설정한다. 이때, BS는 0에서 4까지의 값으로 설정할 수 있으며, 이중에서 0은 필터링을 하지 않는 것이고, 4는 가장 강한 필터링 강도를 나타낸다.
820단계의 확인결과 경계가 매크로 블록의 에지이면, 디블럭킹 필터링부는 850단계에서 경계를 기준으로 양쪽블록들 모두가 잔치신호가 없는 인트라 모드로 부호화 되었는지 확인한다. 이때, 잔차신호가 없는 인트라 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 등을 포함할 수 있다.
850단계의 확인결과 경계를 기준으로 양쪽블록들 모두가 잔치신호가 없는 인트라 모드로 부호화 되었으면, 디블럭킹 필터링부는 824단계에서 BS를 3으로 설정한다.
하지만, 850단계의 확인결과 경계를 기준으로 양쪽블록들 모두가 잔치신호가 없는 인트라 모드로 부호화 되지 않았으면, 디블럭킹 필터링부는 822단계에서 BS를 4로 설정한다.
810단계의 확인결과 경계를 기준으로 양쪽 블록들 모두 인터 부호화되었으면, 디블럭킹 필터링부는 830단계에서 경계를 기준으로 양쪽 블록들 중 하나라도 잔여 데이터가 존재하는지 확인한다.
830단계의 확인결과 잔여 데이터를 가진 블록이 존재하면, 디블럭킹 필터링부는 832단계에서 BS를 2로 설정한다.
830단계의 확인결과 잔여 데이터를 가진 블록이 존재하지 않으면, 디블럭킹 필터링부는 840단계에서 양쪽 블록들의 움직임 차이가 기준값 이상이거나 양쪽 블록들이 서로 다른 프레임을 참조했는지 여부를 확인한다.
840단계의 확인결과 양쪽 블록들이 움직임 차이가 기준값 이상이거나 양쪽 블록들이 서로 다른 프레임을 참조한 경우, 디블럭킹 필터링부는 842단계에서 BS를 1로 설정한다.
840단계의 확인결과 양쪽 블록들이 움직임 차이가 기준값 보다 작고 양쪽 블록들이 모두 같은 프레임을 참조한 경우, 디블럭킹 필터링부는 844단계에서 BS를 0로 설정한다.
도 8을 살펴보면 인트라 부호화의 경우 필터링 강도 설정은 822단계 또는 824단계 중 하나로 결정되고, 인터 부호화의 경우 필터링 강도 설정은 832단계, 842단계 또는 844단계 중 하나로 결정된다. 결정된 필터링 강도의 설정값을 비교해 보면, 인트라 부호화의 경우가 인터 부호화의 경우보다 상대적으로 더 강하게 필터링 됨을 확인할 수 있다. 따라서, 제안하는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함하는 인트라 예측 모드는 인트라 부호화에 속함으로 인터 부호화에 비해 상대적으로 더 강한게 필터링 된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (30)

  1. 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 인트라 모드 예측부;
    상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 인트라 부호화부;
    상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 인터 부호화부; 및
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 부호화 모드 결정부를 포함하고,
    상기 인트라 후보 부호화 모드들에,
    상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드가 포함되는
    깊이 영상 부호화 장치.
  2. 제1항에 있어서,
    상기 인트라 모드 예측부는,
    제1 복잡도 측정 기법으로 상기 현재 매크로 블록의 왼쪽 블록와 상기 현재 매크로 블록의 윗쪽 블록 각각의 복잡도를 측정하고, 측정된 결과를 이용해서 방향성을 예측하고,
    상기 제1 복잡도 측정 기법으로 상기 현재 매크로 블록의 왼쪽 블록와 상기 현재 매크로 블록의 윗쪽 블록 각각의 복잡도를 측정한 결과 기설정된 오차범위 내에서 유사한 경우, 제2 복잡도 측정 기법으로 상기 현재 매크로 블록의 왼쪽 블록와 상기 현재 매크로 블록의 윗쪽 블록 각각의 복잡도를 측정하고, 측정된 결과를 이용해서 방향성을 예측하는
    깊이 영상 부호화 장치.
  3. 제1항에 있어서,
    상기 인트라 예측 모드는,
    인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
    상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 복호화 장치로 전달하지 않는 모드이고,
    상기 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 상기 복호화 장치로 전달하지 않는 모드이고,
    상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
    깊이 영상 부호화 장치.
  4. 제3항에 있어서,
    상기 인트라 스킵 모드는,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위인
    깊이 영상 부호화 장치.
  5. 제1항에 있어서,
    상기 예측한 방향성은,
    상기 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
    깊이 영상 부호화 장치.
  6. 제1항에 있어서,
    상기 인트라 후보 부호화 모드들의 종류는,
    매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분되는
    깊이 영상 부호화 장치.
  7. 제1항에 있어서,
    상기 인터 후보 부호화 모드들은 매크로 블록 당 하나의 움직임 벡터를 참조하고,
    상기 인터 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 움직임 벡터의 부호화 여부 및 잔차신호의 부호화 여부를 중에서 적어도 하나의 차이에 따라 구분되는
    깊이 영상 부호화 장치.
  8. 제1항에 있어서,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위는,
    상기 인트라 후보 부호화 모드들이 상기 인터 후보 부호화 모드들보다 우선순위가 높게 설정되는,
    깊이 영상 부호화 장치.
  9. 제1항에 있어서,
    상기 인트라 후보 부호화 모드들 간의 우선순위는,
    매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고,
    방향성 정보를 부호화 하지 않는 모드가 방향성 정보를 부호화 하는 모드보다 우선순위가 높게 설정되고,
    잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되고,
    방향성이 있는 모드가 방향성이 없는 모드보다 우선순위가 높게 설정되는
    깊이 영상 부호화 장치.
  10. 제1항에 있어서,
    상기 인터 후보 부호화 모드들 간의 우선순위는,
    매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고,
    움직임 벡터를 부호화 하지 않는 모드가 부호화 하는 모드보다 우선순위가 높게 설정되고,
    잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되는
    깊이 영상 부호화 장치.
  11. 제1항에 있어서,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는,
    기설정되거나 또는 깊이 영상을 부호화할 때 정의되어 복호화 장치로 송신되는
    깊이 영상 부호화 장치.
  12. 제1항에 있어서,
    상기 부호화 모드 결정부는,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 부호화 모드들이 최종 결정된 빈도에 따라 변경하는,
    깊이 영상 부호화 장치.
  13. 제1항에 있어서,
    상기 현재 매크로 블록은,
    깊이영상의 매크로 블록, 흑백영상의 매크로 블록, 평탄한 특성을 가진 칼라영상의 매크로 블록 또는 엑스레이 영상의 매크로 블록 중 하나인
    깊이 영상 부호화 장치.
  14. 제1항에 있어서,
    상기 예측 블록을 이용해서 복원된 블록을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고,
    상기 디블록킹 필터부는,
    블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 상기 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 상기 인터 부호화 된 경우 보다 상대적으로 강하게 필터링하는
    깊이 영상 부호화 장치.
  15. 수신한 부호화된 매크로 블록의 부호화 모드를 확인하는 부호화 모드 복원부;
    상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 인트라 모드 복원부; 및
    상기 예측한 방향성을 이용해서 예측 블록을 생성하는 인트라 복호화부를 포함하는
    깊이 영상 복호화 장치.
  16. 제15항에 있어서,
    상기 인트라 모드 복원부는,
    제1 복잡도 측정 기법으로 상기 현재 매크로 블록의 왼쪽 블록와 상기 현재 매크로 블록의 윗쪽 블록 각각의 복잡도를 측정하고, 측정된 결과를 이용해서 방향성을 예측하고,
    상기 제1 복잡도 측정 기법으로 상기 현재 매크로 블록의 왼쪽 블록와 상기 현재 매크로 블록의 윗쪽 블록 각각의 복잡도를 측정한 결과 기설정된 오차범위 내에서 유사한 경우, 제2 복잡도 측정 기법으로 상기 현재 매크로 블록의 왼쪽 블록와 상기 현재 매크로 블록의 윗쪽 블록 각각의 복잡도를 측정하고, 측정된 결과를 이용해서 방향성을 예측하는
    깊이 영상 복호화 장치.
  17. 제15항에 있어서,
    상기 부호화 모드 복원부는,
    인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 상기 부호화된 매크로 블록의 부호화 모드를 확인하고,
    상기 인트라 예측 모드는 상기 인트라 후보 부호화 모드들에 포함되는
    깊이 영상 복호화 장치.
  18. 제17항에 있어서,
    상기 부호화 모드 복원부는,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 확인된 부호화 모드들의 빈도에 따라 변경하는,
    깊이 영상 복호화 장치.
  19. 제17항에 있어서,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는,
    기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신되는
    깊이 영상 복호화 장치.
  20. 제15항에 있어서,
    상기 예측한 방향성은,
    상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
    깊이 영상 복호화 장치.
  21. 제15항에 있어서,
    상기 인트라 예측 모드는,
    인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
    상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화 장치로부터 제공받지 않는 모드이고,
    상기 인트라 다이렉트 모드는 잔차신호를 상기 부호화 장치로부터 수신하고 상기 예측한 방향성 정보는 상기 부호화 장치로부터 제공받지 않는 모드이고,
    상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
    깊이 영상 복호화 장치.
  22. 제15항에 있어서,
    상기 예측 블록을 이용해서 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고,
    상기 디블록킹 필터부는,
    블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링하는
    깊이 영상 복호화 장치.
  23. 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 단계;
    상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 단계;
    상기 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이면, 상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 단계; 및
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 단계를 포함하고,
    상기 인트라 후보 부호화 모드는,
    상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드를 포함하는
    깊이 영상 부호화 방법.
  24. 제23항에 있어서,
    상기 인트라 예측 모드는,
    인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
    상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화해서 복호화 장치로 전달하지 않는 모드이고,
    상기 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 부호화해서 상기 복호화 장치로 전달하지 않는 모드이고,
    상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
    깊이 영상 부호화 방법.
  25. 제24항에 있어서,
    상기 인트라 스킵 모드는,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위인
    깊이 영상 부호화 방법.
  26. 제23항에 있어서,
    상기 예측한 방향성은,
    상기 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
    깊이 영상 부호화 방법.
  27. 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 부호화된 매크로 블록의 부호화 모드를 확인하는 단계;
    상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 단계: 및
    상기 예측한 방향성을 이용해서 예측 블록을 생성하는 단계를 포함하는
    깊이 영상 복호화 방법.
  28. 제27항에 있어서,
    상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는,
    기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신되는
    깊이 영상 복호화 방법.
  29. 제27항에 있어서,
    상기 예측한 방향성은,
    상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호호된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 걍계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
    깊이 영상 복호화 방법.
  30. 제27항에 있어서,
    상기 인트라 예측 모드는,
    인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
    상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화 장치로부터 제공받지 않는 모드이고,
    상기 인트라 다이렉트 모드는 잔차신호를 상기 부호화 장치로부터 수신하고 상기 예측한 방향성 정보는 상기 부호화 장치로부터 제공받지 않는 모드이고,
    상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
    깊이 영상 복호화 방법.
KR1020110141112A 2011-01-17 2011-12-23 깊이 영상 부호화/복호화 장치 및 방법 KR20120083209A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/350,250 US8902982B2 (en) 2011-01-17 2012-01-13 Depth map coding and decoding apparatus and method

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20110004490 2011-01-17
KR1020110004490 2011-01-17
US201161434594P 2011-01-20 2011-01-20
US61/434,594 2011-01-20
KR1020110092912 2011-09-15
KR1020110092912A KR20120083200A (ko) 2011-01-17 2011-09-15 깊이 영상 부호화/복호화 장치 및 방법
US201161558567P 2011-11-11 2011-11-11
US61/558,567 2011-11-11

Publications (1)

Publication Number Publication Date
KR20120083209A true KR20120083209A (ko) 2012-07-25

Family

ID=46714692

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020110092912A KR20120083200A (ko) 2011-01-17 2011-09-15 깊이 영상 부호화/복호화 장치 및 방법
KR1020110141112A KR20120083209A (ko) 2011-01-17 2011-12-23 깊이 영상 부호화/복호화 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020110092912A KR20120083200A (ko) 2011-01-17 2011-09-15 깊이 영상 부호화/복호화 장치 및 방법

Country Status (1)

Country Link
KR (2) KR20120083200A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014039148A1 (en) * 2012-09-07 2014-03-13 Intel Corporation Motion and quality adaptive rolling intra refresh
WO2014107038A1 (ko) * 2013-01-04 2014-07-10 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
WO2015057036A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 방법 및 장치
US10631006B2 (en) 2013-01-04 2020-04-21 Samsung Electronics Co., Ltd. Encoding apparatus and decoding apparatus for depth image, and encoding method and decoding method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105556972B (zh) * 2013-07-18 2019-04-05 三星电子株式会社 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
CN117376551B (zh) * 2023-12-04 2024-02-23 淘宝（中国）软件有限公司 视频编码加速方法及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014039148A1 (en) * 2012-09-07 2014-03-13 Intel Corporation Motion and quality adaptive rolling intra refresh
US9100636B2 (en) 2012-09-07 2015-08-04 Intel Corporation Motion and quality adaptive rolling intra refresh
US9398311B2 (en) 2012-09-07 2016-07-19 Intel Corporation Motion and quality adaptive rolling intra refresh
WO2014107038A1 (ko) * 2013-01-04 2014-07-10 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
US10631006B2 (en) 2013-01-04 2020-04-21 Samsung Electronics Co., Ltd. Encoding apparatus and decoding apparatus for depth image, and encoding method and decoding method
WO2015057036A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 방법 및 장치
US10321157B2 (en) 2013-10-18 2019-06-11 Lg Electronics Inc. Video decoding method and apparatus for decoding multi-view video

Also Published As

Publication number Publication date
KR20120083200A (ko) 2012-07-25

Similar Documents

Publication Publication Date Title
US8902982B2 (en) Depth map coding and decoding apparatus and method
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
JP6446488B2 (ja) ビデオデータデコーディング方法及びビデオデータデコーディング装置
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
KR101893559B1 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
CA2891723C (en) Method and apparatus of constrained disparity vector derivation in 3d video coding
KR20150087207A (ko) 변이 벡터 유도를 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
EP2127397A1 (en) Intraprediction/interprediction method and apparatus
US20170310993A1 (en) Movement information compression method and device for 3d video coding
KR20120083209A (ko) 깊이 영상 부호화/복호화 장치 및 방법
US20130271567A1 (en) Image processing method and apparatus for predicting motion vector and disparity vector
JP2017525314A (ja) ビデオコーディングにおけるデプスピクチャコーディング方法及び装置
US10057598B2 (en) Method, device, and computer readable medium for encoding and decoding of three dimensional video of a current block of fixed images involving coding a current block as a function of coding information and coding process using selective inheritance
Kitahara et al. Multi-view video coding using view interpolation and reference picture selection
Conti et al. Influence of self-similarity on 3D holoscopic video coding performance
Yea et al. View synthesis prediction for rate-overhead reduction in ftv
KR102133936B1 (ko) ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
KR102234851B1 (ko) 인트라 예측 모드 복호화 방법 및 장치
Conti et al. 3D holoscopic video coding based on HEVC with improved spatial and temporal prediction
Micallef et al. Fast multi-view video plus depth coding with hierarchical bi-prediction
KR20130116777A (ko) 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
Fezza et al. Stereoscopic video coding based on the H. 264/AVC standard
Fezza et al. New Prediction Structure for Stereoscopic Video Coding Based on the H. 264/AVC Standard

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination