KR20130056441A - 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법 - Google Patents

깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20130056441A
KR20130056441A KR1020110122057A KR20110122057A KR20130056441A KR 20130056441 A KR20130056441 A KR 20130056441A KR 1020110122057 A KR1020110122057 A KR 1020110122057A KR 20110122057 A KR20110122057 A KR 20110122057A KR 20130056441 A KR20130056441 A KR 20130056441A
Authority
KR
South Korea
Prior art keywords
reference picture
filter
motion
depth image
information
Prior art date
Application number
KR1020110122057A
Other languages
English (en)
Inventor
오관정
박두식
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110122057A priority Critical patent/KR20130056441A/ko
Publication of KR20130056441A publication Critical patent/KR20130056441A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법이 제공된다. 일 측면에 따른 움직임 예측 부호화 장치는, 참조화면에 기설정된 필터들을 적용해서 필터링된 참조화면들을 생성하고, 필터링된 참조화면들을 재구성해서 확장된 참조화면을 생성하고, 확장된 참조화면을 이용해서 움직임을 예측한다.

Description

깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법{Method and apparatus for motion estimation encoding/decoding for depth image}
기술분야는 3차원 영상 시스템에서 깊이 영상을 부호화하고 복호화할 때 움직임 예측 정보를 부호화하고 복호화하는 장치 및 방법에 관한 것이다.
동영상 압축의 움직임 예측 방법은 일반적으로 색상 영상의 특성을 고려하여 발전되어 왔다. 움직임 예측과 관련된 기술은 다음과 같이 크게 3가지로 구분된다. 첫째, 움직임 예측의 정확도 향상을 위해 고해상도 영상을 이용하는 기술로 이 경우 움직임 예측 벡터의 크기가 커진다. 고해상도 영상을 얻는 방법은 대게 1D 혹은 2D 평균필터(averaging filter)를 이용하여 부화소 영역의 값을 새로 생성하는 방법을 이용한다. 둘째, 움직임 벡터 예측 방법이다. 움직임 벡터란 현재 부호화 할 블록과 참조 영상내의 상응 블록간의 공간적인 위치 차이로 해당 블록을 부호화 하기 위해서는 움직임 벡터에 대한 부호화가 필수적이다. 움직임 벡터 부호화시에는 공간적인 상관도가 높은 영상의 특성을 이용하여 인접 블록들의 움직임 벡터값과 현재 블록의 움직임 벡터값의 유사성을 이용한다. 셋째, 고속 움직임 예측 방법이다. 움직임 예측 과정은 매우 시간이 많이 소요되는 작업이다. 실제 전체 부호화 시간 중 절반 이상을 차지하기도 한다. 때문에 보통 성능에는 크게 영향을 미치지 않으면서 부호화 속도를 크게 개선하는 고속 움직임 예측에 관한 방법들이 제안되었다. 이러한 방법들은 일반적으로 모든 범위에 대한 움직임 예측을 수행하는 대신 영상 내 공간적 상관도가 높은 점에 착안하여 움직임 예측의 비용값이 낮은 영역을 중심으로 탐색 범위를 점점 좁혀가는 방식이다.
　　앞에선 언급한 이러한 움직임 예측 기술들 중 고해상도 움직임 예측과 고속 움직임 예측 방법의 경우 깊이 영상 부호화에 적용되기에 다음과 같은 문제점이 있다. 첫째, 고해상도 움직임 예측 방법의 경우 깊이 영상은 색상 영상과 달리 객체의 경계와 같이 깊이값의 변화가 있는 영역에 대해서는 깊이값이 불연속적으로 변한다. 즉, 값의 변화가 있는 경우 점차적으로 값이 바뀌는게 아니라 큰 값의 변화가 갑작스레 일어난다. 한 예로 200의 깊이값을 갖는 한 객체와 100의 깊이값을 갖는 배경이 맞닿은 객체의 경계 영역의 경우 깊이값은 200에서 100으로 변한다. 그 중간값은 존재하지 않는다. 이는 색상 영상과는 아주 차별되는 성격이다. 색상 영상의 경우 전경과 배경이 맞닿으면 그 경계에서는 두 영역의 중간값을 갖는 영역이 존재한다. 이러한 특성 때문에 색상 영상에 고해상도 움직임 예측이 효과적일 수 있었다. 그러나 깊이 영상의 경우 중간값이 존재하지 않으므로 평균필터(averaging filter)를 이용한 고해상도 영상 생성은 적합하지 않다. 둘째, 고속 움직임 예측의 경우 깊이 영상은 대부분 평탄한 영역으로 구성되어 있어 탐색 범위 내에 텍스쳐(texture) 정보가 많지 않다. 이는 기존의 고속 움직임 예측 방법이 국소 최저치(local minima)에 빠질 확률이 높음을 의미한다.
일 측면에 있어서, 부호화하고자 하는 영상의 블록에 대응하는 적어도 하나의 참조화면을 선택하는 참조화면 선택부와, 상기 참조화면에 적어도 하나의 기설정된 필터를 적용해서 적어도 하나의 필터링된 참조화면을 생성하는 참조화면 필터링부와, 상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 재구성해서 적어도 하나의 확장된 참조화면을 생성하는 참조화면 확장부와, 상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 움직임 예측부 및 상기 움직임 정보를 부호화 하는 부호화부를 포함하는 깊이 영상을 위한 움직임 예측 부호화 장치가 제공된다.
이때, 상기 참조화면 필터링부는 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 중에서 적어도 하나를 이용해서 필터링할 수 있다.
이때, 상기 참조화면 확장부는, 상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 이용해서 상기 확장된 참조화면으로 재구성할 때, 움직임 예측시 검색 빈도가 높은 것이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성할 수 있다.
이때, 상기 움직임 정보는, 사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보이다.
다른 측면에 있어서, 부호화하고자 하는 영상의 블록에 대응하는 적어도 둘 이상의 참조화면들을 선택하는 참조화면 선택부와, 상기 참조화면들을 재구성해서 적어도 하나의 확장된 참조화면을 생성하는 참조화면 확장부와, 상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 움직임 예측부 및 상기 움직임 정보를 부호화 하는 부호화부를 포함하는 깊이 영상을 위한 움직임 예측 부호화 장치가 제공된다.
이때, 상기 참조화면 확장부는, 상기 참조화면들을 재구성할 때, 움직임 예측시 검색 빈도가 높은 것이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성할 수 있다.
이때, 상기 움직임 정보는, 움직임 벡터를 포함하고, 사용된 참조화면과 사용된 필터를 분석해 낼 수 있는 정보이다.
또 다른 측면에 있어서, 부호화하고자 하는 영상의 블록에 대응하는 참조화면을 선택하는 참조화면 선택부와, 상기 참조화면에 기설정된 필터들을 적용해서 상기 기설정된 필터들 각각에 대응하는 필터링된 참조화면들을 생성하는 참조화면 필터링부와, 상기 필터링된 참조화면들을 재구성해서 확장된 참조화면을 생성하는 참조화면 확장부와, 상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 움직임 예측부 및 상기 움직임 정보를 부호화 하는 부호화부를 포함하는 깊이 영상을 위한 움직임 예측 부호화 장치가 제공된다..
이때, 상기 참조화면 필터링부는, 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 중에서 적어도 하나를 이용해서 필터링하는 깊이 영상을 위한 움직임 예측 부호화 장치가 제공된다.
이때, 상기 참조화면 확장부는, 상기 필터링된 참조화면들을 재구성할 때, 움직임 예측시 검색 빈도가 높은 필터에 의해 필터링된 참조화면이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성할 수 있다.
이때, 상기 움직임 정보는, 사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보이다.
일 측면에 있어서, 부호화된 움직임 정보를 복호화해서 움직임 정보를 출력하는 복호화부와, 상기 움직임 정보를 분석해서 사용된 참조화면, 사용된 필터 및 움직임 벡터를 확인하는 분석부와, 상기 사용된 참조화면을 선택하는 참조화면 선택부와, 상기 사용된 참조화면에 상기 사용된 필터를 적용해서 필터링된 참조화면을 생성하는 참조화면 필터링부 및 상기 필터링된 참조화면에서 상기 움직임 벡터에 해당하는 영역을 움직임이 보상된 예측블록으로 출력하는 움직임 보상부를 포함하는 깊이 영상을 위한 움직임 예측 복호화 장치가 제공된다.
이때, 상기 움직임 정보는, 사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보이다.
이때, 상기 사용된 필터는, 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 오프셋 포상 필터(Offset compensated filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 보간 필터(interpolation filter) 중에서 적어도 하나를 이용해서 필터링할 수 있다.
일 측면에 있어서, 부호화하고자 하는 영상의 블록에 대응하는 적어도 하나의 참조화면을 선택하는 단계와, 상기 참조화면에 적어도 하나의 기설정된 필터를 적용해서 적어도 하나의 필터링된 참조화면을 생성하는 단계와, 상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 재구성해서 적어도 하나의 확장된 참조화면을 생성하는 단계와, 상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 단계 및 상기 움직임 정보를 부호화 하는 단계를 포함하는 깊이 영상을 위한 움직임 예측 부호화 방법이 제공된다.
이때, 상기 적어도 하나의 필터링된 참조화면을 생성하는 단계는, 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 중에서 적어도 하나를 이용해서 필터링할 수 있다.
이때, 상기 적어도 하나의 확장된 참조화면을 생성하는 단계는, 상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 이용해서 상기 확장된 참조화면으로 재구성할 때, 움직임 예측시 검색 빈도가 높은 것이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성할 수 있다.
이때, 상기 움직임 정보는, 사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보이다.
일 측면에 있어서, 부호화된 움직임 정보를 복호화하는 단계와, 상기 움직임 정보를 분석해서 사용된 참조화면, 사용된 필터 및 움직임 벡터를 확인하는 단계와, 상기 사용된 참조화면을 선택하는 단계와, 상기 사용된 참조화면에 상기 사용된 필터를 적용해서 필터링된 참조화면을 생성하는 단계 및 상기 필터링된 참조화면에서 상기 움직임 벡터에 해당하는 영역을 움직임이 보상된 예측블록으로 출력하는 단계를 포함하는 깊이 영상을 위한 움직임 예측 부호화 방법이 제공된다.
이때, 상기 움직임 정보는, 사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보이다.
본 발명은 참조화면에 기설정된 필터들을 적용해서 필터링된 참조화면들을 생성하고, 필터링된 참조화면들을 재구성해서 확장된 참조화면을 생성하고, 확장된 참조화면을 이용해서 움직임을 예측하는 움직임 예측 부호화/복호화 방법에 관한 것으로, 기존의 움직임 예측 방법보다 움직임 예측의 성능이 높아져서 부호화 효율이 증가하는 효과가 있다.
또한, 본 발명은 다수의 참조화면을 하나의 확장된 참조화면으로 재구성하는 경우, 움직임 정보에 참조화면 정보를 포함시키지 않아도 됨으로 움직임 정보를 부호화 하는 비트를 절감할 수 있다.
도 1은 깊이 영상을 위한 움직임 예측 부호화 장치를 나타낸다.
도 2는 깊이 영상을 위한 움직임 예측 복호화 장치를 나타낸다.
도 3은 깊이 영상을 위한 움직임 예측 부호화 장치에서 움직임을 예측하고 부호화하는 과정을 나타낸다.
도 4는 깊이 영상을 위한 움직임 예측 복호화 장치에서 움직임 정보를 복호화 해서 움직임을 보상하는 과정을 나타낸다.
도 5는 참조화면이 하나인 경우 확장된 참조화면을 구성하는 예를 나타낸다.
도 6은 참조화면이 4개인 경우 확장된 참조화면을 구성하는 예를 나타낸다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 깊이 영상을 위한 움직임 예측 부호화 장치를 나타낸다.
도 1을 참조하면, 움직임 예측 부호화 장치(100)는 참조화면 선택부(110), 참조화면 필터링부(120), 참조화면 확장부(130), 움직임 예측부(140) 및 부호화부(150)를 포함한다.
참조화면 선택부(110)는 부호화하고자 하는 영상의 블록에 대응하는 참조화면을 선택한다. 참조화면 선택부(110)는 참조화면을 하나만 선택할 수도 있지만, 다수 개를 선택할 수도 있다.
참조화면 선택부(110)는 선택하는 참조화면으로 깊이영상만을 선택할 수도 있지만, 깊이 영상과 컬러 영상의 영상 합성을 통해 만들어진 가상 깊이영상이나 컬러 영상 정보로 만들어진 가상 깊이영상을 선택할 수도 있다.
참조화면 필터링부(120)는 참조화면 선택부(110)에서 선택한 참조화면에 기설정된 필터를 적용해서 필터링된 참조화면을 생성한다. 참조화면 필터링부(120)에서 적용하는 필터는 하나 일수도 있지만, 여러 필터들을 이용해서 각각의 필터들이 적용된 필터링된 참조화면들을 생성할 수 있다.
이때, 참조화면 필터링부(120)에서 적용하는 필터는 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 등이 가능하다. 하지만 상술한 필터에 국한되는 것은 아니며 다양한 보간 필터(interpolation filter) 등 모든 필터가 적용 가능하다. 여기서, 각 필터의 동작을 살펴보면 다음과 같다.
미디언 필터(median filter)는 노이즈(noise) 제거에 효과적이며 깊이 영상 부호화 시 발생하는 노이즈를 제거할 수 있다. 미디언 필터(median filter)는 주변 화소를 포함하는 윈도우 내의 화소값을 크기 별로 정렬하여 중간에 위치한 값으로 현재 화소를 대체하는 필터이다.
평균 필터(averaging filter)는 노이즈 제거에 효과적이며 주변 화소를 포함하는 윈도우 내의 화소값들을 현재 화소와의 거리를 고려한 가충치를 고려하여 구한 평균값으로 현재 화소를 대체한다.
엣지 복원 필터(edge reconstruction filter)는 깊이 영상의 바이레벨(bi-level) 특성을 고려하여 엣지(edge)를 복원하는 필터이다.
에러 보상 필터(error compensation filter)는 깊이 영상의 경우 불연속(discrete)하게 값이 존재하는 경우가 많다. (즉, 10, 20, 30, ... 250에만 값이 존재). 이러한 특성을 이용하여 예를 들어 11인 값은 10으로 17인 값은 20으로 에러를 보상하는 필터를 의미한다.
바이라테랄　필터(Bilateral filter)는 엣지를 보존하며 평균값을 구하는 필터이다.
오프셋 포상 필터(Offset compensated filter)는 모양(shape)은 동일하지만 밝기만 다른 경우 이를 보상하는 필터이다.
조인트 필터(joint filter)는 엣지(edge) 복원이나 에러 보상시 컬러 정보까지 이용해서 복원하거나 보상하는 필터이다.
트라이래터럴 필터(Trilateral filter)와 조인트 바이라테랄 필터(Joint Bilateral filter)는 기존의 바이라테랄　필터에 컬러 정보까지 이용하는 필터이다.
참조화면 확장부(130)는 참조화면과 필터링된 참조화면을 재구성해서 확장된 참조화면을 생성한다.
참조화면 확장부(130)는 참조화면과 필터링된 참조화면을 재구성해서 확장된 참조화면을 생성할 때, 움직임 예측시 검색 빈도가 높은 것이 움직임 예측부(140)에서 보다 빨리 검색되도록 재구성한다. 한편, 필터링된 참조화면으로만 확장된 참조화면을 재구성하는 경우, 참조화면 확장부(130)는 깊이 영상의 특성에 따라 발생 빈도가 높은 필터로 필터링된 참조화면이 움직임 예측부(140)에서 발생 빈도가 상대적으로 낮은 필터로 필터링된 참조화면 보다 빨리 검색이 되도록 재구성한다.
참조화면 확장부(130)는 확장된 참조화면을 생성할 때 복수개의 참조화면들만을 재구성해서 확장된 참조화면을 생성할 수도 있고, 복수개의 필터링된 참조화면들만을 재구성해서 확장된 참조화면을 생성할 수도 있고, 적어도 하나의 참조화면과 적어도 하나의 필터링된 참조화면을 재구성해서 확장된 참조화면을 생성할 수도 있다.
참조화면 확장부(130)가 필터링된 참조화면들만을 이용해서 확장된 참조화면을 생성하는 경우 참조화면 필터링부(120)의 구성은 필요없다.
도 5는 참조화면이 하나인 경우 확장된 참조화면을 구성하는 예를 나타낸다.
도 5를 참조하면, 참조화면 확장부(130)는 필터링된 참조화면들을 재구성해서 half-pel로 확장된 참조화면(510) 또는 quarter-pel로 확장된 참조화면(520)를 생성할 수 있다.
각 화소의 위치에 적용되는 필터의 예는 아래와 같이 설정할 수 있다.
A는 미디언 필터(median filter), B는 평균 필터(averaging filter), C는 엣지 복원 필터(edge reconstruction filter), D는 에러 보상 필터(error compensation filter), E는 바이라테랄　필터(Bilateral filter), F는 오프셋 포상 필터(Offset compensated filter) 및 G-P는 A-F와 같은 유사한 기능을 하는 필터와 다양한 보간(interpolation) 필터들이 가능하다.
도 6은 참조화면이 4개인 경우 확장된 참조화면을 구성하는 예를 나타낸다.
도 6을 참조하면, 참조화면 확장부(130)는 P4 영상의 블록에 대한 움직임 정보를 부호화 할 때 4개의 참조화면(I, P1, P2, P3)를 도 6의 3가지 경우와 같이 확장된 참조블록으로 재구성할 수 있다.
Case 1은 4개의 참조화면(I, P1, P2, P3)들 만을 이용해서 하나의 확장된 참조화면으로 재구성한 경우이다. 4개 참조화면(I, P1, P2, P3)들을 필터링해서 하나의 확장된 참조화면으로 재구성할 수도 있다.
Case 2는 참조화면(I, P1, P2, P3)들과 필터링된 참조화면(II’, P1’, P2’, P3’)들을 이용해서 두개의 확장된 참조화면으로 재구성한 경우이다.
Case 3은 참조화면(I, P1, P2, P3)들 각각에 필터들을 적용해서 참조화면(I, P1, P2, P3)들 각각에 대한 확장된 참조화면들을 생성하는 경우이다.
Case 1의 경우는 참조화면(I, P1, P2, P3)들이 하나의 확장된 참조화면으로 재구성 되었기 때문에 움직임 예측 부호화 장치(100)에서 움직임 정보에 사용된 참조화면 정보를 포함시키지 않을 수 있어서, 움직임 정보의 크기를 줄일 수 있다. 이때, 움직임 예측 복호화 장치(200)는 Case 1의 경우 움직임 정보에 사용된 참조화면 정보를 포함되어 있지 않다 하더라도 움직임 예측 부호화 장치(100)와 같은 방법으로 움직임 벡터 정보만으로도 사용된 참조화면 정보를 분석해 낼 수 있다.
Case 2의 경우는 참조화면(I, P1, P2, P3)들이 두개의 확장된 참조화면으로 재구성 되었기 때문에 움직임 예측 부호화 장치(100)에서 움직임 정보에 포함되는 사용된 참조화면 정보를 표현하는 비트 수를 줄일 수 있어서, 결과적으로 움직임 정보의 크기를 줄일 수 있다.
Case 2와 Case 3에서 적용되는 필터는 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 등이 될 수 있고, 그 외에도 다양한 보간 필터(interpolation filter)들이 사용될 수 있다.
움직임 예측부(140)는 확장된 참조화면에서 부호화하고자 하는 영상의 블록과 매칭되는 영역을 검색해서 움직임을 예측하고, 예측한 움직임 정보를 출력한다. 이때, 움직임 정보는 사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보이다.
부호화부(150)는 움직임 정보를 부호화 한다.
도 2는 깊이 영상을 위한 움직임 예측 복호화 장치를 나타낸다.
도 2를 참조하면, 움직임 예측 복호화 장치(200)는 복호화부(210), 분석부(220), 참조화면 선택부(230), 참조화면 필터링부(240) 및 움직임 보상부(250)를 포함한다.
복호화부(210)는 움직임 예측 부호화 장치(100)로부터 수신하는 부호화된 움직임 정보를 복호화 한다.
분석부(220)는 복호화부(210)를 통해 획득한 움직임 정보를 분석해서 사용된 참조화면, 사용된 필터 및 움직임 벡터를 확인한다.
참조화면 선택부(230)는 분석부(220)의 움직임 정보 분석에 따라 사용된 참조화면을 선택한다.
참조화면 필터링부(240)는 분석부(220)의 움직임 정보 분석에서 확인된 필터를 이용해서 참조화면을 필터링한다. 이때, 사용되는 필터에는 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 등이 존재할 수 있으며, 그 외에도 다양한 보간 필터(interpolation filter)들이 사용될 수 있다.
움직임 보상부(250)는 분석부(220)의 움직임 정보 분석에서 확인된 움직임 벡터를 이용해서 필터링된 참조화면에서 움직임 벡터에 해당하는 영역을 움직임이 보상된 예측블록으로 출력한다.
이하, 상기와 같이 구성된 본 발명에 따른 깊이 영상을 위한 움직임 예측 부호화/복호화 방법을 아래에서 도면을 참조하여 설명한다.
도 3은 깊이 영상을 위한 움직임 예측 부호화 장치에서 움직임을 예측하고 부호화하는 과정을 나타낸다.
도 3을 참조하면, 움직임 예측 부호화 장치(100)는 310단계에서 부호화하고자 하는 영상의 블록에 대응하는 참조화면을 선택한다. 이때, 움직임 예측 부호화 장치(100)는 참조화면을 하나만 선택할 수도 있지만, 다수 개를 선택할 수도 있다.
그리고, 움직임 예측 부호화 장치(100)는 320단계에서 선택한 참조화면에 기설정된 필터를 적용해서 필터링된 참조화면을 생성한다. 이때, 적용하는 필터는 하나 일수도 있지만, 여러 필터들을 이용해서 각각의 필터들이 적용된 필터링된 참조화면들을 생성할 수 있다. 그리고, 적용하는 필터는 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter) 오프셋 포상 필터(Offset compensated filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 보간 필터(interpolation filter) 등이 가능하다.
그리고, 움직임 예측 부호화 장치(100)는 330단계에서 참조화면과 필터링된 참조화면을 재구성해서 확장된 참조화면을 생성한다. 이때, 참조화면 확장부(130)는 깊이 영상의 특성에 따라 발생 빈도가 높은 필터로 필터링된 참조화면이 움직임 예측부(140)에서 발생 빈도가 상대적으로 낮은 필터로 필터링된 참조화면 보다 빨리 검색이 되도록 재구성한다. 이때, 움직임 예측 부호화 장치(100)는 확장된 참조화면을 생성할 때 복수개의 참조화면들만을 재구성해서 확장된 참조화면을 생성할 수도 있고, 복수개의 필터링된 참조화면들만을 재구성해서 확장된 참조화면을 생성할 수도 있고, 적어도 하나의 참조화면과 적어도 하나의 필터링된 참조화면을 재구성해서 확장된 참조화면을 생성할 수도 있다.
그리고, 움직임 예측 부호화 장치(100)는 340단계에서 확장된 참조화면에서 부호화하고자 하는 영상의 블록과 매칭되는 영역을 검색해서 움직임을 예측하고, 예측한 움직임 정보를 출력한다. 이때, 움직임 정보는 사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보이다.
그리고, 움직임 예측 부호화 장치(100)는 350단계에서 움직임 정보를 부호화한다.
도 4는 깊이 영상을 위한 움직임 예측 복호화 장치에서 움직임 정보를 복호화 해서 움직임을 보상하는 과정을 나타낸다.
도 4를 참조하면, 움직임 예측 복호화 장치(200)는 410단계에서 움직임 예측 부호화 장치(100)로부터 수신하는 부호화된 움직임 정보를 복호화 한다.
그리고, 움직임 예측 복호화 장치(200)는 420단계에서 움직임 정보를 분석해서 사용된 참조화면, 사용된 필터 및 움직임 벡터를 확인한다.
그리고, 움직임 예측 복호화 장치(200)는 430단계에서 움직임 정보 분석에 따라 사용된 참조화면을 선택한다.
그리고, 움직임 예측 복호화 장치(200)는 440단계에서 움직임 정보 분석에서 확인된 필터를 이용해서 참조화면을 필터링한다. 이때, 사용되는 필터에는 미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 오프셋 포상 필터(Offset compensated filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 보간 필터(interpolation filter) 등이 존재할 수 있으며, 그 외에도 다양한 보간 필터들이 사용될 수 있다.
그리고, 움직임 예측 복호화 장치(200)는 450단계에서 움직임 정보 분석에서 확인된 움직임 벡터를 이용해서 필터링된 참조화면에서 움직임 벡터에 해당하는 영역을 움직임이 보상된 예측블록으로 출력한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 부호화하고자 하는 영상의 블록에 대응하는 적어도 하나의 참조화면을 선택하는 참조화면 선택부;
    상기 참조화면에 적어도 하나의 기설정된 필터를 적용해서 적어도 하나의 필터링된 참조화면을 생성하는 참조화면 필터링부;
    상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 재구성해서 적어도 하나의 확장된 참조화면을 생성하는 참조화면 확장부;
    상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 움직임 예측부; 및
    상기 움직임 정보를 부호화 하는 부호화부를 포함하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  2. 제1항에 있어서,
    상기 참조화면 필터링부는,
    미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 중에서 적어도 하나를 이용해서 필터링하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  3. 제1항에 있어서,
    상기 참조화면 확장부는,
    상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 이용해서 상기 확장된 참조화면으로 재구성할 때, 움직임 예측시 검색 빈도가 높은 것이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  4. 제1항에 있어서,
    상기 움직임 정보는,
    사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보인
    깊이 영상을 위한 움직임 예측 부호화 장치.
  5. 부호화하고자 하는 영상의 블록에 대응하는 적어도 둘 이상의 참조화면들을 선택하는 참조화면 선택부;
    상기 참조화면들을 재구성해서 적어도 하나의 확장된 참조화면을 생성하는 참조화면 확장부;
    상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 움직임 예측부; 및
    상기 움직임 정보를 부호화 하는 부호화부를 포함하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  6. 제5항에 있어서,
    상기 참조화면 확장부는,
    상기 참조화면들을 재구성할 때, 움직임 예측시 검색 빈도가 높은 것이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  7. 제5항에 있어서,
    상기 움직임 정보는,
    움직임 벡터를 포함하고, 사용된 참조화면과 사용된 필터를 분석해 낼 수 있는 정보인
    깊이 영상을 위한 움직임 예측 부호화 장치.
  8. 부호화하고자 하는 영상의 블록에 대응하는 참조화면을 선택하는 참조화면 선택부;
    상기 참조화면에 기설정된 필터들을 적용해서 상기 기설정된 필터들 각각에 대응하는 필터링된 참조화면들을 생성하는 참조화면 필터링부;
    상기 필터링된 참조화면들을 재구성해서 확장된 참조화면을 생성하는 참조화면 확장부;
    상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 움직임 예측부; 및
    상기 움직임 정보를 부호화 하는 부호화부를 포함하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  9. 제8항에 있어서,
    상기 참조화면 필터링부는,
    미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 중에서 적어도 하나를 이용해서 필터링하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  10. 제8항에 있어서,
    상기 참조화면 확장부는,
    상기 필터링된 참조화면들을 재구성할 때, 움직임 예측시 검색 빈도가 높은 필터에 의해 필터링된 참조화면이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성하는
    깊이 영상을 위한 움직임 예측 부호화 장치.
  11. 제8항에 있어서,
    상기 움직임 정보는,
    사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보인
    깊이 영상을 위한 움직임 예측 부호화 장치.
  12. 부호화된 움직임 정보를 복호화해서 움직임 정보를 출력하는 복호화부;
    상기 움직임 정보를 분석해서 사용된 참조화면, 사용된 필터 및 움직임 벡터를 확인하는 분석부;
    상기 사용된 참조화면을 선택하는 참조화면 선택부;
    상기 사용된 참조화면에 상기 사용된 필터를 적용해서 필터링된 참조화면을 생성하는 참조화면 필터링부; 및
    상기 필터링된 참조화면에서 상기 움직임 벡터에 해당하는 영역을 움직임이 보상된 예측블록으로 출력하는 움직임 보상부를 포함하는
    깊이 영상을 위한 움직임 예측 복호화 장치.
  13. 제12항에 있어서,
    상기 움직임 정보는,
    사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보인
    깊이 영상을 위한 움직임 예측 복호화 장치.
  14. 제12항에 있어서,
    상기 사용된 필터는,
    미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 오프셋 포상 필터(Offset compensated filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 보간 필터(interpolation filter) 중에서 적어도 하나를 이용해서 필터링하는
    깊이 영상을 위한 움직임 예측 복호화 장치.
  15. 부호화하고자 하는 영상의 블록에 대응하는 적어도 하나의 참조화면을 선택하는 단계;
    상기 참조화면에 적어도 하나의 기설정된 필터를 적용해서 적어도 하나의 필터링된 참조화면을 생성하는 단계;
    상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 재구성해서 적어도 하나의 확장된 참조화면을 생성하는 단계;
    상기 확장된 참조화면에서 상기 블록과 매칭되는 영역을 검색해서 움직임을 예측해서 움직임 정보를 생성하는 단계; 및
    상기 움직임 정보를 부호화 하는 단계를 포함하는
    깊이 영상을 위한 움직임 예측 부호화 방법.
  16. 제15항에 있어서,
    상기 적어도 하나의 필터링된 참조화면을 생성하는 단계는,
    미디언 필터(median filter), 평균 필터(averaging filter), 엣지 복원 필터(edge reconstruction filter), 에러 보상 필터(error compensation filter), 바이라테랄　필터(Bilateral filter), 트라이래터럴 필터(Trilateral filter), 컬러와의 조인트 필터(joint filter with color), 조인트 바이라테랄 필터(Joint Bilateral filter) 및 오프셋 포상 필터(Offset compensated filter) 중에서 적어도 하나를 이용해서 필터링하는
    깊이 영상을 위한 움직임 예측 부호화 방법.
  17. 제15항에 있어서,
    상기 적어도 하나의 확장된 참조화면을 생성하는 단계는,
    상기 적어도 하나의 참조화면과 상기 적어도 하나의 필터링된 참조화면 중에서 적어도 하나를 이용해서 상기 확장된 참조화면으로 재구성할 때, 움직임 예측시 검색 빈도가 높은 것이 상기 움직임 예측부에서 보다 빨리 검색되도록 재구성하는
    깊이 영상을 위한 움직임 예측 부호화 방법.
  18. 제15항에 있어서,
    상기 움직임 정보는,
    사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보인
    깊이 영상을 위한 움직임 예측 부호화 방법.
  19. 부호화된 움직임 정보를 복호화하는 단계;
    상기 움직임 정보를 분석해서 사용된 참조화면, 사용된 필터 및 움직임 벡터를 확인하는 단계;
    상기 사용된 참조화면을 선택하는 단계;
    상기 사용된 참조화면에 상기 사용된 필터를 적용해서 필터링된 참조화면을 생성하는 단계; 및
    상기 필터링된 참조화면에서 상기 움직임 벡터에 해당하는 영역을 움직임이 보상된 예측블록으로 출력하는 단계를 포함하는
    깊이 영상을 위한 움직임 예측 부호화 방법.
  20. 제19항에 있어서,
    상기 움직임 정보는,
    사용된 참조화면, 사용된 필터 및 움직임 벡터를 포함하거나 분석해 낼 수 있는 정보인
    깊이 영상을 위한 움직임 예측 부호화 방법.
KR1020110122057A 2011-11-22 2011-11-22 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법 KR20130056441A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110122057A KR20130056441A (ko) 2011-11-22 2011-11-22 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110122057A KR20130056441A (ko) 2011-11-22 2011-11-22 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130056441A true KR20130056441A (ko) 2013-05-30

Family

ID=48664459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110122057A KR20130056441A (ko) 2011-11-22 2011-11-22 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130056441A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006894A1 (ko) * 2014-07-06 2016-01-14 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006894A1 (ko) * 2014-07-06 2016-01-14 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
US10567755B2 (en) 2014-07-06 2020-02-18 Lg Electronics Inc. Method for processing video signal, and apparatus therefor
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US10511839B2 (en) 2015-09-23 2019-12-17 Lg Electronics Inc. Image encoding/decoding method and device for same

Similar Documents

Publication Publication Date Title
US11856220B2 (en) Reducing computational complexity when video encoding uses bi-predictively encoded frames
JP5606625B2 (ja) ビデオ符号化のための高度な動きモデルを使った参照処理
RU2683165C1 (ru) Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
CN107241605B (zh) 视频编码器以及视频编码方法
JP7416490B2 (ja) ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム
US8204120B2 (en) Method for intra prediction coding of image data
CN104247427A (zh) 使用分区编码的有效预测
KR20070066047A (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
US20150189276A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
JP6154643B2 (ja) 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
KR20120117613A (ko) 동영상 부호화 장치 및 방법
CN109565592B (zh) 一种使用基于分割的视频编码块划分的视频编码设备和方法
EP3104612B1 (en) Complementary vectors
KR20130056441A (ko) 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법
Sanchez et al. DFPS: a fast pattern selector for depth modeling mode 1 in three-dimensional high-efficiency video coding standard
WO2014156647A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
EP3777175A1 (en) Image processing apparatus and method
Muralidhar et al. High Performance Architecture of Motion Estimation Algorithm for Video Compression
CN117596393A (zh) 视频解码或编码方法、电子设备、存储介质及程序产品
JP2023546731A (ja) 参照画像再サンプリング（ｒｐｒ）によるルマ及びクロマのための適応アップサンプリングフィルタ
JP6294810B2 (ja) 動画像符号化装置、動画像復号装置及びコンピュータプログラム
CN112806014A (zh) 图像编码/解码方法和装置
KR20220066974A (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application