KR20150013741A - 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 - Google Patents

영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 Download PDF

Info

Publication number
KR20150013741A
KR20150013741A KR1020147034689A KR20147034689A KR20150013741A KR 20150013741 A KR20150013741 A KR 20150013741A KR 1020147034689 A KR1020147034689 A KR 1020147034689A KR 20147034689 A KR20147034689 A KR 20147034689A KR 20150013741 A KR20150013741 A KR 20150013741A
Authority
KR
South Korea
Prior art keywords
image
information
auxiliary information
filter
interpolation filter
Prior art date
Application number
KR1020147034689A
Other languages
English (en)
Inventor
시오리 스기모토
신야 시미즈
히데아키 기마타
아키라 고지마
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20150013741A publication Critical patent/KR20150013741A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 대상의 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고 처리 영역마다 예측 부호화를 행할 때에, 보간 필터를 사용하여 예측 잔차의 신호를 다운 샘플링함으로써 부호화를 행한다. 상기 처리 영역에서 복호시에 참조 가능한 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 부호화하지 않은 상기 보간 필터를 특정하고, 그 보간 필터를 사용하여 상기 예측 잔차의 신호를 다운 샘플링하여 저해상도 예측 잔차의 신호로 한다.

Description

영상 부호화/복호 방법, 장치, 프로그램, 기록매체{Video image encoding/decoding method, device, program, recording medium}
본 발명은 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치, 영상 부호화 프로그램, 영상 복호 프로그램 및 기록매체에 관한 것이다.
본원은 2012년 7월 9일에 출원된 일본 특허출원 2012-153953호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
일반적인 영상 부호화에서는, 피사체의 공간적/시간적인 연속성을 이용하여 영상의 각 프레임을 처리 단위가 되는 블록으로 분할하고, 블록마다 그 영상 신호를 공간적/시간적으로 예측하며, 그 예측 방법을 나타내는 예측 정보와 예측 잔차를 부호화함으로써, 영상 신호 그 자체를 부호화하는 경우에 비해 대폭적인 부호화 효율의 향상을 도모한다.
RRU(Reduced Resolution Update)는, 예측 잔차의 변환·양자화 전에 화상의 적어도 일부의 예측 잔차의 해상도를 저하시킴으로써 한층 더 부호화 효율의 향상을 도모하는 것이다(예를 들어, 비특허문헌 1 참조). 예측을 고해상도 기준에서 행하고, 또한 저해상도의 예측 잔차에 대해 복호시에 업 샘플링 프로세스를 적용하기 때문에, 최종적인 화상은 고해상도로 재구성할 수 있다.
이 프로세스 결과, 객관적인 품질은 저하되지만 부호화 대상 비트의 감소에 의해 결과적으로 비트레이트가 향상된다. 또한, 주관 품질에 대한 영향은 객관 품질에 대한 영향과 비교하여 크지 않다.
이 기능은 ITU-T H.263 표준에 의해 서포트되어 있고, 시퀀스 내에 심한 동적 영역이 존재하는 경우에 특히 유효한 것이 알려져 있다. 이는, RRU 모드를 이용함으로써 인코더의 프레임 레이트를 높게 유지할 수 있고, 한편으로 정적 영역의 해상도와 품질을 양호하게 유지할 수 있기 때문이다.
그러나, 동적 영역의 품질은 예측 잔차의 업 샘플링 정밀도에 크게 영향을 받는다. 이 때문에, 종래 기술의 상기 문제점을 해소하는 RRU 영상 부호화 및 복호화를 위한 방법 및 장치를 가지는 것이 바람직하고 효과적이다.
여기서, 자유 시점 영상 부호화에 대해 설명한다. 자유 시점 영상이란, 대상 신(scene)을 다수의 촬상 장치를 이용하여 다양한 위치·각도에서 촬상함으로써 신의 광선 정보를 취득하고, 이를 원래대로 임의의 시점에서의 광선 정보를 복원함으로써 임의의 시점에서 본 영상을 생성하는 것이다.
신의 광선 정보는 다양한 데이터 형식에 따라 표현되는데, 가장 일반적인 형식으로서는 영상과 그 영상의 각 프레임에서의 뎁스 맵(depth map)이라고 불리는 안길이 화상을 이용하는 방식이 있다(예를 들어, 비특허문헌 2 참조).
뎁스 맵이란, 카메라부터 피사체까지의 거리(안길이·뎁스)를 화소마다 기술한 것으로, 피사체가 가지는 3차원 정보의 간이한 표현이다. 2개의 카메라로부터 동일한 피사체를 관측할 때, 피사체의 뎁스 값은 카메라 간의 시차의 역수에 비례하기 때문에, 뎁스 맵은 디스패리티 맵(시차 화상)이라고 불리기도 한다.
뎁스 맵은 화상의 각 화소에 대해 하나의 값을 가지는 표현이기 때문에, 그레이 스케일 화상이라고 간주하여 기술할 수 있다. 또한, 뎁스 맵의 시간적으로 연속된 기술인 뎁스 맵 영상(이하에서는 화상/영상의 구별 없이 뎁스 맵이라고 부름)은, 영상 신호와 마찬가지로 피사체의 공간적/시간적인 연속성으로부터 공간적·시간적 상관이 있다고 할 수 있다. 따라서, 통상의 영상 신호를 부호화하기 위해 이용되는 영상 부호화 방식에 의해, 공간적/시간적 여유도(redundancy)를 제거하면서 뎁스 맵을 효율적으로 부호화하는 것이 가능하다.
일반적으로 영상과 뎁스 맵의 사이에는 높은 상관이 있고, 그 때문에 자유 시점 영상 부호화와 같이 영상과 뎁스 맵을 함께 부호화하는 경우에는 양자 간의 상관을 이용하여 한층 더 부호화 효율의 향상을 실현할 수 있다.
비특허문헌 3에서는, 양자의 부호화에 이용하는 예측 정보(블록 분할, 움직임 벡터, 참조 프레임)를 공통화함으로써 리던던시를 배제하고 효율적인 부호화를 실현하고 있다.
비특허문헌 1: A.M.Tourapis, J.Boyce, "Reduced Resolution Update Mode for Advanced Video Coding", ITU-T Q6/SG16, document VCEG-V05, Munich, March 2004. 비특허문헌 2: Y.Mori, N.Fukusima, T.Fuji, and M.Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp.229-232, May 2008. 비특허문헌 3: I.Daribo, C.Tillier, and B.P.Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding," EURASIP Journal on Advances in Signal Processing, vol.2009, Article ID 258920, 13 pages, 2009.
종래의 RRU는, 블록 외의 어느 하나의 데이터도 이용하지 않고 각 블록의 예측 잔차를 처리한다. 저해상도 예측 잔차는 고해상도 예측 잔차로부터 샘플의 상대적 위치에 기초한 다운 샘플링 보간(2차원 바이리니어 보간 등)을 이용하여 계산된다. 복호화된 블록을 취득하기 위해서는, 그 저해상도 예측 잔차가 부호화, 재구성, 업 샘플링 보간에 의해 고해상도 예측 잔차로서 복원되어 예측 화상에 가해진다.
도 19, 도 20은, 종래의 RRU에 대한 고해상도 예측 잔차 샘플에 대한 저해상도 예측 잔차 샘플의 공간 배치와 업 샘플링 보간을 행하기 위한 계산례를 나타내는 도면이다.
이들 각 도면에서, 흰 동그라미는 고해상도 예측 잔차 샘플의 배치를 나타내고, 빗금친 동그라미는 저해상도 예측 잔차 샘플의 배치를 나타낸다. 또한, 각 동그라미 안의 문자 a~e, A~D는 화소값의 예이며, 고해상도 예측 잔차 샘플의 화소값 a~e 각각이 주위의 저해상도 예측 잔차 샘플의 화소값 A~D로부터 어떻게 산출되는지를 도면 내에 나타내고 있다.
2개 이상의 잔차값이 서로 크게 다른 샘플을 포함하는 블록에서는, 이 업 샘플링에 따른 보간에 의해 재구성된 잔차의 정밀도가 떨어져 복호 화상의 품질을 저하시킨다. 또한, 일반적으로 블록 경계부의 업 샘플링에는 블록 내의 샘플만을 이용하고 다른 블록의 샘플은 참조하지 않는다. 이 때문에, 보간 정밀도에 따라서는 블록 경계부에 블록 왜곡(블록 경계 부근에 특유의 왜곡)이 발생하는 경우가 있다.
업 샘플링 정밀도 향상을 위해서는, 업 샘플링에 이용하는 보간 필터를 적절하게 선택할 필요가 있다. 이 문제에 대해, 예를 들어 부호화시에 최적의 필터를 생성하고, 그 필터 계수를 부가 정보로서 영상 신호와 함께 부호화한다는 방법을 생각할 수 있다. 그러나, 이러한 방법에서는 샘플마다 보간에 기여하는 계수를 부호화하지 않으면 안 되기 때문에, 부가 정보의 부호량이 증대하여 효율적인 부호화를 실현할 수 없는 문제가 있다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, RRU에서의 예측 잔차의 업 샘플링 정밀도를 향상시켜 최종적으로 얻어지는 화상의 품질을 향상시킬 수 있는 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치, 영상 부호화 프로그램, 영상 복호 프로그램 및 기록매체를 제공하는 것을 목적으로 한다.
본 발명은, 부호화 대상의 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고 처리 영역마다 예측 부호화를 행할 때에, 보간 필터를 사용하여 예측 잔차의 신호를 다운 샘플링함으로써 부호화를 행하는 영상 부호화 방법으로서, 상기 처리 영역에서 복호시에 참조 가능한 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 부호화하지 않은 상기 보간 필터를 특정하는 필터 특정 단계와, 상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 다운 샘플링하여 저해상도 예측 잔차의 신호로 하는 다운 샘플링 단계를 가지는 영상 부호화 방법을 제공한다.
전형례로서, 상기 필터 특정 단계는, 상기 영상의 정보로부터 생성되는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택한다.
상기 보조 정보는, 상기 처리 영역 내부의 경계 상태를 나타내는 정보로도 된다.
상기 보조 정보는, 상기 처리 영역의 텍스처 특성을 나타내는 정보로도 된다.
다른 전형례로서, 상기 필터 특정 단계는, 상기 영상의 부호화에 이용하는 예측 화상을 참조하여 상기 보간 필터를 생성 또는 선택한다.
다른 전형례로서, 상기 필터 특정 단계는, 상기 영상의 부호화에 이용하는 움직임 벡터를 참조하여 상기 보간 필터를 생성 또는 선택한다.
적합례로서, 상기 필터 특정 단계는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택한다.
상기 보조 정보는, 상기 영상이 동일 신을 복수의 시점으로부터 촬영한 다시점 영상 중의 임의의 하나의 시점 영상인 경우에서의 다른 시점 영상의 정보이어도 된다.
상기 보조 정보를 부호화하여 보조 정보 부호 데이터를 생성하는 보조 정보 부호화 단계와, 상기 보조 정보 부호 데이터를 영상 부호 데이터와 다중화한 부호 데이터를 출력하는 다중화 단계를 더 가져도 된다.
상기 보조 정보 부호화 단계는, 선택해야 할 보간 필터의 식별 번호를 보조 정보로서 부호화해도 된다.
상기 보조 정보는, 상기 영상에 대응하는 뎁스 맵이어도 된다.
상기 뎁스 맵으로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가지도록 해도 된다.
상기 필터 특정 단계는, 상기 뎁스 맵에 덧붙여 상기 영상에 대응하는 다른 시점의 영상을 참조하여 상기 보간 필터를 생성 또는 선택하도록 해도 된다.
상기 뎁스 맵을 부호화하여 뎁스 맵 부호 데이터를 생성하는 뎁스 맵 부호화 단계와, 상기 뎁스 맵 부호 데이터를 영상 부호 데이터와 다중화한 부호 데이터를 출력하는 다중화 단계를 더 가지도록 해도 된다.
상기 부호화 대상의 영상 정보는 뎁스 맵이며, 상기 보조 정보는 상기 뎁스 맵에 대응하는 동일한 시점의 영상 정보이어도 된다.
이 경우, 상기 동일한 시점의 영상 정보로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가지도록 해도 된다.
본 발명은, 부호화 대상의 영상의 부호 데이터를 복호할 때에, 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 처리 영역마다 보간 필터를 사용하여 예측 잔차의 신호를 업 샘플링함으로써 예측 복호를 행하는 영상 복호 방법으로서, 상기 처리 영역에서 부호화시에 참조된 정보에 대응하는 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 복호하지 않고 상기 보간 필터를 특정하는 필터 특정 단계와, 상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 업 샘플링하여 고해상도 예측 잔차의 신호로 하는 업 샘플링 단계를 가지는 영상 복호 방법도 제공한다.
전형례로서, 상기 필터 특정 단계는, 상기 부호 데이터로부터 생성되는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택한다.
상기 보조 정보는, 상기 처리 영역 내부의 경계 상태를 나타내는 정보로도 된다.
상기 보조 정보는, 상기 처리 영역의 텍스처 특성을 나타내는 정보로도 된다.
다른 전형례로서, 상기 필터 특정 단계는, 상기 부호 데이터의 복호에 이용하는 예측 화상을 참조하여 상기 보간 필터를 생성 또는 선택한다.
다른 전형례로서, 상기 필터 특정 단계는, 상기 부호 데이터의 복호에 이용하는 움직임 벡터를 참조하여 상기 보간 필터를 생성 또는 선택한다.
적합례로서, 상기 필터 특정 단계는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택한다.
다른 적합례로서, 상기 부호 데이터를 역다중화하여 보조 정보 부호 데이터와 영상 부호 데이터로 분리하는 역다중화 단계와, 상기 보조 정보 부호 데이터를 복호하여 보조 정보를 생성하는 보조 정보 복호 단계를 더 가지며, 상기 필터 특정 단계는 상기 복호된 상기 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택한다.
상기 보조 정보는, 상기 영상이 동일 신을 복수 시점으로부터 촬영한 다시점 영상 중의 임의의 하나의 시점 영상인 경우에서의 다른 시점 영상이어도 된다.
상기 보조 정보는, 선택해야 할 상기 보간 필터의 식별 번호이어도 된다.
상기 보조 정보는, 상기 영상의 정보에 대응하는 뎁스 맵이어도 된다.
이 경우, 상기 뎁스 맵으로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가져도 된다.
상기 필터 특정 단계는, 상기 뎁스 맵에 덧붙여 상기 영상에 대응하는 다른 시점의 영상을 참조하여 상기 보간 필터를 생성 또는 선택하도록 해도 된다.
상기 부호 데이터를 역다중화하여 뎁스 맵 부호 데이터와 영상 부호 데이터로 분리하는 역다중화 단계와, 상기 뎁스 맵 부호 데이터를 복호하여 뎁스 맵을 생성하는 뎁스 맵 복호 단계를 더 가지도록 해도 된다.
상기 부호화 대상의 영상 정보는 뎁스 맵이며, 상기 보조 정보는 상기 뎁스 맵에 대응하는 동일한 시점의 영상 정보이어도 된다.
이 경우, 상기 동일한 시점의 영상 정보로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가지도록 해도 된다.
본 발명은, 부호화 대상의 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고 처리 영역마다 예측 부호화를 행할 때에, 보간 필터를 사용하여 예측 잔차의 신호를 다운 샘플링함으로써 부호화를 행하는 영상 부호화 장치로서, 상기 처리 영역에서 복호시에 참조 가능한 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 부호화하지 않은 상기 보간 필터를 특정하는 필터 특정 수단과, 상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 다운 샘플링하여 저해상도 예측 잔차의 신호로 하는 다운 샘플링 수단을 구비하는 영상 부호화 장치도 제공한다.
본 발명은, 부호화 대상의 영상의 부호 데이터를 복호할 때에, 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 처리 영역마다 보간 필터를 사용하여 예측 잔차의 신호를 업 샘플링함으로써 예측 복호를 행하는 영상 복호 장치로서, 상기 처리 영역에서 부호화시에 참조된 정보에 대응하는 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 복호하지 않고 상기 보간 필터를 특정하는 필터 특정 수단과, 상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 업 샘플링하여 고해상도 예측 잔차의 신호로 하는 업 샘플링 수단을 구비하는 영상 복호 장치도 제공한다.
본 발명은, 컴퓨터에 상기 영상 부호화 방법을 실행시키기 위한 영상 부호화 프로그램도 제공한다.
본 발명은, 컴퓨터에 상기 영상 복호 방법을 실행시키기 위한 영상 복호 프로그램도 제공한다.
본 발명은, 상기 영상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체도 제공한다.
본 발명은, 상기 영상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체도 제공한다.
본 발명에 의하면, 영상 신호와 함께 부호화되는 부가 정보나 혹은 복호측에서 영상으로부터 예측 가능한 정보를 이용하여 복호시에 예측 잔차의 각 처리 블록에 대해 적응적으로 보간 필터를 생성 또는 선택함으로써, RRU에서의 예측 잔차 업 샘플링 정밀도가 향상되어 최종 화상의 품질을 향상시킬 수 있다.
이에 의해, RRU 모드를 이용하여 부호화 효율을 향상시킬 수 있음과 동시에 영상의 품질을 충분히 유지할 수 있는 효과가 얻어진다.
도 1은 본 발명의 제1 실시형태에 의한 영상 부호화 장치(100)의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 영상 부호화 장치(100)의 동작을 나타내는 흐름도이다.
도 3은 경계가 블록을 비스듬하게 가로지르는 경우의 보간 필터의 예를 나타내는 도면이다.
도 4는 경계 상태의 패턴을 나타내는 도면이다.
도 5a는 부호화 대상 블록 및 그 주변 블록의 움직임 벡터와 이로부터 추정할 수 있는 경계 상태의 예를 나타내는 도면이다.
도 5b는 부호화 대상 블록 및 그 주변 블록의 움직임 벡터와 이로부터 추정할 수 있는 경계 상태의 다른 예를 나타내는 도면이다.
도 6은 이 제1 실시형태에 의한 영상 복호 장치(200)의 구성을 나타내는 블록도이다.
도 7은 도 6에 도시된 영상 복호 장치(200)의 동작을 나타내는 흐름도이다.
도 8은 본 발명의 제2 실시형태에 의한 영상 부호화 장치(100a)의 구성을 나타내는 블록도이다.
도 9는 도 8에 도시된 영상 부호화 장치(100a)의 동작을 나타내는 흐름도이다.
도 10은 이 제2 실시형태에 의한 영상 복호 장치(200a)의 구성을 나타내는 블록도이다.
도 11은 도 10에 도시된 영상 복호 장치(200a)의 동작을 나타내는 흐름도이다.
도 12는 본 발명의 제3 실시형태에 의한 영상 부호화 장치(100b)의 구성을 나타내는 블록도이다.
도 13은 도 12에 도시된 영상 부호화 장치(100b)의 동작을 나타내는 흐름도이다.
도 14는 이 제3 실시형태에 의한 영상 복호 장치(200b)의 구성을 나타내는 블록도이다.
도 15는 도 14에 도시된 영상 복호 장치(200b)의 동작을 나타내는 흐름도이다.
도 16은 변환·양자화한 뎁스 맵의 DCT 계수로부터 경계 정보를 구하는 예를 나타내는 도면이다.
도 17은 영상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 도면이다.
도 18은 영상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 도면이다.
도 19는 종래의 RRU에 대한 고해상도 예측 잔차 샘플에 대한 저해상도 예측 잔차 샘플의 공간 배치와 업 샘플링 보간을 행하기 위한 계산례를 나타내는 도면이다.
도 20은 종래의 RRU에 대한 고해상도 예측 잔차 샘플에 대한 저해상도 예측 잔차 샘플의 공간 배치와 업 샘플링 보간을 행하기 위한 다른 계산례를 나타내는 도면이다.
이하, 본 발명의 제1 실시형태를 도면을 참조하여 설명한다.
<제1 실시형태>
처음에, 본 발명의 제1 실시형태에 의한 영상 부호화 장치에 대해 설명한다. 도 1은, 이 제1 실시형태에 의한 영상 부호화 장치의 구성을 나타내는 블록도이다.
영상 부호화 장치(100)는, 도 1에 도시된 바와 같이 부호화 대상 영상 입력부(101), 입력 프레임 메모리(102), 보조 정보 생성부(103), 보조 정보 메모리(104), 필터 생성부(105), 예측부(106), 감산부(107), 다운 샘플부(108), 변환·양자화부(109), 역양자화·역변환부(110), 업 샘플부(111), 가산부(112), 루프 필터부(113), 참조 프레임 메모리(114) 및 엔트로피 부호화부(115)를 구비하고 있다.
부호화 대상 영상 입력부(101)는, 부호화 대상이 되는 영상을 영상 부호화 장치(100)에 입력한다. 이하에서는 이 부호화 대상이 되는 영상을 부호화 대상 영상이라고 부르고, 특히 처리를 행하는 프레임을 부호화 대상 프레임 또는 부호화 대상 화상이라고 부른다.
입력 프레임 메모리(102)는, 입력된 부호화 대상 영상을 기억한다.
보조 정보 생성부(103)는, 입력 프레임 메모리(102)에 기억된 부호화 대상 영상 또는 부호화 대상 프레임으로부터 보간 필터를 생성하기 위해 필요한 보조 정보를 생성한다. 이하에서는, 이 필터 생성에 필요한 보조 정보를 단지 보조 정보라고 부른다.
보조 정보 메모리(104)는, 생성된 보조 정보를 기억한다.
필터 생성부(105)는, 보조 정보 메모리(104)에 기억된 보조 정보를 참조하여 예측 잔차의 다운 샘플링 및 업 샘플링에 사용하는 보간 필터를 생성한다. 이하에서는, 이 다운 샘플링 및 업 샘플링에 사용하는 보간 필터를 단지 보간 필터라고 부른다.
또, 보조 정보를 참조한 보간 필터의 생성은, 다운 샘플링 및 업 샘플링용으로 공통의 하나의 필터를 작성해도 되고 따로따로 필터를 작성해도 된다. 또한, 다운 샘플링 및 업 샘플링 중 어느 한쪽에만 보간 필터를 생성하고, 생성하지 않은 측에 대해서는 소정의 필터를 제공해도 된다.
예측부(106)는, 입력 프레임 메모리(102)에 기억된 부호화 대상 화상에 대해 예측 처리를 행하여 예측 화상을 생성한다.
감산부(107)는, 입력 프레임 메모리(102)에 기억된 부호화 대상 화상과 예측부(106)가 생성한 예측 화상의 차분값을 취하여 고해상도 예측 잔차를 생성한다.
다운 샘플부(108)는, 생성된 고해상도 예측 잔차를 보간 필터를 사용하여 다운 샘플링하여 저해상도 예측 잔차를 생성한다.
변환·양자화부(109)는, 생성된 저해상도 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다.
역양자화·역변환부(110)는, 생성된 양자화 데이터를 역양자화·역변환하여 복호 저해상도 예측 잔차를 생성한다.
업 샘플부(111)는, 생성된 복호 저해상도 예측 잔차를 보간 필터를 이용하여 업 샘플링하여 복호 고해상도 예측 잔차를 생성한다.
가산부(112)는, 생성된 복호 고해상도 예측 잔차와 예측 화상을 서로 더하여 복호 프레임을 생성한다.
루프 필터부(113)는, 생성된 복호 프레임에 루프 필터를 걸어 참조 프레임을 생성한다.
참조 프레임 메모리(114)는, 생성된 참조 프레임을 기억한다.
엔트로피 부호화부(115)는, 양자화 데이터를 엔트로피 부호화하여 부호 데이터(또는 부호화 데이터)를 출력한다.
다음에, 도 2를 참조하여 도 1에 도시된 영상 부호화 장치(100)의 동작을 설명한다. 도 2는, 도 1에 도시된 영상 부호화 장치(100)의 동작을 나타내는 흐름도이다.
여기서는 부호화 대상 영상 중의 임의의 하나의 프레임을 부호화하는 처리에 대해 설명한다. 이 처리를 프레임마다 반복함으로써 영상의 부호화를 실현할 수 있다.
우선, 부호화 대상 영상 입력부(101)는 부호화 대상 프레임을 영상 부호화 장치(100)에 입력하고, 입력 프레임 메모리(102)에 기억한다(단계 S101). 또, 부호화 대상 영상 중의 몇 개의 프레임은 이미 부호화되어 있는 것으로 하고, 그 복호 프레임이 참조 프레임 메모리(114)에 기억되어 있는 것으로 한다.
다음에, 보조 정보 생성부(103)는 부호화 대상 프레임으로부터 보조 정보를 생성한다.
이 보조 정보 및 이에 의해 생성되는 보간 필터는 어떠한 것이어도 상관없다. 또한, 보조 정보의 생성에는 부호화 대상 프레임 이외에 이미 부호화·복호 완료된 참조 프레임을 참조해도 상관없고, 움직임 보상 예측에 이용하는 움직임 벡터 등의 정보를 이용해도 상관없다.
또한, 업 샘플링용과 다운 샘플링용으로 다른 보조 정보를 이용하여 다른 보간 필터를 생성하여 사용해도 상관없다. 그 경우에는 다운 샘플링 필터를 위한 보조 정보는 부호화 장치에서 참조 가능한 어떠한 정보를 참조하여 추정해도 상관없다. 예를 들어, 부호화 대상 영상 그 자체나 부호화 대상 고해상도 예측 잔차, 그 밖의 부호화하지 않은 정보를 이용해도 상관없다.
업 샘플링에 이용하는 보간 필터에 관해서는, 부호화 장치 및 복호 장치에서 동일한 보간 필터를 생성·선택하기 위해 복호 장치에서 참조 가능한 정보를 참조하여 추정할 필요가 있다. 예를 들어, 예측 화상, 저해상도 예측 잔차, 이미 복호 완료된 참조 픽처나 예측 정보나 그 밖에 다중화되는 부호 데이터 등이다.
혹은, 부호화 장치 및 복호 장치에서 동일한 것을 참조할 수 있다면 부호화되지 않은 다른 정보를 참조해도 상관없다. 예를 들어, 부호화측과 복호측에서 부호화되지 않은 다른 영상을 참조할 수 있는 경우에는 이를 참조해도 상관없다.
여기서는 종래의 RRU가 갖는 문제 중 하나인 화상 내의 동적 영역끼리 혹은 정적 영역과의 경계(이하에서는 단순히 경계라고 부름)에서의 품질 열화를 해결하는 보간 필터와 그 생성을 위한 보조 정보에 대해 설명한다.
일반적으로 경계에 상당하는 블록에서는 움직임 보상 예측에 의한 예측 오차가 크고, 이 블록의 예측 잔차는 불균일한 값을 취하기 때문에, 예측 잔차의 다운 샘플링 및 업 샘플링에 의해 복호 화상에서 피사체 경계부가 무뎌지는 것과 같은 열화가 발생하기 쉽다. 이러한 열화를 막기 위해서는, 경계 상태에 따라 보간 필터의 계수를 결정하는 것이 유효하다.
도 3은, 점선으로 나타내는 경계가 블록을 비스듬하게 가로지르는 경우의 보간 필터의 예이다.
도 3에서, 흰 동그라미는 고해상도 예측 잔차 샘플의 배치를 나타내고, 빗금친 동그라미는 저해상도 예측 잔차 샘플의 배치를 나타낸다. 또한, 각 동그라미 안의 문자 a~l, A~H는 화소값의 예이며, 고해상도 예측 잔차 샘플의 화소값 a~l 각각이 주위의 저해상도 예측 잔차 샘플의 화소값 A~H로부터 어떻게 산출되는지를 도면 내에 나타내고 있다.
이 예에서는, 경계보다 상부 영역에서는 하부 영역의 샘플을 사용하지 않고 상부 영역의 샘플만을 사용하여 보간을 행한다. 하부 영역에서의 보간에 대해서도 마찬가지이다. 또한, 경계 상에 위치하는 영역에서는 경계 상의 샘플만을 사용하여 보간을 행한다.
이러한 보간 필터를 생성하기 위한 보조 정보로서는, 경계 상태를 나타내는 어느 하나의 정보를 이용한다. 경계 상태는 화소 단위로 엄밀하게 나타내어도 상관없고, 도 4(경계 상태의 패턴예를 나타내는 도면)에 도시된 바와 같이 대략적인 패턴을 미리 정하고 가장 가까운 것을 이용해도 상관없다.
또한, 경계를 추정하는 방법은 어떠한 것으로도 상관없지만, 예를 들어 부호화 대상 프레임에 대해 윤곽 추출 처리를 실시함으로써 얻어지는 윤곽을 경계로 추정해도 상관없다. 이 경우의 보조 정보는 윤곽 화상 그 자체로도 상관없고, 윤곽을 구성하는 화소를 나타내는 좌표로도 상관없다.
복호시에는 저해상도 예측 잔차 그 자체로부터는 고해상도의 윤곽 화상을 구할 수 없지만, 이미 복호 완료된 블록이나 프레임의 윤곽 화상으로부터 추정하는 것은 가능하다. 또는, 예측 화상으로부터 추정해도 상관없다. 나아가 이 때, 예측 정밀도가 높은 블록에서는 예측 화상으로부터의 추정을 행하고, 예측 정밀도가 낮은 블록에서는 다른 방법으로 추정해도 상관없다.
또한, 다른 방법으로서는, 부호화 대상 블록 및 그 주변 블록의 움직임 보상 예측에 이용하는 움직임 벡터를 이용하여 경계 상태를 추정한다는 방법도 적용 가능하다.
도 5a, 5b는, 부호화 대상 블록 및 그 주변 블록의 움직임 벡터와 이로부터 추정할 수 있는 경계 상태의 예를 나타낸다. 이들 도면에서, 화살표는 각 블록의 움직임 벡터를 나타내고, 도 5a에서는 수평방향의 경계 상태가, 도 5b에서는 오른쪽으로 올라가는 대각선 방향의 경계 상태가 각각 추정되어 있다.
또 다른 방법으로서는, 전술한 바와 같이 국소적인 경계 상태의 추정이 아니라 영상 전체로부터 피사체 추출을 행하여 경계를 추정하는 등의 방법도 있다. 이것에는 화상 세그먼테이션이나 기타 임의의 방법을 이용해도 상관없다.
또 다른 방법으로서는, 미리 경계 상태의 패턴을 몇 가지로 정하여 식별 번호에 의해 구별해 두고, 어느 하나의 방법으로 추정한 경계에 가장 가까운 패턴을 선택하고, 그 식별 번호를 보조 정보로서 이용해도 상관없다.
또 다른 문제로서 다양한 특성을 가지는 부호화 대상 영역에 모두 동일한 보간 필터를 이용함으로써 경우에 따라서는 크게 품질이 저하되는 문제가 있는데, 이러한 문제에 대해서는 부호화 대상 블록의 텍스처 특성으로부터 최적의 보간 필터를 추정하는 방법을 적용할 수 있다.
예를 들어, 텍스처가 매끄러운 그라데이션을 가지는 경우나 균일한 경우나 엣지를 가지는 경우, 또는 복잡하고 고주파 성분을 많이 포함하는 텍스처를 가지는 경우 등의 특성에 맞추어 적절한 필터를 생성·선택하도록 해도 된다. 예를 들어, 텍스처가 매끄러운 그라데이션을 가지는 경우에서는 잔차도 매끄러운 상태라고 하여 바이리니어 필터 등의 매끄러운 보간을 행하는 필터를 생성하고, 강한 엣지가 존재하는 바와 같은 텍스처이면 그 잔차도 엣지를 가지는 것으로 하여 엣지를 저장하는 바와 같은 보간 필터의 추정을 행할 수 있다. 이러한 보간 필터를 생성하는 보조 정보로서 부호화 대상 블록의 예측 화상이나 이미 부호화 완료된 주변 화상 등을 이용해도 된다.
또한, 경계 정보와 텍스처 특성 모두를 조합해도 된다. 예를 들어, 경계 영역에서는 경계 영역 패턴에 기초하여 보간 필터를 결정하고, 비경계 영역에서는 텍스처 특성에 기초하여 보간 필터를 결정하는 등이다.
보간 필터의 필터 계수의 구체적인 결정 방법으로서는, 미리 정한 계수 패턴으로부터 선택해도 상관없고, 바이래터럴 필터와 같이 어느 하나의 함수에 기초하여 계산해도 상관없다.
여기서, 일반적으로 블록 경계부의 업 샘플링에는 블록 내의 샘플만을 이용하고 다른 블록의 샘플은 참조하지 않기 때문에, 보간 정밀도에 따라서는 블록 경계부에 블록 왜곡이 발생하는 경우가 있는 문제가 있다. 2개의 블록 내부에서 각각 보간을 실시할 때에, 예를 들어 한쪽은 전술한 문제와 같이 피사체 경계를 넘어 샘플링되고, 다른 한쪽은 그렇지 않거나 혹은 또 다른 피사체 경계를 넘는 경우에, 블록 경계부의 화소에 대해 각각의 블록에서 구해지는 잔차값이 서로 다른 열화를 일으키기 때문에 블록 왜곡을 발생하기 쉽다.
이러한 문제에 대해, 이러한 블록 왜곡을 발생하기 쉬운 블록에 대해서는 다른 블록의 샘플을 이용하는 보간을 행하거나 경우에 따라서는 보외(외삽) 필터를 사용할 수 있다.
이용하는 필터는 전술한 예와 같이 어떤 방법으로 결정해도 상관없다. 블록 밖 샘플의 사용 가부나 보외의 실시 가부는 영상 신호로부터 추정해도 상관없고, 따로 부가 정보를 부호화해도 상관없다. 또한, 이 문제에 대해서도 전술한 피사체 경계를 고려하는 보간 필터를 이용함으로써 블록 경계부의 무뎌짐을 저감하고 간접적으로 완화할 수 있다.
이상은 보간 필터와 보조 정보 및 그 추정 방법의 예이지만, 모두 상기 예에 한정되는 것은 아니고, 다른 임의의 보간 필터와 보조 정보 및 추정 방법을 이용할 수 있다.
도 2로 되돌아가, 보조 정보 생성 후, 부호화 대상 프레임을 부호화 대상 블록으로 분할하고, 블록마다 부호화 대상 프레임의 영상 신호를 부호화하는 루틴을 행한다(단계 S103). 즉, 이하의 단계 S104~S112까지의 처리를 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
부호화 대상 블록마다 반복되는 처리에서는, 우선, 필터 생성부(105)는 보조 정보를 참조하여 보간 필터를 생성한다(단계 S104).
생성하는 보간 필터의 예는 전술한 바와 같다. 여기서의 필터 생성은 필터 계수를 축차 결정해도 상관없고, 미리 몇 가지로 정해진 필터 패턴으로부터 선택해도 상관없다.
다음에, 예측부(106)는 부호화 대상 프레임 및 참조 프레임을 이용하여 어느 하나의 예측 처리를 행하여 예측 화상을 생성한다(단계 S105).
예측 방법은, 복호측에서 예측 정보 등을 사용하여 올바르게 예측 화상을 생성할 수 있는 것이면 어떠한 방법으로도 상관없다. 일반적인 영상 부호화에서는 화면 내 예측이나 움직임 보상 등의 예측 방법을 이용한다. 또한, 일반적으로는 이 때에 이용하는 예측 정보를 부호화하여 영상 부호 데이터와 다중화한다.
다음에, 감산부(107)는 예측 화상과 부호화 대상 블록의 차분을 취하여 예측 잔차를 생성한다(단계 S106).
예측 잔차의 생성이 종료되면, 다운 샘플부(108)는 보간 필터를 사용하여 예측 잔차의 다운 샘플링을 실행하여 저해상도 예측 잔차를 생성한다(단계 S107).
이어서, 변환·양자화부(109)는 저해상도 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다(단계 S108). 이 변환·양자화는, 복호측에서 올바르게 역양자화·역변환할 수 있는 것이면 어떠한 방법을 이용해도 상관없다.
변환·양자화가 종료되면, 역양자화·역변환부(110)는 양자화 데이터를 역양자화·역변환하여 복호 저해상도 예측 잔차를 생성한다(단계 S109).
이어서, 업 샘플부(111)는 보간 필터를 사용하여 복호 저해상도 예측 잔차의 업 샘플링을 행하여 복호 고해상도 예측 잔차를 생성한다(단계 S110). 이 때, 사용하는 보간 필터는 다운 샘플링에 사용한 것과 동일한 것을 사용하는 것이 아니라, 전술한 바와 같은 수법으로 새로 다시 생성한 것을 이용하는 것이 바람직하다. 단, 부호화 잡음을 허용하는 경우는 예외로서 동일한 것을 사용해도 된다.
업 샘플링이 종료되면, 가산부(112)는 복호 고해상도 예측 잔차와 예측 화상을 가산하여 복호 블록을 생성한다. 그리고, 루프 필터부(113)는, 생성한 복호 블록에 루프 필터를 걸어 참조 프레임의 블록으로서 참조 프레임 메모리(114)에 기억한다(단계 S111).
루프 필터는 필요가 없으면 특별히 걸지 않아도 상관없지만, 통상의 영상 부호화에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다. 혹은 RRU에 의한 열화를 제거하기 위한 필터를 사용해도 된다. 또한, 이 루프 필터를 업 샘플링 필터 생성의 경우와 동일한 순서로 적응적으로 생성해도 된다.
다음에, 엔트로피 부호화부(115)는 양자화 데이터를 엔트로피 부호화하여 부호 데이터를 생성한다(단계 S112).
모든 블록에 대해 처리가 종료되면(단계 S113), 영상 부호 데이터를 출력한다(단계 S114).
다음에, 본 제1 실시형태에서의 영상 복호 장치에 대해 설명한다. 도 6은, 이 제1 실시형태에 의한 영상 복호 장치의 구성을 나타내는 블록도이다.
영상 복호 장치(200)는, 도 6에 도시된 바와 같이 부호 데이터 입력부(201), 부호 데이터 메모리(202), 엔트로피 복호부(203), 역양자화·역변환부(204), 보조 정보 생성부(205), 보조 정보 메모리(206), 필터 생성부(207), 업 샘플부(208), 예측부(209), 가산부(210), 루프 필터부(211) 및 참조 프레임 메모리(212)를 구비하고 있다.
부호 데이터 입력부(201)는, 복호 대상이 되는 영상 부호 데이터를 영상 복호 장치(200)에 입력한다. 이 복호 대상이 되는 영상 부호 데이터를 복호 대상 영상 부호 데이터라고 부르고, 특히 처리를 행하는 프레임을 복호 대상 프레임 또는 복호 대상 화상이라고 부른다.
부호 데이터 메모리(202)는, 입력된 복호 대상 영상 부호 데이터를 기억한다.
엔트로피 복호부(203)는 복호 대상 프레임의 부호 데이터를 엔트로피 복호하여 양자화 데이터를 생성하고, 역양자화·역변환부(204)는 생성된 양자화 데이터에 역양자화/역변환을 실시하여 복호 저해상도 예측 잔차를 생성한다.
보조 정보 생성부(205)는, 부호화 장치에 대한 상술한 설명과 마찬가지로 생성된 복호 저해상도 예측 잔차 또는 참조 프레임 및 예측 정보 또는 그 밖의 정보로부터 보조 정보를 생성한다.
보조 정보 메모리(206)는, 생성된 보조 정보를 기억한다.
필터 생성부(207)는, 보조 정보를 참조하여 예측 잔차의 업 샘플링에 사용하는 보간 필터를 생성한다.
업 샘플부(208)는, 보간 필터를 이용하여 복호 저해상도 예측 잔차의 업 샘플링을 실행하여 복호 고해상도 예측 잔차를 생성한다.
예측부(209)는, 예측 정보 등을 참조하여 복호 대상 화상에 대해 예측 처리를 행하여 예측 화상을 생성한다.
가산부(210)는, 생성된 복호 고해상도 예측 잔차와 예측 화상을 가산하여 복호 프레임을 생성한다.
루프 필터부(211)는, 생성된 복호 프레임에 루프 필터를 걸어 참조 프레임을 생성한다.
참조 프레임 메모리(212)는, 생성된 참조 프레임을 기억한다.
다음에, 도 7을 참조하여 도 6에 도시된 영상 복호 장치(200)의 동작을 설명한다. 도 7은, 도 6에 도시된 영상 복호 장치(200)의 동작을 나타내는 흐름도이다.
여기서는 부호 데이터 중의 어느 하나의 프레임을 복호하는 처리에 대해 설명한다. 이 처리를 프레임마다 반복함으로써 영상의 복호를 실현할 수 있다.
우선, 부호 데이터 입력부(201)는 영상 부호 데이터를 영상 복호 장치(200)에 입력하고, 부호 데이터 메모리(202)에 기억한다(단계 S201). 또, 복호 대상 영상 중의 몇 개의 프레임은 이미 복호되어 있는 것으로 하고, 참조 프레임 메모리(212)에 기억되어 있는 것으로 한다.
다음에, 복호 대상 프레임을 대상 블록으로 분할하고, 블록마다 복호 대상 프레임의 영상 신호를 복호하는 루틴을 행한다(단계 S202). 즉, 이하의 단계 S203~S208까지의 처리를 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
복호 대상 블록마다 반복되는 처리에 있어서, 우선, 엔트로피 복호부(203)는 부호 데이터를 엔트로피 복호하여 역양자화·역변환부(204)에서 역양자화·역변환을 행하여 복호 저해상도 예측 잔차를 생성한다(단계 S203).
이어서, 보조 정보 생성부(205)는, 생성된 복호 저해상도 예측 잔차 또는 참조 프레임 및 예측 정보 또는 그 밖의 정보로부터 보간 필터 생성에 필요한 보조 정보를 생성하여 보조 정보 메모리(206)에 기억한다(단계 S204).
보조 정보를 생성하면, 필터 생성부(207)는 보조 정보를 이용하여 보간 필터를 생성한다(단계 S205).
다음에, 업 샘플부(208)는 복호 저해상도 예측 잔차를 업 샘플링하여 복호 고해상도 예측 잔차를 생성한다(단계 S206).
이어서, 예측부(209)는 복호 대상 블록 및 참조 프레임을 이용하여 어느 하나의 예측 처리를 행하여 예측 화상을 생성한다(단계 S207).
또, 가산부(210)는 복호 고해상도 예측 잔차와 예측 화상을 가산하고, 다시 루프 필터부(211)에서 루프 필터를 걸어 그 출력을 참조 블록으로서 참조 프레임 메모리(212)에 기억한다(단계 S208).
마지막으로 모든 블록에 대해 처리가 종료되면(단계 S209), 복호 프레임으로서 출력한다(단계 S210).
다음에, 본 발명의 제2 실시형태를 도면을 참조하여 설명한다.
<제2 실시형태>
도 8은, 본 발명의 제2 실시형태에 의한 영상 부호화 장치(100a)의 구성을 나타내는 블록도이다. 도 8에서, 도 1에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 8에 도시된 장치가 도 1에 도시된 장치와 다른 점은, 보조 정보 생성부(103) 대신에 보조 정보 입력부(116)를 구비하고, 새로 보조 정보 부호화부(117)와 다중화부(118)를 구비하고 있는 점이다.
보조 정보 입력부(116)는, 보간 필터를 생성하기 위해 필요한 보조 정보를 영상 부호화 장치(100a)에 입력한다.
보조 정보 부호화부(117)는, 입력된 보조 정보를 부호화하여 보조 정보 부호 데이터를 생성한다.
다중화부(118)는, 보조 정보 부호 데이터와 영상 부호 데이터를 다중화하여 출력한다.
다음에, 도 9를 참조하여 도 8에 도시된 영상 부호화 장치(100a)의 동작을 설명한다. 도 9는, 도 8에 도시된 영상 부호화 장치(100a)의 동작을 나타내는 흐름도이다.
도 9는, 제1 실시형태에서의 보조 정보 생성 처리 대신에 외부로부터 보조 정보를 도입하여 필터 생성에 이용하고, 또한 그 보조 정보를 부호화하고 영상 부호 데이터와 다중화하여 영상 신호로 하는 경우의 처리를 나타내고 있다.
도 9에서, 도 2에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 부호화 대상 영상 입력부(101)는 부호화 대상 프레임을 영상 부호화 장치(100a)에 입력하고, 입력 프레임 메모리(102)에 기억한다. 이와 병행하여 보조 정보 입력부(116)는 보조 정보를 도입하여 보조 정보 메모리(104)에 기억한다(단계 S101a).
또, 부호화 대상 영상 중의 몇 개의 프레임은 이미 부호화되어 있는 것으로 하고, 그 복호 프레임이 참조 프레임 메모리(114)에 기억되어 있는 것으로 한다.
여기서 입력되는 보조 정보는, 복호 장치 측에서 동종의 보간 필터를 생성할 수 있는 것이면 어떠한 것으로도 상관없다. 제1 실시형태에서 서술한 예와 같이 영상 정보나 예측 정보로부터 생성한 것으로도 상관없고, 부호화 대상 영상과 어떠한 상관이 있는 다른 정보나 그 정보에 기초하여 생성한 것으로도 상관없다.
예를 들어, 부호화 대상 영상이 동일 신을 복수 시점으로부터 촬영한 다시점 영상 중의 임의의 하나의 시점 영상인 경우, 부호화 대상 영상은 다른 시점의 영상과 공간적으로 상관이 있기 때문에, 다른 시점의 영상으로부터 부호화 대상 영상을 위한 보조 정보를 구하는 것이 가능하다. 이 때의 보조 정보를 구하는 방법은 제1 실시형태의 예와 동일한 방법으로도 상관없고, 다른 방법으로도 상관없다.
또한, 부호화하여 영상 부호 데이터와 다중화하는 보조 정보는 부호화 대상 영상 데이터에 대해 구한 보조 정보로도 상관없고, 복호 장치 측에서 동일한 보조 정보를 구할 수 있는 것이면 다른 시점의 영상 그 자체를 부호화한 것으로도 상관없다. 또 다른 예로서는, 법선 맵이나 온도 화상 등의 피사체에 의존한 값을 가지는 화상 정보 등으로도 된다.
또한, 미리 몇 개의 필터 패턴과 그 식별 번호를 정하고, 선택해야 할 필터의 식별 번호를 그대로 보조 정보로 해도 된다. 이 경우의 필터 선택에 대해서는 어떠한 방법을 이용해도 상관없다. 즉, 상술한 어느 하나의 방법과 동일한 방법으로 선택해야 할 필터를 구해도 상관없고, 부호화 대상 블록마다 생각되는 필터를 사용하여 부호화·복호화를 실행하고 얻어진 복호 블록의 품질을 평가하여 그 품질이 최고가 되는 필터를 선택해도 상관없다.
또한, 어느 하나의 방법에 의해 구한 필터의 필터 계수를 그대로 보조 정보로 해도 상관없다.
혹은, 예를 들어 바이래터럴 필터와 같이 어느 하나의 함수에 기초하여 필터 계수를 결정한다고 하고, 그 함수의 파라미터를 보조 정보로 해도 상관없다.
또, 필터 생성에 이용하는 보조 정보는, 부호화 잡음 그 밖의 잡음의 발생을 허용하는 경우는 부호화를 거치지 않은 것을 사용해도 상관없지만, 보다 부호화 품질을 향상시키기 위해서는 후술하는 부호화 순서 및 복호화 순서에 의해 부호화·복호를 거친 것을 이용해도 상관없다. 보조 정보의 부호화·복호는 영상 부호화 장치 내에서 실행해도 상관없고, 부호화 대상 영상의 부호화 전에 별도로 부호화·복호화되어 있어도 상관없다.
다음에, 부호화 대상 프레임을 부호화 대상 블록으로 분할하고, 블록마다 부호화 대상 프레임의 영상 신호를 부호화하는 루틴을 행한다(단계 S103). 즉, 이하의 단계 S104~S112b까지의 처리를 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
이하, 단계 S104~S112까지의 처리는 도 2에 도시된 처리 동작과 마찬가지로 실행한다.
다음에, 전술한 보조 정보를 부호화하고(단계 S112a), 영상 부호 데이터와 다중화하여 부호 데이터를 생성한다(단계 S112b).
이 부호화 방법은, 복호측에서 올바르게 복호할 수 있는 것이면 어떠한 방법으로도 상관없다. 단, 전술한 바와 같이 필터 생성을 위해 한 번 보조 정보의 부호화·복호를 행하고 있는 경우에는, 복호 데이터를 다시 부호화하는 것이 아니라 부호화 완료된 보조 정보를 그대로 이용해도 상관없다.
모든 블록에 대해 처리가 종료되면(단계 S113), 영상 부호 데이터를 출력한다(단계 S114).
다음에, 본 제2 실시형태에서의 영상 복호 장치에 대해 설명한다. 도 10은, 이 제2 실시형태에 의한 영상 복호 장치의 구성을 나타내는 블록도이다. 도 10에서, 도 6에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 10에 도시된 장치가 도 6에 도시된 장치와 다른 점은, 역다중화부(213)를 새로 구비하고, 보조 정보 생성부(205) 대신에 보조 정보 복호부(214)를 구비하고 있는 점이다.
역다중화부(213)는, 부호 데이터를 역다중화하여 보조 정보 부호 데이터와 영상 부호 데이터로 분리한다.
보조 정보 복호부(214)는, 보조 정보 부호 데이터를 복호하여 보조 정보를 생성한다.
다음에, 도 11을 참조하여 도 10에 도시된 영상 복호 장치(200a)의 동작을 설명한다. 도 11은, 도 10에 도시된 영상 복호 장치(200a)의 동작을 나타내는 흐름도이다.
여기서는 부호 데이터 중의 어느 하나의 프레임을 복호하는 처리에 대해 설명한다. 이 처리를 프레임마다 반복함으로써 영상의 복호를 실현할 수 있다.
도 11에는, 제1 실시형태에서의 영상 부호 데이터 대신에 영상 부호 데이터와 보조 정보 부호 데이터가 다중화된 부호 데이터를 영상 복호 장치(200a)에 입력하고, 이를 역다중화하여 보조 정보 생성 대신에 보조 정보 복호를 행하여 복호된 보조 정보를 필터 생성에 이용하는 경우의 처리를 나타내고 있다.
도 11에서, 도 7에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 부호 데이터 입력부(201)는 영상 부호 데이터를 영상 복호 장치(200a)에 입력하고, 부호 데이터 메모리(202)에 기억한다(단계 S201). 또, 복호 대상 영상 중의 몇 개의 프레임은 이미 복호되어 있는 것으로 하고, 참조 프레임 메모리(212)에 기억되어 있는 것으로 한다.
다음에, 복호 대상 프레임을 대상 블록으로 분할하고, 블록마다 복호 대상 프레임의 영상 신호를 복호하는 루틴을 행한다(단계 S202). 즉, 이하의 단계 S203~S208까지의 처리를 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
복호 대상 블록마다 반복되는 처리에 있어서, 우선, 역다중화부(213)는 입력한 영상 부호 데이터를 영상 부호 데이터와 보조 정보 부호 데이터에 역다중화한다(단계 203a).
그리고, 엔트로피 복호부(203)는 영상 부호 데이터를 엔트로피 복호하고, 역양자화·역변환부(204)는 역양자화·역변환을 행하여 복호 저해상도 예측 잔차를 생성한다(단계 S203).
이어서, 보조 정보 복호부(214)는 보조 정보를 복호하여 보조 정보 메모리(206)에 기억한다(단계 S204a).
이하, 단계 S205~S210은 도 7에 도시된 처리 동작과 마찬가지의 처리를 행한다.
또, 제2 실시형태에서는 보조 정보 부호 데이터와 영상 부호 데이터를 처리 블록 단위로 다중화하고 있지만, 화면 단위 등 다른 처리 단위에서 다른 부호 데이터로 해도 상관없다. 또한, 복호 장치 측에서 복호 정보에 이용한 것과 동등한 보조 정보가 얻어지는 것이면, 부호화 장치 측에서 보조 정보를 부호화하여 다중화하지 않아도 상관없다.
다음에, 본 발명의 제3 실시형태를 도면을 참조하여 설명한다.
<제3 실시형태>
도 12는, 본 발명의 제3 실시형태에 의한 영상 부호화 장치(100b)의 구성을 나타내는 블록도이다. 도 12에서, 도 1에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 12에 도시된 장치가 도 1에 도시된 장치와 다른 점은, 뎁스 맵 입력부(119)와 뎁스 맵 메모리(120)를 새로 구비하고, 보조 정보 생성부(103)가 부호화 대상 프레임 대신에 뎁스 맵을 사용하여 보조 정보를 생성하는 점이다.
뎁스 맵 입력부(119)는, 보간 필터를 생성하기 위해 참조하는 뎁스 맵(정보)을 영상 부호화 장치(100b)에 입력한다. 여기서 입력되는 뎁스 맵은, 부호화 대상 영상의 각 프레임의 각 화소에 비치는 피사체의 뎁스 값을 나타내는 것이다.
뎁스 맵 메모리(120)는, 입력된 뎁스 맵을 기억한다.
다음에, 도 13을 참조하여 도 12에 도시된 영상 부호화 장치(100b)의 동작을 설명한다. 도 13은, 도 12에 도시된 영상 부호화 장치(100b)의 동작을 나타내는 흐름도이다.
도 13에는, 제1 실시형태에서의 영상 정보를 참조한 보조 정보 생성 대신에 외부로부터 뎁스 맵을 도입하여 보조 정보 생성에 이용하는 경우의 처리를 나타내고 있다.
도 13에서, 도 2에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 부호화 대상 영상 입력부(101)는 부호화 대상 프레임을 영상 부호화 장치(100b)에 입력하고, 입력 프레임 메모리(102)에 기억한다. 이와 병행하여 뎁스 맵 입력부(119)는 뎁스 맵을 도입하여 뎁스 맵 메모리(120)에 기억한다(단계 S101b).
또, 부호화 대상 영상 중의 몇 개의 프레임은 이미 부호화되어 있는 것으로 하고, 그 복호 프레임이 참조 프레임 메모리(114)에, 대응하는 뎁스 맵이 뎁스 맵 메모리(120)에 기억되어 있는 것으로 한다.
또한, 본 제2 실시형태에서는 입력된 부호화 대상 프레임이 순차적으로 부호화되는 것으로 하고 있지만, 입력순과 부호화순은 반드시 일치할 필요는 없다. 입력순과 부호화순이 다른 경우에는, 다음에 부호화할 프레임이 입력될 때까지 먼저 입력된 프레임은 입력 프레임 메모리(102)에 기억된다.
입력 프레임 메모리(102)에 기억된 부호화 대상 프레임은, 이하에서 설명하는 부호화 처리에 의해 부호화되면 입력 프레임 메모리(102)로부터 삭제해도 상관없다. 그러나, 뎁스 맵 메모리(120)에 기억된 뎁스 맵은, 대응하는 부호화 대상 프레임의 복호 프레임이 참조 프레임 메모리(114)로부터 삭제될 때까지 기억해 둔다.
또, 단계 S101b에서 입력되는 뎁스 맵은, 부호화 잡음 그 밖의 잡음의 발생을 억제하기 위해 복호 장치 측에서 얻어지는 뎁스 맵과 동일한 것을 이용하는 것이 바람직하다. 예를 들어, 뎁스 맵을 부호화하여 영상과 함께 부호 데이터로 하는 경우에는, 영상 부호화에 이용하는 뎁스 맵은 부호화·복호를 거친 것을 이용한다.
복호 장치 측에서 얻어지는 뎁스 맵의 다른 예로서는, 다른 시점의 부호화 완료 뎁스 맵을 복호한 것을 이용하여 합성된 뎁스 맵이나, 다른 시점의 부호화 완료 화상군을 복호한 것으로부터 스테레오 매칭 등에 의해 추정한 뎁스 맵 등이 있다.
단, 부호화 잡음의 발생을 허용하는 경우는 부호화를 거치지 않은 뎁스 맵을 사용해도 상관없다.
다음에, 보조 정보 생성부(103)는 뎁스 맵을 참조하여 보간 필터 생성에 이용하는 보조 정보를 생성한다(단계 S102a).
여기서 생성하는 보조 정보와 그 추정 방법 및 생성되는 보간 필터는 어떠한 것이어도 상관없다. 예를 들어, 제1 실시형태에서 예를 든 바와 같은 경계 정보를 보조 정보로서 이용하는 경우에는, 영상 대신에 뎁스 맵의 윤곽 정보나 뎁스 맵을 부호화하기 위한 움직임 벡터 등을 이용하여 마찬가지의 추정을 행해도 상관없다.
일반적으로 동일 피사체를 구성하는 각 화소의 뎁스 값은 비교적 연속적인 값을 취하고, 또한 다른 피사체끼리의 경계에서는 각 화소의 뎁스 값은 이산적인 값을 취하는 경우가 많다. 따라서, 뎁스 맵에서의 윤곽 정보나 움직임 벡터에 기초하여 경계 정보를 구함으로써, 영상의 텍스처에 영향을 받지 않고 정확한 경계 정보를 검출할 수 있기 때문에 정밀도 높게 보간 필터를 생성할 수 있다.
또한, 국소적인 경계 상태의 추정이 아니라 뎁스 맵 전체로부터 피사체 경계 추출을 행하는 등의 방법도 있다. 이 경우, 전술한 연속성을 고려하여 피사체를 추출해도 되고, 화상 세그먼테이션과 같은 방법을 사용해도 상관없다.
혹은, 블록 내의 각 화소의 뎁스 값 그 자체나 이를 이용한 연산값 또는 선택해야 할 필터의 식별 번호를 보조 정보로 해도 상관없다.
예를 들어, 뎁스 값의 평균을 참조하여 보간 필터를 적응적으로 생성할지 이미 정해져 있는 필터를 이용할지의 전환을 행하도록 해도 된다.
평균 뎁스 값이 작은 블록은, 다른 시점으로부터의 영상과의 시차가 매우 작기 때문에 시차 보상 예측을 행하는 경우의 정밀도가 높고, 또한 카메라로부터의 거리가 멀기 때문에 피사체의 이동량이 적어 움직임 보상 예측도 비교적 정밀도가 높은 경우가 많다. 이 때문에, 예측 잔차가 매우 작아질 가능성이 높고, 단순한 바이리니어 필터 등을 이용한 보간에 의해 양호한 복호 결과가 얻어질 가능성이 높다. 한편, 뎁스 값이 큰 블록에 대해서는 반대의 것을 말할 수 있고, 적응적인 보간 필터가 유효할 가능성이 높다.
혹은, 뎁스 맵을 이용하여 부호화 대상 영상과 이미 복호 완료된 다른 시점 영상의 대응 관계를 높은 정밀도로 구함으로써, 다른 시점의 영상을 참조하여 보간 필터를 생성해도 상관없다.
필터 계수의 구체적인 결정 방법으로서는 미리 정한 계수 패턴으로부터 선택해도 상관없고, 바이래터럴 필터와 같이 어느 하나의 함수에 기초하여 계산해도 상관없다.
예를 들어, 바이래터럴 필터에서 참조하는 휘도값을 부호화 대상 영상의 휘도값이 아니라 뎁스 맵의 휘도값으로 하는 바와 같은 크로스 바이래터럴 필터 함수를 생각할 수 있다. 혹은, 영상과 뎁스 맵 모두 혹은 또 다른 정보를 참조하는 함수를 사용해도 상관없다.
이상은 보간 필터와 보조 정보 및 그 추정 방법의 예이지만, 모두 상기 예에 한정되는 것은 아니고, 그 밖에 임의의 보간 필터와 보조 정보 및 추정 방법을 이용할 수 있다.
이하, 단계 S103~단계 S114까지 도 2에 도시된 처리 동작과 마찬가지로 실행한다.
다음에, 본 제3 실시형태에서의 영상 복호 장치(200b)에 대해 설명한다. 도 14는, 이 제3 실시형태에 의한 영상 복호 장치의 구성을 나타내는 블록도이다. 도 14에서, 도 6에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 14에 도시된 장치가 도 6에 도시된 장치와 다른 점은, 뎁스 맵 입력부(215)와 뎁스 맵 메모리(216)를 새로 구비하고, 보조 정보 생성부(205)가 저해상도 예측 잔차 대신에 뎁스 맵을 사용하여 보조 정보를 생성하는 점이다.
뎁스 맵 입력부(215)는 보간 필터를 생성하기 위해 참조하는 뎁스 맵(정보)을 영상 복호 장치(200b)에 입력하고, 뎁스 맵 메모리(216)는 입력된 뎁스 맵을 기억한다.
다음에, 도 15를 참조하여 도 14에 도시된 영상 복호 장치(200b)의 동작을 설명한다. 도 15는, 도 14에 도시된 영상 복호 장치(200b)의 동작을 나타내는 흐름도이다.
도 15에는, 제1 실시형태에서의 영상 정보를 참조한 보조 정보 생성 대신에 외부로부터 뎁스 맵을 도입하여 보조 정보 생성에 이용하는 경우의 처리를 나타내고 있다.
도 15에서, 도 7에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 부호 데이터 입력부(201)는 부호 데이터를 영상 복호 장치(200b)에 입력하고, 부호 데이터 메모리(202)에 기억한다. 이와 병행하여 뎁스 맵 입력부(215)는 뎁스 맵을 도입하여 뎁스 맵 메모리(216)에 기억한다(단계 S201a).
또, 복호 대상 영상 중의 몇 개의 프레임은 이미 복호되어 있는 것으로 하고, 참조 프레임 메모리(212)에 대응하는 뎁스 맵이 뎁스 맵 메모리(216)에 기억되어 있는 것으로 한다.
다음에, 복호 대상 프레임을 복호 대상 블록으로 분할하고, 블록마다 복호 대상 프레임의 영상 신호를 복호한다(단계 S202). 이하의 단계 S203~S208까지의 처리를 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
복호 대상 블록마다 반복되는 처리에 있어서, 우선, 엔트로피 복호부(203)는 부호 데이터를 엔트로피 복호한다. 그리고, 역양자화·역변환부(204)는 역양자화·역변환을 행하여 복호 저해상도 예측 잔차를 생성한다(단계 S203).
이어서, 보조 정보 생성부(205)는 뎁스 맵이나 그 예측 정보 등으로부터 보간 필터 생성에 필요한 보조 정보를 생성하고, 보조 정보 메모리(206)에 기억한다(단계 S204b).
이하, 단계 S205부터 단계 S210까지 도 7에 도시된 처리 동작과 마찬가지의 처리를 행한다.
상술한 제3 실시형태에서는 영상을 RRU로 부호화하는 예를 나타내고 있지만, 예를 들어 뎁스 맵을 RRU로 부호화해도 상관없다. 또한, 그 경우에 영상 정보를 참조하여 뎁스 맵용 보간 필터를 생성해도 상관없다. 혹은, 영상 정보·뎁스 맵 모두 RRU를 이용하여 뎁스 맵의 보간 필터는 자기 참조 혹은 입력한 보조 정보에 의해 생성하고, 영상 정보는 복호한 뎁스 맵을 이용하여 복호해도 상관없다. 영상 정보·뎁스 맵의 관계가 그 반대로도 상관없다.
또한, 부호화 및 복호의 순서를 연구하여 쌍방향 참조를 행해도 상관없다.
또한, 뎁스 맵과 제1 실시형태와 같이 영상 정보로부터 추정한 보조 정보나 부가 정보로서 부호화한 보조 정보를 병용해도 상관없다. 예를 들어, 뎁스 맵으로부터 구한 경계 영역에서는 경계 상태에 따른 필터를 생성하고, 비경계 영역에서는 영상의 텍스처로부터 보간 필터를 생성하는 등이다.
또한, 전술한 제3 실시형태에서는, 복호 대상 프레임에 대응하는 뎁스 맵을 참조하여 보조 정보 생성을 행하고 있지만, 이미 복호 완료된 참조 프레임에 대응하는 뎁스 맵을 참조해도 된다.
또한, 뎁스 맵 뿐만 아니라 복호 대상 프레임이나 그 예측 정보 및 참조 프레임을 참조해도 되고, 뎁스 맵 자신의 예측 정보 등을 참조해도 상관없다.
또한, 전술한 제3 실시형태에서는 입력한 뎁스 맵을 그대로 사용하고 있지만, 부호화된 뎁스 맵을 이용하는 경우 등은 뎁스 맵의 부호화 잡음을 저감하기 위해 로우 패스 필터 등을 걸어도 상관없다.
또한, 예로 든 바와 같이 피사체 경계를 판정하여 보간 필터를 생성하는 경우 등은, 피사체의 차이를 알 수 있는 정도의 비트 심도가 있으면 충분하기 때문에, 입력된 뎁스 맵에 대해 비트 심도 변환을 실시하여 뎁스 맵의 비트 심도를 작게 하는 처리를 가해도 상관없다.
또, 단순한 비트 심도 변환을 행해도 상관없지만, 뎁스 맵으로부터 피사체수를 판정하여 그 결과에 따라 피사체를 구별하는 정보로 변환해도 상관없다.
또한, 전술한 제1~제3 실시형태에서는 부호화 대상 프레임의 전체 블록에 대해 RRU를 적용하는 예를 설명하였지만, 일부 블록에만 적용해도 된다. 또한, 블록에 따라 다운 샘플율을 가변으로 해도 상관없다.
그 경우에는, RRU 적용 가부나 다운 샘플율을 나타내는 정보를 부호화하여 부가 정보에 포함해도 되고, 복호 장치 측에 RRU 적용 가부나 다운 샘플율을 판별하는 기능을 부가해도 된다.
예를 들어 제3 실시형태에서는, RRU 적용 가부나 다운 샘플율을 뎁스 맵을 참조하여 결정해도 상관없다. 그 경우에는, 뎁스 맵의 부호화 잡음이나 전송 에러에 의해 복호 불가능이 되는 것을 막기 위한 회피 기능이나 정정 기능을 부가하면 된다.
또, 전술한 설명에서는 모든 블록에서 보간 필터를 적응적으로 생성하고 있지만, 연산량 저감을 위해 이미 정해진 필터에서 충분한 성능이 얻어지는 블록에 대해서는 이미 정해진 필터를 사용해도 된다. 그 경우, 이미 정해진 필터를 사용할지 필터 생성을 행할지를 영상 정보나 보조 정보를 참조하여 전환해도 된다.
또한, 다운 샘플링은 이미 정해진 필터를 이용하고 업 샘플링에만 적응적으로 생성한 보간 필터를 이용해도 되고, 그 반대로도 상관없다.
또한, 전술한 제1~제3 실시형태에서는 부호화 장치에서 보조 정보 생성은 루프의 외부에서 실행하지만, 내부에서 블록마다 실행해도 상관없다.
한편, 복호 장치에서 보조 정보 생성은 루프의 내부에서 블록마다 실행하지만, 가능하면 루프의 외부에서 실행해도 상관없다.
나아가 부호화 장치·복호 장치 모두 필터의 생성은 루프 내부에서 실행하였지만, 외부에서 실행해도 상관없다.
또한, 복수 프레임만큼 선행하여 필터 생성을 실행해도 상관없고, 복호 장치에서는 복호 대상 프레임의 복호 전에 대응하는 필터를 생성할 수 있는 것이면 기타 어떠한 순번으로 실행해도 상관없다.
또한, 전술한 제1~제3 실시형태에서는, 복호시에 부호 데이터를 역양자화·역변환한 복호 저해상도 예측 잔차나 복호한 뎁스 맵을 이용하여 보조 정보를 생성하고 있지만, 역양자화 전의 양자화 데이터나 역변환 전의 변환 데이터를 참조하여 보조 정보를 생성해도 상관없다.
도 16은, 변환·양자화한 뎁스 맵의 DCT 계수로부터 경계 정보를 구하는 예를 나타내고 있다. 도 16에 도시된 바와 같이, 변환·양자화한 DCT 계수로부터 직류 성분을 제거하고 교류 성분 중의 어떤 문턱값 이하의 계수를 0으로 치환하고 나서 역양자화·역변환을 실시하면, 매우 정확한 경계 정보를 나타내는 화상을 복원할 수 있다.
보간 필터 생성을 위한 보조 정보를 구하는 경우에는, 그 DCT 계수를 화상으로서 복원할 필요는 없고, DCT 계수의 패턴으로부터 직접 보조 정보를 추정할 수도 있다.
또한, 전술한 제1~제3 실시형태에서는, 부호화 대상 영상 신호 중의 휘도 신호나 색차 신호를 특별히 구별하지 않았지만, 이들을 구별해도 상관없다.
예를 들어 색차 신호에만 다운 샘플링·업 샘플링을 실행하고 휘도 신호는 고해상도인 채로 부호화해도 상관없고, 그 반대로도 상관없다.
혹은, 휘도 신호·색차 신호 각각의 보간 필터로서 다른 것을 이용해도 상관없다. 그 경우에, 예를 들어 휘도 신호의 보간 필터를 색차 신호를 참조하여 생성해도 상관없다.
또, 전술한 제1~제3 실시형태에서의 일부 처리는 그 순서가 앞뒤 바뀌어도 상관없다.
이상 설명한 영상 부호화 및 영상 복호 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터로 판독 가능한 기록매체에 기록하여 제공하는 것도 가능하며 네트워크를 통해 제공하는 것도 가능하다.
도 17에, 전술한 영상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어도를 나타낸다.
본 시스템은:
·프로그램을 실행하는 CPU(30)
·CPU(30)가 액세스하는 프로그램이나 데이터가 기억되는 RAM 등의 메모리(31)
·카메라 등으로부터의 부호화 대상의 영상 신호를 영상 부호화 장치 내에 입력하는 부호화 대상 영상 입력부(32)(디스크 장치 등에 의한 영상 신호를 기억하는 기억부로도 됨)
·도 2, 도 9, 도 13에 도시된 처리를 CPU(30)에 실행시키는 소프트웨어 프로그램인 영상 부호화 프로그램(351)이 기억된 프로그램 기억 장치(35)
·CPU(30)가 메모리(31)에 로드된 영상 부호화 프로그램을 실행함으로써 생성된 부호 데이터를, 예를 들어 네트워크를 통해 출력하는 부호 데이터 출력부(36)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부로도 됨)
가 버스로 접속된 구성으로 되어 있다.
그 밖에 제2, 3 실시형태에서 설명한 부호화를 실현하는 경우에 필요하면, 예를 들어 네트워크를 통해 보조 정보를 입력하는 보조 정보 입력부(33)(디스크 장치 등에 의한 보조 정보 신호를 기억하는 기억부로도 됨)나, 예를 들어 네트워크를 통해 부호화 대상의 영상에 대한 뎁스 맵을 입력하는 뎁스 맵 입력부(34)(디스크 장치 등에 의한 뎁스 맵 신호를 기억하는 기억부로도 됨)를 더 접속하면 된다.
또한, 도시는 생략하지만, 그 밖에 부호 데이터 기억부, 참조 프레임 기억부 등의 하드웨어가 설치되어 본 수법의 실시에 이용된다. 또한, 영상 신호 부호 데이터 기억부, 예측 정보 부호 데이터 기억부 등이 이용되기도 한다.
도 18에, 전술한 영상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어도를 나타낸다.
본 시스템은:
·프로그램을 실행하는 CPU(40)
·CPU(40)가 액세스하는 프로그램이나 데이터가 기억되는 RAM 등의 메모리(41)
·영상 부호화 장치가 본 발명에 의한 수법에 의해 부호화한 부호 데이터를 영상 복호 장치 내에 입력하는 부호 데이터 입력부(42)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부로도 됨)
·도 7, 도 11, 도 15에 도시된 처리를 CPU(40)에 실행시키는 소프트웨어 프로그램인 영상 복호 프로그램(451)이 기억된 프로그램 기억 장치(45)
·CPU(40)가 메모리(41)에 로드된 영상 복호 프로그램을 실행함으로써 생성된 복호 영상을 재생 장치 등에 출력하는 복호 영상 출력부(46)
가 버스로 접속된 구성으로 되어 있다.
그 밖에 제2, 3 실시형태에서 설명한 복호를 실현하는 경우에 필요하면, 예를 들어 네트워크를 통해 복호 대상의 영상 정보에 대한 뎁스 맵을 입력하는 뎁스 맵 입력부(44)(디스크 장치 등에 의한 뎁스 맵 신호를 기억하는 기억부로도 됨)를 더 접속하면 된다.
또한, 도시는 생략하지만, 그 밖에 참조 프레임 기억부 등의 하드웨어가 설치되어 본 수법의 실시에 이용된다. 또한, 영상 신호 부호 데이터 기억부, 예측 정보 부호 데이터 기억부 등이 이용되기도 한다.
이상 설명한 바와 같이, 영상 신호와 함께 부호화되는 어느 하나의 부가 정보나, 혹은 영상 정보로부터 예측 가능한 정보를 이용하여 복호시에 예측 잔차의 각 처리 블록에 보간 필터를 적응적으로 생성 또는 선택함으로써, RRU에서의 예측 잔차의 업 샘플링 정밀도를 향상시켜 최종 화상을 원래의 고해상도이고 좋은 품질로 재구성할 수 있다.
이에 의해, 뎁스 맵으로 대표되는 부가 정보를 수반하는 영상 부호화에 있어서 RRU 모드를 이용하여 부호화 효율을 향상시키고, 한편으로 주관 품질을 충분히 유지할 수 있다.
또, 전술한 RRU 모드는 자유 시점 영상 부호화에서의 사용에 적합하지만, 이에 한정되는 것은 아니다. 그러나, 원래 뎁스 맵 등의 부가 정보를 수반하는 영상 신호의 부호화 방식인 자유 시점 영상 부호화 등에서 본 발명을 이용하는 것은, 여분의 부가 정보를 신호에 포함시킬 필요가 없기 때문에 보다 효과적이다.
또, 도 1, 6, 8, 10, 12, 14에서의 각 처리부의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 영상 부호화 처리, 영상 복호 처리를 행해도 된다.
또, 여기서 말하는 「컴퓨터 시스템」이란, OS나 주변기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 시스템」은 홈페이지 제공 환경(혹은 표시 환경)을 구비한 WWW 시스템도 포함하는 것으로 한다.
또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 이동성 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다.
또, 「컴퓨터 판독 가능한 기록매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이 일정 시간 프로그램을 보유하고 있는 것도 포함하는 것으로 한다.
또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송 매체를 통해 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템으로 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는, 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 가지는 매체를 말한다.
또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다.
또, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.
이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 행해도 된다.
RRU에서의 예측 잔차 업 샘플링 정밀도를 향상시켜 최종 화상의 품질을 향상시키는 것이 불가결한 용도에 적용할 수 있다.
100, 100a, 100b…영상 부호화 장치
101…부호화 대상 영상 입력부
102…입력 프레임 메모리
103…보조 정보 생성부
104…보조 정보 메모리
105…필터 생성부
106…예측부
107…감산부
108…다운 샘플부
109…변환·양자화부
110…역양자화·역변환부
111…업 샘플부
112…가산부
113…루프 필터부
114…참조 프레임 메모리
115…엔트로피 부호화부
116…보조 정보 입력부
117…보조 정보 부호화부
118…다중화부
119…뎁스 맵 입력부
120…뎁스 맵 메모리
200, 200a, 200b…영상 복호 장치
201…부호 데이터 입력부
202…부호 데이터 메모리
203…엔트로피 복호부
204…역양자화·역변환부
205…보조 정보 생성부
206…보조 정보 메모리
207…필터 생성부
208…업 샘플부
209…예측부
210…가산부
211…루프 필터부
212…참조 프레임 메모리
213…역다중화부
215…뎁스 맵 입력부
216…뎁스 맵 메모리

Claims (38)

  1. 부호화 대상의 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고 처리 영역마다 예측 부호화를 행할 때에, 보간 필터를 사용하여 예측 잔차의 신호를 다운 샘플링함으로써 부호화를 행하는 영상 부호화 방법으로서,
    상기 처리 영역에서 복호시에 참조 가능한 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 부호화하지 않은 상기 보간 필터를 특정하는 필터 특정 단계; 및
    상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 다운 샘플링하여 저해상도 예측 잔차의 신호로 하는 다운 샘플링 단계;를 가지는 것을 특징으로 하는 영상 부호화 방법.
  2. 청구항 1에 있어서,
    상기 필터 특정 단계는, 상기 영상의 정보로부터 생성되는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 부호화 방법.
  3. 청구항 2에 있어서,
    상기 보조 정보는, 상기 처리 영역 내부의 경계 상태를 나타내는 정보인 것을 특징으로 하는 영상 부호화 방법.
  4. 청구항 2에 있어서,
    상기 보조 정보는, 상기 처리 영역의 텍스처 특성을 나타내는 정보인 것을 특징으로 하는 영상 부호화 방법.
  5. 청구항 1에 있어서,
    상기 필터 특정 단계는, 상기 영상의 부호화에 이용하는 예측 화상을 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 부호화 방법.
  6. 청구항 1에 있어서,
    상기 필터 특정 단계는, 상기 영상의 부호화에 이용하는 움직임 벡터를 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 부호화 방법.
  7. 청구항 1에 있어서,
    상기 필터 특정 단계는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 부호화 방법.
  8. 청구항 7에 있어서,
    상기 보조 정보는, 상기 영상이 동일 신을 복수의 시점으로부터 촬영한 다시점 영상 중의 임의의 하나의 시점 영상인 경우에서의 다른 시점 영상의 정보인 것을 특징으로 하는 영상 부호화 방법.
  9. 청구항 2, 7, 8 중 어느 한 항에 있어서,
    상기 보조 정보를 부호화하여 보조 정보 부호 데이터를 생성하는 보조 정보 부호화 단계; 및
    상기 보조 정보 부호 데이터를 영상 부호 데이터와 다중화한 부호 데이터를 출력하는 다중화 단계;를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  10. 청구항 9에 있어서,
    상기 보조 정보 부호화 단계는, 선택해야 할 보간 필터의 식별 번호를 보조 정보로서 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  11. 청구항 7에 있어서,
    상기 보조 정보는, 상기 영상에 대응하는 뎁스 맵인 것을 특징으로 하는 영상 부호화 방법.
  12. 청구항 11에 있어서,
    상기 뎁스 맵으로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  13. 청구항 11에 있어서,
    상기 필터 특정 단계는, 상기 뎁스 맵에 덧붙여 상기 영상에 대응하는 다른 시점의 영상을 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 부호화 방법.
  14. 청구항 11에 있어서,
    상기 뎁스 맵을 부호화하여 뎁스 맵 부호 데이터를 생성하는 뎁스 맵 부호화 단계; 및
    상기 뎁스 맵 부호 데이터를 영상 부호 데이터와 다중화한 부호 데이터를 출력하는 다중화 단계;를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  15. 청구항 7에 있어서,
    상기 부호화 대상의 영상 정보는 뎁스 맵이며, 상기 보조 정보는 상기 뎁스 맵에 대응하는 동일한 시점의 영상 정보인 영상 부호화 방법.
  16. 청구항 15에 있어서,
    상기 동일한 시점의 영상 정보로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  17. 부호화 대상의 영상의 부호 데이터를 복호할 때에, 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 처리 영역마다 보간 필터를 사용하여 예측 잔차의 신호를 업 샘플링함으로써 예측 복호를 행하는 영상 복호 방법으로서,
    상기 처리 영역에서 부호화시에 참조된 정보에 대응하는 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 복호하지 않고 상기 보간 필터를 특정하는 필터 특정 단계; 및
    상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 업 샘플링하여 고해상도 예측 잔차의 신호로 하는 업 샘플링 단계;를 가지는 것을 특징으로 하는 영상 복호 방법.
  18. 청구항 17에 있어서,
    상기 필터 특정 단계는, 상기 부호 데이터로부터 생성되는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 복호 방법.
  19. 청구항 18에 있어서,
    상기 보조 정보는, 상기 처리 영역 내부의 경계 상태를 나타내는 정보인 것을 특징으로 하는 영상 복호 방법.
  20. 청구항 18에 있어서,
    상기 보조 정보는, 상기 처리 영역의 텍스처 특성을 나타내는 정보인 것을 특징으로 하는 영상 복호 방법.
  21. 청구항 17에 있어서,
    상기 필터 특정 단계는, 상기 부호 데이터의 복호에 이용하는 예측 화상을 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 복호 방법.
  22. 청구항 17에 있어서,
    상기 필터 특정 단계는, 상기 부호 데이터의 복호에 이용하는 움직임 벡터를 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 복호 방법.
  23. 청구항 17에 있어서,
    상기 필터 특정 단계는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 복호 방법.
  24. 청구항 17에 있어서,
    상기 부호 데이터를 역다중화하여 보조 정보 부호 데이터와 영상 부호 데이터로 분리하는 역다중화 단계; 및
    상기 보조 정보 부호 데이터를 복호하여 보조 정보를 생성하는 보조 정보 복호 단계;를 더 가지며,
    상기 필터 특정 단계는, 상기 복호된 상기 보조 정보를 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 복호 방법.
  25. 청구항 23에 있어서,
    상기 보조 정보는, 상기 영상이 동일 신을 복수 시점으로부터 촬영한 다시점 영상 중의 임의의 하나의 시점 영상인 경우에서의 다른 시점 영상인 것을 특징으로 하는 영상 복호 방법.
  26. 청구항 24에 있어서,
    상기 보조 정보는, 선택해야 할 상기 보간 필터의 식별 번호인 것을 특징으로 하는 영상 복호 방법.
  27. 청구항 23에 있어서,
    상기 보조 정보는, 상기 영상의 정보에 대응하는 뎁스 맵인 것을 특징으로 하는 영상 복호 방법.
  28. 청구항 27에 있어서,
    상기 뎁스 맵으로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가지는 것을 특징으로 하는 영상 복호 방법.
  29. 청구항 27에 있어서,
    상기 필터 특정 단계는, 상기 뎁스 맵에 덧붙여 상기 영상에 대응하는 다른 시점의 영상을 참조하여 상기 보간 필터를 생성 또는 선택하는 것을 특징으로 하는 영상 복호 방법.
  30. 청구항 27에 있어서,
    상기 부호 데이터를 역다중화하여 뎁스 맵 부호 데이터와 영상 부호 데이터로 분리하는 역다중화 단계; 및
    상기 뎁스 맵 부호 데이터를 복호하여 뎁스 맵을 생성하는 뎁스 맵 복호 단계;를 더 가지는 것을 특징으로 하는 영상 복호 방법.
  31. 청구항 23에 있어서,
    상기 부호화 대상의 영상 정보는 뎁스 맵이며, 상기 보조 정보는 상기 뎁스 맵에 대응하는 동일한 시점의 영상 정보인 영상 부호화 방법.
  32. 청구항 31에 있어서,
    상기 동일한 시점의 영상 정보로부터 상기 처리 영역 내부의 경계 상태를 나타내는 정보를 보조 정보로서 생성하는 보조 정보 생성 단계를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  33. 부호화 대상의 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고 처리 영역마다 예측 부호화를 행할 때에, 보간 필터를 사용하여 예측 잔차의 신호를 다운 샘플링함으로써 부호화를 행하는 영상 부호화 장치로서,
    상기 처리 영역에서 복호시에 참조 가능한 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써 상기 보간 필터를 특정하는 필터 특정 수단; 및
    상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 다운 샘플링하여 저해상도 예측 잔차의 신호로 하는 다운 샘플링 수단;을 구비하는 것을 특징으로 하는 영상 부호화 장치.
  34. 부호화 대상의 영상의 부호 데이터를 복호할 때에, 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 처리 영역마다 보간 필터를 사용하여 예측 잔차의 신호를 업 샘플링함으로써 예측 복호를 행하는 영상 복호 장치로서,
    상기 처리 영역에서 부호화시에 참조된 정보에 대응하는 정보를 참조하여 적응적으로 상기 보간 필터를 생성 또는 선택함으로써, 필터 계수를 복호하지 않고 상기 보간 필터를 특정하는 필터 특정 수단; 및
    상기 특정한 보간 필터를 사용하여 상기 예측 잔차의 신호를 업 샘플링하여 고해상도 예측 잔차의 신호로 하는 업 샘플링 수단;을 구비하는 것을 특징으로 하는 영상 복호 장치.
  35. 컴퓨터에 청구항 1 내지 16 중 어느 한 항에 기재된 영상 부호화 방법을 실행시키기 위한 영상 부호화 프로그램.
  36. 컴퓨터에 청구항 17 내지 32 중 어느 한 항에 기재된 영상 복호 방법을 실행시키기 위한 영상 복호 프로그램.
  37. 청구항 35에 기재된 영상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  38. 청구항 36에 기재된 영상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020147034689A 2012-07-09 2013-07-09 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 KR20150013741A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012153953 2012-07-09
JPJP-P-2012-153953 2012-07-09
PCT/JP2013/068725 WO2014010583A1 (ja) 2012-07-09 2013-07-09 映像符号化／復号方法、装置、プログラム、記録媒体

Publications (1)

Publication Number Publication Date
KR20150013741A true KR20150013741A (ko) 2015-02-05

Family

ID=49916035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147034689A KR20150013741A (ko) 2012-07-09 2013-07-09 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램

Country Status (5)

Country Link
US (1) US20150189276A1 (ko)
JP (1) JP5902814B2 (ko)
KR (1) KR20150013741A (ko)
CN (1) CN104718761A (ko)
WO (1) WO2014010583A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088435A1 (ko) * 2017-11-02 2019-05-09 삼성전자 주식회사 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
US10009622B1 (en) * 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
US11695958B2 (en) * 2016-02-01 2023-07-04 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using edge-adaptive graph-based transform
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
WO2019087905A1 (ja) * 2017-10-31 2019-05-09 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
CN110278487B (zh) * 2018-03-14 2022-01-25 阿里巴巴集团控股有限公司 图像处理方法、装置及设备
CN110012310B (zh) * 2019-03-28 2020-09-25 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置
MX2021014605A (es) * 2019-06-18 2022-01-18 Electronics & Telecommunications Res Inst Metodo y aparato de codificacion/decodificacion de video, y medio de grabacion que almacena un flujo de bits.
CN112135136B (zh) * 2019-06-24 2022-09-30 无锡祥生医疗科技股份有限公司 超声远程医疗发送方法、装置和接收方法、装置及系统
CN113963094A (zh) * 2020-07-03 2022-01-21 阿里巴巴集团控股有限公司 深度图及视频处理、重建方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
KR100421001B1 (ko) * 2001-02-20 2004-03-03 삼성전자주식회사 샘플링 레이트 변환 장치 및 방법
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
CN100511980C (zh) * 2003-03-21 2009-07-08 D2音频有限公司 采样速率转换设备和方法
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
BRPI0706407B1 (pt) * 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
EP2448269A1 (en) * 2006-10-10 2012-05-02 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for recording the programs
JP5011138B2 (ja) * 2008-01-25 2012-08-29 株式会社日立製作所 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法
EP2437499A4 (en) * 2009-05-29 2013-01-23 Mitsubishi Electric Corp ENCODER AND VIDEO DECODER, VIDEO ENCODING AND DECODING METHOD

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088435A1 (ko) * 2017-11-02 2019-05-09 삼성전자 주식회사 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치

Also Published As

Publication number Publication date
US20150189276A1 (en) 2015-07-02
JPWO2014010583A1 (ja) 2016-06-23
JP5902814B2 (ja) 2016-04-13
WO2014010583A1 (ja) 2014-01-16
CN104718761A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
JP5902814B2 (ja) 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
JP7491985B2 (ja) 多視点信号コーデック
US20210127131A1 (en) Apparatus and method for encoding or decoding video
KR101648098B1 (ko) 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
WO2012131895A1 (ja) 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
KR20090039720A (ko) 적응적 참조 필터링을 위한 방법 및 장치
KR20180107687A (ko) 움직임벡터를 부호화 또는 복호화하기 위한 장치 및 방법
JP5894301B2 (ja) 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
KR20150135457A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP2015128252A (ja) 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体
US20160286212A1 (en) Video encoding apparatus and method, and video decoding apparatus and method
KR20070075354A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20150137081A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
Debono et al. Efficient depth-based coding
EP3301925A1 (en) Method for local inter-layer prediction intra based
US20150172694A1 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding program, moving picture decoding program, and recording media
JP6306883B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)