KR101648098B1 - 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 - Google Patents

영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 Download PDF

Info

Publication number
KR101648098B1
KR101648098B1 KR1020157005019A KR20157005019A KR101648098B1 KR 101648098 B1 KR101648098 B1 KR 101648098B1 KR 1020157005019 A KR1020157005019 A KR 1020157005019A KR 20157005019 A KR20157005019 A KR 20157005019A KR 101648098 B1 KR101648098 B1 KR 101648098B1
Authority
KR
South Korea
Prior art keywords
image
auxiliary
decoded
prediction residual
residual
Prior art date
Application number
KR1020157005019A
Other languages
English (en)
Other versions
KR20150038399A (ko
Inventor
시오리 스기모토
신야 시미즈
히데아키 기마타
아키라 고지마
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20150038399A publication Critical patent/KR20150038399A/ko
Application granted granted Critical
Publication of KR101648098B1 publication Critical patent/KR101648098B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H04N13/0048—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상의 부호 데이터를 복호할 때에 상기 영상을 구성하는 각 프레임을 복수의 영역으로 분할하고, 상기 영역마다 예측 복호를 행하는 경우에, 저해상도 예측 잔차로부터 임시로 화상을 복호한 가복호 화상을 생성하고, 그 복호값을 갱신함으로써 최종 복호 화상을 생성한다. 또한, 영상을 구성하는 각 프레임을 복수의 영역으로 분할하고, 상기 영역마다 예측 부호화를 행할 때에 고해상도 예측 잔차를 다운 샘플링하여 저해상도 예측 잔차를 생성하는 경우에, 상기 고해상도 예측 잔차 중에서 일부 화소만을 샘플링하는 서브 샘플링 처리에 의해 서브 샘플링 예측 잔차를 생성하고, 이를 상기 저해상도 예측 잔차로 한다.

Description

영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램{Video encoding method and device, video decoding method and device, and program therefor}
본 발명은 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치, 영상 부호화 프로그램 및 영상 복호 프로그램에 관한 것이다.
본원은 2012년 9월 25일에 출원된 특원 2012-211156호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
일반적인 영상 부호화에서는, 피사체의 공간적/시간적인 연속성을 이용하여 영상의 각 프레임을 처리 단위가 되는 블록으로 분할하고, 블록마다 그 영상 신호를 공간적/시간적으로 예측하며, 그 예측 방법을 나타내는 예측 정보와 예측 잔차를 부호화함으로써, 영상 신호 그 자체를 부호화하는 경우에 비해 대폭적인 부호화 효율의 향상을 도모한다.
RRU(Reduced Resolution Update)는, 예측 잔차의 변환·양자화 전에 화상의 적어도 일부의 예측 잔차의 해상도를 저하시킴으로써 한층 더 부호화 효율의 향상을 도모하는 것이다(예를 들어, 비특허문헌 1 참조). 예측을 고해상도 기준에서 행하고, 또한 저해상도의 예측 잔차에 대해 복호시에 업 샘플링 프로세스를 적용하기 때문에, 최종적인 화상은 고해상도로 재구성할 수 있다.
이 프로세스 결과, 객관적인 품질은 저하되지만 부호화 대상 비트의 감소에 의해 결과적으로 비트레이트가 향상된다. 또한, 주관 품질에 대한 영향은 객관 품질에 대한 영향과 비교하여 크지 않다.
이 기능은 ITU-T H.263 표준에 의해 서포트되어 있고, 시퀀스 내에 심한 동적 영역이 존재하는 경우에 특히 유효한 것이 알려져 있다. 이는, RRU 모드를 이용함으로써 인코더의 프레임 레이트를 높게 유지할 수 있고, 한편으로 정적 영역 등 예측 잔차의 분산이 적은 영역의 해상도와 품질을 양호하게 유지할 수 있기 때문이다.
그러나, 동적 영역 등 예측 잔차의 분산이 큰 영역의 품질은 예측 잔차의 업 샘플링 정밀도에 크게 영향을 받는 문제가 있다. 따라서, 이러한 문제점을 해소할 수 있는 RRU 영상 부호화 및 복호화를 위한 방법 및 장치를 가지는 것이 바람직하고 효과적이다.
여기서, 자유 시점 영상 부호화에 대해 설명한다. 자유 시점 영상이란, 대상 신(scene)을 다수의 촬상 장치를 이용하여 다양한 위치·각도에서 촬상함으로써 신의 광선 정보를 취득하고, 이를 원래대로 임의의 시점에서의 광선 정보를 복원함으로써 임의의 시점에서 본 영상을 생성하는 것이다.
신의 광선 정보는 다양한 데이터 형식에 따라 표현되는데, 가장 일반적인 형식으로서는 영상과 그 영상의 각 프레임에서의 뎁스 맵(depth map)이라고 불리는 깊이 화상(depth image)을 이용하는 방식이 있다(예를 들어, 비특허문헌 2 참조).
뎁스 맵이란, 카메라에서부터 피사체에 이르기까지의 거리(깊이·뎁스)를 화소마다 기술한 것으로, 피사체가 가지는 3차원 정보의 간단한 표현이다. 2개의 카메라로부터 동일한 피사체를 관측할 때, 피사체의 뎁스 값은 카메라 간의 시차의 역수에 비례하기 때문에, 뎁스 맵은 디스패리티 맵(disparity map: 시차 화상)이라고 불리기도 한다.
이에 대해, 뎁스 맵의 대응하는 카메라의 영상을 텍스처(texture)라고 부르기도 한다. 뎁스 맵은 화상의 각 화소에 대해 하나의 값을 가지는 표현이기 때문에, 그레이 스케일 화상이라고 간주하여 기술할 수 있다.
또한, 뎁스 맵의 시간적으로 연속된 기술인 뎁스 맵 영상(이하에서는 화상/영상의 구별 없이 뎁스 맵이라고 부름)은, 영상 신호와 마찬가지로 피사체의 공간적/시간적인 연속성으로부터 공간적·시간적 상관이 있다고 할 수 있다.
따라서, 통상의 영상 신호를 부호화하기 위해 이용되는 영상 부호화 방식에 의해, 공간적/시간적 용장성(spatial/temporal redundancy)을 제거하면서 뎁스 맵을 효율적으로 부호화하는 것이 가능하다.
일반적으로 텍스처와 뎁스 맵 사이에는 높은 상관이 있고, 그 때문에 자유 시점 영상 부호화와 같이 텍스처와 뎁스 맵을 함께 부호화하는 경우에는 양자 간의 상관을 이용하여 한층 더 부호화 효율을 향상시키는 것을 실현할 수 있다.
비특허문헌 3에서는, 양자의 부호화에 이용하는 예측 정보(블록 분할, 움직임 벡터, 참조 프레임)를 공통화함으로써 용장성을 배제하고 효율적인 부호화를 실현하고 있다.
비특허문헌 1: A.M.Tourapis, J.Boyce, "Reduced Resolution Update Mode for Advanced Video Coding", ITU-T Q6/SG16, document VCEG-V05, Munich, March 2004. 비특허문헌 2: Y.Mori, N.Fukusima, T.Fuji, and M.Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp.229-232, May 2008. 비특허문헌 3: I.Daribo, C.Tillier, and B.P.Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding," EURASIP Journal on Advances in Signal Processing, vol.2009, Article ID 258920, 13 pages, 2009.
종래의 RRU는, 블록 외의 어느 하나의 정보도 이용하지 않고 각 블록의 예측 잔차를 처리한다. 저해상도 예측 잔차는 고해상도 예측 잔차로부터 샘플의 상대적 위치에 기초한 다운 샘플링 보간(2차원 바이리니어(bi-linear) 보간 등)을 이용하여 계산된다. 복호화된 블록을 취득하기 위해서는, 그 저해상도 예측 잔차가 복호, 재구성, 업 샘플링 보간에 의해 고해상도 예측 잔차로서 복원되어 예측 화상에 가해진다.
도 15a, 15b는, 종래의 RRU에 대한 고해상도 예측 잔차 샘플에 대한 저해상도 예측 잔차 샘플의 공간 배치와 업 샘플링 보간을 행하기 위한 계산 예를 나타내는 도면이다.
이들 각 도면에서, 백색 원은 고해상도 예측 잔차 샘플의 배치를 나타내고, 빗금친 원은 저해상도 예측 잔차 샘플의 배치를 나타낸다. 또한, 각 원 내의 문자 a~e, A~D는 화소값의 예이며, 고해상도 예측 잔차 샘플의 화소값 a~e 각각이 주위의 저해상도 예측 잔차 샘플의 화소값 A~D로부터 어떻게 산출되는지를 도면 내에 나타내고 있다.
2개 이상의 잔차값이 서로 크게 다른 샘플을 포함하는 블록에서는, 이 업 샘플링에 따른 보간에 의해 재구성된 잔차의 정밀도가 떨어져 복호 화상의 품질을 저하시킨다. 또한, 일반적으로 블록 경계부의 업 샘플링에는 블록 내의 샘플만을 이용하고 다른 블록의 샘플은 참조하지 않는다. 이 때문에, 보간 정밀도에 따라서는 블록 경계부에 블록 왜곡(블록 경계 부근에 특유의 왜곡)이 발생하는 경우가 있다.
이러한 품질 저하나 왜곡을 회피하기 위해서는, 잔차의 업 샘플링 보간에 이용하는 보간 필터를 개선한다는 방법을 생각할 수 있지만, 다운 샘플링 보간에 의해 손실한 잔차 정보를 완전히 복원하는 것은 일반적으로는 어려운 문제이다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, RRU에서의 예측 잔차 업 샘플링에 의한 복호 화상의 품질 저하나 블록 왜곡을 회피하여 최종적으로 얻어지는 복호 화상을 전체 해상도나 좋은 품질로 재구성할 수 있는 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치, 영상 부호화 프로그램 및 영상 복호 프로그램을 제공하는 것을 목적으로 한다.
본 발명은, 영상의 부호 데이터를 복호할 때에 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 복호를 행하는 영상 복호 방법으로서, 저해상도 예측 잔차로부터 임시로 화상을 복호한 가복호 화상을 생성하는 가복호 단계와, 상기 가복호 화상의 복호값을 갱신함으로써 최종 복호 화상을 생성하는 복호 화상 생성 단계를 가지는 영상 복호 방법을 제공한다.
적합한 예에서는, 상기 저해상도 예측 잔차를 가지는(해당 잔차가 설정된) 화소를 보간 샘플링하는 보간 처리에 의해 보간 예측 잔차를 생성하는 보간 샘플링 단계를 더 가지며, 상기 가복호 단계에서는 상기 보간 예측 잔차에 기초하여 상기 가복호 화상을 생성하는 것을 특징으로 한다.
이 경우, 상기 보간 샘플링 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 보간 처리를 행하도록 해도 된다.
또한, 상기 복호 화상 생성 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 최종 복호 화상을 생성하도록 해도 된다.
다른 적합한 예에서는, 상기 저해상도 예측 잔차를 가지는 각 화소와 대응하는 상기 가복호 화상의 각 화소의 대응 위치 관계를 결정하는 잔차 대응 화소 결정 단계를 더 가지며, 상기 가복호 단계에서는 상기 대응 위치 관계에 기초하여 상기 가복호 화상의 화소 중에서 상기 저해상도 예측 잔차에 대응하는 화소가 있는 것을 복호함으로써 상기 가복호 화상을 생성하고, 상기 복호 화상 생성 단계에서는 상기 저해상도 예측 잔차의 각 화소와 대응하는 상기 가복호 화상의 각 화소의 복호값을 참조하여 그 밖의 화소의 복호값을 갱신함으로써 상기 최종 복호 화상을 생성하는 것을 특징으로 한다.
이 경우, 상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 미리 정해진 것으로 해도 된다.
또한, 상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 적응적으로 결정하도록 해도 된다.
이 경우, 상기 잔차 대응 화소 결정 단계에서는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 대응 위치 관계를 적응적으로 결정하도록 해도 된다.
또한, 상기 복호 화상 생성 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 최종 복호 화상을 생성하도록 해도 된다.
또한, 상기 저해상도 예측 잔차를 가지는 화소를 보간 샘플링하는 보간 처리에 의해 보간 예측 잔차를 생성하는 보간 샘플링 단계를 더 가지며, 상기 가복호 단계에서는 상기 대응 위치 관계에 기초하여 상기 가복호 화상의 화소 중에서 상기 저해상도 예측 잔차에 대응하는 화소가 있는 것을 복호하고, 대응하는 화소가 없는 것에 대해 상기 보간 예측 잔차에 기초하여 복호함으로써 상기 가복호 화상을 생성하며, 상기 복호 화상 생성 단계에서는 상기 저해상도 예측 잔차의 각 화소와 대응하는 상기 가복호 화상의 각 화소의 복호값을 참조하여 그 밖의 화소의 복호값을 갱신함으로써 상기 최종 복호 화상을 생성하도록 해도 된다.
이 경우, 상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 미리 정해진 것으로 해도 된다.
또한, 상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 적응적으로 결정하도록 해도 된다.
이 경우, 상기 잔차 대응 화소 결정 단계에서는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 대응 위치 관계를 적응적으로 결정하도록 해도 된다.
또한, 상기 복호 화상 생성 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 최종 복호 화상을 생성하도록 해도 된다.
전형적인 예로서, 상기 보조 정보는 상기 영상의 예측 화상이다.
다른 전형적인 예로서, 상기 보조 정보는 상기 영상이 복수의 성분으로 이루어지는 신호인 경우의 일부 성분이다.
다른 전형적인 예로서, 상기 보조 정보는 상기 영상과 상관이 있는 보조 영상인 것을 특징으로 한다.
이 경우, 상기 보조 영상은 상기 영상과 동일한 신을 대상으로 한 다른 영상이어도 된다.
또한, 상기 보조 영상은 상기 영상이 다시점 영상 중 하나의 시점 영상인 경우에서의 다른 시점 영상이어도 된다.
또한, 상기 보조 영상은 상기 영상에 대응하는 뎁스 맵이어도 된다.
또한, 상기 보조 영상은 상기 영상이 뎁스 맵인 경우에서의 대응하는 텍스처이어도 된다.
다른 전형적인 예로서, 상기 보조 정보는 상기 영상과 상관이 있는 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 생성되는 보조 영상 예측 화상이며, 상기 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 상기 보조 영상 예측 화상을 생성하는 보조 영상 예측 화상 생성 단계를 더 가지도록 해도 된다.
이 경우, 상기 보조 정보는 상기 보조 영상과 상기 보조 영상 예측 화상으로부터 생성되는 보조 영상 예측 잔차이며, 상기 보조 영상과 상기 보조 영상 예측 화상으로부터 상기 보조 영상 예측 잔차를 생성하는 보조 영상 예측 잔차 생성 단계를 더 가지도록 해도 된다.
다른 전형적인 예로서, 상기 부호 데이터를 역다중화하여 보조 정보 부호 데이터와 영상 부호 데이터로 분리하는 역다중화 단계와, 상기 보조 정보 부호 데이터를 복호하여 상기 보조 정보를 생성하는 보조 정보 복호 단계를 더 가지도록 해도 된다.
본 발명은 또한, 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 부호화를 행할 때에 고해상도 예측 잔차를 다운 샘플링하여 저해상도 예측 잔차를 생성하는 영상 부호화 방법으로서, 상기 고해상도 예측 잔차 중에서 일부 화소만을 샘플링하는 서브 샘플링 처리에 의해 서브 샘플링 예측 잔차를 생성하는 서브 샘플링 단계와, 상기 서브 샘플링 예측 잔차를 상기 저해상도 예측 잔차로 하는 잔차 다운 샘플링 단계를 가지는 영상 부호화 방법도 제공한다.
적합한 예에서는, 상기 서브 샘플링 단계에서는 상기 샘플링하는 화소를 미리 정해진 위치의 화소로 하는 것을 특징으로 한다.
다른 적합한 예에서는, 상기 서브 샘플링 단계에서는 상기 샘플링하는 화소를 적응적으로 결정하는 것을 특징으로 한다.
이 경우, 상기 서브 샘플링 단계에서는 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 샘플링하는 화소를 적응적으로 결정하도록 해도 된다.
다른 적합한 예에서는, 상기 고해상도 예측 잔차의 화소를 보간 샘플링하는 보간 처리에 의해 보간 예측 잔차를 생성하는 보간 샘플링 단계를 더 가지며, 상기 잔차 다운 샘플링 단계에서는 상기 서브 샘플링 예측 잔차와 상기 보간 예측 잔차로부터 상기 저해상도 예측 잔차를 생성하는 것을 특징으로 한다.
이 경우, 상기 잔차 다운 샘플링 단계에서는 상기 저해상도 예측 잔차의 미리 정해진 위치에 상기 서브 샘플링 예측 잔차를 적용시키고, 그 이외의 위치에서 상기 보간 예측 잔차를 적용시킴으로써 상기 저해상도 예측 잔차를 생성하도록 해도 된다.
또한, 상기 잔차 다운 샘플링 단계에서는 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 서브 샘플링 예측 잔차와 상기 보간 예측 잔차로부터 상기 저해상도 예측 잔차를 생성하도록 해도 된다.
전형적인 예로서, 상기 보조 정보는 상기 영상의 예측 화상이다.
다른 전형적인 예로서, 상기 보조 정보는 상기 영상이 복수의 성분으로 이루어지는 신호인 경우의 일부 성분이다.
다른 전형적인 예로서, 상기 보조 정보는 상기 영상과 상관이 있는 보조 영상이다.
이 경우, 상기 보조 영상은 상기 영상과 동일한 신을 대상으로 한 다른 영상이어도 된다.
또한, 상기 보조 영상은 상기 영상이 다시점 영상 중 하나의 시점 영상인 경우에서의 다른 시점 영상이어도 된다.
또한, 상기 보조 영상은 상기 영상에 대응하는 뎁스 맵이어도 된다.
또한, 상기 보조 영상은 상기 영상이 뎁스 맵인 경우에서의 대응하는 텍스처이어도 된다.
다른 전형적인 예로서, 상기 보조 정보는 상기 영상과 상관이 있는 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 생성되는 보조 영상 예측 화상이며, 상기 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 상기 보조 영상 예측 화상을 생성하는 보조 영상 예측 화상 생성 단계를 더 가지도록 해도 된다.
이 경우, 상기 보조 정보는 상기 보조 영상과 상기 보조 영상 예측 화상으로부터 생성되는 보조 영상 예측 잔차이며, 상기 보조 영상과 상기 보조 영상 예측 화상으로부터 상기 보조 영상 예측 잔차를 생성하는 보조 영상 예측 잔차 생성 단계를 더 가지도록 해도 된다.
다른 전형적인 예로서, 상기 보조 정보를 부호화한 보조 정보 부호 데이터를 생성하는 보조 정보 부호화 단계와, 상기 보조 정보 부호 데이터를 영상 부호 데이터와 다중화하여 부호 데이터를 생성하는 다중화 단계를 더 가지도록 해도 된다.
본 발명은 또한, 영상의 부호 데이터를 복호할 때에 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 복호를 행하는 영상 복호 장치로서, 저해상도 예측 잔차로부터 임시로 화상을 복호한 가복호 화상을 생성하는 가복호 수단과, 상기 가복호 화상의 복호값을 갱신함으로써 최종 복호 화상을 생성하는 복호 화상 생성 수단을 구비하는 영상 복호 장치도 제공한다.
본 발명은 또한, 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 부호화를 행할 때에 고해상도 예측 잔차를 다운 샘플링하여 저해상도 예측 잔차를 생성하는 영상 부호화 장치로서, 상기 고해상도 예측 잔차 중에서 일부 화소만을 샘플링하는 서브 샘플링 처리에 의해 서브 샘플링 예측 잔차를 생성하는 서브 샘플링 수단과, 상기 서브 샘플링 예측 잔차를 상기 저해상도 예측 잔차로 하는 잔차 다운 샘플링 수단을 구비하는 영상 부호화 장치도 제공한다.
본 발명은, 컴퓨터에 상기 영상 복호 방법을 실행시키기 위한 영상 복호 프로그램도 제공한다.
본 발명은, 컴퓨터에 상기 영상 부호화 방법을 실행시키기 위한 영상 부호화 프로그램도 제공한다.
본 발명은, 상기 영상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체도 제공한다.
본 발명은, 상기 영상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체도 제공한다.
본 발명에 의하면, RRU에서의 예측 잔차 업 샘플링에 의한 복호 화상의 품질 저하나 블록 왜곡을 회피하여 최종 복호 화상을 전체 해상도나 좋은 품질로 재구성할 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 제1 실시형태에 의한 영상 부호화 장치(100)의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 영상 부호화 장치(100)의 동작을 나타내는 흐름도이다.
도 3은 본 발명의 제1 실시형태에 의한 영상 복호 장치(200)의 구성을 나타내는 블록도이다.
도 4는 도 3에 도시된 영상 복호 장치(200)의 동작을 나타내는 흐름도이다.
도 5는 본 발명의 제2 실시형태에 의한 영상 부호화 장치(100a)의 구성을 나타내는 블록도이다.
도 6은 도 5에 도시된 영상 부호화 장치(100a)의 동작을 나타내는 흐름도이다.
도 7은 본 발명의 제2 실시형태에 의한 영상 복호 장치(200a)의 구성을 나타내는 블록도이다.
도 8은 도 7에 도시된 영상 복호 장치(200a)의 동작을 나타내는 흐름도이다.
도 9는 본 발명의 제3 실시형태에 의한 영상 부호화 장치(100b)의 구성을 나타내는 블록도이다.
도 10은 도 9에 도시된 영상 부호화 장치(100b)의 동작을 나타내는 흐름도이다.
도 11은 본 발명의 제3 실시형태에 의한 영상 복호 장치(200b)의 구성을 나타내는 블록도이다.
도 12는 도 11에 도시된 영상 복호 장치(200b)의 동작을 나타내는 흐름도이다.
도 13은 영상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어도이다.
도 14는 영상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어도이다.
도 15a는 종래의 RRU에 대한 고해상도 예측 잔차 샘플에 대한 저해상도 예측 잔차 샘플의 공간 배치와 업 샘플링 보간을 행하기 위한 계산 예를 나타내는 도면이다.
도 15b는 종래의 RRU에 대한 고해상도 예측 잔차 샘플에 대한 저해상도 예측 잔차 샘플의 공간 배치와 업 샘플링 보간을 행하기 위한 다른 계산 예를 나타내는 도면이다.
<제1 실시형태>
이하, 도면을 참조하여 본 발명의 제1 실시형태에 의한 영상 부호화 장치 및 영상 복호 장치를 설명한다.
처음에 영상 부호화 장치에 대해 설명한다. 도 1은 이 실시형태에 의한 영상 부호화 장치의 구성을 나타내는 블록도이다.
영상 부호화 장치(100)는, 도 1에 도시된 바와 같이 부호화 대상 영상 입력부(101), 입력 프레임 메모리(102), 예측부(103), 감산부(104), 잔차 다운 샘플부(105), 변환·양자화부(106), 역양자화·역변환부(107), 가복호부(108), 업데이트부(109), 루프 필터부(110), 참조 프레임 메모리(111) 및 엔트로피 부호화부(112)를 구비하고 있다.
부호화 대상 영상 입력부(101)는, 부호화 대상이 되는 영상을 영상 부호화 장치(100)에 입력한다. 이하에서는 이 부호화 대상이 되는 영상을 부호화 대상 영상이라고 부르고, 특히 처리를 행하는 프레임을 부호화 대상 프레임 또는 부호화 대상 화상이라고 부른다.
입력 프레임 메모리(102)는, 입력한 부호화 대상 영상을 기억한다.
예측부(103)는, 입력 프레임 메모리(102)에 기억된 부호화 대상 화상에 대해 예측 처리를 행하여 고해상도 예측 화상을 생성한다.
감산부(104)는, 입력 프레임 메모리(102)에 기억된 부호화 대상 화상과 예측부(103)가 생성한 고해상도 예측 화상의 차분값을 취하여 고해상도 예측 잔차를 생성한다.
잔차 다운 샘플부(105)는, 생성한 고해상도 예측 잔차를 다운 샘플링하여 저해상도 예측 잔차를 생성한다.
변환·양자화부(106)는, 생성된 저해상도 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다.
역양자화·역변환부(107)는, 생성된 양자화 데이터를 역양자화·역변환하여 복호 저해상도 예측 잔차를 생성한다.
가복호부(108)는, 예측부(103)가 출력한 고해상도 예측 화상과 역양자화·역변환부(107)가 출력한 복호 저해상도 예측 잔차로부터 가복호 화상을 생성한다.
업데이트부(109)는, 가복호 화상을 업데이트하여 고해상도 복호 화상을 생성한다.
루프 필터부(110)는, 생성된 고해상도 복호 화상(복호 프레임)에 루프 필터를 걸어 참조 프레임을 생성한다.
참조 프레임 메모리(111)는, 루프 필터부(110)가 생성한 참조 프레임을 기억한다.
엔트로피 부호화부(112)는, 양자화 데이터와 예측 정보를 엔트로피 부호화하여 부호 데이터(또는 부호화 데이터)를 생성하여 출력한다.
다음에, 도 2를 참조하여, 도 1에 도시된 영상 부호화 장치(100)의 동작을 설명한다. 도 2는 도 1에 도시된 영상 부호화 장치(100)의 동작을 나타내는 흐름도이다.
여기서는 부호화 대상 영상 중의 임의의 하나의 프레임을 부호화하는 처리에 대해 설명한다. 이 처리를 프레임마다 반복함으로써 영상(동화상)을 부호화할 수 있다.
우선, 부호화 대상 영상 입력부(101)는 부호화 대상 프레임을 영상 부호화 장치(100)에 입력하고, 입력 프레임 메모리(102)에 기억한다(단계 S1). 또, 부호화 대상 영상 중의 몇 개의 프레임은 이미 부호화되어 있는 것으로 하고, 그 복호 프레임이 참조 프레임 메모리(111)에 기억되어 있는 것으로 한다.
영상 입력 후, 부호화 대상 프레임을 부호화 대상 블록으로 분할하고, 블록마다 부호화 대상 프레임의 영상 신호를 부호화하는 루틴을 행한다(단계 S2). 즉, 이하의 단계 S3~S10까지의 처리를 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
부호화 대상 블록마다 반복되는 처리에서는, 우선, 예측부(103)가 부호화 대상 프레임 및 참조 프레임을 이용하여 어느 하나의 예측 처리를 행하여 예측 화상을 생성한다(단계 S3). 이하에서는, 이 예측 화상을 구별을 위해 고해상도 예측 화상이라고 부른다.
예측 방법은 복호 측에서 예측 정보 등을 사용하여 올바르게 고해상도 예측 화상을 생성할 수 있다면 어떠한 방법이라도 상관없다. 일반적인 영상 부호화에서는 화면 내 예측이나 움직임 보상 등의 예측 방법을 이용한다. 또한, 일반적으로는 이때 이용하는 예측 정보를 부호화하여 영상 부호 데이터와 다중화하지만, 특히 예측 정보를 이용하지 않고 예측을 행할 수 있다면 이 다중화는 행하지 않아도 상관없다.
다음에, 감산부(104)는 고해상도 예측 화상과 부호화 대상 화상의 차분을 취하여 예측 잔차를 생성한다(단계 S4). 이하에서는, 이 예측 잔차를 구별을 위해 고해상도 예측 잔차라고 부른다.
고해상도 예측 잔차의 생성이 종료되면, 잔차 다운 샘플부(105)는 고해상도 예측 잔차의 다운 샘플링을 실행하여 저해상도 예측 잔차를 생성한다(단계 S5). 이때의 다운 샘플링 방법은 어떠한 방법을 이용해도 상관없다.
여기서, 종래의 RRU가 안고 있는 문제 중 하나인 잔차값의 평균화에 의한 손실을 회피하는 다운 샘플링 방법과 대응하는 복호 화상 업데이트 방법에 대해 설명한다.
간결하게 하기 위해, 가로세로 1/n 씩 다운 샘플링하는 경우, 고해상도 잔차의 n×n 화소의 세트에 대해 어떠한 처리를 행하여 저해상도 잔차의 화소를 하나 구하는 것으로 한다.
일반적인 RRU에서는 세트의 잔차의 평균을 취하는 등 어떠한 다운 샘플링 보간에 의한 보간값을 저해상도 잔차의 값으로서 가지며, 복호시에는 이 보간값을 n×n으로 업 샘플링 보간하여 각각의 화소의 잔차값으로 함으로써 고해상도 잔차를 생성하고, 예측 화상과 합산함으로써 복호 화상을 얻는다.
이 경우, 전체적으로 예측이 맞는 세트에서는 잔차의 분산이 적어 보간값을 이용하는 것에 의한 영향은 적다.
한편, 일부 예측이 어긋난 세트에서는 잔차의 분산이 커서 보간값을 이용함으로써 전체적으로 오차가 발생하게 된다.
이에 대해, 예를 들어 고해상도 예측 잔차의 특정 위치의 잔차를 남기는 서브 샘플 처리에 의해 저해상도 예측 잔차를 생성함으로써, 후술하는 가복호 시점에서 특정 위치에서는 올바른 복호 화상을 얻을 수 있다. 이 방법에서는, 이 특정 위치의 올바른 복호 화소값을 참조하여 주변 복호 화소의 복호값의 업데이트를 행할 수 있다. 자세한 업데이트 방법은 후술한다.
서브 샘플 위치(예측 잔차가 남는 위치)는 미리 정해진 위치라도 상관없고, 복호시에 특정 가능하면 적응적으로 결정해도 상관없다.
예를 들어, n×n 내의 좌측 위나 우측 아래 등 정해진 위치의 화소를 서브 샘플하는 경우도 생각할 수 있고, n×n 세트마다 다른 위치의 화소를 서브 샘플하는 경우도 생각할 수 있다.
혹은, n×n 세트마다 가장 예측이 어긋난 화소, 즉 잔차 최대의 화소만을 서브 샘플하는 방법 등도 적용할 수 있다. 이 경우, 복호 측에서 잔차 최대가 될 수 있는 위치를 추정해도 상관없고, 후술하는 방법과 조합하여 서브 샘플 위치를 결정해도 상관없다.
또한, 고해상도 예측 화상이나 그 밖의 정보를 참조하여 서브 샘플 위치를 결정해도 상관없다.
구체적으로는, 고해상도 예측 화상을 참조하여 처리 영역 내의 잔차가 집중되는 영역을 추정하고, 그 영역 중심으로 서브 샘플 위치를 결정하는 방법 등을 적용할 수 있다. 이 경우, 예측 화상에서의 윤곽부에 잔차가 집중된다고 가정하여 예측 화상의 윤곽 주변을 서브 샘플해도 되고, 다른 추정 방법이라도 상관없다.
또는, 잔차의 분산이 큰 영역에서는 서브 샘플 위치가 드문드문한 경우에 손실이 커질 가능성이 있다고 하여 잔차의 분산이 큰 영역을 추정하고, 그 영역에서 조밀하게 서브 샘플되도록 서브 샘플 위치를 결정한다는 방법도 적용할 수 있다.
이 경우, 예를 들어 전술한 예와 같이 예측 화상의 특징에 따라 영역을 추정해도 상관없고, 혹은 처리 영역마다 미리 정해진 수만큼은 미리 정해진 위치에서 서브 샘플을 행하고, 그 후에 그 서브 샘플된 잔차값의 분산을 취하여 분산이 크다고 보이는 영역에서 더욱 조밀하게 서브 샘플되도록 추가의 서브 샘플 위치를 결정한다는 방법도 적용할 수 있다.
또한, 상기 방법을 조합해도 상관없다.
예를 들어, 예측 화상의 윤곽부 주변에서 미리 정해진 수만큼 서브 샘플을 행하고, 그 후에 그 서브 샘플된 잔차값의 분산을 취하여 분산이 크다고 보이는 영역에서 더욱 조밀하게 서브 샘플되도록 추가의 서브 샘플 위치를 결정한다는 방법도 적용할 수 있다.
또한, 서브 샘플 위치를 부호화하여 부호 데이터에 포함해도 상관없고, 처리 영역마다의 서브 샘플 위치 패턴을 미리 정해도 상관없고, 그 패턴의 식별 정보를 부호화하여 부호 데이터에 포함해도 상관없다.
또 다른 방법으로서, 생성되는 저해상도 예측 잔차의 일부 위치의 화소에 대해서는 고해상도 예측 잔차의 잔차값을 서브 샘플함으로써 생성하고, 다른 위치의 화소에 대해서는 고해상도 예측 잔차의 복수의 잔차값(잔차값 세트)으로부터 보간에 의해 생성하는 방법 등을 적용할 수 있다.
여기서, 세트 내의 화소의 잔차값이 모두 임의의 문턱값 이하인 경우에는, 세트 내의 화소의 잔차값을 보간하여 저해상도 예측 잔차로 하는 등의 방법을 적용할 수 있다. 이 경우, 복호 측에서 저해상도 예측 잔차의 잔차값이 문턱값 이하인 경우에는, 세트 내의 모든 화소에 이 문턱값의 잔차를 대응시킨다는 복호 방법 등이 가능하다.
이때의 가복호와 복호 화상 업데이트는 어떠한 방법을 이용해도 상관없다. 자세한 가복호 방법과 업데이트 방법은 후술한다.
다음에, 변환·양자화부(106)는 저해상도 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다(단계 S6). 이 변환·양자화는 복호 측에서 올바르게 역양자화·역변환할 수 있는 것이면 어떠한 방법을 이용해도 상관없다.
이어서, 변환·양자화가 종료되면, 역양자화·역변환부(107)는 양자화 데이터를 역양자화·역변환하여 복호 저해상도 예측 잔차를 생성한다(단계 S7).
다음에, 가복호부(108)는 상기 단계 S3에서 생성된 고해상도 예측 화상과 상기 단계 S7에서 생성된 복호 저해상도 예측 잔차로부터 가복호 화상을 생성한다(단계 S8).
가복호 화상의 생성은 어떠한 방법을 이용해도 상관없다.
예를 들어, 복호 저해상도 예측 잔차의 각 화소와 이에 대응하는 고해상도 예측 화상의 화소를 합산함으로써 생성하는 방법을 적용할 수 있다. 이 경우의 대응 관계는 1 대 1이라도 상관없고, 1 대 다라도 상관없다.
예를 들어, 고해상도 예측 잔차의 서브 샘플에 의해 생성된 잔차값은 서브 샘플 위치의 화소와 1 대 1 대응한다고 해도 되고, 동일한 세트의 다른 화소에도 대응한다고 해도 된다. 혹은, 고해상도 예측 잔차의 보간에 의해 생성된 잔차값은 보간에 이용한 화소 모두에 대응한다고 해도 된다. 그 밖에 어떠한 대응 관계라도 상관없다.
또한, 2종류 이상의 대응 관계의 종류가 혼재하는 경우도 적용할 수 있다.
예를 들어, 전술한 바와 같이 저해상도 예측 잔차의 화소 중에서 일부 화소에 대해서는 서브 샘플 처리에 의해 잔차값을 결정하고, 다른 화소에 대해서는 보간에 의해 잔차값을 결정하는 경우 등을 생각할 수 있다.
또한, 이 대응 관계를 미리 정해진 대응 관계로서 결정해도 상관없고, 전술한 바와 같이 고해상도 예측 화상이나 그 밖의 정보를 참조하여 결정해도 상관없다. 혹은, 부호화된 대응 관계를 나타내는 정보에 기초하여 결정해도 상관없다.
또한, 생성되는 가복호 화상에서 대응하는 저해상도 예측 잔차의 화소를 가지지 않는 가복호 화소의 가복호값은 예측값을 사용해도 상관없고, 혹은 저해상도 예측 잔차와 대응하는 화소의 가복호값을 보간하여 생성해도 상관없고, 특히 가복호값을 마련하지 않아도 상관없다.
혹은, 저해상도 예측 잔차로부터 업 샘플 보간에 의해 고해상도 예측 잔차를 생성하고, 고해상도 예측 화상과 합산함으로써 가복호 화상을 생성해도 상관없다.
또한, 가복호에서는 저해상도 예측 잔차의 일부 화소만을 사용하여 가복호를 행해도 상관없다. 예를 들어 서브 샘플 잔차값의 대응하는 화소에 대해서만 복호를 행하고, 복호 화상 업데이트에서는 보간되는 잔차값을 참조하면서 나머지 모든 화소에 대해 업데이트를 행한다는 방법을 적용할 수 있다.
다음에, 가복호가 종료되면, 업데이트부(109)는 가복호 화상의 가복호값의 업데이트(갱신)를 행하여 고해상도 복호 화상을 생성한다. 또한, 루프 필터부(110)는 루프 필터를 걸어 참조 프레임의 블록으로서 참조 프레임 메모리(111)에 기억한다(단계 S9). 업데이트 방법은 어떠한 방법을 이용해도 상관없다.
여기서는, 다운 샘플에서 예측 잔차값을 서브 샘플하여 부호화한 경우의 가복호에 있어서 일부 화소에 대해서는 올바른 복호값이 얻어지는 경우의 업데이트 방법을 설명한다. 또한, 이 가복호에서 올바른 복호값이 얻어지는 화소를 기복호 화소라고 부르고, 이 화소에 대해서는 갱신을 행하지 않는 것으로 한다. 또한, 이때 기복호 화소 이외의 화소를 가복호 화소라고 부른다.
가장 단순한 방법으로는, 단지 기복호 화소의 보간에 의해 가복호 화소의 복호값을 결정하는 방법을 적용할 수 있다.
또한, 예를 들어 이 기복호 화소의 보간값을 제1 가복호값으로 하고, 기복호 화소의 잔차값(복호 저해상도 예측 잔차)의 보간값을 가복호 화소의 예측값과 합산한 것을 제2 가복호값으로 하며, 양자를 비교하여 그럴듯한 것을 선택한다는 방법도 적용할 수 있다.
선택은 어떻게 행해도 상관없다. 예를 들어 잔차의 평균화에 의한 손실로서 자주 볼 수 있는 잡음이 발생하는 부분에서는 제1 가복호값을 선택하는 등의 방법을 적용할 수 있다.
또한, 선택시에 고해상도 예측 화상이나 그 밖의 정보를 사용해도 상관없다.
고해상도 예측 화상을 참조하면서 가복호 화소의 그럴듯한 복호값을 결정하는 것과 같은 방법은 다양한 것을 적용할 수 있다.
예를 들어, 인접하는 기복호 화소끼리의 잔차값의 차분이 커서 잔차 보간이나 복호값 보간에 의해 복호값을 결정하면 평균화에 따른 손실이 현저한 경우에, 가복호 화소와 주위의 인접 기복호 화소의 예측값 거리(예측값 차이)를 비교하여 가까운 쪽(차이가 적은 쪽)의 인접 기복호 화소의 잔차나 복호값에 기초하여 가복호 화소의 복호값을 결정한다는 방법도 적용할 수 있다.
혹은, 예측값 거리에 따른 가중치에 의해 복호값을 결정해도 상관없다. 혹은, 인접보다 더 넓은 범위에서 추측을 행해도 상관없다.
또한, 다운 샘플에 있어서 서브 샘플 위치를 고해상도 예측 화상을 참조하여 적응적으로 결정하고 있는 경우에서, 고해상도 예측 화상의 윤곽 부분 등에서 샘플링 밀도를 높게 취하고 있는 경우에 상기 방법이나 그 밖의 방법으로 주변의 기복호 화소를 참조하여 업데이트를 행하고, 샘플링 밀도가 낮은 부분에서는 대표의 기복호 화소를 참조하여 업데이트를 행하는 등의 방법을 적용할 수 있다. 대표 화소는 미리 정해진 위치의 화소라도 상관없고, 적응적으로 결정해도 상관없다.
예를 들어, 업데이트 대상의 가복호 화소와 가장 거리가 가까운 기복호 화소를 참조해도 상관없고, 가복호 화소의 값으로부터 참조해야 할 기복호 화소를 결정해도 상관없다. 그 밖에도 서브 샘플 위치의 결정 방법에 따라 다양한 업데이트 방법을 적용할 수 있다.
나아가 다운 샘플에 있어서 일부의 예측 잔차값을 서브 샘플하고, 일부의 예측 잔차값을 보간하여 부호화한 경우 등에는, 예를 들어 업데이트 대상의 가복호 화소의 가복호값이 보간 잔차에 기초하여 주어지고, 서브 샘플 잔차에 기초하여 기복호 화소가 주어질 때, 가복호값과 주변의 기복호 화소로부터 상기 방법이나 그 밖의 방법으로 구해지는 값을 비교하여 그럴듯한 쪽을 선택하는 방법 등도 적용할 수 있다.
그 밖에도 서브 샘플과 보간의 조합 방법 등에 따라 다양한 업데이트 방법을 적용할 수 있다.
상기 예에서는 예측값이나 잔차값이나 가복호값 등을 이용하여 추정을 행하고 있지만, 그 밖에 영상 부호 데이터에 포함되는 어떤 참조 가능한 값을 이용해도 상관없다.
예를 들어, 움직임 보상이나 시차 보상에 의해 예측을 행하고 있는 경우에 움직임 벡터나 시차 벡터를 이용하는 경우 등을 생각할 수 있다. 혹은 YCbCr의 휘도 성분에 대해 RRU를 실시하는 경우에 색차 성분을 참조하여 복호를 행해도 상관없고, 반대로도 상관없다.
이상은 복호 화상 업데이트 방법의 예이지만, 모두 상기 예에 한정되는 것은 아니고, 그 밖에 임의의 방법을 이용할 수 있다.
루프 필터는 필요가 없으면 특별히 걸지 않아도 상관없지만, 통상의 영상 부호화에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다. 혹은 RRU에 의한 열화를 제거하기 위한 필터를 사용해도 된다. 또한, 이 루프 필터를 복호 화상 업데이트와 마찬가지로 또는 동시에 적응적으로 생성해도 된다.
다음에, 엔트로피 부호화부(112)는 양자화 데이터를 엔트로피 부호화하여 부호 데이터를 생성한다(단계 S10). 필요하면 예측 정보나 그 밖의 부가 정보도 부호화하여 부호 데이터에 포함시켜도 상관없다.
모든 블록에 대해 처리가 종료되면(단계 S11), 부호 데이터를 출력한다.
다음에, 영상 복호 장치에 대해 설명한다. 도 3은, 본 발명의 제1 실시형태에 의한 영상 복호 장치의 구성을 나타내는 블록도이다.
영상 복호 장치(200)는, 도 3에 도시된 바와 같이 부호 데이터 입력부(201), 부호 데이터 메모리(202), 엔트로피 복호부(203), 역양자화·역변환부(204), 예측부(205), 가복호부(206), 업데이트부(207), 루프 필터부(208) 및 참조 프레임 메모리(209)를 구비하고 있다.
부호 데이터 입력부(201)는, 복호 대상이 되는 영상 부호 데이터를 영상 복호 장치(200)에 입력한다. 이 복호 대상이 되는 영상 부호 데이터를 복호 대상 영상 부호 데이터라고 부르고, 특히 처리를 행하는 프레임을 복호 대상 프레임 또는 복호 대상 화상이라고 부른다.
부호 데이터 메모리(202)는, 입력한 복호 대상 영상 부호 데이터를 기억한다.
엔트로피 복호부(203)는, 복호 대상 프레임의 부호 데이터를 엔트로피 복호하여 양자화 데이터를 생성한다.
역양자화·역변환부(204)는, 그 양자화 데이터에 역양자화/역변환을 실시하여 복호 저해상도 예측 잔차를 생성한다.
예측부(205)는, 복호 대상 화상에 대해 예측 처리를 행하여 고해상도 예측 화상을 생성한다.
가복호부(206)는, 역양자화·역변환부(204)에서 생성된 복호 저해상도 예측 잔차와 예측부(205)에서 생성된 고해상도 예측 화상을 합산하여 가복호 화상을 생성한다.
이때, 상기와 같이 적응적으로 서브 샘플 위치를 결정하고 있는 경우에는, 여기서도 동일한 방법을 이용하여 저해상도 예측 잔차의 고해상도에서의 대응 위치를 결정해도 상관없다.
업데이트부(207)는, 예측부(205)가 출력하는 고해상도 예측 화상으로부터(수법에 따라서는 복호 저해상도 예측 잔차도 사용) 가복호 화상의 미복호 화소를 업데이트하여 고해상도 복호 화상을 생성한다.
루프 필터부(208)는, 생성된 복호 프레임(고해상도 복호 화상)에 루프 필터를 걸어 참조 프레임을 생성한다.
참조 프레임 메모리(209)는, 생성된 참조 프레임을 기억한다.
다음에, 도 4를 참조하여, 도 3에 도시된 영상 복호 장치(200)의 동작을 설명한다. 도 4는, 도 3에 도시된 영상 복호 장치(200)의 동작을 나타내는 흐름도이다.
여기서는 부호 데이터 중의 임의의 하나의 프레임을 복호하는 처리에 대해 설명한다. 설명하는 처리를 프레임마다 반복함으로써 영상의 복호를 실현할 수 있다.
우선, 부호 데이터 입력부(201)는 부호 데이터를 입력하고, 부호 데이터 메모리(202)에 기억한다(단계 S21). 또, 복호 대상 영상 중의 몇 개의 프레임은 이미 복호되어 있는 것으로 하고, 참조 프레임 메모리(209)에 기억되어 있는 것으로 한다.
다음에, 복호 대상 프레임을 대상 블록으로 분할하고, 블록마다 복호 대상 프레임의 영상 신호를 복호하는 루틴을 행한다(단계 S22). 즉, 이하의 단계 S23~S27까지의 처리를 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
복호 대상 블록마다 반복되는 처리에서는, 우선, 엔트로피 복호부(203)는 부호 데이터를 엔트로피 복호하고, 역양자화·역변환부(204)에서 역양자화·역변환을 행하여 복호 저해상도 예측 잔차를 생성한다(단계 S23).
예측 정보나 그 밖의 부가 정보가 부호 데이터에 포함되는 경우는, 이들도 복호하여 적절히 필요한 정보를 생성해도 상관없다.
다음에, 예측부(205)는 복호 대상 블록 및 참조 블록(혹은 참조 프레임)을 이용하여 예측 처리를 행하여 고해상도 예측 화상을 생성한다(단계 S24).
일반적인 영상 부호화에서는 화면 내 예측이나 움직임 보상 등의 예측 방법을 이용하고, 이때 이용하는 예측 정보가 영상 부호 데이터와 다중화되어 있지만, 특별히 예측 정보를 이용하지 않고 예측을 행할 수 있다면 이러한 예측 정보는 없어도 상관없다.
다음에, 가복호부(206)는 상기 단계 S24에서 생성된 고해상도 예측 화상에 상기 단계 S23에서 생성된 복호 저해상도 예측 잔차의 대응하는 화소를 합산하여 가복호 화상을 생성한다(단계 S25).
복호 대상의 부호 데이터가 서브 샘플 위치의 적응적인 결정을 실시하고 있는 것인 경우에는, 여기서도 서브 샘플 위치의 적응적인 결정을 실시해도 상관없다.
다음에, 가복호가 종료되면, 업데이트부(207)는 가복호 화상과 고해상도 예측 화상(수법에 따라서는 복호 저해상도 예측 잔차도)을 이용하여 가복호 화상의 가복호 화소의 업데이트를 행하여 고해상도 복호 화상을 생성한다. 그리고, 루프 필터부(208)는 생성된 고해상도 복호 화상에 루프 필터를 걸어 그 출력을 참조 블록으로서 참조 프레임 메모리(209)에 기억한다(단계 S26).
가복호 방법과 업데이트 방법은 어떠한 방법을 이용해도 상관없다.
단, 이 방법과 영상 부호화 장치에서 사용한 다운 샘플링 방법을 서로 대응시킴으로써 더 높은 복호 성능을 얻는 것이 가능하다.
다운 샘플링 방법과 대응하는 복호 화상 업데이트 방법은 전술한 바와 같다.
루프 필터는 필요가 없으면 특별히 걸지 않아도 상관없지만, 통상의 영상 부호화에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다. 혹은 RRU에 의한 열화를 제거하기 위한 필터를 사용해도 된다. 또한, 이 루프 필터를 복호 화상 업데이트와 마찬가지로 또는 동시에 적응적으로 생성해도 된다.
마지막으로 모든 블록에 대해 처리가 종료되면(단계 S27), 복호 프레임으로서 출력한다.
또, 도 2, 도 4에 도시된 처리 동작은 그 순서가 전후해도 상관없다.
<제2 실시형태>
다음에, 본 발명의 제2 실시형태에 의한 영상 부호화 장치 및 영상 복호 장치를 설명한다. 도 5는, 본 발명의 제2 실시형태에 의한 영상 부호화 장치(100a)의 구성을 나타내는 블록도이다. 도 5에서, 도 1에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 5에 도시된 장치가 도 1에 도시된 장치와 다른 점은, 도 5에 도시된 바와 같이 보조 영상 입력부(113)와 보조 프레임 메모리(114)를 새로 구비하고 있는 점이다.
보조 영상 입력부(113)는, 복호 화상 업데이트에 이용하는 참조용 영상을 영상 부호화 장치(100a)에 입력한다. 이하에서는, 이 참조용 영상을 보조 영상이라고 부르고, 특히 처리에 이용하는 프레임을 보조 프레임 또는 보조 화상이라고 부른다.
보조 프레임 메모리(114)는, 입력된 보조 영상을 기억한다.
다음에, 도 6을 참조하여, 도 6에 도시된 영상 부호화 장치(100a)의 동작을 설명한다. 도 6은, 도 5에 도시된 영상 부호화 장치(100a)의 동작을 나타내는 흐름도이다.
도 6은, 외부로부터 부호화 대상 영상과 상관이 있는 보조 영상을 입력하여 복호 영상 업데이트에 이용하는 경우의 처리를 나타내고 있다. 도 6에서, 도 2에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 부호화 대상 영상 입력부(101)는 부호화 대상 영상의 프레임을 영상 부호화 장치(100a)에 입력하고, 입력한 프레임 메모리(102)에 기억한다. 이와 병행하여, 보조 영상 입력부(113)는 보조 영상 프레임을 영상 부호화 장치(100a)에 입력하고, 보조 프레임 메모리(114)에 기억한다(단계 S1a).
또, 부호화 대상 영상 중의 몇 개의 프레임은 이미 부호화되어 있는 것으로 하고, 그 복호 프레임이 참조 프레임 메모리(111)에, 대응하는 보조 영상이 보조 프레임 메모리(114)에 기억되어 있는 것으로 한다.
또한, 여기서는 입력된 부호화 대상 프레임이 순차적으로 부호화되는 것으로 하고 있지만, 입력 순서와 부호화 순서는 반드시 일치할 필요는 없다. 입력 순서와 부호화 순서가 다른 경우에는, 다음에 부호화할 프레임이 입력될 때까지 입력된 프레임은 입력 프레임 메모리(102)에 기억된다.
입력 프레임 메모리(102)에 기억된 부호화 대상 프레임은 이하에서 설명하는 부호화 처리에 의해 부호화되면, 입력 프레임 메모리(102)로부터 삭제해도 상관없다. 그러나, 보조 프레임 메모리(114)에 기억된 보조 영상 프레임은 대응하는 부호화 대상 프레임의 복호 프레임이 참조 프레임 메모리(111)로부터 삭제될 때까지 기억해 두어도 상관없다.
또, 단계 S1a에서 입력되는 보조 영상은 부호화 대상 영상과 상관이 있는 것이면 어떠한 것이어도 상관없다.
예를 들어, 부호화 대상 영상이 다시점 영상 중 하나의 시점 영상인 경우, 다른 시점의 영상을 보조 영상으로서 이용할 수 있다.
또는, 부호화 대상 영상에 대응하는 뎁스 맵이 존재하는 경우에 뎁스 맵을 보조 영상으로 해도 되고, 부호화 대상 영상이 뎁스 맵(형식의 정보)인 경우에는 대응하는 텍스처를 보조 영상으로 해도 상관없다.
또한, 단계 S1a에서 입력되는 보조 영상은 복호 측에서 얻어지는 보조 영상과는 다른 것이어도 상관없지만, 복호 측에서 얻어지는 보조 영상과 같은 것을 이용함으로써 복호 품질을 높이는 것도 가능하다.
예를 들어, 보조 영상을 부호화하여 영상과 함께 부호 데이터로 하는 것과 같은 경우에는, 보조 영상은 부호화·복호를 거친 것을 이용함으로써 보조 영상의 부호화 잡음에 의한 복호 에러를 회피할 수 있다.
그 밖에 복호 측에서 얻어지는 보조 영상의 예로서는, 예를 들어 부호화 대상 프레임과는 다른 프레임에 대응한 부호화 완료된 다른 시점의 영상을 복호한 것으로부터 부호화 대상 프레임과 동일한 프레임의 영상을 움직임 보상 예측 등에 의해 합성한 것 등이 있다.
혹은, 다른 시점의 영상에 대응하는 부호화 완료된 뎁스 맵을 복호한 것으로부터 부호화 대상 영상에 대응하는 뎁스 맵을 가상 시점 합성 등에 의해 합성한 것이나, 다른 시점 영상의 부호화 완료된 화상군을 복호한 것으로부터 스테레오 매칭 등에 의해 추정한 뎁스 맵 등이 있다.
이하, 단계 S2에서부터 S4에 이르기까지는 도 2에 도시된 처리 동작과 마찬가지로 실행한다.
고해상도 예측 잔차의 생성이 종료되면, 잔차 다운 샘플부(105)는 고해상도 예측 잔차의 다운 샘플링을 실행하여 저해상도 예측 잔차를 생성한다(단계 S5a). 이때의 다운 샘플링 방법은 어떠한 방법을 이용해도 상관없고, 제1 실시형태에서 나타낸 것과 동일한 방법이라도 상관없다.
예를 들어, 미리 정해진 위치의 화소를 서브 샘플링하는 등이다. 단, 보조 영상을 참조하여 적응적으로 다운 샘플링을 행함으로써 더 높은 복호 성능을 얻는 것도 가능하다.
예를 들어, 각 화상 단위·블록 단위·화소 단위 등으로 대응하는 보조 영상을 참조하여 서브 샘플링 위치를 결정하는 방법 등을 적용할 수 있다.
또한, 보조 영상에 2치화(binarization)나 엣지 추출(edge extraction)이나 영역 세그먼테이션 등의 화상 처리를 실시하여 피사체의 경계부나 그 밖의 잔차가 집중된다고 생각되는 영역을 추정하고, 고해상도 예측 잔차의 각 화소 중에서 대응하는 보조 영상에서 추정한 영역에 해당하는 화소를 서브 샘플함으로써, 종래의 RRU가 안고 있는 문제 중 하나인 잔차값의 평균화에 의한 손실을 회피한다는 방법이 있다.
이 추정에는 화상 처리의 일반적인 방법을 이용해도 상관없고, 단지 인접 화소값을 비교하는 것만이라도 상관없고, 그 밖에 어떠한 방법을 이용해도 상관없다.
또한, 예를 들어 2치화에 사용하는 파라미터 등의 정보를 부호화하여 부호 데이터에 포함시켜도 상관없다. 이때, 가장 복원 효율이 높아지도록 파라미터의 최적화를 실시해도 상관없다. 또한, 이때 추가로 예측 화상을 이용하여 잔차 집중 영역을 추정해도 상관없다.
예를 들어, 보조 영상과 예측 화상 둘 다로부터 추정한 영역을 모두 잔차 집중 영역으로 해도 상관없고, 그 밖에 어떠한 방법을 이용해도 상관없다.
또한, 이때의 복호 화상 업데이트 방법은 어떠한 것이라도 상관없다. 후술하는 보조 영상을 참조하는 방법을 이용해도 상관없고, 단지 선형 보간을 행하는 등 보조 영상을 사용하지 않는 방법을 이용해도 상관없다.
여기서 나타낸 방법은 일례이며, 그 밖에 어떠한 방법을 이용해도 상관없다.
다음에, 변환·양자화부(106)는 저해상도 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다(단계 S6). 이 변환·양자화는 복호 측에서 올바르게 역양자화·역변환할 수 있는 것이면 어떠한 방법을 이용해도 상관없다.
변환·양자화가 종료되면, 역양자화·역변환부(107)는 양자화 데이터를 역양자화·역변환하여 복호 저해상도 예측 잔차를 생성한다(단계 S7).
다음에, 가복호부(108)는 고해상도 예측 화상에 복호 저해상도 예측 잔차의 대응하는 화소를 합산하여 가복호 화상을 생성한다(단계 S8a).
상기와 같이 보조 영상을 이용하여 서브 샘플 위치의 결정을 실시하고 있는 경우에는, 여기서도 보조 영상을 참조하여 저해상도 잔차의 고해상도에서의 대응 위치를 결정해도 상관없다.
다음에, 가복호가 종료되면, 업데이트부(109)는 가복호 화상과 보조 영상을 이용하여 가복호 화상의 미복호 화소의 업데이트를 행하여 고해상도 복호 화상을 생성한다. 그리고, 루프 필터부(110)는 루프 필터를 걸어 참조 프레임으로서 참조 프레임 메모리(111)에 기억한다(단계 S9a).
여기서는, 다운 샘플에서 예측 잔차값을 서브 샘플하여 부호화한 경우의 가복호에 있어서 일부 화소에 대해서는 올바른 복호값이 얻어지는 경우의 업데이트 방법을 설명한다. 또한, 이 가복호에서 올바른 복호값이 얻어지는 화소를 기복호 화소라고 부르고, 이 화소에 대해서는 갱신을 행하지 않는 것으로 한다. 또한, 이때 기복호 화소 이외의 화소를 가복호 화소라고 부른다.
특히 제2 실시형태에서는, 보조 영상의 대응하는 화소나 영역을 참조하여 업데이트를 행하는 방법을 설명한다. 혹은, 제1 실시형태와 같이 해당 화소를 포함한 주변 화소의 예측값과 해당 화소를 포함하는 세트나 주변 세트의 복호 완료된 화소의 잔차값·복호값을 참조할 수도 있다.
업데이트 방법으로서, 예를 들어 제1 실시형태에서 나타낸 바와 같은 방법을 보조 영상을 사용하여 실시해도 상관없다.
혹은 다른 방법으로서, 보조 영상에서 어느 하나의 영역 분할을 행하고, 각 영역에 대응하는 복호 화상의 영역마다 잔차값 혹은 복호값의 보간을 행함으로써 잔차의 평균화에 의한 윤곽 등의 손실을 회피하는 방법 등을 적용할 수 있다.
예를 들어, 특히 부호화 대상 영상이 뎁스 맵 형식의 정보이고, 대응하는 텍스처가 보조 영상인 경우나 혹은 그 반대인 경우는 양자의 윤곽이 일치하는 경우가 많기 때문에, 보조 영상의 윤곽 부분에 따라 잔차값이나 복호값을 매립함으로써 복호 성능을 향상시킬 수 있다고도 생각된다.
혹은, 예측 화상을 이용하여 전술한 처리를 실시해도 되고, 두 방법을 조합해도 상관없다.
예를 들어, 보조 영상을 이용하여 분할한 영역을 예측 화상을 이용하여 더 분할하는 등의 방법을 적용할 수 있다. 또한, 혹은 상술한 보조 영상을 참조한 다운 샘플링 방법과 조합함으로써 더욱 복원 성능을 향상시키는 것도 가능하다.
루프 필터는 필요가 없으면 특별히 걸지 않아도 상관없지만, 통상의 영상 부호화에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다. 혹은 RRU에 의한 열화를 제거하기 위한 필터를 사용해도 된다. 또한, 이 루프 필터를 복호 화상 업데이트와 마찬가지로 또는 동시에 적응적으로 생성해도 된다.
다음에, 엔트로피 부호화부(112)는 양자화 데이터를 엔트로피 부호화하여 부호 데이터를 생성한다(단계 S10). 필요하면 예측 정보나 그 밖의 부가 정보도 부호화하여 부호 데이터에 포함시켜도 상관없다.
모든 블록에 대해 처리가 종료되면(단계 S11), 부호 데이터를 출력한다.
다음에, 영상 복호 장치에 대해 설명한다. 도 7은, 본 발명의 제2 실시형태에 의한 영상 복호 장치(200a)의 구성을 나타내는 블록도이다. 도 7에서, 도 3에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 7에 도시된 장치가 도 3에 도시된 장치와 다른 점은, 도 7에 도시된 바와 같이 보조 영상 입력부(210)와 보조 프레임 메모리(211)를 새로 구비하고 있는 점이다.
보조 영상 입력부(210)는, 복호 화상 업데이트에 이용하는 참조용 영상을 영상 복호 장치(200a)에 입력한다. 보조 프레임 메모리(211)는, 입력된 보조 영상을 기억한다.
다음에, 도 8을 참조하여, 도 7에 도시된 영상 복호 장치(200a)의 동작을 설명한다. 도 8은, 도 7에 도시된 영상 복호 장치(200a)의 동작을 나타내는 흐름도이다.
도 8은, 외부로부터 부호화 대상 영상과 상관이 있는 보조 영상을 입력하여 복호 영상 업데이트에 이용하는 경우의 처리를 나타내고 있다. 도 8에서, 도 4에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 부호 데이터 입력부(201)는 부호 데이터를 입력하고, 부호 데이터 메모리(202)에 기억한다. 이와 병행하여, 보조 영상 입력부(210)는 보조 영상 프레임을 입력하고, 보조 프레임 메모리(211)에 기억한다(단계 S21a).
또, 복호 대상 영상 중의 몇 개의 프레임은 이미 복호되어 있는 것으로 하고, 참조 프레임 메모리(209)에 기억되어 있는 것으로 한다.
이하, 단계 S22에서부터 S24에 이르기까지는 도 4에 도시된 처리 동작과 마찬가지로 실행한다.
다음에, 가복호부(206)는 고해상도 예측 화상에 복호 저해상도 예측 잔차의 대응하는 화소를 합산하여 가복호 화상을 생성한다(단계 S25a).
복호 대상의 부호 데이터가 보조 영상을 이용하여 서브 샘플 위치의 결정을 실시하고 있는 것인 경우에는, 여기서도 보조 영상을 참조하여 저해상도 잔차의 고해상도에서의 대응 위치를 결정해도 상관없다.
다음에, 가복호가 종료되면, 업데이트부(207)는 가복호 화상과 보조 영상이나 그 밖의 정보를 이용하여 가복호 화상의 미복호 화소의 업데이트를 행하여 고해상도 복호 화상을 생성한다. 그리고, 루프 필터부(208)는 생성된 고해상도 복호 화상에 루프 필터를 걸어 그 출력을 참조 블록으로서 참조 프레임 메모리(209)에 기억한다(단계 S26a).
업데이트 방법은 어떠한 방법을 이용해도 상관없다. 단, 이 방법과 영상 부호화 장치에서 사용한 다운 샘플링 방법을 서로 대응시킴으로써, 더 높은 복호 성능을 얻는 것이 가능하다. 다운 샘플링 방법과 대응하는 복호 화상 업데이트 방법의 예는 전술한 바와 같다.
루프 필터는 필요가 없으면 특별히 걸지 않아도 상관없지만, 통상의 영상 부호화에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다. 혹은 RRU에 의한 열화를 제거하기 위한 필터를 사용해도 된다. 또한, 이 루프 필터를 복호 화상 업데이트와 마찬가지로 또는 동시에 적응적으로 생성해도 된다.
마지막으로 모든 블록에 대해 처리가 종료되면(단계 S27), 복호 프레임으로서 출력한다.
또, 도 6, 도 8에 도시된 처리 동작은 그 순서가 전후해도 상관없다.
<제3 실시형태>
다음에, 본 발명의 제3 실시형태에 의한 영상 부호화 장치 및 영상 복호 장치를 설명한다. 도 9는, 본 발명의 제3 실시형태에 의한 영상 부호화 장치(100b)의 구성을 나타내는 블록도이다. 도 9에서, 도 5에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 9에 도시된 장치가 도 5에 도시된 장치와 다른 점은, 도 9에 도시된 바와 같이 보조 영상 예측 화상·잔차 생성부(115)를 새로 구비하고 있는 점이다.
보조 영상 예측 화상·잔차 생성부(115)는, 복호 화상 업데이트에 이용하는 참조용 보조 영상의 예측 화상과 잔차를 생성한다. 이하에서는, 이 참조용 보조 영상의 예측 화상 및 잔차를 각각 보조 예측 화상·보조 예측 잔차라고 부른다.
다음에, 도 10을 참조하여, 도 9에 도시된 영상 부호화 장치(100b)의 동작을 설명한다. 도 10은, 도 9에 도시된 영상 부호화 장치(100b)의 동작을 나타내는 흐름도이다.
도 10은, 외부로부터 부호화 대상 영상과 상관이 있는 보조 영상을 입력하고, 그 예측 화상과 잔차를 생성하여 복호 영상 업데이트에 이용하는 경우의 처리를 나타내고 있다. 도 10에서, 도 6에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 단계 S1a와 S2는 제2 실시형태와 마찬가지로 실행한다.
또, 단계 S1a에서 입력되는 보조 영상은 부호화 대상 영상과 상관이 있는 것이고, 또한 부호화 대상 영상의 예측에 이용하는 예측 정보나 이로부터 추측할 수 있는 예측 정보에 의해 예측 화상을 생성할 수 있는 것이면 어떠한 것이어도 상관없다.
예를 들어, 부호화 대상 영상이 다시점 영상 중 하나의 시점 영상인 경우, 다른 시점의 영상을 보조 영상으로서 이용할 수 있다. 이 경우, 시점 이동 등의 변환을 고려하여 부호화 대상 영상에서 사용한 예측 벡터의 변환 등을 행하여 보조 정보의 예측 벡터로 하는 등 임의의 변환을 행해도 상관없다.
혹은, 부호화 대상 영상에 대응하는 뎁스 맵이 존재하는 경우에 뎁스 맵을 보조 영상으로 해도 되고, 부호화 대상 영상이 뎁스 맵(형식의 정보)인 경우에는 대응하는 텍스처를 보조 영상으로 해도 상관없다.
이 경우에는, 부호화 대상 영상의 예측 정보와 동일한 예측 정보를 이용하여 보조 정보의 예측 화상을 생성해도 상관없다.
이하의 단계 S3~S10까지의 처리는 프레임 내의 모든 블록이 순차적으로 처리될 때까지 반복 실행한다.
또, 단계 S3과 S4는 제2 실시형태와 마찬가지로 실행한다.
부호화 대상 영상에 대한 예측 화상과 예측 잔차를 생성하면, 다음에, 보조 영상 예측 화상·잔차 생성부(115)는 보조 영상에 대한 예측 화상과 예측 잔차인 보조 예측 화상과 보조 예측 잔차를 생성한다(단계 4b).
보조 예측 화상 생성에 사용하는 예측 정보는 부호화 대상 영상과 동일한 것을 이용해도 상관없고, 전술한 바와 같이 변환을 실시한 것이라도 상관없다.
다음에, 잔차 다운 샘플부(105)는 고해상도 예측 잔차의 다운 샘플링을 실행하여 저해상도 예측 잔차를 생성한다(단계 S5b).
이때의 다운 샘플링에 있어서, 보조 예측 화상과 보조 예측 잔차를 참조해도 상관없다. 예를 들어, 보조 예측 잔차의 강도가 강한 화소로부터 순서대로 샘플링한다는 방법 등을 적용할 수 있다. 혹은, 미리 정해진 서브 샘플 위치의 패턴 중에서 보조 예측 잔차의 강도가 강한 화소를 가능한 한 많이 샘플링하는 패턴을 선택한다는 방법도 적용할 수 있다.
다음에, 변환·양자화부(106)는 저해상도 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다(단계 S6). 이 변환·양자화는 복호 측에서 올바르게 역양자화·역변환할 수 있는 것이면 어떠한 방법을 이용해도 상관없다.
변환·양자화가 종료되면, 역양자화·역변환부(107)는 양자화 데이터를 역양자화·역변환하여 복호 저해상도 예측 잔차를 생성한다(단계 S7).
다음에, 가복호부(108)는 고해상도 예측 화상에 복호 저해상도 예측 잔차의 대응하는 화소를 합산하여 가복호 화상을 생성한다(단계 S8b).
전술한 바와 같이 보조 예측 화상이나 보조 예측 잔차를 이용하여 서브 샘플 위치의 결정을 실시하고 있는 경우에는, 여기서도 동일한 방법에 따라 저해상도 잔차의 고해상도에서의 대응 위치를 결정해도 상관없다.
다음에, 가복호가 종료되면, 업데이트부(109)는 가복호 화상과 보조 예측 화상, 보조 예측 잔차를 이용하여 가복호 화상의 업데이트를 행하여 고해상도 복호 화상을 생성한다.
그리고, 루프 필터부(110)는 루프 필터를 걸어 참조 프레임의 블록으로서 참조 프레임 메모리(111)에 기억한다(단계 S9b).
여기서는, 다운 샘플에서 예측 잔차값을 서브 샘플하여 부호화한 경우의 가복호에 있어서 일부 화소에 대해서는 올바른 복호값이 얻어지는 경우의 업데이트 방법을 설명한다. 또한, 이 가복호에 있어서 올바른 복호값이 얻어지는 화소를 기복호 화소라고 부르고, 이 화소에 대해서는 갱신을 행하지 않는 것으로 한다. 또한, 이때 기복호 화소 이외의 화소를 가복호 화소라고 부른다.
업데이트 방법으로서, 예를 들어 제1, 제2 실시형태에서 나타낸 바와 같은 방법을 보조 예측 화상이나 보조 예측 잔차를 사용하여 실시해도 상관없고, 어떠한 형태로 조합해도 상관없다.
예를 들어, 보조 영상과 보조 예측 화상 모두에서 윤곽 추출이나 영역 추출을 실시하여 잔차가 집중되는 영역을 추정하는 등의 방법을 적용할 수 있다.
혹은 다른 방법으로서, 복호 대상 화상의 예측 잔차는 국소적으로 보조 예측 잔차의 강도에 대응하는 강도 분포를 가진다고 가정하고, 이미 알고 있는 잔차값으로부터 복호 화상의 잔차값의 강도 분포를 추정하며, 이 분포에 따라 가복호 화소에서의 예측 잔차를 결정하고, 이를 고해상도 예측 화상에 합산함으로써 복호값을 결정하는 방법 등도 적용할 수 있다.
또 다른 방법으로서는, 영상과 동일한 방법으로 보조 예측 잔차를 다운 샘플링하여 저해상도 보조 예측 잔차를 생성하고, 마찬가지로 가복호를 행하여 보조 가복호 화상을 생성하며, 이를 가장 잘 복호하는 복호 화상 업데이트 방법이나 그 파라미터를 결정하고, 결정한 방법으로 영상의 복호 화상 업데이트를 행한다는 방법도 적용할 수 있다.
복호 화상 업데이트 방법은 전술한 어떠한 방법에서 선택해도 상관없고, 또 다른 방법이라도 상관없다.
혹은, 전술한 보조 예측 화상이나 보조 예측 잔차를 참조한 다운 샘플링 방법과 조합함으로써 더욱 복원 성능을 향상시키는 것도 가능하다.
다음에, 영상 복호 장치에 대해 설명한다. 도 11은, 본 발명의 제3 실시형태에 의한 영상 복호 장치(200b)의 구성을 나타내는 블록도이다. 도 11에서, 도 7에 도시된 장치와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
도 11에 도시된 장치가 도 7에 도시된 장치와 다른 점은, 도 11에 도시된 바와 같이 보조 영상 예측 화상·잔차 생성부(212)를 새로 구비하고 있는 점이다.
보조 영상 예측 화상·잔차 생성부(212)는, 복호 화상 업데이트에 이용하는 참조용 보조 영상의 예측 화상과 잔차를 생성한다. 이하에서는, 이 참조용 보조 영상의 예측 화상 및 잔차를 각각 보조 예측 화상·보조 예측 잔차라고 부른다.
다음에, 도 12를 참조하여, 도 11에 도시된 영상 복호 장치(200b)의 동작을 설명한다. 도 12는, 도 11에 도시된 영상 복호 장치(200b)의 동작을 나타내는 흐름도이다.
도 12는, 외부로부터 부호화 대상 영상과 상관이 있는 보조 영상을 입력하고, 그 예측 화상과 잔차를 생성하여 복호 영상 업데이트에 이용하는 경우의 처리를 나타내고 있다. 도 12에서, 도 8에 도시된 처리와 동일한 부분에는 동일한 부호를 부여하고 그 설명을 생략한다.
우선, 부호 데이터 입력부(201)는 부호 데이터를 입력하고, 부호 데이터 메모리(202)에 기억한다. 이와 병행하여, 보조 영상 입력부(210)는 보조 영상 프레임을 입력하고, 보조 프레임 메모리(211)에 기억한다(단계 S21a).
또, 복호 대상 영상 중의 몇 개의 프레임은 이미 복호되어 있는 것으로 하고, 참조 프레임 메모리(209)에 기억되어 있는 것으로 한다.
이하, 단계 S22에서부터 S24에 이르기까지는 도 8에 도시된 처리 동작과 마찬가지로 실행한다.
복호 대상 영상에 대한 예측 화상을 생성하면, 다음에, 보조 영상 예측 화상·잔차 생성부(212)는 보조 영상에 대한 예측 화상과 예측 잔차인 보조 예측 화상과 보조 예측 잔차를 생성한다(단계 24b).
보조 예측 화상 생성에 사용하는 예측 정보는 복호 대상 영상과 동일한 것을 이용해도 상관없고, 전술한 바와 같이 변환을 실시한 것이라도 상관없다.
다음에, 가복호부(206)는 고해상도 예측 화상에 복호 저해상도 예측 잔차의 대응하는 화소를 합산하여 가복호 화상을 생성한다(단계 S25b).
전술한 바와 같이 보조 예측 화상이나 보조 예측 잔차를 이용하여 서브 샘플 위치의 결정을 실시하고 있는 경우에는, 여기서도 동일한 방법에 따라 저해상도 잔차의 고해상도에서의 대응 위치를 결정해도 상관없다.
다음에, 가복호가 종료되면, 업데이트부(207)는 가복호 화상과 보조 예측 화상이나 보조 예측 잔차나 그 밖의 정보를 이용하여 가복호 화상의 업데이트를 행하여 고해상도 복호 화상을 생성한다. 그리고, 루프 필터부(208)는 생성된 고해상도 복호 화상에 루프 필터를 걸어 그 출력을 참조 블록으로서 참조 프레임 메모리(209)에 기억한다(단계 S26b).
업데이트 방법은 어떠한 방법을 이용해도 상관없다. 단, 이 방법과 영상 부호화 장치에서 사용한 다운 샘플링 방법을 서로 대응시킴으로써, 더 높은 복호 성능을 얻는 것이 가능하다. 다운 샘플링 방법과 대응하는 복호 화상 업데이트 방법의 예는 전술한 바와 같다.
루프 필터는 필요가 없으면 특별히 걸지 않아도 상관없지만, 통상의 영상 부호화에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다. 혹은 RRU에 의한 열화를 제거하기 위한 필터를 사용해도 된다. 또한, 이 루프 필터를 복호 화상 업데이트와 마찬가지로 또는 동시에 적응적으로 생성해도 된다.
마지막으로 모든 블록에 대해 처리가 종료되면(단계 S27), 복호 프레임으로서 출력한다.
또, 도 10, 도 12에 도시된 처리 동작은 그 순서가 전후해도 상관없다.
전술한 제1 내지 제3 실시형태에서는, 부호화 대상 프레임의 모든 블록에 대해 RRU를 적용하는 예를 설명하였지만, 일부 블록에만 적용해도 된다. 또한, 블록에 따라 다운 샘플률을 가변으로 해도 상관없다.
이러한 경우에는, RRU 적용 가부나 다운 샘플률을 나타내는 정보를 부호화하여 부가 정보에 포함시켜도 되고, 복호 측에 적용 가부나 다운 샘플률을 판별하는 기능을 부가해도 된다. 예를 들어, RRU 적용 가부나 다운 샘플률을 예측 화상을 참조하여 결정해도 상관없다.
혹은, 그 밖에 참조하는 영상이나 화상이나 기타 부가 정보가 있는 경우에는 이들을 참조하여 결정해도 상관없다. 이들이 부호화되거나 전송되는 경우에는, 부호화 잡음이나 전송 에러에 의해 복호 불가능이 되는 것을 막기 위한 회피 기능이나 정정 기능을 부가하면 좋다.
또한, 전술한 제1 내지 제3 실시형태에서는, 모든 블록에서 복호 화소를 적응적으로 갱신(가복호 화상의 가복호값을 갱신)하고 있지만, 연산량 저감을 위해 갱신을 실시하지 않고 충분한 성능이 얻어지는 블록에 대해서는 갱신을 실시하지 않아도 상관없다.
또한, 갱신 처리 대신에 이미 정해진 보간 필터로 보간하는 등으로 충분한 성능이 얻어지는 블록에 대해서는 이러한 필터를 사용해도 된다. 그 경우, 이미 정해진 필터를 사용할지 복호 화상 업데이트를 행할지를 영상이나 보조 정보를 참조하여 전환해도 된다.
또한, 전술한 제1 내지 제3 실시형태에서는, 부호화 장치·복호 장치 모두 복호 화상 업데이트는 루프의 내부에서 블록마다 실행하고 있지만, 가능하면 외부에서 실행해도 상관없다.
또한, 블록마다 행하는 경우에서도 블록의 1행째나 1열째에서는 이미 복호 완료된 좌측 위·위·좌측 블록의 화소를 참조하여 복호에 이용해도 상관없다.
또한, 전술한 제1 내지 제3 실시형태에서는, 복호시에 부호 데이터를 역양자화·역변환한 복호 신호를 참조하여 복호 화상 업데이트를 행하고 있지만, 역양자화 전의 양자화 데이터나 역변환 전의 변환 데이터를 참조하여 복호 화상 업데이트를 행해도 상관없다. 또한, 부호화 대상 영상의 예측 잔차에 변환·양자화를 실시하여 양자화 데이터로 한 후에 엔트로피 부호화를 행하여 부호 데이터를 생성하고 있지만, 변환·양자화를 행하지 않고 부호화해도 상관없다.
또한, 전술한 제1 내지 제3 실시형태에서는, 부호화 대상 영상 신호 중의 휘도 신호나 색차 신호를 특별히 구별하지 않았지만, 구별해도 상관없다.
예를 들어, 색차 신호에만 다운 샘플링·업 샘플링을 실행하고 휘도 신호는 고해상도인 채로 부호화해도 상관없고, 반대로도 상관없다.
혹은, 각각의 복호 화상 업데이트를 동시에 행해도 상관없고 따로 행해도 상관없다. 그 경우에, 예를 들어 휘도 신호의 복호 화상이나 복호 화상 업데이트에 의해 얻어지는 그 밖의 정보를 참조하여 색차 신호의 복호 화상 업데이트를 행해도 상관없고, 반대로도 상관없다.
또 다른 예로서는, 가복호값을 초기값으로 하고, 예측값이나 상기 예로 든 바와 같은 다양한 보조 정보에 기초하는 변수나, 그리고 이들의 차분값이나 평균값 등에 의해 정의한 확률 밀도 함수에 의해 최종 복호값을 추정하는 복호 화상 업데이트 방법 등을 적용할 수 있다.
확률 밀도 함수의 예로서는, 화상의 각 화소의 발생 확률이 그 주변 화소의 값에 의존하여 정해지는 모델, 예를 들어 가우스 마코프 확률장(gauss-markov random field; GMRF)을 응용한 것 등을 적용할 수 있다. 구해야 할 최종 복호값을 xu, 변수의 집합을 Nu라고 하면, 이 발생 확률은 (1)식과 같이 정의된다.
Figure 112015019153605-pct00001
화상 전체 혹은 블록마다나 인접 화소 세트마다 구해야 할 최종 복호값의 집합을 x={xu}라고 하면, 그 의사 우도(PL)는 이하와 같이 나타나고, 이 의사 우도(pseudo-likelihood; PL)가 최대가 되도록 (2)식에 의해 각 xu를 결정한다.
Figure 112015019153605-pct00002
상기 식(1)에서, μ는 복호값의 평균값으로 하지만, 이는 화상 전체에서의 평균값이라도 상관없고, 블록 전체에서의 평균값이라도 상관없고, 인접 화소의 평균값이라도 상관없다. 또한, 이 평균값은 서브 샘플된 화소만을 이용하여 영상 복호 장치 측에서 구해도 상관없고, 영상 부호화 장치 측에서 고해상도 화상을 이용하여 화상 전체에서 구한 것 등을 부호화하여 부가 정보로서 부호 데이터에 포함시켜도 상관없다.
βi는 제어 파라미터로서, 일반적으로 화상 전체 혹은 블록마다나 인접 화소 세트마다 원화상 혹은 어느 하나의 방법으로 부호화하여 복호한 화상의 화소값의 집합을 x={xu}로 하여 의사 우도(PL)가 최대가 되도록 결정한다.
이는 화상 전체에서 동일한 값을 사용해도 상관없고, 블록마다 바꾸어도 상관없고, 세트마다 바꾸어도 상관없다. 또한, 미리 적당히 정해진 것을 사용해도 상관없고, 부호화시에 결정하고 그 값이나 혹은 식별하기 위한 부가 정보를 부호화하여 부호 데이터에 포함시켜도 상관없다. 또한, 이 값은 화상마다 추정해도 상관없고, 미리 학습 데이터를 이용하여 적당한 것을 추정해 두어도 상관없다.
각 xu의 결정에 있어서는 어느 하나의 방법을 이용하여 최적화 문제를 풀어도 상관없다. 또한, 단순히 의사 우도(PL)의 최대화를 도모하는 경우 xu=μ가 되기 때문에, 따로 제약 조건을 가해도 상관없다. 예를 들어, 화상 전체의 농도 히스토그램을 초기 상태로부터 변화시키지 않는 등의 조건을 생각할 수 있다.
혹은, 미리 정해진 값의 세트 중에서 발생 확률이 높은 것을 선택한다고 하여 그 조합을 최적화해도 상관없다.
세트에 포함되는 값으로서는, 예를 들어 인접하는 서브 샘플 화소의 복호값의 평균값이나 동일한 세트의 서브 샘플 화소의 복호값 등을 생각할 수 있지만, 그 밖에 어떠한 값을 정해도 상관없다.
혹은, 화소를 모두 독립적으로 갱신한다고 하여 각각 발생 확률이 가장 높은 것으로 결정해도 상관없다.
또는, 화소에 우선 순위를 붙이고 순서대로 결정해 가도록 해도 된다.
또한, 확률 밀도 함수는 미리 정의해 두어도 상관없고, 복호값 갱신에 따라 주변 화소의 확률 밀도 함수를 국소적으로 갱신하도록 해도 된다.
전술한 예에서는 가우스 마코프 확률장(GMRF)을 사용한 복호 방법을 설명하였지만, 확률 밀도 함수는 어떠한 것을 사용해도 상관없고, 미리 학습 데이터를 이용하여 적당한 것을 추정해 두어도 상관없다.
함수에 포함되는 각 파라미터도 미리 정해진 것을 사용해도 상관없고, 학습에 의해 추정한 것을 사용해도 상관없다. 또한, 이 함수에 의한 확률값 혹은 구할 복호값을 미리 구해 두고 참조해도 상관없다.
또한, 부호 데이터를 역다중화하여 보조 정보 부호 데이터와 영상 부호 데이터로 분리하고, 보조 정보 부호 데이터를 복호함으로써 보조 정보를 생성하도록 해도 된다.
이상 설명한 바와 같이, 다운 샘플링된 예측 잔차를 이용하여 화상을 임시로 복호하고, 그 가복호 화상과 부호화 대상 영상과 상관이 있는 어느 하나의 정보를 참조하면서 각 처리 블록에서 적응적으로 최종 복호 화상을 생성함으로써, RRU에서의 예측 잔차 업 샘플링에 의한 품질 저하나 블록 왜곡을 회피하여 최종 복호 화상을 전체 해상도나 좋은 품질로 재구성할 수 있다.
이에 의해, RRU 모드를 이용하여 부호화 효율을 향상시키고, 한편으로 주관 품질을 충분히 유지할 수 있다.
또, 이상 설명한 영상 부호화 장치 및 영상 복호 장치의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터로 판독 가능한 기록매체에 기록하여 제공하는 것도 가능하고 네트워크를 통해 제공하는 것도 가능하다.
도 13은, 영상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어도이다.
본 시스템은:
·프로그램을 실행하는 CPU(30)
·CPU(30)가 액세스하는 프로그램이나 데이터가 저장되는 RAM 등의 메모리(31)
·카메라 등으로부터의 부호화 대상의 영상 신호를 영상 부호화 장치 내에 입력하는 부호화 대상 영상 입력부(32)(디스크 장치 등에 의한 영상 신호를 기억하는 기억부라도 됨)
·도 2, 도 6, 도 10에 도시된 처리 동작을 CPU(30)에 실행시키는 소프트웨어 프로그램인 영상 부호화 프로그램(351)이 저장된 프로그램 기억 장치(35)
·CPU(30)가 메모리(31)에 로드된 영상 부호화 프로그램을 실행함으로써 생성된 부호 데이터를, 예를 들어 네트워크를 통해 출력하는 부호 데이터 출력부(36)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부라도 됨)
가 버스에 접속된 구성으로 되어 있다.
그 밖에 제2, 3 실시형태에서 설명한 바와 같은 부호화를 실현하는 경우에 필요하면, 예를 들어 네트워크를 통해 보조 정보를 입력하는 보조 정보 입력부(33)(디스크 장치 등에 의한 보조 정보 신호를 기억하는 기억부라도 됨)를 더 접속한다.
또한, 도시는 생략하지만, 그 밖에 부호 데이터 기억부, 참조 프레임 기억부 등의 하드웨어가 마련되어 본 수법의 실시에 이용된다. 또한, 영상 신호 부호 데이터 기억부, 예측 정보 부호 데이터 기억부 등이 이용되기도 한다.
도 14는, 영상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어도이다.
본 시스템은:
·프로그램을 실행하는 CPU(40)
·CPU(40)가 액세스하는 프로그램이나 데이터가 저장되는 RAM 등의 메모리(41)
·영상 부호화 장치가 본 발명에 의한 수법에 의해 부호화한 부호 데이터를 영상 복호 장치 내에 입력하는 부호 데이터 입력부(42)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부라도 됨)
·도 4, 도 8, 도 12에 도시된 처리 동작을 CPU(40)에 실행시키는 소프트웨어 프로그램인 영상 복호 프로그램(451)이 저장된 프로그램 기억 장치(45)
·CPU(40)가 메모리(41)에 로드된 영상 복호 프로그램을 실행함으로써 생성된 복호 영상을 재생 장치 등에 출력하는 복호 영상 출력부(46)
가 버스에 접속된 구성으로 되어 있다.
그 밖에 제2, 3 실시형태에서 설명한 바와 같은 복호를 실현하는 경우에 필요하면, 예를 들어 네트워크를 통해 보조 정보를 입력하는 보조 정보 입력부(43)(디스크 장치 등에 의한 보조 정보 신호를 기억하는 기억부라도 됨)를 더 접속한다.
또한, 도시는 생략하지만, 그 밖에 참조 프레임 기억부 등의 하드웨어가 마련되어 본 수법의 실시에 이용된다. 또한, 영상 신호 부호 데이터 기억부, 예측 정보 부호 데이터 기억부 등이 이용되기도 한다.
또, 도 1, 5, 9에 도시된 영상 부호화 장치 및 도 3, 7, 11에 도시된 영상 복호 장치의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 영상 부호화 처리 및 영상 복호 처리를 행해도 된다.
여기서 말하는 「컴퓨터 시스템」이란, OS나 주변기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 시스템」은 홈페이지 제공 환경(혹은 표시 환경)을 구비한 WWW 시스템도 포함하는 것으로 한다.
또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 이동성 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다.
또, 「컴퓨터 판독 가능한 기록매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이 일정 시간 프로그램을 보유하고 있는 것도 포함하는 것으로 한다.
또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송 매체를 통해 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템에 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는, 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 가지는 매체를 말한다.
또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다.
또, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.
이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 행해도 된다.
본 발명은, RRU에서의 예측 잔차 업 샘플링에 의한 복호 화상의 품질 저하나 블록 왜곡을 회피하여 최종 복호 화상을 전체 해상도나 좋은 품질로 재구성하는 것이 불가결한 용도에 적용할 수 있다.
100, 100a, 100b…영상 부호화 장치
101…부호화 대상 영상 입력부
102…입력 프레임 메모리
103…예측부
104…감산부
105…잔차 다운 샘플부
106…변환·양자화부
107…역양자화·역변환부
108…가복호부
109…업데이트부
110…루프 필터부
111…참조 프레임 메모리
112…엔트로피 부호화부
113…보조 영상 입력부
114…보조 프레임 메모리
115…보조 영상 예측 화상·잔차 생성부
200, 200a, 200b…영상 복호 장치
201…부호 데이터 입력부
202…부호 데이터 메모리
203…엔트로피 복호부
204…역양자화·역변환부
205…예측부
206…가복호부
207…업데이트부
208…루프 필터부
209…참조 프레임 메모리
210…보조 영상 입력부
211…보조 프레임 메모리
212…보조 영상 예측 화상·잔차 생성부

Claims (47)

  1. 영상의 부호 데이터를 복호할 때에 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 복호를 행하는 영상 복호 방법으로서,
    상기 부호 데이터는, 고해상도 예측 잔차를 다운 샘플링하여 얻어진 저해상도 예측 잔차의 부호 데이터이고,
    상기 영상 복호 방법은,
    상기 부호 데이터로부터 복호된 저해상도 예측 잔차를 이용하여 임시로 화상을 복호한 가복호 화상을 생성하는 가복호 단계;
    상기 가복호 화상의 복호값을 갱신하여 미복호 화소의 복호값을 설정함으로써 고해상도의 최종 복호 화상을 생성하는 복호 화상 생성 단계;
    를 가지는 것을 특징으로 하는 영상 복호 방법.
  2. 청구항 1에 있어서,
    상기 저해상도 예측 잔차를 가지는 화소를 보간 샘플링하는 보간 처리에 의해 보간 예측 잔차를 생성하는 보간 샘플링 단계를 더 가지며,
    상기 가복호 단계에서는, 상기 보간 예측 잔차에 기초하여 상기 가복호 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  3. 청구항 2에 있어서,
    상기 보간 샘플링 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 보간 처리를 행하는 것을 특징으로 하는 영상 복호 방법.
  4. 청구항 2에 있어서,
    상기 복호 화상 생성 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 최종 복호 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  5. 청구항 1에 있어서,
    상기 저해상도 예측 잔차를 가지는 각 화소와 대응하는 상기 가복호 화상의 각 화소의 대응 위치 관계를 결정하는 잔차 대응 화소 결정 단계를 더 가지며,
    상기 가복호 단계에서는, 상기 대응 위치 관계에 기초하여 상기 가복호 화상의 화소 중에서 상기 저해상도 예측 잔차에 대응하는 화소가 있는 것을 복호함으로써 상기 가복호 화상을 생성하고,
    상기 복호 화상 생성 단계에서는, 상기 저해상도 예측 잔차의 각 화소와 대응하는 상기 가복호 화상의 각 화소의 복호값을 참조하여 그 밖의 화소의 복호값을 갱신함으로써 상기 최종 복호 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  6. 청구항 5에 있어서,
    상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 미리 정해진 것으로 하는 것을 특징으로 하는 영상 복호 방법.
  7. 청구항 5에 있어서,
    상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 적응적으로 결정하는 것을 특징으로 하는 영상 복호 방법.
  8. 청구항 7에 있어서,
    상기 잔차 대응 화소 결정 단계에서는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 대응 위치 관계를 적응적으로 결정하는 것을 특징으로 하는 영상 복호 방법.
  9. 청구항 5에 있어서,
    상기 복호 화상 생성 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 최종 복호 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  10. 청구항 5에 있어서,
    상기 저해상도 예측 잔차를 가지는 화소를 보간 샘플링하는 보간 처리에 의해 보간 예측 잔차를 생성하는 보간 샘플링 단계를 더 가지며,
    상기 가복호 단계에서는, 상기 대응 위치 관계에 기초하여 상기 가복호 화상의 화소 중에서 상기 저해상도 예측 잔차에 대응하는 화소가 있는 것을 복호하고, 대응하는 화소가 없는 것에 대해 상기 보간 예측 잔차에 기초하여 복호함으로써 상기 가복호 화상을 생성하며,
    상기 복호 화상 생성 단계에서는, 상기 저해상도 예측 잔차의 각 화소와 대응하는 상기 가복호 화상의 각 화소의 복호값을 참조하여 그 밖의 화소의 복호값을 갱신함으로써 상기 최종 복호 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  11. 청구항 10에 있어서,
    상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 미리 정해진 것으로 하는 것을 특징으로 하는 영상 복호 방법.
  12. 청구항 10에 있어서,
    상기 잔차 대응 화소 결정 단계에서는, 상기 대응 위치 관계를 적응적으로 결정하는 것을 특징으로 하는 영상 복호 방법.
  13. 청구항 12에 있어서,
    상기 잔차 대응 화소 결정 단계에서는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 대응 위치 관계를 적응적으로 결정하는 것을 특징으로 하는 영상 복호 방법.
  14. 청구항 10에 있어서,
    상기 복호 화상 생성 단계에서는, 상기 영상과 상관이 있는 보조 정보를 더 참조하여 상기 최종 복호 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  15. 청구항 3, 4, 8, 9, 13, 14 중 어느 한 항에 있어서,
    상기 보조 정보는, 상기 영상의 예측 화상인 것을 특징으로 하는 영상 복호 방법.
  16. 청구항 3, 4, 8, 9, 13, 14 중 어느 한 항에 있어서,
    상기 보조 정보는, 상기 영상이 복수의 성분으로 이루어지는 신호인 경우의 일부 성분인 것을 특징으로 하는 영상 복호 방법.
  17. 청구항 3, 4, 8, 9, 13, 14 중 어느 한 항에 있어서,
    상기 보조 정보는, 상기 영상과 상관이 있는 보조 영상인 것을 특징으로 하는 영상 복호 방법.
  18. 청구항 17에 있어서,
    상기 보조 영상은, 상기 영상과 동일한 신을 대상으로 한 다른 영상인 것을 특징으로 하는 영상 복호 방법.
  19. 청구항 17에 있어서,
    상기 보조 영상은, 상기 영상이 다시점 영상 중 하나의 시점 영상인 경우에서의 다른 시점 영상인 것을 특징으로 하는 영상 복호 방법.
  20. 청구항 17에 있어서,
    상기 보조 영상은, 상기 영상에 대응하는 뎁스 맵인 것을 특징으로 하는 영상 복호 방법.
  21. 청구항 17에 있어서,
    상기 보조 영상은, 상기 영상이 뎁스 맵인 경우에서의 대응하는 텍스처인 것을 특징으로 하는 영상 복호 방법.
  22. 청구항 3, 4, 8, 9, 13, 14 중 어느 한 항에 있어서,
    상기 보조 정보는, 상기 영상과 상관이 있는 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 생성되는 보조 영상 예측 화상이며,
    상기 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 상기 보조 영상 예측 화상을 생성하는 보조 영상 예측 화상 생성 단계를 더 가지는 것을 특징으로 하는 영상 복호 방법.
  23. 청구항 22에 있어서,
    상기 보조 정보는, 상기 보조 영상과 상기 보조 영상 예측 화상으로부터 생성되는 보조 영상 예측 잔차이며,
    상기 보조 영상과 상기 보조 영상 예측 화상으로부터 상기 보조 영상 예측 잔차를 생성하는 보조 영상 예측 잔차 생성 단계를 더 가지는 것을 특징으로 하는 영상 복호 방법.
  24. 청구항 3, 4, 8, 9, 13, 14 중 어느 한 항에 있어서,
    상기 부호 데이터를 역다중화하여 보조 정보 부호 데이터와 영상 부호 데이터로 분리하는 역다중화 단계;
    상기 보조 정보 부호 데이터를 복호하여 상기 보조 정보를 생성하는 보조 정보 복호 단계;를 더 가지는 것을 특징으로 하는 영상 복호 방법.
  25. 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 부호화를 행할 때에 고해상도 예측 잔차를 다운 샘플링하여 저해상도 예측 잔차를 생성하는 영상 부호화 방법으로서,
    상기 고해상도 예측 잔차 중에서 일부 화소만을 샘플링하는 서브 샘플링 처리에 의해 서브 샘플링 예측 잔차를 생성하는 서브 샘플링 단계;
    상기 서브 샘플링 예측 잔차를 상기 저해상도 예측 잔차로 하는 잔차 다운 샘플링 단계;
    를 가지는 것을 특징으로 하는 영상 부호화 방법.
  26. 청구항 25에 있어서,
    상기 서브 샘플링 단계에서는, 상기 샘플링하는 화소를 미리 정해진 위치의 화소로 하는 것을 특징으로 하는 영상 부호화 방법.
  27. 청구항 25에 있어서,
    상기 서브 샘플링 단계에서는, 상기 샘플링하는 화소를 적응적으로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  28. 청구항 27에 있어서,
    상기 서브 샘플링 단계에서는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 샘플링하는 화소를 적응적으로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  29. 청구항 25에 있어서,
    상기 고해상도 예측 잔차의 화소를 보간 샘플링하는 보간 처리에 의해 보간 예측 잔차를 생성하는 보간 샘플링 단계를 더 가지며,
    상기 잔차 다운 샘플링 단계에서는, 상기 서브 샘플링 예측 잔차와 상기 보간 예측 잔차로부터 상기 저해상도 예측 잔차를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  30. 청구항 29에 있어서,
    상기 잔차 다운 샘플링 단계에서는, 상기 저해상도 예측 잔차의 미리 정해진 위치에 상기 서브 샘플링 예측 잔차를 적용시키고, 그 이외의 위치에서 상기 보간 예측 잔차를 적용시킴으로써 상기 저해상도 예측 잔차를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  31. 청구항 29에 있어서,
    상기 잔차 다운 샘플링 단계에서는, 상기 영상과 상관이 있는 보조 정보를 참조하여 상기 서브 샘플링 예측 잔차와 상기 보간 예측 잔차로부터 상기 저해상도 예측 잔차를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  32. 청구항 28 또는 31에 있어서,
    상기 보조 정보는, 상기 영상의 예측 화상인 것을 특징으로 하는 영상 부호화 방법.
  33. 청구항 28 또는 31에 있어서,
    상기 보조 정보는, 상기 영상이 복수의 성분으로 이루어지는 신호인 경우의 일부 성분인 것을 특징으로 하는 영상 부호화 방법.
  34. 청구항 28 또는 31에 있어서,
    상기 보조 정보는, 상기 영상과 상관이 있는 보조 영상인 것을 특징으로 하는 영상 부호화 방법.
  35. 청구항 34에 있어서,
    상기 보조 영상은, 상기 영상과 동일한 신을 대상으로 한 다른 영상인 것을 특징으로 하는 영상 부호화 방법.
  36. 청구항 34에 있어서,
    상기 보조 영상은, 상기 영상이 다시점 영상 중 하나의 시점 영상인 경우에서의 다른 시점 영상인 것을 특징으로 하는 영상 부호화 방법.
  37. 청구항 34에 있어서,
    상기 보조 영상은, 상기 영상에 대응하는 뎁스 맵인 것을 특징으로 하는 영상 부호화 방법.
  38. 청구항 34에 있어서,
    상기 보조 영상은, 상기 영상이 뎁스 맵인 경우에서의 대응하는 텍스처인 것을 특징으로 하는 영상 부호화 방법.
  39. 청구항 28 또는 31에 있어서,
    상기 보조 정보는, 상기 영상과 상관이 있는 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 생성되는 보조 영상 예측 화상이며,
    상기 보조 영상으로부터 상기 영상의 예측 정보에 기초하여 상기 보조 영상 예측 화상을 생성하는 보조 영상 예측 화상 생성 단계를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  40. 청구항 39에 있어서,
    상기 보조 정보는, 상기 보조 영상과 상기 보조 영상 예측 화상으로부터 생성되는 보조 영상 예측 잔차이며,
    상기 보조 영상과 상기 보조 영상 예측 화상으로부터 상기 보조 영상 예측 잔차를 생성하는 보조 영상 예측 잔차 생성 단계를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  41. 청구항 28 또는 31에 있어서,
    상기 보조 정보를 부호화한 보조 정보 부호 데이터를 생성하는 보조 정보 부호화 단계;
    상기 보조 정보 부호 데이터를 영상 부호 데이터와 다중화하여 부호 데이터를 생성하는 다중화 단계;를 더 가지는 것을 특징으로 하는 영상 부호화 방법.
  42. 영상의 부호 데이터를 복호할 때에 상기 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 복호를 행하는 영상 복호 장치로서,
    상기 부호 데이터는, 고해상도 예측 잔차를 다운 샘플링하여 얻어진 저해상도 예측 잔차의 부호 데이터이고,
    상기 영상 복호 장치는,
    상기 부호 데이터로부터 복호된 저해상도 예측 잔차를 이용하여 임시로 화상을 복호한 가복호 화상을 생성하는 가복호 수단;
    상기 가복호 화상의 복호값을 갱신하여 미복호 화소의 복호값을 설정함으로써 고해상도의 최종 복호 화상을 생성하는 복호 화상 생성 수단;
    을 구비하는 것을 특징으로 하는 영상 복호 장치.
  43. 영상을 구성하는 각 프레임을 복수의 처리 영역으로 분할하고, 상기 처리 영역마다 예측 부호화를 행할 때에 고해상도 예측 잔차를 다운 샘플링하여 저해상도 예측 잔차를 생성하는 영상 부호화 장치로서,
    상기 고해상도 예측 잔차 중에서 일부 화소만을 샘플링하는 서브 샘플링 처리에 의해 서브 샘플링 예측 잔차를 생성하는 서브 샘플링 수단;
    상기 서브 샘플링 예측 잔차를 상기 저해상도 예측 잔차로 하는 잔차 다운 샘플링 수단;
    을 구비하는 것을 특징으로 하는 영상 부호화 장치.
  44. 삭제
  45. 삭제
  46. 컴퓨터에 청구항 1에 기재된 영상 복호 방법을 실행시키기 위한 영상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  47. 컴퓨터에 청구항 25에 기재된 영상 부호화 방법을 실행시키기 위한 영상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020157005019A 2012-09-25 2013-09-20 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 KR101648098B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-211156 2012-09-25
JP2012211156 2012-09-25
PCT/JP2013/075482 WO2014050741A1 (ja) 2012-09-25 2013-09-20 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム

Publications (2)

Publication Number Publication Date
KR20150038399A KR20150038399A (ko) 2015-04-08
KR101648098B1 true KR101648098B1 (ko) 2016-08-12

Family

ID=50388145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157005019A KR101648098B1 (ko) 2012-09-25 2013-09-20 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램

Country Status (5)

Country Link
US (1) US20150271527A1 (ko)
JP (1) JP6042899B2 (ko)
KR (1) KR101648098B1 (ko)
CN (1) CN104604229A (ko)
WO (1) WO2014050741A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463672B2 (en) 2016-10-04 2022-10-04 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12132880B2 (en) 2016-10-04 2024-10-29 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
AU2019315029A1 (en) * 2018-08-03 2021-03-11 V-Nova International Limited Transformations for signal enhancement coding
US11132819B2 (en) 2018-12-13 2021-09-28 Konkuk University Industrial Cooperation Corp Method and apparatus for decoding multi-view video information
KR102127212B1 (ko) * 2018-12-13 2020-07-07 건국대학교 산학협력단 다시점 영상 정보의 복호화 방법 및 장치
CN113994703A (zh) * 2019-06-11 2022-01-28 索尼集团公司 图像处理装置和图像处理方法
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置
CN114040197B (zh) * 2021-11-29 2023-07-28 北京字节跳动网络技术有限公司 视频检测方法、装置、设备及存储介质
CN114466174B (zh) * 2022-01-21 2023-04-28 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质
CN115209160A (zh) * 2022-06-13 2022-10-18 北京大学深圳研究生院 视频压缩方法、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078454A1 (en) 2005-01-14 2006-07-27 Thomson Licensing Method and apparatus for intra prediction for rru
JP2007532061A (ja) * 2004-04-02 2007-11-08 トムソン ライセンシング 複雑度スケーラブルなビデオエンコーダの方法及び装置
JP2010528555A (ja) 2007-05-29 2010-08-19 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法および装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
US20070195887A1 (en) * 2004-09-29 2007-08-23 Comer Mary L Method and apparatus for reduced resolution update video coding and decoding
JP4528694B2 (ja) * 2005-08-12 2010-08-18 株式会社東芝 動画像符号化装置
KR20100083980A (ko) * 2009-01-15 2010-07-23 삼성전자주식회사 적응적 블록기반 깊이 정보맵 코딩 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007532061A (ja) * 2004-04-02 2007-11-08 トムソン ライセンシング 複雑度スケーラブルなビデオエンコーダの方法及び装置
WO2006078454A1 (en) 2005-01-14 2006-07-27 Thomson Licensing Method and apparatus for intra prediction for rru
JP2010528555A (ja) 2007-05-29 2010-08-19 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法および装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463672B2 (en) 2016-10-04 2022-10-04 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11553168B2 (en) 2016-10-04 2023-01-10 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11677926B1 (en) 2016-10-04 2023-06-13 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11778158B2 (en) 2016-10-04 2023-10-03 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11863732B1 (en) 2016-10-04 2024-01-02 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11936841B2 (en) 2016-10-04 2024-03-19 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11949846B1 (en) 2016-10-04 2024-04-02 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11962744B2 (en) 2016-10-04 2024-04-16 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11991339B2 (en) 2016-10-04 2024-05-21 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12028503B2 (en) 2016-10-04 2024-07-02 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12108017B2 (en) 2016-10-04 2024-10-01 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US12132880B2 (en) 2016-10-04 2024-10-29 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus

Also Published As

Publication number Publication date
WO2014050741A1 (ja) 2014-04-03
CN104604229A (zh) 2015-05-06
JP6042899B2 (ja) 2016-12-14
KR20150038399A (ko) 2015-04-08
US20150271527A1 (en) 2015-09-24
JPWO2014050741A1 (ja) 2016-08-22

Similar Documents

Publication Publication Date Title
KR101648098B1 (ko) 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램
JP7491985B2 (ja) 多視点信号コーデック
JP5902814B2 (ja) 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
EP3338448B1 (en) Method and apparatus of adaptive inter prediction in video coding
KR102274319B1 (ko) 영상을 부호화하는 방법, 장치, 프로그램 및 영상을 복호화하는 방법, 장치, 프로그램 및 영상 처리 시스템
EP2241112B1 (en) Encoding filter coefficients
EP2524505B1 (en) Edge enhancement for temporal scaling with metadata
WO2012131895A1 (ja) 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
JP5623640B2 (ja) 高解像度の参照フレームを用いるビデオコーディング
KR101442608B1 (ko) 영상을 효율적으로 부호화/복호화하는 방법 및 장치
KR20090039720A (ko) 적응적 참조 필터링을 위한 방법 및 장치
JP2006246474A (ja) カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化／復号化する方法およびその装置
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
EP3535975B1 (en) Apparatus and method for 3d video coding
EP2803191B1 (en) Method and device for coding an image block, corresponding method and decoding device
US10630973B2 (en) Generation and encoding of residual integral images
EP3301925A1 (en) Method for local inter-layer prediction intra based
KR20070075354A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 4