KR101761331B1 - 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법과 이들의 프로그램 - Google Patents

영상 부호화 장치 및 방법, 영상 복호 장치 및 방법과 이들의 프로그램 Download PDF

Info

Publication number
KR101761331B1
KR101761331B1 KR1020157024544A KR20157024544A KR101761331B1 KR 101761331 B1 KR101761331 B1 KR 101761331B1 KR 1020157024544 A KR1020157024544 A KR 1020157024544A KR 20157024544 A KR20157024544 A KR 20157024544A KR 101761331 B1 KR101761331 B1 KR 101761331B1
Authority
KR
South Korea
Prior art keywords
inter
predictive image
picture
prediction
reference information
Prior art date
Application number
KR1020157024544A
Other languages
English (en)
Other versions
KR20150119052A (ko
Inventor
시오리 스기모토
신야 시미즈
히데아키 기마타
아키라 고지마
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20150119052A publication Critical patent/KR20150119052A/ko
Application granted granted Critical
Publication of KR101761331B1 publication Critical patent/KR101761331B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차가 보정된 예측 화상을 생성함으로써, 부호화될 영상을 예측 부호화하는 장치. 상기 장치는, 상기 시간 방향 및 상기 시차 방향 모두에서 이미 복호 완료된 화상을 참조 픽처(picture)들로 하여 부호화 대상인 화상을 예측하고, 각각의 참조처들을 나타내는 프레임 간 참조 정보와 시점(viewpoint) 간 정보를 결정하고, 각각의 정보로부터 시차 예측 화상 및 움직임 예측 화상을 생성하고, 상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하고, 상기 시차 예측 화상과 상기 움직임 예측 화상과 상기 보정 예측 화상으로부터 상기 예측 화상을 생성한다.

Description

영상 부호화 장치 및 방법, 영상 복호 장치 및 방법과 이들의 프로그램{Video coding device and method, video decoding device and method, and programs therefor}
본 발명은 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법, 영상 부호화 프로그램 및 영상 복호 프로그램에 관한 것으로, 특히 시간 방향 및 시차 방향의 화면 간 예측 부호화 및 복호에 관한 것이다.
일반적인 영상 부호화에서는, 피사체의 공간적/시간적인 연속성을 이용하여 영상의 각 프레임을 복수의 처리 단위 블록으로 분할하고, 블록마다 그 영상 신호를 공간적/시간적으로 예측하고, 그 예측 방법을 나타내는 예측 정보와 예측 잔차 신호를 부호화함으로써, 영상 신호 그 자체를 부호화하는 경우에 비해 대폭적인 부호화 효율 향상을 도모하고 있다. 또한, 일반적인 2차원 영상 부호화에서는 동일한 프레임 내의 이미 부호화된 블록을 참조하여 부호화 대상 신호를 예측하는 인트라 예측과, 이미 부호화된 다른 프레임을 참조하여 움직임 보상 등에 기초하여 부호화 대상 신호를 예측하는 프레임 간(화면 간) 예측을 행한다.
여기서, 다시점(多視點) 영상 부호화에 대해 설명한다. 다시점 영상 부호화란, 동일한 장면을 복수의 카메라로 촬영한 복수의 영상을, 그 영상 간의 여유도를 이용하여 높은 효율로 부호화하는 것이다. 다시점 영상 부호화에 대해서는 비특허문헌 1에 자세히 기술되어 있다.
또한, 다시점 영상 부호화에서는 일반적인 영상 부호화에서 이용되는 예측 방법 외에, 이미 부호화 완료된 다른 시점의 영상을 참조하여 시차 보상에 기초하여 부호화 대상 신호를 예측하는 시점 간 예측과, 프레임 간 예측에 의해 부호화 대상 신호를 예측하고, 그 잔차 신호를 이미 부호화 완료된 다른 시점의 영상의 부호화시의 잔차 신호를 참조하여 예측하는 시점 간 잔차 예측 등의 방법이 이용된다. 시점 간 예측은 MVC 등의 다시점 영상 부호화에서는 프레임 간 예측과 함께 인터 예측(inter prediction)으로서 취급되고, B 픽처(picture)에서는 2개 이상의 예측 화상을 보간하여 예측 화상으로 할 수 있다.
이와 같이, 다시점 영상 부호화에서는 프레임 간 예측과 시점 간 예측을 둘 다 행할 수 있는 픽처에서 이들 모두에 의한 예측을 행할 수 있다.
비특허문헌 1: M.Flierl and B.Girod, "다시점 영상 압축(Multiview video compression)," Signal Processing Magazine, IEEE, no. November 2007, pp.66-76, 2007.
그러나 움직임 보상 예측과 시차 보상 예측에서는 오차의 성질이 다르고, (화상 신호의) 시퀀스 성질에 따라서는 프레임 간 예측만을 행하는 경우에 비해 서로 오차를 없애는 효과가 얻어지기 어렵다.
이러한 오차에는 예를 들어 움직임 보상 예측에서 피사체 변형 등에 의한 것이나 흔들림에 의한 것, 시차 보상 예측에서 카메라 성질의 차이에 의한 것이나 오클루전 발생에 의한 것 등이 있다. 이러한 경우에는 정밀도 높은 쪽의 예측 방법이 치우쳐서 선택되고, 둘 다 이용하는 예측은 거의 이용되지 않는다.
이 때문에, 예를 들어 전방향 예측과 시점 간 예측이 가능한 종류의 B 픽처에 있어서 구조상은 둘 다 이용하는 예측이 가능함에도 불구하고, 실제로는 단방향 예측만 이용되기 때문에 예측 잔차 저감에 대해 충분한 효과를 얻을 수 없는 경우가 있다는 문제가 있다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, 예측 잔차를 저감시켜 예측 잔차 부호화에 필요한 부호량을 삭감할 수 있는 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법, 영상 부호화 프로그램 및 영상 복호 프로그램을 제공하는 것을 목적으로 한다.
본 발명은, 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 부호화 대상 영상을 예측 부호화하는 영상 부호화 장치로서,
상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호 완료된 화상을 참조 픽처로 하여 부호화 대상 화상을 예측하고, 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 수단;
상기 시점 간 참조 정보로부터 시차 예측 화상을 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 생성하는 1차 예측 화상 생성 수단;
상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하는 보정 예측 화상 생성 수단; 및
상기 시차 예측 화상, 상기 움직임 예측 화상, 그리고 상기 보정 예측 화상으로부터 상기 예측 화상을 생성하는 예측 화상 생성 수단을 구비하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
전형예로서, 상기 예측 화상 생성 수단은 상기 움직임 예측 화상과 상기 시차 예측 화상을 가산하고, 이로부터 상기 보정 예측 화상을 감산하여 상기 예측 화상을 생성한다.
적합예로서, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처를 특정하는 정보를 포함하고,
상기 보정 예측 화상 생성 수단은, 상기 시점 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 시점의 참조 픽처 중에서 상기 프레임 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 프레임의 참조 픽처를 보정 참조 픽처로서 참조하여 상기 보정 예측 화상을 생성한다.
이 경우, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처 상에 있는 참조 위치를 특정하는 정보를 더 포함하고,
상기 보정 예측 화상 생성 수단은, 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보에 기초하여 상기 보정 참조 픽처 상의 참조 위치를 결정하고 상기 보정 예측 화상을 생성하도록 해도 된다.
다른 적합예로서, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보를 특정하는 정보를 예측 정보로서 부호화하는 예측 정보 부호화 수단을 더 가진다.
상기 예측 수단은, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보 중에서 어느 한쪽을 다른 쪽 참조 정보가 나타내는 참조처의 부호화시의 예측 정보에 기초하여 생성하도록 해도 된다.
본 발명은 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 예측 부호화된 부호 데이터를 복호하는 영상 복호 장치로서,
상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호된 화상을 참조 픽처로 하여 복호 대상 화상을 예측하고, 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 수단;
상기 시점 간 참조 정보로부터 시차 예측 화상을 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 생성하는 1차 예측 화상 생성 수단;
상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하는 보정 예측 화상 생성 수단; 및
시차 예측 화상, 움직임 예측 화상, 그리고 보정 예측 화상으로부터 예측 화상을 생성하는 예측 화상 생성 수단을 구비하는 것을 특징으로 하는 영상 복호 장치도 제공한다.
전형예로서, 상기 예측 화상 생성 수단에서는 상기 움직임 예측 화상과 상기 시차 예측 화상을 가산하고, 이로부터 상기 보정 예측 화상을 감산하여 상기 예측 화상을 생성한다.
적합예로서, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처를 특정하는 정보를 포함하고,
상기 보정 예측 화상 생성 수단에서는, 상기 시점 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 시점의 참조 픽처 중에서 상기 프레임 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 프레임의 참조 픽처를 보정 참조 픽처로서 참조하여 상기 보정 예측 화상을 생성한다.
이 경우, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처 상에 있는 참조 위치를 특정하는 정보를 더 포함하고,
상기 보정 예측 화상 생성 수단에서는, 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보에 기초하여 상기 보정 픽처 상의 참조 위치를 결정하고 상기 보정 예측 화상을 생성하도록 해도 된다.
다른 적합예로서, 상기 부호 데이터로부터 예측 정보를 복호하고 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보를 특정하는 예측 정보를 생성하는 예측 정보 복호 수단을 더 가지며,
상기 예측 수단은, 생성된 상기 예측 정보에 기초하여 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보를 결정한다.
상기 예측 수단은, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보 중에서 어느 한쪽을 상기 부호 데이터로부터 복호하고, 다른 쪽 참조 정보는 복호된 참조 정보가 나타내는 참조처의 복호화시의 예측 정보에 기초하여 생성하도록 해도 된다.
또한, 본 발명은 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 부호화 대상 영상을 예측 부호화하는 영상 부호화 장치가 행하는 영상 부호화 방법으로서,
상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호 완료된 화상을 참조 픽처로 하여 부호화 대상 화상을 예측하고, 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 단계;
상기 시점 간 참조 정보로부터 시차 예측 화상을 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 생성하는 예측 화상 생성 단계;
상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하는 보정 예측 화상 생성 단계; 및
상기 시차 예측 화상과 상기 움직임 예측 화상과 상기 보정 예측 화상으로부터 상기 예측 화상을 생성하는 예측 화상 생성 단계를 가지는 것을 특징으로 하는 영상 부호화 방법도 제공한다.
또한, 본 발명은 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 예측 부호화된 부호 데이터를 복호하는 영상 복호 장치가 행하는 영상 복호 방법으로서,
상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호 완료된 화상을 참조 픽처로 하여 복호 대상 화상을 예측하고, 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 단계;
상기 시점 간 참조 정보로부터 시차 예측 화상을 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 생성하는 예측 화상 생성 단계;
상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하는 보정 예측 화상 생성 단계; 및
시차 예측 화상과 움직임 예측 화상과 보정 예측 화상으로부터 예측 화상을 생성하는 예측 화상 생성 단계를 가지는 것을 특징으로 하는 영상 복호 방법도 제공한다.
또한, 본 발명은 상기 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램도 제공한다.
또한, 본 발명은 상기 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램도 제공한다.
본 발명에 의하면, 예측 잔차를 저감시킴으로써 예측 잔차 부호화에 필요한 부호량을 삭감할 수 있기 때문에 부호화 효율을 향상시킬 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 일 실시형태에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 영상 부호화 장치(100)의 처리 동작을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시형태에 따른 영상 복호 장치의 구성을 나타내는 블록도이다.
도 4는 도 3에 도시된 영상 복호 장치(200)의 처리 동작을 나타내는 흐름도이다.
도 5는 보정 예측의 개념을 나타내는 도면이다.
도 6은 도 1에 도시된 영상 부호화 장치(100)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어이다.
도 7은 도 3에 도시된 영상 복호 장치(200)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어이다.
이하, 도면을 참조하여 본 발명의 일 실시형태에 따른 영상 부호화 장치, 영상 복호 장치를 설명한다.
우선, 영상 부호화 장치에 대해 설명한다. 도 1은 동 실시형태에 의한 영상 부호화 장치의 구성을 나타내는 블록도이다.
영상 부호화 장치(100)는, 도 1에 도시된 바와 같이 부호화 대상 영상 입력부(101), 입력 화상 메모리(102), 참조 픽처 메모리(103), 예측부(104), 1차 예측 화상 생성부(105), 보정 예측 화상 생성부(106), 예측 화상 생성부(107), 감산부(108), 변환·양자화부(109), 역양자화·역변환부(110), 가산부(111) 및 엔트로피 부호화부(112)를 구비하고 있다.
부호화 대상 영상 입력부(101)는, 본 영상 부호화 장치(100)에 부호화될 영상을 입력한다. 이하의 설명에서는, 이러한 부호화될 영상을 부호화 대상 영상이라고 부르고, 특히 처리를 행하는 프레임을 부호화 대상 프레임 또는 부호화 대상 화상이라고 부른다.
입력 화상 메모리(102)는, 입력된 부호화 대상 영상을 기억한다.
참조 픽처 메모리(103)는, 지금까지 부호화·복호된 화상을 기억한다. 이하에서는, 이 기억된 프레임을 참조 프레임 또는 참조 픽처라고 부른다.
예측부(104)는, 참조 픽처 메모리(103)에 기억된 참조 픽처 상에서 부호화 대상 화상에 대한 시차 방향과 시간 방향 모두의 예측을 행하고 예측 정보를 생성한다.
1차 예측 화상 생성부(105)는, 예측 정보에 기초하여 움직임 예측 화상과 시차 예측 화상을 생성한다.
보정 예측 화상 생성부(106)는, 예측 정보에 기초하여 보정 참조 픽처 및 그 픽처 내의 보정 참조처를 결정하고 보정 예측 화상을 생성한다.
예측 화상 생성부(107)는, 움직임 예측 화상과 시차 예측 화상과 보정 예측 화상으로부터 예측 화상을 생성한다.
감산부(108)는, 부호화 대상 화상과 예측 화상의 차분값을 구하여 예측 잔차를 생성한다.
변환·양자화부(109)는, 생성된 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다.
역양자화·역변환부(110)는, 생성된 양자화 데이터를 역양자화·역변환하여 복호 예측 잔차를 생성한다.
가산부(111)는, 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성한다.
엔트로피 부호화부(112)는, 양자화 데이터를 엔트로피 부호화하여 부호 데이터를 생성한다.
다음에, 도 2를 참조하여 도 1에 도시된 영상 부호화 장치(100)의 처리 동작을 설명한다. 도 2는 도 1에 도시된 영상 부호화 장치(100)의 처리 동작을 나타내는 흐름도이다.
여기서는, 부호화 대상 영상은 다시점(多 視點) 영상 중 하나의 영상인 것으로 하고, 그 다시점 영상은 프레임마다 한 시점씩 전체 시점의 영상을 부호화하고 복호하는 구조를 취하는 것으로 한다. 또한, 여기서는 부호화 대상 영상 중의 임의의 한 프레임을 부호화하는 처리에 대해 설명한다. 이 처리를 프레임마다 반복함으로써 영상의 부호화가 실현될 수 있다.
우선, 부호화 대상 영상 입력부(101)는 부호화 대상 프레임을 영상 부호화 장치(100)에 입력하고, 입력 화상 메모리(102)에 기억한다(S101 단계).
또, 부호화 대상 영상 중 몇 개의 프레임은 이미 부호화되어 있는 것으로 하고, 그 복호 프레임이 참조 픽처 메모리(103)에 기억되어 있는 것으로 한다.
또한, 부호화 대상 프레임과 동일한 프레임까지의 참조 가능한 다른 시점의 영상도 이미 부호화되고 복호되어 입력 화상 메모리(102)에 기억되어 있는 것으로 한다.
영상 입력 후, 부호화 대상 프레임을 부호화 대상 블록으로 분할하고, 블록마다 부호화 대상 프레임의 영상 신호를 부호화한다(S102~S111 단계).
이하의 S103~S110 단계들의 처리는 프레임 전체 블록에 대해 반복 실행한다.
부호화 대상 블록마다 반복되는 처리에 있어서, 우선, 예측부(104)는 부호화 대상 블록에 대한 다른 프레임의 참조 픽처를 참조하는 움직임 예측과, 다른 시점의 참조 픽처를 참조하는 시차 예측 모두의 예측을 행하고, 예측 정보를 생성한다. 그리고 1차 예측 화상 생성부(105)는 생성된 예측 정보에 기초하여 움직임 예측 화상과 시차 예측 화상을 생성한다(S103 단계).
여기서, 예측이나 예측 정보 생성은 어떻게 행해도 상관없으며, 예측 정보로서 어떠한 정보를 설정해도 상관없다.
일반적인 것으로서, 참조 픽처를 특정하는 인덱스와 참조 픽처 상에서의 참조처를 나타내는 벡터로 이루어지는 시점 간 참조 정보(시차 예측의 경우)나 프레임 간 참조 정보(움직임 예측의 경우)를 예측 정보로 하는 방법이 있다.
각각의 참조 정보 결정 방법도 어떠한 방법으로도 상관없지만, 예를 들어 참조 픽처 상에서 부호화 대상 블록에 대응하는 영역의 탐색을 행하는 방법도 적용할 수 있고, 이미 부호화하여 복호 완료된 (부호화 대상 블록의) 주변 블록의 예측 정보로부터 결정하는 방법도 적용할 수 있다.
시차 예측과 움직임 예측은 각각 독립적으로 행해도 상관없고, 어느 쪽을 먼저 실행해도 상관없고, 교대로 반복하여 행해도 상관없다. 또는 참조 픽처의 조합 등을 미리 정해 두고, 이에 기초하여 각각 독립적으로 예측을 행해도 상관없고, 차례대로 행해도 상관없다.
예를 들어, 시차 예측의 참조 픽처는 반드시 0번째 시점의 픽처라고 하고, 움직임 예측의 참조 픽처는 반드시 선두 프레임이라고 하면 미리 정해 두어도 된다. 또한, 조합을 특정하는 정보를 부호화하여 영상의 부호 데이터와 다중화해도 상관없고, 복호 측에서 동일한 조합을 특정할 수 있다면 부호화하지 않아도 상관없다.
나아가 시차 예측과 움직임 예측을 동시에 행하는 경우에는 모든 조합을 시행하여 평가해도 되고, 함께 최적화해도 상관없고, 한쪽을 가결정하고 다른 쪽을 탐색하는 것을 반복하는 등의 방법을 이용해도 상관없다.
또한, 예측 정밀도의 평가 대상으로서 각각의 예측 화상의 예측 정밀도를 따로 평가해도 상관없고, 예측 화상을 모두 혼합한 화상의 정밀도를 평가해도 된다. 또는 후술하는 보정 예측도 포함한 최종적인 예측 화상의 정밀도를 평가해도 상관없다. 그 밖에 어떠한 평가 방법을 이용하여 예측을 행해도 상관없다.
나아가 예측 정보는 부호화하여 영상의 부호 데이터와 다중화되도 상관없고, 전술한 바와 같이 주변 예측 정보나 자신의 잔차 예측 정보 등으로부터 도출할 수 있는 경우에는 부호화하지 않아도 상관없다. 또한, 예측 정보를 예측하고 그 잔차를 부호화해도 상관없다.
또한, 예측 정보가 시점 간 참조 정보나 프레임 간 참조 정보로 이루어지는 경우, 필요하면 둘 다 부호화해도 상관없고, 미리 정한 규칙에 따라 결정할 수 있다면 부호화하지 않아도 상관없다. 예를 들어, 어느 한쪽을 부호화하고 다른 쪽 예측 정보는 부호화한 쪽의 정보가 나타내는 참조처의 영역을 부호화하였을 때의 예측 정보에 기초하여 생성한다는 방법이 적용될 수 있다.
그 다음, 보정 예측 화상 생성부(106)는 예측 정보에 기초하여 보정 참조 픽처 및 그 픽처 내의 보정 참조처를 결정하고 보정 예측 화상을 생성한다(S104 단계).
보정 예측 화상을 생성하면, 예측 화상 생성부(107)는 움직임 예측 화상과 시차 예측 화상과 보정 예측 화상으로부터 예측 화상을 생성한다(S105 단계).
보정 예측은, 부호화 대상 프레임과 다른 프레임의 참조 픽처 사이의 움직임 예측과, 부호화 대상 프레임과 다른 시점의 참조 픽처 사이의 시차 예측 각각의 예측 오차를 다른 참조 픽처를 이용하여 보정하는 것이다.
여기서는, 움직임 예측에서 참조하는 픽처를 참조 프레임 픽처, 시차 예측에서 참조하는 픽처를 참조 시점 픽처로 하고, 보정 예측에서 참조하는 픽처를 보정 참조 픽처로 한다. 보정 예측의 상세에 대해서는 후술한다.
다음에, 감산부(108)는 예측 화상과 부호화 대상 블록의 차분을 취하고 예측 잔차를 생성한다(S106 단계).
또, 여기서는 최종적인 예측 화상을 생성하고 나서 예측 잔차를 생성하고 있지만, 이하와 같은 형태로 예측 잔차를 생성해도 상관없다:
(i) 보정 예측 화상과 움직임 및 시차 예측의 예측 화상으로부터 각각의 예측 잔차의 예측값(「예측 예측 잔차」라고도 부름)을 생성하고,
(ii) 움직임 및 시차 예측의 예측 화상과 부호화 대상 블록 각각의 차분을 취하여 움직임 및 시차 예측 잔차를 생성하고,
(iii) 상기 예측 잔차의 예측값에 기초하여 상기 움직임 및 시차 예측 잔차를 각각 갱신하는 형태로 예측 잔차를 생성한다.
다음에, 예측 잔차의 생성이 종료되면, 변환·양자화부(109)는 그 예측 잔차를 변환·양자화하여 양자화 데이터를 생성한다(S107 단계). 이 변환·양자화는 복호 측에서 올바르게 역양자화·역변환할 수 있는 것이면 어떠한 방법을 이용해도 상관없다.
그리고, 변환·양자화가 종료되면, 역양자화·역변환부(110)는 양자화 데이터를 역양자화·역변환하여 복호 예측 잔차를 생성한다(S108 단계).
다음에, 복호 예측 잔차의 생성이 종료되면, 가산부(111)는 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성하고 참조 픽처 메모리(103)에 기억한다(S109 단계).
여기서도 전술한 바와 같이, 예측 잔차의 예측값을 생성하고, 그 예측값에 기초하여 1차 예측 잔차를 갱신하는 형태로 1차 예측 화상과 부호화 대상 블록의 차분인 1차 예측 잔차를 생성해도 상관없다.
또한, 필요하다면 복호 화상에 루프 필터를 걸어도 상관없다. 통상의 영상 부호화에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다.
다음에, 엔트로피 부호화부(112)는 양자화 데이터를 엔트로피 부호화하여 부호 데이터를 생성하고, 필요하면 예측 정보나 잔차 예측 정보 그 밖의 부가 정보도 부호화하여 부호 데이터와 다중화하고, 모든 블록에 대해 처리가 종료되면 부호 데이터를 출력한다(S110 단계).
다음으로, 영상 복호 장치에 대해 설명한다. 도 3은 본 발명의 일 실시형태에 의한 영상 복호 장치의 구성을 나타내는 블록도이다.
영상 복호 장치(200)는, 도 3에 도시된 바와 같이 부호 데이터 입력부(201), 부호 데이터 메모리(202), 참조 픽처 메모리(203), 엔트로피 복호부(204), 역양자화·역변환부(205), 1차 예측 화상 생성부(206), 보정 예측 화상 생성부(207), 예측 화상 생성부(208), 가산부(209)를 구비하고 있다.
부호 데이터 입력부(201)는, 본 영상 복호 장치(200)에 복호될 영상 부호 데이터를 입력한다. 이 복호 대상이 되는 영상 부호 데이터를 복호 대상 영상 부호 데이터라고 부르고, 특히 처리를 행하는 프레임을 복호 대상 프레임 또는 복호 대상 화상이라고 부른다.
부호 데이터 메모리(202)는, 입력된 복호 대상 영상을 기억한다.
참조 픽처 메모리(203)는, 이미 복호 완료된 화상을 기억한다.
엔트로피 복호부(204)는 복호 대상 프레임의 부호 데이터를 엔트로피 복호하여 양자화 데이터를 생성하고, 역양자화·역변환부(205)는 양자화 데이터에 역양자화/역변환을 실시하여 복호 예측 잔차를 생성한다.
1차 예측 화상 생성부(206)는, 움직임 예측 화상과 시차 예측 화상을 생성한다.
보정 예측 화상 생성부(207)는, 보정 참조 픽처 및 그 픽처 내의 보정 참조처를 결정하고 보정 예측 화상을 생성한다.
예측 화상 생성부(208)는, 움직임 예측 화상과 시차 예측 화상과 보정 예측 화상으로부터 예측 화상을 생성한다.
가산부(209)는, 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성한다.
다음에, 도 4를 참조하여 도 3에 도시된 영상 복호 장치(200)의 처리 동작을 설명한다. 도 4는 도 3에 도시된 영상 복호 장치(200)의 처리 동작을 나타내는 흐름도이다.
여기서는, 복호 대상 영상은 다시점 영상 중 하나의 영상인 것으로 하고, 그 다시점 영상은 프레임마다 한 시점씩 전체 시점의 영상을 복호하는 구조를 취한다고 하자. 또한, 여기서는 부호 데이터 중 어떤 하나의 프레임을 복호하는 처리에 대해 설명한다. 그 처리를 프레임마다 반복함으로써 영상의 복호가 실현될 수 있다.
우선, 부호 데이터 입력부(201)는 부호 데이터를 영상 복호 장치(200)에 입력하고, 부호 데이터 메모리(202)에 기억한다(S201 단계).
또, 복호 대상 영상 중의 몇 개의 프레임은 이미 복호되어 있는 것으로 하고, 그 복호 프레임이 참조 픽처 메모리(203)에 기억되어 있는 것으로 한다.
또한, 복호 대상 프레임과 동일한 프레임까지의 참조 가능한 다른 시점의 영상도 이미 복호되어 참조 픽처 메모리(203)에 기억되어 있는 것으로 한다.
부호 데이터 입력 후, 복호 대상 프레임을 복호 대상 블록으로 분할하고, 블록마다 복호 대상 프레임의 영상 신호를 복호한다(S202~S209 단계).
이하의 S203~S208 단계의 처리는 프레임 전체 블록에 대해 반복 실행한다.
복호 대상 블록마다 반복되는 처리에 있어서, 우선, 엔트로피 복호부(204)는 부호 데이터를 엔트로피 복호한다(S203 단계).
그리고, 역양자화·역변환부(205)는 역양자화·역변환을 행하여 복호 예측 잔차를 생성한다(S204 단계). 예측 정보나 그 밖의 부가 정보가 부호 데이터에 포함되는 경우는 이들도 복호하여 적절히 필요한 정보를 생성해도 상관없다.
다음에, 1차 예측 화상 생성부(206)는 움직임 예측 화상과 시차 예측 화상을 생성한다(S205 단계).
예측 정보가 부호화되어 영상의 부호 데이터와 다중화되어 있는 경우에는, 그 정보를 (복호하여) 이용하여 예측 화상 생성을 행해도 상관없고, 전술한 바와 같이 주변 예측 정보나 자신의 잔차 예측 정보 등으로부터 도출할 수 있는 경우에는 이러한 부호화된 정보는 없어도 상관없다. 또한, 한쪽의 예측 정보로부터 다른 쪽 예측 정보를 도출할 수 있는 경우에는 한쪽의 예측 정보만을 부호화한 정보를 사용해도 된다.
또한, 예측 정보의 예측 잔차가 부호화되어 있는 경우에는 이를 복호하여 이용하여 예측 정보 예측을 행해도 상관없다. 상세한 처리 동작은 부호화 장치와 동일하다.
다음에, 보정 예측 화상 생성부(207)는 예측 정보에 기초하여 보정 참조 픽처 및 그 픽처 내의 보정 참조처를 결정하고 보정 예측 화상을 생성한다(S206 단계).
보정 예측 화상을 생성하면, 예측 화상 생성부(208)는 움직임 예측 화상과 시차 예측 화상과 보정 예측 화상으로부터 예측 화상을 생성한다(S207 단계).
상세한 처리 동작은 부호화 장치와 동일하다. 전술한 설명에서는 최종적인 예측 화상을 생성하고 나서 예측 잔차를 생성하고 있지만, 보정 예측 화상과 움직임 및 시차 예측의 예측 화상으로부터 각각의 예측 잔차의 예측값(예측 예측 잔차)을 생성하고, 이에 기초하여 복호 예측 잔차를 갱신하는 형태로 예측 잔차를 생성해도 상관없다.
다음에, 예측 화상 생성이 종료되면, 가산부(209)는 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성하고 참조 픽처 메모리에 기억하며, 모든 블록에 대해 처리가 종료되면 복호 화상을 출력한다(S208 단계).
필요하면 복호 화상에 루프 필터를 걸어도 상관없다. 통상의 영상 복호에서는 디블로킹 필터나 그 밖의 필터를 사용하여 부호화 잡음을 제거한다.
다음에, 도 5를 참조하여 보정 예측의 상세한 처리 동작에 대해 설명한다. 도 5는 보정 예측의 개념을 나타내는 도면이다.
여기서는, 움직임 예측에서 참조하는 픽처를 참조 프레임 픽처, 시차 예측에서 참조하는 픽처를 참조 시점 픽처로 하고, 보정 예측에서 참조하는 픽처를 보정 참조 픽처로 한다.
보정 참조 픽처로서는 어떠한 픽처를 선택해도 상관없지만, 도 5에서는 참조 프레임 픽처와 동일한 프레임에 속하면서 참조 시점 픽처와 동일한 시점의 픽처를 참조 픽처로 하는 경우의 예를 나타낸다.
우선, 부호화 대상 픽처(A) 내의 부호화 대상 블록(a)으로부터 예측하여 움직임 예측 화상(PIM)을 생성하고, 그 화상을 포함하는 픽처를 참조 프레임 픽처(B)로서 기억한다.
또한, 부호화 대상 픽처(A) 내의 부호화 대상 블록(a)으로부터 예측하여 시차 예측 화상(PID)을 생성하고, 그 화상을 포함하는 픽처를 참조 시점 픽처(C)로서 기억한다.
그리고, 움직임 예측 화상(PIM)과 시차 예측 화상(PID)으로부터 보정 예측 화상(PIC)을 생성하고, 그 화상을 포함하는 픽처를 보정 참조 픽처(D)로서 기억한다.
다음에, 평균화부(10)에 의해 움직임 예측 화상(PIM)과 시차 예측 화상(PID)의 평균을 구하고, 이를 1차 예측 화상(e)으로 한다.
한편, 감산기(20)에 의해 움직임 예측 화상(PIM)과 보정 예측 화상(PIC)의 차분을 구하고, 이를 예측 시차 예측 잔차(PPRD)로 한다.
또한, 감산기(30)에 의해 시차 예측 화상(PID)과 보정 예측 화상(PIC)의 차분을 구하고, 이를 예측 움직임 예측 잔차(PPRM)로 한다.
다음에, 평균화부(40)에 의해 예측 시차 예측 잔차(PPRD)와 예측 움직임 예측 잔차(PPRM)의 평균을 구하고, 이를 예측 예측 잔차(f)로 한다.
마지막으로 가산기(50)에 의해 1차 예측 화상(e)과 예측 예측 잔차(f)를 가산하여 예측 화상(PI)을 생성한다.
여기서, 예측 정보가 시점 간 참조 정보나 프레임 간 참조 정보로 이루어지는 경우, 각각의 참조 정보를 이용하여 보정 참조 픽처 상의 보정 예측 화상으로서 참조하는 영역을 결정한다.
예를 들어 참조 정보에 참조 프레임/시점 픽처 상의 영역을 나타내는 벡터가 포함되는 경우, 보정 참조 픽처 상의 보정 예측 화상으로서 참조하는 영역을 나타내는 보정 벡터(VC)는 움직임 벡터(VM)와 시차 벡터(VD)에 의해 이하의 식으로 나타난다.
VC=VM+VD
예측 화상 생성에서는, 이 보정 예측 화상(PIC)과 움직임 예측 화상(PIM)을 이용하여 시차 예측 화상(PID)의 부호화 대상 블록에 대한 예측 오차를 예측하고, 보정 예측 화상(PIC)과 시차 예측 화상(PID)을 이용하여 움직임 예측 화상(PIM)의 부호화 대상 블록에 대한 예측 오차를 예측하고, 움직임 예측 화상과 시차 예측 화상 각각에 대해 오차를 가미한 후에 최종적인 예측 화상을 생성한다.
이하에서는, 예측된 움직임 예측의 예측 오차를 예측 움직임 예측 잔차(상기 PPRM)라고 부르고, 예측된 시차 예측의 예측 잔차를 예측 시차 예측 잔차(상기 PPRD)라고 부른다.
예측 방법은 어떠한 방법으로도 상관없지만, 도 5에서는 보정 예측 화상과 각각의 예측 화상의 차분을 가지고 예측(움직임/시차) 예측 잔차로 하고 있다. 이 경우, 예측 움직임 예측 잔차(PPRM)와 예측 시차 예측 잔차(PPRD)는 이하의 식으로 나타난다.
PPRM=PID-PIC·PPRD=PIM-PIC
또한, 움직임 및 시차 각각의 예측 화상과 부호화 대상 블록의 차분이 1차 예측 잔차이고, 개념적으로는 각각의 1차 예측 잔차로부터 대응하는 예측 예측 잔차를 빼고 부호화 대상의 예측 잔차로 함으로써, 예측 잔차의 부호량을 저감할 수 있다. 이 예측 오차를 가지고 양쪽 예측의 예측 화상 보정을 행하는 경우, 최종적인 예측 화상(PI)은 이하의 식으로 나타난다.
[수학식 1]
Figure 112015087299230-pct00001
이와 같이, 예측 예측 잔차의 생성을 행하지 않고 상술한 바와 같은 식을 사용하여 직접 최종적인 예측 화상을 생성해도 된다.
또한, 여기서는 보정 전의 예측 화상은 양방향 예측 화상의 평균값이라고 하고 있지만, 그 밖에 어떠한 가중치 부여로 예측 화상을 생성하고 가중치를 가미한 보정을 행해도 상관없다. 또한, 예측 예측 잔차에 별도 가중치를 부여해도 상관없다.
예를 들어 한쪽 예측이 다른 한쪽 예측에 비해 정밀도가 떨어지는 경우에 그 정밀도에 따른 가중치를 부여해도 된다. 여기서는, 상술한 예에서 움직임 예측 화상(PIM)에 비해 시차 예측 화상(PID)의 정밀도가 낮은 경우의 가중치 부여 방법을 설명한다. 시차 보상 예측 화상에 대한 가중치를 W로 하면, 최종적인 예측 화상(PI)은 이하와 같은 식으로 나타낼 수 있다.
[수학식 2]
Figure 112015087299230-pct00002
상기 가중치(W)는 화상과 동일한 크기의 행렬로도 되고 스칼라로도 된다. W=1일 때에는 상기 「수학식 1」의 식과 일치한다.
또한, W는 어떻게 결정해도 된다. 전형예로서는, 시차 보상 예측의 정밀도가 좋은 경우에는 1로 하고 정밀도가 좋지 않은 경우에는 1/2, 정밀도가 현저히 나쁜 경우나 사용 가능한 시차 벡터가 없는 경우에는 0으로 하는 등의 경우가 있다.
또, 도 2 및 도 4에 도시된 일부 처리는 그 순서가 뒤바껴도 상관없다.
또한, 이상 설명한 영상 부호화 장치 및 영상 복호 장치의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터로 판독 가능한 기록매체에 기록하여 제공하는 것도 가능하다.
도 6은 전술한 영상 부호화 장치(100)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어이다.
본 시스템은:
·프로그램을 실행하는 CPU(30)와,
·CPU(30)가 액세스하는 프로그램이나 데이터가 기억되는 RAM 등의 메모리(31)
·카메라 등으로부터의 부호화 대상의 영상 신호를 영상 부호화 장치 내에 입력하는 부호화 대상 영상 입력부(32)(디스크 장치 등에 의한 영상 신호를 기억하는 기억부로도 됨)
·도 2에 도시된 처리 동작을 CPU(30)에 실행시키는 소프트웨어 프로그램인 영상 부호화 프로그램(331)이 기억된 프로그램 기억 장치(33)
·CPU(30)가 메모리(31)에 로드된 영상 부호화 프로그램을 실행함으로써 생성된 부호 데이터를 예를 들어 네트워크를 통해 출력하는 부호 데이터 출력부(34)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부로도 됨)
가 버스로 접속된 구성으로 되어 있다.
또한 도시되지 않았지만, 그 밖에 부호 데이터 기억부, 참조 프레임 기억부 등의 하드웨어가 설치되어 본 수법의 실시에 이용된다. 또한, 영상 신호 부호 데이터 기억부, 예측 정보 부호 데이터 기억부 등이 이용되기도 한다.
도 7은 전술한 영상 복호 장치(200)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어도이다.
본 시스템은:
·프로그램을 실행하는 CPU(40)
·CPU(40)가 액세스하는 프로그램이나 데이터가 기억되는 RAM 등의 메모리(41)
·영상 부호화 장치가 본 수법에 의해 부호화한 부호 데이터를 영상 복호 장치 내에 입력하는 부호 데이터 입력부(42)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부로도 됨)
·도 4에 도시된 처리 동작을 CPU(40)에 실행시키는 소프트웨어 프로그램인 영상 복호 프로그램(431)이 기억된 프로그램 기억 장치(43)
·CPU(40)가 메모리(41)에 로드된 영상 복호 프로그램을 실행함으로써 생성된 복호 영상을 재생 장치 등에 출력하는 복호 영상 출력부(44)
가 버스로 접속된 구성으로 되어 있다.
또한 도시되지 않았지만, 그 밖에 참조 프레임 기억부 등의 하드웨어가 설치되어 본 수법의 실시에 이용된다. 또한, 영상 신호 부호 데이터 기억부, 예측 정보 부호 데이터 기억부 등이 이용되기도 한다.
이상 설명한 바와 같이, 다시점 영상 부호화에서의 프레임 간 예측과 시점 간 예측을 둘 다 행할 수 있는 픽처에서 이들 프레임 간 예측과 시점 간 예측을 행하는 경우에, 각각의 참조처를 나타내는 정보로부터 새로 양 예측의 예측 오차를 보정하기 위한 보정 예측을 행함으로써 예측 잔차를 저감시켜 예측 잔차 부호화에 필요한 부호량을 삭감할 수 있다.
전술한 실시형태에서의 도 1에 도시된 영상 부호화 장치 및 도 3에 도시된 영상 복호 장치를 컴퓨터로 실현하도록 해도 된다.
그 경우, 해당 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 실현해도 된다.
또, 여기서 말하는 「컴퓨터 시스템」이란 OS나 주변 기기 등의 하드웨어를 포함하는 것으로 한다.
또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 포터블 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다.
삭제
또한 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 되고, 나아가 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것이어도 되고, PLD(Programmable Logic Device)나 FPGA(Field Programmable Gate Array) 등의 하드웨어를 이용하여 실현되는 것이어도 된다.
이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 행해도 된다
시간 방향과 시차 방향을 병용하는 예측이 부적합하기 때문에 단방향 예측이 이용됨으로써 예측 잔차의 부호량이 증대하는 경우에, 양쪽 예측의 예측 오차를 보정함으로써 부호량을 저감하는 것이 적합한 용도에 적용될 수 있다.
101…부호화 대상 영상 입력부
102…입력 화상 메모리
103…참조 픽처 메모리
104…예측부
105…1차 예측 화상 생성부
106…보정 예측 화상 생성부
107…예측 화상 생성부
108…감산기
109…변환·양자화부
110…역양자화·역변환부
111…가산기
112…엔트로피 부호화부
201…부호 데이터 입력부
202…부호 데이터 메모리
203…참조 픽처 메모리
204…엔트로피 복호부
205…역양자화·역변환부
206…1차 예측 화상 생성부
207…보정 예측 화상 생성부
208…예측 화상 생성부
209…가산기

Claims (18)

  1. 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 부호화 대상 영상을 예측 부호화하는 영상 부호화 장치로서,
    상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호 완료된 화상을 참조 픽처로 하여 부호화 대상 화상을 분할한 부호화 대상 블록마다 움직임 예측 및 시차 예측을 행하고, 상기 부호화 대상 블록 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 수단;
    상기 시점 간 참조 정보로부터 시차 예측 화상을 상기 부호화 대상 블록마다 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 상기 부호화 대상 블록마다 생성하는 1차 예측 화상 생성 수단;
    상기 부호화 대상 블록마다, 상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하는 보정 예측 화상 생성 수단;
    상기 시차 예측 화상과 상기 움직임 예측 화상과 상기 보정 예측 화상으로부터 상기 예측 화상을 상기 부호화 대상 블록마다 생성하는 예측 화상 생성 수단;을 구비하는 것을 특징으로 하는 영상 부호화 장치.
  2. 청구항 1에 있어서,
    상기 예측 화상 생성 수단은 상기 움직임 예측 화상과 상기 시차 예측 화상을 가산하고, 이로부터 상기 보정 예측 화상을 감산하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  3. 청구항 1에 있어서,
    상기 예측 화상 생성 수단은, 상기 시차 예측 화상의 정밀도 고저에 기초하여, 상기 예측 화상을 생성할 때에 상기 시차 예측 화상에 대한 가중치를 증감시키는 것을 특징으로 하는 영상 부호화 장치.
  4. 청구항 1에 있어서,
    상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처를 특정하는 정보를 포함하고,
    상기 보정 예측 화상 생성 수단은, 상기 시점 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 시점의 참조 픽처 중에서 상기 프레임 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 프레임의 참조 픽처를 보정 참조 픽처로서 참조하여 상기 보정 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  5. 청구항 4에 있어서,
    상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처 상에 있는 참조 위치를 특정하는 정보를 더 포함하고,
    상기 보정 예측 화상 생성 수단은, 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보에 기초하여 상기 보정 참조 픽처 상의 참조 위치를 결정하고 상기 보정 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  6. 청구항 1에 있어서,
    상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보를 특정하는 정보를 예측 정보로서 부호화하는 예측 정보 부호화 수단을 더 가지는 것을 특징으로 하는 영상 부호화 장치.
  7. 청구항 1에 있어서,
    상기 예측 수단은, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보 중에서 어느 한쪽을 다른 쪽 참조 정보가 나타내는 참조처의 부호화시의 예측 정보에 기초하여 생성하는 것을 특징으로 하는 영상 부호화 장치.
  8. 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 예측 부호화된 부호 데이터를 복호하는 영상 복호 장치로서,
    상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호 완료된 화상을 참조 픽처로 하여 복호 대상 화상을 분할한 복호 대상 블록마다 움직임 예측 및 시차 예측을 행하고, 상기 복호 대상 블록 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 수단;
    상기 시점 간 참조 정보로부터 시차 예측 화상을 상기 복호 대상 블록마다 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 상기 복호 대상 블록마다 생성하는 1차 예측 화상 생성 수단;
    상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 상기 복호 대상 블록마다 생성하는 보정 예측 화상 생성 수단;
    시차 예측 화상과 움직임 예측 화상과 보정 예측 화상으로부터 예측 화상을 상기 복호 대상 블록마다 생성하는 예측 화상 생성 수단;을 구비하는 것을 특징으로 하는 영상 복호 장치.
  9. 청구항 8에 있어서,
    상기 예측 화상 생성 수단에서는 상기 움직임 예측 화상과 상기 시차 예측 화상을 가산하고, 이로부터 상기 보정 예측 화상을 감산하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
  10. 청구항 8에 있어서,
    상기 예측 화상 생성 수단은, 상기 시차 예측 화상의 정밀도 고저에 기초하여, 상기 예측 화상을 생성할 때에 상기 시차 예측 화상에 대한 가중치를 증감시키는 것을 특징으로 하는 영상 복호 장치.
  11. 청구항 8에 있어서,
    상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처를 특정하는 정보를 포함하고,
    상기 보정 예측 화상 생성 수단에서는, 상기 시점 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 시점의 참조 픽처 중에서 상기 프레임 간 참조 정보가 나타내는 상기 참조 픽처와 동일한 프레임의 참조 픽처를 보정 참조 픽처로서 참조하여 상기 보정 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
  12. 청구항 11에 있어서,
    상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보는 상기 참조 픽처 상에 있는 참조 위치를 특정하는 정보를 더 포함하고,
    상기 보정 예측 화상 생성 수단에서는, 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보에 기초하여 상기 보정 참조 픽처 상의 참조 위치를 결정하고 상기 보정 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
  13. 청구항 8에 있어서,
    상기 부호 데이터로부터 예측 정보를 복호하고 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보를 특정하는 예측 정보를 생성하는 예측 정보 복호 수단을 더 가지며,
    상기 예측 수단은, 생성된 상기 예측 정보에 기초하여 상기 프레임 간 참조 정보와 상기 시점 간 참조 정보를 결정하는 것을 특징으로 하는 영상 복호 장치.
  14. 청구항 8에 있어서,
    상기 예측 수단은, 상기 시점 간 참조 정보 및 상기 프레임 간 참조 정보 중에서 어느 한쪽을 상기 부호 데이터로부터 복호하고, 다른 쪽 참조 정보는 복호된 참조 정보가 나타내는 참조처의 복호화시의 예측 정보에 기초하여 생성하는 것을 특징으로 하는 영상 복호 장치.
  15. 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 부호화 대상 영상을 예측 부호화하는 영상 부호화 장치가 행하는 영상 부호화 방법으로서,
    상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호 완료된 화상을 참조 픽처로 하여 부호화 대상 화상을 분할한 부호화 블록마다 움직임 예측 및 시차 예측을 행하고, 상기 부호화 블록 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 단계;
    상기 시점 간 참조 정보로부터 시차 예측 화상을 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 생성하는 제1 예측 화상 생성 단계;
    상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하는 보정 예측 화상 생성 단계;
    상기 시차 예측 화상과 상기 움직임 예측 화상과 상기 보정 예측 화상으로부터 상기 예측 화상을 생성하는 제2 예측 화상 생성 단계;를 가지며,
    상기 제1 예측 화상 생성 단계, 상기 보정 예측 화상 생성 단계 및 상기 제2 예측 화상 생성 단계는 상기 부호화 블록마다 행해지는 것을 특징으로 하는 영상 부호화 방법.
  16. 시간 방향 및 시차 방향의 화면 간 예측을 행하고, 오차를 보정한 예측 화상을 생성하여 예측 부호화된 부호 데이터를 복호하는 영상 복호 장치가 행하는 영상 복호 방법으로서,
    상기 시간 방향 및 상기 시차 방향 각각에서 이미 복호 완료된 화상을 참조 픽처로 하여 복호 대상 화상을 분할한 복호 블록마다 움직임 예측 및 시차 예측을 행하고, 상기 복호 블록 각각의 참조처를 나타내는 프레임 간 참조 정보와 시점 간 참조 정보를 결정하는 예측 단계;
    상기 시점 간 참조 정보로부터 시차 예측 화상을 생성하고, 상기 프레임 간 참조 정보로부터 움직임 예측 화상을 생성하는 제1 예측 화상 생성 단계;
    상기 시점 간 참조 정보와 상기 프레임 간 참조 정보로부터 보정 예측 화상을 생성하는 보정 예측 화상 생성 단계;
    시차 예측 화상과 움직임 예측 화상과 보정 예측 화상으로부터 예측 화상을 생성하는 제2 예측 화상 생성 단계;를 가지며,
    상기 제1 예측 화상 생성 단계, 상기 보정 예측 화상 생성 단계 및 상기 제2 예측 화상 생성 단계는 상기 복호 블록마다 행해지는 것을 특징으로 하는 영상 복호 방법.
  17. 청구항 15에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  18. 청구항 16에 기재된 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.















KR1020157024544A 2013-04-12 2014-04-11 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법과 이들의 프로그램 KR101761331B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013084197 2013-04-12
JPJP-P-2013-084197 2013-04-12
PCT/JP2014/060489 WO2014168238A1 (ja) 2013-04-12 2014-04-11 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム

Publications (2)

Publication Number Publication Date
KR20150119052A KR20150119052A (ko) 2015-10-23
KR101761331B1 true KR101761331B1 (ko) 2017-07-25

Family

ID=51689639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157024544A KR101761331B1 (ko) 2013-04-12 2014-04-11 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법과 이들의 프로그램

Country Status (5)

Country Link
US (1) US20160073125A1 (ko)
JP (1) JP5894338B2 (ko)
KR (1) KR101761331B1 (ko)
CN (1) CN105052148B (ko)
WO (1) WO2014168238A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556314A (zh) * 2020-05-18 2020-08-18 郑州工商学院 一种计算机图像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP4185014B2 (ja) * 2004-04-14 2008-11-19 日本電信電話株式会社 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
BRPI0620645B8 (pt) * 2006-01-05 2022-06-14 Nippon Telegraph & Telephone Método e aparelho de codificação de vídeo, e método e aparelho de decodificação de vídeo
KR101370919B1 (ko) * 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
JP2012080151A (ja) * 2009-02-09 2012-04-19 Toshiba Corp 幾何変換動き補償予測を用いる動画像符号化及び動画像復号化の方法と装置
ES2561078T3 (es) * 2010-07-15 2016-02-24 Ge Video Compression, Llc Codificación de vídeo híbrido que soporta síntesis de vistas intermedias
CN102244801A (zh) * 2011-07-13 2011-11-16 中国民航大学 一种数字立体电视系统及编解码方法
CN102685532B (zh) * 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码系统的编码方法
IN2014KN02890A (ko) * 2012-06-19 2015-05-08 Lg Electronics Inc
US9357212B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding

Also Published As

Publication number Publication date
CN105052148B (zh) 2018-07-10
KR20150119052A (ko) 2015-10-23
WO2014168238A1 (ja) 2014-10-16
US20160073125A1 (en) 2016-03-10
CN105052148A (zh) 2015-11-11
JP5894338B2 (ja) 2016-03-30
JPWO2014168238A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
US11252406B2 (en) Method and apparatus of encoding or decoding video blocks by current picture referencing coding
AU2015213340B2 (en) Video decoder, video encoder, video decoding method, and video encoding method
JP7164732B2 (ja) 映像符号化における幾何学的区分モード
KR20160118363A (ko) 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
KR20150135457A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
JP5894301B2 (ja) 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
KR20150122706A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 및 화상 복호 프로그램
KR101761331B1 (ko) 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법과 이들의 프로그램
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP5952733B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US20240048730A1 (en) Method and apparatus for improved warp delta signaling
KR101792089B1 (ko) 영상 부호화 장치 및 방법, 및 영상 복호 장치 및 방법
US20240040142A1 (en) Method and apparatus for warp sample selection and grouping
JP6310340B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
JP6306883B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
JP6139953B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
JPWO2015141549A1 (ja) 動画像符号化装置及び方法、及び、動画像復号装置及び方法
JP6306884B2 (ja) 予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant