KR20110091748A - 동화상 부호화 장치 및 동화상 복호 장치 - Google Patents

동화상 부호화 장치 및 동화상 복호 장치 Download PDF

Info

Publication number
KR20110091748A
KR20110091748A KR20117012794A KR20117012794A KR20110091748A KR 20110091748 A KR20110091748 A KR 20110091748A KR 20117012794 A KR20117012794 A KR 20117012794A KR 20117012794 A KR20117012794 A KR 20117012794A KR 20110091748 A KR20110091748 A KR 20110091748A
Authority
KR
South Korea
Prior art keywords
motion vector
motion
vector
unit
picture
Prior art date
Application number
KR20117012794A
Other languages
English (en)
Inventor
유이치 이데하라
šœ이치 세키구치
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20110091748A publication Critical patent/KR20110091748A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 당해 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 다이렉트 벡터 판정부(34)와, 다이렉트 벡터 판정부(34)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성부(35)를 마련한다.

Description

동화상 부호화 장치 및 동화상 복호 장치{DYNAMIC IMAGE ENCODING DEVICE AND DYNAMIC IMAGE DECODING DEVICE}
본 발명은, 디지털의 영상 신호인 동화상 데이터를 압축 부호화하여, 동화상 압축 부호화 데이터를 출력하는 동화상 부호화 장치와, 동화상 부호화 장치로부터 출력된 동화상 압축 부호화 데이터를 복호 처리하여, 디지털의 영상 신호를 복원하는 동화상 복호 장치에 관한 것이다.
MPEG이나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 영상 신호의 각 프레임을 부호화함에 있어서, 휘도 신호 16×16화소와, 그 휘도 신호에 대응하는 색차 신호 8×8화소분을 통합한 블록 데이터(이하, 「매크로 블록」이라고 기재함)를 1단위로 하여, 움직임(motion) 탐색/보상 기술 및 직교 변환/변환 계수 양자화 기술에 근거해서 압축함으로써, 부호화하는 방법이 채용되고 있다(예컨대, 특허문헌 1을 참조).
비트 스트림을 복호하는 경우도, 매크로 블록을 1단위로 하여 처리를 실시하고, 최종적으로 1화상 전부의 매크로 블록을 복호한 후, 복호 화상으로서 출력한다.
일반적으로, 동화상 부호화 장치에서의 움직임 탐색은 부호화 대상의 매크로 블록의 근방에 대해 실시된다.
그 때문에, 화면의 에지(edge)에 위치하는 매크로 블록에 대해서는, 유효한 탐색 영역이 필연적으로 좁아지게 되고, 그러한 위치에서의 매크로 블록에 대한 부호화에서는, 다른 위치의 매크로 블록보다 움직임 보상 예측의 정밀도가 저하되는 것이 회피할 수 없다.
따라서, 부호화 대상의 화면 에지의 매크로 블록에서는, 화질 열화의 문제가 발생하는 것이 알려져 있다.
그래서, 이하의 특허문헌 1에 개시되어 있는 동화상 부호화 장치에서는, 화면 에지의 매크로 블록에 있어서의 화질의 열화를 억제하기 위해서, 화면 에지의 매크로 블록의 양자화 파라미터를 조정하도록 하고 있다.
특허문헌 1 : 일본 특허 공개 제2000-059779호 공보(도 1)
종래의 동화상 부호화 장치는 이상과 같이 구성되어 있기 때문에, 화면 에지의 매크로 블록에서의 화질의 열화를 방지할 수 있지만, 화면 에지의 매크로 블록의 양자화 파라미터를 조정하면, 화면 에지의 매크로 블록의 부호량이, 다른 부분의 매크로 블록의 부호량보다 많아져 버리기 때문에, 압축율의 저하를 초래하게 되는 등의 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 압축율의 저하를 초래하는 일없이, 화면 에지의 매크로 블록에서의 화질의 열화를 방지할 수 있는 동화상 부호화 장치를 얻는 것을 목적으로 한다.
또한, 본 발명은, 상기와 같은 동화상 부호화 장치로부터 출력된 동화상 압축 부호화 데이터를 복호 처리하여, 디지털의 영상 신호를 복원할 수 있는 동화상 복호 장치를 얻는 것을 목적으로 한다.
본 발명에 따른 동화상 부호화 장치는, 부호화 대상의 픽쳐(picture)에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후(前後)하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과, 상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 당해 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과, 상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단을 마련하고, 부호화 수단이 상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상과 상기 동화상의 차분 화상을 구하고, 상기 차분 화상을 부호화하도록 한 것이다.
본 발명에 의하면, 부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과, 상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 당해 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과, 상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단을 마련하고, 부호화 수단이 상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상과 상기 동화상의 차분 화상을 구하고, 상기 차분 화상을 부호화하도록 구성했기 때문에, 압축율의 저하를 초래하는 일없이, 화면 에지의 매크로 블록에서의 화질의 열화를 방지할 수 있는 효과가 있다.
도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치와 동화상 복호 장치간의 접속 관계를 나타내는 구성도,
도 2는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치(1)를 나타내는 구성도,
도 3은 도 2의 동화상 부호화 장치(1)에서의 움직임 보상부(26)의 내부를 나타내는 구성도,
도 4는 H.264/AVC에 개시되어 있는 다이렉트 벡터 산출부(33)의 처리 내용을 나타내는 설명도,
도 5는 H.264/AVC에 개시되어 있는 다이렉트 벡터 산출부(33)의 처리 내용을 나타내는 설명도,
도 6은 H.264/AVC에 개시되어 있는 다이렉트 벡터 산출부(33)의 처리 내용을 나타내는 설명도,
도 7은 H.264/AVC에 개시되어 있는 다이렉트 벡터 산출부(33)의 처리 내용을 나타내는 설명도,
도 8은 한쪽의 다이렉트 벡터의 선단이 화면 밖의 영역을 지시하는 경우를 나타내는 설명도,
도 9는 화면 에지 화소를 화면 밖으로 신장하는 「화면 에지 확장(picture edge expansion)」이라고 불리는 기술을 나타내는 설명도,
도 10은 화면 외부의 영역을 포함하는 단위 영역을 지시하는 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외함으로써, 움직임 보상 예측 화상 생성부(35)에 의해 생성되는 움직임 보상 예측 화상을 나타내는 설명도,
도 11은 본 발명의 실시 형태 1에 따른 동화상 복호 장치(2)를 나타내는 구성도,
도 12는 도 11의 동화상 복호 장치(2)에서의 움직임 보상부(50)의 내부를 나타내는 구성도,
도 13은 본 발명의 실시 형태 2에 따른 동화상 부호화 장치(1)를 나타내는 구성도,
도 14는 도 13의 동화상 부호화 장치(1)에서의 움직임 보상부(71)의 내부를 나타내는 구성도,
도 15는 본 발명의 실시 형태 2에 따른 동화상 복호 장치(2)를 나타내는 구성도,
도 16은 도 15의 동화상 복호 장치(2)에서의 움직임 보상부(80)의 내부를 나타내는 구성도,
도 17은 다이렉트 벡터 판정부(34)의 처리 내용을 나타내는 설명도,
도 18은 다이렉트 벡터 판정부(34)의 처리 내용을 나타내는 설명도이다.
이하, 본 발명을 보다 상세히 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대해 첨부한 도면에 따라 설명한다.
(실시 형태 1)
도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치와 동화상 복호 장치간의 접속 관계를 나타내는 구성도이다.
도 1에 있어서, 동화상 부호화 장치(1)는 예컨대 H.264/AVC의 부호화 방식을 이용하는 부호화 장치이며, 동화상의 동화상 데이터(영상 신호)를 입력하면, 그 동화상 데이터를 구성하는 복수의 픽쳐(picture)를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 결정하고, 각 단위 영역의 움직임 벡터를 이용하여, 그 동화상 데이터의 압축 부호화를 행함으로써, 그 동화상 데이터의 압축 부호화 데이터인 비트 스트림을 동화상 복호 장치(2)에 송신한다.
동화상 복호 장치(2)는 동화상 부호화 장치(1)로부터 송신된 비트 스트림을 수신하면, 각 단위 영역의 움직임 벡터를 이용하여, 그 비트 스트림에 대한 복호 처리를 실시함으로써, 동화상의 동화상 데이터(영상 신호)를 복원한다.
<동화상 부호화 장치(1)의 구성>
도 2는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치(1)를 나타내는 구성도이고, 도 3은 도 2의 동화상 부호화 장치(1)에서의 움직임 보상부(26)의 내부를 나타내는 구성도이다.
도 2의 동화상 부호화 장치(1)에서의 기본적인 구성은 H.264/AVC에서 일반적으로 이용되는 동화상 부호화 장치의 구성과 동일하다.
단, H.264/AVC에는, 도 3의 다이렉트 벡터 판정부(34)가 움직임 보상부(26)에 실장되어 있지 않지만, 도 2의 동화상 부호화 장치(1)의 움직임 보상부(26)에는 다이렉트 벡터 판정부(34)가 실장되어 있어, 이 점에서만 차이가 있다.
도 2에 있어서, 감산기(11)는 동화상 데이터와 인트라 예측 보상부(intra-prediction compensation unit)(23)에 의해 생성된 인트라 예측 화상의 화상 데이터와의 차분을 구하고, 그 차분의 데이터인 인트라 차분 데이터를 부호화 모드 판정부(13)에 출력하는 처리를 실시한다.
감산기(12)는 동화상 데이터와 움직임 보상부(26)에 의해 생성된 움직임 보상 예측 화상의 화상 데이터와의 차분을 구하고, 그 차분의 데이터인 인터 차분 데이터(inter-difference data)를 부호화 모드 판정부(13)에 출력하는 처리를 실시한다.
부호화 모드 판정부(13)는 감산기(11)로부터 출력된 인트라 차분 데이터와 감산기(12)로부터 출력된 인터 차분 데이터를 비교하여, 인트라 예측에 근거해서 압축을 실시하는 부호화 모드를 채용하는 것인지, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드를 채용하는 것인지를 결정하고, 그 결정한 부호화 모드를 스위치(19, 28), 움직임 보상부(26) 및 가변 길이 부호화부(16)에 통지하는 처리를 실시한다. 또한, 부호화 모드 판정부(13)는 인트라 예측에 근거하여 압축을 실시하는 부호화 모드를 채용하는 경우, 감산기(11)로부터 출력된 인트라 차분 데이터를 변환부(14)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드를 채용하는 경우, 감산기(12)로부터 출력된 인터 차분 데이터를 변환부(14)에 출력하는 처리를 실시한다.
변환부(14)는 부호화 모드 판정부(13)로부터 출력된 인트라 차분 데이터 또는 인터 차분 데이터를 정수 변환하고, 그 정수 변환 데이터를 양자화부(15)에 출력하는 처리를 실시한다.
양자화부(15)는 변환부(14)로부터 출력된 정수 변환 데이터를 양자화하고, 그 양자화 데이터를 가변 길이 부호화부(16) 및 역양자화부(17)에 출력하는 처리를 실시한다.
가변 길이 부호화부(16)는 양자화부(15)로부터 출력된 양자화 데이터와, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드와, 스위치(28)로부터 출력된 인트라 예측 모드 또는 벡터 정보(움직임 예측부(27)에 의해 결정된 최적의 움직임 벡터에 관한 벡터 정보)를 가변 길이 부호화하고, 그 가변 길이 부호화 데이터(압축 부호화 데이터)인 비트 스트림을 동화상 복호 장치(2)에 송신하는 처리를 실시한다.
또, 감산기(11, 12), 부호화 모드 판정부(13), 변환부(14), 양자화부(15) 및 가변 길이 부호화부(16)로 부호화 수단이 구성되어 있다.
역양자화부(17)는 양자화부(15)로부터 출력된 양자화 데이터를 역양자화하고, 그 역양자화 데이터를 역변환부(18)에 출력하는 처리를 실시한다.
역변환부(18)는 역양자화부(17)로부터 출력된 역양자화 데이터를 역정수 변환(inverse integer conversion)하고, 그 역정수 변환 데이터인 화소 도메인의 차분 데이터를 가산기(20)에 출력하는 처리를 실시한다.
스위치(19)는 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 인트라 예측 보상부(23)에 의해 생성된 인트라 예측 화상의 화상 데이터를 가산기(20)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 움직임 보상부(26)에 의해 생성된 움직임 보상 예측 화상의 화상 데이터를 가산기(20)에 출력하는 처리를 실시한다.
가산기(20)는 스위치(19)로부터 출력된 인트라 예측 화상 또는 움직임 보상 예측 화상의 화상 데이터와 역변환부(18)로부터 출력된 화소 도메인의 차분 데이터를 가산하는 처리를 실시한다.
인트라 예측용 메모리(21)는 가산기(20)로부터 출력된 가산 데이터를 인트라 예측용 화상의 화상 데이터로서 저장하는 메모리이다.
인트라 예측부(22)는 동화상 데이터와 인트라 예측용 메모리(21)에 저장되어 있는 주변 화소의 화상 데이터(인트라 예측용 화상의 화상 데이터)를 비교하여, 최적의 인트라 예측 모드를 결정하는 처리를 실시한다.
인트라 예측 보상부(23)는 인트라 예측용 메모리(21)에 저장되어 있는 주변 화소의 화상 데이터(인트라 예측용 화상의 화상 데이터)로부터, 인트라 예측부(22)에 의해 결정된 최적의 인트라 예측 모드의 인트라 예측 화상을 생성하는 처리를 실시한다.
루프 필터(loop filter)(24)는 가산기(20)로부터 출력된 가산 데이터에 포함되어 있는 예측 루프 내의 잡음 성분을 제거하는 등의 필터링 처리를 실시한다.
프레임 메모리(25)는 루프 필터(24)에 의한 필터링 처리 후의 가산 데이터를 참조 화상의 화상 데이터로서 저장하는 메모리이다.
움직임 보상부(26)는 동화상 데이터를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 예측 벡터나 다이렉트 벡터를 하나 이상 예측함과 아울러, 움직임 예측부(27)에 의해 결정된 하나 이상의 최적의 움직임 벡터와 프레임 메모리(25)에 저장되어 있는 참조 화상의 화상 데이터로부터 움직임 보상 예측 화상을 생성하는 처리를 실시한다.
움직임 예측부(27)는 동화상 데이터와, 프레임 메모리(25)에 저장되어 있는 참조 화상의 화상 데이터와, 움직임 보상부(26)의 예측 벡터 산출부(32)에 의해 예측된 예측 벡터와, 움직임 보상부(26)의 다이렉트 벡터 판정부(34)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터로부터, 하나 이상의 최적의 움직임 벡터를 결정하는 처리를 실시한다. 예컨대, P 픽쳐의 움직임 벡터이면, 최적의 움직임 벡터로서, 하나의 움직임 벡터를 결정하고, B 픽쳐의 움직임 벡터이면, 최적의 움직임 벡터로서, 2개의 움직임 벡터를 결정한다.
즉, 움직임 예측부(27)는 일반적으로 R-D 최적화(R-D optimization)라고 불리는 기술(간단히, 동화상 데이터와 프레임 메모리(25)에 저장되어 있는 참조 화상의 화상 데이터의 차분을 최소로 할 뿐만 아니라, 움직임 벡터의 부호량도 가미한 모양의 움직임 벡터의 결정 기술)에 의해서, 하나 이상의 최적의 움직임 벡터를 결정하는 처리를 실시한다.
스위치(28)는 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 인트라 예측부(22)에 의해 결정된 최적의 인트라 예측 모드를 가변 길이 부호화부(16)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 움직임 예측부(27)에 의해 결정된 최적의 움직임 벡터에 관한 벡터 정보(최적의 움직임 벡터가 움직임 보상부(26)의 예측 벡터 산출부(32)에 의해 예측된 예측 벡터로부터 결정되어 있는 경우, 그 움직임 벡터와 예측 벡터의 차분을 나타내는 차분 벡터, 최적의 움직임 벡터가 움직임 보상부(26)의 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터로부터 결정되어 있는 경우, 그 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내는 정보)를 가변 길이 부호화부(16)에 출력하는 처리를 실시한다.
도 3에 있어서, 움직임 보상부(26)의 벡터 맵 보존용 메모리(vertor map storage memory)(31)는 움직임 예측부(27)에 의해 결정된 최적의 움직임 벡터, 즉, 각 픽쳐에서의 부호화 완료된 단위 영역의 움직임 벡터를 보존하는 메모리이다. 단, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 그 움직임 벡터의 보존을 계속하지만, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 그 움직임 벡터를 가산 평균 대상의 벡터로부터 제외한다.
예측 벡터 산출부(32)는 벡터 맵 보존용 메모리(31)에 보존되어 있는 움직임 벡터를 참조하여, 소정의 규칙에 근거해서, 하나 이상의 예측 벡터를 예측하는 처리를 실시한다.
다이렉트 벡터 산출부(33)는 벡터 맵 보존용 메모리(31)에 보존되어 있는 움직임 벡터, 즉, 부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 다이렉트 벡터로서 하나 이상 예측하는 처리를 실시한다. 또, 다이렉트 벡터 산출부(33)는 움직임 벡터 예측 수단을 구성하고 있다.
다이렉트 벡터 판정부(34)는 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 그 다이렉트 벡터를 움직임 예측부(27)에 출력하지만, 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 처리를 실시한다. 또, 다이렉트 벡터 판정부(34)는 움직임 벡터 선별 수단을 구성하고 있다.
움직임 보상 예측 화상 생성부(35)는 움직임 예측부(27)에 의해 결정된 하나 이상의 최적의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 처리를 실시한다. 또, 움직임 보상 예측 화상 생성부(35)는 움직임 보상 예측 화상 생성 수단을 구성하고 있다.
다음으로 동작에 대하여 설명한다.
단, 도 2의 동화상 부호화 장치(1)에 있어서, 움직임 보상부(26)의 다이렉트 벡터 판정부(34) 이외의 처리부에 대해서는, H.264/AVC에서 일반적으로 이용되는 처리와 동등하기 때문에, 다이렉트 벡터 판정부(34) 이외의 처리부의 동작에 대해서는 간단히 설명한다.
감산기(11)는, 동화상의 동화상 데이터를 입력하면, 그 동화상 데이터와 후술하는 인트라 예측 보상부(23)에 의해 생성된 인트라 예측 화상의 화상 데이터의 차분을 구하고, 그 차분의 데이터인 인트라 차분 데이터를 부호화 모드 판정부(13)에 출력한다.
또한, 감산기(12)는, 동화상의 동화상 데이터를 입력하면, 그 동화상 데이터와 후술하는 움직임 보상부(26)에 의해 생성된 움직임 보상 예측 화상의 화상 데이터의 차분을 구하고, 그 차분의 데이터인 인터 차분 데이터를 부호화 모드 판정부(13)에 출력한다.
부호화 모드 판정부(13)는, 감산기(11)로부터 인트라 차분 데이터를 받고, 감산기(12)로부터 인터 차분 데이터를 받으면, 그 인트라 차분 데이터와 인터 차분 데이터를 비교하여, 인트라 예측에 근거해서 압축을 실시하는 부호화 모드를 채용하는 것인지, 움직임 예측에 근거해서 압축을 실시하는 부호화 모드를 채용하는 것인지를 결정한다. 단, 인트라 차분 데이터와 인터 차분 데이터를 비교하는 것에 의한 부호화 모드의 결정 방법은, 일반적으로 R-D 최적화라고 불리는 기술(간단히 차분이 작은 쪽을 선택한다라는 것은 아니고, 부호량도 가미한 모양의 부호화 모드의 결정 기술)을 이용한다.
부호화 모드 판정부(13)는, 부호화 모드를 결정하면, 그 부호화 모드를 스위치(19, 28), 움직임 보상부(26) 및 가변 길이 부호화부(16)에 통지한다.
또한, 부호화 모드 판정부(13)는, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드를 채용하는 경우, 감산기(11)로부터 출력된 인트라 차분 데이터를 변환부(14)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드를 채용하는 경우, 감산기(12)로부터 출력된 인터 차분 데이터를 변환부(14)에 출력한다.
변환부(14)는, 부호화 모드 판정부(13)로부터 인트라 차분 데이터 또는 인터 차분 데이터를 받으면, 그 인트라 차분 데이터 또는 인터 차분 데이터를 정수 변환하고, 그 정수 변환 데이터를 양자화부(15)에 출력한다.
양자화부(15)는, 변환부(14)로부터 정수 변환 데이터를 받으면, 그 정수 변환 데이터를 양자화하고, 그 양자화 데이터를 가변 길이 부호화부(16) 및 역양자화부(17)에 출력한다.
가변 길이 부호화부(16)는, 양자화부(15)로부터 출력된 양자화 데이터와, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드와, 후술하는 스위치(28)로부터 출력된 인트라 예측 모드 또는 벡터 정보(움직임 예측부(27)에 의해 결정된 최적의 움직임 벡터에 관한 벡터 정보)를 가변 길이 부호화하고, 그 가변 길이 부호화 데이터인 비트 스트림을 동화상 복호 장치(2)에 송신한다.
역양자화부(17)는, 양자화부(15)로부터 양자화 데이터를 받으면, 그 양자화 데이터를 역양자화하고, 그 역양자화 데이터를 역변환부(18)에 출력한다.
역변환부(18)는, 역양자화부(17)로부터 역양자화 데이터를 받으면, 그 역양자화 데이터를 역정수 변환하고, 그 역정수 변환 데이터인 화소 도메인의 차분 데이터를 가산기(20)에 출력한다.
스위치(19)는, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 후술하는 인트라 예측 보상부(23)에 의해 생성된 인트라 예측 화상의 화상 데이터를 가산기(20)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 후술하는 움직임 보상부(26)에 의해 생성된 움직임 보상 예측 화상의 화상 데이터를 가산기(20)에 출력한다.
가산기(20)는, 스위치(19)로부터 출력된 인트라 예측 화상 또는 움직임 보상 예측 화상의 화상 데이터와 역변환부(18)로부터 출력된 화소 도메인의 차분 데이터를 가산하고, 그 가산 데이터를 인트라 예측용 메모리(21) 및 루프 필터(24)에 출력한다.
인트라 예측부(22)는, 입력된 동화상의 동화상 데이터와, 인트라 예측용 메모리(21)에 저장되어 있는 주변 화소의 화상 데이터(인트라 예측용 화상의 화상 데이터)를 비교하여, 최적의 인트라 예측 모드를 결정한다. 최적의 인트라 예측 모드의 결정 방법은, 일반적으로 R-D 최적화라고 불리는 기술을 이용하기 때문에, 상세한 설명을 생략한다.
인트라 예측 보상부(23)는, 인트라 예측부(22)가 최적의 인트라 예측 모드를 결정하면, 인트라 예측용 메모리(21)에 저장되어 있는 주변 화소의 화상 데이터(인트라 예측용 화상의 화상 데이터)로부터, 그 인트라 예측 모드의 인트라 예측 화상을 생성하고, 그 인트라 예측 화상의 화상 데이터를 감산기(11) 및 스위치(19)에 출력한다. 단, 인트라 예측 화상의 생성 방법은, H.264/AVC에 개시되어 있기 때문에, 상세한 설명을 생략한다.
루프 필터(24)는, 가산기(20)로부터 가산 데이터(움직임 보상 예측 화상의 화상 데이터+화소 도메인의 차분 데이터)를 받으면, 그 가산 데이터에 포함되고 있는 예측 루프 내의 잡음 성분을 제거하는 등의 필터링 처리를 실시하고, 필터링 처리 후의 가산 데이터를 참조 화상의 화상 데이터로서 프레임 메모리(25)에 저장한다.
움직임 보상부(26)는, 동화상 데이터를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 예측 벡터나 다이렉트 벡터를 하나 이상 예측함과 아울러, 움직임 예측부(27)에 의해 결정된 하나 이상의 최적의 움직임 벡터와 프레임 메모리(25)에 저장되어 있는 참조 화상으로부터 움직임 보상 예측 화상을 생성하는 처리를 실시한다.
이하, 움직임 보상부(26)의 처리 내용을 구체적으로 설명한다.
움직임 보상부(26)의 벡터 맵 보존용 메모리(31)에는, 이전, 움직임 예측부(27)에 의해 결정된 최적의 움직임 벡터, 즉, 각 픽쳐에서의 부호화 완료된 단위 영역의 움직임 벡터가 보존되어 있다. 단, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 그 움직임 벡터의 보존이 계속되지만, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 그 움직임 벡터는 가산 평균 대상의 벡터로부터 제외된다.
움직임 보상부(26)의 예측 벡터 산출부(32)는, 벡터 맵 보존용 메모리(31)에 보존되어 있는 각 픽쳐에서의 부호화 완료된 단위 영역의 움직임 벡터를 참조하여, 소정의 규칙에 근거해서, 하나 이상의 예측 벡터를 산출한다. 단, 예측 벡터의 산출 규칙은, H.264/AVC에 개시되어 있기 때문에, 상세한 설명을 생략한다.
움직임 보상부(26)의 다이렉트 벡터 산출부(33)는, 벡터 맵 보존용 메모리(31)에 보존되어 있는 움직임 벡터, 즉, 부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나, 상기 픽쳐와 시간적으로 전후하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 다이렉트 벡터로서 하나 이상 예측한다.
여기서, 도 4 내지 도 7은 H.264/AVC에 개시되어 있는 다이렉트 벡터 산출부(33)의 처리 내용을 나타내는 설명도이다.
H.264/AVC에서의 다이렉트 벡터는, B 픽쳐에서 사용되는 벡터이고, 도 4 내지 도 7에서는, 시간 다이렉트 방식의 예를 나타내고 있다.
이 예에서는, 다이렉트 벡터 산출부(33)에 의해, 도 7에 나타내는 2개의 다이렉트 벡터(B 픽쳐의 벡터를 참조)가 산출되게 된다.
이 때문에, 후술하는 움직임 보상 예측 화상 생성부(35)가 움직임 보상 예측 화상을 생성할 때, 도 8에 나타내는 화상 위치를 참조하게 되어, 한쪽의 다이렉트 벡터가 화면 밖의 영역을 포함하는 참조를 행하게 된다(P 픽쳐의 점선부를 참조).
단, 다이렉트 벡터의 선단이 화면 내를 지시하고 있더라도, 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터는 화면 밖을 지시하고 있는 것으로 한다.
H.264/AVC에는, 일반적으로「화면 에지 확장」이라고 불리는 기술이 규격으로 정해져 있다. 즉, 도 9에 나타낸 바와 같이, 화면 에지 화소를 화면 밖으로 신장하는 모양으로 화면 밖 화소를 결정하는 것이 규격화되어 있다.
이것에 의해, 도 9에 나타내어져 있는 회색의 부분이, 움직임 보상 예측 화상 생성부(35)로부터 움직임 보상 예측 화상의 일부로서, 다이렉트 모드 예측 화상이 출력되어 버리기 때문에, 예측 효율의 저하에 이어진다.
이와 관련하여, 이 예에 나타내는 화상을 H.264/AVC의 일반의 방법을 이용하여 부호화한 경우에는, 해당 블록의 부호화에 약 30bit 필요로 한다((CAVLC, B_16×16_L0, 움직임 벡터(8.0, 8.0), 계수 없음)으로 부호화할 필요가 있음).
본 실시 형태 1에서는, 상기와 같은 다이렉트 모드 예측 화상의 출력을 회피하기 위해서, 다이렉트 벡터의 결정을 도 10에 나타내는 알고리즘으로 행하도록 하고 있다.
도 10에 나타내는 알고리즘은 화면 밖을 포함하는 영역을 지시하는 다이렉트 벡터를 채용하지 않는 알고리즘이며, 후술하는 다이렉트 벡터 판정부(34)가 당해 알고리즘을 실행한다.
화면 밖을 포함하는 영역을 지시하는 다이렉트 벡터를 채용하지 않으면, 편방향의 참조로 되어, 다이렉트 모드 예측 화상이 부호화 대상 화상과 일치하기 때문에, 예측 효율이 현저히 향상된다.
본 실시 형태 1의 예에서는, B_Skip을 부호화하면 충분하게 된다(B_Skip은 가변 길이 부호이지만, 일반적으로는 평균 1bit 이하 정도인 것이 알려져 있다).
움직임 보상부(26)의 다이렉트 벡터 판정부(34)는, 다이렉트 벡터 산출부(33)가 하나 이상의 다이렉트 벡터를 예측하면, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 그 다이렉트 벡터를 움직임 예측부(27)에 출력하지만, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외한다.
단, 다이렉트 벡터 산출부(33)에 의해 예측된 모든 다이렉트 벡터가, 화면 외부의 영역을 포함하는 단위 영역을 지시하는 다이렉트 벡터에 해당하는 경우에는, 예외적으로, 다이렉트 벡터 판정부(34)에서 가산 평균 대상의 벡터로부터 제외하지 않고, 그들의 다이렉트 벡터를 움직임 예측부(27)에 출력하는 것으로 한다.
움직임 예측부(27)는, 동화상의 동화상 데이터와, 프레임 메모리(25)에 저장되어 있는 참조 화상의 화상 데이터와, 움직임 보상부(26)의 예측 벡터 산출부(32)에 의해 예측된 예측 벡터와, 움직임 보상부(26)의 다이렉트 벡터 판정부(34)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터로부터, 하나 이상의 최적의 움직임 벡터를 결정한다.
예컨대, P 픽쳐의 움직임 벡터이면, 최적의 움직임 벡터로서, 하나의 움직임 벡터를 결정하고, B 픽쳐의 움직임 벡터이면, 최적의 움직임 벡터로서, 2개의 움직임 벡터를 결정한다. 단, 하나 이상의 최적의 움직임 벡터의 결정 방법은, 일반적으로 R-D 최적화라고 불리는 기술(간단히, 동화상 데이터와 프레임 메모리(25)에 저장되어 있는 참조 화상의 화상 데이터의 차분을 최소로 할 뿐만 아니라, 움직임 벡터의 부호량도 가미한 모양의 움직임 벡터의 결정 기술)에 의해서, 하나 이상의 최적의 움직임 벡터를 결정하는 처리를 실시한다.
움직임 예측부(27)는, 최적의 움직임 벡터를 결정하면, 그 최적의 움직임 벡터에 관한 벡터 정보를 스위치(28)에 출력한다.
즉, 움직임 예측부(27)는, 최적의 움직임 벡터를 결정함에 있어, 움직임 보상부(26)의 예측 벡터 산출부(32)에 의해 예측된 예측 벡터를 이용하여 결정하고 있으면, 그 움직임 벡터와 예측 벡터의 차분을 나타내는 차분 벡터를 벡터 정보로서 스위치(28)에 출력한다.
움직임 예측부(27)는, 최적의 움직임 벡터를 결정함에 있어, 움직임 보상부(26)의 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터를 이용하여 결정하고 있으면, 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내는 정보를 벡터 정보로서 스위치(28)에 출력한다.
움직임 보상부(26)의 움직임 보상 예측 화상 생성부(35)는, 움직임 예측부(27)가 최적의 움직임 벡터를 하나만 결정하면, 그 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값을 움직임 보상 예측 화상으로서 생성한다.
또한, 움직임 보상 예측 화상 생성부(35)는, 움직임 예측부(27)가 최적의 움직임 벡터를 2개 이상 결정하면, 2개 이상의 최적의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성한다.
상기한 바와 같이 해서, 움직임 보상부(26)의 다이렉트 벡터 판정부(34)가, 화면 외부의 영역을 포함하는 단위 영역을 지시하는 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외함으로써, 움직임 보상 예측 화상 생성부(35)에 의해 생성되는 움직임 보상 예측 화상은 도 10과 같이 된다.
이 때문에, H.264/AVC에서는, B_Skip으로 부호화할 수 없고, 약 30bit의 부호가 필요한 부분에서, 본 실시 형태 1에서는, B_Skip으로 부호화할 수 있기 때문에, 불과 1bit 정도의 부호면 되어, 예측 효율이 향상되는 이점이 얻어진다.
스위치(28)는, 부호화 모드 판정부(13)에 의해 결정된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 인트라 예측부(22)에 의해 결정된 최적의 인트라 예측 모드를 가변 길이 부호화부(16)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 움직임 예측부(27)에 의해 결정된 최적의 움직임 벡터에 관한 벡터 정보를 가변 길이 부호화부(16)에 출력한다.
<동화상 복호 장치(2)의 구성>
도 11은 본 발명의 실시 형태 1에 따른 동화상 복호 장치(2)을 나타내는 구성도이고, 도 12는 도 11의 동화상 복호 장치(2)에서의 움직임 보상부(50)의 내부를 나타내는 구성도이다.
도 11의 동화상 복호 장치(2)에서의 기본적인 구성은 H.264/AVC에서 일반적으로 이용되는 동화상 복호 장치의 구성과 동일하다.
단, H.264/AVC에는, 도 12의 다이렉트 벡터 판정부(66)가 움직임 보상부(50)에 실장되어 있지 않지만, 도 11의 동화상 복호 장치(2)의 움직임 보상부(50)에는, 다이렉트 벡터 판정부(66)가 실장되어 있어, 이 점에서만 차이가 있다.
도 11에 있어서, 가변 길이 복호부(41)는 동화상 부호화 장치(1)로부터 송신된 비트 스트림을 수신하면, 그 비트 스트림의 신택스(syntax) 해석을 실시하고, 동화상 부호화 장치(1)의 양자화부(15)로부터 출력된 양자화 데이터에 상당하는 예측 잔차 신호 부호화 데이터를 역양자화부(42)에 출력하고, 동화상 부호화 장치(1)의 부호화 모드 판정부(13)에 의해 결정된 부호화 모드를 스위치(46, 51)에 출력한다. 또한, 동화상 부호화 장치(1)의 인트라 예측부(22)로부터 출력된 인트라 예측 모드 또는 움직임 예측부(27)로부터 출력된 벡터 정보를 스위치(46)에 출력하고, 움직임 예측부(27)로부터 출력된 벡터 정보를 움직임 보상부(50)에 출력하는 처리를 실시한다.
역양자화부(42)는 가변 길이 복호부(41)으로부터 출력된 예측 잔차 신호 부호화 데이터를 역양자화하고, 그 역양자화 데이터를 역변환부(43)에 출력하는 처리를 실시한다.
역변환부(43)는 역양자화부(42)로부터 출력된 역양자화 데이터를 역정수 변환하고, 그 역정수 변환 데이터인 예측 잔차 신호 복호값을 가산기(44)에 출력하는 처리를 실시한다.
가산기(44)는 스위치(51)로부터 출력된 인트라 예측 화상 또는 움직임 보상 예측 화상의 화상 데이터와 역변환부(43)로부터 출력된 예측 잔차 신호 복호값을 가산하는 처리를 실시한다.
루프 필터(45)는 가산기(44)로부터 출력된 가산 데이터에 포함되어 있는 예측 루프 내의 잡음 성분을 제거하는 등의 필터링 처리를 실시하고, 필터링 처리 후의 가산 데이터를 복호 화상(동화상)의 동화상 데이터로서 출력하는 처리를 실시한다.
또, 가변 길이 복호부(41), 역양자화부(42), 역변환부(43), 가산기(44) 및 루프 필터(45)로부터 복호 수단이 구성되어 있다.
스위치(46)는 가변 길이 복호부(41)로부터 출력된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 가변 길이 복호부(41)로부터 출력된 인트라 예측 모드를 인트라 예측 보상부(48)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 가변 길이 복호부(41)로부터 출력된 벡터 정보를 움직임 보상부(50)에 출력하는 처리를 실시한다.
인트라 예측용 메모리(47)는 가산기(44)로부터 출력된 가산 데이터를 인트라 예측용 화상의 화상 데이터로서 저장하는 메모리이다.
인트라 예측 보상부(48)는 인트라 예측용 메모리(47)에 저장되어 있는 주변 화소의 화상 데이터(인트라 예측용 화상의 화상 데이터)로부터, 스위치(46)로부터 출력된 인트라 예측 모드의 인트라 예측 화상을 생성하는 처리를 실시한다.
프레임 메모리(49)는 루프 필터(45)로부터 출력된 동화상 데이터를 참조 화상의 화상 데이터로서 저장하는 메모리이다.
움직임 보상부(50)는 동화상 데이터를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 예측 벡터나 다이렉트 벡터를 하나 이상 예측함과 아울러, 프레임 메모리(49)에 저장되어 있는 참조 화상의 화상 데이터로부터 움직임 보상 예측 화상을 생성하는 처리를 실시한다.
스위치(51)는 가변 길이 복호부(41)로부터 출력된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 인트라 예측 보상부(48)에 의해 생성된 인트라 예측 화상의 화상 데이터를 가산기(44)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 움직임 보상부(50)에 의해 생성된 움직임 보상 예측 화상의 화상 데이터를 가산기(44)에 출력하는 처리를 실시한다.
도 12에 있어서, 움직임 보상부(50)의 벡터 맵 보존용 메모리(61)는 스위치(67)로부터 출력된 움직임 벡터, 즉, 각 픽쳐에서의 복호 완료된 단위 영역의 움직임 벡터를 저장하는 메모리이다.
스위치(62)는 가변 길이 복호부(41)로부터 출력된 벡터 정보가 차분 벡터에 상당하고 있으면, 예측 벡터 산출부(63)를 기동하고, 그 벡터 정보가 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내고 있으면, 다이렉트 벡터 산출부(65)를 기동하는 처리를 실시한다.
예측 벡터 산출부(63)는 벡터 맵 보존용 메모리(61)에 보존되어 있는 움직임 벡터를 참조하여, 소정의 규칙에 근거해서, 하나 이상의 예측 벡터를 예측하는 처리를 실시한다.
가산기(64)는 예측 벡터 산출부(63)에 의해 예측된 예측 벡터와 가변 길이 복호부(41)로부터 출력된 차분 벡터(예측 벡터 산출부(63)가 기동되어 있는 상황에서는, 가변 길이 복호부(41)로부터 출력되는 벡터 정보는 차분 벡터에 상당함)를 가산하고, 그 가산 결과인 움직임 벡터를 스위치(67)에 출력하는 처리를 실시한다.
다이렉트 벡터 산출부(65)는 벡터 맵 보존용 메모리(61)에 보존되어 있는 움직임 벡터, 즉, 복호 대상의 픽쳐에서의 복호 대상의 단위 영역의 근방에 존재하고 있는 복호 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 복호 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 복호 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 처리를 실시한다. 또, 다이렉트 벡터 산출부(65)는 움직임 벡터 예측 수단을 구성하고 있다.
다이렉트 벡터 판정부(66)는 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 그 다이렉트 벡터를 스위치(67)에 출력하지만, 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 처리를 실시한다. 또, 다이렉트 벡터 판정부(66)는 움직임 벡터 선별 수단을 구성하고 있다.
스위치(67)는 가변 길이 복호부(41)으로부터 출력된 벡터 정보가 차분 벡터에 상당하고 있으면, 가산기(64)로부터 출력된 움직임 벡터를 움직임 보상 예측 화상 생성부(68) 및 벡터 맵 보존용 메모리(61)에 출력하고, 그 벡터 정보가 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내고 있으면, 다이렉트 벡터 판정부(66)로부터 출력된 움직임 벡터인 다이렉트 벡터를 움직임 보상 예측 화상 생성부(68) 및 벡터 맵 보존용 메모리(61)에 출력하는 처리를 실시한다.
움직임 보상 예측 화상 생성부(68)는 스위치(67)로부터 출력된 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 처리를 실시한다. 또, 움직임 보상 예측 화상 생성부(68)는 움직임 보상 예측 화상 생성 수단을 구성하고 있다.
다음으로 동작에 대하여 설명한다.
가변 길이 복호부(41)는, 동화상 부호화 장치(1)로부터 송신된 비트 스트림을 수신하면, 그 비트 스트림의 신택스 해석을 실시한다.
이것에 의해, 동화상 부호화 장치(1)의 양자화부(15)로부터 출력된 양자화 데이터에 상당하는 예측 잔차 신호 부호화 데이터를 역양자화부(42)에 출력하고, 동화상 부호화 장치(1)의 부호화 모드 판정부(13)에 의해 결정된 부호화 모드를 스위치(46, 51)에 출력한다.
또한, 동화상 부호화 장치(1)의 인트라 예측부(22)로부터 출력된 인트라 예측 모드 또는 움직임 예측부(27)로부터 출력된 차분 벡터(벡터 정보)를 스위치(46)에 출력하고, 움직임 예측부(27)로부터 출력된 벡터 정보를 움직임 보상부(50)에 출력한다.
역양자화부(42)는, 가변 길이 복호부(41)로부터 예측 잔차 신호 부호화 데이터를 받으면, 그 예측 잔차 신호 부호화 데이터를 역양자화하고, 그 역양자화 데이터를 역변환부(43)에 출력한다.
역변환부(43)는, 역양자화부(42)로부터 역양자화 데이터를 받으면, 그 역양자화 데이터를 역정수 변환하고, 그 역정수 변환 데이터인 예측 잔차 신호 복호값을 가산기(44)에 출력한다.
스위치(46)는, 가변 길이 복호부(41)으로부터 출력된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 가변 길이 복호부(41)로부터 출력된 인트라 예측 모드를 인트라 예측 보상부(48)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 가변 길이 복호부(41)로부터 출력된 벡터 정보를 움직임 보상부(50)에 출력한다.
인트라 예측 보상부(48)는, 스위치(46)로부터 인트라 예측 모드를 받으면, 인트라 예측용 메모리(47)에 저장되어 있는 주변 화소의 화상 데이터(인트라 예측용 화상의 화상 데이터)로부터, 그 인트라 예측 모드의 인트라 예측 화상을 생성하고, 그 인트라 예측 화상의 화상 데이터를 스위치(51)에 출력한다. 단, 인트라 예측 화상의 생성 방법은, H.264/AVC에 개시되어 있기 때문에, 상세한 설명을 생략한다.
움직임 보상부(50)는, 스위치(46)로부터 벡터 정보를 받으면, 동화상 데이터를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 예측 벡터나 다이렉트 벡터를 하나 이상 예측함과 아울러, 프레임 메모리(49)에 저장되어 있는 참조 화상의 화상 데이터로부터 움직임 보상 예측 화상을 생성한다.
이하, 움직임 보상부(50)의 처리 내용을 구체적으로 설명한다.
움직임 보상부(50)의 벡터 맵 보존용 메모리(61)에는, 이전 산출된 움직임 벡터, 즉, 각 픽쳐에서의 복호 완료된 단위 영역의 움직임 벡터가 보존되어 있다.
움직임 보상부(50)의 스위치(62)는, 가변 길이 복호부(41)로부터 벡터 정보를 받으면, 그 벡터 정보가 차분 벡터에 상당하는 것인지, 그 벡터 정보가 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내는 정보인지를 판별한다.
스위치(62)는, 그 벡터 정보가 차분 벡터에 상당하고 있으면, 예측 벡터 산출부(63)를 기동하고, 그 벡터 정보가 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내는 정보이면, 다이렉트 벡터 산출부(65)를 기동한다.
움직임 보상부(50)의 예측 벡터 산출부(63)는, 스위치(62)로부터 기동 지령을 받으면, 벡터 맵 보존용 메모리(61)에 보존되어 있는 각 픽쳐에서의 복호 완료된 단위 영역의 움직임 벡터를 참조하여, 소정의 규칙에 근거해서, 하나 이상의 예측 벡터를 산출한다. 단, 예측 벡터의 산출 방법은, H.264/AVC에 개시되어 있기 때문에, 상세한 설명을 생략한다.
움직임 보상부(50)의 가산기(64)는, 예측 벡터 산출부(63)로부터 하나 이상의 예측 벡터를 받으면, 각 예측 벡터와 가변 길이 복호부(41)로부터 출력된 차분 벡터(예측 벡터 산출부(63)가 기동되어 있는 상황에서는, 가변 길이 복호부(41)로부터 출력되는 벡터 정보는 차분 벡터에 상당함)를 가산하고, 그 가산 결과인 움직임 벡터를 스위치(67)에 출력한다.
움직임 보상부(50)의 다이렉트 벡터 산출부(65)는, 스위치(62)로부터 기동 지령을 받으면, 벡터 맵 보존용 메모리(61)에 보존되어 있는 움직임 벡터, 즉, 복호 대상의 픽쳐에서의 복호 대상의 단위 영역의 근방에 존재하고 있는 복호 완료된 단위 영역의 움직임 벡터나, 상기 픽쳐와 시간적으로 전후하고 있는 복호 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 복호 대상의 단위 영역의 움직임 벡터를 다이렉트 벡터로서 하나 이상 예측한다.
또, 다이렉트 벡터 산출부(65)의 처리 내용은, 도 3의 다이렉트 벡터 산출부(33)의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다(도 4 내지 도 7을 참조).
움직임 보상부(50)의 다이렉트 벡터 판정부(66)는, 다이렉트 벡터 산출부(65)가 하나 이상의 다이렉트 벡터를 예측하면, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않는 경우, 그 다이렉트 벡터를 스위치(67)에 출력하지만, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외한다.
단, 다이렉트 벡터 산출부(65)에 의해 예측된 모든 다이렉트 벡터가, 화면 외부의 영역을 포함하는 단위 영역을 지시하는 다이렉트 벡터에 해당하는 경우에는, 예외적으로, 다이렉트 벡터 판정부(66)에서 가산 평균 대상의 벡터로부터 제외하지 않고, 그들의 다이렉트 벡터를 스위치(67)에 출력하는 것으로 한다.
또, 다이렉트 벡터 판정부(66)의 처리 내용은 도 3의 다이렉트 벡터 판정부(34)의 처리 내용과 동일하다.
움직임 보상부(50)의 스위치(67)는, 가변 길이 복호부(41)로부터 출력된 벡터 정보가 차분 벡터에 상당하는 것인지, 그 벡터 정보가 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내는 정보인지를 판별한다.
스위치(67)는, 그 벡터 정보가 차분 벡터에 상당하고 있으면, 가산기(64)로부터 출력된 움직임 벡터를 움직임 보상 예측 화상 생성부(68) 및 벡터 맵 보존용 메모리(61)에 출력하고, 그 벡터 정보가 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내는 정보이면, 다이렉트 벡터 판정부(66)로부터 출력된 움직임 벡터인 다이렉트 벡터를 움직임 보상 예측 화상 생성부(68) 및 벡터 맵 보존용 메모리(61)에 출력한다.
움직임 보상부(50)의 움직임 보상 예측 화상 생성부(68)는, 스위치(67)로부터 단지 하나의 움직임 벡터만을 받으면, 그 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값을 움직임 보상 예측 화상으로서 생성한다.
또한, 움직임 보상 예측 화상 생성부(68)는, 스위치(67)로부터 2개 이상의 움직임 벡터를 받으면, 2개 이상의 최적의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성한다.
또, 움직임 보상 예측 화상 생성부(68)의 처리 내용은 도 3의 움직임 보상 예측 화상 생성부(35)의 처리 내용과 동일하다.
상기한 바와 같이 해서, 움직임 보상부(50)의 다이렉트 벡터 판정부(66)가, 화면 외부의 영역을 포함하는 단위 영역을 지시하는 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외함으로써, 움직임 보상 예측 화상 생성부(68)에 의해 생성되는 움직임 보상 예측 화상은 도 10과 같이 된다.
이 때문에, H.264/AVC에서는, B_Skip으로 부호화할 수 없어, 약 30bit의 부호가 필요한 부분에서, 본 실시 형태 1에서는, B_Skip으로 부호화할 수 있기 때문에, 불과 1bit 정도의 부호면 되어, 예측 효율이 향상되는 이점이 얻어진다.
스위치(51)는, 가변 길이 복호부(41)로부터 출력된 부호화 모드가, 인트라 예측에 근거하여 압축을 실시하는 부호화 모드이면, 인트라 예측 보상부(48)에 의해 생성된 인트라 예측 화상의 화상 데이터를 가산기(44)에 출력하고, 움직임 예측에 근거하여 압축을 실시하는 부호화 모드이면, 움직임 보상부(50)에 의해 생성된 움직임 보상 예측 화상의 화상 데이터를 가산기(44)에 출력한다.
가산기(44)는, 역변환부(43)로부터 예측 잔차 신호 복호값을 받고, 스위치(51)로부터 인트라 예측 화상 또는 움직임 보상 예측 화상의 화상 데이터를 받으면, 그 예측 잔차 신호 복호값와 인트라 예측 화상 또는 움직임 보상 예측 화상의 화상 데이터를 가산하고, 그 가산 데이터를 루프 필터(45)에 출력한다.
또한, 가산기(44)는 그 가산 데이터를 인트라 예측용 화상의 화상 데이터로서 인트라 예측용 메모리(47)에 저장한다.
루프 필터(45)는, 가산기(44)로부터 가산 데이터를 받으면, 그 가산 데이터에 포함되어 있는 예측 루프 내의 잡음 성분을 제거하는 등의 필터링 처리를 실시하고, 필터링 처리 후의 가산 데이터를 복호 화상(동화상)의 동화상 데이터로서 출력한다.
또한, 루프 필터(45)는 복호 화상의 동화상 데이터를 참조 화상의 화상 데이터로서 프레임 메모리(49)에 저장한다.
이상으로 명백한 바와 같이, 본 실시 형태 1에 의하면, 동화상 부호화 장치(1)에서는, 부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 다이렉트 벡터로서 하나 이상 예측하는 다이렉트 벡터 산출부(33)와, 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 당해 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 다이렉트 벡터 판정부(34)와, 다이렉트 벡터 판정부(34)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성부(35)를 마련하고, 움직임 보상 예측 화상 생성부(35)에 의해 생성된 움직임 보상 예측 화상과 동화상의 차분 화상을 구하고, 그 차분 화상을 부호화하도록 구성했기 때문에, 압축율의 저하를 초래하는 일없이, 화면 에지의 매크로 블록에서의 화질의 열화를 방지할 수 있는 효과를 얻을 수 있다.
또한, 동화상 복호 장치(2)에서는, 복호 대상의 픽쳐에서의 복호 대상의 단위 영역의 근방에 존재하고 있는 복호 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 복호 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 복호 대상의 단위 영역의 움직임 벡터를 다이렉트 벡터로서 하나 이상 예측하는 다이렉트 벡터 산출부(65)와, 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 당해 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 다이렉트 벡터 판정부(66)와, 다이렉트 벡터 판정부(66)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성부(68)를 마련하고, 동화상의 압축 부호화 데이터로부터 예측 잔차 신호를 복호하고, 그 예측 잔차 신호 복호값과 움직임 보상 예측 화상 생성부(68)에 의해 생성된 움직임 보상 예측 화상을 가산하도록 구성했기 때문에, 도 2의 동화상 부호화 장치(1)로부터 출력된 비트 스트림을 복호 처리하여, 동화상의 동화상 데이터를 복원할 수 있는 효과를 얻을 수 있다.
또, 본 실시 형태 1에서는, 영상 부호화 방식으로서, H.264/AVC를 이용하는 예를 나타냈지만, H.264/AVC와 유사한 부호화 방식(예컨대, MPEG-2, MPEG-4 Visual, SMPTE VC-1 등)에 대해서도, 마찬가지로 적용할 수 있다.
(실시 형태 2)
<동화상 부호화 장치(1)의 구성>
도 13은 본 발명의 실시 형태 2에 따른 동화상 부호화 장치(1)를 나타내는 구성도이고, 도면에 있어서, 도 2와 동일 부호는 동일 또는 상당 부분을 나타내기 때문에 설명을 생략한다.
또한, 도 14는 도 13의 동화상 부호화 장치(1)에서의 움직임 보상부(71)의 내부를 나타내는 구성도이고, 도면에 있어서, 도 3과 동일 부호는 동일 또는 상당 부분을 나타내기 때문에 설명을 생략한다.
도 13 및 도 14에 있어서, 움직임 보상부(71)는 동화상 데이터를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 예측 벡터나 다이렉트 벡터를 하나 이상 예측함과 아울러, 움직임 예측부(72)에 의해 결정된 하나 이상의 최적의 움직임 벡터와 프레임 메모리(25)에 저장되어 있는 참조 화상의 화상 데이터로부터 움직임 보상 예측 화상을 생성하는 처리를 실시한다.
단, 움직임 보상부(71)는 도 2의 움직임 보상부(26)와 달리, 내부의 다이렉트 벡터 판정부(34)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터뿐만 아니라, 내부의 다이렉트 벡터 산출부(33)에 의해 예측된 모든 다이렉트 벡터를 움직임 예측부(72)에 출력하도록 하고 있다.
움직임 예측부(72)는 도 2의 움직임 예측부(27)와 마찬가지로, 다이렉트 벡터 또는 예측 벡터를 이용하여, 최적의 움직임 벡터를 결정하지만, 움직임 보상부(71)로부터 다이렉트 벡터 판정부(34)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터뿐만 아니라, 다이렉트 벡터 산출부(33)에 의해 예측된 모든 다이렉트 벡터를 받고 있기 때문에, 화면 에지 부근에서의 예측 효율이 높아지는 쪽의 다이렉트 벡터를 선택하도록 하고 있다.
또한, 움직임 예측부(72)는 어떤 다이렉트 벡터를 선택했는지를 나타내는 정보를 벡터 정보에 포함시켜 스위치(28)에 출력한다.
다음으로 동작에 대하여 설명한다.
움직임 보상부(71)는, 내부의 예측 벡터 산출부(32)에 의해 예측된 하나 이상의 예측 벡터를 움직임 예측부(72)에 출력함과 아울러, 내부의 다이렉트 벡터 판정부(34)에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 다이렉트 벡터(이하, 「다이렉트 벡터 A」이라고 부름)를 움직임 예측부(72)에 출력한다.
또한, 움직임 보상부(71)는 내부의 다이렉트 벡터 산출부(33)에 의해 예측된 모든 다이렉트 벡터(이하, 「다이렉트 벡터 B」라고 부름)를 움직임 예측부(72)에 출력한다.
움직임 예측부(72)는, 움직임 보상부(71)로부터 다이렉트 벡터와 예측 벡터를 받으면, 도 2의 움직임 예측부(27)와 동일하게 하여, 최적의 움직임 벡터를 결정하지만, 움직임 보상부(71)로부터 다이렉트 벡터 A뿐만 아니라, 다이렉트 벡터 B도 받고 있기 때문에, 어떤 다이렉트 벡터를 이용한 쪽이, 화면 에지 부근에서의 예측 효율이 높아지는지를 판정하여, 다이렉트 벡터 A 또는 다이렉트 벡터 B를 선택한다.
다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 상기 실시 형태 1에서도 설명한 바와 같이 예측 효율이 저하되기 때문에, 다이렉트 벡터 B보다 다이렉트 벡터 A를 이용한 쪽이, 화면 에지 부근에서의 예측 효율이 높아지지만, 예컨대, 단위 영역이 포함하고 있는 화면 외부의 영역의 면적이 조금인 경우에는, 다이렉트 벡터 B를 이용한 쪽이, 화면 에지 부근에서의 예측 효율이 높아지는 일이 있다.
또, 예측 효율이 가장 높은 다이렉트 벡터의 선택 방법은 일반적으로 R-D 최적화라고 불리는 기술을 이용하여, 최적의 다이렉트 벡터를 결정하는 처리를 실시한다.
움직임 예측부(72)는, 최적의 움직임 벡터를 결정하면, 그 최적의 움직임 벡터에 관한 벡터 정보를 스위치(28)에 출력한다.
즉, 움직임 예측부(72)는, 최적의 움직임 벡터를 결정함에 있어, 움직임 보상부(71)의 예측 벡터 산출부(32)에 의해 예측된 예측 벡터를 이용하여 결정하고 있으면, 그 움직임 벡터와 예측 벡터의 차분을 나타내는 차분 벡터를 벡터 정보로서 스위치(28)에 출력한다.
움직임 예측부(72)는, 최적의 움직임 벡터를 결정함에 있어, 움직임 보상부(71)의 다이렉트 벡터 판정부(34)로부터 출력된 다이렉트 벡터 A를 이용하여 결정하고 있으면, 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지의를 나타내는 정보와, 다이렉트 벡터 판정부(34)로부터 출력된 다이렉트 벡터 A를 선택하고 있는 취지를 나타내는 정보를 벡터 정보로서 스위치(28)에 출력한다.
움직임 예측부(72)는, 최적의 움직임 벡터를 결정함에 있어, 움직임 보상부(71)의 다이렉트 벡터 산출부(33)로부터 출력된 다이렉트 벡터 B를 이용하여 결정하고 있으면, 다이렉트 벡터로부터 최적의 움직임 벡터가 결정되어 있는 취지를 나타내는 정보와, 다이렉트 벡터 산출부(33)로부터 출력된 다이렉트 벡터 B를 선택하고 있는 취지를 나타내는 정보를 벡터 정보로서 스위치(28)에 출력한다.
<동화상 복호 장치(2)의 구성>
도 15는 본 발명의 실시 형태 2에 따른 동화상 복호 장치(2)를 나타내는 구성도이며, 도면에 있어서, 도 11과 동일 부호는 동일 또는 상당 부분을 나타내기 때문에 설명을 생략한다.
또한, 도 16은 도 15의 동화상 복호 장치(2)에서의 움직임 보상부(80)의 내부를 나타내는 구성도이며, 도면에 있어서, 도 12와 동일 부호는 동일 또는 상당 부분을 나타내기 때문에 설명을 생략한다.
도 15 및 도 16에 있어서, 움직임 보상부(80)는 동화상 데이터를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 예측 벡터나 다이렉트 벡터를 하나 이상 예측함과 아울러, 프레임 메모리(49)에 저장되어 있는 참조 화상의 화상 데이터로부터 움직임 보상 예측 화상을 생성하는 처리를 실시한다.
단, 움직임 보상부(80)는 도 11의 움직임 보상부(50)와 달리, 가변 길이 복호부(41)로부터 출력된 벡터 정보에 포함되어 있는 다이렉트 벡터 A 또는 다이렉트 벡터 B의 선택 정보에 따라, 내부의 다이렉트 벡터 판정부(66) 또는 다이렉트 벡터 산출부(65)로부터 출력되는 다이렉트 벡터를 선택하도록 하고 있다.
움직임 보상부(80)의 스위치(81)는 가변 길이 복호부(41)로부터 출력된 벡터 정보에 포함되어 있는 다이렉트 벡터의 선택 정보가, 다이렉트 벡터 A를 선택하고 있는 취지를 나타내고 있으면, 다이렉트 벡터 판정부(66)로부터 출력된 다이렉트 벡터를 선택하여 스위치(67)에 출력하고, 다이렉트 벡터 B를 선택하고 있는 취지를 나타내고 있으면, 다이렉트 벡터 산출부(65)로부터 출력된 다이렉트 벡터를 선택하여 스위치(67)에 출력하는 처리를 실시한다.
다음으로 동작에 대하여 설명한다.
움직임 보상부(80)는, 도 11의 움직임 보상부(50)와 마찬가지로, 동화상 데이터를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 예측 벡터나 다이렉트 벡터를 하나 이상 예측함과 아울러, 프레임 메모리(49)에 저장되어 있는 참조 화상의 화상 데이터로부터 움직임 보상 예측 화상을 생성한다.
단, 움직임 보상부(80)는, 도 11의 움직임 보상부(50)와 달리, 가변 길이 복호부(41)로부터 출력된 벡터 정보에 포함되어 있는 다이렉트 벡터 A 또는 다이렉트 벡터 B의 선택 정보에 따라, 내부의 다이렉트 벡터 판정부(66) 또는 다이렉트 벡터 산출부(65)로부터 출력되는 다이렉트 벡터를 선택한다.
즉, 움직임 보상부(80)의 스위치(81)는, 가변 길이 복호부(41)로부터 벡터 정보를 받으면, 그 벡터 정보에 포함되어 있는 다이렉트 벡터의 선택 정보가, 다이렉트 벡터 A를 선택하고 있는 취지를 나타내고 있으면, 다이렉트 벡터 판정부(66)로부터 출력된 다이렉트 벡터를 선택하여 스위치(67)에 출력하고, 다이렉트 벡터 B를 선택하고 있는 취지를 나타내고 있으면, 다이렉트 벡터 산출부(65)로부터 출력된 다이렉트 벡터를 선택하여 스위치(67)에 출력한다.
이상으로 명백한 바와 같이, 본 실시 형태 2에 의하면, 다이렉트 벡터 A 또는 다이렉트 벡터 B를 선택하여, 움직임 보상 예측 화상을 생성하도록 하고 있기 때문에, 화면 에지 부근에서의 예측 효율이 향상될 가능성을 높일 수 있는 효과를 얻을 수 있다.
또, 상기의 벡터 정보를 부호화하는 단위에 대해서는, 각종 부호화 단위(부호화 대상 블록마다, 슬라이스(부호화 대상 블록의 집합) 단위, 픽쳐 단위, 시퀀스(픽쳐의 집합) 단위)가 생각되는 것은 말할 필요도 없다. 벡터 정보를 상기의 각종 부호화 단위의 1파라미터로서 부호화하고, 비트 스트림 상에 부호화함으로써, 동화상 복호 장치(2)에 대해, 동화상 부호화 장치(1)가 의도하는 다이렉트 벡터의 선택 결과를 전할 수 있다.
(실시 형태 3)
상기 실시 형태 1, 2의 동화상 부호화 장치(1)에서의 다이렉트 벡터 판정부(34)에서는, 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 것에 대해 나타내었지만, 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 다이렉트 벡터 판정부(34)가, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 당해 화면에 인접하고 있는 허용 범위 영역의 외부 영역을 포함하는지 여부를 판정하고, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 당해 허용 범위 영역의 외부 영역을 포함하지 않으면, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하지 않고, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 당해 허용 범위 영역의 외부 영역을 포함하면, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하도록 하여도 좋다.
도 17은 다이렉트 벡터 판정부(34)의 처리 내용을 나타내는 설명도이다.
이하, 다이렉트 벡터 판정부(34)의 처리 내용을 구체적으로 설명한다.
다이렉트 벡터 판정부(34)에는, 미리, 도 17에 나타내는 허용 범위 영역(화면에 인접하고 있는 영역)이 설정되어 있다.
다이렉트 벡터 판정부(34)는, 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하는지 여부를 판정한다.
다이렉트 벡터 판정부(34)는, 도 17(b)에 나타낸 바와 같이, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하지 않으면(다이렉트 벡터가 지시하는 화소 위치가 허용 범위 영역 내이면), 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하지 않고, 그 다이렉트 벡터를 움직임 예측부(27)(또는 72)에 출력한다.
다이렉트 벡터 판정부(34)는, 도 17(c)에 나타낸 바와 같이, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하면(다이렉트 벡터가 지시하는 화소 위치가 허용 범위 영역 밖이면), 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외한다.
상기 실시 형태 1, 2의 동화상 복호 장치(2)에서의 다이렉트 벡터 판정부(66)에서는, 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 것에 대하여 나타내었지만, 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 다이렉트 벡터 판정부(66)가, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 당해 화면에 인접하고 있는 허용 범위 영역의 외부 영역을 포함하는지 여부를 판정하고, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 당해 허용 범위 영역의 외부 영역을 포함하지 않으면, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하지 않고, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 당해 허용 범위 영역의 외부 영역을 포함하면, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하도록 하여도 좋다.
이하, 다이렉트 벡터 판정부(66)의 처리 내용을 구체적으로 설명한다.
다이렉트 벡터 판정부(66)에는, 미리, 동화상 부호화 장치(1)의 다이렉트 벡터 판정부(34)와 동일한 허용 범위 영역이 설정되어 있다.
다이렉트 벡터 판정부(66)는, 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하는지 여부를 판정한다.
다이렉트 벡터 판정부(66)는, 도 17(b)에 나타낸 바와 같이, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하지 않으면(다이렉트 벡터가 지시하는 화소 위치가 허용 범위 영역 내이면), 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하지 않고, 그 다이렉트 벡터를 스위치(67)(또는 81)에 출력한다.
다이렉트 벡터 판정부(66)는, 도 17(c)에 나타낸 바와 같이, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하면(다이렉트 벡터가 지시하는 화소 위치가 허용 범위 영역 밖이면), 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외한다.
이상으로 명백한 바와 같이, 본 실시 형태 3에 의하면, 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하지 않으면, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하지 않고, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 허용 범위 영역의 외부 영역을 포함하면, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하도록 구성했기 때문에, 화면 에지 부근에서의 예측 효율이 향상될 가능성을 높일 수 있는 효과를 얻을 수 있다.
본 실시 형태 3에서는, 동화상 부호화 장치(1)의 다이렉트 벡터 판정부(34)와, 동화상 복호 장치(2)의 다이렉트 벡터 판정부(66)가, 미리, 동일한 허용 범위 영역을 설정하고 있는 것에 대하여 나타내었지만, 동화상 부호화 장치(1)의 다이렉트 벡터 판정부(34)에 의해 설정된 허용 범위 영역을 나타내는 정보를 부호화하고, 그 부호화 데이터를 비트 스트림에 포함시켜 동화상 복호 장치(2)에 송신하도록 하여도 좋다.
이것에 의해, 동화상 복호 장치(2)의 다이렉트 벡터 판정부(66)에서는, 동화상 부호화 장치(1)의 다이렉트 벡터 판정부(34)에 설정되어 있는 허용 범위 영역과 동일한 허용 범위 영역을 사용하는 것이 가능해진다.
또, 허용 범위 영역을 나타내는 정보를 부호화하는 단위에 대해서는, 각종 부호화 단위(부호화 대상 블록마다, 슬라이스(부호화 대상 블록의 집합) 단위, 픽쳐 단위, 시퀀스(픽쳐의 집합) 단위)가 생각되는 것은 말할 필요도 없다. 허용 범위 영역을 나타내는 정보를 상기의 각종 부호화 단위의 파라미터로서 부호화하고, 비트 스트림 상에 부호화함으로써, 동화상 복호 장치(2)에 대해, 동화상 부호화 장치(1)가 의도한 허용 범위 영역을 전할 수 있다.
(실시 형태 4)
상기 실시 형태 1, 2의 동화상 부호화 장치(1)에서의 다이렉트 벡터 판정부(34)에서는, 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 것에 대하여 나타내었지만, 다이렉트 벡터 판정부(34)가 움직임 벡터 수정 수단을 구성하고, 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 그 다이렉트 벡터를 움직임 예측부(27)(또는 72)에 출력하고, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하면, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하고, 수정 후의 다이렉트 벡터를 움직임 예측부(27)(또는 72)에 출력하도록 하여도 좋다.
도 18은 다이렉트 벡터 판정부(34)의 처리 내용을 나타내는 설명도이다.
이하, 다이렉트 벡터 판정부(34)의 처리 내용을 구체적으로 설명한다.
다이렉트 벡터 판정부(34)는, 다이렉트 벡터 산출부(33)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는지 여부를 판정한다.
다이렉트 벡터 판정부(34)는, 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 상기 실시 형태 1, 2와 마찬가지로, 그 다이렉트 벡터를 움직임 예측부(27)(또는 72)에 출력한다.
다이렉트 벡터 판정부(34)는, 도 18(a)에 나타낸 바와 같이, 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하면(다이렉트 벡터가 화면 외부를 가리키고 있는 경우), 도 18(b), (c)에 나타낸 바와 같이, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하고, 수정 후의 다이렉트 벡터를 움직임 예측부(27)(또는 72)에 출력한다.
또, 도 18(b)는 수평 및 수직의 각 성분을 독립적으로 화면 내로 수정하고 있는 예를 나타내고, 도 18(c)는 수평 및 수직의 각 성분을, 방향을 유지하면서 화면 내로 수정하고 있는 예를 나타내고 있다.
상기 실시 형태 1, 2의 동화상 복호 장치(2)에서의 다이렉트 벡터 판정부(66)에서는, 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우에는, 그 다이렉트 벡터를 가산 평균 대상의 벡터로부터 제외하는 것에 대하여 나타내었지만, 다이렉트 벡터 판정부(66)가 움직임 벡터 수정 수단을 구성하고, 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 그 다이렉트 벡터를 스위치(67)(또는 81)에 출력하고, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하면, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하고, 수정 후의 다이렉트 벡터를 스위치(67)(또는 81)에 출력하도록 하여도 좋다.
이하, 다이렉트 벡터 판정부(66)의 처리 내용을 구체적으로 설명한다.
다이렉트 벡터 판정부(66)는 다이렉트 벡터 산출부(65)에 의해 예측된 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는지 여부를 판정한다.
다이렉트 벡터 판정부(66)는, 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 상기 실시 형태 1, 2와 마찬가지로, 그 다이렉트 벡터를 스위치(67)(또는 81)에 출력한다.
다이렉트 벡터 판정부(66)는, 도 18(a)에 나타낸 바와 같이, 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하면(다이렉트 벡터가 화면 외부를 가리키고 있는 경우), 도 18(b), (c)에 나타낸 바와 같이, 동화상 부호화 장치(1)에서의 다이렉트 벡터 판정부(34)의 수정 방식과 동일한 수정 방식으로, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하고, 수정 후의 다이렉트 벡터를 스위치(67)(또는 81)에 출력한다.
이상으로 명백한 바와 같이, 본 실시 형태 4에 의하면, 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하면, 그 다이렉트 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하도록 구성했기 때문에, 화면 에지 부근에서의 예측 효율이 향상될 가능성을 높일 수 있는 효과를 얻을 수 있다.
본 실시 형태 4에서는, 동화상 부호화 장치(1)의 다이렉트 벡터 판정부(34)와, 동화상 복호 장치(2)의 다이렉트 벡터 판정부(66)가, 동일한 수정 방식으로, 다이렉트 벡터를 수정하는 것에 대하여 나타내었지만, 동화상 부호화 장치(1)의 다이렉트 벡터 판정부(34)가 사용하는 수정 방식을 나타내는 정보를 부호화하고, 그 부호화 데이터를 비트 스트림에 포함시켜 동화상 복호 장치(2)에 송신하도록 하여도 좋다.
이것에 의해, 동화상 복호 장치(2)의 다이렉트 벡터 판정부(66)에서는, 동화상 부호화 장치(1)의 다이렉트 벡터 판정부(34)가 사용하는 수정 방식과 동일한 수정 방식을 사용하는 것이 가능해진다.
또, 상기의 벡터의 수정 방식을 나타내는 정보를 부호화하는 단위에 대해서는, 각종 부호화 단위(부호화 대상 블록마다, 슬라이스(부호화 대상 블록의 집합) 단위, 픽쳐 단위, 시퀀스(픽쳐의 집합) 단위)가 생각되는 것은 말할 필요도 없다. 벡터의 수정 방식을 나타내는 정보를 상기의 각종 부호화 단위의 1파라미터로서 부호화하고, 비트 스트림 상에 부호화함으로써 동화상 복호 장치(2)에 대해, 동화상 부호화 장치(1)가 의도한 벡터의 수정 방식을 전할 수 있다.
(산업상 이용가능성)
본 발명에 따른 동화상 부호화 장치 및 동화상 복호 장치는, 압축율의 저하를 초래하는 일없이, 화면 에지의 매크로 블록에서의 화질의 열화를 방지할 수 있기 때문에, 디지털의 영상 신호인 동화상 데이터를 압축 부호화하고, 동화상 압축 부호화 데이터를 출력하는 동화상 부호화 장치와, 동화상 부호화 장치로부터 출력된 동화상 압축 부호화 데이터를 복호 처리하고, 디지털의 영상 신호를 복원하는 동화상 복호 장치 등에 이용하는 데 적합하다.

Claims (12)

  1. 동화상의 영상 신호를 구성하는 복수의 픽쳐(picture)를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터(motion vector)를 결정하고, 상기 움직임 벡터를 이용하여, 상기 영상 신호의 압축 부호화를 행하는 동화상 부호화 장치에 있어서,
    부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후(前後)하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과,
    상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상과 상기 동화상의 차분 화상을 구하고, 상기 차분 화상을 부호화하는 부호화 수단
    을 구비한 것을 특징으로 하는 동화상 부호화 장치.
  2. 동화상의 영상 신호를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 결정하고, 상기 움직임 벡터를 이용하여, 상기 영상 신호의 압축 부호화를 행하는 동화상 부호화 장치에 있어서,
    부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과,
    상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터 또는 상기 움직임 벡터 예측 수단에 의해 예측된 하나 이상의 움직임 벡터를 선택하고, 그 선택한 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상과 상기 동화상의 차분 화상을 구하고, 상기 차분 화상을 부호화함과 아울러, 상기 움직임 보상 예측 화상 생성 수단에 의한 움직임 벡터의 선택 결과를 나타내는 정보를 부호화하고, 상기 정보의 부호화 데이터를 상기 차분 화상의 부호화 데이터와 다중화하는 부호화 수단
    을 구비한 것을 특징으로 하는 동화상 부호화 장치.
  3. 동화상의 영상 신호를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 결정하고, 상기 움직임 벡터를 이용하여, 상기 영상 신호의 압축 부호화를 행하는 동화상 부호화 장치에 있어서,
    부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 상기 화면에 인접하고 있는 허용 범위 영역의 외부 영역을 포함하는지 여부를 판정하고, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 상기 허용 범위 영역의 외부 영역을 포함하지 않으면, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하지 않고, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 상기 허용 범위 영역의 외부 영역을 포함하면, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과,
    상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상과 상기 동화상의 차분 화상을 구하고, 상기 차분 화상을 부호화하는 부호화 수단
    을 구비한 것을 특징으로 하는 동화상 부호화 장치.
  4. 제 3 항에 있어서,
    상기 부호화 수단은, 상기 움직임 벡터 선별 수단의 판정에 사용되는 허용 범위 영역을 나타내는 정보를 부호화하고, 상기 정보의 부호화 데이터를 차분 화상의 부호화 데이터와 다중화하는 것을 특징으로 하는 동화상 부호화 장치.
  5. 동화상의 영상 신호를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 결정하고, 상기 움직임 벡터를 이용하여, 상기 영상 신호의 압축 부호화를 행하는 동화상 부호화 장치에 있어서,
    부호화 대상의 픽쳐에서의 부호화 대상의 단위 영역의 근방에 존재하고 있는 부호화 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 부호화 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 부호화 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 상기 움직임 벡터를 출력하고, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하면, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하고, 수정 후의 움직임 벡터를 출력하는 움직임 벡터 수정 수단과,
    상기 움직임 벡터 수정 수단으로부터 출력된 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상과 상기 동화상의 차분 화상을 구하고, 상기 차분 화상을 부호화하는 부호화 수단
    을 구비한 것을 특징으로 하는 동화상 부호화 장치.
  6. 제 5 항에 있어서,
    상기 부호화 수단은, 상기 움직임 벡터 수정 수단에 의한 움직임 벡터의 수정 방식을 나타내는 정보를 부호화하고, 상기 정보의 부호화 데이터를 차분 화상의 부호화 데이터와 다중화하는 것을 특징으로 하는 동화상 부호화 장치.
  7. 동화상의 영상 신호를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 이용하여, 압축 부호화되어 있는 영상 신호를 복원하는 동화상 복호 장치에 있어서,
    복호 대상의 픽쳐에서의 복호 대상의 단위 영역의 근방에 존재하고 있는 복호 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 복호 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 복호 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과,
    상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 영상 신호의 압축 부호화 데이터로부터 예측 잔차 신호를 복호하고, 상기 예측 잔차 신호와 상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상을 가산하는 복호 수단
    을 구비한 것을 특징으로 하는 동화상 복호 장치.
  8. 동화상의 영상 신호를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 이용하여, 압축 부호화되어 있는 영상 신호를 복원하는 동화상 복호 장치에 있어서,
    복호 대상의 픽쳐에서의 복호 대상의 단위 영역의 근방에 존재하고 있는 복호 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 복호 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 복호 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과,
    상기 영상 신호의 압축 부호화 데이터와 다중화되어 있는 움직임 벡터의 선택 결과를 나타내는 정보의 부호화 데이터로부터 움직임 벡터의 선택 결과를 인식하고, 그 선택 결과에 따라 상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터 또는 상기 움직임 벡터 예측 수단에 의해 예측된 하나 이상의 움직임 벡터를 선택하고, 그 선택한 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 영상 신호의 압축 부호화 데이터로부터 예측 잔차 신호를 복호하고, 상기 예측 잔차 신호와 상기 움직임 보상 예측 화상 생성 수단에 의해 생성된 움직임 보상 예측 화상을 가산하는 복호 수단
    을 구비한 것을 특징으로 하는 동화상 복호 장치.
  9. 동화상의 영상 신호를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 이용하여, 압축 부호화되어 있는 영상 신호를 복원하는 동화상 복호 장치에 있어서,
    복호 대상의 픽쳐에서의 복호 대상의 단위 영역의 근방에 존재하고 있는 복호 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 복호 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 복호 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하는 경우, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 상기 화면에 인접하고 있는 허용 범위 영역의 외부 영역을 포함하는지 여부를 판정하고, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 상기 허용 범위 영역의 외부 영역을 포함하지 않으면, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하지 않고, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 상기 허용 범위 영역의 외부 영역을 포함하면, 상기 움직임 벡터를 가산 평균 대상의 벡터로부터 제외하는 움직임 벡터 선별 수단과,
    상기 움직임 벡터 선별 수단에 의해 가산 평균 대상의 벡터로부터 제외되지 않고 남아 있는 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 영상 신호의 압축 부호화 데이터로부터 예측 잔차 신호를 복호하고, 상기 예측 잔차 신호와 상기 움직임 보상 예측 화상 생성 수단으로부터 출력된 움직임 보상 예측 화상을 가산하는 복호 수단
    을 구비한 것을 특징으로 하는 동화상 복호 장치.
  10. 제 9 항에 있어서,
    상기 움직임 벡터 선별 수단은, 영상 신호의 압축 부호화 데이터와 다중화되어 있는 허용 범위 영역을 나타내는 정보의 부호화 데이터로부터 상기 허용 범위 영역을 인식하여, 상기 허용 범위 영역을 판정에 이용하는 것을 특징으로 하는 동화상 복호 장치.
  11. 동화상의 영상 신호를 구성하는 복수의 픽쳐를 소정의 단위 영역으로 분할하고, 각 단위 영역의 움직임 벡터를 이용하여, 압축 부호화되어 있는 영상 신호를 복원하는 동화상 복호 장치에 있어서,
    복호 대상의 픽쳐에서의 복호 대상의 단위 영역의 근방에 존재하고 있는 복호 완료된 단위 영역의 움직임 벡터나 상기 픽쳐와 시간적으로 전후하고 있는 복호 완료된 픽쳐에서의 상기 단위 영역과 동일 위치의 단위 영역의 움직임 벡터로부터, 상기 복호 대상의 단위 영역의 움직임 벡터를 하나 이상 예측하는 움직임 벡터 예측 수단과,
    상기 움직임 벡터 예측 수단에 의해 예측된 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하지 않으면, 상기 움직임 벡터를 출력하고, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역이 화면 외부의 영역을 포함하면, 상기 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하고, 수정 후의 움직임 벡터를 출력하는 움직임 벡터 수정 수단과,
    상기 움직임 벡터 수정 수단으로부터 출력된 하나 이상의 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역의 화소값의 가산 평균을 취함으로써 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과,
    상기 영상 신호의 압축 부호화 데이터로부터 예측 잔차 신호를 복호하고, 상기 예측 잔차 신호와 상기 움직임 보상 예측 화상 생성 수단으로부터 출력된 움직임 보상 예측 화상을 가산하는 복호 수단
    을 구비한 것을 특징으로 하는 동화상 복호 장치.
  12. 제 11 항에 있어서,
    상기 움직임 벡터 수정 수단은, 영상 신호의 압축 부호화 데이터와 다중화되어 있는 움직임 벡터의 수정 방식을 나타내는 정보의 부호화 데이터로부터 상기 수정 방식을 인식하고, 상기 수정 방식에 따라, 움직임 벡터가 지시하는 화소 위치를 기점으로 하는 단위 영역을 화면 내의 영역으로 수정하는 것을 특징으로 하는 동화상 복호 장치.
KR20117012794A 2008-11-07 2009-10-20 동화상 부호화 장치 및 동화상 복호 장치 KR20110091748A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-286487 2008-11-07
JP2008286487 2008-11-07

Publications (1)

Publication Number Publication Date
KR20110091748A true KR20110091748A (ko) 2011-08-12

Family

ID=42152651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20117012794A KR20110091748A (ko) 2008-11-07 2009-10-20 동화상 부호화 장치 및 동화상 복호 장치

Country Status (10)

Country Link
US (1) US20110211641A1 (ko)
EP (1) EP2346257A4 (ko)
JP (1) JP5213964B2 (ko)
KR (1) KR20110091748A (ko)
CN (1) CN102210150A (ko)
BR (1) BRPI0922119A2 (ko)
CA (1) CA2742240A1 (ko)
MX (1) MX2011004849A (ko)
RU (1) RU2011122803A (ko)
WO (1) WO2010052838A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455183B1 (ko) * 2011-09-09 2014-10-28 주식회사 케이티 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011147049A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
MX340433B (es) 2011-12-16 2016-07-08 Panasonic Ip Corp America Metodo de codificacion de imagenes de video, dispositivo de codificacion de imagenes de video, metodo de decodificacion de imagenes de video, dispositivo de decodificacion de imagenes de video y dispositivo de codificacion/decodificacion de imagenes de video.
WO2015059880A1 (ja) * 2013-10-22 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 動き補償方法、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
WO2023171484A1 (en) * 2022-03-07 2023-09-14 Sharp Kabushiki Kaisha Systems and methods for handling out of boundary motion compensation predictors in video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059779A (ja) 1998-08-04 2000-02-25 Toshiba Corp 動画像符号化装置および動画像符号化方法
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US7440500B2 (en) * 2003-07-15 2008-10-21 Lsi Logic Corporation Supporting motion vectors outside picture boundaries in motion estimation process
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7933335B2 (en) * 2004-11-30 2011-04-26 Panasonic Corporation Moving picture conversion apparatus
JP4764706B2 (ja) * 2004-11-30 2011-09-07 パナソニック株式会社 動画像変換装置
JP2007067731A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 符号化方法
JP4429996B2 (ja) * 2005-09-30 2010-03-10 富士通株式会社 動画像符号化プログラム、動画像符号化方法および動画像符号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455183B1 (ko) * 2011-09-09 2014-10-28 주식회사 케이티 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
KR101455182B1 (ko) * 2011-09-09 2014-10-28 주식회사 케이티 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치

Also Published As

Publication number Publication date
CA2742240A1 (en) 2010-05-14
JPWO2010052838A1 (ja) 2012-03-29
EP2346257A4 (en) 2012-04-25
RU2011122803A (ru) 2012-12-20
JP5213964B2 (ja) 2013-06-19
EP2346257A1 (en) 2011-07-20
MX2011004849A (es) 2011-05-30
BRPI0922119A2 (pt) 2016-01-05
US20110211641A1 (en) 2011-09-01
CN102210150A (zh) 2011-10-05
WO2010052838A1 (ja) 2010-05-14

Similar Documents

Publication Publication Date Title
US11575906B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
US11496749B2 (en) Video decoding device and method using inverse quantization
JP5418756B2 (ja) 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
Kamp et al. Multihypothesis prediction using decoder side-motion vector derivation in inter-frame video coding
KR20110091748A (ko) 동화상 부호화 장치 및 동화상 복호 장치
KR20180040824A (ko) 복호화기 기반의 화면 내 예측 모드 추출 기술을 사용하는 비디오 코딩 방법 및 장치
JP5649296B2 (ja) 画像符号化装置
JP7130890B2 (ja) 符号化装置、復号装置、及びプログラム
JP2020109959A (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
CN114342383A (zh) 编码装置、解码装置及程序
JP2006101397A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2011166357A (ja) 画像符号化装置
KR20140068741A (ko) 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application