KR100649463B1 - 움직임 벡터 검출·보상 장치 - Google Patents

움직임 벡터 검출·보상 장치 Download PDF

Info

Publication number
KR100649463B1
KR100649463B1 KR20040108008A KR20040108008A KR100649463B1 KR 100649463 B1 KR100649463 B1 KR 100649463B1 KR 20040108008 A KR20040108008 A KR 20040108008A KR 20040108008 A KR20040108008 A KR 20040108008A KR 100649463 B1 KR100649463 B1 KR 100649463B1
Authority
KR
South Korea
Prior art keywords
motion vector
difference
image
field
motion
Prior art date
Application number
KR20040108008A
Other languages
English (en)
Other versions
KR20060010689A (ko
Inventor
오츠카다츠시
타히라다카히코
야모리아키히로
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20060010689A publication Critical patent/KR20060010689A/ko
Application granted granted Critical
Publication of KR100649463B1 publication Critical patent/KR100649463B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

움직임 벡터 검출시에 생기는 색차 성분의 미스매칭을 효율적으로 피하여, 고품질의 부호화 처리를 행하는 것을 과제로 한다.
움직임 벡터 검출부(11)는, 인터레이스 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호에 대하여, 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서, 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과, 처리 블록과의 위치의 편차량으로부터, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출한다. 움직임 보상부(12)는, 검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구한다.
움직임 벡터, 움직임 보상, 원화상, 예측화상, 인터레이스 주사

Description

움직임 벡터 검출·보상 장치{MOTION ESTIMATION AND COMPENSATION DEVICE WITH MOTION VECTOR CORRECTION BASED ON VERTICAL COMPONENT VALUES}
도 1은 본 발명의 움직임 벡터 검출·보상 장치의 원리도이다.
도 2는 직사각형 화상이 좌측 위에서 우측 아래로 향하여 이동하는 모습을 도시한 도면이다.
도 3은 직사각형 화상이 좌측 위에서 우측 아래로 향하여 이동하는 모습을 도시한 도면이다.
도 4는 4:2:2 포맷과 4:2:0 포맷의 관계를 도시한 도면이다.
도 5는 4:2:2 포맷과 4:2:0 포맷의 관계를 도시한 도면이다.
도 6은 직사각형 이동 화상을 휘도와 색차로 나눈 4:2:0 포맷을 도시한 도면이다.
도 7은 직사각형 이동 화상을 휘도와 색차로 나눈 4:2:0 포맷을 도시한 도면이다.
도 8은 직사각형 이동 화상을 휘도와 색차로 나눈 4:2:0 포맷을 도시한 도면이다.
도 9는 직사각형 이동 화상을 휘도와 색차로 나눈 4:2:0 포맷을 도시한 도면이다.
도 10은 4:2:0 포맷의 움직임 벡터를 도시한 도면이다.
도 11은 4:2:0 포맷의 움직임` 벡터를 도시한 도면이다.
도 12는 문제점의 일반화를 설명하기 위한 도면이다.
도 13은 문제점의 일반화를 설명하기 위한 도면이다.
도 14는 문제점의 일반화를 설명하기 위한 도면이다.
도 15는 문제점의 일반화를 설명하기 위한 도면이다.
도 16은 문제점의 일반화를 설명하기 위한 도면이다.
도 17은 오프셋 설정 테이블을 도시한 도면이다.
도 18은 전송 비트 레이트 또는 색차 엣지 상태에 따른 오프셋 결정을 설명하기 위한 도면이다.
도 19는 전송 비트 레이트 또는 색차 엣지 상태에 따른 오프셋 결정을 설명하기 위한 도면이다.
도 20은 움직임 벡터 검출 처리의 프로그램 예를 도시하는 도면이다.
도 21은 차분 절대치 합을 계산할 때의 화소 탐색의 모습을 도시한 도면이다.
도 22는 움직임 벡터의 수직 성분이 4n＋2인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 23은 4n＋2일 때의 차분 화상을 도시한 도면이다.
도 24는 움직임 벡터의 수직 성분이 4n＋1인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 25는 4n＋1일 때의 차분 화상을 도시한 도면이다.
도 26은 움직임 벡터의 수직 성분이 4n＋0인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 27은 4n＋0일 때의 차분 화상을 도시한 도면이다.
도 28은 움직임 벡터의 수직 성분이 4n＋3인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 29는 4n＋3일 때의 차분 화상을 도시한 도면이다.
도 30은 움직임 벡터의 수직 성분이 4n＋1인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 31은 4n＋1일 때의 차분 화상을 도시한 도면이다.
도 32는 움직임 벡터의 수직 성분이 4n＋0인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 33은 4n＋0일 때의 차분 화상을 도시한 도면이다.
도 34는 움직임 벡터의 수직 성분이 4n＋2인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 35는 4n＋2일 때의 차분 화상을 도시한 도면이다.
도 36은 움직임 벡터의 수직 성분이 4n＋2인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 37은 4n＋2일 때의 차분 화상을 도시한 도면이다.
도 38은 움직임 벡터의 수직 성분이 4n＋0인 경우의 참조 화상과 원화상을 도시한 도면이다.
도 39는 4n＋0일 때의 차분 화상을 도시한 도면이다.
도 40은 Cb 차분치 및 Cr 차분치 각각의 절대치 합 Cdiff를 구하는 프로그램을 도시한 도면이다.
도 41은 제2의 실시형태의 원리도를 도시한 도면이다.
도 42는 필드 예측에 있어서의 색차 성분의 미스매칭을 피하는 것을 설명하기 위한 도면이다.
도 43은 프레임 벡터와 필드 벡터의 수직 성분의 대응표를 도시한 도면이다.
도 44는 프레임 벡터 4n＋2가 되었을 때의 필드 벡터를 도시한 도면이다.
도 45는 프레임 벡터 4n＋1이 되었을 때의 필드 벡터를 도시한 도면이다.
도 46은 프레임 벡터 4n＋3이 되었을 때의 필드 벡터를 도시한 도면이다.
도 47은 2:3 풀업 및 3:2 풀다운의 처리를 도시한 도면이다.
도 48은 제1의 실시형태의 움직임 벡터 검출·보상 장치를 포함하는 화상 부호화 장치의 구성을 도시한 도면이다.
도 49는 제2의 실시형태의 움직임 벡터 검출·보상 장치를 포함하는 화상 부호화 장치의 구성을 도시한 도면이다.
도 50은 4:2:2 포맷을 도시한 도면이다.
도 51은 4:2:0 포맷을 도시한 도면이다.
도 52는 움직임 벡터 검출의 이미지를 도시한 도면이다.
도 53은 움직임 보상의 이미지를 도시한 도면이다.
<도면의 주요부분에 대한 부호의 설명>
10 : 움직임 벡터 검출·보상 장치
11 : 움직임 벡터 검출부
12 : 움직임 보상부
B : 원화상의 처리 블록
B0 : 움직임 벡터 수직 성분 4n＋0의 블록
B1 : 움직임 벡터 수직 성분 4n＋1의 블록
B2 : 움직임 벡터 수직 성분 4n＋2의 블록
B3 : 움직임 벡터 수직 성분 4n＋3의 블록
본 발명은 움직임 벡터 검출·보상 장치에 관한 것으로, 특히 인터레이스(비월) 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호의 움직임 벡터의 검출 및 움직임 보상을 행하는 움직임 벡터 검출·보상 장치에 관한 것이다.
최근, DVD나 디지털 TV 방송 등의 분야에서는 방대한 화상 데이터를 높은 퀄러티로 기록·전송하기 위해서, MPEG(Moving Picture Experts Group)에 의한 압축·부호화 기술이 널리 이용되고 있다.
또한, MPEG의 화상 포맷에는 YCbCr가 이용된다. YCbCr란, 휘도 신호(Y), 휘도 신호와 청색 성분의 차(Cb), 휘도 신호와 적색 성분의 차(Cr)의 3가지의 정보로 화상을 나타내는 형식이다. 인간의 눈이 색의 변화보다도 밝기의 변화에 민감한 성질을 이용하여, 휘도 신호에 보다 많은 데이터량을 할당한다.
YCbCr 포맷은 서브샘플링(휘도의 화질 열화는 명확히 식별할 수 있지만, 색의 화질 열화는 판단하기 어렵기 때문에, 색 정보에 대해서는 삭감하여 평균화된다. 이 처리를 서브샘플링이라고 부름)을 행할 때의 색차 성분을 스킵하는 방법에 따라, 여러 종류로 분류되며, 대표적인 포맷에 4:2:2 포맷, 4:2:0 포맷이 있다.
도 50은 4:2:2 포맷을 도시한 도면이다. 4:2:2는 수평 방향 4 화소에 대하여, 휘도는 화소마다 8 bit로 샘플링하고, 색차는 2 화소마다 8 bit의 서브샘플링(평균화)을 행한다. 즉, 원래는 Y, Cb, Cr로 나타내는 하나의 화소에 대하여, 수평 방향의 인접하는 2 화소를 통합하여 Cb, Cr를 할당한다.
따라서, 1 화소당 평균 정보량은 16(＝{Y(8)＋Cb(8)} or {Y(8)＋Cr(8)}) bit가 되어, 2개의 Y에 하나의 CbCr가 할당되기 때문에, 색차 정보는 휘도 정보의 1/2가 된다.
도 51은 4:2:0 포맷을 도시한 도면이다. 4:2:0은 4:2:2로 샘플링한 후, 휘도 정보는 그대로 남기고, 색차 정보를 수직 방향으로도 2 화소분 서브샘플링한다. 즉, 수평·수직 각 방향으로 인접하는 2 화소(합계 4 화소)를 통합하여 Cb, Cr를 할당한다.
따라서, 1 화소당 평균 정보량은 12(＝{Y(8)×4＋Cb(8)＋Cr(8)}÷4) bit가 되어, 4개의 Y에 하나의 CbCr가 할당되기 때문에, 색차 정보는 휘도 정보의 1/4가 된다.
통상, 디지털 TV 방송이나 비디오 인코드 등의 화상 입력에 대하여, 입력부에서는 ITU-R 규격의 4:2:2 포맷이 대응하고 있으며, 내부에서 MPEG2 Main Profile에서 규정되는 4:2:0 포맷으로 변환하고 있다. 그리고, 4:2:0 포맷의 화상 신호에 대하여, 움직임 벡터 검출·보상이나 DCT(Discrete Cosine Transform)와 같은 부호화 처리를 실시하여, 부호화 데이터를 생성한다.
여기서, 움직임 벡터의 검출을 할 때는 매크로 블록이라 불리는 16 화소×16 라인의 직사각형 영역 단위로 검출 처리가 이루어진다. 구체적으로는, 프레임 메모리로부터 매크로 블록 단위의 원화상(이제부터 움직임 벡터를 탐색하고자 하는 화상)과, 그것보다 큰 영역의 참조 화상(움직임 벡터의 탐색 범위가 되는 화상)을 독출하여, 원화상의 매크로 블록에 대하여, 각 화소의 차분 절대치 합이 가장 작아지는 참조 화상 영역 상의 위치를 산출하여 움직임 벡터를 검출한다. 그 후, 검출한 움직임 벡터를 바탕으로, 원화상 매크로 블록에 대한 예측 화상이 생성된다.
도 52는 움직임 벡터 검출의 이미지를 도시한 도면이다. 현 프레임 Fr2(원화상)의 블록 mb2(원화상 매크로 블록)에 대하여, 전 프레임 Fr1(참조 화상) 중에서 닮은 화소를 찾는 추정 처리를 하여, 그 만큼만 위치를 시프트한 화소치를 예측치로 하여, 매크로 블록에 대하여 수평 성분과 수직 성분을 갖는 움직임 벡터를 구한다.
우선, 현 프레임 Fr2의 블록 mb2과, 전 프레임 Fr1의 점선 블록 mb1(블록 mb2에 대응하는 위치에 있는 블록임)의 주위를 비교한다. 그리고, 현재의 블록 mb2의 화소(그림)에 가까운 부분을 점선 블록 mb1 주위의 화소로부터 찾는다. 즉, 차 분 절대치 합의 최소치를 탐색한다. 도면의 경우, 블록 mb2와 블록 mb1-1이 대응하는 각 화소치의 절대치의 총합이 최소치라고 하면(즉, 차분 절대치 합이 최소치), 움직임 벡터 V가 구해진다.
도 53은 움직임 보상의 이미지를 도시한 도면이다. 움직임 벡터를 검출한 후, 참조 화상으로부터 움직임 벡터만큼 변위된 블록의 예측 화상을 생성하여, 예측 화상과 원화상과의 차분을 구하는 처리를 움직임 보상이라고 부른다. 블록 mb1-1의 그림에 대하여, 움직임 벡터 V만큼 변이된 예측 화상 mb1-2를 생성하여, 원화상과의 차분을 구한다.
여기서, 예컨대, 비행기와 같은 강체의 평행 이동이라면, 시프트한 화상의 값은 변화하지 않기 때문에, 움직임 벡터 V만큼 이동하여 생성한 예측 화상과, 원화상과의 차분은 제로가 된다. 이 때 부호화하여야 할 정보는 수평·수직 성분의 움직임 벡터 정보와, 차분이 제로를 나타내는 정보가 된다.
또한, 예측 화상과 원화상과의 차분이 제로가 아닌 경우는(예컨대, 새가 날개 쳐 이동하여 그림이 변화하고 있는 경우 등), 그 차분 화상을 예측 오차로 하고, 예측 오차에 DCT 연산을 실시하여 변환 계수를 구한다. 그 후에, 양자화, 가변 길이 부호화의 순으로 부호화 처리를 하여, 부호화 데이터를 생성하게 된다.
한편, 움직임 벡터 검출의 계산량은 거대하기 때문에, 계산량 삭감에 대한 고안이 필요하다. 종래에는 휘도에 대하여 차분 절대치 합이 최소가 되면, 색차도 대강 일치한다고 생각되기 때문에(휘도의 움직임 벡터와, 색차의 움직임 벡터는 가지런히 갖춰져 있다고 간주하여), 휘도로 움직임 벡터가 검출되면, 색차에 대한 움 직임 벡터 검출의 계산 처리를 생략함으로써, 전체의 계산량의 삭감을 도모하고 있다. 색차 성분의 계산을 생략함으로써, 연산 회로 규모가 저감되어, 프레임 메모리로부터 색차의 원화상 및 참조 화상을 판독하는 처리 등도 생략할 수 있어, 처리 부하의 경감이 가능하게 된다.
움직임 벡터 검출의 종래 기술로서, 프레임 예측시의 움직임 벡터 검출 범위로부터, 수직 성분이 4n＋2가 되는 움직임 벡터를 제외하고, 색 정보의 열화를 개선하는 기술이 제안되어 있다(예컨대, 특허문헌 1).
특허문헌 1 : 일본 특허 공개 2001-238228호 공보(단락 번호〔0032〕∼〔0047〕, (도 1)
통상, 디지털 TV 방송 등에서는 인터레이스 주사(홀수 라인, 짝수 라인을 교대로 비월 주사하여 1 화면을 만드는 묘사 방식)의 4:2:0 포맷인 화상에 대하여, 움직임 벡터 검출·보상이나 DCT에 의한 부호화 처리를 행하고 있다.
한편, 인터레이스 주사에서는 하나의 프레임은 2개의 필드로 구성되어 있고, 한 쪽의 필드를 Top 필드, 다른 쪽의 필드를 Bottom 필드라고 부른다.
도 51에서 상술한 바와 같이, 4:2:0에서는 색차 정보가 스킵되고 있지만, 이러한 포맷에 대하여, 움직임 벡터 검출 처리를 하면, 종래에는 휘도 성분만으로 차분 절대치 합을 구하여 움직임 벡터 검출을 하고 있기 때문에, 움직임을 갖는 화상에 대해서는 색차 성분에 열화가 생긴다고 하는 문제가 있었다.
즉, 부호화하고자 하는 화상에 움직임이 거의 없는 경우는, 휘도 성분에 의 한 벡터 탐색 결과에 기초한 예측에 대하여, 색차 성분이 크게 틀어지는 일은 없다. 그러나, 부호화하고자 하는 화상에 움직임이 있는 경우에는 원화상의 색차 성분과, 휘도 성분으로부터 얻어진 움직임 벡터에 의해서 대응하는 참조 화상의 색차 성분에 미스매칭이 생길 가능성이 있다.
색차 성분의 미스매칭이 생기면, 움직임 보상시에, 예측 화상과 원화상과의 차분을 계산했을 때, 예측 오차가 커져, 이 결과, 부호화 데이터의 정보량이 증가하거나, 또는 일정 데이터량으로 전송량을 억제하는 경우에는 화질 열화가 생겨 버린다고 하는 문제가 있었다.
또한, 종래 기술(일본 특허 공개 2001-238228호 공보)에서는 색차 성분의 큰 미스매칭이 생길 때의 수직 성분을 갖는 움직임 벡터를 완전히 제외함으로써, 상기한 문제에 대처하고 있지만, 그 밖의 수직 성분의 움직임 벡터에 대해서는 아무런 고려도 되어 있지 않기 때문에, 화질 열화가 고품질로 개선되었다고는 말할 수 없어, 반드시 최적의 대책 방법이라고는 할 수 없다.
본 발명은 이러한 점에 감안하여 이루어진 것으로, 회로 규모 및 처리 부하를 크게 증대시키지 않고서, 색차 성분의 미스매칭을 효율적으로 피하여, 고품질의 움직임 벡터 검출·보상을 하는 움직임 벡터 검출·보상 장치를 제공하는 것을 목적으로 한다.
본 발명에서는 상기 과제를 해결하기 위해서, 도 1에 도시한 바와 같은, 화상 신호의 움직임 벡터의 검출 및 움직임 보상을 행하는 움직임 벡터 검출·보상 장치(10)에 있어서, 인터레이스 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호에 대하여, 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서, 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록과의 위치의 편차량으로부터, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부(11)와, 검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구하는 움직임 보상부(12)를 갖는 것을 특징으로 하는 움직임 벡터 검출·보상 장치(10)가 제공된다.
여기서, 움직임 벡터 검출부(11)는 인터레이스 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호에 대하여, 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서, 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록과의 위치의 편차량으로부터, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출한다. 움직임 보상부(12)는 검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구한다.
이하, 본 발명의 실시형태를 도면을 참조하여 설명한다. 도 1은 본 발명의 움직임 벡터 검출·보상 장치의 원리도이다. 제1의 실시형태의 움직임 벡터 검출·보상 장치(10)는 움직임 벡터 검출부(11)와 움직임 보상부(12)로 구성된다.
움직임 벡터 검출부(11)는 인터레이스 주사로, 색차 성분이 간인(間引)된 포맷(이하, 4:2:0 포맷으로 함)을 갖는 화상 신호에 대하여, 휘도 성분만으로, 원화상의 처리 블록과 참조 화상에 의해, 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서, 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행한다. 한편, 본 발명에서 말하는 블록이란, 16 화소×16 라인의 매크로 블록으로 한다.
그리고, 참조 화상 상에서, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록의 대응 위치와의 위치 편차량으로부터, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출한다.
한편, 움직임 벡터의 수직 성분은 구체적으로는, 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)이 된다. 오프셋의 설정으로서는 원화상의 처리 블록(B)과, 4n＋0의 위치의 참조 화상의 블록(B0)과의 차분 절대치 합의 오프셋은 제로로 설정하고, 원화상의 처리 블록(B)와, 4n＋1, 4n＋2, 4n＋3의 위치의 참조 화상의 블록(B1, B2, B3)과의 차분 절대치 합의 오프셋은 적응적으로 설정한다.
적응적으로 설정한다는 것은, 전송 비트 레이트, 양자화 파라메터(양자화의 스텝 사이즈, 양자화 정밀도), 색차 엣지 상태, 색차 성분의 예측 오차의 적어도 하나에 기초하여 설정을 한다는 것이다(상세한 것은 후술). 또한, 움직임 보상부(12)는 검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구한다.
이어서 본 발명의 상세 동작을 설명하기 전에, 움직임 벡터 검출의 기본적 동작도 포함시켜, 본 발명이 해결하여야 할 문제점에 관해서 상세히 설명한다. 도 2,도 3은 직사각형 화상이 좌측 위에서 우측 아래로 향하여 이동하는 모습을 도시한 도면이다. 도 2는 휘도 성분에 대한 참조 화상의 Top 필드, Bottom 필드를 2차원 화면 이미지로 나타낸 것이며, 도 3은 휘도 성분에 대한 원화상의 Top 필드, Bottom 필드를 2차원 화면 이미지로 나타낸 것이다(Top 필드와 Bottom 필드는 어느 하나가 홀수 라인, 짝수 라인을 포함하기 때문에, 1 라인 변위하여 나타내고 있음).
도면에서, 화상의 움직임을 검은 직사각형으로 나타내고 있다. 도 2의 참조 화상과 도 3의 원화상을 비교해 보면, 직사각형이 좌측 위에서 우측 아래로 향하여 이동하고 있음을 알 수 있다. 또한, 도 2의 참조 화상만을 보더라도, Top 필드의 직사각형과 Bottom 필드의 직사각형이, 1 필드 시간 동안에 이동하고 있으며, 도 3의 원화상도 Top 필드의 직사각형과 Bottom 필드의 직사각형이, 1 필드 시간 동안에 이동하고 있다.
도 4, 도 5는 4:2:2 포맷과 4:2:0 포맷의 관계를 도시한 도면이다. 도 4는 도 2의 참조 화상에 대하여, 수평 x1 점에서 본 4:2:2와 4:2:0의 대응 관계를 나타내고 있으며, 도 5는 도 3의 원화상에 대하여, 수평 x2 점에서 본 4:2:2와 4:2:0의 대응 관계를 나타내고 있다. 한편, 흰 사각 검은 사각은 휘도 성분을, 흰 삼각 검은 삼각은 색차 성분을 나타내고 있고, 좌측의 숫자는 라인 번호이다.
4:2:2→4:2:0의 변환에서는, 색차 성분의 간인(間引)이 이루어진다. 도 4에서 설명하면, 예컨대, 4:2:2의 색차 성분 a1, a2로부터, 4:2:0의 색차 성분 a3이 생성된다.
이 경우, 색차 성분 a3은 색차 성분 a1로부터 수직 아래 방향으로 2 라인 간격의 2/8의 위치, 또는 색차 성분 a2로부터 수직 위 방향으로 2 라인 간격의 6/8의 위치에 배치되기 때문에, 색차 성분 a1, a2의 값의 가중 평균을 취한 값이 색차 성분 a3의 값(a3＝(6×a1＋2×a2)/8)으로 된다(색차 성분 a3은 흰 삼각과 검은 삼각의 가중 평균으로부터 얻어지기 때문에, 도면에서 알기 쉽도록 회색의 삼각으로 나타냄).
마찬가지로, 4:2:2의 색차 성분 b1, b2로부터, 4:2:0의 색차 성분 b3이 생성된다. 색차 성분 b3은 색차 성분 b1에서 수직 아래 방향으로 2 라인 간격의 6/8의 위치, 또는 색차 성분 b2에서 수직 위 방향으로 2 라인 간격의 2/8의 위치에 배치되기 때문에, 색차 성분 b1, b2의 값의 가중 평균을 취한 값이 색차 성분 b3의 값(b3＝(2×b1＋6×b2)/8)으로 된다. 한편, 도 5의 원화상에 대하여도, 동일한 색차 성분의 스킵이 이루어져, 4:2:2→4:2:0의 포맷으로 된다.
세로 방향(수직 방향)으로 도 4, 도 5를 보면, 4:2:2→4:2:0에서는, 휘도 성분에 대하여 색차 성분은 반으로 스킵되는 것을 알 수 있다. 한편, 색차 성분을 스킵할 때는 실제로는, 스킵에 사용되는 색차 성분은 상기에서 나타낸 수 이상의 성분이 사용된다. 즉, 색차 성분 a3을 구하는 경우, 색차 성분 a1, a2뿐만 아니라, 또한 그 주변의 색차 성분도 이용하여 계산되지만(색차 성분 b3을 구하는 경우도 마찬가지이며 또 선택되는 주변의 색차 성분의 수는 사양에 따라 임의임), 상기에서는 간단한 예로 설명했다.
도 6, 도 7과 도 8, 도 9는 직사각형 이동 화상을 휘도와 색차로 나눈 4:2:0 포맷을 2차원 화면 이미지로 나타낸 도면이다. 도 6, 도 7은 각각 4:2:0의 참조 화상의 휘도 성분, 색차 성분의 Top/Bottom 필드를 나타내고, 도 8, 도 9는 각각 4:2:0의 원화상의 휘도 성분, 색차 성분의 Top/Bottom 필드를 나타낸다.
4:2:0 포맷에서는 휘도의 수평 2 화소, 수직 2 화소의 합계 4 화소분이, 색차의 1 화소 성분에 대응하게 된다. 도 6, 도 7을 보면 예컨대 휘도 Y1∼Y4의 4개의 화소에 대하여, 하나의 색차 성분(CbCr)이 대응한다(한편, 색차 성분(CbCr)은 백의 휘도(Y1, Y2)와, 흑의 휘도(Y3, Y4)에 대응하는 색차이기 때문에, 도면에서 알기 쉽도록 회색으로 나타냄).
한편, 도 8의 영역 R1은 참조 화상 Top 필드의 검은 직사각형 부분, 영역 R2는 참조 화상 Bottom 필드의 검은 직사각형 부분을 나타낸 것으로, 도면 중의 화살표는 Top 필드, Bottom 필드의 각각의 움직임 벡터를 나타내고 있다. Top, Bottom양쪽 모두, 움직임 벡터로서는 가지런히 갖춰져 있기 때문에, 프레임 예측으로서, 움직임 벡터를 수평 12 화소, 수직 12 라인으로 나타낼 수 있다.
도 10, 도 11은 4:2:0 포맷의 움직임 벡터를 도시한 도면이다. 도 10은 도 6, 도 8을 수평 x1, x2 점에서 본 휘도의 움직임 벡터(이하, 휘도 벡터라고도 부름)를 나타내고 있다. 도 11은 도 7, 도 9를 수평 x1, x2 점에서 본 색차의 움직임 벡터(이하, 색차 벡터라고도 부름)를 나타내고 있다. 한편, 도면 중의 흰 사각은 직사각형 영역 밖의 휘도 성분, 검은 사각은 직삭형 영역 내의 휘도 성분, 흰 삼각은 직사각형 영역 밖의 색차 성분, 검은 삼각은 직사각형 영역 내의 색차 성분을 나타내고 있다.
휘도 성분으로 얻어진 휘도 벡터를 Va라 한다. 도 10에 도시하는 휘도 벡터Va의 화살표의 수직 방향에 주목하면, 수직 아래쪽으로 2 라인 내려가면, 참조 화상의 화소치와, 원화상의 화소치가 일치하는 것을 알 수 있다.
예컨대, 참조 화상 Top의 화소 y1a는 2 라인 내려가면, 원화상 Top의 화소 y1b로 온다. 이와 같이, 휘도 성분에 대해서는, 모든 화소에 휘도는 존재하기 때문에, 어떠한 움직임 벡터라도, 원화상의 휘도 성분에 대응하는 참조 화상의 휘도 성분은 존재하게 된다.
한편, 도 11에 대하여, 4:2:0 포맷에 의해, 색차 성분에 대해서는 스킵 처리가 이루어지기 때문에, 스킵이 없는 휘도 성분으로부터 생성한 움직임 벡터를 색차 성분에도 적용하면, 참조 화상의 색차 성분과, 원화상의 색차 성분과의 대응 관계가 틀어지게 된다.
예컨대, 원화상 Top의 라인 2의 색차 성분 c1은 직사각형 영역 내(검게 나타낸 영역)의 색차 정보이지만, 움직임 벡터 Va에 의하면, 대응하는 참조 화상 Top의 색차 성분은 c2가 되는 것이다.
그러나, 색차가 스킵되고 있는 4:2:0 포맷의 경우, 색차 성분 c2는 존재하지 않기 때문에, 이 경우, 참조 화상 Bottom 측의 라인 1의 색차 성분 c3이 움직임 보상으로 사용하게 된다. 이 c3은 도면에서 보면 알 수 있듯이, 직사각형 영역 밖(희게 나타낸 영역)의 색차 성분이기 때문에, 예측 오차가 커져 버린다.
즉, c2를 움직임 벡터 Va로 이동하면 c1이 되기 때문에, c2가 예측 화소가 되지만, c2는 존재하지 않기 때문에, 종래에는 근방 위치인 Bottom 측의 c3을 사용하여 예측 화소를 생성하고 있다(사용하는 화소가 Top와 Bottom에서 교체되어, 직사각형 영역 내의 색차 성분과 직사각형 영역 밖의 색차 성분과의 역회전 현상이 생김). 그러면, c3은 c1의 화소치와 크게 다르기 때문에(c3은 직사각형 영역 밖, c1은 직사각형 영역 내), 이 때의 예측 화소와 원화소와의 차분에는 큰 오차가 생겨 버리게 된다.
같은 식으로 하여, 원화상 Bottom의 라인 3의 색차 성분 c4는 직사각형 영역 밖의 색차 성분인데, 대응하는 참조 화상은 원래, 참조 화상 Bottom의 c5의 위치에 있게 되지만 존재하지 않기 때문에, 참조 화상 Top 측의 라인 2의 색차 정보 c6이 움직임 보상으로 사용하게 된다. 이 c6은 직사각형 영역 내의 색차 성분이기 때문에, 예측 오차가 커져 버린다.
이와 같이, 4:2:0 포맷에 의해 색차 정보가 스킵되고 있기 때문에, 휘도 성분만으로 차분 절대치 합을 구하여 생성한 움직임 벡터를, 색차 성분에도 적용하여 예측 화상을 생성하고자 하면, 원래는, 원화상 Top의 색차 성분과, 참조 화상 Top의 색차 성분과의 차분을 취해야 할 곳이, 참조 화상 Bottom의 색차 성분과 차분을 취하게 되거나, 또는, 원화상 Bottom의 색차 성분과, 참조 화상 Bottom의 색차 성분과의 차분을 취해야 할 곳이, 참조 화상 Top의 색차 성분과 차분을 취하게 되거나 하기 때문에, 대응 관계에 미스매칭이 발생하여 버린다.
그러면, 움직임 보상시에는 예측 오차가 커져, 부호화 데이터의 정보량의 증대나 화질 열화를 야기한다고 하는 문제가 있었다. 이 때문에, 휘도 성분에 대한 차분 절대치 합의 계산을, 색차 성분에 대하여도 같은 식으로 행하여, 색차 성분의 차분 절대치 합도 포함시킨 움직임 벡터의 검출을 하면, 색차의 큰 미스매치를 막는 것은 가능해지지만, 계산량이 그 만큼 불어나게 되어, 회로 규모 및 처리 부하의 증대를 초래하게 된다.
여기서, 상기한 문제점을 일반화하여 나타내어 본다. 도 12∼도 16은 문제점의 일반화를 설명하기 위한 도면이다. 도 12는 직사각형 화상이 수평 방향으로만 움직였을 때의 움직임 벡터의 모습을 나타내고 있다. 수직 성분 ＋0의 예측에 있어서의 휘도 벡터 V0을 색차 벡터로서 사용하더라도 미스매치는 발생하지 않음을 알 수 있다.
이어서 도 16을 보면, 이 도면은 직사각형 화상이 수직 방향으로 ＋4 움직였을 때의 움직임 벡터의 모습을 나타내고 있다. 이 경우도, 수직 성분 ＋4의 예측에 있어서의 휘도 벡터 V4를 색차 벡터로서 사용하더라도 미스매치는 발생하지 않는다.
이어서 도 13을 보면, 이 도면은 직사각형 화상이 수직 방향으로 ＋1 움직였을 때의 움직임 벡터의 모습을 나타내고 있다. 수직 성분 ＋1의 예측에 있어서의 휘도 벡터 V1을 색차 벡터로서 사용하면, 대응하는 화소가 존재하지 않음을 알 수 있다. 이러한 경우에는, 하프펠(반 화소) 보완을 하여 예측 화소를 생성한다.
예컨대, 색차 성분 d1은 수직 성분 ＋1의 휘도 벡터 V1에서는, 대응하는 화소가 존재하지 않기 때문에, 주변의 색차 성분으로서, d2, d3으로부터 상술한 바와 같은 가중 평균을 구하여, 색차 성분 d1을 보완한다. 마찬가지로, 색차 성분 d4는 수직 성분 ＋1의 휘도 벡터 V1에서는 대응하는 화소가 존재하지 않기 때문에, 주변의 색차 성분으로서, d3, d5로부터 가중 평균을 구하여, 색차 성분 d4를 보완한다.
도 14는 직사각형 화상이 수직 방향으로 ＋2 움직였을 때의 움직임 벡터의 모습을 나타내고 있다. 도 10, 도 11에서 상술한 내용과 동일한 현상이며, 수직 성분 ＋2의 예측에 있어서의 휘도 벡터 V2를 색차 벡터로서 사용하면, 직사각형 영역 내외의 화소치가 역전되는 현상이 생긴다.
도 15는 직사각형 화상이 수직 방향으로 ＋3 움직였을 때의 움직임 벡터의 모습을 나타내고 있다. 이 경우, 수직 성분 ＋3의 예측에 의한 휘도 벡터 V3을 색차 벡터로서 사용하면, 도 13과 마찬가지로 대응하는 화소가 존재하지 않는다. 이 때도 하프펠 보완을 하여 예측 화소를 생성한다.
예컨대, 색차 성분 e1은 수직 성분 ＋3의 휘도 벡터 V3에서는, 대응하는 화소가 존재하지 않기 때문에, 주변의 색차 성분으로서, e2, e3으로부터 가중 평균을 구하여, 색차 성분 e1을 보완한다. 마찬가지로, 색차 성분 e4는 수직 성분 ＋3의 휘도 벡터 V3에서는 대응하는 화소가 존재하지 않기 때문에, 주변의 색차 성분으로서, e3, e5로부터 가중 평균을 구하여, 색차 성분 e4를 보완한다.
이상, 정리하면, 움직임 벡터의 수직 성분에 대하여, ＋0은 미스매칭이 일어나지 않고, ＋1∼＋3에서 미스매칭이 일어나게 되고, 다시 ＋4에서 미스매칭이 일어나지 않게 된다. 즉, 수직 방향 4n＋0일 때, 미스매칭은 일어나지 않고, 수직 방향 4n＋1, 4n＋2, 4n＋3일 때 미스매칭이 생기게 된다(n은 정수).
또한, 직사각형 영역 내외의 화소치의 역전 현상이 생겨, 가장 큰 미스매칭 이 일어나, 예측 오차가 커지는 것은 4n＋2의 경우이다. 4n＋1, 4n＋3의 경우는 Top의 색차 성분과 Bottom의 색차 성분과의 사이의 하프펠 보완을 한 것으로 되어, 4n＋2와 비교하면 큰 오차가 될 가능성은 낮지만, 그래도 어느 정도의 예측 오차가 생겨 버린다.
여기서, 종래 기술(일본 특허 공개 2001-238228호 공보)에서는 가장 에러가 커지는 수직 방향 4n＋2가 되는 움직임 벡터는 완전히 제외함으로써, 예측 오차의 저감을 도모하고 있다. 그러나, 상기에서 나타낸 바와 같이, 움직임 벡터 검출시에는 4n＋1, 4n＋3의 경우에 있어서도 예측 오차는 발생하기 때문에, 4n＋1, 4n＋3에서 생기는 예측 오차에 대해서도 고려한 오차 저감을 위한 제어를 하지 않으면, 부호화 처리 전체에 있어서의 화질 향상으로는 이어지지 않는다.
또한, 전송 비트 레이트가 높고, 전송량에 여유가 있으면, 어느 정도 큰 예측 오차만으로도 전송할 수 있다(수신측에서 복호화 가능). 그런데, 종래 기술에서는 이와 같은 전송 상태에 관계없이, 단순히 4n＋2가 되는 움직임 벡터를 제외하고 있기 때문에, 이러한 경우에는 오히려 화질 열화를 야기할 가능성이 있다.
따라서, 본 발명에서는 단순히 4n＋2가 되는 움직임 벡터를 제외하는 것이 아니라, 회로 규모 및 처리 부하를 크게 증대시키지 않고서, 움직임 벡터 수직 성분의 4n＋1, 4n＋2, 4n＋3에 대한 예측 오차의 저감을 도모하는 제어를 하여, 움직임 벡터 검출·보상시에 생기는 색차 성분의 미스매치를 효율적으로 피하여, 고품질의 부호화 처리를 행하는 움직임 벡터 검출·보상 장치 및 화상 부호화 장치를 제공하는 것이다.
이어서 본 발명의 제1의 실시형태의 움직임 벡터 검출·보상 장치(10)에 있어서, 움직임 벡터 검출부(11)의 동작에 관해서 자세히 설명한다. 도 17은 오프셋 설정 테이블을 도시한 도면이다. 움직임 벡터의 수직 성분이 4n＋0일 때는, 상술된 바와 같이, 색차 성분의 미스매칭은 발생하지 않기 때문에, 오프셋은 제로로 한다.
또한, 4n＋1, 4n＋2, 4n＋3일 때는 미스매칭이 발생하지만, 4n＋1과 4n＋3 및 4n＋2를 비교하면, 4n＋2의 오차는 특히 큰 값으로 되고, 4n＋1, 4n＋3은 어느 쪽이나 같은 오차로 된다고 생각되기 때문에, 4n＋1, 4n＋3에는 동일한 오프셋치 OfsA로 하고, 4n＋2는 오프셋치 OfsB를 설정한다.
이어서 오프셋의 결정 방법에 관해서 설명한다. 움직임 벡터 검출부(11)는 오프셋 OfsA, OfsB을, 전송 비트 레이트, 양자화 파라메터, 색차 엣지 상태(색차 엣지가 큰지 아닌지), 색차 성분의 예측 오차의 적어도 하나에 기초하여, 적응적으로 설정한다. 오프셋 OfsA, OfsB는 기본적으로는 양자화 파라메터에 따라서 조정하지만, 전송 비트 레이트나 화상의 색 상태에 따라서 결정할 수도 있다.
도 18, 도 19는 전송 비트 레이트 또는 색차 엣지 상태에 따른 오프셋 결정을 설명하기 위한 도면이다. 원화상의 매크로 블록 M1의 예측 블록을 탐색하는 경우를 생각한다.
도 18은 매크로 블록 M1에 근사한 참조 화상의 블록 M1a, M1b를 나타낸다. 또한, 참조 화상 상에 있어서, 움직임 벡터 수직 성분 4n＋0의 위치의 블록 M1a의 평균 차분 절대치가 11, 4n＋1의 위치의 블록 M1b의 평균 차분 절대치가 10이었다고 하자. 평균 차분 절대치란 2개의 블록의 화소치의 차분의 절대치를 평균화한 값 이며, 차분 절대치합을 화소의 수로 나는 것과 같다.
여기서, 매크로 블록 M1의 예측 블록을 구하는 경우, 매크로 블록 M1과, 블록 M1a, M1b 각각과의 차분 절대치 합이 최소치가 되는 쪽의 블록이 예측 블록으로 되지만, 전송 비트 레이트가 낮고, 색차 엣지가 커 색차 성분의 미스매칭의 영향이 크게 날 것이라고 예상되는 경우에는(양자화에 의해 예측 오차의 왜곡이 크게 날 것이라고 예상되는 경우에는), 가령 매크로 블록 M1과 4n＋1의 블록 M1b와의 차분 절대치 합 쪽이, 매크로 블록 M1과 4n＋0의 블록 M1a와의 차분 절대치 합보다도 작은 값이라도, 4n＋0의 블록 M1a가 선택되도록 오프셋 OfsA를 결정한다.
이 경우, 예컨대 OfsA＝257로 설정하여, 매크로 블록 M1과, 블록 M1a, M1b 각각과의 평균 차분 절대치를 이용한 차분 절대치 합을 계산하면, 매크로 블록 M1과 4n＋1의 블록 M1b와의 차분 절대치 합 dif1은 블록 M1b의 평균 차분 절대치×256＋OfsA＝10×256＋257＝2817이 된다.
또한, 매크로 블록 M1과 4n＋0의 블록 M1a의 차분 절대치 합 dif0은 블록 M1a의 평균 차분 절대치×256＋0(4n＋0의 오프셋은 제로)＝11×256＝2816이 된다.
계산 결과를 비교하면, dif0(4n＋0과의 차분 절대치 합)＜dif1(4n＋1과의 차분 절대치 합)⇔2816＜2817이 되기 때문에, 실제의 차분 절대치 합의 값은 4n＋1 쪽이 작음에도 불구하고, 4n＋1이 선택되지 않도록 오프셋 OfsA를 미리 더해 둠으로써, 4n＋0 쪽이 차분 절대치 합이 작아져, 이쪽이 선택되게 된다.
즉, 전송 비트 레이트가 낮고, 화상의 색 변화가 큰 경우, 4n＋1의 차분 절대치 합 쪽이 최소치가 되는 경우라도, 4n＋0의 블록의 평균 차분 절대치와, 4n＋ 1(또는 4n＋3이라도 마찬가지)의 블록의 평균 차분 절대치와의 차분이 1 이하 정도라면, 4n＋0의 블록을 선택하더라도 휘도 성분의 오차로서 현저한 화질 열화를 주지 않기 때문에, 색차 성분의 미스매칭이 생기는 4n＋1을 선택하는 것이 아니라, 4n＋0의 블록이 선택되는 오프셋 OfsA를 설정한다.
마찬가지로 도 19는 매크로 블록 M1에 근사한 참조 화상의 블록 M1a, M1c를 나타낸다. 참조 화상 상의 움직임 벡터 수직 성분 4n＋0의 블록 M1a의 평균 차분 절대치가 12, 4n＋2의 블록 M1c의 평균 차분 절대치가 10이었다고 하자.
이 경우, 예컨대 OfsB＝513으로 설정하여, 매크로 블록 M1과, 블록 M1a, M1c 각각과의 평균 차분 절대치를 이용한 차분 절대치 합을 계산하면, 매크로 블록 M1과 4n＋2의 블록 M1c와의 차분 절대치 합 dif2는 블록 M1c의 평균 차분 절대치×256＋OfsB＝10×256＋513＝3073이 된다. 또한, 매크로 블록 M1과 4n＋0의 블록 M1a와의 차분 절대치 합 dif0은 12×256＝3072가 된다.
계산 결과를 비교하면, dif0(4n＋0과의 차분 절대치 합)＜dif2(4n＋2와의 차분 절대치 합)⇔3072＜3073이 되기 때문에, 실제의 차분 절대치 합의 값은 4n＋2 쪽이 작음에도 불구하고, 4n＋2가 선택되지 않도록 오프셋 OfsB를 미리 더해 둠으로써, 4n＋0 쪽이 차분 절대치 합은 작아져, 이쪽이 선택되게 된다.
즉, 전송 비트 레이트가 낮고, 화상의 색 변화가 큰 경우, 4n＋2의 차분 절대치 합 쪽이 최소치가 되는 경우라도, 4n＋0의 블록의 평균 차분 절대치와, 4n＋2의 블록의 평균 차분 절대치와의 차분이 2 이하 정도라면, 색차 성분의 미스매칭이 생기는 4n＋2를 선택하는 것보다도, 휘도 성분의 오차로서 2 이하의 4n＋0의 블록 을 선택한 쪽이 현저한 화질 열화를 주지 않는 것으로 하여, 4n＋0의 블록이 선택되도록 오프셋 OfsB를 설정한다.
한편, 어느 정도 전송 비트 레이트도 높고, 다소 예측 오차가 크더라도 예측 차분을 수신측으로 다 보낼 수 있는 경우는, 4n＋0의 블록의 선택 용이성을 적게 하여야 할 값의 낮은 오프셋(예컨대, OfsA＝32, OfsB＝64)을 4n＋1, 4n＋2, 4n＋3 측에 설정하여, 4n＋0의 움직임 벡터의 선택 용이성을 작게 할 수도 있다.
이어서 움직임 벡터 검출 처리의 구체적인 프로그램에 관해서 설명한다. 도 20은 움직임 벡터 검출 처리의 프로그램 예를 도시하는 도면이다. 통상의 TV 방송 등에 적용되는 720 화소×480 라인의 영상을 예로 들면, 4:2:0 포맷으로서 프레임 메모리에 저장되기 때문에, 1 프레임당 데이터는 휘도 성분으로 720 화소×480 라인이 된다.
또한, 원화상의 휘도 성분의 데이터를 Yo[y][x](x＝0∼719, y＝0∼479), 참조 화상의 휘도 성분의 데이터를 Yr[y][x](x＝0∼719, y＝0∼479)로 하고, 각 성분의 값이 0∼255의 범위의 값이라고 하면, 원화상의 어느 매크로 블록 좌표(Mx, My)에 대한 차분 절대치 합이 최소가 되는 프레임 예측 움직임 벡터 Vx, Vy는 예컨대, 도면에 도시한 바와 같은 프로그램의 처리에 의해 구할 수 있다(다만, Mx＝0∼44, My＝0∼29이며, abs(v)는 v의 절대치를 취하는 함수로 함).
〔S1〕 선언문이다. Rx, Ry는 각각, 참조 화상 상의 수평 방향, 수직 방향의 화소를 나타낸다. x, y는 원화상 상의 수평 방향, 수직 방향의 화소를 나타낸다. Vx, Vy는 각각, 움직임 벡터의 수평 성분, 수직 성분을 나타낸다. 또한, 여기서의 Vdiff는 차분 절대치 합을 취할 수 없는 값이 되도록, 16×16개의 각 화소가 전부 최대치255로 된 값에 1을 가산하여, 초기치로서 설정한다. diff는 오프셋치 또는 차분 절대치 합의 계산 결과를 나타낸다.
〔S2〕 Ry를 0∼(479－15)까지 ＋1씩 반복하고, Rx를 0∼(719－15)까지 ＋1씩 반복한다.
〔S3〕 참조 화상 상의 블록이 존재하는 Ry로부터, 움직임 벡터의 수직 성분 My를 뺀 값을 4로 나눠 나머지를 구한다. 그리고, 나머지 0이라면 오프셋치로서 diff＝0, 나머지 1이라면 오프셋치로서 diff＝OfsA, 나머지 2라면 오프셋치로서 diff＝OfsB, 나머지 3이라면 오프셋치로서 diff＝OfsA로 한다.
〔S4〕 y를 0∼15까지 ＋1씩 반복하고, x를 0∼15까지 ＋1씩 반복하여, 원화상의 매크로 블록과, 참조 화상의 매크로 블록과의 차분 절대치 합을 구한다(도 21에서 후술).
〔S5〕 앞의 차분 절대치 합 Vdiff와, 계산으로 구한 차분 절대치 합 diff를 비교하여, Vdiff＞diff이면, diff를 Vdiff로 대체한다. 또한, 이 때의 화소의 Rx, Ry를 각각 Vx, Vy로 한다. 즉, 여기서는, 최소치의 갱신을 하고 있다.
〔S6〕 Vx－Mx를 Vx로, Vy－My를 Vy로 하여, Vx, Vy를 벡터 표현으로 고쳐 쓴다.
도 21은 차분 절대치 합을 구할 때의 화소 탐색의 모습을 나타낸 도면이다. 도 20의 단계 S4에서, 원화상에 있어서의 임의의 화소는 Yo[My*16＋y][Mx*16＋x]이며, 참조 화상에 있어서의 임의의 화소는 Yr[Ry＋y][Rx＋x]로 나타낼 수 있다.
원화상의 매크로 블록 M1과 참조 화상의 블록 M2와의 차분 절대치 합을 구한다고 하자. 매크로 블록 M1은 매크로 블록 좌표(My, Mx)＝(0,1)이기 때문에, 매크로 블록 M1 내의 임의의 화소는 Yo[My*16＋y][Mx*16＋x]＝Yo[0*16＋y][1*16＋x]＝Yo[y][16＋x]로 나타낼 수 있다.
또한, 참조 화상의 블록 M2는 탐색하여야 할 최초의 화소 위치가 16라인번째의 16화소번째에 위치하기 때문에, 블록 M2 내의 임의의 화소는 Yr[Ry＋y][Rx＋x]＝Yr[16＋y][16＋x]로 나타낼 수 있다.
여기서, x와 y를 0∼15까지 늘림으로써, 블록 내에 있어서, 단계 S4에서 나타낸 차분 절대치 합의 계산이 실행된다. 예컨대, x＝0, y＝0이면, 매크로 블록 M1의 화소 Yo[y][16＋x]＝Yo[0][16]과, 블록 M2의 화소 Yr[16][16]과의 차분의 절대치가 계산된다. 또한, x＝15, y＝15이면, 매크로 블록 M1의 화소 Yo[y][16＋x]＝Yo[15][31]과, 블록 M2의 화소 Yr[31][31]과의 차분의 절대치가 계산된다(이러한 계산이 256회 이루어져 차분 절대치 합을 구함).
한편, 상기한 프로그램·단계에 있어서, 단계 S3이 본 발명에 의해 추가한 부분이며, 그 밖의 단계는 종래의 움직임 벡터 검출 처리에서 사용되고 있는 부분이다. 이와 같이, 본 발명의 기능은 움직임 벡터의 수직 성분에 의해서 오프셋을 설정하는 프로그래밍과, 그를 위한 회로를 부가하는 것만으로 실행할 수 있기 때문에, 회로 규모 및 처리 부하를 크게 증대시키지 않고서, 색차 성분의 미스매칭을 효율적으로 피하는 것이 가능하게 된다.
이어서 도 22∼도 35를 이용하여, 도 2, 도 3에서 상술한 바와 같은, 직사각 형이 이동하고 있는 경우의 영상을, Top/Bottom 필드를 조합시킨 프레임 형식으로 본 경우의, 참조 화상과 원화상으로, 배경의 휘도치를 200, 직사각형 내부의 휘도치를 150으로 한 경우에, 움직임 벡터의 수직 성분의 관계와, 차분 화상(검출한 움직임 벡터로 화소를 이동하여 생성한 예측 화상과, 원화상과의 차분으로 구한 화상)의 관계에 대해서 설명한다.
도 22는 움직임 벡터의 수직 성분이 4n＋2인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 23은 그 차분 화상을 도시한 도면이다. 도 24는 움직임 벡터의 수직 성분이 4n＋1인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 25는 그 차분 화상을 도시한 도면이다.
또한, 도 26은 움직임 벡터의 수직 성분이 4n＋0인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 27은 그 차분 화상을 도시한 도면이다. 도 28은 움직임 벡터의 수직 성분이 4n＋3인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 29는 그 차분 화상을 도시한 도면이다.
도 22에 대하여, 본래의 도형의 수직 방향의 움직임은 ＋2이기 때문에, 도 23의 차분 화상은 완전히 일치하여 전화소 모두 차분 0으로 되어, 차분 절대치 합도 0이 되지만, 다른 경우는 차분이 발생하고 있다.
도 24에 도시하는 예인 4n＋1의 경우는 도 25에서 차분 절대치 합은 2300(＝50×46)이 된다. 도 26에 도시하는 예인 4n＋0의 경우는 도 27에서 차분 절대치 합은 600(＝50×12)이 된다. 도 28에 도시하는 예인 4n＋3의 경우는 도 29에서 차분 절대치 합은 2100(＝50×42)이 된다.
이러한 경우, 종래 방식에서는 차분 절대치 합이 가장 작아지는 도 22에 도시하는 움직임 벡터가 선택되게 되는데, 본 발명에서는 오프셋량으로서 OfsB를 예컨대, 600 이상으로 함으로써, 본래의 차분 절대치 합이 최소가 되는 움직임 벡터의 수직 성분 ＋2 대신에, 수직 성분 ＋0의 움직임 벡터(도 26)를 선택시킬 수 있다.
또한, 도 30은 움직임 벡터의 수직 성분이 4n＋1인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 31은 그 차분 화상을 도시한 도면이다. 도 32는 움직임 벡터의 수직 성분이 4n＋0인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 33은 그 차분 화상을 도시한 도면이다. 도 34는 움직임 벡터의 수직 성분이 4n＋2인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 35는 그 차분 화상을 도시한 도면이다.
여기서, 도 30에 대하여, 도형의 수직 방향의 움직임이 ＋1인 경우, 도 31에 도시하는 차분 절대치 합은 0이 되지만, 도 32에 도시한 바와 같이 4n＋0에서는, 도 33에서 차분 절대치 합이 2500이 되고 있고, 도 34에 도시한 바와 같이 4n＋2에서는 도 35에서 차분 절대치 합이 2300으로 되고 있다.
이러한 경우도, 종래 방식에서는 차분 절대치 합이 가장 작아지는 도 30의 움직임 벡터가 선택되게 되는데, 본 발명에 의해 오프셋량으로서 OfsA를 예컨대, 2500 이상으로 함으로써, 본래의 차분 절대치 합이 최소가 되는 벡터 ＋1 대신에, 수직 성분 ＋0의 움직임 벡터(도 32)를 선택시킬 수 있다.
이어서 직사각형 내부가 한결같은 값이 아닌 경우에 관해서 도 36∼도 39를 이용하여 설명한다. 도 36은 움직임 벡터의 수직 성분이 4n＋2인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 37은 그 차분 화상을 도시한 도면이다. 도 38은 움직임 벡터의 수직 성분이 4n＋0인 경우의 참조 화상과 원화상을 도시한 도면이며, 도 39는 그 차분 화상을 도시한 도면이다.
도 36의 예는 도형의 수직 방향의 움직임이 ＋2인 경우지만, 직사각형 내부가 한결같은 값은 아니며, 휘도치가 수평 방향으로 40인 라인과 수평 방향으로 160인 라인이 있다.
이 경우, 도 37의 차분 화상은 0으로 되지만, 도 38, 도 39에 도시한 바와 같이, 수직 벡터를 4n＋0으로 한 경우의 차분 절대치 합이 9120(＝160×12＋120×6×10)으로 큰 값으로 되고 있다. 이 경우라도, OfsB를 9120 이상으로 하면, ＋2의 벡터가 아니라, ＋0의 벡터를 선택시키는 것이 가능하지만, 9120이라는 값은 사실상, 움직임 검출이 맞고 있지 않는 상태에 가까워, 색차 미스매치를 막기 위해서 4n＋0을 선택했다고 해도, 이번에는 휘도 데이터의 미스매치가 지나치게 크고 화질적으로 열화가 눈에 띄게 된다. 이 때문에, 만일 색차 미스매치가 발생했다고 해도 4n＋2의 벡터를 선택한 쪽이 화질적으로는 좋다고 생각된다.
극단적으로 말하면, 휘도 성분의 차분 절대치 합의 이론상의 최대치인 255×256＝65280을 OfsA나 OfsB로 설정하면, 색차의 미스매치 가능성이 있는 4n＋1, 4n＋3이나 4n＋2의 벡터를 전부 배제하는 것이 가능하지만, 휘도의 미스매치가 극단적으로 커지는 경우는 득책은 아니다. 따라서, 본 발명에서는, OfsA나 OfsB를 적절히 결정함으로써, 휘도의 미스매치량과 균형을 잡게 만들면서, 색차의 미스매치 발 생 가능성이 있는 4n＋1, 4n＋3이나 4n＋2의 움직임 벡터의 발생을 억제하는 것이다.
이어서 색차 성분의 예측 오차에 근거하여, 오프셋을 결정하는 방법에 관해서 설명한다. OfsA 및 OfsB의 값으로서는 비트 레이트나 그림에 따라서 적절한 고정치를 결정하더라도 좋지만, 이하에 설명하는 것과 같이, 색차 성분의 예측 오차로부터 적응적으로 OfsA 또는 OfsB를 산출하는 것도 가능하다.
우선, 움직임 보상부(12)에 있어서, 색차 성분에 관한 원화상에서 예측 화상의 차분을 구하는 처리에 의해 얻어진 Cb, Cr의 차분치에 대하여, 새롭게 Cb 차분치 및 Cr 차분치 각각의 절대치의 합 Cdiff를 구하는 기능을 추가한다.
도 40은 Cb 차분치 및 Cr 차분치 각각의 절대치 합 Cdiff를 구하는 프로그램을 도시한 도면이다. 색차의 움직임 보상후의 차분 화상 데이터를 diff CB[][], diff CR[][]로 한다. 원래, 움직임 보상 처리로서, 참조 화상과 원화상의 차분을 계산하는 처리는 존재하기 때문에, Cdiff를 구하기 위한 프로그램은 도면에서, 하부선을 뺀 부분만이다.
여기서, 각 매크로 블록에 대해서, 휘도 성분에 의한 움직임 검출 처리에 의해 구해진 차분 절대치 합 Vdiff와, 움직임 보상부(12)에 새롭게 설치한 회로에 의해 구해진 색차 성분의 차분 절대치 합 Cdiff의 관계는 휘도 성분이 16×16＝256 데이터인 데 대하여, 색차 성분은 4:2:0 변환에 의해 Cb와 Cr 각각 8×8＝64 데이터로, Cdiff는 Cb와 Cr의 차분 절대치 합의 합산으로 128 데이터분에 상당하기 때문에, Vdiff:Cdiff＝2:1의 관계라고 생각된다. 이 때문에, 색차 미스매치가 발생하 지 않는 이상 상태에서는 이하의 식(1)의 관계가 된다.
Figure 112004059704474-pat00001
수직 벡터가 4n＋1, 4n＋3이나 4n＋2인 경우에, 색차 미스매치가 발생하지 않고 있으면, 대강 상기한 관계를 만족하지만, 색차 미스매치가 발생하면, Cdiff의 값이 커진다(2×Cdiff＞Vdiff). 이 때문에, 오프셋 OfsA, OfsB는 이하의 식(2), 식(3)으로 설정하여도 좋다.
Figure 112004059704474-pat00002
다만, i는 수직 벡터가 4n＋1, 4n＋3이 되는 매크로 블록의 식별자이며, nA는 매크로 블록의 갯수로 한다.
Figure 112004059704474-pat00003
다만, j는 수직 벡터가 4n＋2가 되는 매크로 블록의 식별자이며, nB는 매크로 블록의 갯수로 한다.
한편, 이 처리에서는 OfsA, OfsB가 극단적으로 큰 값으로 되어, 애당초, 수 직 벡터로서, 4n＋1, 4n＋3이나 4n＋2가 전혀 나오지 않게 되어 버리는 문제가 있기 때문에, 실제의 처리에서는 OfsA, OfsB가 지나치게 커지지 않도록 상한을 두거나, 처리가 진행됨에 따라서, OfsA, OfsB를 서서히 내려가는 식의 처리를 가하거나, 또는 장면이 크게 변하는 경우는 초기치로 되돌리는 등으로 함으로써, OfsA 및 OfsB가 적절한 값으로 수속되도록 할 필요가 있다.
또한, 여기서는 본 발명의 본질적인 원리 설명을 위해, Cdiff와 Vdiff의 관계를 식(1)과 같은 간략한 식으로 하고 있지만, 실제로는, 휘도와 색차에서는 다이내믹 레인지가 다르고, 모노크롬에 가까운 영상과 컬러풀한 영상에서는 휘도와 색차의 밸런스가 다르기 때문에, 이들을 고려하여, 원래는 이하의 식(4)로 하는 쪽이 좋다.
Figure 112004059704474-pat00004
다만 α은 보정 계수이며, 이것은 시스템의 A/D 컨버터의 특성 등 많은 요인이 관계되기 때문에, 여기서는 방식을 한정하지 않지만, 식(5)와 같이 색차 미스매치가 발생하고 있지 않는 상태에서의 Vdiff와 Cdiff의 관계를 여러 화면분에 걸쳐 통계를 잡음으로써 구하는 것도 가능하다.
Figure 112004059704474-pat00005
다만, k는 Vdiff(k)＜OfsA 또 Vdiff(k)＜OfsB가 되는 매크로 블록의 식별자이고, m은 매크로 블록의 갯수이다. 여기서, Vdiff에 조건을 붙이고 있는 것은 OfsA, OfsB에 의해 벡터가 강제적으로 4n＋0의 선택으로 되고 있는 경우의 영향을 피하기 위해서이다.
또한, 보정 계수를 α로 한 경우의 OfsA, OfsB는 이하의 식 (6), (7)이 된다.
Figure 112004059704474-pat00006
Figure 112004059704474-pat00007
이어서 본 발명의 제2의 실시형태에 관해서 설명한다. 제1의 실시형태에서는, 색차 미스매칭을 일으킬 가능성이 있는 프레임 예측으로 구한 움직임 벡터의 수직 성분 4n＋1, 4n＋3 및 4n＋2에 대하여, 오프셋 OfsA, OfsB를 적응적으로 결정하여, 차분 절대치 합에 오프셋을 가산해 둠으로써, 4n＋1, 4n＋3, 4n＋2의 예측 블록을 선택하기 어렵게 하여, 색차 성분의 미스매칭을 피하는 구성으로 했다.
한편, 본 발명의 제2의 실시형태에서는, 오프셋을 가산하는 것이 아니라, 프레임 예측과, 필드 예측을 적응적으로 전환함으로써, 색차 성분의 미스매칭을 피하는 것이다.
도 41은 제2의 실시형태의 원리도를 도시한 도면이다. 움직임 벡터 검출·보상 장치(20)는 움직임 벡터 검출부(21), 움직임 보상부(22)로 구성된다. 움직임 벡터 검출부(21)는 인터레이스 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호에 대하여, 휘도 성분만으로 움직임 벡터를 검출할 때에, 프레임 예측으로 검출한 움직임 벡터(이하, 프레임 벡터라고도 부름)에 대하여, 프레임 벡터가 취할 수 있는 수직 성분에 따라서, 사용하는 움직임 벡터를 선택한다.
구체적으로는, 프레임 벡터의 수직 성분 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)에 대하여, 4n＋0의 경우는 움직임 벡터로서 프레임 벡터를 그대로 사용한다.
또한, 프레임 예측을 한 결과, 프레임 벡터가 4n＋1, 4n＋2, 4n＋3 중 어느 것으로 된 경우는, 필드 예측으로 전환하여 재차 움직임 벡터를 검출한다(필드 예측으로 검출한 움직임 벡터를 이하, 필드 벡터라고도 부름). 그리고, 필드 벡터를 움직임 벡터로서 사용한다.
움직임 보상부(22)는 검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구한다. 이와 같이, 프레임 벡터 또는 필드 벡터 중 어느 것을 선택함으로써, 색차 성분의 미스매칭을 억제한다.
한편, MPEG2의 부호화 처리에 있어서의 움직임 벡터 검출에서는, 매크로 블록의 처리마다, 프레임 예측 또는 필드 예측의 어느 쪽에서 움직임 벡터를 검출하는지를 결정할 수 있다. 통상, Top 필드 및 Bottom 필드 모두 움직임 벡터가 가지런히 갖춰져 있는 경우에는, 프레임 예측을 하여 움직임 벡터를 구하지만, Top 필드와 Bottom 필드의 움직임 벡터가 가지런히 갖춰져 있지 않은 경우에는 필드 예측 을 하여 움직임 벡터를 구하게 된다.
또한, 프레임 예측으로 움직임 벡터를 검출한 경우, 움직임 벡터의 정보는 참조 화상에서 원화상으로 향하는 하나의 벡터의 수평·수직 성분이 된다. 또한, 필드 예측으로 움직임 벡터를 검출한 경우의 움직임 벡터의 정보는 2 라인의 움직임 벡터가 존재하게 되기 때문에, 각각의 벡터의 수평·수직 성분과, 참조 화상의 필드를 나타내는 필드 셀렉트로 된다.
예컨대, 도 41의 프레임 예측의 움직임 벡터 Vb의 정보는 벡터 Vb의 수평·수직 성분으로 된다. 또한, 필드 예측의 움직임 벡터 Vc의 정보는 필드 셀렉트가 Top이고, 또한 벡터 Vc의 수평·수직 성분으로 된다. 또한, 움직임 벡터 Vd는 필드 셀렉트가 Bottom이고, 또한 벡터 Vd의 수평·수직 성분으로 된다.
이어서 프레임 벡터의 수직 성분이 4n＋1, 4n＋2, 4n＋3 중 어느 것인가로 되었을 때에, 필드 예측으로 전환하여 프레임 벡터를 검출함으로써, 색차 성분의 미스매칭을 피할 수 있는 이유에 관해서 설명한다.
도 42는 필드 예측에 있어서의 색차 성분의 미스매칭을 피하는 것을 설명하기 위한 도면이다. 도 11에서 상술한 바와 같이, 프레임 벡터가 4n＋2인 경우, 예컨대, 원화상의 Top 필드의 색차 성분 c1에 대하여, 원래는 참조 화상의 Top 필드의 화소에 대응하여야 할 c2가, 그 위치에 존재하지 않기 때문에, Bottom 필드로부터의 색차 성분 c3을 이용하여 예측 화소를 생성하고 있었다. 이 때문에 큰 미스매칭이 생기고 있었지만, 필드 예측으로 하면, 가령 대응하여야 할 위치에 색차 성분의 화소 c2가 존재하지 않더라도, 동일한 필드 내의 가장 근방의 화소 c6을 선택하 게 된다.
즉, 프레임 예측에서는, 예컨대, Top에 대응하는 화소가 없으면, 근방 화소로서 Bottom 측에 위치하는 화소를 가져와 버리기 때문에, 오차가 커졌지만, 필드 예측에서는 가령 Top에 대응하는 화소가 없더라도, 동일한 Top의 필드 중에서 화소를 보완하기 때문에(필드 예측에서는 필드 셀렉트라는 정보가 있기 때문에, 동일한 필드 내에서 보완 가능함), 큰 오차가 생기지 않게 되어, 프레임 예측에서 생기고 있었던 큰 미스매칭이 일어나지 않게 된다.
이와 같이, 제2의 실시형태에서는, 휘도 성분에 의한 움직임 벡터 검출 처리시에, 색차 미스매치를 일으킬 가능성이 있는 프레임 예측으로 벡터의 수직 성분 4n＋2, 4n＋1 및 4n＋3으로 된 경우는, 프레임 예측으로 하지 않고, 필드 예측으로 함으로써, 색차의 미스매치를 피할 수 있다.
그러나, 필드 예측은 프레임 예측에 대하여, 움직임 벡터의 정보량이 커지기 때문에, 벡터 데이터의 오버헤드가 커진다. 따라서, 이것을 피하기 위해서, 매크로 블록 내의 색차 엣지를 검출하는 회로(색차 엣지 검출부)를 추가하여, 색차 미스매치의 영향이 큰 경우에 한해서, 필드 예측으로 전환하도록 한다.
색차의 미스매치에 의해 예측 오차가 커지는 것은 직사각형 화상 내와 직사각형 화상 밖의 색차 성분이 크게 다른 경우이다(한편, 직사각형 안이 흑이고, 직사각형 밖이 백인 영상에서는 색차 엣지는 없다. 왜냐하면 흑도 백도 Cb, Cr는 동일한 값이며, 휘도치만으로 백, 흑이 표현되기 때문이다(덧붙여서 말하면 백의 Y는 0xff이고, 흑의 Y는 0x00임)).
예컨대, 직사각형 밖이 적계의 색(Cb＜127, Cr＞128)이고, 직사각형 안이 청(Cb＞128, Cr＜127)인 경우, 색차의 미스매치의 영향이 크지만, 직사각형의 안팎이 모두 적이나 청 등, 색차 성분이 닮아 있고, 휘도 성분만이 다르다고 하는 경우는, 가령 색차의 미스매치가 발생하고 있더라도 영향이 적다.
이와 같이 색차의 미스매치가 발생하더라도, 색차 성분이 원래 닮아 있으면 영향은 적고, 실제로, 인물이나 풍경 등의 영상의 경우, 색 성분이 크게 변화되는 것은 드물며, 이러한 경우는 프레임 예측 그대로라도 색차 미스매치에 의한 예측 오차 증대의 영향은 그다지 없다. 한편, 간판이나 자막의 엣지 등, 색 성분이 크게 변화되는 경우에 색차 미스매치가 일어나면, 간판이나 자막의 색이 주위 화상으로 스며 나오는 것과 같은 보기 좋지 않은 영상으로 되기 때문에, 이러한 상태를 판단하기 위해서, 색차의 엣지 판정 회로를 추가한다.
이어서 필드 벡터의 설정에 관해서 설명한다. 도 43은 프레임 벡터와 필드 벡터의 수직 성분의 대응표를 도시한 도면이다. 움직임 검출부로부터의 움직임 벡터가, 프레임 예측으로 수직 성분 4n＋2, 4n＋1 및 4n＋3 중 어느 것이며, 또한 색차 엣지 검출부의 결과가 색차 엣지 있음이라고 판정된 경우에는, 예측 타입을 필드 예측으로 전환하여, 도면의 테이블에 도시한 바와 같은 필드 벡터를 검출한다.
다음에 도 44∼도 46을 이용하여, 도 43에 나타낸 필드 벡터를 도시하여 설명한다. 도 44는 프레임 벡터 4n＋2가 되었을 때의 필드 벡터를 도시한 도면이다. 프레임 벡터가 4n＋2가 되었을 때, 필드 예측으로 하면, 필드 벡터는 Top의 참조 화상→Top의 원화상으로 향하는 움직임 벡터로서, Top 측의 필드 벡터의 수직 성분 은 2n＋1 및 필드 셀렉트는 Top, Bottom의 참조 화상→Bottom의 원화상으로 향하는 움직임 벡터로서, Bottom 측의 필드 벡터의 수직 성분은 2n＋1 및 필드 셀렉트는 Bottom이 된다.
한편, 휘도로 2n＋1의 벡터는 색차에서는 그 반인 (n＋0.5)의 벡터가 된다. 0.5 부분은 하프펠 보완 처리가 이루어져, 근방 화소의 평균으로서 구해진다. 도면의 경우, 색차 성분 f1, f2는 각각 (Ct(n)＋Ct(n＋1))/2, (Cb(n)＋Cb(n＋1))/2에 의해 구해진다.
한편, 필드 예측시에 이루어지는 하프펠 보완은, 프레임 예측의 4n＋1, 4n＋3일 때에 행한 하프펠 보완과 비교하면 오차는 적다. 왜냐하면, 필드 예측시에 이루어지는 하프펠 보완은 동일 필드 상(Top과 Top 또는 Bottom과 Bottom)에서 이루어지는 데 대하여, 프레임 예측시에 이루어지지는 하프펠 보완은 다른 필드 상(Top과 Bottom)에서 이루어지기 때문이다.
도 45는 프레임 벡터 4n＋1이 되었을 때의 필드 벡터를 도시한 도면이다. 프레임 벡터가 4n＋1이 되었을 때, 필드 예측으로 하면, 필드 벡터는 Bottom의 참조 화상→Top의 원화상으로 향하는 움직임 벡터로서, Top 측의 필드 벡터의 수직 성분은 2n 및 필드 셀렉트는 Bottom, Top의 참조 화상→Bottom의 원화상으로 향하는 움직임 벡터로서, Bottom 측의 필드 벡터의 수직 성분은 2n＋1 및 필드 셀렉트는 Top이 된다.
한편, 휘도로, 2n, 2n＋1의 벡터는 색차에서는 그 반인 n, (n＋0.5)의 벡터가 된다. 또한, 색차 성분 g1은 g2와 g3으로부터 보완된다.
도 46은 프레임 벡터 4n＋3이 되었을 때의 필드 벡터를 도시한 도면이다. 프레임 벡터가 4n＋3이 되었을 때, 필드 예측으로 하면, 필드 벡터는 Bottom의 참조 화상→Top의 원화상으로 향하는 움직임 벡터로서, Top 측의 필드 벡터의 수직 성분은 2n＋2 및 필드 셀렉트는 Bottom, Top의 참조 화상→Bottom의 원화상으로 향하는 움직임 벡터로서, Bottom 측의 필드 벡터의 수직 성분은 2n＋1 및 필드 셀렉트는 Top이 된다.
한편, 휘도로, 2n＋2, 2n＋1의 벡터는 색차에서는 그 반인 n＋1, (n＋0.5)의 벡터가 된다. 또한, 색차 성분 h1은 h2와 h3으로부터 보완된다.
다음에 움직임 벡터 보정의 기능을 OFF로 하는 것에 관해서 설명한다. 인터레이스 주사된 화상 신호의 움직임 벡터 검출을 하면, 색차 성분의 미스매칭이 생기기 때문에, 제1의 실시형태에서는 오프셋의 가산, 제2의 실시형태에서는 필드 예측으로의 전환과 같은 움직임 벡터 보정을 행함으로써, 미스매칭을 피했지만, 처리 대상인 화상 신호가 인터레이스 주사가 아닌 프로그래시브(논-인터레이스) 화상인 경우에는, 색차 미스매칭이 애당초 발생하지 않는다. 따라서, 이러한 화상 신호가 입력된 경우에는 제1, 제2의 실시형태는 모두, 상술한 바와 같은 움직임 벡터 보정은 불필요하여, 움직임 벡터 검출부에 있어서, 움직임 벡터 보정 기능을 OFF로 한다.
다만, 영화를 TV 방송 등에 맞추기 위해서 2:3 풀업이라 불리는 처리에 의해서 인터레이스 주사로 변환한 경우, 원래는 하나의 영상을, 시간적으로 TOP 화상과 BOTTOM 화상으로 나눠 입력되게 된다. 이 경우는, 인터레이스 주사이기는 하지만, 원래는 동시각인 TOP 화상과 BOTTOM 화상을 조(組)로 하여 프레임화한 것이기 때문에, 프레임 사이에서는 색차 미스매치가 발생하지 않는다. 이러한 입력 화상에 있어서는, 화상 입력 처리 단계에서, 3:2 풀다운을 행하지만, 3:2 풀다운을 실시하여 프로그래시브화가 가능한 영상에 대하여도 움직임 벡터의 보정 기능은 OFF로 한다.
도 47은 2:3 풀업 및 3:2 풀다운 처리를 도시한 도면이다. 영화 소재의 화상 신호를 TV 방송의 포맷으로 변환하는 경우, 영화 소재는 1초 사이에 24 코마, TV는 1초 사이에 30 코마이기 때문에, 24→30로 코마수를 변환해야 한다. 영화 소재의 포맷에서 TV의 포맷으로 변환하는 처리를 2:3 풀업(또는 텔레시네)이라 부른다.
여기서, 1 프레임이 1/24초인 영화 소재의 프레임 A∼D를, 1 프레임이 1/30초인 TV의 코마수로 변환하면, 프레임 A는 Top 필드 AT, Bottom 필드 AB, Top 필드 AT로 변환되고, 프레임 B는 Bottom 필드 BB, Top 필드 BT로 변환되고, 프레임 C는 Bottom 필드 CB, Top 필드 CT, Bottom 필드 CB로 변환되고, 프레임 D는 Top 필드 DT, Bottom 필드 DB로 변환된다.
즉, 1 프레임이 1/24초인 4장의 프레임((1/24)×4＝1/6)이, 1 필드가 1/60초인 10장의 필드(((1/60)×10＝1/6)로 변환된다.
TV 방송의 포맷으로 변환된 화상 신호에, MPEG의 인코드 처리를 실시하는 경우에는 2:3 풀업으로 생성된 필드에, 먼저 3:2 풀다운을 실시하고 나서 인코드를 행한다. 여기서의 3:2 풀다운에서는, 부호화에 쓸데없는 중복을 하고 있는 필드 F3, F8을 생략함으로써, 인코드 입력 화상을 생성한다.
인코드 입력 화상에 대하여, Top 필드 AT와, Bottom 필드 AB는 원래 하나인 영화 소재의 프레임 A로부터 생성한 것이기 때문에, 이들 필드 사이에 움직임은 없다. 다른 프레임 B∼D에 관한 필드도 마찬가지이다. 따라서, Top와 Bottom으로 이루어지는 프레임이라도, 3:2 풀다운 후의 화상 신호에는 필드 사이에서 움직임이 없기 때문에, 이러한 화상 신호의 부호화를 실시할 때에는 움직임 벡터 보정 기능을 OFF로 하게 된다.
다음에 본 발명의 움직임 벡터 검출·보상 장치를 적용한, MPEG2 등에 사용되는 화상 부호화 장치에 관해서 설명한다. 도 48은 제1의 실시형태의 움직임 벡터 검출·보상 장치(10)를 포함하는 화상 부호화 장치의 구성을 도시한 도면이다.
화상 부호화 장치(30-1)는 A/D부(31), 화상 입력부(32), 움직임 벡터 검출·보상부(10a), 부호화부(33), 로컬 디코더(34), 프레임 메모리(35), 전체 제어부(36)로 구성된다. 또한, 부호화부(33)는 DCT부(33a), 양자화부(33b), 가변 길이 부호화부(33c)로 구성되며, 로컬 디코더(34)는 역양자화부(34a), 역DCT부(34b)로 구성된다.
A/D부(31)는 TV 방송 등의 아날로그 화상 신호를 디지털 신호로 변환하여 휘도 색차 포맷으로서, 4:2:2 포맷의 디지털 화상 신호를 생성한다.
화상 입력부(32)는 4:2:2 포맷의 화상 신호를 4:2:0 포맷의 화상 신호로 변환한다. 4:2:0의 화상 신호는 프레임 메모리(35)에 저장된다. 한편, 전체 제어부(36)는 프레임 메모리(35) 내의 프레임 화상의 관리나 각 구성 요소끼리의 인터페 이스 제어 등을 행한다.
움직임 벡터 검출·보상부(10a)는 제1의 실시형태에서 상술한 기능을 지니며, 움직임 벡터 검출부(11)는 프레임 메모리(35)로부터 매크로 블록 단위의 원화상과 그보다 큰 영역의 참조 화상을 독출하여, 원화상의 매크로 블록에 대하여, 오프셋 가산에 의해서 구한 각 화소의 차분 절대치 합이 가장 작아지는, 참조 화상 영역 상의 위치를 움직임 벡터로서 산출한다.
움직임 보상부(12)는 프레임 메모리(35)로부터 화상 신호를 독출하여, 검출된 움직임 벡터를 이용하여, 원화상 매크로 블록과 참조 화상의 그 움직임 벡터 위치로부터 예측 화상을 생성하여, 그 차분을 예측 오차로서 DCT부(33a)에 송신한다.
DCT부(33a)는 예측 오차를 DCT 변환하여, 변환 계수를 양자화부(33b)에 송신한다. 양자화부(33b)는 전체 제어부(36)에 의해 지시된 양자화 파라메터에 의해 변환 계수를 양자화하여, 역양자화부(34a) 및 가변 길이 부호화부(33c)에 송신한다. 가변 길이 부호화부(33c)는 하프만 부호화 등의 부호화 처리를 실시하여 부호화 데이터를 생성하여 출력한다.
역양자화부(34a)는 양자화된 데이터를, 양자화 파라메터에 따라서 역양자화하여, 역DCT부(34b)에 송신하고, 역DCT부(34b)는 역DCT 변환하여 재생 예측 오차를 생성하여, 움직임 보상부(12)에 송신한다. 움직임 보상부(12)에서는 예측 화상에 재생 예측 오차를 가산함으로써, 로컬 디코드 화상(다음 처리에서 이용되는 참조 화상으로 됨)을 생성하여, 프레임 메모리(35)에 출력한다.
도 49는 제2의 실시형태의 움직임 벡터 검출·보상 장치(20)를 포함하는 화 상 부호화 장치의 구성을 도시한 도면이다. 화상 부호화 장치(30-2)는 도 48에서 도시한 화상 부호화 장치(30-1)와 기본적인 구성은 동일하다. 다른 곳은, 제2의 실시형태의 기능을 포함하는 움직임 벡터 검출·보상부(20a)와, 프레임 예측과 필드 예측을 전환하여 움직임 벡터를 검출할 때에, 매크로 블록 내의 색차 엣지를 검출하는 색차 엣지 검출부(37)를 포함한다는 점이다.
색차 엣지 검출부(37)는 화상 입력부(32)로부터 출력된 화상 신호를 매크로 블록 단위로 색차 엣지를 검출하여, 프레임 메모리(35)에 저장한다. 움직임 벡터 검출부(21)는 프레임 메모리(35)로부터 독출한 원화상, 참조 화상 및 색차 엣지 정보에 기초하여 움직임 벡터 검출을 한다. 그 밖의 동작은 동일하기 때문에 설명은 생략한다.
이상 설명한 바와 같이, 본 발명의 제1의 실시형태에서는 오프셋 가산에 의해서 구한 각 화소의 차분 절대치 합이 가장 작아지는, 참조 화상 영역 상의 위치를 움직임 벡터로서 검출함으로써, 종래의 움직임 검출 회로의 구성에 대하여, 간단한 기능 추가만으로 색차 미스매치를 억제하는 효과를 얻을 수 있다. 또한, 제2의 실시형태에서는 색차 엣지의 검출 회로의 추가에 의해, 색차 미스매치가 발생하고 있더라도 거의 예측 오차에 영향이 없는 경우는 움직임 벡터 보정을 행하지 않고, 예측 오차에 영향이 있는 경우에만 예측 타입을 프레임 예측으로부터 필드 예측으로 전환함으로써, 부호화 데이터의 증대를 최소한으로 할 수 있다.
한편, 상기에서는 제1, 제2의 실시형태를 독립적으로 나타냈지만, 양방을 사용하여 제1의 실시형태에서 심하지 않게 벡터의 제약을 주고, 제2의 실시형태에서 는 제1의 실시형태에서 제한할 수 없었던 것을 신경쓴다고 하는 것도 가능하다.
(부기 1) 화상 신호의 움직임 벡터의 검출 및 움직임 보상을 행하는 움직임 벡터 검출·보상 장치에 있어서,
인터레이스 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호에 대하여, 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서, 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록과의 위치의 편차량으로부터, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부와,
검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구하는 움직임 보상부를 갖는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
(부기 2) 상기 움직임 벡터 검출부는, 움직임 벡터의 수직 성분 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)에 대하여, 원화상의 처리 블록과 4n＋0의 위치의 참조 화상의 블록과의 차분 절대치 합의 오프셋은 제로로 설정하고, 원화상의 처리 블록과 4n＋1, 4n＋2, 4n＋3의 위치의 참조 화상의 블록과의 차분 절대치 합의 오프셋은 전송 비트 레이트, 양자화 파라메터, 색차 엣지 상태, 색차 성분의 예측 오차의 적어도 하나에 기초하여, 적응적으로 설정하는 것을 특징으로 하는 부기 1에 기재한 움직임 벡터 검출·보상 장치.
(부기 3) 상기 움직임 벡터 검출부는, 전송 비트 레이트가 낮고 색차 엣지의 변화가 큰 경우에는, 4n＋0의 블록의 평균 차분 절대치와, 4n＋1 또는 4n＋3의 블록의 평균 차분 절대치와의 차분이 제1 임계치 이하라면, 4n＋0의 블록이 선택되어야 할 값의 높은 오프셋을 4n＋1 또는 4n＋3 측에 설정하고, 또는 4n＋0의 블록의 평균 차분 절대치와, 4n＋2의 블록의 평균 차분 절대치와의 차분이 제1 임계치보다 큰 제2 임계치 이하라면, 4n＋0의 블록이 선택되어야 할 값의 높은 오프셋을 4n＋2 측에 설정하고, 전송 비트 레이트가 높은 경우에는, 4n＋0의 블록의 선택 용이함을 적게 하여야 할 값의 낮은 오프셋을 4n＋1, 4n＋2, 4n＋3 측에 설정하는 것을 특징으로 하는 부기 2에 기재한 움직임 벡터 검출·보상 장치.
(부기 4) 상기 움직임 보상부에서, 색차 성분에 관한 원화상으로부터 예측 화상의 차분을 구하는 처리에 의해 얻어진 Cb, Cr의 차분치에 대하여, 상기 움직임 보상부는 새롭게 Cb 차분치 및 Cr 차분치 각각의 색차 차분 절대치 합을 구하고, 상기 움직임 벡터 검출부는, 휘도 성분에 의한 휘도 차분 절대치 합을 Vdiff, 상기 색차 차분 절대치 합을 Cdiff, 보정 계수를 α로 한 경우에, α×Cdiff＞Vdiff가 된다면, 4n＋1, 4n＋3의 오프셋 OfsA는 i를 4n＋1, 4n＋3이 되는 블록의 식별자, n을 블록의 갯수로 했을 때에,
이하의 수학식 6,
Figure 112004059704474-pat00008
으로 구하고,
4n＋2의 오프셋 OfsB는 i를 4n＋2가 되는 블록의 식별자, n을 블록의 갯수로 했을 때에,
이하의 수학식 7,
Figure 112004059704474-pat00009
로 구하는 것을 특징으로 하는 부기 2에 기재한 움직임 벡터 검출·보상 장치.
(부기 5) 상기 움직임 벡터 검출부는, 인터레이스 주사가 아닌 화상 신호에 대해서는, 상기 움직임 벡터 보정의 기능을 OFF로 하고, 또한 인터레이스 주사의 화상 신호라도, 3:2 풀다운 처리에 의해 프로그래시브화가 가능한 화상 신호에 대해서는, 상기 움직임 벡터 보정의 기능을 OFF로 하는 것을 특징으로 하는 부기 1에 기재한 움직임 벡터 검출. 보상 장치.
(부기 6) 화상 신호의 부호화 처리를 행하는 화상 부호화 장치에 있어서,
4:2:2 포맷의 디지털 화상 신호를 4:2:0 포맷으로 변환하는 화상 입력 처리부와,
인터레이스 주사로 4:2:0 포맷의 화상 신호에 대하여, 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서, 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록과의 위치의 편차량으로부터, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부와, 검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구하고, 예측 화상에 재생 예측 오차를 가산하여, 로컬 디코드 화상을 생성하는 움직임 보상부로 구성되는 움직임 벡터 검출·보상부와,
예측 오차를 DCT 변환하여 변환 계수를 구하는 DCT부와, 변환 계수를 양자화하여 양자화치를 구하는 양자화부와, 양자화치를 가변 길이 부호화를 실시하여, 부호화 데이터를 생성하는 가변 길이 부호화부로 구성되는 부호화부와,
양자화치를 역양자화하여 역양자화치를 구하는 역양자화부와, 역양자화치를 IDCT 변환하여 상기 재생 예측 오차를 구하는 IDCT부로 구성되는 로컬 디코더와,
복수 프레임의 화상 신호를 저장하는 프레임 메모리를 갖는 것을 특징으로 하는 화상 부호화 장치.
(부기 7) 상기 움직임 벡터 검출부는, 움직임 벡터의 수직 성분 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)에 대하여, 원화상의 처리 블록과 4n＋0의 위치의 참조 화상의 블록과의 차분 절대치 합의 오프셋은 제로로 설정하고, 원화상의 처리 블록과 4n＋1, 4n＋2, 4n＋3의 위치의 참조 화상의 블록과의 차분 절대치 합의 오프셋은, 전송 비트 레이트, 양자화 파라메터, 색차 엣지 상태, 색차 성분의 예측 오차의 적어도 하나에 기초하여, 적응적으로 설정하는 것을 특징으로 하는 부기 6에 기재한 화상 부호화 장치.
(부기 8) 상기 움직임 벡터 검출부는, 전송 비트 레이트가 낮고, 색차 엣지의 변화가 큰 경우에는, 4n＋0의 블록의 평균 차분 절대치와 4n＋1 또는 4n＋3의 블록의 평균 차분 절대치와의 차분이 제1 임계치 이하라면, 4n＋0의 블록이 선택되어야 하는 값의 높은 오프셋을 4n＋1 또는 4n＋3 측에 설정하고, 또는 4n＋0의 블 록의 평균 차분 절대치와 4n＋2의 블록의 평균 차분 절대치와의 차분이 제1 임계치보다 큰 제2 임계치 이하라면, 4n＋0의 블록이 선택되어야 하는 값의 높은 오프셋을 4n＋2 측에 설정하고, 전송 비트 레이트가 높은 경우에는, 4n＋0의 블록의 선택 용이성을 적게 하여야 할 값의 낮은 오프셋을 4n＋1, 4n＋2, 4n＋3 측에 설정하는 것을 특징으로 하는 부기 7에 기재한 화상 부호화 장치.
(부기 9) 상기 움직임 보상부에서, 색차 성분에 관한 원화상으로부터 예측 화상의 차분을 구하는 처리에 의해 얻어진 Cb, Cr의 차분치에 대하여, 상기 움직임 보상부는, 새롭게 Cb 차분치 및 Cr 차분치 각각의 색차 차분 절대치 합을 구하고, 상기 움직임 벡터 검출부는, 휘도 성분에 의한 휘도 차분 절대치 합을 Vdiff, 상기 색차 차분 절대치 합을 Cdiff, 보정 계수를 α로 한 경우에, α×Cdiff＞Vdiff가 되면, 4n＋1, 4n＋3의 오프셋 OfsA는 i를 4n＋1, 4n＋3이 되는 블록의 식별자, n을 블록의 갯수로 했을 때에,
이하의 수학식 6,
Figure 112004059704474-pat00010
으로 구하고,
4n＋2의 오프셋 OfsB는 i를 4n＋2가 되는 블록의 식별자, n을 블록의 갯수로 했을 때에,
이하의 수학식 7,
Figure 112004059704474-pat00011
로 구하는 것을 특징으로 하는 부기 7에 기재한 움직임 벡터 검출·보상 장치.
(부기 10) 상기 움직임 벡터 검출부는, 인터레이스 주사가 아닌 화상 신호에 대해서는, 상기 움직임 벡터 보정의 기능을 OFF로 하고, 또한 인터레이스 주사의 화상 신호라도, 3:2 풀다운 처리에 의해 프로그래시브화가 가능한 화상 신호에 대해서는, 상기 움직임 벡터 보정의 기능을 OFF로 하는 것을 특징으로 하는 부기 6에 기재한 화상 부호화 장치.
(부기 11) 화상 신호의 움직임 벡터의 검출 및 움직임 보상을 행하는 움직임 벡터 검출·보상 장치에 있어서,
인터레이스 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호에 대하여, 휘도 성분만으로 움직임 벡터를 검출할 때에, 프레임 예측으로 검출한 움직임 벡터인 프레임 벡터에 대하여, 프레임 벡터가 취할 수 있는 수직 성분에 따라서, 사용하는 움직임 벡터로서, 프레임 벡터 또는 필드 예측으로 전환하여 필드 예측으로 검출한 움직임 벡터인 필드 벡터 중 어느 것을 선택하는 움직임 벡터 보정을 행함으로써, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부와,
검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구하는 움직임 보상부를 갖는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
(부기 12) 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)에 대하여, 4n＋0의 경우는 움직임 벡터로서 프레임 벡터를 사용하고, 4n＋1, 4n＋2, 4n＋3의 경우는 필드 예측으로 전환하여 필드 벡터를 검출하여, 필드 벡터를 움직임 벡터로서 사용하는 것을 특징으로 하는 부기 11에 기재한 움직임 벡터 검출·보상 장치.
(부기 13) 처리 블록 내에서, 색차 성분의 미스매칭이 생기는 색차 엣지가 존재하는지의 여부를 판별하는 색차 엣지 검출부를 더욱 지니고, 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분이 4n＋1, 4n＋2, 4n＋3 중 어느 것이고, 또한 색차 엣지가 검출된 경우에, 필드 예측으로 전환하는 것을 특징으로 하는 부기 12에 기재한 움직임 벡터 검출·보상 장치.
(부기 14) 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분이 4n＋1인 경우는, Top 필드의 필드 벡터의 수직 성분을 2n 및 필드 셀렉트를 Bottom 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드로 하고, 프레임 벡터의 수직 성분이 4n＋2인 경우는, Top 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Bottom 필드로 하고, 프레임 벡터의 수직 성분이 4n＋3인 경우는, Top 필드의 필드 벡터의 수직 성분을 2n＋2 및 필드 셀렉트를 Bottom 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드로 하는 것을 특징으로 하는 것을 특징으로 하는 부기 12에 기재한 움 직임 벡터 검출·보상 장치.
(부기 15) 상기 움직임 벡터 검출부는, 인터레이스 주사가 아닌 화상 신호에 대해서는 상기 움직임 벡터 보정의 기능을 OFF로 하고, 또한 인터레이스 주사의 화상 신호라도, 3:2 풀다운 처리에 의해 프로그래시브화가 가능한 화상 신호에 대해서는 상기 움직임 벡터 보정의 기능을 OFF로 하는 것을 특징으로 하는 부기 11에 기재한 움직임 벡터 검출·보상 장치.
(부기 16) 화상 신호의 부호화 처리를 행하는 화상 부호화 장치에 있어서,
4:2:2 포맷의 디지털 화상 신호를 4:2:0 포맷으로 변환하는 화상 입력 처리부와,
인터레이스 주사로 4:2:0 포맷의 화상 신호에 대하여, 휘도 성분만으로 움직임 벡터를 검출할 때에, 프레임 예측으로 검출한 움직임 벡터인 프레임 벡터에 대하여, 프레임 벡터가 취할 수 있는 수직 성분에 따라서, 사용하는 움직임 벡터로서, 프레임 벡터 또는 필드 예측으로 전환하여 필드 예측으로 검출한 움직임 벡터인 필드 벡터 중 어느 것을 선택하는 움직임 벡터 보정을 행함으로써, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부와, 검출한 움직임 벡터를 이용하여, 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구하고, 예측 화상에 재생 예측 오차를 가산하여, 로컬 디코드 화상을 생성하는 움직임 보상부로 구성되는 움직임 벡터 검출·보상부와,
예측 오차를 DCT 변환하여 변환 계수를 구하는 DCT부와, 변환 계수를 양자화하여 양자화치를 구하는 양자화부와, 양자화치를 가변 길이 부호화를 실시하여, 부 호화 데이터를 생성하는 가변 길이 부호화부로 구성되는 부호화부와,
양자화치를 역양자화하여 역양자화치를 구하는 역양자화부와, 역양자화치를 IDCT 변환하여 상기 재생 예측 오차로 하는 IDCT부로 구성되는 로컬 디코더와,
복수 프레임의 화상 신호를 저장하는 프레임 메모리를 갖는 것을 특징으로 하는 화상 부호화 장치.
(부기 17) 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)에 대하여, 4n＋0의 경우는 움직임 벡터로서 프레임 벡터를 사용하고, 4n＋1, 4n＋2, 4n＋3의 경우는 필드 예측으로 전환하여 필드 벡터를 검출하여, 필드 벡터를 움직임 벡터로서 사용하는 것을 특징으로 하는 부기 16에 기재한 화상 부호화 장치.
(부기 18) 처리 블록 내에서, 색차 성분의 미스매칭이 생기는 색차 엣지가 존재하는지의 여부를 판별하는 색차 엣지 검출부를 더욱 지니고, 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분이 4n＋1, 4n＋2, 4n＋3 중 어느 것이고, 또한 색차 엣지가 검출된 경우에, 필드 예측으로 전환하는 것을 특징으로 하는 부기 17에 기재한 화상 부호화 장치.
(부기 19) 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분이 4n＋1인 경우는, Top 필드의 필드 벡터의 수직 성분을 2n 및 필드 셀렉트를 Bottom 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드로 하고, 프레임 벡터의 수직 성분이 4n＋2인 경우는, Top 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Bottom 필드로 하고, 프레임 벡터의 수직 성분이 4n＋3인 경우는, Top 필드의 필드 벡터의 수직 성분을 2n＋2 및 필드 셀렉트를 Bottom 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드로 하는 것을 특징으로 하는 것을 특징으로 하는 부기 17에 기재한 화상 부호화 장치.
(부기 20) 상기 움직임 벡터 검출부는, 인터레이스 주사가 아닌 화상 신호에 대해서는, 상기 움직임 벡터 보정의 기능을 OFF로 하고, 또한 인터레이스 주사의 화상 신호라도, 3:2 풀다운 처리에 의해 프로그래시브화가 가능한 화상 신호에 대해서는, 상기 움직임 벡터 보정의 기능을 OFF로 하는 것을 특징으로 하는 부기 16에 기재한 화상 부호화 장치.
본 발명의 움직임 벡터 검출·보상 장치는, 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서, 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록과의 위치의 편차량으로부터, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하고, 검출한 움직임 벡터를 이용하여, 움직임 보상을 하는 구성으로 했다. 이에 따라, 회로 규모 및 처리 부하를 크게 증대시키는 일없이, 움직임 벡터 검출·보상시에 생기는 색차 성분의 미스매칭을 효율적으로 피할 수 있어, 고품질의 부호화 처리를 할 수 있게 된다.

Claims (10)

  1. 화상 신호의 움직임 벡터의 검출 및 움직임 보상을 행하는 움직임 벡터 검출·보상 장치에 있어서,
    인터레이스 주사로 색차 성분이 간인(間引)된 포맷을 갖는 화상 신호에 대하여 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록과의 위치 편차량으로부터 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부와;
    검출된 움직임 벡터를 이용하여, 예측 화상을 생성하고, 원화상과 예측 화상과의 차분인 예측 오차를 구하는 움직임 보상부
    를 포함하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  2. 제1항에 있어서, 상기 움직임 벡터 검출부는, 움직임 벡터의 수직 성분 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)에 대하여 원화상의 처리 블록과 4n＋0의 위치의 참조 화상의 블록과의 차분 절대치 합의 오프셋은 제로로 설정하고, 원화상의 처리 블록과, 4n＋1, 4n＋2, 4n＋3의 위치의 참조 화상의 블록과의 차분 절대치 합의 오프셋은, 전송 비트 레이트, 양자화 파라메터, 색차 엣지 상태, 색차 성분의 예측 오차의 적어도 하나에 기초하여, 적응적으로 설정하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  3. 제2항에 있어서, 상기 움직임 벡터 검출부는, 전송 비트 레이트가 낮고 색차 엣지의 변화가 큰 경우에는, 4n＋0의 블록의 평균 차분 절대치와, 4n＋1 또는 4n＋3의 블록의 평균 차분 절대치와의 차분이 제1 임계치 이하라면, 4n＋0의 블록이 선택되어야 할 값의 높은 오프셋을 4n＋1 또는 4n＋3 측에 설정하고, 또는 4n＋0의 블록의 평균 차분 절대치와, 4n＋2의 블록의 평균 차분 절대치와의 차분이 제1 임계치보다 큰 제2 임계치 이하라면, 4n＋0의 블록이 선택되어야 할 값의 높은 오프셋을 4n＋2 측에 설정하고, 전송 비트 레이트가 높은 경우에는, 4n＋0의 블록의 선택 용이함을 적게 하여야 할 값의 낮은 오프셋을 4n＋1, 4n＋2, 4n＋3 측에 설정하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  4. 제2항에 있어서, 상기 움직임 보상부에서, 색차 성분에 관한 원화상으로부터 예측 화상의 차분을 구하는 처리에 의해 얻어진 Cb, Cr의 차분치에 대하여, 상기 움직임 보상부는, 새롭게 Cb 차분치 및 Cr 차분치의 각각의 색차 차분 절대치 합을 구하고, 상기 움직임 벡터 검출부는, 휘도 성분에 의한 휘도 차분 절대치 합을 Vdiff, 상기 색차 차분 절대치 합을 Cdiff, 보정 계수를 α로 한 경우에, α×Cdiff＞Vdiff가 되면, 4n＋1, 4n＋3의 오프셋 OfsA는 i를 4n＋1, 4n＋3이 되는 블록의 식별자, n을 블록의 갯수로 했을 때에,
    이하의 수학식 6,
    Figure 112004059704474-pat00012
    으로 구하고,
    4n＋2의 오프셋 OfsB는 i를 4n＋2가 되는 블록의 식별자, n을 블록의 갯수로 했을 때에,
    이하의 수학식 7,
    Figure 112004059704474-pat00013
    으로 구하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  5. 제1항에 있어서, 상기 움직임 벡터 검출부는, 인터레이스 주사가 아닌 화상 신호에 대해서는, 상기 움직임 벡터 보정 기능을 OFF로 하고, 또한 인터레이스 주사의 화상 신호라도, 3:2 풀다운 처리에 의해 프로그래시브화가 가능한 화상 신호에 대해서는, 상기 움직임 벡터 보정 기능을 OFF로 하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  6. 화상 신호의 부호화 처리를 행하는 화상 부호화 장치에 있어서,
    4:2:2 포맷의 디지털 화상 신호를 4:2:0 포맷으로 변환하는 화상 입력 처리부와;
    인터레이스 주사로 4:2:0 포맷의 화상 신호에 대하여 휘도 성분만으로 화소의 차분 절대치 합을 산출하여 움직임 벡터를 검출할 때에, 움직임 벡터가 취할 수 있는 수직 성분에 따라서 미리 차분 절대치 합에 오프셋을 가산하는 움직임 벡터 보정을 행하여, 오프셋이 가산된 차분 절대치 합이 최소치가 되는 블록과 처리 블록과의 위치의 편차량으로부터 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부와, 검출한 움직임 벡터를 이용하여 예측 화상을 생성하여, 원화상과 예측 화상과의 차분인 예측 오차를 구하고, 예측 화상에 재생 예측 오차를 가산하여, 로컬 디코드 화상을 생성하는 움직임 보상부로 구성되는 움직임 벡터 검출·보상부와;
    예측 오차를 DCT 변환하여 변환 계수를 구하는 DCT부와, 변환 계수를 양자화하여 양자화치를 구하는 양자화부와, 양자화치를 가변 길이 부호화를 실시하여 부호화 데이터를 생성하는 가변 길이 부호화부로 구성되는 부호화부와;
    양자화치를 역양자화하여 역양자화치를 구하는 역양자화부와, 역양자화치를 IDCT 변환하여 상기 재생 예측 오차를 구하는 IDCT부로 구성되는 로컬 디코더와,
    복수 프레임의 화상 신호를 저장하는 프레임 메모리
    를 포함하는 화상 부호화 장치.
  7. 화상 신호의 움직임 벡터의 검출 및 움직임 보상을 행하는 움직임 벡터 검출·보상 장치에 있어서,
    인터레이스 주사로 색차 성분이 간인된 포맷을 갖는 화상 신호에 대하여 휘 도 성분만으로 움직임 벡터를 검출할 때에, 프레임 예측으로 검출한 움직임 벡터인 프레임 벡터에 대하여 프레임 벡터가 취할 수 있는 수직 성분에 따라서 사용하는 움직임 벡터로서, 프레임 벡터 또는 필드 예측으로 전환하여 필드 예측으로 검출한 움직임 벡터인 필드 벡터 중 어느 것을 선택하는 움직임 벡터 보정을 행함으로써, 색차 성분의 미스매칭을 억제한 움직임 벡터를 검출하는 움직임 벡터 검출부와;
    검출된 움직임 벡터를 이용하여, 예측 화상을 생성하고, 원화상과 예측 화상과의 차분인 예측 오차를 구하는 움직임 보상부
    를 포함하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  8. 제7항에 있어서, 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분 4n＋0, 4n＋1, 4n＋2, 4n＋3(n은 정수)에 대하여, 4n＋0의 경우에는 움직임 벡터로서 프레임 벡터를 사용하고, 4n＋1, 4n＋2, 4n＋3의 경우에는 필드 예측으로 전환하여 필드 벡터를 검출하여, 필드 벡터를 움직임 벡터로서 사용하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  9. 제8항에 있어서, 처리 블록 내에서 색차 성분의 미스매칭이 생기는 색차 엣지가 존재하는지의 여부를 판별하는 색차 엣지 검출부를 더 포함하고, 상기 움직임 벡터 검출부는 프레임 벡터의 수직 성분이 4n＋1, 4n＋2, 4n＋3 중 어느 하나이고, 또한 색차 엣지가 검출된 경우에는 필드 예측으로 전환하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
  10. 제7항에 있어서, 상기 움직임 벡터 검출부는, 프레임 벡터의 수직 성분이 4n＋1인 경우에는, Top 필드의 필드 벡터의 수직 성분을 2n 및 필드 셀렉트를 Bottom 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드로 하고, 프레임 벡터의 수직 성분이 4n＋2인 경우에는, Top 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Bottom 필드로 하며, 프레임 벡터의 수직 성분이 4n＋3인 경우에는, Top 필드의 필드 벡터의 수직 성분을 2n＋2 및 필드 셀렉트를 Bottom 필드, 또는 Bottom 필드의 필드 벡터의 수직 성분을 2n＋1 및 필드 셀렉트를 Top 필드로 하는 것을 특징으로 하는 움직임 벡터 검출·보상 장치.
KR20040108008A 2004-07-27 2004-12-17 움직임 벡터 검출·보상 장치 KR100649463B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004219083A JP4145275B2 (ja) 2004-07-27 2004-07-27 動きベクトル検出・補償装置
JPJP-P-2004-00219083 2004-07-27

Publications (2)

Publication Number Publication Date
KR20060010689A KR20060010689A (ko) 2006-02-02
KR100649463B1 true KR100649463B1 (ko) 2006-11-28

Family

ID=34930928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040108008A KR100649463B1 (ko) 2004-07-27 2004-12-17 움직임 벡터 검출·보상 장치

Country Status (6)

Country Link
US (1) US20060023788A1 (ko)
EP (2) EP1622387B1 (ko)
JP (1) JP4145275B2 (ko)
KR (1) KR100649463B1 (ko)
CN (1) CN100546395C (ko)
DE (1) DE602004022280D1 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7506267B2 (en) * 2003-12-23 2009-03-17 Intel Corporation Compose rate reduction for displays
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
CN101171843B (zh) * 2005-03-10 2010-10-13 高通股份有限公司 用于多媒体处理的内容分类
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
JP2007028393A (ja) * 2005-07-20 2007-02-01 Matsushita Electric Ind Co Ltd 双方向予測符号化ピクチャの直接モードブロックの動きベクトルを求める方法
US8761259B2 (en) * 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
US8879635B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US20070206117A1 (en) * 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US8948260B2 (en) * 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US20070171280A1 (en) * 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8379723B2 (en) * 2006-06-27 2013-02-19 Intel Corporation Chroma motion vector processing apparatus, system, and method
JP2008042332A (ja) * 2006-08-02 2008-02-21 Toshiba Corp 補間フレーム作成方法及び補間フレーム作成装置
JP4762095B2 (ja) * 2006-09-20 2011-08-31 株式会社東芝 画像復号装置及び画像復号方法
JP2009010492A (ja) * 2007-06-26 2009-01-15 Hitachi Ltd 画像復号化装置及び画像変換回路
JP4678015B2 (ja) * 2007-07-13 2011-04-27 富士通株式会社 動画像符号化装置及び動画像符号化方法
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
KR101336951B1 (ko) * 2007-11-02 2013-12-04 삼성전자주식회사 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법
US9456192B2 (en) * 2007-12-14 2016-09-27 Cable Television Laboratories, Inc. Method of coding and transmission of progressive video using differential signal overlay
US8355443B2 (en) * 2008-03-27 2013-01-15 CSR Technology, Inc. Recursive motion for motion detection deinterlacer
US8345996B2 (en) * 2008-07-07 2013-01-01 Texas Instruments Incorporated Determination of a field referencing pattern
JP2010187116A (ja) * 2009-02-10 2010-08-26 Toshiba Corp 動画処理装置
JP5115498B2 (ja) * 2009-03-05 2013-01-09 富士通株式会社 画像符号化装置、画像符号化制御方法およびプログラム
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
US8515203B2 (en) * 2009-06-25 2013-08-20 Pixart Imaging Inc. Image processing method and image processing module for a pointing device
CN101883286B (zh) * 2010-06-25 2012-12-05 无锡中星微电子有限公司 运动估计中的校准方法及装置、运动估计方法及装置
KR101846603B1 (ko) * 2011-02-10 2018-04-06 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호 방법, 동화상 복호 장치, 및 동화상 부호화 복호 장치
US20120207212A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Visually masked metric for pixel block similarity
US9363509B2 (en) 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
WO2012118359A2 (ko) 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
ES2685945T3 (es) 2011-04-12 2018-10-15 Sun Patent Trust Procedimiento de codificación de video de movimiento, y aparato de codificación de video de movimiento
JP6094973B2 (ja) * 2011-05-20 2017-03-15 サン パテント トラスト 色平面内予測を用いて映像を符号化および復号する方法および装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP4007276B1 (en) 2011-05-27 2023-07-05 Sun Patent Trust Apparatus, method and program for coding moving pictures
CN103548351B (zh) 2011-05-31 2017-07-11 太阳专利托管公司 运动图像解码方法及运动图像解码装置
JP5729817B2 (ja) * 2011-06-29 2015-06-03 日本電信電話株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
PL2728878T3 (pl) 2011-06-30 2020-06-15 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
IN2014CN02602A (ko) 2011-10-19 2015-08-07 Panasonic Corp
JP2013172323A (ja) * 2012-02-21 2013-09-02 Toshiba Corp 動き検出装置、画像処理装置および画像処理システム
EP2813079B1 (en) * 2012-06-20 2019-08-07 HFI Innovation Inc. Method and apparatus of inter-layer prediction for scalable video coding
JP2014143488A (ja) * 2013-01-22 2014-08-07 Nikon Corp 画像圧縮装置、画像復号装置およびプログラム
US20150023436A1 (en) 2013-07-22 2015-01-22 Texas Instruments Incorporated Method and apparatus for noise reduction in video systems
KR101582093B1 (ko) * 2014-02-21 2016-01-04 삼성전자주식회사 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법
US10277921B2 (en) * 2015-11-20 2019-04-30 Nvidia Corporation Hybrid parallel decoder techniques
US10764589B2 (en) * 2018-10-18 2020-09-01 Trisys Co., Ltd. Method and module for processing image data
WO2020084465A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
CN109597488B (zh) * 2018-12-12 2019-12-10 海南大学 空间展示平台角度距离主动适应方法
CN112333397B (zh) * 2020-03-26 2022-05-13 华为技术有限公司 图像处理方法和电子设备
CN112632426B (zh) * 2020-12-22 2022-08-30 新华三大数据技术有限公司 网页处理方法及装置
CN114554155A (zh) * 2022-02-25 2022-05-27 北京机电工程研究所 一种远程图像采集装置
CN114577498B (zh) * 2022-02-28 2024-05-14 北京小米移动软件有限公司 空调转矩补偿参数的测试方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010013238A (ko) * 1997-06-03 2001-02-26 가나이 쓰토무 화상 부호화 및 복호화 방법 및 장치
JP2004040494A (ja) 2002-07-03 2004-02-05 Sony Corp 画像情報変換方法及び画像情報変換装置
KR20040022171A (ko) * 2002-09-06 2004-03-11 후지쯔 가부시끼가이샤 동화상 부호화 장치 및 동화상 복호 장치
KR20040054602A (ko) * 2001-11-30 2004-06-25 소니 가부시끼 가이샤 화상 정보 부호화 방법 및 장치, 및 화상 정보 복호 방법및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04207788A (ja) * 1990-11-30 1992-07-29 Sony Corp 画像信号符号化装置及び方法
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
JP3712906B2 (ja) 2000-02-24 2005-11-02 日本放送協会 動きベクトル検出装置
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US7057664B2 (en) * 2002-10-18 2006-06-06 Broadcom Corporation Method and system for converting interlaced formatted video to progressive scan video using a color edge detection scheme
JP2004219083A (ja) 2003-01-09 2004-08-05 Akashi Corp 振動発生機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010013238A (ko) * 1997-06-03 2001-02-26 가나이 쓰토무 화상 부호화 및 복호화 방법 및 장치
KR20040054602A (ko) * 2001-11-30 2004-06-25 소니 가부시끼 가이샤 화상 정보 부호화 방법 및 장치, 및 화상 정보 복호 방법및 장치
JP2004040494A (ja) 2002-07-03 2004-02-05 Sony Corp 画像情報変換方法及び画像情報変換装置
KR20040022171A (ko) * 2002-09-06 2004-03-11 후지쯔 가부시끼가이샤 동화상 부호화 장치 및 동화상 복호 장치

Also Published As

Publication number Publication date
CN1728832A (zh) 2006-02-01
US20060023788A1 (en) 2006-02-02
KR20060010689A (ko) 2006-02-02
EP1622387A3 (en) 2007-10-17
EP1622387B1 (en) 2009-07-29
EP1622387A2 (en) 2006-02-01
DE602004022280D1 (de) 2009-09-10
JP4145275B2 (ja) 2008-09-03
JP2006041943A (ja) 2006-02-09
CN100546395C (zh) 2009-09-30
EP2026584A1 (en) 2009-02-18

Similar Documents

Publication Publication Date Title
KR100649463B1 (ko) 움직임 벡터 검출·보상 장치
KR100924850B1 (ko) 동화상 신호의 부호화 방법 및 복호화 방법
US7227901B2 (en) Low-complexity deblocking filter
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
KR100192270B1 (ko) 에이치디티브이 비데오 디코더 회로
US8254444B2 (en) System and method for phase adaptive occlusion detection based on motion vector field in digital video
RU2251820C2 (ru) Экстраполяция вектора движения для перекодировки видеопоследовательности
EP3211896A1 (en) Image processing with intra prediction having fractional pixel precision
US20080084932A1 (en) Controlling loop filtering for interlaced video frames
US6931062B2 (en) Decoding system and method for proper interpolation for motion compensation
JP4739651B2 (ja) ビデオ符号化における中間画素高精度高速探索を実現する装置及び方法
JP2005318620A (ja) 適応時間予測を用いた動きベクトル検出
KR20010083717A (ko) 움직임 추정 방법 및 장치
JP2006518568A (ja) ビデオ符号化
US20040240550A1 (en) Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus
WO1999067952A1 (en) Method and device for converting number of frames of image signals
US20020163969A1 (en) Detection and proper interpolation of interlaced moving areas for MPEG decoding with emebedded resizing
JP4000928B2 (ja) 動き補償装置
KR970000761B1 (ko) 소형 디지탈 방식 고선명 텔레비젼
KR20090065195A (ko) 동영상 부호화를 위한 미세 움직임 추정 방법 및 장치
JP2002010267A (ja) 動きベクトル変換装置及び方法
AU2015255215B2 (en) Image processing apparatus and method
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
KR100213287B1 (ko) 영상복호기의 에러보상장치
KR100196848B1 (ko) 영상복호기에서의 에러보상장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091110

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee