KR20070033385A - 움직임 예측 보상 방법 및 움직임 예측 보상 장치 - Google Patents

움직임 예측 보상 방법 및 움직임 예측 보상 장치 Download PDF

Info

Publication number
KR20070033385A
KR20070033385A KR20067027591A KR20067027591A KR20070033385A KR 20070033385 A KR20070033385 A KR 20070033385A KR 20067027591 A KR20067027591 A KR 20067027591A KR 20067027591 A KR20067027591 A KR 20067027591A KR 20070033385 A KR20070033385 A KR 20070033385A
Authority
KR
South Korea
Prior art keywords
motion
motion prediction
reference picture
compensation
equal
Prior art date
Application number
KR20067027591A
Other languages
English (en)
Other versions
KR101182977B1 (ko
Inventor
도시하루 즈찌야
도루 와다
가즈시 사또
마꼬또 야마다
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070033385A publication Critical patent/KR20070033385A/ko
Application granted granted Critical
Publication of KR101182977B1 publication Critical patent/KR101182977B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복수 프레임의 참조 화상을 갖고, 연속하는 프레임 화상 중 처리 대상의 대상 프레임 화상을 분할하여 이루어지는 각각의 움직임 보상 블록마다, 복수 프레임의 참조 화상 중 어느 것을 이용할지를 지정하여, 계층 탐색에 기초하는 움직임 벡터의 탐색을 행함에 있어서, 씨닝 장치(12)에서, 상기 움직임 보상 블록의 화소 사이즈 중, 최상위층으로 할 가장 큰 상기 화소 사이즈로 이루어지는 상기 움직임 보상 블록의 화소를 씨닝함으로써, 소정의 축소율로 이루어지는 하위층의 축소 화상을 생성하고, 참조 프레임 결정 장치(15)에 의해 축소 화상 상에서 축소 참조 화상을 결정하고, 생성된 축소 화상을 이용하여 움직임 예측 보상 장치(1/N2 해상도)(15)에서 움직임 벡터를 탐색하고, 움직임 예측 보상 장치(풀 해상도)(17)에 의해, 축소 전의 화상에 대하여, 상기 움직임 예측 보상 장치(1/N2 해상도)(15)에서 탐색된 움직임 벡터에 의해 지정되는 소정의 검색 범위를 이용하여, 움직임 벡터를 탐색하여 움직임 예측 보상을 행한다.
A/D 변환 장치, 직교 변환 장치, 양자화 장치, 축적 버퍼, 인트라 예측 장치

Description

움직임 예측 보상 방법 및 움직임 예측 보상 장치{MOTION PREDICTION COMPENSATION METHOD AND MOTION PREDICTION COMPENSATION DEVICE}
본 발명은, 움직임 예측 보상 방법 및 움직임 예측 보상 장치에 관한 것으로, 예를 들면 MPEG, H.26x 등과 같이, 이산 코사인 변환 혹은 카루넨 루베 변환 등의 직교 변환과 움직임 보상에 의해 압축된 화상 정보(비트 스트림)를, 위성 방송, 케이블 TV, 인터넷, 휴대 전화 등의 네트워크 미디어를 통하여 수신할 때에, 혹은 광, 자기 디스크, 플래시 메모리와 같은 기억 미디어 상에서 처리할 때에 이용되는 화상 정보 부호화 장치에 적용하기에 적합한 것이다.
본 출원은, 일본에서 2004년 6월 29일에 출원된 일본특허 출원 번호 2004-191937을 기초로 하여 우선권을 주장하는 것이며, 이 출원은 참조함으로써, 본 출원에 원용된다.
예를 들면, 일본 특개 2004-56827호 공보 등에 도시되어 있는 바와 같이, 최근, 화상 정보를 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG 등의 방식에 준거한 장치가, 방송국 등의 정보 배신, 및 일반 가정에서의 정보 수신의 쌍방에서 보급되고 있다.
특히, MPEG2(ISO/IEC 13818-2)는, 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준으로서, 프로페셔널 용도 및 컨슈머 용도의 광범위한 어플리케이션에 현재 널리 이용되고 있다. MPEG2 압축 방식을 이용함으로써, 예를 들면 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 48Mbps, 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18~22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축율로 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축율의 부호화 방식에는 대응하지 않았다. 휴대 단말기의 보급에 의해, 금후 그러한 부호화 방식의 니즈는 높아진다고 생각되며, 이것에 대응하여 MPEG4 부호화 방식의 표준화가 행하여졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.
또한, 최근, 당초 텔레비전 회의용의 화상 부호화를 목적으로 하여, H.26L(ITU-T Q6/16 VCEG)이라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비하여, 그 부호화, 복호화에 의해 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 베이스로, H.26L에서는 서포트되지 않는 기능도 도입하여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행하여지고 있다. 표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG-4 Part10(Advanced Video Coding:이하 AVC라고 함)이라고 하는 명칭 하에 국제 표준으로 되었다.
AVC 규격에 기초한 화상 압축 정보 DPC를 출력으로 하는 화상 정보 부호화 장치(100)의 구성예를 도 1의 블록도에 도시한다.
이 화상 정보 부호화 장치(100)는, 입력으로 되는 화상 신호 Sin이 공급되는 A/D 변환 장치(101), 이 A/D 변환 장치(101)에 의해 디지털화된 화상 데이터가 공급되는 화면 재배열 버퍼(102), 이 화면 재배열 버퍼(102)로부터 읽어내어진 화상 데이터가 공급되는 가산기(103), 인트라 예측 장치(112) 및 움직임 예측 보상 장치(113), 상기 가산기(103)의 출력이 공급되는 직교 변환 장치(104), 이 직교 변환 장치(104)의 출력이 공급되는 양자화 장치(105), 이 양자화 장치(105)의 출력이 공급되는 가역 부호화 장치(106) 및 역양자화 장치(108), 상기 가역 부호화 장치(106)의 출력이 공급되는 축적 버퍼(107), 상기 역양자화 장치(108)의 출력이 공급되는 역직교 변환 장치(109), 이 역직교 변환 장치(109)의 출력이 공급되는 디블록 필터(110), 이 디블록 필터(110)의 출력이 공급되는 프레임 메모리(111), 상기 축적 버퍼(107)의 출력이 공급되는 레이트 제어 장치(114) 등으로 이루어진다.
이 화상 정보 부호화 장치(100)에서, 입력으로 되는 화상 신호는, 우선, A/D 변환 장치(101)에서 디지털 신호로 변환된다. 다음으로, 출력으로 되는 화상 압축 정보 DPC의 GOP(Group of Pictures) 구조에 따라, 화면 재배열 버퍼(102)에서 프레임의 재배열이 행하여진다. 인트라 부호화가 행하여지는 화상에 관해서는, 입력 화상과, 인트라 예측 장치(112)에 의해 생성되는 화소값의 차분 정보가 직교 변환 장치(104)에 입력되고, 여기서 이산 코사인 변환, 카루넨 루베 등의 직교 변환이 실시된다. 직교 변환 장치(104)의 출력으로서 얻어지는 변환 계수는, 양자화 장치(105)에서 양자화 처리가 실시된다. 양자화 장치(105)의 출력으로서 얻어지는 양자화된 변환 계수는, 가역 변환 장치(106)에 입력되고, 여기서 가변 길이 부호화, 산술 부호화 등의 가역 부호화가 실시된 후, 축적 버퍼(107)에 축적되고, 화상 압축 정보 DPC로서 출력된다. 양자화 장치(105)의 거동은 레이트 제어 장치(114)에 의해 제어된다. 동시에, 양자화 장치(105)의 출력으로서 얻어지는 양자화된 변환 계수는, 역양자화 장치(108)에 입력되고, 또한 역직교 변환 장치(109)에서 역직교 변환 처리가 실시되어, 부호화 화상 정보로 되고, 디블록 필터(110)에서 블록 왜곡의 제거가 실시된 후, 그 정보는 프레임 메모리(111)에 축적된다. 인트라 예측 장치(112)에서, 해당 블록/매크로 블록에 대하여 적용된 인트라 예측 모드에 관한 정보는, 가역 부호화 장치(106)에 전송되고, 화상 압축 정보 DPC에서의 헤더 정보의 일부로서 부호화된다.
인터 부호화가 행하여지는 화상에 관해서는, 우선, 화상 정보는 움직임 예측 보상 장치(113)에 입력된다. 동시에 참조로 되는 화상 정보가 프레임 메모리(111)로부터 취출되고, 움직임 예측 보상 처리가 실시되어, 참조 화상 정보가 생성된다. 참조 화상 정보는 가산기(103)에 보내지고, 여기서 해당 화상 정보와의 차분 신호로 변환된다. 움직임 예측 보상 장치(113)는, 동시에 움직임 벡터 정보를 가역 부호화 장치(106)에 출력하고, 그 정보는 가변 길이 부호화, 산술 부호화와 같은 가역 부호화 처리가 실시되며, 화상 압축 정보 DPC의 헤더부에 삽입될 정보를 형성한 다. 그 밖의 처리는 인트라 부호화가 실시되는 화상 압축 정보 DPC와 마찬가지이다.
도 2에, 이산 코사인 변환 혹은 카루넨 루베 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 정보 부호화 장치(150)의 구성예의 블록도를 도시한다.
이 화상 정보 부호화 장치(150)는, 화상 압축 정보 DPC가 공급되는 축적 버퍼(115), 이 축적 버퍼(115)로부터 읽어내어진 화상 압축 정보 DPC가 공급되는 가역 부호화 장치(116), 이 가역 부호화 장치(116)의 출력이 공급되는 역양자화 장치(117), 이 역양자화 장치(117)의 출력이 공급되는 역직교 변환 장치(118), 이 역직교 변환 장치(118)의 출력이 공급되는 가산기(119), 이 가산기(119)의 출력이 디블록 필터(125)를 통하여 공급되는 화면 재배열 버퍼(120) 및 프레임 메모리(122), 상기 화면 재배열 버퍼(120)의 출력이 D/A 변환 장치(121), 상기 프레임 메모리(122)의 출력이 공급되는 움직임 예측 보상 장치(123) 및 인트라 예측 장치(124) 등으로 이루어진다.
이 화상 정보 부호화 장치(150)에서, 입력으로 되는 화상 압축 정보 DPC는, 우선, 축적 버퍼(115)에 저장된 후, 가역 부호화 장치(116)에 전송된다. 여기서, 정해진 화상 압축 정보 DPC의 포맷에 기초하여, 가변 길이 부호화, 산술 부호화 등의 처리가 행하여진다. 동시에, 해당 프레임이 인트라 부호화된 것인 경우, 가역 부호화 장치(116)에서는, 화상 압축 정보 DPC의 헤더부에 저장된 인트라 예측 모드 정보도 복호화하고, 그 정보를 인트라 예측 장치(124)에 전송한다. 해당 프레임이 인터 부호화된 것인 경우, 가역 부호화 장치(116)에서는, 화상 압축 정보 DPC의 헤더부에 저장된 움직임 벡터 정보도 복호화하고, 그 정보를 움직임 예측 보상 장치(123)에 전송한다.
가역 부호화 장치(116)의 출력으로서 얻어지는 양자화된 변환 계수는, 역양자화 장치(117)에 입력되고, 여기서 변환 계수로서 출력된다. 변환 계수는, 역직교 변환 장치(118)에서, 정해진 방식에 기초하여, 4차의 역직교 변환이 실시된다. 해당 프레임이 인트라 부호화된 것인 경우에는, 역직교 변환 처리가 실시된 화상 정보는, 인트라 예측 장치(124)에서 생성된 예측 화상과의 합성이 가산기(119)에서 행하여지고, 또한, 디블록 필터(125)에서 블록 왜곡의 제거가 실시된 후, 화면 재배열 버퍼(120)에 저장되고, D/A 변환 장치(121)에 의해 D/A 변환 처리되어 출력 신호 Sout로 된다.
해당 프레임이 인터 부호화된 것인 경우에는, 가역 부호화 처리가 실시된 움직임 벡터 정보, 및 프레임 메모리(122)에 저장된 화상 정보를 바탕으로 참조 화상이 생성되고, 이 참조 화상과, 역직교 변환 장치(118)의 출력이, 가산기(119)에서 합성된다. 그 밖의 처리는 인트라 부호화된 프레임과 마찬가지이다.
그런데, 도 1에 도시한 화상 정보 부호화 장치에서, 높은 압축 효율을 실현하기 위해, 움직임 예측 보상 장치(112)가 중요한 역활을 한다. AVC 부호화 방식에서는, 이하에 설명하는 3개의 방식을 도입함으로써, 종래의 MPEG2·4 등의 화상 부호화 방식과 비교하여 높은 압축 효율을 실현하고 있다. 즉, 제1 방식은 멀티플 레퍼런스 프레임(Multiple Reference Frame), 제2 방식은, 가변 움직임 예측 보상 블록 사이즈, 제3 방식은, FIR 필터를 이용한, 1/4 화소 정밀도의 움직임 보상이다.
우선, AVC 부호화 방식으로 규정되어 있는 멀티플 레퍼런스 프레임에 대하여 설명한다.
AVC에서는, 도 3에 도시하는 바와 같이, 어떤 프레임의 화상 Forg에 대하여 복수 프레임의 참조 화상 Fref를 갖고, 각각의 움직임 보상 블록마다, 복수 프레임의 참조 화상 Fre 중 어느 것을 이용할지를 지정하는 것이 가능하다.
이것은, 예를 들면, 직전의 프레임에서는, 오클루젼(occlusion)에 의해, 참조할 블록이 존재하지 않는 경우라도, 과거로 거스러 올라가 참조를 행함으로써, 부호화 효율의 저하를 방지하는 것이 가능하게 된다. 즉, 참조 화상에서 본래 서치하고자 하는 영역이 전경에 의해 가려지게 된 경우에도, 다른 참조 화상에서는 그 화상이 가려져 있지 않은 경우, 그쪽을 참조하면 움직임 예측 보상을 행할 수 있다.
또한, 참조로 되는 화상에 플래시가 존재한 경우, 이 프레임을 참조함으로써 부호화 효율은 현저하게 저하하지만, 이 경우에도, 과거로 거스러 올라가 참조를 행함으로써, 부호화 효율의 저하를 방지하는 것이 가능하게 된다.
다음으로, AVC 부호화 방식으로 규정되어 있는, 가변 블록 사이즈에 대하여 설명한다.
AVC 부호화 방식에서는, 도 4A, 도 4B, 도 4C, 도 4D에 매크로 블록 파티션을 도시하는 바와 같이, 1개의 매크로 블록 MB는 16×16, 16×8, 8×16 혹은 8×8 중 어느 하나의 움직임 보상 블록으로 분할하고, 각각의 움직임 보상 블록에서 독립적으로 움직임 벡터 및 참조 프레임을 갖는 것이 가능하며, 또한, 도 5A, 도 5B, 도 5C, 도 5D에 서브 매크로 블록 파티션을 도시하는 바와 같이, 8×8 움직임 보상 블록에 관해서는, 각각의 파티션을 8×8, 8×4, 4×8 혹은 4×4 중 어느 하나의 서브 파티션으로 분할하는 것이 가능하다. 각 매크로 블록 MB에서, 각각의 움직임 보상 블록은, 별개의 움직임 벡터 정보를 갖는 것이 가능하다.
다음으로, AVC 부호화 방식으로 규정되어 있는 1/4 화소 정밀도의 움직임 보상 처리에 대하여 설명한다.
이하에서는, 도 6을 이용하여, 1/4 화소 정밀도의 움직임 보상 처리에 대하여 설명한다.
AVC 부호화 방식에서는, 1/2 화소 정밀도의 화소값을 생성하기 위해, 다음의 수학식 1에 표현하는 바와 같은 필터 계수를 갖는 6탭의 FIR(Finite Impulse Response) 필터가 정의되어 있다.
Figure 112006097582214-PCT00001
도 6에 나타내는 화소값 b, h에 대한 움직임 보상(보간)에 관해서는, 수학식 1의 필터 계수를 이용하여, 우선 수학식 2에 표현하는 바와 같이 곱합 연산을 행한다.
Figure 112006097582214-PCT00002
그 후 수학식 3에 표현하는 처리를 행한다.
Figure 112006097582214-PCT00003
여기서 Clip1은 (0, 255)간에서의 클립 처리를 나타낸다. 또한, >>5는, 5비트 시프트 즉 25의 제산을 나타낸다.
또한, 화소값 j에 관해서는, b, h와 마찬가지의 방법으로 화소값 aa, bb, cc, dd, ee, ff, gg, hh를 생성한 후, 수학식 4에 표현하는 바와 같이 곱합 연산이 실시되고, 수학식 5에 표현하는 바와 같은 클립 처리에 의해 산출된다.
Figure 112006097582214-PCT00004
Figure 112006097582214-PCT00005
화소값 a, c, d, n, f, i, k, q에 관해서는, 다음의 수학식 6에 표현하는 바와 같이 정수 화소 정밀도의 화소값과, 1/2 화소 정밀도의 화소값의 선형 내삽에 의해 구해진다.
Figure 112006097582214-PCT00006
또한, 화소값 e, g, p에 관해서는, 다음의 수학식 7에 표현하는 바와 같이 1/2 화소 정밀도의 화소값을 이용한 선형 내삽에 의해 구해진다.
Figure 112006097582214-PCT00007
그런데, 도 1에 도시한 화상 정보 부호화 장치(100)에서는, 움직임 벡터의 탐색에 많은 연산량을 필요로 한다. 실시간 동작하는 장치를 구축하기 위해서는, 화질 열화를 최소한으로 억제하면서, 움직임 벡터 탐색에 필요로 하는 연산량을 어떻게 삭감할지가 열쇠로 된다.
그러나, AVC 부호화 방식에서는, 앞서 설명한 바와 같이, 멀티플 레퍼런스 프레임, 가변 움직임 예측 보상 블록 사이즈, 및, 1/4 화소 정밀도의 움직임 보상이 허용되어 있기 때문에, 후보 참조 프레임의 수가 증가하면, 움직임 예측 보상에서의 리파인먼트(Refinement) 처리라도 무거워지게 된다. 리파인먼트(Refinement) 처리에서는, 계층 서치로 개략적으로 서치한 후, 본래의 스케일로 복귀시켜, 계층 서치의 결과 얻어진 벡터의 주변을 서치한다.
또한, 화상 부호화 장치(H/W화)를 생각한 경우에는, 매크로 블록 내의 모든 블록 사이즈에 대하여 참조 프레임마다, 움직임 탐색 처리를 행하기 때문에, 메모리에의 액세스가 빈번하게 되므로, 경우에 따라서는 메모리 대역을 높일 필요가 생긴다.
<발명의 개시>
<발명이 해결하고자 하는 과제>
그래서, 본 발명의 목적은, 전술한 바와 같은 종래의 문제점을 감안하여, AVC 등의 화상 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 정보 부호화 장치에서, 움직임 벡터 탐색의 고속화나, 메모리 액세스의 저감을 실현하는 것에 있다.
본 발명은, 전술한 과제를 해결하기 위해, 복수 프레임의 참조 화상을 갖고, 연속하는 프레임 화상 중 처리 대상의 대상 프레임 화상을 분할하여 이루어지는 각각의 움직임 보상 블록마다, 복수 프레임의 참조 화상 중 어느 것을 이용할지를 지정하여, 계층 탐색에 기초하는 움직임 벡터의 탐색을 행하는 움직임 예측 보상 방법으로서, 상기 움직임 보상 블록의 화소 사이즈 중, 최상위층으로 할 가장 큰 상 기 화소 사이즈로 이루어지는 상기 움직임 보상 블록의 화소를 씨닝함으로써, 소정의 축소율로 이루어지는 하위층의 축소 화상을 생성하는 계층화 스텝과, 상기 계층화 스텝에서 생성된 축소 화상을 이용하여 움직임 벡터를 탐색하는 제1 움직임 예측 보상 스텝과, 상기 제1 움직임 예측 보상 스텝에서 사용하는 축소 참조 화상을 축소 화상 상에서 결정하는 참조 화상 결정 스텝과, 축소 전의 화상에 대하여, 상기 제1 움직임 예측 보상 스텝에서 탐색된 움직임 벡터에 의해 지정되는 소정의 검색 범위를 이용하여, 움직임 벡터를 탐색하여 움직임 예측 보상을 행하는 제2 움직임 예측 보상 스텝을 구비하는 것을 특징으로 한다.
또한, 본 발명은, 복수 프레임의 참조 화상을 갖고, 연속하는 프레임 화상 중 처리 대상의 대상 프레임 화상을 분할하여 이루어지는 각각의 움직임 보상 블록마다, 복수 프레임의 참조 화상 중 어느 것을 이용할지를 지정하여, 계층 탐색에 기초하는 움직임 벡터의 탐색을 행하는 움직임 예측 보상 장치로서, 상기 움직임 보상 블록의 화소 사이즈 중, 최상위층으로 할 가장 큰 상기 화소 사이즈로 이루어지는 상기 움직임 보상 블록의 화소를 씨닝함으로써, 소정의 축소율로 이루어지는 하위층의 축소 화상을 생성하는 계층화 수단과, 상기 계층화 수단에 의해 생성된 축소 화상을 이용하여 움직임 벡터를 탐색하는 제1 움직임 예측 보상 수단과, 상기 제1 움직임 예측 보상 수단에서 사용하는 축소 참조 화상을 축소 화상 상에서 결정하는 참조 화상 결정 수단과, 축소 전의 화상에 대하여, 상기 제1 움직임 예측 보상 수단에 의해 탐색된 움직임 벡터에 의해 지정되는 소정의 검색 범위를 이용하여, 움직임 벡터를 탐색하여 움직임 예측 보상을 행하는 제2 움직임 예측 보상 수 단을 구비하는 것을 특징으로 한다.
본 발명의 또 다른 목적, 본 발명에 의해 얻어지는 구체적인 이점은, 이하에 설명되는 실시 형태의 설명으로부터 한층 명백해진다.
도 1은 이산 코사인 변환 혹은 카루넨 루베 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 정보 부호화 장치의 구성을 도시하는 블록도.
도 2는 이산 코사인 변환 혹은 카루넨 루베 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 정보 부호화 장치의 구성을 도시하는 블록도.
도 3은 AVC 부호화 방식에서 규정되어 있는 멀티플 레퍼런스 프레임의 개념을 도시한 도면.
도 4A, 도 4B, 도 4C 및 도 4D는, AVC 부호화 방식으로 규정되어 있는, 가변 블록 사이즈에 기초하는 움직임 보상 처리에서의 매크로 블록 파티션을 도시하는 도면.
도 5A, 도 5B, 도 5C 및 도 5D는, AVC 부호화 방식으로 규정되어 있는, 가변 블록 사이즈에 기초하는 움직임 보상 처리에서의 서브 매크로 블록 파티션을 도시하는 도면.
도 6은 AVC 부호화 방식으로 규정되어 있는, 1/4 화소 정밀도의 움직임 보상 처리를 설명하기 위한 도면.
도 7은 본 발명을 적용한 화상 정보 부호화 장치의 구성을 도시하는 블록도.
도 8은 상기 화상 정보 부호화 장치에서의 씨닝 장치의 동작 원리를 도시한 도면.
도 9는 움직임 예측 보상 장치(1/N2 해상도)에서의 바둑판 눈금 샘플링을 설명하기 위한 도면.
도 10은 상기 화상 정보 부호화 장치에서의 축소 화상과 참조 화상의 관계의 일례를 도시한 도면.
도 11A 및 도 11B는, 상기 화상 정보 부호화 장치에서의 복수의 MB재의 구획법의 일례를 도시한 도면.
도 12는 상기 화상 정보 부호화 장치에서의 화상 처리의 수순을 도시하는 플로우차트.
도 13은 메모리 액세스의 저감의 모습을 도시한 도면.
<발명을 실시하기 위한 최량의 형태>
이하, 본 발명의 실시 형태에 대하여, 도면을 참조하여 상세하게 설명한다. 또한, 본 발명은 이하의 예에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서, 임의로 변경 가능한 것은 물론이다.
본 발명은, 예를 들면 도 7에 도시하는 바와 같은 구성의 화상 정보 부호화 장치(20)에 적용된다.
즉, 도 7에 도시하는 화상 정보 부호화 장치(20)는, 입력으로 되는 화상 신호 Sin이 공급되는 A/D 변환 장치(1), 이 A/D 변환 장치(1)에 의해 디지털화된 화상 데이터가 공급되는 화면 재배열 버퍼(2), 이 화면 재배열 버퍼(2)로부터 읽어내 어진 화상 데이터가 공급되는 가산기(3), 인트라 예측 장치(16) 및 움직임 예측 보상 장치(17), 상기 가산기(3)의 출력이 공급되는 직교 변환 장치(4), 이 직교 변환 장치(4)의 출력이 공급되는 양자화 장치(5), 이 양자화 장치(5)의 출력이 공급되는 가역 부호화 장치(6) 및 역양자화 장치(8), 상기 가역 부호화 장치(6)의 출력이 공급되는 축적 버퍼(7), 이 축적 버퍼(7)의 출력이 공급되는 레이트 제어 장치(18), 상기 역양자화 장치(8)의 출력이 공급되는 역직교 변환 장치(9), 이 역직교 변환 장치(9)의 출력이 공급되는 디블록 필터(10), 이 디블록 필터(10)의 출력이 공급되는 프레임 메모리(풀 해상도)(11), 상기 프레임 메모리(풀 해상도)(11)의 출력이 공급되는 씨닝 장치(12), 그 씨닝 장치(12)의 출력이 공급되는 프레임 메모리(1/N2 해상도)(13), 이 프레임 메모리(1/N2 해상도)(13)의 출력이 공급되는 움직임 예측 보상 장치(풀 해상도)(14), 이 움직임 예측 보상 장치(풀 해상도)(14)에 접속된 참조 프레임 결정 장치(15) 등을 구비하여 이루어진다.
이 화상 정보 부호화 장치(20)에서, 입력으로 되는 화상 신호 Sin은, 우선, A/D 변환 장치(101)에서 디지털 신호로 변환된다. 다음으로, 출력으로 되는 화상 압축 정보 DPC의 GOP(Group of Pictures) 구조에 따라, 화면 재배열 버퍼(2)에서 프레임의 재배열이 행하여진다. 인트라 부호화가 행하여지는 화상에 관해서는, 입력 화상과, 인트라 예측 장치(16)에 의해 생성되는 화소값의 차분 정보가 직교 변환 장치(4)에 입력되고, 여기서 이산 코사인 변환, 카루넨 루베 등의 직교 변환이 실시된다.
직교 변환 장치(4)의 출력으로서 얻어지는 변환 계수는, 양자화 장치(5)에서 양자화 처리가 실시된다. 양자화 장치(5)의 출력으로서 얻어지는 양자화된 변환 계수는, 가역 변환 장치(6)에 입력되고, 여기서 가변 길이 부호화, 산술 부호화 등의 가역 부호화가 실시된 후, 축적 버퍼(7)에 축적되고, 화상 압축 정보 DPC로서 출력된다. 양자화 장치(5)의 거동은 레이트 제어 장치(18)에 의해 제어된다. 동시에, 양자화 장치(5)의 출력으로서 얻어지는 양자화된 변환 계수는, 역양자화 장치(8)에 입력되고, 또한 역직교 변환 장치(9)에서 역직교 변환 처리가 실시되어, 부호화 화상 정보로 되고, 디블록 필터(10)에서 블록 왜곡의 제거가 실시된 후, 그 정보는 프레임 메모리(11)에 축적된다. 인트라 예측 장치(16)에서, 해당 블록/매크로 블록에 대하여 적용된 인트라 예측 모드에 관한 정보는, 가역 부호화 장치(6)에 전송되어, 화상 압축 정보 DPC에서의 헤더 정보의 일부로서 부호화된다.
인터 부호화가 행하여지는 화상에 관해서는, 우선, 화상 정보는 움직임 예측 보상 장치(17)에 입력된다. 동시에 참조로 되는 화상 정보가 프레임 메모리(11)로부터 취출되고, 움직임 예측 보상 처리가 실시되어, 참조 화상 정보가 생성된다. 참조 화상 정보는 가산기(3)로 보내지고, 여기서 해당 화상 정보와의 차분 신호로 변환된다. 움직임 예측 보상 장치(17)는, 동시에 움직임 벡터 정보를 가역 부호화 장치(6)에 출력하고, 그 정보는 가변 길이 부호화, 산술 부호화와 같은 가역 부호화 처리가 실시되며, 화상 압축 정보 DPC의 헤더부에 삽입되는 정보를 형성한다. 그 밖의 처리는 인트라 부호화가 실시되는 화상 압축 정보 DPC와 마찬가지이다.
그리고, 이 화상 정보 부호화 장치(20)에서, 씨닝 장치(12)에서는, 도 8에 도시하는 바와 같이, 프레임 메모리(풀 해상도)(11)에 저장된 화상 정보를 입력으로 하고, 이것에, 수평 방향, 수직 방향 각각에 대하여, 1/N 씨닝 처리를 행하고, 이에 의해 생성된 화소값을, 프레임 메모리(1/N2 해상도)(13)에 저장한다.
또한, 움직임 예측 보상 장치(1/N2 해상도)(14)에서는, 프레임 메모리(1/N2 해상도)(13)에 저장된 화소값을 이용하여, 8×8블록, 혹은 16×16 블록의 화소값을 이용하여, 블록 매칭에 의해, 해당 블록에 대한 최적의 움직임 벡터 정보의 탐색을 행한다. 그 때, 모든 화소값을 이용하여 예측 에너지를 계산하는 것이 아니라, 도 9에 도시하는 바와 같이, 매크로 블록 MB에 대하여, 바둑판 눈금 형상으로 지정된 화소 PX의 화소값을 이용하여, 계산을 행한다.
해당 픽쳐를 필드 부호화할 때에는, 도 8에 도시한 씨닝 처리는, 제1 필드와 제2 필드로 나누어 행한다.
이와 같이, 축소 화상을 이용하여 탐색된 움직임 벡터 정보는, 움직임 예측 보상 장치(풀 해상도)(17)에 입력된다. 예를 들면, N=2일 때, 움직임 예측 보상 장치(1/4 해상도)(14)에서, 탐색의 단위가 8×8블록이었던 경우에는, 1개의 매크로 블록 MB에 대하여, 1개의 16×16 블록이, 탐색의 단위가 16×16 블록이었던 경우에는, 4개의 매크로 블록 MB에 대하여 1개의 16×16 블록이 구해져 있게 되는데, 움직임 예측 보상 장치(풀 해상도)(17)에서는, 이들 16×16움직임 벡터를 중심으로 한 극히 약간의 범위를, 도 4 및 도 5에서 정의된 모든 움직임 벡터 정보의 탐색을 행한다. 이와 같이, 축소 화상 상에서 구해진 움직임 벡터 정보를 바탕으로, 극히 약간의 탐색 범위에 대하여 움직임 예측 보상을 행함으로써, 화질 열화를 최소한으로 억제하면서, 연산량을 대폭 삭감하는 것이 가능하다.
각각의 움직임 보상 블록에 대한 참조 프레임의 결정은, 이하와 같이 행하여진다.
즉, 움직임 예측 보상 장치(1/N2 해상도)(14)에서는, 후보로 되는 모든 참조 프레임에 대한 움직임 벡터의 검출을 행한다. 움직임 예측 보상 장치(풀 해상도)(17)에서, 각각의 참조 프레임에 대하여 구해진 움직임 벡터의 리파인먼트(Refinement) 처리를 행한 후, 잔차 혹은 어떠한 코스트 함수를 최소로 하는 참조 프레임을, 해당 움직임 보상 블록에 대한 참조 프레임으로서 선택한다. 리파인먼트(Refinement) 처리에서는, 계층 서치로 개략적으로 서치한 후, 본래의 스케일로 복귀시켜, 계층 서치의 결과 얻어진 움직임 벡터의 주변을 서치한다.
그런데, AVC에서는 앞서 설명한 바와 같이, 멀티플 레퍼런스 프레임, 가변 움직임 예측 보상 블록 사이즈, 및 1/4 화소 정밀도의 움직임 보상이 허용되어 있기 때문에, 후보 참조 프레임의 수가 증가하면, 움직임 예측 보상 장치(풀 해상도)(17)에서의 리파인먼트 처리라도 무거워지게 된다.
또한, 화상 부호화 장치(H/W화)를 생각한 경우에는, 매크로 블록 MB 내의 모든 블록 사이즈에 대하여 참조 프레임마다, 움직임 탐색 처리를 행하기 때문에, 메모리에의 액세스가 빈번하게 되므로, 경우에 따라서는 메모리 대역을 높일 필요가 생긴다.
여기서, 필드 코딩일 때의 구체적인 예를 도 10에 도시한다. 해당 필드가 B픽쳐의 보텀 필드이고, 참조 필드가 전방측(List0), 후방측(List1)이 모두 2필드일 때, 또한 프레임 메모리(1/N2 해상도)(13)의 축소율 N이 4일 때의 예이다. List0, List1은 참조 화상의 인덱스의 리스트로서, 전방측을 참조하는 P픽쳐에서는 List0으로 불리는 인덱스 리스트를 이용하여 참조 화상의 지정이 행하여지고, 후방측을 참조하는 B픽쳐에서는 List1로 불리는 인덱스 리스트를 이용하여 참조 화상의 지정이 행하여진다.
참조 필드마다 블록 매칭에 의해, 최적의 움직임 벡터를 움직임 예측 보상 장치(1/N2 해상도)(14)에 의해 도출하고, 그 움직임 벡터를 중심으로 움직임 예측 보상 장치(풀 해상도)(17)에서, 모두의 블록 사이즈에 대한 Refinement 처리를 행하고, 참조 필드를 List마다 결정한 것에서는, 움직임 예측 보상 장치(풀 해상도)(17)에서의 Refinement 처리가 무거워지게 되므로, 이 화상 정보 부호화 장치(20)에서는, 참조 프레임 결정 장치(15)에서, 도 11 및 도 12에 도시하는 바와 같이 참조 필드를 결정한다.
도 10에 도시한 축소율(1/4)에서는, 도 11A에 도시하는 바와 같이, 움직임 예측 보상 장치(1/16 해상도)(57)에서의 블록 매칭의 단위를 16×16으로 한 경우, 움직임 예측 보상 장치(풀 해상도)(59)에서는 4×4매크로 블록(16개분)에의 움직임 벡터가 동일하게 설정된다.
이 화상 정보 부호화 장치(20)에서는, 도 11B와 같이 16×16 블록을 16×4의 대로 분할하고, 움직임 예측 보상 장치(1/16 해상도)(14)에서의 16×16 블록 매칭 시에, 16×4의 대마다, 에너지(SAD)를 보유한다.
즉, 도 11B와 같이, 대의 위로부터 인덱스 번호(BlkIdx)를 0, 1, 2, 3으로 붙이면, 참조 필드마다, 다음의 수학식 8로 표현하는 바와 같은 에너지(SAD)를 얻을 수 있다.
Figure 112006097582214-PCT00008
여기서, SAD_ListX[refIdx][BlkIdx]는 ListX의 참조 화상 인덱스 번호 refIdx마다 16×16 블록 매칭에 의해 구해진 최적의 움직임 벡터에 대하여 BlkIdx마다 SAD를 저장한 것을 나타낸다. 참조 화상 인덱스 번호 refIdx는, 규격 상의 임의로 정의할 수 있는 참조 화상을 나타내는 인덱스로서, 통상은 가까운 쪽부터 작은 번호가 할당된다. 동일한 참조 화상이어도, 전방 측의 참조 화상을 나타내는 List0과, 후방 측의 참조 화상을 나타내는 List1에서는, 다른 참조 화상 인덱스 번호가 붙여진다.
또한, 각 참조 필드에서 16×16 블록 매칭에 의해, 최적의 움직임 벡터MV_ListX[refIdx](MV_List0[0], MV_List0[1], MV_List1[0], MV_List1[1])를 얻고 있다.
여기서, 참조 프레임 결정 장치(56)에서는, 다음의 수학식 9로 표현하는 바 와 같이, 각 List의 대응한 인덱스 번호 BlkIdx마다 잔차 에너지의 대소 비교를 행하고, 에너지가 작은 참조 필드를 16×4 단위에서의 참조 필드라고 결정한다.
Figure 112006097582214-PCT00009
또한, 결정된 참조 화상 인덱스 번호 refIdx마다 움직임 벡터 MV_ListX[refIdx]의 절환도 행한다.
에너지가 동일값인 경우에는, 참조 화상 인덱스 번호 refIdx가 작은 필드를 참조 필드로 한다.
상기 처리에 의해 BlkIdx마다 참조 필드(refIdx_ListX[BlkIdx]) 및, 움직임 벡터(MV_ListX[BlkIdx])를 얻는다.
여기서, 비교에 이용하는 지표값을 M×N의 블록 매칭의 결과로서 얻어지는 차분 절대값합(SAD)으로 하였지만, M×N의 블록 매칭의 결과로서 얻어지는 직교 변환된 차분 절대값합(SATD)이나 차분 제곱합(SSD)을 이용해도 된다.
또한, 잔차 에너지로부터 구해지는 SAD, SATD 혹은 SSD만을 지표값으로 하는 것이 아니라, 참조 화상 인덱스 번호 refIdx의 값도 임의의 가중치 부여(λ1)로 SAD 등에 더해 넣은 값을 평가 지표값으로 해도 된다.
평가 지표를 Cost라고 하는 명칭으로 정의하면 수학식 10과 같이 표현한다.
Figure 112006097582214-PCT00010
또한, 평가 지표에는, 움직임 벡터의 정보량을 부가해도 된다.
구체적으로는, 수학식 11과 같이 가중치 부여 변수 2를 이용하여 평가 지표 생성식을 정의한다.
Figure 112006097582214-PCT00011
즉, 이 화상 정보 부호화 장치(20)에서는, 도 12의 플로우차트에 도시하는 수순에 따라서, 화상 처리를 행한다.
즉, 씨닝 장치(137)에 의해 프레임 메모리(풀 해상도)(136)에 저장된 화상 정보를 입력으로 하고, 이것에, 수평 방향, 수직 방향 각각에 대하여, 1/N 씨닝 처리를 행하고, 이에 의해 생성된 화소값을, 프레임 메모리(1/N2 해상도)(139)에 저장한다(스텝 S1).
ListX(X=0)로 한다(스텝 S2).
refIdx=0으로 한다(스텝 S3).
움직임 예측 보상 장치(1/N2 해상도)(138)에 의해, 프레임 메모리(1/N2 해상도)(139)에 저장된 화소값을 이용하여, 블록 매칭에 의해, 해당 블록에 대한 최적 의 움직임 벡터 정보의 탐색을 행한다(스텝 S4).
그리고, 블록 매칭의 결과로서 얻어지는 SAD가 최소값으로 되는 포인트에서 BlkIdx마다 SAD값을 저장한다(스텝 S5).
다음으로, ListX의 참조 화상 인덱스 번호 refIdx마다 16×16 블록 매칭에 의해 구해진 최적의 움직임 벡터에 대하여 BlkIdx마다 SAD를 저장한 것을 나타내는 SAD_ListX[refIdx][BlkIdx]를 구한다(스텝 S6).
참조 화상 인덱스 번호 refIdx를 인크리먼트한다(스텝 S7).
참조 화상 인덱스 번호 refIdx가 최종값으로 되었는지의 여부를 판정하여(스텝 S8), 그 판정 결과가 '아니오'인 경우에는 상기 스텝 S4로 되돌아가 스텝 S4~스텝 S8의 처리를 반복하여 행한다.
상기 스텝 S8에서의 판정 결과가 '예'로 되면, ListX에서 BlkIdx마다 SAD가 최소값으로 되는 참조 화상 인덱스 번호 refIdx를 구한다(스텝 S9).
ListX(X=1)로 한다(스텝 S10).
그리고, List1인지의 여부를 판정하여(스텝 S11), 그 판정 결과가 '예'인 경우에는 상기 스텝 S3으로 되돌아가 스텝 S3~스텝 S11의 처리를 반복하여 행하고, 또한, 상기 스텝 S1에서의 판정 결과가 '아니오'인 경우에는, 처리를 종료한다.
이상과 같이 하여 얻어진 List마다·BlkIdx마다 구해진 참조 화상 인덱스 번호 refIdx 및 움직임 벡터의 주위만 리파인먼트 처리를 행함으로써, 리파인먼트 처리의 연산량을 삭감하여, ME의 고속화를 도모할 수 있다.
또한, 상기 처리에서는, 4×1MB의 대에서 참조 화상 인덱스 번호 refIdx 및 움직임 벡터가 일치되어 있기 때문에, 리파인먼트 처리에서, 움직임 벡터를 탐색하는 영역을 메모리 액세스할 때에, 해당 매크로 블록 MB 전에 탐색한 메모리를 재이용하여, 도 13에 도시하는 바와 같이, 리파인먼트 윈도우 REW 내의 새롭게 필요한 영역 ARn만 액세스함으로써 메모리 액세스의 저감도 가능하게 된다.
필드를 예로 들어 설명하였지만, 이것은 프레임에도 마찬가지로 적용할 수 있다.
또한, 4×1MB의 대를 예로 들었지만, M×N의 매크로 블록 MB를 축소 화상에서의 블록 매칭의 단위로 한 경우에, M×N'(N'는 1 이상 N 이하)나, M'×N(M'는 1 이상 M 이하)의 단위를 BlkIdx로 하는 경우에 적용 가능하다.

Claims (16)

  1. 복수 프레임의 참조 화상을 갖고, 연속하는 프레임 화상 중 처리 대상의 대상 프레임 화상을 분할하여 이루어지는 각각의 움직임 보상 블록마다, 복수 프레임의 참조 화상 중 어느 것을 이용할지를 지정하여, 계층 탐색에 기초하는 움직임 벡터의 탐색을 행하는 움직임 예측 보상 방법으로서,
    상기 움직임 보상 블록의 화소 사이즈 중, 최상위층으로 할 가장 큰 상기 화소 사이즈로 이루어지는 상기 움직임 보상 블록의 화소를 씨닝함으로써, 소정의 축소율로 이루어지는 하위층의 축소 화상을 생성하는 계층화 스텝과,
    상기 계층화 스텝에서 생성된 축소 화상을 이용하여 움직임 벡터를 탐색하는 제1 움직임 예측 보상 스텝과,
    상기 제1 움직임 예측 보상 스텝에서 사용하는 축소 참조 화상을 축소 화상 상에서 결정하는 참조 화상 결정 스텝과,
    축소 전의 화상에 대하여, 상기 제1 움직임 예측 보상 스텝에서 탐색된 움직임 벡터에 의해 지정되는 소정의 검색 범위를 이용하여, 움직임 벡터를 탐색하여 움직임 예측 보상을 행하는 제2 움직임 예측 보상 스텝
    을 구비하는 것을 특징으로 하는 움직임 예측 보상 방법.
  2. 제1항에 있어서,
    상기 제1 움직임 예측 보상 스텝에서는, 계층 탐색의 단위를 M×N의 매크로 블록으로 하고, M'×N'(M'는 1 이상 M 이하, N'는 1 이상 N 이하)의 블록으로 분할하고, M×N의 블록 매칭의 결과로서 얻어지는 차분 절대값합(SAD)을 M'×N' 단위로 유지하는 것을 특징으로 하는 움직임 예측 보상 방법.
  3. 제1항에 있어서,
    상기 제1 움직임 예측 보상 스텝에서는, 계층 탐색의 단위를 M×N의 매크로 블록으로 하고, M'×N'(M'는 1 이상 M 이하, N'는 1 이상 N 이하)의 블록으로 분할하고, M×N의 블록 매칭의 결과로서 얻어지는 직교 변환된 차분 절대값합(SATD)을 M'×N' 단위로 유지하는 것을 특징으로 하는 움직임 예측 보상 방법.
  4. 제1항에 있어서,
    상기 제1 움직임 예측 보상 스텝에서는, 계층 탐색의 단위를 M×N의 매크로 블록으로 하고, M'×N'(M'는 1 이상 M 이하, N'는 1 이상 N 이하)의 블록으로 분할하고, M×N의 블록 매칭의 결과로서 얻어지는 차분 제곱합(SSD)을 M'×N' 단위로 유지하는 것을 특징으로 하는 움직임 예측 보상 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 참조 화상 결정 스텝에서는, 참조 화상마다 M'×N' 단위로 대소 비교를 행하여 참조 화상과 움직임 벡터를 절환하는 것을 특징으로 하는 움직임 예측 보상 방법.
  6. 제5항에 있어서,
    상기 참조 화상 결정 스텝에서는, 분할한 블록의 평가 지표값이 각 참조 화상에서 동일값으로 된 경우에, 참조 화상 인덱스 번호(refIdx)가 작은 쪽을 채용하는 것을 특징으로 하는 움직임 예측 보상 방법.
  7. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 참조 화상 결정 스텝에서는, 블록 매칭의 결과로부터 산출되는 평가 지표값와 함께, 참조 화상 인덱스 번호(refIdx)의 크기를 임의의 가중치 부여로 더해 넣은 값을 평가 지표로 하는 것을 특징으로 하는 움직임 예측 보상 방법.
  8. 제1항에 있어서,
    상기 참조 화상 결정 스텝에서는, B픽쳐의 경우에, 각 List에서 결정된 참조 화상 인덱스 번호(refIdx)를 바탕으로, 양방향 예측의 평가 지표 산출을 행하고, 계층 화상 상에서 전방 예측, 후방 예측, 양방향 예측의 판정을 행하는 것을 특징으로 하는 움직임 예측 보상 방법.
  9. 복수 프레임의 참조 화상을 갖고, 연속하는 프레임 화상 중 처리 대상의 대상 프레임 화상을 분할하여 이루어지는 각각의 움직임 보상 블록마다, 복수 프레임의 참조 화상 중 어느 것을 이용할지를 지정하여, 계층 탐색에 기초하는 움직임 벡 터의 탐색을 행하는 움직임 예측 보상 장치로서,
    상기 움직임 보상 블록의 화소 사이즈 중, 최상위층으로 할 가장 큰 상기 화소 사이즈로 이루어지는 상기 움직임 보상 블록의 화소를 씨닝함으로써, 소정의 축소율로 이루어지는 하위층의 축소 화상을 생성하는 계층화 수단과,
    상기 계층화 수단에 의해 생성된 축소 화상을 이용하여 움직임 벡터를 탐색하는 제1 움직임 예측 보상 수단과,
    상기 제1 움직임 예측 보상 수단에서 사용하는 축소 참조 화상을 축소 화상 상에서 결정하는 참조 화상 결정 수단과,
    축소 전의 화상에 대하여, 상기 제1 움직임 예측 보상 수단에 의해 탐색된 움직임 벡터에 의해 지정되는 소정의 검색 범위를 이용하여, 움직임 벡터를 탐색하여 움직임 예측 보상을 행하는 제2 움직임 예측 보상 수단
    을 구비하는 것을 특징으로 하는 움직임 예측 보상 장치.
  10. 제9항에 있어서,
    제1 움직임 예측 보상 수단은, 계층 탐색의 단위를 M×N의 매크로 블록으로 하고, M'×N'(M'는 1 이상 M 이하, N'는 1 이상 N 이하)의 블록으로 분할하고, M×N의 블록 매칭의 결과로서 얻어지는 차분 절대값합(SAD)을 M'×N' 단위로 유지하는 것을 특징으로 하는 움직임 예측 보상 장치.
  11. 제9항에 있어서,
    상기 제1 움직임 예측 보상 수단은, 계층 탐색의 단위를 M×N의 매크로 블록으로 하고, M'×N'(M'는 1 이상 M 이하, N'는 1 이상 N 이하)의 블록으로 분할하고, M×N의 블록 매칭의 결과로서 얻어지는 직교 변환된 차분 절대값합(SATD)을 M'×N' 단위로 유지하는 것을 특징으로 하는 움직임 예측 보상 장치.
  12. 제9항에 있어서,
    상기 제1 움직임 예측 보상 수단은, 계층 탐색의 단위를 M×N의 매크로 블록으로 하고, M'×N'(M'는 1 이상 M 이하, N'는 1 이상 N 이하)의 블록으로 분할하고, M×N의 블록 매칭의 결과로서 얻어지는 차분 제곱합(SSD)을 M'×N' 단위로 유지하는 것을 특징으로 하는 움직임 예측 보상 장치.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 참조 화상 결정 수단은, 참조 화상마다 M'×N' 단위로 대소 비교를 행하여 참조 화상과 움직임 벡터를 절환하는 것을 특징으로 하는 움직임 예측 보상 장치.
  14. 제13항에 있어서,
    상기 참조 화상 결정 수단은, 분할한 블록의 평가 지표값이 각 참조 화상에서 동일값으로 된 경우에, 참조 화상 인덱스 번호(refIdx)가 작은 쪽을 채용하는 것을 특징으로 하는 움직임 예측 보상 장치.
  15. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 참조 화상 결정 수단은, 블록 매칭의 결과로부터 산출되는 평가 지표값과 함께, 참조 화상 인덱스 번호(refIdx)의 크기를 임의의 가중치 부여로 더해 넣은 값을 평가 지표로 하는 것을 특징으로 하는 움직임 예측 보상 장치.
  16. 제9항에 있어서,
    상기 참조 화상 결정 수단은, B픽쳐의 경우에, 각 List에서 결정된 참조 화상 인덱스 번호(refIdx)를 바탕으로, 양방향 예측의 평가 지표 산출을 행하고, 계층 화상 상에서 전방 예측, 후방 예측, 양방향 예측의 판정을 행하는 것을 특징으로 하는 움직임 예측 보상 장치.
KR20067027591A 2004-06-29 2005-06-29 움직임 예측 보상 방법 및 움직임 예측 보상 장치 KR101182977B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00191937 2004-06-29
JP2004191937 2004-06-29
PCT/JP2005/011989 WO2006001485A1 (ja) 2004-06-29 2005-06-29 動き予測補償方法及び動き予測補償装置

Publications (2)

Publication Number Publication Date
KR20070033385A true KR20070033385A (ko) 2007-03-26
KR101182977B1 KR101182977B1 (ko) 2012-09-18

Family

ID=35781903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20067027591A KR101182977B1 (ko) 2004-06-29 2005-06-29 움직임 예측 보상 방법 및 움직임 예측 보상 장치

Country Status (6)

Country Link
US (1) US20080037642A1 (ko)
EP (1) EP1763252B1 (ko)
JP (1) JP5018085B2 (ko)
KR (1) KR101182977B1 (ko)
CN (1) CN1977541B (ko)
WO (1) WO2006001485A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
US8923393B2 (en) * 2006-11-02 2014-12-30 Qualcomm Incorporated Apparatus and method of reduced reference frame search in video encoding
US8019804B2 (en) * 2007-03-26 2011-09-13 City University Of Hong Kong Method and apparatus for calculating an SSD and encoding a video signal
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US20090086820A1 (en) * 2007-09-28 2009-04-02 Edward Hong Shared memory with contemporaneous access for use in video encoding and methods for use therewith
JP2009089332A (ja) * 2007-10-03 2009-04-23 Sony Corp 動き予測方法及び動き予測装置
US8705627B2 (en) * 2008-07-25 2014-04-22 Sony Corporation Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
US8363722B2 (en) * 2009-03-31 2013-01-29 Sony Corporation Method and apparatus for hierarchical bi-directional intra-prediction in a video encoder
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
JP5533309B2 (ja) * 2010-06-15 2014-06-25 富士通株式会社 動きベクトル検出回路、動画像符号化装置及び動きベクトル検出方法
US20120051432A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd Method and apparatus for a video codec with low complexity encoding
JP2012094959A (ja) * 2010-10-25 2012-05-17 Sony Corp 画像処理装置と画像処理方法およびプログラム
RU2571538C2 (ru) 2011-03-09 2015-12-20 Кабусики Кайся Тосиба Способ кодирования изображений и способ декодирования изображений
CN105933709B (zh) * 2011-03-09 2020-04-28 株式会社东芝 运动图像编码方法、装置以及运动图像解码方法、装置
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
KR20130090643A (ko) 2012-02-06 2013-08-14 삼성전자주식회사 정보 저장 장치 및 그것을 이용하는 사용자 장치
US20130258052A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
JP2014093602A (ja) * 2012-11-01 2014-05-19 Toshiba Corp 画像処理装置、画像処理方法、画像処理プログラム、および立体画像表示装置
JP6131652B2 (ja) * 2013-03-18 2017-05-24 富士通株式会社 符号化装置、符号化方法、および符号化プログラム
JP6323185B2 (ja) * 2014-06-04 2018-05-16 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127689A (ja) * 1990-09-19 1992-04-28 Hitachi Ltd 動画像予測符号化方式
US5719643A (en) * 1993-08-10 1998-02-17 Kokusai Denshin Denwa Kabushiki Kaisha Scene cut frame detector and scene cut frame group detector
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JP3589481B2 (ja) * 1994-03-31 2004-11-17 三菱電機株式会社 映像信号符号化方式
JP2671820B2 (ja) * 1994-09-28 1997-11-05 日本電気株式会社 両方向予測方法及び両方向予測装置
KR0182058B1 (ko) * 1995-05-10 1999-05-01 김광호 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
US5761398A (en) * 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination
US6549575B1 (en) * 1996-11-07 2003-04-15 International Business Machines Corporation. Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding
US5825930A (en) * 1997-03-05 1998-10-20 Samsung Electronics Co., Ltd. Motion estimating method
JPH11112992A (ja) * 1997-10-02 1999-04-23 Kdd 動き補償画像符号化装置
JP3711770B2 (ja) * 1998-11-27 2005-11-02 コニカミノルタホールディングス株式会社 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
EP1201088B1 (en) * 1999-07-30 2005-11-16 Indinell Sociedad Anonima Method and apparatus for processing digital images and audio data
JP2002209213A (ja) * 2000-12-28 2002-07-26 Sony Corp 動きベクトル検出方法及び装置、並びに画像符号化装置
JP2003153279A (ja) * 2001-11-15 2003-05-23 Mitsubishi Electric Corp 動き探索装置、その方法およびそのコンピュータ・プログラム
JP2003284091A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
KR20040008359A (ko) * 2002-07-18 2004-01-31 삼성전자주식회사 계층적 움직임 벡터 탐색을 이용한 움직임 추정 방법 및장치 및 그를 적용한 동영상 부호화 시스템
JP3940657B2 (ja) * 2002-09-30 2007-07-04 株式会社東芝 動画像符号化方法と装置及び動画像復号化方法と装置
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
JP4841101B2 (ja) * 2002-12-02 2011-12-21 ソニー株式会社 動き予測補償方法及び動き予測補償装置
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
KR100970726B1 (ko) * 2003-10-04 2010-07-16 삼성전자주식회사 계층적 움직임 추정 방법

Also Published As

Publication number Publication date
KR101182977B1 (ko) 2012-09-18
EP1763252B1 (en) 2012-08-08
EP1763252A4 (en) 2010-12-01
CN1977541A (zh) 2007-06-06
JPWO2006001485A1 (ja) 2008-04-17
JP5018085B2 (ja) 2012-09-05
WO2006001485A1 (ja) 2006-01-05
CN1977541B (zh) 2010-05-26
US20080037642A1 (en) 2008-02-14
EP1763252A1 (en) 2007-03-14

Similar Documents

Publication Publication Date Title
KR101182977B1 (ko) 움직임 예측 보상 방법 및 움직임 예측 보상 장치
RU2547634C2 (ru) Способ и устройство обработки изображения
KR101228651B1 (ko) 모션 추정을 수행하기 위한 방법 및 장치
JP6707678B2 (ja) 動き補償予測のための方法及び装置
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
US20130028328A1 (en) Image encoding method and image decoding method
US20120076203A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method
KR20180061041A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20110176614A1 (en) Image processing device and method, and program
JP2009089332A (ja) 動き予測方法及び動き予測装置
KR20060127155A (ko) 화상 정보 부호화 장치 및 화상 정보 부호화 방법
US20060222074A1 (en) Method and system for motion estimation in a video encoder
KR20110115987A (ko) 영상 부호화/복호화 장치 및 방법
US20220109835A1 (en) Method for encoding/decoding image signal, and device therefor
KR20070057212A (ko) 부호화 장치, 부호화 방법, 부호화 방법의 프로그램 및부호화 방법의 프로그램을 기록한 기록 매체
KR20180061042A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2013125973A (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
CN111010578A (zh) 一种帧内帧间联合预测的方法、装置以及存储介质
US20120121019A1 (en) Image processing device and method
CA2880458A1 (en) Method and system for rate-constrained search ordering
JP4349109B2 (ja) 画像データ処理装置、その方法、および、符号化装置
WO2012008040A1 (ja) 画像符号化方法及び画像復号化方法
CN117615129B (zh) 帧间预测方法、装置、计算机设备及存储介质
JP7242811B2 (ja) 画像符号化方法及び画像復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee