KR101181592B1 - 적응 코딩 방법 또는 장치 - Google Patents

적응 코딩 방법 또는 장치 Download PDF

Info

Publication number
KR101181592B1
KR101181592B1 KR1020050060072A KR20050060072A KR101181592B1 KR 101181592 B1 KR101181592 B1 KR 101181592B1 KR 1020050060072 A KR1020050060072 A KR 1020050060072A KR 20050060072 A KR20050060072 A KR 20050060072A KR 101181592 B1 KR101181592 B1 KR 101181592B1
Authority
KR
South Korea
Prior art keywords
block
image
blocks
motion
sub
Prior art date
Application number
KR1020050060072A
Other languages
English (en)
Other versions
KR20060049843A (ko
Inventor
야니끄 올리비에
에두아르 프랑소아
삐에르 뤼에루
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20060049843A publication Critical patent/KR20060049843A/ko
Application granted granted Critical
Publication of KR101181592B1 publication Critical patent/KR101181592B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

하나 이상의 서브-블록으로 구성되는 영상 블록에 대해 화소 순환 타입 모션 추정을 가지는 사전-분석 페이즈(6) 및 블록 매칭 모션 추정(11)을 가지는 실제 코딩 페이즈를 포함하는 소스 영상의 시퀀스를 코딩하기 위한 방법에 있어서, 상기 코딩 페이즈는 서브-블록을 포함하는 블록에 대해 매칭함으로써 계산되는 모션 벡터, 및 서브-블록에 속하는 픽셀 또는 픽셀 그룹에 대한 화소 순환 타입 추정에 의해 계산된 모션 벡터에 기초하여, 영상 서브-블록에 대한 모션 벡터의 선택 단계(16, 17); 및 하나의 블록을 구성하는 서브-블록으로부터 선택된 모션 벡터를 고려한 상관 계산에 기초하여 영상 블록의 서브-블록으로의 최상의 파티션의 계산 단계(18)를 포함한다.
모션 벡터, 화상 처리, 사전-분석, 매크로 블록, MPEG

Description

적응 코딩 방법 또는 장치{ADAPTIVE CODING METHOD OR DEVICE}
도 1은 본 발명에 따른 인코더의 블록도.
도 2는 매크로 블록 및 서브-매크로 블록의 파티션을 도시하는 도면.
도 3은 코딩 모드 결정 알고리즘을 도시하는 도면.
본 발명은 소스 영상의 시퀀스를 코딩하기 위한 방법 또는 장치에 관한 것으로, 특히 화소 순환(pel-recursive) 모션 추정 타입 사전-분석 페이즈 및 블록 매칭 모션 추정을 갖는 특정 코딩 페이즈를 포함하는 방법에 관한 것이다.
본 발명은 비디오 압축분야에 관한 것이다. 우리는 MPEG4 표준 호환가능 코딩 회로에 특히 관심이 있다.
"블록 매칭" 타입 모션 추정은 영상 시퀀스에서 영상의 시간적 상관(temporal correlation)을 이용하도록 인코더에서 구현된다. 이는 인터 모드에서 코딩을 위해 현재 블록으로부터 차감된 미리-선택된 블록을 계산한다. 예를 들면 모션 추정을 위한 영상 블록의 크기, 참조 영상 또는 모션 추정이 수행되는 영상, 상부 필드, 하부 필드 또는 이들 참조 영상에 대한 프레임 등과 같은, 표준에 의해 제안된 코딩 파라미터 중에서의 코딩 비용과 같은 기준에 따른 상이한 선택으로 인해, 상당량의 모션 계산이 인코더에 의해 실현되어야 한다. 이들 계산들은 시간 및 처리 용량의 측면에서 비용이 많이 든다. 모션 추정기는 인코더에 특정되어야 하거나, 적어도 표준에서 제안되어 인코더에 의해 구현되는 다수의 선택에 대해 호환 가능해야 한다.
예를 들면, H264 또는 MPEG4 파트 10 표준과 호환 가능한 인코더에 대한 "블록-매칭" 타입 계층적 모션 추정기(hierachical motion estimator)의 경우에, 각 블록 크기(4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16) 및 각 참조 영상에 대해 모션 벡터 필드가 계산된다. 매크로 블록 적응 프레임 필드(MacroBlock Adaptive Frame Field)의 영문 두문자인 MBAFF로 알려진 모노블록 쌍에 의한 코딩을 위해, 추정기는 매크로 블록당, 프레임에 대해 1개의 모션 벡터 필드를, 필드에 대해서는 2개의 모션 벡터 필드를 제공한다. 따라서, 16×16 크기의 매크로 블록에 대해, 41×3 모션 벡터가 각 참조 영상에 대해 계산될 수 있고, 이러한 숫자는 멀티-참조 모드(multi-reference mode)와 같이 수개의 참조 영상이 이용되는 경우에 승산되어야 한다.
다른 문제는 계층적 타입 모션 추정기의 이용 자체에 관련된다. 이러한 타입의 추정기는 더 균일한 모션 필드를 제공하지만, 낮은 해상도/높은 해상도 접근법으로 인해, 작은 오브젝트 모션에 용이하게 록킹(locking)할 수 없다.
본 발명은 상술한 단점을 극복하기 위한 것이다.
이를 위해, 본 발명의 목적들 중 하나는 하나 이상의 서브-블록으로 구성되는 영상 블록에 대해, 화소 순환 타입 모션 추정을 갖는 사전-분석 페이즈 및 블록 매칭 모션 추정 단계를 갖는 실제 코딩 페이즈를 포함하는 소스 영상의 시퀀스를 코딩하기 위한 방법이고, 코딩 페이즈는 서브-블록을 포함하는 블록에 대해서는 매칭에 의해 계산되는 모션 벡터에 기초하고, 서브-블록에 속하는 픽셀 또는 픽셀 그룹에 대해서는 화소 순환 타입 추정에 의해 계산된 모션 벡터에 기초한, 영상 서브-블록에 대한 모션 벡터 선택 단계, 및 블록을 구성하는 서브-블록으로부터 선택된 모션 벡터를 고려한 상관 계산에 기초하여 영상 블록의 서브-블록으로의 최상의 파티션(partition)을 계산하는 단계를 포함하는 것을 특징으로 한다.
특정 구현에 따르면, 본 방법은 선택 단계가 이러한 서브-블록에 대응하는 화소 순환 타입 모션 벡터에 대해 서브-블록의 상관 레벨을 계산하고, 모션 벡터는 자동으로 선택되는 블록 매칭에 의해 얻어지는 것을 특징으로 한다.
특정 구현에 따르면, 영상 블록의 크기는 MPEG2 표준에 정의된 것이고, 그 서브-블록의 크기는 MPEG4 표준에서 가용한 것이다.
특정 구현에 따르면, 블록 매칭 모션 추정은 계층적 타입이다.
특정 구현에 따르면, 사전-분석 페이즈는 동일한 해상도 또는 더 낮은 해상도에 대해 현재 영상 및 이전 영상간의 화소 순환 타입 모션 추정 단계, 및 화소 순환 타입 모션 추정에 기초한 모션-보상된 필터링(motion-compensated filtering)에 의한 잡음 감소 단계를 포함한다.
특정 구현에 따르면, 사전-분석 페이즈는 또한 다른 필드에 대해 상관 계산 을 수행해서, 코딩될 각 블록 및 참조 영상에 대해, 최상의 상관에 따라 이용할 대응 필드 또는 프레임을 결정하고, 이러한 정보를 블록 매칭 모션 추정 회로에 송신하여 대응하는 참조 영상에 대해 이러한 추정을 구현한다.
본 발명은, 하나 이상의 서브-블록에 의해 구성되는 영상 블록에 대해, 화소 순환 타입 모션 추정기를 가지는 사전-분석 회로 및 블록 매칭 모션 추정기를 가지는 실제 코딩 회로를 포함하는 코딩 장치에 관한 것으로, 코딩 회로는, 블록 모션 추정기에 의해 계산되고 서브-블록을 포함하는 블록과 연관된 모션 벡터에 기초하고, 서브-블록에 속하는 픽셀 또는 픽셀 그룹에 대하여 화소 순환 타입 추정기에 의해 계산된 모션 벡터에 기초한, 영상 서브-블록에 대한 모션 벡터를 선택하고, 블록을 구성하는 서브-블록으로부터 선택된 모션 벡터를 고려한 상관 계산에 기초하여 영상 블록의 서브-블록으로의 최상의 파티션의 계산을 위한 코딩 모드 결정 회로(coding mode decision circuit)를 포함하는 것을 특징으로 한다.
데이터 압축에 잘 적응되는 블록 매칭 모션 추정기, 및 물리적 모션 계산에 잘 적응되는 화소 순환 타입 모션 추정기의 조합은 양호한 품질 및 양호한 압축 레이트를 가지는 모션 필드가 얻어질 수 있게 한다. 계산이 감소된다.
이들 추정기의 모션 벡터 필드의 조합으로 인해, 예컨대 영상에서 이동하는 작은 오브젝트에 록킹하는 것이 더 용이하게 되고, 이는 "블록 매칭"타입의 모션 추정기에 의해 무시되었던 것이다. 물리적 필드를 나타내는 모션 벡터에 대한 정보를 이용함으로써, "블록 매칭"타입 모션 추정기, 예컨대 계층형은 이들을 예측기(predictors)로서 이용함으로써 그러한 벡터에 대한 모션 검색을 초기화할 수 있 다.
또한, 서브-매크로 블록보다 큰 영상 블록에 대해 설계된 "블록 매칭" 타입 추정 회로, 예를 들면 표준 MPEG2 타입 추정기를 이용할 수 있고, 이는 비용이 덜 든다. 더 작은 서브-매크로 블록에 대해, 예측형 모드에 대한 상관 또는 코딩 비용 계산은 예를 들어 벡터를 조합하거나 선택함으로써, 화소 순환 타입 모션 추정기 및 "블록 매칭" 타입 모션 추정 회로에 의해 제공되는 모션 벡터 필드로부터 구현된다.
다른 장점은 계층적 모션 추정기에 의해, 화소 순환 모션 추정기로부터의 정보를 이용하여 예를 들면 이용하는 참조 영상, 필드 또는 프레임을 선택함으로써 그 계산을 제한하는데 있다.
다른 구체적인 특징 및 장점들은 상세한 설명으로부터 나타나고, 이하의 설명은 비제한적인 예로서 제공되고 첨부된 도면을 참조한다.
도 1은 본 발명에 따른 비디오 시퀀스의 인코더를 나타낸다.
소스 영상의 디지털 비디오 데이터는 인코더의 입력에서 수신되어 사전-분석 회로(pre-analysis circuit; 6)로 송신된다. 영상이 영상 블록에 의해 필터링되어 감산기(1)의 제1 입력으로 송신된다. 인트라 또는 인터 코딩 모드에 따르면, 감산기(1)는 그 제1 입력 상에서 수신된 현재 블록과 관련된 정보를 송신하거나 그 제2 입력 상에서 이용가능한 예측된 블록에 대응하는 가장 최근의 정보를 후자로부터 감산한다. 감산기의 출력 데이터는 이산 코사인 및 양자화 변환 회로(discreet cosine and quantization transformation circuit; 2)로 송신된다. 이러한 회로의 양자화된 아웃고잉 계수는 엔트로피 인코더(3)를 통해 엔트로피 코딩을 받은 후 버퍼 메모리(4)에 저장된다. 이러한 메모리의 채움 레벨(filling level)이 비트 레이트 제어 회로(5)에 송신되어, 사전-분석 회로로부터 데이터를 수신하고 양자화기(2)의 양자화 단계에 영향을 미친다.
현재의 영상이 재구성되어 예측된 블록을 제공한다. 따라서, 양자화된 계수에 참조된 회로(7)를 통해 역 양자화 및 역 이산 코사인 변환을 수행하여, 디코딩된 휘도 값(luminance value)을 제공한다.
가산기(8)는 인터 모드로 코딩되는 경우, 예측된 블록이 디코딩된 계수 블록에 가산될 수 있게 한다. 재구성된 블록은 재구성된 현재 영상을 저장하는 영상 메모리(10)에 저장되기 이전에 필터링 회로(9)에 의해 필터링된다.
계층적 모션 추정기를 포함하는 블록 모션 추정기 회로(11)는 영상 메모리(10)에 의해 저장되는 디코딩되거나 재구성된 영상에 관련된 정보 및 사전-분석 회로(6)로부터 소스 영상의 코딩되는 현재의 매크로 블록과 관련된 정보를 수신한다. 계층적 모션 추정기는 이러한 현재의 매크로 블록과 재구성된 영상의 사이에서 주지된 원리에 따라 상관 계산을 구현하여, 매크로 블록에 의한 모션 벡터를 제공한다. 이들 벡터들은 코딩 모드 결정 회로(13)에 송신된다. 이러한 회로는 또한 사전-분석 회로로부터 화소 순환 타입 모션 추정기에 의해 계산된 모션 벡터를 수신한다. 이는 그 대응하는 코딩 모드를 가지는 최상의 매크로 블록 파티션을 선택한다.
코딩 모드 및 대응하는 모션 벡터는 예측된 영상 블록을 제공하도록 재구성된 참조 영상 또는 영상들의 모션 보상을 구현하는 모션 보상 회로(12)로 송신된다. 모션 벡터는 또한 그 코딩 및 디코더로의 송신을 위해 엔트로피 코딩 회로(3)로 송신된다.
더 상세하게는, 인코더의 입력에서, 해상도 감소 회로, 화소 순환 타입 모션 추정 회로 및 필터링 회로를 포함하는 사전-분석 회로(3)가 있다. 이들 회로들은 코딩되기 전에 영상상의 잡음 감소가 구현될 수 있게 한다. 이러한 측면에서, 화소 순환 타입 모션 추정이 블록에 의한 모션 추정보다 잡음 감소에 더 적응된다는 것을 알 수 있다. 따라서, 이러한 인코더의 사전-분석 페이즈에 구현되는 것은 이러한 타입의 알고리즘이다.
인코더의 입력에서 수신되는 소스 영상의 시퀀스는 사전-분석 회로에 의해 서브-샘플링되어 더 낮은 해상도의 영상을 제공한다. 화소 순환 타입 모션 추정은 실제 영상의 인코딩 이전에, 이러한 사전-분석 회로에 의해 구현된다. 그러므로, 본 예에서 그 크기가 2개의 수평 및 수직으로 파티션되는 더 낮은 해상도의 영상에 대해, 픽셀별로 계산된다. 이러한 추정은 모션중인 영역의 검출, 예측불가능한 영역, 선호되는 예측 방향 등과 같이, 인코딩 모듈에 유용한 소정 양의 정보를 미리 제공할 수 있다.
이어서, 이러한 모션 추정에 기초한 모션 보상된 필터링 액션이 전체 해상도 영상에 대해 구현된다. 이러한 필터링은 영상의 잡음을 감소시켜서 인코더 효율을 개선한다.
사전-분석 회로는 코딩될 시퀀스의 GOP 구조, 즉 영상의 타입, 인터 또는 인트라, 참조 영상, 양방향 등을 정의하는데 이용된다. 이러한 용어 GOP는 "Group Of Pictures"에 대한 두문자이고, MPEG 표준에 정의되어 있다.
사전-분석은 선정된 개수의 영상에 대해 수행된다. 사전-분석과 실제 영상 코딩간의 지연 기간은 비트 레이트 제어를 위해 고려되는 영상 그룹의 단위로 될 수 있다. 이는 예를 들면 MPEG 표준에 대한 하나 또는 수개의 GOP에 대응한다.
본 예에서, 모션 추정 회로(11)는 계층적 구조 및 블록 매칭 접근법에 기초하고 있다. 현재의 매크로 블록은 디코딩된 영상과 비교되어, 증가하는 해상도의 피라미드에 따라 구성되고, 피라미드, 및 매크로 블록의 최하위 해상도에서 시작하여 최고 해상도 레벨까지 간다. 모션 벡터 필드는 최하위 레벨로부터 최고 레벨까지 각 해상도 레벨에 대해 추정되고, 하나의 레벨에서 구현된 추정은 더 높은 레벨에 대한 예측으로서 이용될 수 있다. 피라미드는 코딩 회로의 다른 코딩 모드에 따라 좌우된다. 따라서, 프레임, 필드, 및 여기에서는 주어진 참조 영상에 대한 피라미드가 있다. 복수의 참조 접근법에서, 이러한 숫자는 승산된다.
코딩 루프에서, 이러한 필터링 회로(9)는 재구성된 영상의 필터링을 실현하여, 블록의 영향을 감소시킨다. 영상 메모리(10)에 저장되는 것은 이러한 필터링된 영상이다.
사전-분석 회로(6)는 비트 레이트 제어 회로(5)에 접속되어 영상 타입에 의한 GOP 구조 정보 및 코딩 비용 정보를 제공함으로써, 정보를 사후에(expost facto) 통합할 수 있는 비트 레이트 제어를 단순화시킨다. 사전-분석 회로는 예컨 대, 인트라모드의 제1 통과에서, 코딩의 측면에서 영상의 복잡도를 결정하고, 코딩 비용 추정을 영상 타입별로 제어 회로에 송신하여 후자가 DCT+Q 회로에 대한 양자화 단계를 계산할 수 있게 한다.
상기 나타낸 바와 같이, 코딩 모드 결정 회로(13)는 최상의 매크로 블록 파티션 및 매크로 블록 코딩 모드를 선택한다.
도 2는 MPEG 4 표준 섹션 10을 이용하는 인코더를 위한, 16개 샘플의 16 라인의 파티션 매크로 블록의 다른 타입을 나타낸다.
제1 라인은 16×16 크기의 매크로 블록을 각각 16×8 및 8×16의 크기를 가지는 2개의 서브 매크로 블록으로의 수평 및 수직 절단에 대응하고, 4개의 8×8 크기의 서브 매크로 블록으로의 절단에 대응한다. 제2 라인은 8×8 크기의 서브-매크로 블록에 대하여, 이들과 동일한 절단에 대응하지만 더 낮은 레벨에 대응한다.
화소 순환 모션 추정은 더 낮은 해상도, 예컨대, 소스 영상보다 수평 및 수직으로 2배 낮은 해상도의 영상 상에서 구현된다.
블록 매칭 모션 추정 회로(11)는 MPEG2 타입으로서, 즉 처리되는 휘도 매크로 블록의 크기는 16샘플의 16라인이다. 매크로 블록의 내부 구성은 영상, 필드 또는 프레임의 타입에 따라 다르다. 따라서, 2개의 필드 DCT 영상 코딩 또는 단일 필드 DCT 영상 코딩에는 휘도 매크로 블록이 존재하고, 이러한 후자의 경우에 매크로 블록은 홀수 필드에 대해서는 상부 16×8 블록 및 짝수 필드에 대해서는 하부 16×8 블록으로 구성된다. 계산된 모션 벡터는 코딩된 영상, P 예측성 또는 B 양방향 코딩 영상의 타입에 따라 좌우된다. 이들은 "포워드 벡터"(MPEG2 표준에서) 및 "백워드 벡터"이다.
도 3은 코딩 모드 결정 회로(13)에 의해 구현되는 코딩 모드 결정 흐름도를 나타낸다.
단계 14에서, 2x2 블록의 모션 벡터 필드가 사전-분석 회로(6)로부터 수신된다.
단계 15에서, 16x16 매크로 블록의 모션 벡터 필드가 모션 추정 회로(11)로부터 수신된다.
단계 16은 단계 14 및 단계 15에 대한 벡터 필드의 모션 벡터를 처리한다. 이는 모션 벡터를 다른 가능한 매크로 블록 파티션으로 할당한다.
상기 예에서, 가능한 파티션은 서브-블록, 즉 8×8 블록으로 제한되고, 서브-블록은 파티션되지 않는다.
제1 페이즈에서, 모션 벡터가 블록에 링크된다.
따라서, 고려되는 서브-블록에 대해, 이러한 서브-매크로 블록에 포함된 2×2 블록의 모션 벡터뿐만 아니라 이러한 서브-매크로 블록을 포함하는 16×16 매크로 블록의 모션 벡터가 서브-매크로 블록에 링크된다.
제2 페이즈에서, 모션 벡터가 서브-매크로 블록에 할당된다.
다른 할당 모드도 가능하다.
예를 들면, 단순히 서브-매크로 블록에 링크되는 모든 모션 벡터의 할당이 될 수 있다.
할당되는 벡터의 개수는 서브-매크로 블록에 링크된 2×2 블록의 모션 벡터 중에 사전-선택을 적용하고, 이들 벡터들의 성분의 중간값(median values)을 선택하거나, SAD 또는 Hadamart 계산에 의해 최상의 상관을 제공하는 하나를 선택함으로써, 제한될 수 있다.
단계 17은 다른 파티션의 서브-매크로 블록에 할당되고 단계 16으로부터 오는 벡터를 수신한다. 모션 벡터의 선택은 각 서브-매크로 블록에 대해 할당된 모션 벡터(들)에 기초하여 상관 계산을 실현하고 최상의 상관을 제공하는 모션 벡터를 선택함으로써 구현된다.
단계 18은 파티션의 서브-매크로 블록에 할당된 선택된 벡터를 수신한다. 이러한 단계는 가능한 각 파티션에 대해, 이러한 파티션에 대응하는 서브-매크로 블록에 할당된 모션 벡터에 기초하여, 전체 매크로 블록에 대한 상관 계산을 실현하고, 매크로 블록을 구성하는 서브-매크로 블록 각각의 상관의 합을 수행함으로써 최상의 파티션 선택을 구현한다.
최상의 상관 레이트를 제공하는 파티션이 선택된다.
이전 단계들은 테스트되는 각 모드, 모션 벡터 및 참조 영상을 가지는 예측성 모드(predictive mode) 및 2개의 모션 벡터 및 2개의 참조 영상을 가지는 이중-예측성(bi-predictive)에 대해 구현된다.
선택된 파티션에 대한 코딩 모드 결정, 인트라, 예측성 인터, 이중-예측성 인터, 등은 대응하는 코딩 비용을 비교함으로써 얻어진다.
본 발명의 변형에 따르면, 사전-분석 회로(6)의 화소 순환 모션 추정기에 의해 계산된 모션 벡터는 계층적 모션 추정기(11)에 송신되어 예측기로서 이용된다. 선택된 예측기 또는 예측기들은 주지된 방식으로 이용되어, 모션 벡터를 결정하도록 상관이 구현되는 하나 이상의 검색 윈도우를 배치시킨다. 수개의 모션 벡터가 모션 추정기(11)에 의해 처리된 블록에 대응하는 경우, 이러한 블록에 대한 예측기가 예를 들면, 이들 벡터의 각각, 이들 벡터의 성분의 평균, 또는 중간값이다.
본 발명의 변형에 따르면, 사전-분석 회로는 상관 계산을 수행하여 영상/필드 코딩 결정 정보를 모션 추정 회로(11)에 제공한다. 이는 필드 또는 프레임 모드의 사전 결정을 실현하여, 모션 추정 회로에 송신함으로써 이러한 회로에 의해 실현되는 계산을 단순화시킨다.
본 발명의 추가 변형에 따르면, 사전-분석 회로는 상관 계산을 구현하여 영상/필드 코딩에 대한 결정 정보, 예를 들면 필드 또는 프레임 모드의 사전 결정을 코딩 모드 결정 회로(13)에 제공한다. 그러므로, 이러한 회로는 수신된 모션 벡터 중에서, 사전-분석 회로에 의해 선택되지 않은 모드에 대응하는 것들을 제거한다. 최상의 파티션의 계산은 미리-선택된 모드에 대해서만 수행된다.
이들은 실시예들이다. 물론, 본 발명은 상관 계산이 수행되는 부분들에 대해, 모든 매크로 블록 파티셔닝에 적용된다.
모션 추정기는 본 발명의 분야를 벗어나지 않고서도 화소 순환 또는 계층적과는 다른 타입을 가질 수 있다.
어플리케이션은 송신 및 레코딩을 위한 비디오 데이터 압축과 관련된다.
모션 추정을 위한 영상 블록의 크기, 참조 영상 또는 모션 추정이 수행되는 영상, 상부 필드, 하부 필드 또는 이들 참조 영상에 대한 프레임 등과 같은, 표준에 의해 제안된 코딩 파라미터 중에서의 코딩 비용과 같은 기준에 따른 상이한 선택으로 인해, 상당량의 모션 계산을 비용 효율적으로 인코더에 의해 구현한다. 모션 추정기는 인코더에 특정되어야 하거나, 적어도 표준에서 제안되어 인코더에 의해 구현되는 다수의 선택에 대해 호환 가능하다.

Claims (8)

  1. 영상 서브-블록들(picture sub-block)을 포함하는 영상 블록들에 대해, 화소 순환 타입 모션 추정(pel-recursive type motion estimation)을 갖는 사전-분석 페이즈(pre-analysis phase)와, 블록 매칭 모션 추정(block matching motion estimation)을 갖는 실제 코딩 페이즈를 포함하는, 소스 영상들의 시퀀스를 코딩하기 위한 방법으로서,
    상기 코딩 페이즈는,
    상기 영상 서브-블록들을 포함하는 영상 블록에 대해 블록 매칭함으로써 계산되는 모션 벡터들에 기초하고, 또한 상기 영상 서브-블록들에 속하는 픽셀들 또는 픽셀 그룹들에 대한 상기 화소 순환 타입 모션 추정에 의해 상기 사전-분석 페이즈 동안에 계산되는 모션 벡터들에 기초하여, 상기 블록의 상이한 파티션들에 대응하는 상기 영상 서브-블록들에 대해 모션 벡터들을 할당하는 단계;
    상기 영상 서브-블록에 대한 상관 계산에 기초하여, 영상 서브-블록에 할당된 모션 벡터들 중에서 선택하는 단계; 및
    영상 블록을 구성하는 영상 서브-블록들에 대해 선택된 모션 벡터들을 고려함으로써, 전체 영상 블록의 상이한 파티션들에 대한 상관 계산들(correlation calculation)에 기초하여 영상 블록의 영상 서브-블록들로의 최상의 파티션을 계산하는 단계 - 상기 실제 코딩은 상기 최상의 파티션에 기초함 -
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 선택하는 단계는, 상기 화소 순환 타입 모션 추정들에 의해 계산된 상기 할당된 모션 벡터들에 대해서만 상기 영상 서브-블록들의 상관 레벨들을 계산하고, 상기 할당된 모션 벡터들은 체계적으로(systematically) 선택되는 블록 매칭에 의해 계산되는 방법.
  3. 제1항에 있어서, 상기 영상 블록들의 크기는 상기 블록 매칭을 위해 MPEG2 표준에 정의된 것이고, 상기 영상 서브-블록들의 크기들은 MPEG4 표준에서 이용가능한 더 작은 크기인 방법.
  4. 제1항에 있어서, 상기 블록 매칭 모션 추정기는 계층적 타입(hierachical type)인 방법.
  5. 제1항에 있어서, 상기 사전-분석 페이즈는, 동일한 해상도에 대해 또는 더 낮은 해상도에 대해 현재 영상 및 이전 영상 간의 화소 순환 타입 모션 추정을 행하는 단계, 및 상기 모션 추정에 의해 계산된 모션에 기초하여 모션-보상된 필터링하는 것에 의해 잡음을 감소시키는 단계를 포함하는 방법.
  6. 제1항에 있어서, 상기 사전-분석 페이즈는 또한, 현재 영상의 다른 필드들에 대해 상관 계산들을 구현해서 코딩될 각 영상 블록에 대해, 그리고 참조 영상에 대해 가장 높은 상관 값에 따라 이용할 대응하는 필드 또는 프레임을 결정하고, 이 정보를 상기 블록 매칭 타입 모션 추정 회로에 전송하여 대응하는 참조 영상에 대한 추정을 수행하도록 하는 방법.
  7. 제1항에 따른 방법을 구현하기 위한 코딩 장치로서,
    영상 서브-블록들에 의해 구성되는 영상 블록들에 대해, 화소 순환 타입 모션 추정기를 가지는 사전-분석 회로 및 블록 매칭 모션 추정기를 포함하는 실제 코딩 회로, 및
    코딩 모드 결정 회로를 포함하는 코딩 회로
    를 포함하며,
    상기 코딩 모드 결정 회로를 포함하는 코딩 회로는,
    상기 블록 매칭 모션 추정기에 의해 계산되고 상기 영상 서브-블록들을 포함하는 영상 블록에 관한 모션 벡터들에 기초하고, 또한 상기 화소 순환 타입 모션 추정기에 의해 상기 사전-분석 회로에서 계산되고 상기 영상 서브-블록에 속하는 픽셀들 또는 픽셀 그룹들에 관한 모션 벡터들에 기초하여, 상기 영상 블록의 상이한 파티션들에 대응하는 영상 서브-블록들에 대해 모션 벡터들을 할당하며,
    상기 영상 서브-블록에 대한 상관 계산에 기초하여, 영상 서브-블록에 할당된 모션 벡터들 중에서 선택하고,
    영상 블록을 구성하는 영상 서브-블록들에 대해 선택된 모션 벡터들을 고려하여, 전체 영상 블록의 상이한 파티션들에 대한 상관 계산들에 기초하여, 영상 블록의 영상 서브-블록들로의 최상의 파티션을 계산하는, 코딩 장치.
  8. 삭제
KR1020050060072A 2004-07-06 2005-07-05 적응 코딩 방법 또는 장치 KR101181592B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0451446A FR2872974A1 (fr) 2004-07-06 2004-07-06 Procede ou dispositif de codage adaptatif
FR0451446 2004-07-06

Publications (2)

Publication Number Publication Date
KR20060049843A KR20060049843A (ko) 2006-05-19
KR101181592B1 true KR101181592B1 (ko) 2012-09-10

Family

ID=34940262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050060072A KR101181592B1 (ko) 2004-07-06 2005-07-05 적응 코딩 방법 또는 장치

Country Status (7)

Country Link
US (1) US20060008007A1 (ko)
EP (1) EP1622389A3 (ko)
JP (1) JP4694903B2 (ko)
KR (1) KR101181592B1 (ko)
CN (1) CN1719904B (ko)
FR (1) FR2872974A1 (ko)
MX (1) MXPA05007305A (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2872973A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage d'une sequence d'images sources
FR2872974A1 (fr) 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage adaptatif
BRPI0711103A2 (pt) 2006-05-05 2011-08-23 Thomson Licensing predição de movimento entre camadas simplificadas para codificação de vìdeo escalonável
US8265136B2 (en) 2007-02-20 2012-09-11 Vixs Systems, Inc. Motion refinement engine for use in video encoding in accordance with a plurality of sub-pixel resolutions and methods for use therewith
US8665946B2 (en) * 2007-10-12 2014-03-04 Mediatek Inc. Macroblock pair coding for systems that support progressive and interlaced data
JP4892450B2 (ja) * 2007-10-17 2012-03-07 パナソニック株式会社 画像符号化装置および画像符号化方法
US8432970B1 (en) * 2007-12-14 2013-04-30 Marvell International Ltd. Block type selection
US8599921B2 (en) * 2009-03-27 2013-12-03 Vixs Systems, Inc Adaptive partition subset selection module and method for use therewith
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US8335256B2 (en) * 2008-11-14 2012-12-18 General Instrument Corporation Motion compensation in video coding
US8855191B2 (en) * 2008-11-24 2014-10-07 Broadcast International, Inc. Parallelization of high-performance video encoding on a single-chip multiprocessor
WO2011149292A2 (ko) * 2010-05-26 2011-12-01 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
JP5994367B2 (ja) * 2012-04-27 2016-09-21 富士通株式会社 動画像符号化装置、動画像符号化方法
US10477233B2 (en) 2015-09-30 2019-11-12 Apple Inc. Predictor candidates for motion estimation search systems and methods
EP3506633A1 (en) * 2017-12-19 2019-07-03 Axis AB Video encoding method and system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1622389A3 (en) 2004-07-06 2008-09-03 Thomson Licensing Adaptive coding method and device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2980810B2 (ja) * 1994-04-20 1999-11-22 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 動きベクトル探索方法と装置
JPH0846968A (ja) * 1994-08-03 1996-02-16 Nippon Telegr & Teleph Corp <Ntt> 階層的動ベクトル検出方法および装置
JPH08223578A (ja) * 1995-02-13 1996-08-30 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル探索方法および装置
CN1067204C (zh) * 1998-09-18 2001-06-13 清华大学 视频编码的全局判决方法
US6731684B1 (en) * 1998-09-29 2004-05-04 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
ATE288171T1 (de) * 2001-06-26 2005-02-15 Koninkl Philips Electronics Nv Videokodierungsverfahren
EP2819411B1 (en) * 2001-09-14 2018-08-29 NTT DoCoMo, Inc. Coding method and decoding method
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1622389A3 (en) 2004-07-06 2008-09-03 Thomson Licensing Adaptive coding method and device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문 : IMAGE PROCESSING 2003

Also Published As

Publication number Publication date
MXPA05007305A (es) 2006-01-26
CN1719904A (zh) 2006-01-11
EP1622389A2 (en) 2006-02-01
CN1719904B (zh) 2010-05-05
JP4694903B2 (ja) 2011-06-08
JP2006025429A (ja) 2006-01-26
KR20060049843A (ko) 2006-05-19
US20060008007A1 (en) 2006-01-12
EP1622389A3 (en) 2008-09-03
FR2872974A1 (fr) 2006-01-13

Similar Documents

Publication Publication Date Title
KR101181592B1 (ko) 적응 코딩 방법 또는 장치
KR101192026B1 (ko) 소스 픽쳐의 시퀀스를 코딩하는 방법 또는 장치
CA2703775C (en) Method and apparatus for selecting a coding mode
KR100593350B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치
US9172973B2 (en) Method and system for motion estimation in a video encoder
KR101384077B1 (ko) 비디오 코딩에서 블록 타입 시그널링
KR101177031B1 (ko) 인터-코딩에 사용된 기준 화상의 수를 최소화하기 위한 방법 및 장치
US20070098067A1 (en) Method and apparatus for video encoding/decoding
WO2010008654A1 (en) Speculative start point selection for motion estimation iterative search
KR20050089090A (ko) 인터프레임 인코딩을 위한 빠른 모드 결정 방법
EP2314066A1 (en) Simple next search position selection for motion estimation iterative search
CA2706711C (en) Method and apparatus for selecting a coding mode
CN101150722A (zh) 视频编码中快速的模式确定方法和装置
WO2015057570A1 (en) Multi-threaded video encoder
JP2009260421A (ja) 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
KR100723840B1 (ko) 영상 움직임 추정 장치
Jamil et al. Preliminary study of block matching algorithm (bma) for video coding
WO2015015404A2 (en) A method and system for determining intra mode decision in h.264 video coding
Lin et al. Fast multi-frame motion estimation for H. 264 and its applications to complexity-aware streaming
Alfonso et al. Detailed rate-distortion analysis of H. 264 video coding standard and comparison to MPEG-2/4
Kumar et al. A complexity scalable H. 264/AVC encoder for mobile terminals
KR100814715B1 (ko) 동영상 부호화기, 복호화기 및 그 방법
Tourapis et al. Fast and efficient motion estimation using diamond zonal-based algorithms
KR0174444B1 (ko) 초저속 전송을 위한 움직임 보상장치
KR0174959B1 (ko) 초저속 전송을 위한 동영상부호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160804

Year of fee payment: 5