KR20080068662A

KR20080068662A - 비디오 인코딩을 위한 코딩 모드 결정 시스템 및 방법

Info

Publication number: KR20080068662A
Application number: KR1020087009362A
Authority: KR
Inventors: 용 얀
Original assignee: 프리스케일 세미컨덕터, 인크.
Priority date: 2005-10-19
Filing date: 2006-10-11
Publication date: 2008-07-23
Also published as: JP5084733B2; KR101299421B1; US20070086523A1; US8155189B2; CN101305610A; JP2009513073A; WO2007047412A3; WO2007047412A2; CN101305610B

Abstract

현재 비디오 프레임(501)의 현재 마이크로블럭(microblock)에 대한 코딩 모드 결정을 하는 방법은, INTERSAD 값을 결정하는 단계, 상기 현재 비디오 프레임과 연관된 적어도 하나의 비디오 특성을 선택하는 단계, 상기 INTERSAD 값과, 각각의 선택된 비디오 특성의 대응하는 범위를 비교하는 단계, 상기 INTERSAD 값이 상기 각각의 선택된 비디오 특성의 대응하는 범위 내에 있으면, 인터프레임 코딩을 선택하는 단계, INTERSAD 값이 임의 선택된 비디오 특성의 아웃라이어(outlier)이면, 인트라프레임 예측 마이크로블럭을 제공하기 위한 인트라프레임(intraframe) 예측(505)을 수행하고, INTRASAD 값을 결정하는 단계, 그리고 그렇지 않으면 인터프레임 코딩을 선택하는 단계를 포함한다. 비디오 특성들은, 인터프레임 차이 합들의 평균, 현재 마이크로블럭의 각각의 화소 값 그리고 현재의 마이크로블럭의 평균 화소 값 사이의 절대 차이들의 합, 및 양자화 파라미터의 임의 조합에 기초할 수 있다.

비디오 인코딩, 코딩 모드 결정, 마이크로블럭, 비디오 특성, INTERSAD/INTRASAD, 인터프레임/인트라프레임, 아웃라이어, 예측 마이크로블럭, 기준 마이크로블럭, MEANSAD, SADM, 양자화 파라미터, 모션 추정/보상/결정, 모션 모드, 모션 벡터, 스킵 신호

Description

비디오 인코딩을 위한 코딩 모드 결정 시스템 및 방법{System and method of coding mode decision for video encoding}

본 발명은 일반적으로 비디오 인코딩에 관한 것이고, 더 구체적으로는, 비디오 프레임의 마이크로블럭들(microblocks;MBs)에 대한 코딩 방법을 선택하는 시스템 및 방법에 관한 것이다.

AVC(Advanced Video Coding) 표준, 다르게는 H.264로서 알려진 MPEG4(Motion Picture Experts Group)의 제 10 부는, 더 낮은 비트 레이트에서 비디오 신호들의 전송 또는 감소된 저장 공간을 사용한 비디오 신호들의 저장이 가능하도록 개발된 진보된 압축 기술들을 포함한다. 이 새로운 표준은, 더 낮은 비트-레이트들에서 더 높은 품질의 스트리밍 비디오를 지원하기 위해 그리고 인터넷-기반 비디오 및 무선 어플리케이션들 등이 가능하도록 하기 위해 이전 표준들의 비디오 압축 표준들 이상의 성능을 발휘한다. 상기 표준은 CODEC(인코더/디코더 쌍)을 정의하지 않지만, 그 대신 비트스트림을 디코딩하는 방법과 함께 인코딩된 비디오 비트스트림의 신텍스(syntax)를 정의한다. 각각의 비디오 프레임은 서브-분할되어 마이크로블럭들(MBs) 레벨에서 인코딩되고, 여기서 각각의 MB는 화소들의 16 x 16 블럭이다. 각각의 MB는 예측 MB가 현재 프레임에서 재구성된 MB들에 기초하여 형성되는 '인트라프레임(intraframe)' 모드, 또는 예측 MB가 기준 프레임들의 MB들에 기초하여 형성되는 '인터프레임(interframe)' 모드에서 인코딩된다. 인트라프레임 코딩 모드는, 예측 MB가, 이전에 인코딩되고, 디코딩되고, 재구성된 현재 프레임의 샘플들로부터 형성되는 현재 프레임 내에 공간 정보를 적용한다. 인터프레임 코딩 모드는 예측 MB를 형성하기 위한 모션(motion)을 추정하기 위해 이전 및/또는 미래 기준 프레임들로부터 시간 정보를 사용한다.

ISO/ITU의 JVT(Joint Video Team)의 JM85에 따르는 것과 같은, 소위 "기준 CODEC"은 인코더에 대한 코딩 모드 결정들을 하는 방법을 병합한다. 기준 CODEC는 인터프레임 및 인트라프레임 코딩 모두를 수행하고 각각의 코딩 결과에 대한 비트-레이트와 왜곡(distortion)을 계산하고, 더 나은 비트-레이트와 왜곡을 갖는 코딩 방법을 선택하므로, 강도있는 계산을 한다. 기준 CODEC 인코딩 처리는 각각의 인터프레임과 인트라프레임 코딩 방법에 대해 잔여(residual) 혹은 차이(difference) 블럭에 대한 계산 강도가 높은 블럭 변환 및 양자화와 관련된다. 기준 CODEC 인코딩 처리는 왜곡이 재구성된 MB로부터 결정되고 레이트가 MB를 코딩하기 위해 필요한 비트-레이트인 각각의 방법에 대해 실제 레이트와 왜곡 계산들을 더 요구한다. 이것은 잠재적으로 최적의 결과들을 달성하지만, 기준 CODEC 인코딩 처리는 가치있는 자원들을 소비하고 다수의 어플리케이션들에 대한 실용적 해결책으로서 고려되지 않는다. 예를 들어, 계산 강도가 높은 인트라프레임 예측 처리는 인트라프레임 코딩 방법이 거절되더라도 각각의 MB에 대해 수행된다.

인코더의 복잡도는, 컴퓨팅과 전력 자원들이 제한된 비디오를 사용하는 멀티 미디어 어플리케이션들, 특히 무선 및 모바일 디바이스들에서 병목(bottleneck)이다. 수용가능한 코딩 효과 및 시각적 품질을 제공하면서, 모드 결정을 단순화하고 자원들을 절약하기 위해 인터프레임과 인트라프레임 코딩 결정들의 균형을 잡는 것이 바람직하다. 코딩 효율, 비디오 품질, 및 계산 성능의 균형을 맞추는 적절한 모드 결정 처리를 제공하는 것이 바람직하다. 또한, MB가 큰 이동하는 물체의 일부일 때와 같이, 불확실한 상태들 하에서 MB의 인코딩 처리를 바이패스(bypass)하기 위해 스킵(skip) 모드의 이득을 얻는 것이 바람직하다.

본 발명의 이득들, 특징들, 및 이점들은, 첨부된 도면과 이하 설명에 대해 더 잘 이해가 될 것이다:

도 1은 종래 기술에 따라서 기준 CODEC에 의해 수행되는 일 예시적인 인코딩 처리를 나타내는 일 단순화된 흐름도이다.

도 2는 본 발명의 일 실시예에 따라 수행되는 일 예시적 인코딩 처리를 나타내는 일 단순화된 흐름도이다.

도 3 및 도 4는 도 2의 흐름도의 부분들의 대안적인 실시예들을 나타내는 흐름도들이다.

도 5는 본 발명의 일 예시적인 실시예에 따라서 구현되는 인코더의 일 단순화된 블럭도이다.

도 6은 본 발명의 일 실시예에 따라서 도 5의 모드 결정 회로의 일 실시예의 일 단순화된 블럭도이다.

이하 설명은 특정 어플리케이션과 그것의 요구사항들의 문맥 내에서 제공되는 것처럼 당업자가 본 발명을 만들고 사용하도록 제공된다. 그러나, 선호되는 실시예의 다양한 수정들이 당업자에게 명백할 것이고, 본 명세서에서 정의된 일반 원칙들은 다른 실시예들에게 적용될 수 있다. 그러므로, 본 발명은 본 명세서에 도시되고 설명된 특정 실시예들에 제한되려고 의도되지는 않지만, 본 명세서에 개시된 원칙들 및 새로운 특징들과 일관된 넓은 범위에 따라야 한다.

도 1은 종래 기술에 따른 기준 CODEC에 의해 수행되는 일 예시적인 인코딩 처리를 나타내는 일 단순화된 흐름도이다. 제 1 블럭(101)에서, 모션 추정 처리는 인코딩되는 현재 프레임의 현재 마이크로블럭(MB)에 대해 수행된다. 모션 추정 처리는 당업자들에 의해 알려졌고, 상세히는 설명되지 않는다. 기준 MB는, 최종 혹은 이전 인코딩된 프레임으로부터와 같이, 식별되고, 종래 모션 추정 처리는 기준 MB와 현재 MB 사이에 적어도 하나의 모션 벡터(motion vector;MV)를 결정한다. 더욱이, 모션 추정 처리의 부산물(byproduct)은, 이미 인코딩된 현재 프레임의 이웃 혹은 인접 MB들의 모션 벡터들의 미디안(median) 값인 미디안 MV이다. 인접 마이크로블럭들은 통상, 당업자에게 알려진 것처럼, 현재 MB에 대해 우측상단 MB, 상단중간 MB, 좌측상단 MB, 및 좌측 MB를 포함한다. 도시된 실시예에서 모션 추정의 목적들을 위해, 단지 "루마(luma)" 혹은 밝기 정보만이 사용된다. 기준 MB는 정수 레벨에서(즉, 화소 레벨까지 다운하여) 또는 선택적으로 더욱 정확성을 위해 1/2 혹은 1/4 화소 해상도와 같이 서브-화소 레벨에서 식별될 수 있다. 서브-화소 해 상도에 대해, MB의 화소들은 둘러싼 화소 정보로부터 보간된다. 다음 블럭(103)에서, 모션 보상 처리가 기준 MB에 대해 수행되고, 모션 보상 예측 MB가 결정된다. 현재 MB의 색 정보는 도시된 실시예에서 모션 보상을 목적으로 포함된다. 필요하면, 모션 추정 처리 동안 보간이 이미 수행되었으므로, 상기 보간은 모션 보상된 예측 MB를 제공하기 위해 모션 보상 동안에 색 정보에 적용된다.

다음 블럭(105)에서, 모션 보상된 MB는 결과적 잔여 MB를 제공하기 위해 현재 MB로부터 감산되고, 이것은 다른 프레임으로부터 정보를 사용하여 결정되므로 인터프레임 잔여 MB로서 지칭된다. 다음 블럭(107)에서, 이산 코사인 변환(discrete cosine transform;DCT) 혹은 임의 다른 적절한 변환 함수를 사용하는 것과 같이, 인터프레임 잔여 MB에 대해 블럭 변환이 수행된다. 다음 블럭(109)에서, 양자화된 변환 계수들을 제공하기 위해 변환된 결과에 대해 양자화 처리가 수행된다. 양자화 처리는 정확성의 특정 손실의 결과를 가져올 수 있는 디지털 라운딩(rounding) 처리이다. 그 후, 양자화된 변환 계수들은 저장 혹은 전송을 위해 압축된 비트스트림을 형성하기 위해 엔트로피 인코딩될 수 있다.

다음 블럭(111)에서, 역 양자화 및 역 변환 함수들은 양자화된 변환 계수들에 대해 수행되어 왜곡되거나 혹은 "추정되는" 인터프레임 잔여 MB를 달성하고 나서, 다음 블럭(113)에서 모션 보상되는 예측 MB에 더해져서 인터프레임 재구성 MB를 제공한다. 인터프레임 재구성된 MB는 현재 MB와 비교되어 다음 블럭(115)에서 인터프레임 코딩 처리를 위해, 레이트(R)와 왜곡(D) 값들 R_INTER 및 D_INTER 각각을 계산 한다. R_INTER 및 D_INTER 값들은 변환 처리의 상대적 성공을 효과적으로 결정한다.

인트라프레임 예측 처리는 인트라프레임 예측 MB를 제공하기 위해 다음 블럭(117)에서 수행된다. 인트라프레임 예측 MB는 현재 프레임에서 재구성된 MB들에 기초하는 것을 제외하고, 인터프레임 코딩 처리에 대한 모션 보상된 예측 MB와 유사하다. 다음 블럭(119)에서, 인트라프레임 예측 MB는 현재 MB로부터 감산되어 인트라프레임 잔여 MB를 제공하고나서, 블럭 변환 및 양자화 처리가 블럭들(121 및 123) 각각에 수행된다. 그 후, 양자화된 변환 계수들은 엔트로피 인코딩되어 전송 혹은 저장을 위해 압축된 비트스트림을 형성한다. 다음 블럭(125)에서, 역 양자화 및 역 변환 함수는 양자화된 변환 계수들에 대해 수행되어 추정된 인트라프레임 잔여 MB를 달성하고나서, 다음 블럭(127)에서 인트라프레임 예측 MB에 더해져서 인트라프레임 재구성 MB를 제공한다. 인트라프레임 재구성된 MB는 현재 MB와 비교되어 다음 블럭(129)에서 인트라프레임 코딩 처리에 대한, 레이트 및 왜곡 값들 R_INTRA 및 D_INTRA각각을 계산한다. 다음 블럭(131)에서, 인터프레임 코딩을 위한 R_INTER 및 D_INTER값들 그리고 인트라프레임 코딩을 위한 R_INTER 및 D_INTER 값들이 비교되고, 단지 이들 코딩 방법들 중의 하나만이 현재 MB를 위한 인코딩을 위해 선택된다. 다음 블럭(133)에서, 인코딩될 추가 마이크로블럭들이 존재하는지의 여부가 질의된다. 추가 MB들이 인코딩되어야 하면, 연산은 다음 MB가 현재 MB가 되는 블럭(101)으로 복귀하여, 상기 처리가 반복된다. 현재 프레임이 완료되면, 현재 프레임은 이전 프레임이 되고, 다음 프레임은, 만약 존재하면, 인코딩될 현재 프레임이 된다. 그 후, 재구성되는 프레임은 필터링되고나서(즉, 디블럭킹(deblocking) 필터), 인터프레임 코딩 목적들을 위해 기준 프레임 데이터베이스에 저장된다.

이전에 서술된 것처럼, 기준 CODEC의 인코딩 처리는 인터프레임과 인트라프레임 코딩 모두를 수행하고 각각에 대해 비트-레이트 및 왜곡을 계산하고, 더 나은 비트-레이트 및 왜곡 결과들을 제공하는 코딩 방법의 결과들을 선택하므로, 계산의 강도가 높다. 기준 인코딩 처리는, 왜곡이 재구성 MB로부터 결정되고 레이트가 MB를 코딩하기 위해 필요한 비트 레이트인 실제 레이트 및 왜곡 계산들을 요구한다. 이것이 전체적으로 최적의 결과들을 달성할 수 있지만, 기준 CODEC에 따른 구현은 가치있는 자원들을 소비하고 다수의 어플리케이션들에 대해 실용적인 해결책으로서 고려되지 않는다. 예를 들어, 강도높은 계산인 인트라프레임 예측 처리는 선택되지 않아서 이 경우 그 결과들이 버려지더라도 각각의 MB에 대해 수행된다. 기준 CODEC의 소프트웨어 혹은 코드 구현은, 다양한 함수들이, 예를 들어, 인터프레임 잔여 MB에 대한 인트라프레임 잔여 MB와 같은 각각의 코딩 방법들로부터 상이한 데이터를 갖는 동일한 함수 블럭들에 의해 수행되는 루프(loop) 등을 포함하여 수행된다.

도 2는 본 발명의 일 실시예에 따라 수행되는 일 예시적인 인코딩 처리를 나타내는 단순화된 일 흐름도이다. 모션 추정 처리는, 기준 MB, 적어도 하나의 모션 벡터, 및 미디언 MV가 결정되는 제 1 블럭(201)에서 수행된다. 이전에 설명된 것처럼, 기준 MB는, 서브-화소 정확성이 원해지면 보간된 정보로부터 유도될 수 있다. 또한, 절대 차이(혹은 "INTRASAD") 값의 인터프레임 합은 현재 MB와 기준 MB 에 기초하여 계산된다. INTERSAD 값을 결정하기 위해, 기준 MB의 각각의 화소 값은 현재 MB의 대응하는 화소로부터 감산되어 차이 값을 결정하고, 차이 값에 대해 절대 값이 결정되고, 모든 차이 값들의 합은 서로 더해진다. 이 방식으로, INTERSAD 값은 기준 MB와 현재 MB 사이의 차이를 나타낸다.

현재 MB가 큰 이동하는 물체의 일부를 형성할 때와 같이, 현재 MB가 인코딩되지 않고 스킵될 수 있는지의 여부가 질의되는 다음 블럭(203)으로 연산이 진행된다. H.264는 코딩 효율을 위해 스킵 모드를 제공하여 전체 모션들을 핸들링하도록 한다. 현재 MB가 16 x 16 모션 모드인 것으로서 결정되면, INTERSAD가 양자화 값과 비교하여 비교적 작으면, MV가 미디어 MV와 같으면, 그리고 인터프레임 코딩에 대해 단지 하나의 기본 프레임이 사용되고 있으면(그리고 그것은 스킵핑 목적인 이전 프레임임), 현재 MB의 코딩이 추후 코딩 처리에서 스킵될 수 있다. 단지 최종 프레임이 인코딩 목적을 위해 한 기준 프레임이면, 플래그 1RF가 참이다. H.264 표준은 16 x 16(전체 MB에 대해 단일 MV가 제공됨)에서 그 사이에 다수의 옵션들을 갖는 4 x 4 휘도 샘플들까지의 범위의 상이한 모션 보상 블럭 크기들(16 x 8, 8 x 16, 그리고 8 x 4, 4 x 8, 및 4 x 4를 포함하는 8 x 8의 다양한 크기를 포함함)을 지원한다. INTERSAD 값은 F3*QP 값과 비교되고, 여기서 QP는 MB 혹은 프레임을 인코딩한 후 비트스트림에서 요구되는 비트들의 수를 추정하는 레이트 제어기에 의해 제공되는 양자화 파라미터이다. F3은 비교 목적을 위해 INTERSAD 값과 QP를 효과적으로 정규화하는 사전결정된 상수 혹은 변수이고, 별표"*"는 곱셈을 나타낸다. 일 실시예에서, F3은 32와 같은 상수이다. 레이트 제어기로부터의 QP의 상승은, 제한된 대역폭을 갖는 복잡한 장면으로 "고전(struggling)"할 때와 같이, 인코더의 스트레싱(stressing)을 나타낸다.

블럭(203)에 리스트된 조건들 중의 임의 것이 거짓이면, 연산은 블럭(205)으로 진행하여, 2개의 상이한 절대 차이의 합(sum of absolute difference;SAD) 값들이, MEANSAD 값과 SADM 값을 포함하여, 계산되거나 혹은 결정된다. MEANSAD 값은 다양한 상이한 방법들 중의 임의 것을 사용하여 결정된다. 일 실시예에서, MEANSAD는 전체 이전 프레임의 INTERSAD 값들의 평균이다. INTERSAD 값이 각각의 MB에 대해 모션 추정 동안 결정되므로, 모든 MB들의 INTERSAD 값들은 프레임의 코딩이 완료 후에 함께 평균화되고, 그 결과는 그 프레임에 대해 MEANSAD 값이다. 대안적으로, 인코딩 동안 실행 평균이 계속 유지되고(즉, 각각의 새로운 MB와 조정됨) 최종 평균화된 INTERSAD 값은 그 프레임에 대해 MEANSAD이다. 대안적 일 실시예에서, MEANSAD는 이전 인코딩된 프레임의 단지 인접 MB들의 평균 INTERSAD이다. 그러므로, 전체 이전 프레임의 INTERSAD들을 평균화하는 대신, 이전 프레임의 인접 MB들의 평균 INTERSAD들이 사용된다. 이전 프레임이 이미 완전히 인코딩되었으므로, 인접 블럭들은 모든 8개의 인접 MB들(즉, 좌측상단, 상단중간, 우측상단, 좌측, 우측, 좌측하단, 하단중간, 우측하단), 혹은 이들의 임의 선택된 부분집합을 포함할 수 있다. 또 다른 대안적 실시예에서, MEANSAD는 현재 프레임의 INTERSAD들의 실행 평균이다. 상술된 바와 같이, INTERSAD들의 실행 평균은 계속 유지되어 각각의 새로운 INTERSAD와 업데이트되고, 여기서 현재 프레임의 실행 평균은 MEANSAD로서 사용된다. 또 다른 대안적 일 실시예에서, MEANSAD는 현재 프레임의 인접 MB의 INTERSAD들의 평균이다.

SADM 값은 현재 MB의 평균 화소 값에 상대적인 현재 MB의 16 x 16 화소들 전체의 SAD 값이다. SAD 값은 MB 분산의 근사이고, 현재 MB의 상대적 균질성을 나타낸다. 큰 값의 SADM은, 영역들의 경계들 상에 위치될 확률이 가장 높은 비균질성 MB를 나타낸다. SADM이 비교적 크면, 인트라프레임 모드에서 공간적 상관이 감소되어 존재하므로, 인터프레임 코딩이 더 나은 시각적 품질의 결과를 낼 확률이 더 높다고 여겨진다.

그 후, 연산은, 블럭(207)으로 진행하여, 값 T가, 제 1 함수 F1 곱하기 MEANSAD, 제 2함수 F2 곱하기 SADM, 그리고 제 3 함수 F3 곱하기 QP 중의 최소값과 같도록 설정된다. 함수들 F1 내지 F3은 INTERSAD 값과 비교를 목적으로 MEANSAD, SADM, 및 QP 값들을 효과적으로 정규화하고 컨버트(convert)하는 사전결정된 상수들 혹은 변수들일다. 일 실시예에서, 전술한 것처럼, F1은 1.5와 같은 상수이고, F2는 1.0과 같은 상수이고, F3은 32와 같은 상수이다. 각각 시간적, 공간적, 및 비트-레이트를 나타내는 MEANSAD, SADM, 및 QP 값들은 일반적으로 상대적인 INTERSAD 값을 결정하는 목적을 위해 일반적으로 선택되는 비디오 특성들이다. 이하 더 설명될 것처럼, 비디오 특성들 중의 임의의 하나 이상의 특성들은 비교 목적을 위해 선택된다. 비디오 특성들 중의 임의 것에 기초되는 코딩 모드 결정은 노 모드(no mode) 결정 판정과 비교하여 개선될 수 있다. 비디오 특성들의 3개 모두의 비교는, 비디오 특성들 중의 임의 것을 생략하는 것과 비교하여, 최고의 전체 코딩 모드 결정을 제공한다.

다음 블럭(209)에서, INTERSAD가, 상술된 것과 같이 블럭(207)에 리스트된 3개의 상이한 비디오 특성들 중의 최소인 T 이하인지의 여부가 질의된다. 함수들 F1, F2, 및 F3는 각각의 비디오 특성들에 대해 임계 값들 혹은 "범위들"을 설정한다. INTERSAD 값들의 분포가 가우스(Gaussian) 모델에 정합되면, 임계치들은 그 프레임에서 더 큰 INTERSAD 값들의 결정 및 추출이 가능하도록 설정된다. 일반적으로, 모션 추정 처리로부터의 비교적 큰 값의 INTERSAD는, 후속적 프레임들에서 장면 변경 혹은 비천이(non-translational) 움직임으로 인해 ME 처리가 실패할 수 있슴을 나타낸다. INTERSAD는 통계에서 모션 "아웃라이어(outlier)"로서 효과적으로 정의된다. 현재 MB의 INTERSAD 값은 평탄하거나 비교적 균일한 모션 패턴을 나타내기 위해 마이크로블럭 INTERSAD 값들의 사전결정된 평균값의 편차 내에 있어야 한다(즉, 현재 INTERSAD 값은 이전 프레임의 평균, 혹은 이전 프레임의 인접 MB들, 혹은 현재 프레임의 MB들의 실행 평균 등에 대해 검사됨). 프레임에서 프레임으로(또는 프레임 내에서) INTERSAD 값들의 평균들은 장면에서 큰 변화없이 평탄하고 비교적 균일한 모션 패턴을 나타낸다. SADM에 상대적으로 INTERSAD의 큰 차이는 프레임 내의 영역들의 경계들 상에 존재할 수 있는 비균질성 MB를 나타내어, MB와 그것의 인접한 MB들 내에 감소된 공간적 상관이 존재한다. 이 경우, 시간적 상관을 사용하는 인터프레임 코딩 모드가 현재 MB에 대해 더 나은 시각적 품질을 달성할 확률이 더 높은 것으로 여겨진다고 판정된다. 레이트 제어기로부터의 QP의 증가는, 제한된 대역폭으로 복잡한 장면과 "고전"할 때와 같이, 인코더의 스트레싱을 나타낸다. 이 경우, 인트라프레임 코딩 모드는 더 높은 비트-레이트의 결과를 가 져온다고 여겨지므로, 상황을 악화시킨다.

블럭(209)에서 판정된 것처럼, INTERSAD가 T보다 더 크면, 연산은 블럭(211)으로 진행하여, 인트라프레임 예측 처리가, 이전에 인코딩된 현재 프레임의 인접 MB에 기초하여 인트라프레임 예측 MB를 결정하도록 수행된다. 또한, 현재 MB와 예측된 MB 사이의 SAD인 INTRASAD 값이 결정된다. 그 후, 연산은 블럭(213)으로 진행하여, INTERSAD가 INTRASAD와 비교된다. 블럭(213)에서 수행되는 비교는 인터프레임과 인트라프레임 코딩 간의 코딩의 상대적 "비용"을 나타낸다. INTERSAD가 INTRASAD보다 더 크면, 인트라프레임 예측 모드가 선택되어, 인트라프레임 예측 MB는 예측 MB로서 선택된다. 블럭(215)으로부터, 연산은 이하 설명되는 것처럼 블럭(219)으로 진행한다. 블럭(203)의 모든 조건들이 만족되거나, 또는 INTERSAD가 블럭(209)에 판정된 것처럼 T 이하이거나, 또는 INTERSAD가 블럭(213)에서 판정되는 것처럼 INTRASAD 이하이면, 연산은 대신 블럭(217)으로 진행하여, 모션 보상이 기준 MB에 대해 수행되어 모션 보상된(motion compensated;MC) 예측 MB를 제공한다.

인트라프레임 예측 MB가 블럭(215)에서 예측 MB로서 선택된 후, 또는 MC 예측 MB가 블럭(217)에서 예측 MB로서 선택된 후, 연산은 블럭(219)으로 진행하여, 잔여 MB는 선택된 예측 MB에 기초하여 계산된다. 단지 하나의 잔여 MB만이 예측 MB로서 선택되므로, 잔여 MB에 대해 인터프레임과 인트라프레임 사이에 구별할 필요가 없고, 선택된 예측 MB가 현재 MB로부터 감산되어 잔여 MB를 결정함을 주목한다. 그 후, 연산은 블럭(221)으로 진행하여, 전술한 것처럼, 블럭 변환이 잔여 MB 에 대해 수행된다. 그 후, 연산은 블럭(223)으로 진행하여, 블럭(221)으로부터의 변환 결과의 양자화가 양자화된 변환 계수들을 제공하기 위해 수행된다. 그 후, 연산은 블럭(225)으로 진행하여, 역 양자화와 역 변환을 수행하여 추정된 잔여 MB를 제공한다. 그 후, 연산은 블럭(227)으로 진행하여, 추정된 잔여 MB가 선택되는 예측 MB에 더해져서 재구성되는 MB를 제공한다. 전술된 것처럼, 그 후, 재구성된 프레임은 디블럭킹 필터를 통해 필터링되고나서, 기준 프레임 데이터베이스에 저장된다. 또한, 이하 설명되는 것처럼, 필터링되지 않은 재구성 MB들은 인트라프레임 예측 처리의 목적을 위해 사용되는 재구성된 프레임의 일부를 구성한다.

도 3은 점선들을 사용하여 도시된 블럭들(203, 211, 및 217) 사이에 도 2의 블럭들(205, 207, 및 209)을 교체하는 일 대안적 실시예를 나타내는 흐름도이다. 도 2에 도시된 블럭들이 일반 기능적 양태들을 나타내고 상기 기능들을 수행하기 위한 실제 구현이 다수의 대안적인 방식들로 달성될 수 있슴이 이해된다. 도 3의 흐름도는 동일한 기능을 수행하지만, 소프트웨어 코딩 및/또는 회로 구현 모두에 대해 개선된 계산 성능을 허용한다. 도 3에 도시된 것처럼, 예를 들어, 블럭(203) 후, 연산은 대신 블럭(301)으로 진행하여, INTERSAD 값이 F3*QP보다 더 큰지의 여부가 질의된다. 만약 그렇다면, SADM 혹은 MEANSAD를 더 결정할 필요가 없고, 연산은 직접 블럭(211)으로 진행한다. 이 경우, QP 값은 레이트 제어기로부터 쉽게 이용가능하므로, 검사하기에 가장 간단한 조건이다. INTERSAD 값이 F3*QP보다 더 크지 않으면, 연산은 블럭(303)으로 진행하여, MEANSAD 값이 결정되고나서, 블럭(305)으로 진행하여, INTERSAD 값이 F1*MEANSAD보다 더 큰지의 여부가 질의된다. 이 경우, MEANSAD가 SADM보다 더 용이하게 계산되어, SADM이 단지 필요하면 결정되도록 함이 여겨진다. INTERSAD 값이 F1*MEANSAD보다 더 크면, 이전처럼 연산은 블럭(211)으로 직접적으로 진행하고, SADM에 대한 계산은 스킵된다. INTERSAD 값이 F1*MEANSAD보다 더 크지 않으면, 연산은 블럭(307)으로 대신 진행하여, SAD 값이 결정되고나서, 블럭(309)으로 진행하여, INTERSAD 값이 F2*SADM보다 더 큰지의 여부가 질의된다. INTERSAD 값이 F2*SADM보다 더 크면, 연산은 직접 블럭(211)으로 진행하고, 그렇지 않으면, 연산은 블럭(217)으로 진행한다. 도 3에 도시된 비디오 특성 비교들의 특정 순서는 예제일 뿐이고, 더 나은 결과들을 달성할 것이라고 여겨지면 변경될 수 있다. 예를 들어, SADM이 MEANSAD보다 더 용이하게 계산된다고 결정되면, SADM 값과 비교가 MEANSAD 비교 이전에 수행될 수 있다.

도 4는 점선들을 사용하여 다시 도시된, 블럭들(203, 211, 및 217) 사이에 도 2의 블럭들(205, 207, 및 209)을 교체하는 또 다른 대안적 실시예를 나타내고, 비디오 특성들의 선택과 우선순위화를 나타내는 흐름도이다. 이 경우, 연산은 블럭(203)에서 블럭(401)으로 진행하여, MEANSAD 값이 먼저 결정되고나서, 블럭(403)에서, INTERSAD 값이 F1*MEANSAD 이하인지의 여부를 판정한다. 이 경우, MEANSAD 결정 및 INTERSD 값과의 비교는 QP와 SADM 비교들에 비해 우선권을 갖는다고 여겨져서, 그것이 먼저 결정된다. INTERSAD 값이 F1*MEANSAD 이하이면, 연산은 직접 블럭(217)으로 진행하고, 인터프레임 코딩이 선택되고, QP, SADM, 및 INTRASAD에 대한 추가 비교들이 바이패스된다. INTERSAD 값이 F1*MEANSAD보다 더 크면, 연산은 블럭(405)으로 대신 진행하여, INTERSAD 값이 F3*QP 이하인지의 여부가 질의되 고, 본 예제에서, 이것은 다음 최고 우선권 결정으로서 여겨진다. INTERSAD 값이 F3*QP 이하이면, 연산은 직접 블럭(217)으로 진행하고, 인터프레임 코딩이 선택되고, SADM 및 INTRASAD에 대한 추가 비교들이 바이패스된다. INTERSAD 값이 F3*QP보다 더 크면, 연산은 대신 블럭(407)으로 진행하여, SADM이 계산되고나서, 블럭(409)으로 진행하여, INTERSAD 값이 F2*SADM 이하인지의 여부가 질의되고, 본 예에서, 가장 낮은 우선권 결정으로서 여겨진다. INTERSAD 값이 F2*SADM 이하이면, 연산은 블럭(217)으로 진행하고, 그렇지 않으면, 연산은 직접 블럭(211)으로 진행한다. 본 예에서, 블럭들(205, 207, 및 209)의 기능은 비교들을 우선순위화하기 위해 변경된다.

다수의 다른 변형들이 가능하고 고려된다. 예를 들어, 도 2의 블럭(207)을 다시 참조하면, MIN 함수는 MAX 함수로 교체되어, INTERSAD 값이 F1*MEANSAD, F2*SADM, 혹은 F3*QP 중의 임의 것 이하인 한은 인터프레임 코딩 방법이 선택되도록 한다. 도 4는 기능의 여러 변형들을 나타내기 위해 점선들을 사용하여 도시된 여러 대안적인 경로들을 포함한다. 예를 들어, 비교를 위해 단지 MEANSAD 값만을 선택하는 것이 바람직하면, 대안적 경로(411)는, INTERSAD 값이 F1*MEANSAD보다 더 크면, 연산이 직접 블럭(211)으로 진행함을 나타낸다, 또는, 비교를 위해 단지 QP 값만이 선택되는 것이 바람직하면, 대안적 경로(413)는 MEANSAD 비교를 바이패스하고, 직접 블럭(203)으로부터 블럭(405)으로 진행한다. 또한, 대안적 경로(415)는 SADM 비교를 바이패스하도록 제공되어, 연산이 대신 직접 블럭(211)으로 진행하도록 한다. 또는, 비교를 위해 단지 SADM 값만을 선택하는 것이 바람직하면, 대안적 경로(417)는 MEANSAD 및 QP 비교들을 바이패스하고, 직접 블럭(203)으로부터 블럭(407)으로 진행한다. 비교들이 임의 적절한 순서로 우선순위화될 수 있고 임의 하나 이상의 비디오 특성 비교들이 특정 구성에 따라 선택되거나 혹은 스킵될 수 있슴이 이해된다. 비교를 위해 3개의 비디오 특성들 모두의 선택은 비트-레이트와 왜곡에서 최상의 결과들을 제공한다.

도 5는 본 발명의 일 예시적 실시예에 따라 구현되는 인코더(500)의 단순화된 일 블럭도이다. 프레임 저장소(501)는, 모션 추정(ME) 회로(503)의 하나의 입력에, 인트라프레임 예측 회로(505)의 하나의 입력에, 결합기(507)(예를 들어, 가산기(adder), 감산기(subtractor) 등)의 양의 입력에, 모션 보상(MC) 회로(511)의 하나의 입력에, 그리고 모드 결정 회로(513)의 하나의 입력에 인코딩을 위한 현재 프레임 F를 제공한다. 또 다른 프레임 저장소(509)는 ME 회로(503)의 또 다른 입력에, 그리고 MC 회로(511)의 또 다른 입력에 기준 프레임(REF F)을 제공한다. 기준 프레임은 하나 이상의 이전에 인코딩과 디코딩된 프레임들을 포함한다. ME 회로(503)는, MC 회로(511)의 또 다른 입력에 그리고 모드 결정 회로(513)의 또 다른 입력에 결합되는, 그 출력에 모션 추정 정보를 제공한다. 모드 결정 회로(513)는 인트라프레임 예측 회로(505)의 인에이블(enable) 입력에 인트라프레임 인에이블 신호 INTRAE를 제공하는 제 1 출력, 그리고 MC 회로(511)의 인에이블 입력에 모션 보상 인에이블 신호 MCE를 제공하는 또 다른 출력을 갖는다. MC 회로(511)는, 입력 단자들 S1과 S2, 제어 입력 단자 C, 및 선택된 입력을 그것의 출력으로서 제공하는 공통 단자 CP를 갖는 단극쌍투(single-pole, double-throw;SPDT)로서 도시되 는, 선택기 스위치(515)의 제 1 입력 단자 S1에 모션 보상된 예측 정보(즉, 인터프레임 예측 MB)를 제공한다. 인트라프레임 예측 회로(505)는 모드 결정 회로(513)의 입력으로, 그리고 스위치(515)의 입력 단자 S2로 인트라프레임 예측 정보(즉, 인트라프레임 예측 MB)를 제공한다. 모드 결정 회로(513)는 MC(모션 보상 인터프레임 MB) 혹은 IP(인트라프레임 예측 MB) 사이에 선택하기 위해 스위치(515)의 제어 단자 C에 모드 결정 선택 신호 MSEL을 제공한다.

스위치(515)의 CP 단자는, 결합기(507)의 음의 입력에, 도시된 실시예에서 가산기인, 또 다른 결합기(517)의 양의 입력으로, 부호 P로서 도시되는 선택되는 예측 MB를 제공한다. 결합기(507)는 현재 프레임 F의 현재 MB로부터 선택된 예측 MB를 감산하여 변환 회로(519)의 입력에, 부호 R로서 도시되는, 잔여 MB를 제공한다. 변환 회로(519)는 전술된 바와 같이 DCT와 같은 블럭 변환을 수행하고, 부호 B로서 도시되는 변환 결과를 출력한다. 변환 결과 B는, 부호 X로서 도시되는, 양자화된 변환 계수들을 출력하는, 양자화 회로(521)에 제공된다. X 계수들은, 전송 혹은 저장을 위해 압축된 비트스트림을 제공하는, 엔트로피 인코드 회로(525)의 입력에 제공된다. 엔트로피 인코딩의 특정 세부사항들은 본 개시 범위 이상이고, 더 설명되지 않을 것이다.

X 계수들은, 변환 결과 B의 추정되거나 혹은 재구성되는 버전을 나타내는 부호 B'으로서 도시되는 추정된 변환 정보를 출력하는 역 양자화 회로(527)의 입력에 제공된다. 추정된 변환 정보 B'은 잔여 MB R의 재구성된 버전을 나타내는 부호 R'으로서 도시되는 추정된 잔여 정보를 출력하는 역 변환 회로(529)의 입력에 제공된 다. 재구성된 잔여 MB R'은 결합기(517)의 또 다른 양의 입력에 제공된다. 도시된 실시예에서, 결합기(517)는 P를 R'에 더하여, 재구성되는 프레임 정보 RF의 부분이 되는 필터링되지 않는 재구성된 MB를 생성한다. 재구성되는 프레임 정보 RF는 인트라프레임 예측 회로(505)의 또 다른 입력에 그리고 필터 회로(531)에 제공된다. 필터 회로(531)는 재구성된 프레임 RF 정보를 필터링하고 RF 저장소(533)에 필터링된 재구성 프레임들을 제공하는 디블럭킹 필터(예를 들어, H.264 사양에 따라)이다. RF 저장소(533)로부터 한 개 또는 두 개의 이전에 인코딩되고 디코딩되는 프레임들이 프레임 저장소(509)에 제공되어, 당업자에게 알려진 것처럼 인코딩 목적을 위해 기준 프레임들로서 역할한다.

인코더(500)의 연산은 도 2의 흐름도에 의해 설명된다(원하면 도 3 혹은 도 4의 흐름도들에 의해 수정되는 것처럼). 초기에, MCE와 INTRAE 인에이블 신호들은 모드 결정이 만들어질 때까지 거짓 혹은 음의 로우(low)이다. MSEL 신호는 위치(단자 S1 혹은 S2를 선택) 또는 모드 결정이 될 때까지 중간 위치(도시 안됨)에 디폴트가 될 것이다. 모션 추정 회로(503)는 블럭(201)에 대해 전술된 것처럼 모션 추정을 수행하고, 모드 결정 회로(513)와 MC 회로(511)로 그 결과들을 제공한다. 모드 결정 회로(513)는, 블럭 스킵핑 또는 이른 종료에 대한 조건들이 블럭(203)에 대해 설명된 것처럼 적용되는지의 여부를 판정한다. 만약 그렇다면, 모드 결정 회로(513)는 MCE 신호를 어설트하고, MC 회로(511)는 블럭(217)에 대해 위에 설명된 모션 보상 기능들을 수행하도록 된다. 또한, MSEL 신호는 MC 회로(511)의 MC 출력을 선택하도록 어설트된다. 이 경우, 인터프레임 코딩 모드가 선택되고, 인트라프 레임 코딩 처리가 전체 스킵된다. 블럭(203)의 조건들 중의 임의 것이 거짓이면, 모드 결정 회로(513)는 블럭(205, 207, 및 209)(또는 301, 303, 305, 307, 및 309 또는 401, 403, 405, 407, 및 409)의 기능들을 수행하여, 전술된 것처럼 선택된 비디오 특성들(즉, MEANSAD, SADM, QP)을 선택, 결정, 및 비교한다. 인터프레임 코딩이 선택되면, 모드 결정 회로(513)는 MCE 신호를 어설트하여 MC 회로(511)가 블럭(217)에 대해 상술된 모션 보상 기능들을 수행하고, MSEL 신호는 MC 회로(511)의 MC 출력을 선택하도록 어설트된다. 이 경우, 인트라프레임 코딩 처리들은 전체 스킵된다.

다른 경우, INTERSAD가 선택된 비디오 특성들의 아웃라이어들 내에 있지 않으면, 모드 결정 회로(513)는 INTRAE 신호를 어설트하고, 전술된 것처럼 인트라프레임 예측 회로(505)는 인트라프레임 예측을 수행하고 INTRASAD 값을 결정하도록 된다. INTRASAD 값은, 블럭(213)에 대해 설명된 것처럼, INTERSAD(모션 추정 회로(503)로부터)와 인트라프레임 예측 회로(505)로부터 INTRASAD를 비교하는 모드 결정 회로(513)에 제공된다. INTERSAD 값이 INTRASAD 이하이면, 모드 결정 회로(513)는 MCE 신호를 어설트하여 MC 회로(511)를 인에이블하고, MSEL 신호를 어설트하여 MC 회로(511)의 MC 출력을 선택한다. 인트라프레임 예측 처리의 초기 부분이 이 후자의 경우에 시작되지만, 그 결과들은 코딩되지 않고, 남은 인트라프레임 코딩 모드 처리들은 스킵된다. 그러나, 만약 INTERSAD 값이 INTRASAD보다 더 크면, 모드 결정 회로(513)는 MSEL 신호를 어설트하여 인트라프레임 예측 회로(505)의 IP 출력을 선택한다. 인트라프레임 코딩 방법이 선택되면, 모션 보상 회 로(511)는 인에이블되지 않아서(또는 그 출력이 거절됨), 추가 모션 보상 처리가 바이패스되거나 무시된다. 선택된 예측 MB P는 현재 프레임 F의 현재 MB의 현재 MB로부터 감산되어, 블럭(219)에 대해 설명되는 것처럼 잔여 MB R의 결과를 가져온다. 회로들(519, 521, 527, 및 529)은 블럭들(221, 223, 및 225)의 기능들을 수행하고, 추정된 잔여 MB R'은 결합기(517)에 의해 예측 블럭 P에 가산되어, 그 결과 재구성되고 필터링되지 않은 프레임 정보 RF는 전술된 것처럼 인트라프레임 예측 회로(505)와 필터(531)에 제공된다. 인코더(500)의 모드 결정 회로(513)가 실제 코딩 처리 전에 인트라프레임 코딩과 인터프레임 코딩 사이에 예비 모드 결정을 하여, 단지 한 개의 예측 MB가 각각의 현재 MB에 대해 인코딩되도록 함이 이해된다.

도 6은 본 발명의 일 실시예에 따라 모드 결정 회로(513)의 일 실시예의 단순화된 일 블럭도이다. 각각의 MB에 대한 각 INTERSAD 값은, 선택된 INTERSAD 값들을 평균하여 MEANSAD 값을 제공하는 평균 회로(601)의 입력에 제공된다. MEANSAD 값은 전술된 것처럼 이전 프레임 혹은 현재 프레임으로부터 평균화되는 선택된 INTERSAD 값들로부터 결정될 수 있다. 현재 프레임 F로부터 현재 MB는, 전술한 것처럼, 현재 MB의 각각의 화소 값과 그것의 평균 값과의 절대 차이들의 합을 계산하여 SADM 값을 결정하는 계산 회로(603)에 제공된다. MEANSAD, SADM, 및 QP 값들은, MEANSAD에 F1를 곱하고, SADM에 F2 그리고 QP에 F3을 곱하는 범위 회로(605)에 제공된다. F1*MEANSAD, F2*SADM, 및 F3*QP 값들은, 또한 INTERSAD 값과 선택 신호 VIDEO CHAR SEL을 수신하는, 모드 선택 회로(607)의 각각의 입력들에 제공된다. VIDEL CHAR SEL 신호는 전술한 바와 같이 하나 이상의 비디오 특성 비 교들을 인에이블하고, 또한 선택적으로 우선권을 나타낸다. 모드 선택 회로(607)는 MSEL, MCE, 및 INTRAE 신호들을 제공한다.

스킵 회로(609)는 MOTION MODE 신호, 모션 벡터 MV, 미디안 MV, 1RF 플래그, F3*QP 값, 및 현재 INTERSAD 값을 수신하여, 전술된 것과 같이, 블럭(203)의 기능들을 수행한다. 스킵 회로(609)는 모드 선택 회로(607)에 신호 SKIP를 제공한다. SKIP 신호가 어설트되면, 모드 선택 신호는 MCE 신호를 어설트하여 모션 보상을 인에이블하고, MSEL 신호를 어설트하여 인터프레임 코딩 방법을 선택한다. 다른 경우, 모드 선택 회로(607)는 비디오 특성화 비교들(즉, 블럭(207, 혹은 301, 305, 309, 혹은 403, 405, 409))을 수행하여, 인터프레임 코딩 방법이 선택될 수 있는지의 여부를 판정한다. INTERSAD가 선택된 비디오 특성들의 아웃라이어이면, 모드 선택 회로(607)는 INTRAE 신호를 어설트하여 인트라프레임 예측 회로(505)를 인에이블하여 인트라 예측 처리를 수행한다. INTRAE 신호는 또한, INTERSAD 값을 인트라프레임 예측 회로(505)로부터의 INTRASAD 값과 비교하는 비교기 회로(611)를 인에이블하기 위해 제공된다. 비교기 회로(611)는, 전술된 것처럼 적절한 코딩 모드를 선택하기 위해 MSEL 신호를 어설트하는 모드 선택 회로(607)에 다시 신호 COST를 제공한다.

기준 CODEC 인코딩 처리와 비교하여, 본 발명의 일 실시예에 따른 모드 결정의 여러 이득들 및 이점들이 쉽게 명백하다. 모션 추정 처리는 양쪽 결정 처리들에서 거의 동일하다. 현재 MB는 블럭(203)에서 결정되는 것처럼 스킵핑을 위한 후보이거나, 또는 INTERSAD가 블럭(209)에서 결정되는 것처럼 크게 작으면, 인트라프 레임 코딩 처리에 대한 단계들은 함께 전체 스킵핑하여 처리량을 크게 감소시키고, 인터프레임 코딩은 선택되고, 연산은 블럭(217)의 모션 보상 처리로 직접 진행한다. INTERSAD가 블럭(209)에서 결정된 것과 같이 작지 않으면, 인트라프레임 예측 처리는 INTRASAD 값을 결정하도록 수행되고나서, INTERSAD 값과 비교된다. 그러므로, 비교적 계산 강도가 높은 인트라프레임 예측 처리는, 만약 인트라프레임 코딩 방법이 선택될 확률이 더 높게 되는 경우에만, 수행된다. 그러나, 인터프레임 코딩 방법이 이 비교에 기초하여 선택되면, 연산은 직접 모션 보상으로 진행한다. 다른 경우, 인트라프레임 코딩 방법이 선택되면, 모션 보상 처리가 함께 바이패스되어, 처리 사이클들을 또 절약하고, 인터프레임 예측 MB는 코딩을 위해 선택된다. 단지 선택된 예측 MB P는 잔여 결정, 블럭 변환, 양자화, 역 변환, 및 역 양자화 처리들에 의해 더 처리된다. 환언하면, 2개의 분리된 데이터 세트들에 대해 잔여 및 코딩 처리를 수행하고 양쪽 처리가 된 후 코드 결정을 하기보다는, 코딩 결정은 코딩 처리 전에 사전결정된다. 그리고, 모드 결정이 인코딩 전에 되어지므로, 그 결과적 추정 잔여 MB는 모드 결정의 목적을 위해 더 처리될 필요가 없다(레이트 및 왜곡 값들을 결정하는 것은 더 이상 필요하지 않음). 예비 모드 결정은 일 예시적인 H.264 인코더에 구현되었고, 모드 결정을 갖지 않은 인코더와 비교하면 최대 신호 잡음 비(Peak Signal Noise Ratio;PSNR)의 개선을 달성한다.

코딩 처리 전에 예비 모드 결정을 포함하는 본 발명의 일 실시예에 따라 구현되는 인코더는 이 인코더의 복잡도를 크게 감소시키고, 인코딩 처리 동안 소비되는 코딩 처리 사이클들을 크게 감소시킨다. 인코더가 성능을 개선하기 위해 넓은 범위의 비디오 어플리케이션들에 채택될 수 있지만, 인코더는 컴퓨팅 및 전력 자원들이 제한된 무선 및 모바일 디바이스들에서 사용하기에 특히 유용하다. 인코더는 모드 결정을 단순화시키고, 수용할 수 있는 코딩 효율성과 시각적 품질을 제공하면서 자원들을 절약하기 위해 인터프레임 코딩과 인트라프레임 코딩 결정들의 균형을 맞춘다. 인코더는 코딩 효율성, 비디오 품질, 및 계산 성능의 균형을 맞추면서, 적절한 모드 결정 처리를 제공한다. 인코더는, MB가 이동하는 큰 물체의 일부일 때와 같이, 특정 조건들 하에서 MB의 인코딩 처리의 바이패싱을 인에이블하기 위해 스킵 모드의 이득을 취한다.

본 발명의 일 실시예에 따른 현재 비디오 프레임의 현재 마이크로블럭에 대한 코딩 모드 결정을 하는 방법은, INTERSAD 값(현재 마이크로블럭 그리고 이전 비디오 프레임으로부터의 기준 마이크로블럭 사이의 인터프레임 차이 합임)을 결정하는 단계, 현재 비디오 프레임과 연관된 적어도 하나의 비디오 특성을 선택하는 단계, INTERSAD 값과 각각의 선택된 비디오 특성의 대응하는 범위와 비교하는 단계, INTERSAD 값이 각각의 선택된 비디오 특성의 대응하는 범위 내에 있으면 인터프레임 코딩을 선택하는 단계, 인트라프레임 예측 마이크로블럭을 제공하기 위해 인트라프레임 예측을 수행하고 INTERSAD 값이 임의 선택된 비디오 특성의 아웃라이어이면 INTRASAD 값(현재 마이크로블럭과 인트라프레임 예측 마이크로블럭 사이의 인트라프레임 차이 합임)을 결정하는 단계, INTERSAD 값이 INTRASAD 값보다 더 크면 인트라프레임 코딩을 선택하고 다른 경우는 인터프레임 코딩을 선택하는 단계를 포함한다.

상기 방법은, INTERSAD 값을 결정하기 위해 현재 마이크로블럭과 기준 마이크로블럭의 대응하는 화소 값들 사이의 절대 차이들을 합하는 단계를 포함할 수 있다. 상기 방법은 MEANSAD 값(인터프레임 차이 합들의 평균임)을 선택하고 결정하는 단계를 포함할 수 있다. MEANSAD 값은 이전 비디오 프레임의 마이크로블럭들 또는 현재 비디오 프레임의 마이크로블럭들에 기초할 수 있다. 상기 방법은 SADM 값(현재 마이크로블럭의 각각의 화소 값 그리고 현재 마이크로블럭의 평균 화소 값 사이의 절대 차이들의 합임)을 선택하고 결정하는 단계를 포함할 수 있다. 상기 방법은 양자화 파라미터를 선택하는 단계를 포함할 수 있다.

더 구체적 일 실시예에서, 상기 방법은, MEANSAD 값을 선택하고 결정하는 단계, SADM 값을 선택하고 결정하는 단계, 양자화 파라미터를 선택하는 단계, 제 1 파라미터를 제공하기 위해 MEANSAD 값에 제 1 범위 값을 곱하는 단계, 제 2 파라미터를 제공하기 위해 SADM 값에 제 2 범위 값을 곱하는 단계, 제 3 파라미터를 제공하기 위해 양자화 값에 제 3 범위 값을 곱하는 단계, 제 1, 제 2, 및 제 3 파라미터들 중의 최소값을 결정하는 단계, 그리고 INTERSAD 값과 최소값을 비교하는 단계를 포함한다.

상기 방법은, 모션 추정을 수행하는 단계 그리고 이전 비디오 프레임으로부터 기준 마이크로블럭과 적어도 하나의 대응하는 모션 벡터를 결정하는 단계를 포함할 수 있다. 상기 방법은, 현재 마이크로블럭이 단지 하나의 모션 벡터만을 가지면, INTERSAD 값이 양자화 파라미터보다 작으면, 현재 마이크로블럭에 대한 모션 벡터가 현재 프레임의 인접 마이크로블럭들의 미디안 모션 벡터와 같으면, 그리고 이전 비디오 프레임이 단지 기준 프레임이면, 인터프레임 코딩을 선택하는 단계를 포함할 수 있다. 상기 방법은, 인터프레임 코딩이 선택되면 모션 보상된 마이크로블럭을 제공하기 위해 기준 마이크로블럭의 모션 보상을 수행하고 예측 마이크로블럭으로서 모션 보상된 마이크로블럭을 선택하는 단계, 인트라프레임 코딩이 선택되면 예측 마이크로블럭으로서 인트라프레임 예측 마이크로블럭을 선택하는 단계, 그리고 변환을 위한 잔여 마이크로블럭을 제공하기 위해 현재 마이크로블럭으로부터 선택된 예측 마이크로블럭을 감산하는 단계를 포함할 수 있다.

현재 비디오 프레임의 현재 마이크로블럭에 대한 코딩 모드 결정을 하기 위한 본 발명의 일 실시예에 따른 비디오 인코더 회로는 선택기 스위치, 모션 추정 회로, 모션 보상 회로, 인트라프레임 예측 회로, 및 모드 결정 회로를 포함한다. 선택기 스위치는 제 1 및 제 2 입력들, 출력, 그리고 제 1 및 제 2 입력들 사이에 선택하기 위해 모드 신호를 수신하는 제어 입력을 갖는다. 모션 추정 회로는 INTERSAD 값을 제공하기 위해 그리고 모션 추정 회로의 출력에서 기준 마이크로블럭을 제공하기 위해 현재 마이크로블럭과 이전 비디오 프레임 사이에 모션 추정을 수행한다. 모션 보상 회로는 모션 보상 회로의 출력에서 인터프레임 예측 마이크로블럭을 제공하기 위해 제 1 신호에 응답하여 기준 마이크로블럭에 대해 모션 보상을 수행한다. 인트라프레임 예측 회로는 인트라프레임 예측 마이크로블럭을 제공하기 위해 그리고 인트라프레임 예측 회로의 출력에서 INTRASAD 값을 제공하기 위해 제 2 신호의 어설션(assertion)에 응답하여 인트라프레임 예측을 수행한다. 모드 결정 회로는 현재 비디오 프레임과 연관된 적어도 하나의 비디오 특성을 선택 하고, INTERSAD 값과, 각각의 선택된 비디오 특성의 대응하는 범위를 비교하고, INTERSAD 값이 각각의 선택된 비디오 특성의 대응하는 범위 내에 있으면 인터프레임 코딩을 선택하기 위해 제 1 신호와 모드 신호를 어설트하고, INTERSAD 값이 임의 선택된 비디오 특성의 아웃라이어이면 제 2 신호를 어설트하고, INTERSAD 값이 INTRASAD 값보다 더 크면 인트라프레임 코딩 그리고 INTERSAD 값이 INTRASAD 값 이하이면 인터프레임 코딩을 선택하기 위해 모드 신호를 어설트한다.

모드 결정 회로는 제 1, 제 2, 및 제 3 회로들과 제 1 및 제 2 비교기들을 포함할 수 있다. 제 1 회로는 MEANSAD 값을 결정하고, 제 2 회로는 SADM 값을 결정하고, 제 3 회로는 제 1 비디오 특성을 제공하기 위해 MEANSAD 값에 제 1 범위 값을 곱하고, 제 2 비디오 특성을 제공하기 위해 SADM 값에 제 2 범위 값을 곱하고, 제 3 비디오 특성을 제공하기 위해 양자화 파라미터에 제 3 범위 값을 곱한다. 제 1 비교기 회로는, INTERSAD 값과, 제 1, 제 2, 및 제 3 비디오 특성들을 비교하고, 제 1, 제 2, 및 모드 신호들을 제공한다. 제 2 비교기 회로는 INTERSAD 값과 INTRASAD 값을 비교한다.

현재 비디오 프레임의 현재 마이크로블럭에 대한 코딩 모드 결정을 하기 위해 비디오 인코더에 대한 모드 결정 유닛은, 현재 비디오 프레임과 연관된 적어도 하나의 비디오 특성을 선택하기 위한 수단, 모션 추정으로부터 INTERSAD 값 그리고 각각의 선택된 비디오 특성의 대응하는 범위를 비교하기 위한 수단, INTERSAD 값이 적어도 하나의 비디오 특성 중의 임의 하나의 아웃라이어이면 인트라프레임 예측을 시작하는 수단, INTRASAD 값과 INTERSAD 값을 비교하기 위한 수단, 그리고 INTERSAD 값이 각각의 선택된 비디오 특성의 대응하는 범위 내에 있으면 또는 INTERSAD 값이 INTRASAD 값 이하이면 인터프레임 코딩을 선택하고, INTERSAD 값이 INTRASAD 값보다 더 크면 인트라프레임 코딩을 선택하기 위한 수단을 포함한다. 모드 결정 유닛은, 단일 모션 모드를 결정하고, 모션 벡터와 미디안 모션 모드 벡터를 비교하고, 단일 기준 프레임 카운트를 결정하고, 코딩이 현재 마이크로블럭에 대해 스킵될 수 있는 확률을 나타내는 스킵 신호를 제공하기 위한 수단을 더 포함할 수 있다.

본 발명의 특정 실시예들이 도시되고 설명되었지만, 당업자라면, 본 명세서의 개시에 기초하여, 본 발명 및 그것의 더 넓은 양태들로부터 벗어나지 않고 추가 변경들 및 수정들이 만들어질 수 있으므로, 첨부된 청구범위는 모든 그런 변경들 및 수정들을 본 발명의 실제 취지 및 범위 내에 있는 것으로서 이들 범위 내에 포함되어야 한다.

Claims

현재 비디오 프레임의 현재 마이크로블럭(microblock)에 대한 코딩 모드 결정을 하는 방법에 있어서,

상기 현재 마이크로블럭과 이전 비디오 프레임으로부터의 기준 마이크로블럭 사이의 인터프레임 차이 합(interframe differential sum)을 포함하는 INTERSAD 값을 결정하는 단계;

상기 현재 비디오 프레임과 연관된 적어도 하나의 비디오 특성을 선택하는 단계;

상기 INTERSAD 값과, 각각의 선택된 비디오 특성의 대응하는 범위를 비교하는 단계;

상기 INTERSAD 값이 상기 각각의 선택된 비디오 특성의 대응하는 범위 내에 있으면, 인터프레임 코딩을 선택하는 단계;

상기 INTERSAD 값이 임의 선택된 비디오 특성의 아웃라이어(outlier)이면, 인트라프레임(intraframe) 예측 마이크로블럭을 제공하기 위한 인트라프레임 예측을 수행하고, 상기 현재 마이크로블럭과 상기 인트라프레임 예측 마이크로블럭 사이의 인트라프레임 차이 합을 포함하는 INTRASAD 값을 결정하는 단계; 및

상기 INTERSAD 값이 상기 INTRASAD 값보다 더 크면 인트라프레임 코딩을 선택하고, 그렇지 않으면 인터프레임 코딩을 선택하는 단계를 포함하는, 코딩 모드 결정 방법.
제 1 항에 있어서, 상기 INTERSAD 값을 결정하는 단계는, 상기 기준 마이크로블럭과 상기 현재 마이크로블럭의 대응하는 화소 값들 사이에 절대 차이(absolute differences)를 합하는 단계를 포함하는, 코딩 모드 결정 방법.
제 1 항에 있어서, 상기 적어도 하나의 비디오 특성을 선택하는 단계는 인터프레임 차이 합들의 평균을 포함하는 MEANSAD 값을 선택하고 결정하는 단계를 포함하는, 코딩 모드 결정 방법.
제 3 항에 있어서, 상기 MEANSAD 값을 결정하는 단계는, 상기 이전 비디오 프레임들의 복수의 마이크로블럭들의 절대 차이들의 인터프레임 합들의 평균을 결정하는 단계를 포함하는, 코딩 모드 결정 방법.
제 4 항에 있어서, 상기 이전 비디오 프레임의 복수의 마이크로블럭들의 절대 차이들의 인터프레임 합들의 평균을 결정하는 단계는, 상기 이전 비디오 프레임의 마이크로블럭들의 전부의 절대 차이들의 인터프레임 합들의 평균을 결정하는 단계를 포함하는, 코딩 모드 결정 방법.
제 4 항에 있어서, 상기 이전 비디오 프레임의 복수의 마이크로블럭들의 절대 차이들의 인터프레임 합들의 평균을 결정하는 단계는, 상기 이전 비디오 프레임 의 인접 마이크로블럭들의 절대 차이들의 인터프레임 합들의 평균을 결정하는 단계를 포함하는, 코딩 모드 결정 방법.
제 3 항에 있어서, 상기 MEANSAD 값을 결정하는 단계는, 상기 현재 비디오 프레임의 복수의 마이크로블럭들의 절대 차이들의 인터프레임 합들의 평균을 결정하는 단계를 포함하는, 코딩 모드 결정 방법.
제 1 항에 있어서, 상기 적어도 하나의 비디오 특성을 선택하는 단계는, 상기 현재 마이크로블럭의 각각의 화소 값과 상기 현재 마이크로블럭의 평균 화소 값 사이의 절대 차이들의 합을 포함하는 SADM 값을 선택하고 결정하는 단계를 포함하는, 코딩 모드 결정 방법.
제 1 항에 있어서, 상기 적어도 하나의 비디오 특성을 선택하는 단계는 양자화 파라미터를 선택하는 단계를 포함하는, 코딩 모드 결정 방법.
제 1 항에 있어서,

상기 적어도 하나의 비디오 특성을 선택하는 단계는, 인터프레임 차이 합들의 평균을 포함하는 MEANSAD 값을 선택하고 결정하고, 상기 현재 마이크로블럭의 각각의 화소 값과 상기 현재 마이크로블럭의 평균 화소 값 사이의 절대 차이들의 합을 포함하는 SADM 값을 선택하고 결정하고, 양자화 파라미터를 선택하는 단계를 포함하고,

제 1 파라미터를 제공하기 위해 상기 MEANSAD 값에 제 1 범위 값을 곱하는 단계;

제 2 파라미터를 제공하기 위해 상기 SADM 값에 제 2 범위 값을 곱하는 단계;

제 3 파라미터를 제공하기 위해 양자화 값에 제 3 범위 값을 곱하는 단계; 및

상기 제 1, 제 2, 및 제 3 파라미터들 중의 최소 값을 결정하는 단계를 더 포함하고,

상기 INTERSAD 값을 비교하는 단계는 상기 INTERSAD 값과 상기 최소 값을 비교하는 단계를 포함하는, 코딩 모드 결정 방법.
제 1 항에 있어서, 상기 적어도 하나의 비디오 특성을 선택하는 단계 이전에, 모션 추정을 수행하고 상기 이전 비디오 프레임으로부터 상기 기준 마이크로블럭과 적어도 하나의 대응하는 모션 벡터를 결정하는 단계를 더 포함하는, 코딩 모드 결정 방법.
제 11 항에 있어서, 상기 적어도 하나의 비디오 특성을 선택하는 단계 이전에, 상기 현재 마이크로블럭이 단지 하나의 모션 벡터만을 가지면, 상기 INTERSAD 값이 양자화 파라미터 이하이면, 상기 현재 마이크로블럭에 대한 모션 벡터가 상기 현재 프레임의 인접 마이크로블럭들의 미디안 모션 벡터와 같으면, 그리고 상기 이전 비디오 프레임이 단지 상기 기준 프레임이면, 인터프레임 코딩을 선택하는 단계를 더 포함하는, 코딩 모드 결정 방법.
제 1 항에 있어서, 인터프레임 코딩이 선택되면, 모션 보상된 마이크로블럭을 제공하기 위해 상기 기준 마이크로블럭의 모션 보상을 수행하고, 상기 모션 보상된 마이크로블럭을 예측 마이크로블럭으로서 선택하는 단계;

인트라프레임 코딩이 선택되면, 상기 인트라프레임 예측 마이크로블럭을 상기 예측 마이크로블럭으로서 선택하는 단계; 및

변환을 위한 잔여 마이크로블럭을 제공하기 위해 상기 현재 마이크로블럭으로부터 상기 선택된 예측 마이크로블럭을 감산하는 단계를 더 포함하는, 코딩 모드 결정 방법.
현재 비디오 프레임의 현재 마이크로블럭에 대한 코딩 모드 결정을 하는 비디오 인코더 회로에 있어서,

제 1 및 제 2 입력들, 출력, 그리고 상기 제 1 및 제 2 입력들 사이에서 선택하기 위한 모드 신호를 수신하는 제어 입력을 갖는 선택기 스위치;

상기 현재 프레임과 적어도 하나의 이전 프레임을 수신하기 위한 입력들 그리고 출력을 갖는 모션 추정 회로로서, 상기 모션 추정 회로는 INTERSAD 값을 제공하기 위해 그리고 상기 모션 추정 회로의 상기 출력에서 기준 마이크로블럭을 제공 하기 위해 상기 현재 마이크로블럭과 이전 비디오 프레임 사이의 모션 추정을 수행하고, 상기 INTERSAD 값은 상기 현재 마이크로블럭과 상기 이전 비디오 프레임으로부터의 상기 기준 마이크로블럭 사이의 인터프레임 차이 합을 포함하는, 상기 모션 추정 회로;

상기 모션 추정 회로의 상기 출력에 결합된 입력 그리고 상기 스위치의 상기 제 1 입력에 결합된 출력을 갖는 모션 보상 회로로서, 상기 모션 보상 회로는 상기 모션 보상 회로의 상기 출력에서 인터프레임 예측 마이크로블럭을 제공하기 위해 제 1 신호에 응답하여 상기 기준 마이크로블럭에 대해 모션 보상을 수행하는, 상기 모션 보상 회로;

상기 현재 프레임을 수신하기 위한 입력 그리고 상기 스위치의 상기 제 2 입력에 결합된 출력을 갖는 인트라프레임 예측 회로로서, 상기 인트라프레임 예측 회로는 인트라프레임 예측 마이크로블럭을 제공하기 위해 그리고 상기 인트라프레임 예측 회로의 상기 출력에서 INTRASAD 값을 제공하기 위해 제 2 신호의 어설션(assertion)에 응답하여 인트라프레임 예측을 수행하고, 상기 INTRASAD 값은 상기 현재 마이크로블럭과 상기 인트라프레임 예측 마이크로블럭 사이의 인트라프레임 차이 합을 포함하는, 상기 인트라프레임 예측 회로; 및

상기 제 1 신호를 제공하는 제 1 출력, 상기 제 2 신호를 제공하는 제 2 출력, 그리고 상기 모드 선택 신호를 제공하는 제 3 출력을 갖는 모드 결정 회로로서, 상기 모드 결정 회로는 상기 현재 비디오 프레임과 연관된 적어도 하나의 비디오 특성을 선택하고, 상기 INTERAD 값과 각각 선택된 비디오 특성의 대응하는 범위 를 비교하고, 상기 INTERSAD 값이 상기 각각의 선택되는 비디오 특성의 대응하는 범위 내에 있으면 인터프레임 코딩을 선택하도록 상기 제 1 신호와 상기 모드 신호를 어설트(assert)하고, 상기 INTERSAD 값이 임의 선택된 비디오 특성의 아웃라이어이면 상기 제 2 신호를 어설트하고, 상기 INTERSAD 값이 상기 INTRASAD 값보다 더 크면 인트라프레임 코딩 그리고 상기 INTERSAD 값이 상기 INTRASAD 값 이하이면 인터프레임 코딩 사이에 선택하기 위해 상기 모드 신호를 어설트하는, 상기 모드 결정 회로를 포함하는, 비디오 인코더 회로.
제 14 항에 있어서,

상기 현재 비디오 프레임을 수신하기 위한 제 1 입력, 상기 스위치의 상기 출력에 결합되는 제 2 입력, 그리고 출력을 갖는 감산기로서, 상기 감산기는 잔여 마이크로블럭을 제공하기 위해 상기 현재 마이크로블럭으로부터 선택된 예측 마이크로블럭을 감산하는, 상기 감산기; 및

상기 감산기의 상기 출력에 결합되는 제 1 입력, 인코딩된 정보를 제공하는 제 1 출력, 그리고 재구성된 마이크로블럭을 제공하기 위한 제 2 출력을 갖는 컨버전(conversion) 회로를 더 포함하는, 비디오 인코더 회로.
제 15 항에 있어서, 상기 컨버전 회로는,

상기 감산기의 상기 출력에 결합되는 입력과, 출력을 갖는 변환 회로;

변환 마이크로블럭의 상기 출력에 결합되는 입력과, 출력을 갖는 양자화 회 로;

상기 양자화 회로의 상기 출력에 결합되는 입력과, 출력을 갖는 역 양자화 회로; 및

상기 역 양자화 회로의 상기 출력에 결합된 제 1 입력, 상기 스위치의 상기 출력에 결합되는 제 2 입력, 그리고 상기 재구성되는 마이크로블럭을 제공하는 출력을 갖는 가산기(adder)를 포함하는, 비디오 인코더 회로.
제 14 항에 있어서, 상기 모드 결정 회로는,

인터프레임 차이 합들의 평균을 포함하는 MEANSAD 값을 결정하는 제 1 회로;

상기 현재 마이크로블럭의 각각의 화소 값과 상기 현재 마이크로블럭의 평균 화소 값 사이의 절대 차이들의 합을 포함하는 SADM 값을 결정하는 제 2 회로;

제 1 비디오 특성을 제공하기 위해 상기 MEANSAD 값에 제 1 범위 값을 곱하고, 제 2 비디오 특성을 제공하기 위해 상기 SADM 값에 제 2 범위 값을 곱하고, 제 3 비디오 특성을 제공하기 위해 양자화 파라미터에 제 3 범위 값을 곱하는 제 3 회로;

상기 INTERSAD 값과 상기 제 1, 제 2, 및 제 3 비디오 특성들을 비교하고, 상기 제 1, 제 2, 및 모드 신호들을 제공하는 제 1 비교기 회로; 및

상기 INTERSAD 값과 상기 INTRASAD 값을 비교하는 제 2 비교기 회로를 포함하는, 비디오 인코더 회로.
제 14 항에 있어서, 모션 모드 신호, 모션 벡터, 미디안(median) 모션 모드 벡터, 및 기준 프레임 카운트를 비교하고, 코딩이 상기 현재 마이크로블럭에 대해 스킵될 수 있다는 확률을 나타내는 스킵(skip) 신호를 제공하는 비교기 회로를 더 포함하는, 비디오 인코더 회로.
현재 비디오 프레임의 현재 마이크로블럭에 대해 코딩 모드 결정을 하기 위한 비디오 인코더에 대한 모드 결정 유닛에 있어서,

상기 현재 비디오 프레임과 연관된 적어도 하나의 비디오 특성을 선택하기 위한 수단;

모션 추정으로부터 INTERSAD 값과 각각의 선택된 비디오 특성의 대응하는 범위를 비교하기 위한 수단;

상기 INTERSAD 값이 상기 적어도 하나의 비디오 특성 중의 임의 것의 아웃라이어(outlier)이면 인트라프레임 예측을 시작하기 위한 수단;

상기 INTERSAD 값과 INTRASAD 값을 비교하기 위한 수단; 및

상기 INTERSAD 값이 상기 각각의 선택된 비디오 특성의 대응하는 범위 내에 있으면, 또는 상기 INTERSAD 값이 상기 INTRASAD 값 이하이면 인터프레임 코딩을 선택하고, 그리고 상기 INTERSAD 값이 상기 INTRASAD 값보다 더 크면 인트라프레임 코딩을 선택하는 수단을 포함하는, 모드 결정 유닛.
제 19 항에 있어서, 단일 모션 모드를 결정하고, 미디안 모션 모드 벡터와 모션 벡터를 비교하고, 단일 기준 프레임 카운트를 결정하고, 코딩이 상기 현재 마이크로블럭에 대해 스킵될 수 있는 확률을 나타내는 스킵 신호를 제공하기 위한 수단을 더 포함하는, 모드 결정 유닛.