KR19980086613A - 중앙부의 화질을 최적화하기 위한 비디오 부호화 방법, 장치 및 프로그램 제품 - Google Patents

중앙부의 화질을 최적화하기 위한 비디오 부호화 방법, 장치 및 프로그램 제품 Download PDF

Info

Publication number
KR19980086613A
KR19980086613A KR1019980013517A KR19980013517A KR19980086613A KR 19980086613 A KR19980086613 A KR 19980086613A KR 1019980013517 A KR1019980013517 A KR 1019980013517A KR 19980013517 A KR19980013517 A KR 19980013517A KR 19980086613 A KR19980086613 A KR 19980086613A
Authority
KR
South Korea
Prior art keywords
macroblock
motion estimation
image
picture
region
Prior art date
Application number
KR1019980013517A
Other languages
English (en)
Other versions
KR100305485B1 (ko
Inventor
로렌스 데이비드 컬리
찰즈 존 스테인
에버레트 죠오지 삼세 바일
Original Assignee
포만 제프리 엘
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포만 제프리 엘, 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 포만 제프리 엘
Publication of KR19980086613A publication Critical patent/KR19980086613A/ko
Application granted granted Critical
Publication of KR100305485B1 publication Critical patent/KR100305485B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

디지탈 비디오 부호화의 방법, 장치 및 컴퓨터 프로그램 제품이 다수의 매크로블럭들을 가지는 화상에 대한 향상된 부호화와 함께 기술된다. 그 접근법은 화상을 적어도 두개의 영역들로 분할한 다음에 매크로블럭이 위치하는 화상의 영역에 기초하여 화상의 각 매크로블럭에 대하여 적어도 하나의 부호화 파라미터를 설정 또는 조정하는 것이다. 하나의 구체적인 실시예로서, 화상이 중앙 영역 및 적어도 하나의 외부 영역으로 분할되고, 그 적어도 하나의 부호화 파라미터가 적어도 하나의 외부 영역의 화질을 희생시키면서 중앙 영역의 화질을 향상시키기 위하여 설정된다. 그 부호화 파라미터는, 예컨대, 움직임 추정 파라미터, 양자화값 또는 매크로블럭당 목표 비트들일 수 있다.

Description

중앙부의 화질을 최적화하기 위한 비디오 부호화 방법, 장치 및 프로그램 제품
본 발명은 전반적으로 디지탈 시각 영상의 압축에 관한 것으로, 보다 구체적으로는 화상간 중복성(redundancy)을 줄이는 시간적 압축에 관한 것이다. 화상간 중복성은 움직임 벡터의 사용을 통하여 줄어들거나 심지어 제거되기도 한다. 본 발명은 움직임 추정 파라미터(motion estimation parameter)를 조정할 수 있고 화질을 최적화하기 위하여 화상내 매크로블럭의 위치에 기초하여 비트를 할당하는 부호화기를 제시한다.
최근 10 년동안, 범세계적인 전자 통신 시스템들의 출현은 사람들이 정보를 송수신할 수 있는 방법을 향상시켜 왔다. 특히, 실시간 비디오 및 오디오 시스템들의 처리 능력이 최근 몇년동안 상당히 향상되었다. 주문형 비디오(video-on-demand) 및 화상 회의(video conferencing) 따위의 서비스들을 가입자에게 제공하기 위해서는 엄청난 양의 네트워크 대역폭이 요구된다. 사실상, 네트워크 대역폭은 종종 그러한 시스템의 효율성 측면에서 주요한 장애가 된다.
네트워크에 의해 가해지는 그러한 제약들을 극복하기 위해서, 압축 시스템들이 출현하였다. 이러한 시스템들은 전송되어야 하는 비디오 및 오디오 데이터의 양을 화상 시퀀스내의 중복성을 제거함으로써 줄인다. 수신단에서, 그 화상 시퀀스는 압축 복원(uncompress)되며 실시간적으로 화상에 표시될 수 있다.
현재 등장하고 있는 비디오 압축 표준중의 한 예가 동화상 전문가 그룹(Moving Picture Expert Group)(MPEG) 표준이다. MPEG 표준에서는, 비디오 압축이 특정 화상내 및 화상간 모두에서 정의된다. 화상내 비디오 압축은 이산 코사인 변환, 양자화, 가변 길이 부호화 및 호프만 부호화에 의해 디지탈 영상을 시간 영역에서 주파수 영역으로 변환함으로써 달성된다. 화상간 비디오 압축은 움직임 추정(motion estimation)이라 불리는 과정을 통하여 달성되는데, 이러한 과정에서 움직임 벡터와 차분 데이터를 함께 사용하여 하나의 화상에서 다른 화상으로 화소(picture elements)(pels)들의 집합에 대한 변환을 기술한다.
ISO MPEG2 표준은 단지 비트스트림의 문법(syntax) 및 복호화 과정의 시맨틱스(semantics)만을 명시하고 있을 뿐이다. 부호화 파라미터들 및 성능대 복잡도간의 절충에 대한 선택은 부호화기 개발자의 몫이다.
MPEG2를 따르는 부호화 과정의 한 측면이 상당한 계산을 요하는 동작 특성이다. 화상 크기가 720×480이고 초당 30 화상 프레임을 처리한다고 할 때, 하나의 화상은 33.3 ms(miliseconds)내에 처리되어야만 한다. 16×16 픽셀 매크로블럭(화상당 1350개의 매크로블럭들이 있게 됨),평균적으로, 24.7ms 미만의 시간내에 처리되어야만 한다. 매크로블럭 처리 시간의 대부분은 그 목적이 시간적 중복성을 탐지하고 그것을 사용하여 효과적으로 화상을 압축하는 것인 움직임 추정 과정에서 소비된다. 따라서, 25 ms 미만의 시간내에 매크로블럭을 처리하는 것이 화질에 있어 제한 인자가 된다.
MPEG2를 따르는 부호화 과정의 또다른 측면은 부호화된 비디오 스트림에 대한 비트율이 지정되어 있다는 것이다. 비트율은 초당 비트수로 정의된다. 부호화되는 화상의 프레임 비율 및 타입에 기초해서, 화상당 비트수가 할당된다. 예컨대, 초당 6,000,000 비트(6 Mbps) 및 초당 30 화상 프레임인 경우, 비트들이 균일하게 할당된다고 가정하면 각 화상은 200,000 비트를 할당받을 것이다. 1350 매크로블럭들을 가진 720×480 화상에서는, 이것이 매크로블럭당 할당되는 148 비트로 변환된다. 상기 기술된 움직임 추정 과정 제약과 함께, 매크로블럭당 할당된 비트수가 화질에 영향을 미친다.
이러한 제약들의 관점에서, 본 발명은 통상적인 실시간 비디오 부호화 과정들과 비교되는 화질의 향상을 추구한다.
약술하면, 본 발명은 한 측면에서 다수의 매크로블럭들을 가지는 화상을 처리하기 위한 방법을 포함한다. 상기 방법은 적어도 두개의 영역들로 상기 화상을 분할하는 단계 및, 상기 화상의 각 매크로블럭에 대하여 상기 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 적어도 하나의 부호화 파라미터를 설정하는 단계를 포함한다. 향상된 방법으로서, 화상의 적어도 두개의 영역들이 화상의 중앙 영역 및 적어도 하나의 외부 영역을 포함할 수 있다. 부호화 파라미터는 화상의 적어도 하나의 외부 영역에서의 화질을 희생시키면서 화상의 중앙 영역에서의 화질을 향상시키는 식으로 설정된다. 다양한 부호화 파라미터들이 본 발명에 따른 조작을 위하여 논의된다.
또 다른 측면에 있어서, 본 방법은 다수의 매크로블럭들을 가지는 화상을 처리하기 위한 디지탈 비디오 부호화기 시스템을 포함한다. 디지탈 비디오 부호화기 시스템은 화상을 적어도 두개의 영역으로 분할하는 수단 및, 화상의 각 매크로블럭당 적어도 하나의 부호화 파라미터를 설정하기 위한 수단을 포함한다. 화상의 분할로부터 발생하는 적어도 두개의 영역들은 화상의 각 매크로블럭에 대하여 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 적어도 하나의 부호화 파라미터를 정하도록 설정하기 위한 수단에 의해 사용된다. 디지탈 비디오 부호화기 시스템에 대한 다양한 개선책들이 또한 본 명세서에서 기술되고 특허로 청구된다.
또 다른 측면에 있어서, 본 발명은 다수의 매크로블럭들을 가진 화상을 처리하는데 사용하기 위한 컴퓨터로 판독가능한 프로그램 코드 수단을 담고 있는 컴퓨터로 사용가능한 매체를 구비한 프로그램 제품을 포함한다. 그 컴퓨터 프로그램 제품내의 컴퓨터로 판독가능한 프로그램 코드 수단은 컴퓨터로 하여금 화상을 적어도 두개의 영역으로 분할하도록 하게 하는 컴퓨터로 판독가능한 프로그램 코드 수단 및, 컴퓨터로 하여금 화상의 각 매크로블럭에 대하여 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 적어도 하나의 부호화 파라미터를 설정하도록 하게 하는 컴퓨터로 판독가능한 프로그램 코드 수단을 포함한다. 컴퓨터로 하여금 적어도 하나의 부호화 파라미터를 설정하도록 하게 하기 위한 컴퓨터로 판독가능한 프로그램 코드 수단은 화상의 적어도 하나의 외부 영역에서의 화질을 희생시키면서 화상의 중앙 영역의 화질을 향상시키도록 코딩된다. 움직임 추정 파라미터 및/또는 매크로블럭당 목표 비트들 따위의 다양한 부호화 파라미터들이 이러한 목적을 획득하도록 조정될 수 있다.
다시 말한다면, 본 명세서에 제시된 것은 디지탈 비디오 부호화기에서 사용되는 선택된 부호화 파라미터들을 제어하는 것에 기초하여 인식된 화질을 향상시키기 위한 접근법이다. 본 접근법에 따르면, 화상은 처음에 중앙 영역 및 주변 영역 따위의 다수의 영역들로 분할된다. 다음에,움직임 추정 파라미터 또는 매크로블럭당 목표 비트들 따위와 같은 부호화 파라미터가 화상의 다수의 영역들내에 매크로블럭의 위치에 기초하여 각 매크로블럭에 대하여 조정된다. 본 발명은 영역들의 경계 또는 조정될 지정 부호화 파라미터들을 정의하려고 하지 않는다. 그러한 세부사항들은 소스 재료, 애플리케이션 또는 다른 기준에 기초하여 정의될 수 있다. 움직임 추정 및 목표 조정은 독립적이지만, 양 개념들은 보다 더 선택적으로 화질을 최적화시킬 수 있는 능력을 제공하기 위하여 함께 사용될 수 있다.
따라서, 본 발명의 목적은 움직임 추정 과정 제약 및 매크로블럭당 비트율 제약을 고려하여, 통상적인 실시간 비디오 부호화 과정보다 향상된 화질을 제공하는 디지탈 비디오 부호화 방법, 장치 및 프로그램 제품을 제공하는 것이다.
도 1은 이산 코사인 변환기(21), 양자화기(23), 가변 길이 부호화기(25), 역양자화(29), 역 이산 코사인 변환(31),움직임 보상(41), 프레임 메모리(42) 및 움직임 예측(43)을 포함한 일반화된 MPEG2를 따르는 부호화기(11)에 대한 흐름도로서, 데이타 경로는 i 번째 화상 입력(111), 차분 데이타(112), 움직임 벡터(113), 화상 출력(121), 움직임 추정 및 보상을 위한 궤환 화상(131)과 재구축된 화상(101)을 포함하고, i 번째 화상이 프레임 메모리 또는 프레임 저장(42)내에 있으며, i+1 번째 화상이 움직임 추정시에 부호화되고 있다고 가정하는, 흐름도.
도 2는 I,P 및 B 화상들, 그들의 화상 출력 및 전송 순서의 예와 순방향 및 역방향 움직임 예측을 상세히 도시한 도면.
도 3은 현 프레임 또는 화상내의 움직임 추정 블럭로부터 후속 또는 이전 프레임 또는 화상내 가장 일치하는 블럭에 대한 탐색을 상세히 도시한 도면으로서, 엘리먼트들(211 및 211')은 양 화상내에서 동일한 위치를 나타내는, 도면.
도 4는 움직임 벡터에 따라 이전 화상내의 위치로부터 새로운 화상으로 블럭들의 움직임 및 움직임 벡터를 사용한 후에 조정된 이전 화상의 블럭들을 상세히 도시한 도면.
도 5는 전화소(full-pel)움직임 추정 탐색들의 최대 횟수를 묘사하는 예측가능하게 부호화된 (P)화상을 도시한 도면으로서, 상기 탐색들은 현재의 매크로블럭 프레임/과거 매크로블럭 프레임 기준 탐색, 현재의 필드 1/과거 기준 필드 1 탐색, 현재의 필드 1/과거 기준 필드 2 탐색, 현재의 필드 2/과거 기준 필드 1 탐색 및 현재의 필드 2/과거 기준 필드 2 탐색을 포함하는, 도면.
도 6는 본 발명에 따라 움직임 추정 기구(setup) 및 매크로블럭당 목표 비트들을 제어하기 위한 부호화기 프로세서(200)를 사용하는 일반적인 MPEG2를 따르는 부호화기에 대한 수정된 흐름도.
도 7은 본 발명에 따라 각 영역이 움직임 추정에 대해 단일한 탐색 영역 및/또는 매크로블럭당 단일한 목표 비트들을 가지도록 화상을 세개의 영역들로 분할한 예를 도시한 도면.
* 도면의 주요부분에 대한 부호의 설명
21: 이산 코사인 변환 23: 양자화
25: 가변 길이 부호화기 29: 역양자화
31: 역이산 코사인 변환 41: 움직임 보상
43: 움직임 추정 200: 부호화 프로세서
본 발명은 스케일러블 MPEG 및 HDTV를 따르는 부호화기와 부호화 과정(process)에 관한 것이다. 부호화기에 의해 수행되는 부호화 기능들은 데이타 입력, 공간적 압축, 움직임 추정, 매크로블럭 타입 생성, 데이타 재구축, 엔트로피 부호화(entropy coding) 및 데이타 출력을 포함한다. 공간적 압축은 이산 코사인 변환(DCT), 양자화 및 엔트로피 부호화를 포함한다. 시간적 압축은 역 이산 코사인 변환, 역양자화 및 움직임 보상과 같은 집중적인 재구축 프로세싱을 포함한다. 움직임 추정 및 압축은 시간적 압축 함수들이다. 공간적 및 시간적 압축은 높은 계산 요구를 가진 반복적인 함수들이다.
보다 구체적으로 본 발명은 이산 코사인 변환, 양자화, 엔트로피 부호화, 움직임 추정, 움직임 보상 및 움직임 예측을 포함하는 공간적 및 시간적 압축을 수행하기 위한 프로세서에 관한 것이며, 이보다 구체화하면 공간적 및 시간적 압축을 달성하기 위한 시스템에 관한 것이다.
제 1 압축 단계는 공간적 중복성의 제거, 예컨대, I 프레임 화상의 정지 화상내 공간적 중복성의 제거이다. 공간적 중복성은 화상내의 중복성이다. 아래에서 기술되는 바와 같이, 움직임 보상 프로세스가 블럭을 기반으로 하는 특성을 가지기 때문에, MPEG-2 초안 표준이 공간적 중복성을 줄이는 방법으로서 블럭을 기반으로 하는 방법을 사용하는 것이 바람직하였다. 선택된 방법은 이산 코사인 변환과 화상의 이산 코사인 변환 부호화이다. 이산 코사인 변환 부호화는 더욱 향상된 압축 수준을 얻기 위하여 가중된 스칼라 양자화 및 길이 부호화와 결합된다.
이산 코사인 변환은 직교 변환(orthogonal transformation)이다. 직교 변환들은, 그것들이 주파수 영역 해석을 가지기 때문에, 필터 뱅크 지향(filter bank oriented)이다. 이산 코사인 변환은 또한 국부적이다. 다시 말해, 부호화 프로세스는 64개의 변환 계수들 또는 서브밴드들을 계산하기에 충분한 8×8 공간적 윈도우상에서 샘플링한다.
이산 코사인 변환의 또 다른 이점은 고속 부호화 및 복호화 알고리즘들을 사용할 수 있다는 것이다. 게다가, 이산 코사인 변환의 서브밴드 분해는 싸이코비쥬얼(psychovisual) 표준을 효과적으로 사용할수 있도록 충분히 잘 동작한다.
변환후에, 많은 주파수 계수들은 0이 되고, 특히 높은 공간 주파수들에 대한 계수들이 그러하다. 이러한 계수들은 지그재그 패턴으로 구성되며, (런(run) 크기,런 수준) 쌍들로 변환된다. 각각의 쌍은 0인 계수들의 수 및 0이 아닌 계수의 크기를 나타낸다. 이것은 가변 길이 부호로 부호화된다.
움직임 보상은 화상간 중복성을 줄이거나 심지어 제거하는데 사용된다. 움직임 보상은 현재의 화상을 블럭들, 예컨대, 매크로블럭들로 분할하고, 그 다음에 이전에 전송된 화상들내에서 유사한 내용을 가진 이웃 블럭을 탐색함으로써 시간적 중복성을 이용한다. 현재의 블럭 화소들과 기준 화상으로부터 추출된 예측 블럭 화소들 사이의 차분만이 실제로 전송을 위해 압축되고 그 후에 전송된다.
움직임 보상 및 예측 방법중 가장 간단한 것이 I 화상내 모든 픽셀에 대한 휘도 및 색차, 다시 말해 강도 및 색상을 기록하고, 다음에 이에 후속하는 화상내 모든 지정 픽셀에 대한 휘도 및 색차, 다시 말해 강도 및 색상의 변화들을 기록하는 것이다. 하지만, 이러한 방법은 전송 매체 대역폭, 메모리, 프로세서 처리 능력 및 처리 시간에 있어 비경제적인데, 왜냐하면 객체들이 화상사이에서 이동하기 때문에, 다시 말해 픽셀 내용들이 한 화상내 일정 위치에서 이에 후속하는 화상내 다른 위치로 이동하기 때문이다. 보다 진보된 아이디어는 이전 또는 후속 화상을 사용하여 픽셀들의 블럭이 후속 또는 이전 화상(들)에서 어디에 위치할 것인지를,예컨대, 움직임 벡터로써 예측하고, 그 결과를 예측된 화상들 또는 P 화상들로서 기록하는 것이다. 좀더 구체적으로, 본 방법은 i 번째 화상의 픽셀들 또는 픽셀들의 매크로블럭들이 i-1 번째 또는 i+1 번째 화상에서 어디에 있을 것인지에 대한 최적의 추정 또는 예측을 하는 것을 포함한다. 후속 및 이전 화상들을 함께 사용하여 픽셀들의 블럭이 중간 또는 B 화상내에서 어디에 있을 것인지를 예측하는 것이 또 하나의 단계이다.
주목할 것은 화상 부호화 순서와 화상 전송 순서가 반드시 화상 출력 순서와 일치하는 것은 아니라는 것이다. 도 2를 보자. I-P-B 시스템들에 대해서는 입력 화상 전송 순서가 부호화 순서와 다르며, 입력 화상들은 부호화를 위해 사용될 때까지 일시적으로 저장되어야만 한다. 버퍼가 이러한 입력이 사용될 때까지 그것을 저장한다.
상세한 설명을 위하여, MPEG을 따르는 부호화에 대한 일반적인 흐름도가 도 1에 도시되어 있다. 그 흐름도에서 i 번째 화상 및 i+1 번째 화상의 영상들이 움직임 벡터를 생성하기 위해 처리된다. 움직임 벡터들은 픽셀들의 매크로블럭이 이전 및/또는 후속 화상내에서 어디에 위치할 것인지를 예측한다. 완전한 영상들 대신에 움직임 벡터들을 사용하는 것이 MPEG 및 HDTV 표준들에서 시간적 압축의 핵심이 되는 측면이다. 도 1에 도시된 바와 같이 움직임 벡터들은, 일단 생성되면, 픽셀들의 매크로블럭들을 i 번째 화상에서 i+1 번째 화상으로 변환하기 위하여 사용된다.
도 1에 도시된 바와 같이, 부호화 프로세스에서, i 번째 화상 및 i+1 번째 화상의 영상들은 움직임 벡터들을 생성하기 위하여 부호화기(11)에서 처리되는데, 이러한 벡터들은, 예컨대, i+1 번째 및 후속 화상들이 부호화되고 전송되는 그 형태(form)이다. 후속 화상의 입력 영상(111)은 그 부호화기의 움직임 추정 유닛(43)으로 간다. 움직임 벡터들(113)은 움직임 추정 유닛(43)의 출력으로서 형성된다. 움직임 보상 유닛(41)은 이러한 벡터들을 사용함으로써 이러한 유닛에 의한 출력을 위하여 기준 데이타라 불리는, 이전 및/또는 장래 화상들로부터 매크로블럭 데이타를 검색한다. 움직임 보상 유닛(41)의 하나의 출력은 움직임 추정 유닛(43)의 출력과 음적으로(negatively) 합해져서 이산 코사인 변환기(21)로 입력된다. 이산 코사인 변환기(21)의 출력은 양자화기(23)에서 양자화된다. 양자화기(23)의 출력은 두 개의 출력들(121 및 131)로 분리되는데, 한 출력(121)은 전송전에 추가적인 압축 및 처리를 위하여, 런 길이 부호화기와 같은 하향스트림 엘리먼트(25)로 가게 되며, 나머지 출력(131)은 프레임 메모리(42)내에 저장하기 위하여 부호화된 픽셀들의 블럭에 대한 재구축 과정을 거친다. 상세한 설명을 위해 도시된 부호화기에서, 이러한 두번째 출력(131)은 차분 매크로블럭의 유손실(lossy) 버전을 리턴하기 위하여 역 양자화(29) 및 역 이산 코사인 변환(31)과정을 거치게 된다. 이러한 데이터는 움직임 보상 유닛(41)의 출력과 합해져서 원래의 화상에 대한 유손실 버전을 프레임 메모리(42)로 리턴한다.
도 2에 도시된 바와 같이, 화상에는 3 가지 타입이 있다. 인트라 화상 또는 I 화상들은 전체적으로 부호화되고 전송되며 움직임 벡터들을 정의할 필요는 없다. 이러한 I 화상들은 움직임 벡터들의 소스로서 역할한다. 순방향예측 화상들 또는 P 화상들은 움직임 벡터에 의해 이전 화상들로부터 형성되며 이후의 화상들에 대해서는 움직임 벡터들의 소스로서 역할할 수 있다. 마지막으로, 쌍방향예측 화상들 또는 B 화상들은 하나는 과거 화상이고 다른 하나는 미래 화상인 두개의 서로 다른 화상들로부터 움직임 벡터에 의하여 형성되며, 움직임 벡터들의 소스로서 역할할 수는 없다. 움직임 벡터들은 I 및 P 화상들로부터 생성되며, P 및 B 화상들을 형성하는데 사용된다.
도 3에 도시된 바와 같이, 움직임 추정이 수행되는 한 방법은 가장 일치하는 매크로블럭(213)을 찾기 위하여 i 번째 화상의 매크로블럭(211)에서 그 다음 화상의 영역 전체에 걸쳐 탐색하는 것이다. 이러한 방식으로 매크로블럭을 변환시킴으로써, 도 4에 도시된 바와 같이 i+1 번째 화상에 대한 매크로블럭 패턴을 얻을 수 있다. 이 방식에 의하면, i+1 번째 화상을 생성하기 위하여 i 번째 화상이 예컨대, 움직임 벡터 및 차분 데이터에 의해 약간만 변경되면 된다. 부호화되는 것은 움직임 벡터 및 차분 데이타이며, i+1 번째 화상 자체가 부호화되지는 않는다. 움직임 벡터들은 영상의 위치를 한 화상에서 다른 화상으로 변환함에 반해, 차분 데이터는 색차, 휘도 및 채도에서의 변화들, 즉 음영 및 조도에서의 변화들을 담고 있다.
도 3을 다시 보면, i+1 번째 화상에서와 동일한, i 번째 화상내의 위치에서부터 시작함으로써 우리는 잘 일치하는 부분을 찾는다. i 번째 화면내에 탐색 윈도우가 생성된다. 우리는 이런 탐색 윈도우내에서 가장 일치하는 부분을 탐색한다. 일단 발견되면, 그 매크로블럭에 대한 가장 일치하는 움직임 벡터들이 부호화된다. 가장 일치하는 매크로블럭에 대한 부호화는 움직임 벡터, 다시 말해 y축 방향으로 몇 픽셀, x축 방향으로 몇 픽셀만큼 그 최적의 일치부분이 그 다음 화상내에서 변위되는지에 관한 정보를 포함한다. 또한 예측 오차(prediction error)라고도 불리는 차분 데이타가 부호화되는데, 이러한 데이타는 현재의 매크로블럭과 가장 일치하는 기준 매크로블럭사이의 색차 및 휘도 차이이다.
MPEG2 부호화기의 동작 기능들은 카르 등(Carr et al)에 의해 1997년 4월1일에 출원된, 미국 특허 출원 번호 08/ , 의 CONTROL SCHEME FOR SHARED-USE DUAL-PORT PREDICTED ERROR ARRAY, Docket No. EN996098에서 상세히 논의되고 있는데, 이것은 본 명세서에서 전체로서 참조로 인용되고 있다.
처음에 언급된 바와 같이, 인식된 화질은 본 발명에 따라 화상의 주변부의 화질을 희생시키면서 화상의 중앙부의 화질을 향상시킴으로써 개선될 수 있다. 융통성있는 비디오 부호화기가 아래에서 기술되며, 여기에서 예컨대, 화상의 중앙부, 중간부 및 주변부를 설정하기 위하여 경계들 또는 영역들이 정의될 수 있다. 다음에, 부호화기는 예컨대, 매크로블럭이 어느 영역내에 있는지에 근거하여 화질을 최적화하기 위하여 움직임 추정 파라미터들 및 화상의 매크로블럭들에 대한 비트할당을 조정할 수 있다.
실시간 비디오 부호화는 상당한 계산을 요하는 과정이다. 화상 크기가 720×480이고 초당 30 화상 프레임을 처리한다고 할 때, 하나의 화상은 33.3 ms(miliseconds)내에 처리되어야만 한다. 화상당 1350개의 매크로블럭들이 존재한다고 가정하면, 16×16 픽셀 매크로블럭은 평균적으로, 24.7ms 미만의 시간내에 처리되어야만 한다.
사용가능한 시간중에 매크로블럭 처리 시간의 대부분이 움직임 추정과정에서 소모되는데, 이러한 과정의 목적은 시간적 중복성을 탐지하고 그것을 사용하여 효과적으로 화상을 압축하는 것이다. 따라서, 본 발명에 따라 화질을 극대화하기 위한 하나의 방법은 움직임 추정 처리 시간중 더 많은 시간을 화상의 중요 부분에서 소비하는 것이다. 시각적 지각에 있어 화상의 가장 중요한 영역이 화상의 중앙부라고 출원인들은 믿고 있는데, 왜냐하면 중앙부가 전형적으로 관찰자의 관심을 끌기 때문이다. 화상의 가장자리에서 움직임 추정 처리 시간은 본 발명에 따르면 중앙부에 있어 보다 나은 화질을 위하여 희생될 수 있다.
MPEG2 비디오 부호화에서는, 매크로블럭이 단일 16×16 프레임 매크로블럭 또는 f1 및 f2로 표시된 두 개의 별개의 비월주사형 16×8 필드 블럭들로서 부호화될 수 있다. 움직임 보상 단계들은 전화소 움직임 추정(full-pel motion estimation), 반화소 움직임 추정(half-pel motion estimation) 및 듀얼 프라임 움직임 추정(dual prime motion estimation)으로 구성된다. 움직임 추정의 완료 시간,t(me)는 다음과 같이 정의될 수 있다.
t(me) = t(fp) + t(hp)+ t(dp)
여기서,
t(fp): 전화소 움직임 추정의 완료 시간
t(hp): 반화소 움직임 추정의 완료 시간
t(dp): 듀얼 프라임 움직임 추정의 완료 시간
움직임 추정 과정에서 각 단계는 그 단계내에 각각의 탐색을 완료할 수 있는 시간으로 더 나누어질 수 있다. 예컨대, 쌍방향예측 프레임 부호화(B) 화상에 대해 가능한 전화소 움직임 추정 탐색의 최대 횟수가 아래에 기술되어 있다. 반화소 움직임 추정은 동일한 최대 탐색 횟수를 가진다.
t(fp) = t(fp_cfr_pfr)+ t(fp_cfr_ffr)+ t(fp_cfr_bfr)+
t(fp_cf1_pf1)+ t(fp_cf1_pf2)+ t(fp_cf1_ff1)+
t(fp_cf1_ff2)+ t(fp_cf1_bfx)+
t(fp_cf2_pf1)+ t(fp_cf2_pf2)+ t(fp_cf2_ff1)+
t(fp_cf2_ff2)+ t(fp_cf2_bfx)
여기서,
t(fp_cfr_pfr) = 과거 기준 프레임에 대한 전화소 현재 프레임 탐색 시간
t(fp_cfr_ffr) = 미래 기준 프레임에 대한 전화소 현재 프레임 탐색 시간
t(fp_cfr_bfr) = 쌍방향 기준 프레임에 대한 전화소 현재 프레임 탐색 시간
t(fp_cf1_pf1) = 과거 기준 필드 1에 대한 전화소 현재 필드 1 탐색 시간
t(fp_cf1_pf2) = 과거 기준 필드 2에 대한 전화소 현재 필드 1 탐색 시간
t(fp_cf1_ff1) = 미래 기준 필드 1에 대한 전화소 현재 필드 1 탐색 시간
t(fp_cf1_ff2) = 미래 기준 필드 1에 대한 전화소 현재 필드 2 탐색 시간
t(fp_cf1_bfx) = 쌍방향 기준 필드에 대한 전화소 현재 필드 1 탐색 시간
t(fp_cf2_pf1) = 과거 기준 필드 1에 대한 전화소 현재 필드 2 탐색 시간
t(fp_cf2_pf2) = 과거 기준 필드 2에 대한 전화소 현재 필드 2 탐색 시간
t(fp_cf2_ff1) = 미래 기준 필드 1에 대한 전화소 현재 필드 2 탐색 시간
t(fp_cf2_ff2) = 미래 기준 필드 2에 대한 전화소 현재 필드 2 탐색 시간
t(fp_cf2_bfx) = 쌍방향 기준 필드에 대한 전화소 현재 필드 2 탐색 시간
t(hp) = t(hp_cfr_pfr)+ t(hp_cfr_ffr)+ t(hp_cfr_bfr)+
t(hp_cf1_pf1)+ t(hp_cf1_pf2)+ t(hp_cf1_ff1)+
t(hp_cf1_ff2)+ t(hp_cf1_bfx)+
t(hp_cf2_pf1)+ t(hp_cf2_pf2)+ t(hp_cf2_ff1)+
t(hp_cf2_ff2)+ t(hp_cf2_bfx)
여기서,
t(hp_cfr_pfr) = 과거 기준 프레임에 대한 반화소 현재 프레임 탐색 시간
t(hp_cfr_ffr) = 미래 기준 프레임에 대한 반화소 현재 프레임 탐색 시간
t(hp_cfr_bfr) = 쌍방향 기준 프레임에 대한 반화소 현재 프레임 탐색 시간
t(hp_cf1_pf1) = 과거 기준 필드 1에 대한 반화소 현재 필드 1 탐색 시간
t(hp_cf1_pf2) = 과거 기준 필드 2에 대한 반화소 현재 필드 1 탐색 시간
t(hp_cf1_ff1) = 미래 기준 필드 1에 대한 반화소 현재 필드 1 탐색 시간
t(hp_cf1_ff2) = 미래 기준 필드 2에 대한 반화소 현재 필드 1 탐색 시간
t(hp_cf1_bfx) = 쌍방향 기준 필드에 대한 반화소 현재 필드 1 탐색 시간
t(hp_cf2_pf1) = 과거 기준 필드 1에 대한 반화소 현재 필드 2 탐색 시간
t(hp_cf2_pf2) = 과거 기준 필드 2에 대한 반화소 현재 필드 2 탐색 시간
t(hp_cf2_ff1) = 미래 기준 필드 1에 대한 반화소 현재 필드 2 탐색 시간
t(hp_cf2_ff2) = 미래 기준 필드 2에 대한 반화소 현재 필드 2 탐색 시간
t(hp_cf2_bfx) = 쌍방향 기준 필드에 대한 반화소 현재 필드 2 탐색 시간
순방향예측 부호화(P) 화상은 도 5에 도시된 바와 같이 다음과 같은 전화소 움직임 추정 탐색의 최대 횟수를 포함하고 있다. 반화소 움직임 추정은 동일한 최대 탐색 횟수를 가진다.
t(fp) = t(fp_cfr_pfr)+
t(fp_cf1_pf1)+ t(fp_cf1_pf2)+
t(fp_cf2_pf1)+ t(fp_cf2_pf2)
t(hp) = t(hp_cfr_pfr)+
t(hp_cf1_pf1)+ t(hp_cf1_pf2)+
t(hp_cf2_pf1)+ t(hp_cf2_pf2)
듀얼 프라임 움직임 추정은 단지 순방향예측 부호화(P) 화상들상에서만 수행될 수 있으며 다음과 같은 탐색들로 구성된다.
t(dp) = t(dp_cf1_pf2) + t(dp_cf2_pf1)
여기서,
t(dp_cf1_pf2) = 과거 기준 필드 2에 대한 듀얼 프라임 현재 프레임 탐색 시간
t(dp_cf2_pf1) = 과거 기준 필드 1 대한 듀얼 프라임 현재 프레임 탐색 시간
움직임 추정 단계들을 완료하는데 필요한 시간은 다수의 인자들에 의해 제어된다. 인자중 하나는 움직임 추정을 수행하는데 사용되는 회로이다. 제공된 회로의 속도 및 양과 설계의 효율성(예컨대, 파이프라이닝, 데이타플로우 구현 등)이 움직임 추정을 완료하는데 필요한 시간을 결정하는데 중요한 역할을 한다. 부호화기의 회로 특성은 하드웨어적으로 고정되므로 조정될 수 없다.
움직임 추정 처리의 완료 시간은 수행되는 총 탐색 횟수 및 각 탐색의 탐색 영역의 크기에 비례한다. 탐색 영역이 보다 크면, 일반적으로 보다 잘 일치하는 기준 데이터를 발견할 확률이 더 커지기 때문에 보다 좋은 압축율을 얻을 수 있다. 하지만, 기준 데이타의 영역을 탐색하는데 필요한 시간이 탐색 영역 크기가 증가함에 따라 증가하게 된다.
구체적인 부호화기 구현예에 있어, 회로, 움직임 추정 단계들, 단계당 탐색 횟수 및 탐색 영역 크기가 매크로블럭당 처리 시간 요구 조건을 충족시키기 위하여 모두 균형을 유지해야 한다. 통상적으로, 이러한 특징들은 화상 전체에서 모두 획일적으로 균형잡히게 된다. 균형 유지는 각 매크로블럭상에서 동일한 움직임 추정 과정을 수행하고 매크로블럭의 총 처리 시간이 예컨대, 24.7 미만임을 보증함으로써 달성된다. 본 발명에 따르면, 이러한 움직임 추정 파라미터들은 지각된 화질을 향상시키기 위하여 화상의 둘 또는 그 이상의 영역들중 어느 영역에 매크로블럭이 있는지에 따라 각 매크로블럭에 대하여 다양하다.
본 발명에 대한 이해를 돕기 위하여, 세개의 영역들을 사용한 예를 기술할 것이다. 본 개념은 세개의 영역들에 국한되지 않으며, 오히려 화상을 둘 또는 그 이상의 영역들로 분할하는데 적용된다. 게다가, 영역들의 크기, 구성 및 위치는 변할 수 있으며, 특정 영역에 대한 바람직한 화질에 의존한다. 하나의 예로서, 도 7은 다수의 매크로블럭들이 격자형으로 배치되어 있는 화상을 도시하고 있다. 각 매크로블럭은 분할된 세개의 화상중 하나의 영역내에 위치한다. 본 예에서는, 영역 R3은 중앙 영역을 포함하고 영역 R2는 중간 영역이며 영역 R1은 주변 영역이다. 영역 R1 및 R2는 다같이 영역 R3을 중심에 두고 있다.
하나의 상세한 예로서, 다음과 같이 가정하자. 영역 R1'은 화상의 각 가장자리상에 최외각 매크로블럭을 포함하고 결과적으로 R1'에는 146개의 매크로블럭이 있게 되고, 영역 R2'는 영역 R1'의 내부에 2 행 및 3 열의 매크로블럭들을 포함하고 결국 영역 R2'는 230 개의 매크로블럭들을 포함하게 되며, 나머지 매크로블럭들, 즉 947개의 매크로블럭들이 중앙 영역 R3'내에 있게 된다.
본 발명에 따른 다음 단계는 각 영역에 대하여 움직임 추정 과정을 조정하는 것이다. 다음의 설명은 매크로블럭 프레임 부호화 P 화상내에서 단지 전화소 움직임 추정 단계만에 대한 조정들을 상세히 기술할 것이다. 이해할 것은 본 발명에 따르면 전화소 추정에 적용될 수 있는 다른 조정 대안들이 있으며 유사한 조정 방법이 반화소 및/또는 듀얼 프라임 움직임 추정 단계들에 적용될 수 있다는 것이다. B 화상을 처리하는 때, 다수의 움직임 추정 단계들에 적용될 수 있는 많은 움직임 추정 대안들이 있다.
화상 크기가 720×480 픽셀들이고 초당 30 프레임을 처리하려면, 매크로블럭당 평균 처리 시간은 24.7ms보다 작아야만 한다. 본 예에서는, 움직임 추정에서 사용가능한 시간의 양,t(me)이 매크로블럭당 18ms로 결정되어 있다고 가정한다. 그러면 총 화상 움직임 추정 시간 T(me)는 24.3 ms가 된다.
본 발명을 사용하지 않으면, 움직임 추정 파라미터들의 균형 유지는 전형적으로 모든 시간 유닛이 수 ms내인 하기 구현예를 얻을 것이다.
· 현재 프레임 탐색에 대한 전화소 탐색 범위(fp_cfr)는 수평으로 +/- 32 이고 수직으로 +/-32 이다.
· 현재 필드 f1 또는 f2에 대한 전화소 탐색 범위(fp_cf1,fp_cf2)는 수직으로 +/-16이다.
· 설계 제약들때문에, 반대 패리티 전화소 필드 탐색을 수행하는데 시간이 충분하지 못하다.
t(me) = 18
t(me) = t(fp) + t(hp) + t(dp)
반화소 및 듀얼 프라임에 움직임 추정 시간이 각각 4ms와 같다고 가정하자. 그러면 전화소 움직임 추정 시간은
t(fp) = t(me) - (t(hp) + t(dp))
t(fp) = 18 - (4 + 4)
t(fp) = 10
이어야만 한다.
다음의 탐색 범위 크기에 대하여, 연관된 움직임 추정 시간들은 다음과 같다
탐색 범위 fp_cfr = +/- 32 H, +/- 32 V
t(fp_cfr_pfr) = 5 ㎲
탐색 범위 fp_cf1 = +/- 16 H, +/- 16 V
t(fp_cfl_pf1) = t(fp_cf1_pf2) = 2 ㎲
탐색 범위 fp_cf2 = +/- 16 H, +/- 16 V
t(fp_cf2_pf1) = t(fp_cf2_pf2) = 2 ㎲
현 매크로블럭필드 탐색들을 단지 동일한 패리티 탐색들에만 제한함으로써, 전화소 움직임 추정에 대한 시간이 t(fp)=10 ms인 요구조건을 충족시킬 것이다.
t(fp) = t(fp_cfr_pfr) + t(fp_cf1_pf1) + t(fp_cf1_pf2)
5 2 -----
+ t(fp_cf2_pf1) + t(fp_cf2_pf2)
----- 2
t(fp) = 9 ㎲
본 발명을 이용함으로써, 세 영역의 움직임 추정 파라미터들은 화상의 중앙부에서의 화질을 향상시키기 위하여 조정될 수 있다. 움직임 추정 시간은 두개의 비중앙 영역들에서는 감소될 것이고, 절약된 시간이 중앙부에서 사용될 것이다.
영역 R1'에서, 다음과 같이 움직임 추정 파라미터들이 설정될 것이다.
· 현 프레임 탐색에 대한 전화소 탐색 범위(fp_cfr)가 수평으로 +/- 8이고 수직으로 +/- 8이다.
· 현 필드 f1 또는 f2에 대해서는 전화소 탐색 범위를 수행하지 않는다.
· 반화소 탐색들을 수행하지 않는다.
· 듀얼 프라임 탐색들을 수행하지 않는다.
매크로블럭당 R1'의 전화소 움직임 추정 시간 t(fpR1), 매크로블럭당 R1' 움직임 추정 시간 t(meR1) 및 R1'에 대한 총 움직임 추정 시간 T(meR1)이 도시된 바와 같이 계산된다.
다음의 탐색 범위 크기에 대하여, 연관된 움직임 추정 시간들이 다음과 같다고 가정한다.
탐색 범위 fpR1_cfr = +/- 8 H, +/- 8 v
t(fpR1_cfr_pfr) = 2
t(fpR1) = t(fpR1_cfr_pfr) +
2
t(fpR1_cf1_pf1) + t(fpR1_cf1_pf2) +
--- ---
t(fpR1_cf2_pf1) + t(fpR1_cf2_pf2)
--- ---
t(fpR1) = 2
t(meR1) = t(fpR1) + t(hp) + t(dp)
t(meR1) = 2 + --- + ---
t(meR1) = 2 ㎲
T(meR1) = 292 ㎲ (다시 말해, 146개의 매크로블럭)
영역 R2'에서 다음과 같은 움직임 추정 파라미터들이 설정될 것이다.
· 현 프레임 탐색(hp_cfr)에 대한 전화소 탐색 범위는 수평으로 +/-16이고 수직으로 +/-16이다.
· 현 필드 f1 또는 f2에 대한 전화소 탐색 범위(fp_cf1,fp_cf2)가 수평으로 +/-8 이고 수직으로 +/- 8 이다.
· 전화소 현 필드 반대 패리티 탐색들은 수행하지 않는다.
· 반화소 탐색들을 수행하라.
·듀얼 프라임 탐색들을 수행하지 말라.
매크로블럭당 R1'의 전화소 움직임 추정 시간 t(fpR1), 매크로블럭당 R1'움직임 추정 시간 t(meR1) 및 R1'에 대한 총 움직임 추정 시간 T(meR1)이 도시된 바와 같이 계산된다.
다음과 같은 탐색 범위 크기에 대하여, 연관된 움직임 추정 시간들이 다음과 같다고 가정하자.
탐색 범위 fpR2_cfr = +/- 16 H, +/- 16 V
탐색 범위 fpR2_cf1 = +/- 8 H, +/- 8 V
t(fpR2_cf1_pf1) = t(fp_cf1_pf2) = 1 ㎲
탐색 범위 fpR2_cf2 = +/- 8 H, +/- 8 V
t(fpR2_cf2_pf1) = t(fp_cf2_pf2) = 1 ㎲
t(fpR2) = t(fpR2_cfr_pfr) +
3
t(fpR2_cf1_pf1) + t(fpR2_cf1_pf2) +
1 ---
t(fpR2_cf2_pf1) + t(fpR2_cf2_pf2)
--- 1
t(fpR2) = 5 ㎲
t(meR2) = t(fpR2) + t(hp) + t(dp)
t(meR2) = 5 + 4 + ---
t(meR2) = 9 ㎲
T(meR2) = 2070 ㎲ (다시 말해, 230개의 매크로블럭)
영역 R3'에서, 다음과 같이 움직임 추정 파라미터들이 설정될 것이다.
· T(meR3) = 24,300 - (292 + 2070) = 21,938
· t(meR3) = 21,938/974 매크로블럭
· t(meR3) = 22.5 ㎲
· 모든 탐색들을 수행한다.
· t(fpR3) = 22.5 - (t(hp) + t(dp))
· t(fpR3) = 22.5 - ( 4 + 4 )
· t(fpR3) = 14.5
· 추가적인 시간이 전화소 현 프레임 탐색을 위한 범위를 확장하는데 사용될 수 있다.
· 현 프레임 탐색에 대한 전화소 탐색 범위(fp_cfr)가 수평으로 +/- 48 이고 수직으로 +/- 48이다.
· 현 필드 f1 또는 f2에 대한 전화소 탐색 범위(fp_cf1,fp_cf2)가 수평으로 +/-16이고 수직으로 +/-16이다.
· 모든 전화소 현 필드 탐색들을 수행한다.
· 반화소 탐색들을 수행한다.
· 듀얼 프라임 탐색들을 수행한다.
매크로블럭당 R1'의 전화소 움직임 추정 시간 t(fpR3), 매크로블럭당 R1' 움직임 추정 시간 t(meR3) 및 R1'에 대한 총 움직임 추정 시간 T(meR3)이 도시된 바와 같이 계산된다.
탐색 범위 fpR3_cfr = +/- 48 H, +/- 48 V
탐색 범위 fpR3_cf1 = +/- 16 H, +/- 16 V
탐색 범위 fpR3_cf2 = +/- 16 H, +/- 16 V
t(fpR3) = t(fpR3_cfr_pfr) +
6.5
t(fpR3_cf1_pf1) + t(fpR3_cf1_pf2) +
2 2
t(fpR3_cf2_pf1) + t(fpR3_cf2_pf2)
2 2
t(fpR3) = 14.5
t(meR3) = t(fpR3) + t(hp) + t(dp)
t(meR3) = 14.5 + 4 + 4
t(meR3) = 22.5 ㎲
T(meR3) = 21915 ㎲ (다시 말해, 974개의 매크로블럭)
본 예에서는, 본 발명은 화상의 중앙부의 974개의 매크로블럭에 대한 전화소 현 프레임 탐색상에서 두개의 추가적인 탐색들, 반대 패리티, 전화소 필드 탐색들 및 확장된 탐색 범위를 두개의 주변부의 376개의 매크로블럭에 대한 움직임 추정 시간을 제한함으로써 가능하게 하였다. 이것은 화상의 중앙부에 있어 보다 좋은 움직임 추정 및 압축을 가능하게 할 것이다. 요구되는 바와 같이, 화상에 대한 총 움직임 추정 시간은 24,300 ms 보다 훨씬 작다.
T(me) = T(meR1) + T(meR2) + T(meR3)
= 292 + 2070 + 21915
= 24,277
총 움직임 추정 시간 뿐만 아니라, 다수의 부호화 파라미터들이 각 매크로블럭 또는 화상에 대하여 화상상에서 정의된 다수의 영역들중 한 영역내 그 위치에 근거하여 조정될 수 있다. 예컨대, 비트할당은 지각된 화질에 영향을 미칠 또 다른 부호화 파라미터이다. 비트 할당을 위한 기준은 부호화 비디오 스트림에 대한 지정 비트율이다. 비트율은 초당 비트수로 정의된다. 부호화된 화상의 매크로블럭 프레임 비트 및 타입에 근거하여, 화상당 비트수가 할당된다. 예컨대, 초당 6,000,000(6 Mbps)이고 초당 30 프레임인 화상들에 있어, 각 비트들이 균일하게(획일적으로) 할당된다고 가정하면, 각 화상은 200,000 비트를 할당받을 것이다. 720×480 화상(1350 개의 매크로블럭)에 있어서, 매크로블럭당 148 비트가 할당될 것이다.
디지탈 비디오 부호화기의 비트율 제어 알고리즘은 매크로블럭당 할당 비트들을 매크로블럭 부호화하기 위한 목표(target)로서 사용하여 적절한 양자화값을 설정할 것이다. 간단한 알고리즘은 목표 비트들의 값에 기초하여 양자화값을 설정하는 것이다. 보다 복잡한 알고리즘들은 전처리(pre-processing) 및 궤환(feedback)을 반영하여 그 양자화를 조정하는데, 사용될 수 있는 추가적인 정보를 제공할 수 있다.
움직임 추정 파라미터와 같은 다른 부호화 파라미터들뿐만 아니라 매크로블럭당 목표 비트에 대한 조정은 부호화기내에 구현된 부호화기 프로세서(200)의 한 기능인데, 이 프로세서는 소프트웨어 제어하에 필요한 값을 조정할 수 있는 능력을 가지고 있다. 도 6에는, 부호화기 프로세서(200)가 하나 또는 그 이상의 움직임 추정 파라미터들을 제어하기 위한 움직임 추정 처리부(43) 및 매크로블럭당 설정된 목표 비트들에 근거하여 양자화 값을 제어하는 양자화부(23)의 양쪽에 연결된 채로 도시되어 있다. 본 발명에 따라 소프트웨어를 구비한 프로세서(200)의 구현이 본 명세서에서 제시된 논의에 근거하여 당업자에 의해 즉시 구현될 수 있다. 프로세서(200)는 본질적으로 움직임 추정 구성(setup) 및 매크로블럭당 목표 비트값을 제어한다.
본 발명에 따르면, 매크로블럭당 할당되는 비트수는 화상내 매크로블럭의 위치, 즉 분할된 화상의 어느 영역에 매크로블럭이 위치하는지에 근거하여 조정된다. 본 예에서 정의된 세개의 영역들에 기초하여, 본 발명에 따르면 매크로블럭당 다음의 비트수(MB)가 각 영역에 대하여 할당될 수 있다.
영역 1 - 50 비트/MB 총 영역 1 비트수 = 7.3K
영역 2 - 100 비트/MB 총 영역 2 비트수 = 23K
영역 3 - 174 비트/MB 총 영역 3 비트수 = 169.5K
상기 수에 의하면, 화상당 총 비트수가 요구되는 200,000 비트를 충족시키게 된다. 하지만, 매크로블럭당 목표 비트들은 선택적으로 분배하면, 화상의 중앙 영역은 본 발명 이전에는 매크로블럭당 거의 20% 이상의 목표 비트를 할당받는다. 보다 높은 목표값이 비트할당 알고리즘에서 인자로서 고려되고, 화상의 중앙부에서는 보다 낮은 양자화를 발생시키며 따라서 보다 높은 화질을 얻게 될 것이다.
당업자라면, 상기 논의로부터 디지탈 비디오 부호화기에서 사용되는 선택된 부호화 파라미터들을 제어함에 기초하여 화질을 향상시키기 위한 여러 접근법들이 본 명세서에서 함께 제시되고 있음을 파악할 것이다. 모든 측면에 있어서, 화상은 처음에 다수의 영역들, 즉 중앙 영역 및 주변 영역 따위로 분할된다. 다음에, 움직임 추정 파라미터 또는 매크로블럭당 비트와 같은 부호화 파라미터가 화상의 다수의 블럭들내 매크로블럭의 위에 근거하여 각 매크로블럭에 대하여 조정된다. 본 발명은 영역들의 경계 및 조정될 지정 부호화 파라미터들을 정의하려 하지 않는다. 그러한 세부 사항들은 소스 재료, 애플리케이션 또는 다른 기준에 근거하여 정의될 수 있다. 움직임 추정 및 목표 조정은 독립적이다. 하지만, 양 개념들은 보다 더 화질을 선택적으로 최적화할 수 있는 능력을 제공하는데 함께 사용될 수 있다.
본 발명은 예컨대, 컴퓨터로 사용가능한 매체를 구비한 제조 물품(즉, 하나 또는 그 이상의 컴퓨터 프로그램 제품)내에 포함될 수 있다. 그 매체는 그 안에, 예컨대, 본 발명의 처리 능력을 제공하고 이용하기 위한 컴퓨터로 판독가능한 프로그램 코드 수단을 내장하고 있다. 그 제조 물품은 컴퓨터 시스템의 일부로서 포함되거나 별개로 판매될 수 있다.
본 명세서에서 묘사된 흐름도는 예로서 제공되는 것이다. 본 발명의 사상으로부터 이탈하지 않으면서 본 명세서에 기술된 이러한 흐름도 또는 단계들 또는 동작을 변형할 수 있다. 예컨대, 어떤 경우들에서는, 그 단계들이 다른 순서로 수행되거나 단계들이 부가, 삭제 또는 수정될 수도 있다. 모든 이러한 변형들은 첨부된 청구항에서 인용된 바와 같이 본 발명의 일부를 구성한다고 간주된다.
본 발명이 본 명세서에서는 특정의 바람직한 실시예에 따라 상세히 기술되었지만, 당업자라면 많은 수정 및 변형을 가할 수 있다. 따라서, 첨부된 청구항은 본 발명의 진정한 사상 및 범위내인 한 모든 그러한 수정 및 변형을 포함한다고 본다.
따라서, 본 발명에 따르면 움직임 추정 파라미터 및/또는 매크로블럭당 목표 비트율을 조정함으로써 선택적으로 화질을 최적화할 수 있게 된다.

Claims (26)

  1. 다수의 매크로블럭들을 가지는 화상의 처리 방법에 있어서,
    ① 상기 화상을 적어도 두개의 영역들로 분할하는 단계와,
    ② 상기 화상의 각 매크로블럭에 대하여 상기 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 적어도 하나의 부호화 파라미터를 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  2. 제 1 항에 있어서, 상기 분할에 의한 상기 적어도 두개의 영역들이 상기 화상의 중앙 영역 및 상기 중앙 영역의 외부에 배치되는 적어도 하나의 상기 화상의 외부 영역을 포함하고, 상기 방법이 상기 적어도 하나의 상기 화상의 외부 영역의 화질과 비교해서 상기 화상의 중앙 영역의 화질을 개선하기 위하여 각 매크로블럭에 대하여 적어도 하나의 부호화 파라미터를 설정하는 단계를 더 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  3. 제 2 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 움직임 추정 파라미터를 포함하고, 상기 설정 단계가 상기 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 상기 화상의 각 매크로블럭에 대하여 상기 움직임 추정 파라미터를 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  4. 제 3 항에 있어서, 상기 움직임 추정 파라미터가 상기 매크로블럭에 대한 총 움직임 추정 처리 시간을 포함하고, 상기 설정 단계가 상기 화상의 적어도 하나의 외부 영역내의 각 매크로에 대한 총 움직임 추정 처리 시간과 비교해서 상기 화상의 중앙 영역내의 각 매크로블럭에 대한 총 움직임 추정 처리 시간을 보다 높게 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  5. 제 3 항에 있어서, 상기 움직임 추정 파리미터가 움직임 추정 탐색 타입, 움직임 추정 탐색 영역, 또는 상기 매크로블럭에 대한 움직임 추정 처리를 위한 움직임 추정 탐색 횟수을 포함하고, 상기 설정 단계가 상기 화상의 적어도 하나의 외부 영역내의 각 매크로블럭의 그것과 비교해서 상기 화상의 중앙 영역내의 각 매크로블럭에 대한 움직임 추정 처리를 위한 움직임 추정 탐색 타입, 움직임 추정 탐색 영역, 또는 움직임 추정 탐색 횟수를 보다 완전하게 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  6. 제 3 항에 있어서, 상기 움직임 추정 파라미터가 상기 매크로블럭에 대한 움직임 추정 처리를 위한 움직임 추정 탐색 타입을 포함하고, 상기 설정 단계가 상기 화상의 중앙영역내의 각 매크로블럭에 대해서는 완전한 추정 탐색을 제공하고 상기 화상의 적어도 하나의 외부 영역내의 각 매크로블럭에 대해서는 단지 부분적인 움직임 추정 탐색만을 제공하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  7. 제 2 항에 있어서, 상기 화상의 상기 적어도 하나의 외부 영역은 두개의 외부 영역들을 포함하며, 제 1 외부 영역은 상기 중앙 영역을 둘러싸고, 제 2 외부 영역은 상기 제 1 외부 영역을 둘러싸고, 상기 제 2 외부 영역은 상기 화상의 주변 영역을 포함하며,상기 방법이 상기 제 2 외부 영역내의 매크로블럭들과 비교해서 제 1 외부 영역내의 매크로블럭들의 화질 및 상기 제 1 외부 영역내의 매크로블럭과 비교해서 상기 중앙 영역의 매크로블럭의 화질을 개선시키기 위하여 상기 화상의 각 매크로블럭에 대하여 상기 적어도 하나의 부호화 파라미터를 설정하는 단계를 더 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  8. 제 7 항에 있어서, 상기 움직임 파라미터가 상기 매크로블럭에 대한 총 움직임 추정 처리 시간을 포함하고, 상기 설정 단계가 상기 중앙 영역내의 매크로블럭에 대한 총 움직임 추정 처리 시간을 가장 높게, 상기 제 1 외부 영역내의 매크로블럭에 대한 총 움직임 추정 처리 시간을 중간 정도로 그리고 상기 주변 영역내의 매크로블럭에 대한 총 움직임 추정 처리 시간을 가장 낮게 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  9. 제 2 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 양자화값을 포함하고 상기 설정 단계가 상기 화상의 중앙 영역내의 매크로블럭들이 상기 화상의 적어도 하나의 외부 영역내의 매크로블럭들보다 덜 양자화를 겪게 되도록 상기 화상의 각 매크로블럭헤 대하여 양자화값을 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  10. 제 2 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 매크로블럭당 목표 비트들을 포함하고, 상기 설정 단계가 화상의 적어도 하나의 외부 영역내의 각 매크로블럭에 대하여 설정된 매크로블럭당 목표 비트들과 비교해서 상기 화상의 중앙 영역내의 각 매크로블럭에 대하여 매크로블럭당 목표 비트들을 보다 높게 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  11. 제 10 항에 있어서, 상기 적어도 하나의 외부 영역은 제 1 외부 영역 및 제 2 외부 영역을 포함하고, 상기 제 1 외부 영역은 상기 중앙 영역을 둘러싸고, 상기 제 2 외부 영역은 상기 제 1 외부 영역을 둘러싸고, 상기 제 2 외부 영역이 주변 영역을 포함하며, 상기 설정 단계가 상기 제 1 외부 영역내의 각 매크로블럭에 대한 매크로블럭당 목표비트들을 상기 화상의 중앙 영역내의 매크로블럭에 대한 매크로블럭당 목표 비트들과 상기 화상의 주변 영역내의 매크로블럭에 대한 매크로블럭당 목표 비트들의 중간값으로 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  12. 제 1 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 움직임 추정 파라미터 및 매크로블럭당 목표 비트들을 포함하며,상기 설정 단계가 상기 움직임 추정 파라미터 및 상기 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 상기 화상의 각 매크로블럭에 대한 매크로블럭당 목표 비트들을 설정하는 단계를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  13. 제 12 항에 있어서, 상기 적어도 두개의 영역들이 중앙 영역 및 적어도 하나의 외부 영역을 포함하고, 상기 움직임 추정 파라미터가 상기 매크로블럭에 대한 총 움직임 추정 처리 시간을 포함하며, 상기 설정 단계가 상기 화상의 적어도 하나의 외부 영역내의 각 매크로에 대한 총 움직임 추정 처리 시간과 비교해서 상기 화상의 중앙 영역내의 각 매크로블럭에 대한 총 움직임 추정 처리 시간을 보다 높게 설정하는 단계를 포함하며, 각 매크로블럭에 대한 매크로블럭당 목표 비트들을 설정하는 상기 단계가 상기 화상의 중앙 영역내의 매크로블럭들에 대한 매크로블럭당 x 목표 비트들 및 상기 화상의 적어도 하나의 외부 영역내의 각 매크로블럭에 대한 매크로블럭당 y 목표 비트들을 제공하는 단계 ― 여기서, x y 임 ― 를 포함하는 다수의 매크로블럭을 가지는 화상의 처리 방법.
  14. 다수의 매크로블럭들을 가지는 화상을 처리하기 위한 디지탈 비디오 부호화기 시스템에 있어서,
    ① 상기 화상을 적어도 두개의 영역들로 분할하기 위한 수단과,
    ② 상기 화상의 각 매크로블럭에 대하여 상기 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 적어도 하나의 부호화 파라미터를 설정하기 위한 수단을 포함하는 디지탈 비디오 부호화기 시스템.
  15. 제 14 항에 있어서, 상기 화상의 상기 적어도 두개의 영역들이 상기 화상의 중앙 영역 및 상기 중앙 영역의 외부에 배치되는 적어도 하나의 외부 영역을 포함하고, 상기 설정 수단이 상기 적어도 하나의 상기 화상의 외부 영역의 화질과 비교해서 상기 화상의 중앙 영역의 화질을 개선하기 위하여 각 매크로블럭에 대하여 적어도 하나의 부호화 파라미터를 설정하기 위한 수단을 포함하는 디지탈 비디오 부호화기 시스템.
  16. 제 15 항에 있어서, 상기 적어도 하나의 외부 영역이 다수의 외부 영역들을 포함하고, 상기 다수의 외부 영역들중 각 외부 영역이 상기 중앙 영역과 동일한 중심을 가지며, 상기 설정 수단이 화질이 중앙 영역에서부터 상기 다수의 외부 영역들중 각 외부 영역을 거쳐 상기 화상의 주변쪽으로 점점 줄어들도록 상기 화상의 각 매크로블럭에 대하여 상기 적어도 하나의 부호화 파라미터를 설정하기 위한 수단을 포함하는 디지탈 비디오 부호화기 시스템.
  17. 제 15 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 적어도 하나의 움직임 추정 파라미터, 매크로블럭당 목표 비트들 및 양자화 값을 포함하는 디지탈 비디오 부호화기 시스템.
  18. 제 17 항에 있어서, 상기 움직임 추정 파라미터가 총 움직임 추정 처리 시간, 움직임 추정 탐색 타입, 움직임 추정 탐색 영역 또는 수행되는 움직임 추정 탐색 횟수중 하나를 포함하는 디지탈 비디오 부호화기 시스템.
  19. 제 15 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 제 1 파라미터 및 제 2 파라미터를 포함하고, 상기 제 1 파라미터가 상기 매크로블럭에 대한 총 움직임 추정 처리 시간을 포함하고 상기 제 2 파라미터가 매크로블럭당 목표 비트들을 포함하며, 상기 설정 수단이 상기 화상의 적어도 하나의 외부 영역의 화질과 비교해서 상기 화상의 중앙 영역의 화질을 개선시키기 위하여 상기 매크로블럭에 대한 총 움직임 추정 처리 시간 및 매크로블럭당 목표 비트들을 설정하는 수단을 포함하는 디지탈 비디오 부호화기 시스템.
  20. 제 19 항에 있어서, 움직임 추정 논리부 및 양자화기를 더 포함하고, 상기 움직임 추정 논리부가 상기 설정 수단에 의해 제공되는 각 매크로블럭에 대한 상기 총 움직임 추정 시간을 사용하며, 상기 양자화기가 상기 설정 수단에 의해 제공되는 매크로블럭당 상기 목표 비트들을 사용하는 디지탈 비디오 부호화기 시스템.
  21. 다수의 매크로블럭들을 가지는 화상을 처리하는데 사용하기 위한 컴퓨터로 판독가능한 프로그램 코드 수단을 그 안에 구비하는 컴퓨터로 사용가능한 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 프로그램 제품내의 상기 컴퓨터로 판독가능한 프로그램 코드 수단이
    ① 컴퓨터로 하여금 화상을 적어도 두개의 영역으로 분할하도록 하게 하는 컴퓨터로 판독가능한 프로그램 코드 수단과,
    ② 컴퓨터로 하여금 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 상기 화상의 각 매크로블럭에 대하여 적어도 하나의 부호화 파라미터를 설정하도록 하게 하는 컴퓨터로 판독가능한 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품.
  22. 제 21 항에 있어서, 상기 화상의 상기 적어도 두 개의 영역들이 상기 화상의 중앙 영역 및 상기 중앙 영역의 외부에 배치되는 적어도 하나의 외부 영역을 포함하고, 컴퓨터로 하여금 상기 적어도 하나의 부호화 파라미터를 설정하도록 하게 하는 상기 컴퓨터로 판독가능한 프로그램 코드 수단이 컴퓨터로 하여금 상기 적어도 하나의 상기 화상의 외부 영역의 화질과 비교해서 상기 화상의 중앙 영역의 화질을 개선하기 위하여 각 매크로블럭에 대하여 적어도 하나의 부호화 파라미터를 설정하도록 하게 하는 컴퓨터로 판독가능한 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품.
  23. 제 21 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 움직임 추정 파라미터를 포함하고, 컴퓨터로 하여금 움직임 추정 파라미터를 설정하도록 하게 하는 상기 컴퓨터로 판독가능한 프로그램 코드 수단이 컴퓨터로 하여금 상기 적어도 하나의 상기 화상의 외부 영역의 화질과 비교해서 상기 화상의 중앙 영역의 화질을 개선하기 위하여 각 매크로블럭에 대하여 움직임 추정 파라미터를 설정하도록 하게 하는 컴퓨터로 판독가능한 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품.
  24. 제 22 항에 있어서, 상기 부호화 파라미터가 매크로블럭당 목표 비트들을 포함하고, 컴퓨터로 하여금 매크로블럭당 목표 비트들을 설정하도록 하게 하는 상기 컴퓨터로 판독가능한 프로그램 코드 수단이 컴퓨터로 하여금 상기 적어도 하나의 상기 화상의 외부 영역의 화질과 비교해서 상기 화상의 중앙 영역의 화질을 개선하기 위하여 각 매크로블럭에 대하여 매크로블럭당 목표 비트들을 설정하도록 하게 하는 컴퓨터로 판독가능한 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품.
  25. 제 22 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 움직임 추정 파라미터 및 매크로블럭당 목표 비트들을 포함하고, 컴퓨터로 하여금 상기 적어도 하나의 부호화 파라미터를 설정하도록 하게 하기 위한 상기 컴퓨터로 판독가능한 코드 수단이 상기 화상의 적어도 두개의 영역들중 어느 영역에 상기 매크로블럭이 위치하는지에 기초하여 상기 화상의 각 매크로블럭에 대하여 움직임 추정 파라미터 및 매크로블럭당 목표 비트들을 컴퓨터로 하여금 설정하도록 하게 하기 위한 컴퓨터로 판독가능한 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품.
  26. 제 22 항에 있어서, 상기 적어도 하나의 부호화 파라미터가 양자화값을 포함하며, 컴퓨터로 하여금 상기 적어도 하나의 부호화 파라미터를 설정하도록 하게 하기 위한 상기 컴퓨터로 판독가능한 코드 수단이 상기 화상의 중앙 영역의 매크로블럭들이 상기 화상의 적어도 하나의 외부 영역의 매크로블럭들보다 덜 양자화를 겪게 되는 화상의 각 매크로블럭에 대하여 양자화값을 컴퓨터로 하여금 설정하도록 하게 하기 위한 컴퓨터로 판독가능한 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품.
KR1019980013517A 1997-05-19 1998-04-15 화질을최적화하기위한화상처리방법및디지탈비디오부호화기시스템 KR100305485B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/858,831 1997-05-19
US08/858,831 US5920359A (en) 1997-05-19 1997-05-19 Video encoding method, system and computer program product for optimizing center of picture quality
US8/858,831 1997-05-19

Publications (2)

Publication Number Publication Date
KR19980086613A true KR19980086613A (ko) 1998-12-05
KR100305485B1 KR100305485B1 (ko) 2001-10-29

Family

ID=25329303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980013517A KR100305485B1 (ko) 1997-05-19 1998-04-15 화질을최적화하기위한화상처리방법및디지탈비디오부호화기시스템

Country Status (5)

Country Link
US (1) US5920359A (ko)
JP (1) JP3703299B2 (ko)
KR (1) KR100305485B1 (ko)
MY (1) MY117128A (ko)
SG (1) SG66467A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040005290A (ko) * 2002-07-09 2004-01-16 엘지전자 주식회사 이동통신 단말기의 영상신호 코딩 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768775B1 (en) * 1997-12-01 2004-07-27 Samsung Electronics Co., Ltd. Video CODEC method in error resilient mode and apparatus therefor
US6501799B1 (en) * 1998-08-04 2002-12-31 Lsi Logic Corporation Dual-prime motion estimation engine
US6567117B1 (en) * 1998-09-09 2003-05-20 Nippon Telegraph And Telephone Corporation Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US6668016B1 (en) * 1999-05-11 2003-12-23 Matsushita Electric Industrial Co., Ltd. Moving image coding method and apparatus, and moving image coding and decoding system
JP2001285876A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
KR100603592B1 (ko) * 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
DE10300048B4 (de) 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
TWI220636B (en) * 2002-11-13 2004-08-21 Mediatek Inc System and method for video encoding according to degree of macroblock distortion
US20060104352A1 (en) * 2004-11-17 2006-05-18 Princeton Technology Corporation Block matching in frequency domain for motion estimation
US8081684B2 (en) 2005-08-19 2011-12-20 Qualcomm Incorporated Picture-in-picture processing for video telephony
JP4682990B2 (ja) * 2007-02-06 2011-05-11 日本ビクター株式会社 カメラ画像圧縮処理装置及び圧縮処理方法
RU2494568C2 (ru) * 2008-07-25 2013-09-27 Сони Корпорейшн Способ и устройство обработки изображения
CN102577393B (zh) * 2009-10-20 2015-03-25 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法及运动图像解码方法
WO2011090352A2 (ko) 2010-01-22 2011-07-28 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
JP5906430B2 (ja) * 2011-01-24 2016-04-20 パナソニックＩｐマネジメント株式会社 動画伝送端末及び動画伝送システム
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8617076D0 (en) * 1986-07-14 1986-08-20 British Broadcasting Corp Video scanning systems
FR2624997B1 (fr) * 1987-12-16 1990-06-01 France Etat Procede d'estimation multi predictif du mouvement des points d'une image electronique
US4972260A (en) * 1988-08-22 1990-11-20 Matsushita Electric Industrial Co., Ltd. Apparatus for coding a moving-picture signal
US4989089A (en) * 1988-11-08 1991-01-29 U.S. Philips Corporation Television picture coding device and corresponding decoding device, a television picture transmission system incorporating such devices, and transmission and receiving stages of such a system
JP3159309B2 (ja) * 1989-09-27 2001-04-23 ソニー株式会社 映像信号符号化方法及び映像信号符号化装置
JP3513160B2 (ja) * 1991-12-06 2004-03-31 キヤノン株式会社 動画像信号符号化装置及びその方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5512956A (en) * 1994-02-04 1996-04-30 At&T Corp. Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences
US5771073A (en) * 1995-06-07 1998-06-23 Massachusetts Institute Of Technology Advanced television system using a different encoding technique for non-image areas

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040005290A (ko) * 2002-07-09 2004-01-16 엘지전자 주식회사 이동통신 단말기의 영상신호 코딩 방법

Also Published As

Publication number Publication date
SG66467A1 (en) 1999-07-20
MY117128A (en) 2004-05-31
US5920359A (en) 1999-07-06
KR100305485B1 (ko) 2001-10-29
JP3703299B2 (ja) 2005-10-05
JPH10336662A (ja) 1998-12-18

Similar Documents

Publication Publication Date Title
KR100305485B1 (ko) 화질을최적화하기위한화상처리방법및디지탈비디오부호화기시스템
KR101033548B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100313284B1 (ko) 화상의부호화방법,비인트라화상의매크로블럭부호화방법,화상매크로블럭부호화장치및비인트라화상매크로블럭부호화장치
US6993078B2 (en) Macroblock coding technique with biasing towards skip macroblock coding
US8331449B2 (en) Fast encoding method and system using adaptive intra prediction
US20120076203A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method
US5852682A (en) Post-processing method and apparatus for use in a video signal decoding apparatus
US7711196B2 (en) Apparatus and method for generating coded block pattern for alpha channel image and alpha channel image encoding/decoding apparatus and method using the same
EP1571850A2 (en) Apparatus and method for encoding and decoding image containing grayscale alpha channel image
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
KR19990067723A (ko) 비디오 프레임 시퀀스의 인코딩 방법 및 시스템과, 제조 물품
CN113727108B (zh) 视频解码方法、视频编码方法及相关设备
US5844607A (en) Method and apparatus for scene change detection in digital video compression
US5606372A (en) Video signal decoding apparatus capable of reducing blocking effects
US6823015B2 (en) Macroblock coding using luminance date in analyzing temporal redundancy of picture, biased by chrominance data
Jeong et al. Adaptive Huffman coding of 2-D DCT coefficients for image sequence compression
US6980598B2 (en) Programmable vertical filter for video encoding
JP5598199B2 (ja) 動画像符号化装置
CN114830642A (zh) 图像编码方法和图像解码方法
CN114830646A (zh) 图像编码方法和图像解码方法
KR100586103B1 (ko) 동영상 부호화 방법
JPH07336684A (ja) 画像信号復号化装置
Christopoulos et al. Segmented image coding with contour simplification for video sequences
Turaga et al. ITU-T Video Coding Standards
CN114788270A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20050616

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee