KR101362590B1 - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101362590B1
KR101362590B1 KR1020097000641A KR20097000641A KR101362590B1 KR 101362590 B1 KR101362590 B1 KR 101362590B1 KR 1020097000641 A KR1020097000641 A KR 1020097000641A KR 20097000641 A KR20097000641 A KR 20097000641A KR 101362590 B1 KR101362590 B1 KR 101362590B1
Authority
KR
South Korea
Prior art keywords
code amount
mode
control means
amount control
image
Prior art date
Application number
KR1020097000641A
Other languages
English (en)
Other versions
KR20090042235A (ko
Inventor
가즈시 사또
준이찌 다나까
이웬 주
요이찌 야가사끼
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20090042235A publication Critical patent/KR20090042235A/ko
Application granted granted Critical
Publication of KR101362590B1 publication Critical patent/KR101362590B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은, 보다 확실하게 부호량을 원하는 값 이하로 억제하도록 할 수 있는 화상 처리 장치 및 방법과 프로그램에 관한 것이다. 긴급 모드 판정부(142)는, 레이트 제어부(118)에 의해 산출되고 타겟 비트가 소정의 상한값을 초과하는 경우, 다음 픽처의 부호량이 상한값을 초과할 것 같다고 판정한다. 부호량 제어부(142)는, 다음 픽처의 부호량이 상한값을 초과할 것 같다고 판정된 경우, 소정의 주파수 성분의 변환 계수를 0으로 치환하도록 직교 변환부(114)를 제어하고, 적용하는 인트라 예측 모드를 제한하도록 인트라 예측부(125)를 제어하고, 적용하는 인터 예측 모드를 제한하도록 모드 판정부(127)를 제어한다. 본 발명은, 부호화 장치에 적용 가능하다.
Figure R1020097000641
인트라 예측 모드, 인터 예측 모드, 부호화 장치, 화상 처리 장치

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}
본 발명은, 화상 처리 장치 및 방법과 프로그램에 관한 것으로, 특히, 보다 확실하게 부호량을 원하는 값 이하로 억제할 수 있도록 한 화상 처리 장치 및 방법과 프로그램에 관한 것이다.
H.264/AVC(Advanced Video Coding) 방식에 의해 화상을 부호화하는 시스템에서는, HRD(Hypothetical Reference Decoder, 가상 참조 디코더) 버퍼의 용량, 네트워크의 회선 용량, 시스템 레이어의 제약, 디스크 드라이브의 판독 성능 등의 조건에 의해, 1 픽처당 부호량의 상한값이 설정된다. 부호량이 그 상한값을 초과하게 되면, 시스템의 동작에 지장을 초래할 우려가 있기 때문에, 종래, H.264/AVC 방식에 의해 화상을 부호화하는 부호화 장치에서, 부호량을 제어하는 방법이 다양하게 제안되어 있다(예를 들면, 특허 문헌 1 참조).
[특허 문헌 1] 일본 특허 공개 제2004-165894호 공보
<발명의 개시>
<발명이 해결하고자 하는 과제>
그러나, 예를 들면, 백색 잡음을 포함한 화상이 입력된 경우, 종래의 MPEG-2 TestModel5(TM5)로 규정되는 레이트 제어 방법 등에 기초한 제어에서는, 부호량이 상한값을 초과하게 될 가능성이 있다.
본 발명은, 이와 같은 상황을 감안하여 이루어진 것으로, 보다 확실하게 부호량을 원하는 값 이하로 억제할 수 있도록 하는 것이다.
<과제를 해결하기 위한 수단>
본 발명의 일 측면의 화상 처리 장치는, MPEG(Moving Picture Coding Experts Group)4, 또는, H.264/AVC(Advanced Video Coding) 방식에 의해 화상의 부호화를 행하는 화상 처리 장치로서, 비트 레이트의 제어를 행하는 제1 부호량 제어 수단의 제어에 의한 1 픽처당 부호량이 소정의 상한값을 초과할 것 같은지의 여부를 판정하는 판정 수단과, 1 픽처당 부호량이 상기 상한값을 초과할 것 같다고 판정된 경우, 상기 제1 부호량 제어 수단과는 다른 방식에 의해, 부호량을 억제하도록 부호화를 제어하는 제2 부호량 제어 수단이 설치되어 있다.
상기 판정 수단에는, 상기 제1 부호량 제어 수단에 의해 각 픽처에 할당되는 부호량에 기초하여, 1 픽처당 부호량이 소정의 상한값을 초과할 것 같은지의 여부를 판정시킬 수 있다.
상기 제2 부호량 제어 수단에는, 원 화상과 예측 화상의 차분인 차분 화상 내의 매크로 블록을 직교 변환한 변환 계수 중, 소정의 주파수 성분의 변환 계수를 0으로 치환하도록 제어시킬 수 있다.
제2 부호량 제어 수단에는, 직류 성분 이외의 주파수 성분의 변환 계수를 0으로 치환하도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, 직류 성분을 포함하는 모든 주파수 성분의 변환 계수를 0으로 치환하도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, 상기 제1 부호량 제어 수단에 의해 각 픽처에 할당되는 부호량에 기초하여, 변환 계수를 0으로 치환하는 주파수 성분의 범위를 변경하도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, 매크로 블록이 속하는 슬라이스의 타입에 기초하여, 변환 계수를 0으로 치환하는 주파수 성분의 범위를 변경하도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, 예측 화상의 생성에 적용되는 예측 모드를 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, 인트라 예측을 행하는 단위인 각 블록에 대하여, 동일한 예측 방향이 적용되도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단은, 상기 각 블록에 대하여 DC 모드가 적용되도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, 휘도 신호의 인트라 예측에서, Intra 16×6 모드가 적용되도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, 매크로 블록이 속하는 슬라이스의 타입에 기초하여, 인트라 예측을 행하는 단위인 블록의 크기를 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, P 슬라이스에 속하는 매크로 블록에 대한 예측 모드로서, 스킵 모드가 적용되도록 제어시킬 수 있다.
상기 제2 부호량 제어 수단에는, B 슬라이스에 속하는 매크로 블록에 대한 예측 모드로서, 스킵 모드 또는 다이렉트 모드가 적용되도록 제어시킬 수 있다.
본 발명의 일 측면의 화상 처리 방법은, MPEG(Moving Picture Coding Experts Group)4, 또는, H.264/AVC(Advanced Video Coding) 방식에 의해 화상의 부호화를 행하는 화상 처리 방법으로서, 비트 레이트의 제어를 행하는 부호량 제어 수단의 제어에 의한 1 픽처당 부호량이 소정의 상한값을 초과할 것 같은지의 여부를 판정하고, 1 픽처당 부호량이 상기 상한값을 초과할 것 같다고 판정된 경우, 상기 부호량 제어 수단과는 다른 방식에 의해, 부호량을 억제하도록 부호화를 제어하는 스텝을 포함한다.
본 발명의 일 측면의 프로그램은, MPEG(Moving Picture Coding Experts Group)4, 또는, H.264/AVC(Advanced Video Coding) 방식에 의해 화상의 부호화를 행하는 화상 처리를, 컴퓨터에 행하게 하는 프로그램으로서, 비트 레이트의 제어를 행하는 부호량 제어 수단의 제어에 의한 1 픽처당 부호량이 소정의 상한값을 초과할 것 같은지의 여부를 판정하고, 1 픽처당 부호량이 상기 상한값을 초과할 것 같다고 판정된 경우, 상기 부호량 제어 수단과는 다른 방식에 의해, 부호량을 억제하도록 부호화를 제어하는 스텝을 포함한다.
본 발명의 일 측면에서는, 비트 레이트의 제어를 행하는 부호량 제어 수단의 제어에 의한 1 픽처당 부호량이 소정의 상한값을 초과할 것 같은지의 여부가 판정되고, 1 픽처당 부호량이 상기 상한값을 초과할 것 같다고 판정된 경우, 상기 부호량 제어 수단과는 다른 방식에 의해, 부호량을 억제하도록 부호화가 제어된다.
<발명의 효과>
본 발명의 일 측면에 의하면, 부호량이 억제된다. 또한, 본 발명의 일 측면에 의하면, 보다 확실하게 부호량을 원하는 값 이하로 억제할 수 있다.
도 1은 본 발명을 적용한 화상 처리 장치의 일 실시 형태를 나타내는 블록도.
도 2는 도 1의 화상 처리 장치에 의해 실행되는 부호화 처리를 설명하기 위한 플로우차트.
도 3은 도 1의 화상 처리 장치에 의해 실행되는 긴급 모드 대응 처리를 설명하기 위한 플로우차트.
도 4는 퍼스널 컴퓨터의 구성의 예를 나타내는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
101: 화상 처리 장치
114: 직교 변환부
115: 양자화부
118: 레이트 제어부
119: 긴급 모드 제어부
125: 인트라 예측부
126: 움직임 예측·보상부
127: 모드 판정부
141: 긴급 모드 판정부
142: 부호량 제어부
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다.
도 1은, 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 나타내는 블록도이다.
화상 처리 장치(101)는, 입력된 화상을 H.264/AVC(Advanced Video Coding) 방식에 의해 부호화하고, 부호화한 화상을, 예를 들면, 후단의 도시하지 않은 기록 장치나 전송로 등에 출력하는 장치이다.
화상 처리 장치(101)는, A/D(Analog/Digital) 변환부(111), 화면 재배열 버퍼(112), 가산기(113), 직교 변환부(114), 양자화부(115), 가역 부호화부(116), 축적 버퍼(117), 레이트 제어부(118), 긴급 모드 제어부(119), 역양자화부(120), 역직교 변환부(121), 가산기(122), 디블록킹 필터(123), 프레임 메모리(124), 인트라 예측부(125), 움직임 예측·보상부(126) 및 모드 판정부(127)를 포함하도록 구성된다. 또한, 긴급 모드 제어부(119)는, 긴급 모드 판정부(141) 및 부호량 제어부(142)를 포함하도록 구성된다.
A/D 변환부(111)는, 외부로부터 입력된 아날로그의 화상을 디지털의 화상으로 A/D 변환하고, 변환 후의 디지털의 화상(이하, 적절히, '원 화상'이라고도 함)을 화면 재배열 버퍼(112)에 공급한다.
화면 재배열 버퍼(112)는, A/D 변환부(111)로부터 공급된 원 화상을 GOP(Group Of Pictures) 구조에 기초하여 재배열하고, 순서대로, 가산기(113), 인트라 예측부(125) 및 움직임 예측·보상부(126)에 공급한다.
가산기(113)는, 매크로 블록마다, 원 화상에 대하여 인트라 예측(프레임 내 예측)을 이용하여 예측한 인트라 예측 화상 및 인터 예측(프레임간 예측, 움직임 보상 예측)을 이용하여 예측한 인터 예측 화상 중 어느 한쪽의 예측 화상을, 모드 판정부(127)로부터 취득한다. 가산기(113)는, 매크로 블록마다, 원 화상과 인트라 예측 화상 또는 인터 예측 화상의 차분을 취하고, 차분을 취함으로써 얻어진 예측 오차로 이루어지는 차분 화상을 직교 변환부(114)에 공급한다.
직교 변환부(114)는, 차분 화상에 대하여, 소정 크기의 블록마다 이산 코사인 변환 또는 카루넨-뢰브 변환 등의 직교 변환을 실시하고, 이것에 의해 얻어진 변환 계수를 양자화부(115)에 공급한다. 또한, 직교 변환부(114)는, 도 3을 참조하여 후술하는 바와 같이, 1 픽처당 부호량이 소정의 상한값을 초과할 것 같은 긴급 모드 시에는, 긴급 모드부(126)의 제어를 기초로, 소정의 주파수 성분의 변환 계수의 값을 0으로 치환한다.
양자화부(115)는, 레이트 제어부(118)에 의해 제어되는 양자화 스케일을 이용하여, 직교 변환부(114)로부터 공급된 변환 계수를 양자화하고, 양자화한 변환 계수를 가역 부호화부(116) 및 역양자화부(120)에 공급한다.
가역 부호화부(116)는, 인트라 예측에 관한 정보를 인트라 예측부(125)로부터 취득하고, 인터 예측에 관한 정보를 움직임 예측·보상부(126)로부터 취득한다. 가역 부호 변환부(117)는, 양자화된 변환 계수, 인트라 예측에 관한 정보, 인터 예 측에 관한 정보 등을 소정의 순서로 배치하고, 배치된 데이터에 대하여 CAVLC(Context-Adaptive Variable Length Coding) 등의 가변 길이 부호화, 또는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등의 산술 부호화 등의 가역 부호화 처리를 실시한다. 가역 부호화부(116)는, 부호화한 데이터를 축적 버퍼(117)에 공급하여 축적시킨다.
축적 버퍼(117)는, 가역 부호화부(116)로부터 공급된 데이터를, H.264/AVC 방식으로 부호화된 화상으로서, 예를 들면, 후단의 도시하지 않은 기록 장치나 전송로 등에 출력한다.
레이트 제어부(118)는, 축적 버퍼(117)에 기억되어 있는 화상의 부호량에 기초하여, 부호화하는 화상에 할당되는 시간당 부호량인 비트 레이트를 제어한다.
예를 들면, 레이트 제어부(118)는, MPEG-2 TestModel5(TM5)로 규정되는 레이트 제어 방식을 이용하여, 양자화부(115)가 양자화를 행할 때에 변환 계수를 제산하는 값인 양자화 스케일의 값을 제어함으로써 비트 레이트를 제어한다. 또한, 레이트 제어부(118)는, 다음에 부호화하는 화상(픽처)에 할당되는 부호량의 견적값인 타겟 비트를 산출하고, 산출된 타겟 비트를 나타내는 정보를 긴급 모드 제어부(119)에 공급한다.
긴급 모드 제어부(119)는, 긴급 모드에 관한 처리를 행한다.
긴급 모드 제어부(119)를 구성하는 요소 중, 긴급 모드 판정부(141)는, 레이트 제어부(118)로부터 취득한 타겟 비트에 기초하여, 다음에 부호화되는 화상(픽처)에 대하여, 1 픽처당 부호량이 소정의 상한값을 초과할 것 같은지의 여부를 판 정한다. 긴급 모드 판정부(141)는, 판정 결과를 나타내는 정보를 부호량 제어부(142)에 공급한다.
또한, 1 픽처당 부호량의 상한값은, 예를 들면, HRD 버퍼의 용량, 네트워크의 회선 용량, 시스템 레이어의 제약, 디스크 드라이브의 판독 성능 등의 조건에 기초하여 설정된다. 또한, 이 상한값을 가변으로 하여 조건의 변화에 따라서, 값을 변경하도록 하여도 된다.
부호량 제어부(142)는, 긴급 모드 판정부(141)에 의해, 1 픽처당 부호량이 소정의 상한값을 초과할 것 같다고 판정된 경우, 도 3을 참조하여 후술하는 바와 같이, 레이트 제어부(118)와는 다른 방식에 의해, 직교 변환부(114), 인트라 예측부(125), 또는, 모드 판정부(127)의 처리를 제어함으로써, 부호량을 억제하도록, 부호화를 제어한다.
역양자화부(120)는, 양자화부(115)로부터 공급된 변환 계수를 역양자화하여 역직교 변환부(121)에 공급한다.
역직교 변환부(121)는, 역양자화부(120)로부터 공급된 변환 계수에 대하여 역이산 코사인 변환, 역카루넨-뢰브 변환 등의 역직교 변환을 실시한다. 이것에 의해, 차분 화상이 복호된다. 역직교 변환부(121)는, 복호된 차분 화상을 가산기(122)에 공급한다.
가산기(122)는, 차분 화상의 생성에 이용된 인트라 예측 화상 또는 인터 예측 화상을 모드 판정부(127)로부터 취득하고, 차분 화상과 취득한 인트라 예측 화상 또는 인터 예측 화상을 가산한다. 이것에 의해, 원 화상이 복호된다. 가산 기(122)는, 복호된 화상(이하, 적절히, '복호 화상'이라고 함)을 디블록킹 필터(123)에 공급한다.
디블록킹 필터(123)는, 복호 화상에 대하여, 블록 왜곡을 제거하는 디블록킹 처리를 실시한다. 디블록킹 필터(123)는, 디블록킹 처리를 실시한 화상을 프레임 메모리(124)에 공급한다. 또한, 디블록킹 필터(123)는, 인트라 예측에 이용하는 화상으로서, 디블록킹 처리를 실시하지 않은 복호 화상을 그대로 프레임 메모리(124)에 공급한다.
프레임 메모리(124)는, 디블록킹 필터(123)로부터 공급된 화상을, 인트라 예측 또는 인터 예측이 행해지는 경우에 참조되는 화상(이하, 적절히, '참조 화상'이라고 함)으로서 기억한다.
인트라 예측부(125)는, 매크로 블록마다, 프레임 메모리(124)에 기억되어 있는 동일한 프레임 내의 매크로 블록에 인접하는 부호화 완료 화소를 이용하여, 원 화상에 대한 인트라 예측 화상을 생성하는 인트라 예측을 행한다. 또한, 전술한 바와 같이, 인트라 예측에는, 디블록킹 처리를 실시하기 전의 복호 화상의 화소가 이용된다.
움직임 예측·보상부(126)는, 매크로 블록마다, 프레임 메모리(124)에 기억되어 있는 다른 프레임의 참조 화상을 이용하여, 참조 화상에 대한 원 화상의 움직임 벡터를 검출하고, 검출한 움직임 벡터를 이용하여 참조 화상에 움직임 보상을 실시함으로써, 원 화상에 대한 인터 예측 화상을 생성하는 인터 예측을 행한다.
모드 판정부(127)는, 예를 들면, Low Complexity Mode(고속 모드) 방식을 이 용하여, 각 매크로 블록에 적용하는 예측 모드를 판정한다.
여기에서, 인트라 예측부(125), 움직임 예측·보상부(126) 및 모드 판정부(127)의 처리에 대하여, 보다 구체적으로 설명한다.
H.264/AVC의 규격에서는, 인트라 예측 및 인터 예측 방법으로서, 각각, 복수의 예측 모드가 규정되어 있다.
구체적으로는, 휘도 신호의 인트라 예측에 관하여, 인트라 예측하는 블록의 단위로서, 4×4 화소(Intra4×4 모드), 8×8 화소(Intra8×8 모드, High Profile이 적용되어 있는 경우에만) 및 16×16 화소(Intra16×16 모드)의 3종류가 규정되어 있다. 또한, Intra 4×4 모드 및 Intra 8×8 모드에서는, 화소값을 예측하는 방향으로서, 예측 모드 0 내지 예측 모드 8의 9종류가 규정되어 있고, Intra 16×16 모드에서는, 화소값을 예측하는 방향으로서, 예측 모드 0 내지 예측 모드 3의 4종류가 규정되어 있다.
또한, 색차 신호의 인트라 예측에 관하여, 인트라 예측하는 블록의 단위로서, 8×8 화소의 1종류가 규정되어 있고, 화소값을 예측하는 방향으로서, 예측 모드 0 내지 예측 모드 3의 4종류가 규정되어 있다.
또한, 인터 예측에 관하여, 인터 예측을 행하는 블록의 단위로서, 16×16 화소, 16×8 화소, 8×16 화소, 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 7종류가 규정되어 있다. 또한, B(Bi-directional Predictive) 슬라이스에 속하는 블록의 인터 예측에 관하여, 시간 축에서 전 방향(과거측)의 픽처만을 참조하는 전방향 예측 모드, 시간 축에서 후 방향(미래측)의 픽처만을 참조하는 후 방향 예측 모드, 시간 축에서 전후 양방의 픽처를 참조하는 쌍방향 예측 모드 등이 규정되어 있다.
또한, P(Predictive) 슬라이스 또는 B 슬라이스에 속하는 블록의 인터 예측에 관하여, 움직임 벡터에 의해 참조되는 참조 화상의 블록의 화소값을 그대로 이용함으로써, 매크로 블록에 관한 정보의 부호량을 억제하는 스킵 모드가 규정되어 있다. 또한, B 슬라이스에 속하는 블록의 인터 예측에 관하여, 부호화 완료 블록의 움직임 벡터를 이용하여 움직임 벡터를 예측하는 다이렉트 모드가 규정되어 있다.
인트라 예측부(125)는, 매크로 블록마다, 그 매크로 블록에 적용 가능한 모든 인트라 예측의 예측 모드(이하, '인트라 예측 모드'라고도 함)에 대하여, 이하의 수학식 1에 의해, 코스트값 Cost(Mode)를 산출한다.
Figure 112009001983936-pct00001
여기에서, SA(T)D는, 원 화상과 예측 화상의 차분인 예측 오차의 절대값 합이다. 또한, SA(T)D0은, SA(T)D에 주어지는 오프셋값이며, 움직임 벡터 등, 매크로 블록에 부가되는 헤더 정보의 전송에 이용되는 데이터량이다.
인트라 예측부(125)는, 산출된 모든 코스트값 Cost(Mode), 즉, 매크로 블록에 적용 가능한 모든 인트라 예측 모드에 대한 코스트값 Cost(Mode)를 나타내는 정보를 모드 판정부(127)에 공급한다.
또한, 인트라 예측부(125)는, 도 3을 참조하여 후술하는 바와 같이, 긴급 모드시에는, 부호량 제어부(119)의 제어를 기초로, 코스트값 Cost(Mode)를 산출하는 예측 모드를 제한하고, 각 매크로 블록에 적용되는 인트라 예측 모드를 제한한다.
움직임 예측·보상부(126)도, 인트라 예측부(125)와 마찬가지로, 매크로 블록마다, 그 매크로 블록에 적용 가능한 모든 인터 예측의 예측 모드(이하, '인터 예측 모드'라고도 함)에 대하여, 전술한 수학식 1에 의해, 코스트값 Cost(Mode)를 산출한다. 움직임 예측·보상부(126)는, 산출한 모든 코스트값 Cost(Mode), 즉, 매크로 블록에 적용 가능한 모든 인터 예측 모드에 대한 코스트값 Cost(Mode)를 나타내는 정보를 모드 판정부(127)에 공급한다.
모드 판정부(127)는, 인트라 예측부(125) 또는 움직임 예측·보상부(126)로부터 취득한 코스트값 Cost(Mode)에 기초하여, 화질과 부호량의 관점으로부터, 각 매크로 블록에 적용하는 예측 모드를 선택한다.
또한, 도 3을 참조하여 후술하는 바와 같이, 모드 판정부(127)는, 긴급 모드시에는, 부호량 제어부(119)의 제어를 기초로, 각 매크로 블록에 적용하는 예측 모드를 제한한다.
모드 판정부(127)는, 인트라 예측 모드 중 하나를 선택한 경우, 선택한 인트라 예측 모드를 나타내는 정보를 인트라 예측부(125)에 공급한다. 인트라 예측부(125)는, 선택된 인트라 예측 모드에 기초하여, 인트라 예측 화상을 생성하고, 생성한 인트라 예측 화상을 모드 판정부(127)에 공급한다. 또한, 인트라 예측부(125)는, 인트라 예측을 행한 매크로 블록의 인트라 예측에 관한 정보로서, 선택 된 예측 모드 등의 정보를 가역 부호화부(116)에 공급한다.
또한, 모드 판정부(127)는, 인터 예측 모드 중 하나를 선택한 경우, 선택한 인터 예측 모드를 나타내는 정보를 움직임 예측·보상부(126)에 공급한다. 움직임 예측·보상부(126)는, 선택된 인터 예측 모드에 기초하여, 움직임 벡터의 검출 및 인터 예측 화상의 생성을 행하고, 생성한 인터 예측 화상을 모드 판정부(127)에 공급한다. 또한, 움직임 예측·보상부(126)는, 인터 예측을 행한 매크로 블록의 인터 예측에 관한 정보로서, 선택된 예측 모드, 검출한 움직임 벡터, 참조 화상(픽처)의 번호 등의 정보를 가역 부호화부(116)에 공급한다.
모드 판정부(127)는, 선택한 예측 모드에 기초하여 생성된 인트라 예측 화상 또는 인터 예측 화상을, 가산기(113) 및 가산기(122)에 공급한다.
다음으로, 도 2의 플로우차트를 참조하여, 도 1의 화상 처리 장치(101)에 의해 실행되는 부호화 처리에 대하여 설명한다. 또한, 이 처리는, 예를 들면, 외부로부터 화상 처리 장치(101)에의 화상의 입력이 개시되었을 때, 개시된다.
스텝 S1에서, 화상 처리 장치(101)는, 화상의 부호화를 개시한다. 즉, 도 1을 참조하여 전술한 동작을, 화상 처리 장치(101)의 각 부가 개시함으로써, 입력된 화상의 H.264/AVC 방식에 의한 부호화가 개시된다. 또한, 도 3을 참조하여 후술하는 긴급 모드 대응 처리도 개시된다.
스텝 S2에서, 화상 처리 장치(101)는, 모든 화상을 부호화하였는지를 판정한다. 스텝 S2에서, 외부로부터 입력된 모든 화상을 부호화하였다고 판정될 때까지, 화상의 부호화가 실행되고, 외부로부터 입력된 모든 화상을 부호화하였다고 판정된 경우, 부호화 처리는 종료된다.
다음으로, 도 3의 플로우차트를 참조하여, 도 2를 참조하여 전술한 부호화 처리 중에 화상 처리 장치(101)에 의해 실행되는 긴급 모드 대응 처리를 설명한다.
스텝 S21에서, 레이트 제어부(118)는, 다음 픽처의 타겟 비트를 산출한다. 구체적으로는, 레이트 제어부(118)는, 예를 들면, TM5로 규정되는 레이트 제어 방식을 이용하여, 축적 버퍼(117)에 기억되어 있는 화상의 부호량에 기초하여, 다음의 픽처의 타겟 비트를 산출한다. 레이트 제어부(118)는, 산출한 타겟 비트를 나타내는 정보를 긴급 모드 판정부(141)에 공급한다.
스텝 S22에서, 긴급 모드 판정부(141)는, 다음 픽처의 부호량이 상한값을 초과할 것 같은지의 여부를 판정한다. 긴급 모드 판정부(141)는, 레이트 제어부(118)로부터 취득한 타겟 비트가 소정의 상한값을 초과하는 경우, 다음 픽처의 부호량이 상한값을 초과할 것 같다고 판정하고, 처리는 스텝 S23으로 진행한다.
스텝 S23에서, 부호량 제어부(142)는, 긴급 모드시의 동작을 명령한다. 구체적으로는, 긴급 모드 판정부(141)는, 다음 픽처의 부호량이 상한값을 초과할 것 같은 것을 나타내는 정보를 부호량 제어부(142)에 공급한다. 부호량 제어부(142)는, 직교 변환부(114), 인트라 예측부(125) 및 모드 판정부(127)에, 긴급 모드시의 동작을 명령한다.
스텝 S24에서, 직교 변환부(114)는, 부호량 제어부(142)의 제어를 기초로, 소정의 주파수 성분의 변환 계수의 0으로의 치환을 개시한다.
예를 들면, 다음 프레임의 타겟 비트를 T, 1 픽처당 부호량의 상한값을 Θ로 하고, 미리 정해져 있는 1 픽처당 부호량에 관한 임계값을 Th1, Th2, Th3(단, Th1<Th2<Th3)으로 한 경우, 직교 변환부(114)는, 부호량 제어부(142)의 제어를 기초로, Th1<T-Θ<Th2일 때, 직류(DC) 성분 및 그 이외의 특정한 주파수 성분을 제외한, 소정의 주파수 성분의 변환 계수의 값을 0으로 치환하고, Th2≤T-Θ<Th3일 때, 직류 성분 이외의 주파수 성분의 변환 계수의 값을 0으로 치환하고, Th3≥T-Θ일 때, 직류 성분을 포함하는 모든 주파수 성분의 변환 계수의 값을 0으로 치환한다. 즉, 타겟 비트 T에 기초하여, 변환 계수를 0으로 치환하는 주파수 성분의 범위가 변경된다. 보다 상세하게는, 타겟 비트 T가 클수록, 보다 부호량이 억제되도록, 변환 계수를 0으로 치환하는 주파수 성분의 범위가 크게 된다.
또한, 예를 들면, 매크로 블록이 속하는 슬라이스의 타입에 기초하여, 변환 계수를 0으로 치환하는 주파수 성분의 범위를 변경하도록 하여도 된다. 예를 들면, I(Intra) 슬라이스에 속하는 매크로 블록에 대해서는, 직류 성분을 포함하는 모든 주파수 성분의 변환 계수의 값을 0으로 치환하고, P 슬라이스 또는 B 슬라이스에 속하는 매크로 블록에 대해서는, 직류 성분 이외의 주파수 성분의 변환 계수의 값을 0으로 치환하도록 하여도 된다. 즉, P 또는 B 슬라이스보다도 부호량이 많아지는 경향이 있는 I 슬라이스에 속하는 매크로 블록쪽이, P 또는 B 슬라이스에 속하는 매크로 블록보다도, 보다 부호량이 억제되도록, 변환 계수를 0으로 치환하는 주파수 성분의 범위가 크게 된다.
이와 같이, 소정의 주파수 성분의 변환 계수가 0으로 치환됨으로써, 부호량이 억제된다.
또한, 직교 변환부(114)에 의한, 변환 계수의 0으로의 치환은, 후술하는 스텝 S28에서, 긴급 모드가 해제될 때까지 계속된다.
스텝 S25에서, 인트라 예측부(125)는, 부호량 제어부(142)의 제어를 기초로, 적용하는 인트라 예측 모드를 제한한다. 예를 들면, 인트라 예측부(125)는, 부호량 제어부(142)의 제어를 기초로, 휘도 신호의 Intra 4×4 모드, Intra 8×8 모드(High Profile이 적용되어 있는 경우에만) 및 Intra 16×16 모드와 색차 신호의 각각에 대하여, 화소값을 예측하는 방향을 1종류로 한정하고, 한정된 예측 방향에 대한 코스트값 Cost(Mode)만을 산출하고, 그 밖의 예측 방향에 대한 코스트값 Cost(Mode)의 산출을 정지한다. 이것에 의해, 인트라 예측 모드에서, 모두 동일한 예측 방향의 예측 모드가 적용되게 되고, 그 결과, 각 블록의 예측 모드의 부호화가 불필요해지기 때문에, 부호량을 억제할 수 있다.
또한, 이 경우, DC 모드(휘도 신호에서는 예측 모드 2 및 색차 신호에서는 예측 모드 0)로 예측 방향을 통일함으로써, 다른 예측 모드로 통일한 경우와 비교하여, 화상에 부자연스러운 방향성이 나타나지 않아, 화질의 열화를 억제할 수 있다.
또한, 예를 들면, 휘도 신호에 대해서는, 발생하는 부호량이 적은, Intra 16×16 모드에 대해서만 코스트값 Cost(Mode)의 산출을 행하도록 하여도 된다.
또한, 예를 들면, 매크로 블록이 속하는 슬라이스의 타입에 기초하여, 적용하는 예측 모드를 제한하도록 하여도 된다. 예를 들면, I 슬라이스에 속하는 매크로 블록의 휘도 신호에 대해서는, Intra 16×16 모드에 대해서만 코스트값 Cost(Mode)의 산출을 행하고, P 슬라이스 또는 B 슬라이스에 속하는 매크로 블록의 휘도 신호에 대해서는, Intra 4×4 모드, Intra 8×8 모드(High Profile의 경우) 및 Intra 16×16 모드의 각각에 대하여, 코스트값 Cost(Mode)의 산출을 행하도록 하여도 된다. 즉, P 또는 B 슬라이스보다도 부호량이 많아지는 경향이 있는 I 슬라이스에 속하는 매크로 블록 쪽이, P 또는 B 슬라이스에 속하는 매크로 블록보다도, 보다 부호량이 억제되도록, 인트라 예측을 행하는 단위인 블록이 크게 설정된다.
이와 같이, 인트라 예측에서의 부호량이 억제되도록, 각 매크로 블록에 적용되는 인트라 예측 모드가 제한된다.
또한, 인트라 예측부(125)에 의한, 인트라 예측 모드의 제한은, 후술하는 스텝 S28에서, 긴급 모드가 해제될 때까지 계속된다.
스텝 S26에서, 모드 판정부(127)는, 부호량 제어부(142)의 제어를 기초로, 적용하는 인터 예측 모드를 제한한다.
예를 들면, 모드 판정부(127)는, 부호량 제어부(142)의 제어를 기초로, B 슬라이스에 속하는 매크로 블록에 대해서는, 인터 예측 모드의 선택지를 스킵 모드 및 다이렉트 모드로 제한한다. 즉, B 슬라이스에 속하는 매크로 블록에 적용되는 예측 모드가, 스텝 S25에서 한정된 인트라 예측 모드, 다이렉트 모드 및 스킵 모드 중 어느 하나로 제한된다.
또한, 예를 들면, 모드 판정부(127)는, 부호량 제어부(142)의 제어를 기초로, P 슬라이스에 속하는 매크로 블록에 대해서는, 인터 예측 모드의 선택지를 스 킵 모드로 한정한다. 즉, P 슬라이스에 속하는 매크로 블록에 적용되는 예측 모드가, 스텝 S25에서 한정된 인트라 예측 모드 및 스킵 모드 중 어느 하나로 제한된다.
또한, I 슬라이스에 속하는 매크로 블록에 대해서는, 인터 예측은 행해지지 않기 때문에, 적용되는 예측 모드는, 스텝 S25에서 한정된 인트라 예측 모드로 제한된다.
모드 판정부(127)는, 코스트값 Cost(Mode)에 기초하여, 제한된 예측 모드 중으로부터, 해당 매크로 블록에 적용하는 예측 모드를 선택한다.
이것에 의해, 인터 예측이 선택된 경우, 그 예측 모드가, 스킵 모드 또는 다이렉트 모드로 되기 때문에, 부호량이 억제된다.
또한, P 또는 B 슬라이스에 속하는 매크로 블록에 대하여, 인트라 예측 모드를 선택지에 가하지 않도록 하여도 된다. 이것에 의해, P 슬라이스에 속하는 매크로 블록에 대해서는, 인터 예측의 스킵 모드가 적용되고, B 슬라이스에 속하는 매크로 블록에 대해서는, 인터 예측의 다이렉트 모드 또는 스킵 모드가 적용되게 되어, 보다 부호량을 억제하는 것이 가능하게 된다.
또한, 모드 판정부(127)에 의한, 인터 예측 모드의 제한은, 후술하는 스텝 S28에서, 긴급 모드가 해제될 때까지 계속된다.
그 후, 처리는 스텝 S21로 되돌아가고, 스텝 S21 이후의 처리가 실행된다.
스텝 S22에서, 다음 픽처의 부호량이 상한값을 초과할 것 같지 않다고 판정된 경우, 처리는 스텝 S27로 진행한다.
스텝 S27에서, 부호량 제어부(142)는, 긴급 모드 중인지의 여부를 판정한다. 긴급 모드 중이라고 판정된 경우, 처리는 스텝 S28로 진행한다.
스텝 S28에서, 부호량 제어부(142)는, 긴급 모드를 해제한다. 구체적으로는, 부호량 제어부(142)는, 직교 변환부(114), 인트라 예측부(125) 및 모드 판정부(127)에, 긴급 모드의 해제를 명령한다. 이것에 의해, 직교 변환부(114), 인트라 예측부(125) 및 모드 판정부(127)는, 긴급 모드시의 동작을 정지하고, 통상의 동작을 재개한다.
그 후, 처리는 스텝 S21로 되돌아가고, 스텝 S21 이후의 처리가 실행된다.
스텝 S27에서, 긴급 모드 중이 아니라고 판정된 경우, 처리는 스텝 S21로 되돌아가고, 스텝 S21 이후의 처리가 실행된다.
이상과 같이, 1 픽처당 부호량이 소정의 상한값을 초과할 것 같다고 판정된 경우, 소정의 주파수 성분의 변환 계수의 0으로의 치환, 적용하는 인트라 예측 모드의 제한, 또는, 적용하는 인터 예측 모드의 제한을 행함으로써, 보다 확실하게 부호량을 상한값 이하로 억제할 수 있다.
또한, 소정의 주파수 성분의 변환 계수의 0으로의 치환, 적용하는 인트라 예측 모드의 제한 및 적용하는 인터 예측 모드의 제한은, 긴급 모드 시에만 행해지기 때문에, 불필요하게 화질이 열화하는 것이 방지된다.
또한, 이상의 설명에서는, 긴급 모드 시에, 스텝 S24 내지 S26의 처리를 모두 행하는 예를 나타내었지만, 1개 또는 2개의 스텝의 처리만을 행하도록 하여도 된다.
또한, 타겟 비트의 값, 매크로 블록이 속하는 슬라이스의 종류 등에 기초하여, 전술한 바와 같이, 스텝 S24 내지 S26의 각 스텝 내에서 실행하는 처리의 선택을 행할 뿐만 아니라, 스텝 S24 내지 S26 중 실제로 실행하는 스텝을 선택하도록 하여도 된다. 예를 들면, 미리 정해져 있는 1 픽처당 부호량에 관한 임계값을 Th11, Th12, Th13(단, Th11<Th12<Th13)으로 한 경우, Th11<T-Θ<Th12일 때, 스텝 S25에서, 인트라 예측 모드를 DC 모드로 제한하도록 하고, Th2≤T-Θ<Th3일 때, 스텝 S25에서, 인트라 예측 모드를 Intra 16×16 모드로 제한하도록 하고, Th3≥T-Θ일 때, 스텝 S24에서, 소정의 주파수 성분의 변환 계수를 0으로 치환하도록 하여도 된다.
또한, 도 3의 스텝 S22의 판정 처리는, 전술한 예에 한정되는 것은 아니며, 타겟 비트 이외의 값에 기초하여, 판정 처리를 행하도록 하여도 된다.
또한, 이상의 설명에서는, H.264/AVC 방식에 의해 부호화를 행하는 예를 나타내었지만, 본 발명은, 예를 들면, MPEG-4(Moving Picture Coding Experts Group phase4) 등 다른 부호화 방식에 의해 부호화를 행하는 경우에도 적용할 수 있다.
전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 4는, 전술한 일련의 처리를 프로그램에 의해 실행하는 퍼스널 컴퓨 터(300)의 구성의 예를 나타내는 블록도이다. CPU(Central Processing Unit)(301)는, ROM(Read Only Memory)(302), 또는 기록부(308)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행한다. RAM(Random Access Memory)(303)에는, CPU(301)가 실행하는 프로그램이나 데이터 등이 적절히 기억된다. 이들 CPU(301), ROM(302) 및 RAM(303)은, 버스(304)에 의해 서로 접속되어 있다.
CPU(301)에는 또한, 버스(304)를 통해서 입출력 인터페이스(305)가 접속되어 있다. 입출력 인터페이스(305)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(306), 디스플레이, 스피커 등으로 이루어지는 출력부(307)가 접속되어 있다. CPU(301)는, 입력부(306)로부터 입력되는 명령에 대응하여 각종 처리를 실행한다. 그리고, CPU(301)는, 처리 결과를 출력부(307)에 출력한다.
입출력 인터페이스(305)에 접속되어 있는 기록부(308)는, 예를 들면 하드디스크로 이루어지고, CPU(301)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(309)는, 인터넷이나 로컬 에리어 네트워크 등의 네트워크를 통해서 외부의 장치와 통신한다.
또한, 통신부(309)를 통해서 프로그램을 취득하고, 기록부(308)에 기억하여도 된다.
입출력 인터페이스(305)에 접속되어 있는 드라이브(310)는, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(311)가 장착되었을 때, 그들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라서 기록부(308)에 전송되고, 기 억된다.
컴퓨터에 인스톨되고, 컴퓨터에 의해 실행 가능한 상태로 되는 프로그램을 저장하는 프로그램 기록 매체는, 도 4에 도시한 바와 같이, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(311), 또는, 프로그램이 일시적 혹은 영속적으로 저장되는 ROM(302)이나, 기록부(308)를 구성하는 하드디스크 등에 의해 구성된다. 프로그램 기록 매체에의 프로그램의 저장은, 필요에 따라서 라우터, 모뎀 등의 인터페이스인 통신부(309)를 통하여, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 통신 매체를 이용하여 행해진다.
또한, 본 명세서에서, 프로그램 기록 매체에 저장되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 발명의 실시 형태는, 전술한 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

Claims (16)

  1. MPEG(Moving Picture Coding Experts Group)4, 또는, H.264/AVC(Advanced Video Coding) 방식에 의해 화상의 부호화를 행하는 화상 처리 장치로서,
    비트 레이트의 제어를 행하는 제1 부호량 제어 수단의 제어에 의한 1 픽처당 부호량이 소정의 상한값을 초과할 것인지 여부를 판정하는 판정 수단과,
    1 픽처당 부호량이 상기 상한값을 초과할 것이라고 판정된 경우, 상기 제1 부호량 제어 수단과는 다른 방식에 의해, 부호량을 억제하도록 부호화를 제어하는 제2 부호량 제어 수단을 포함하고,
    상기 판정 수단은, 상기 제1 부호량 제어 수단에 의해 각 픽처에 할당되는 부호량에 기초하여, 1 픽처당 부호량이 소정의 상한값을 초과할 것인지 여부를 판정하며,
    상기 제2 부호량 제어 수단은, 원 화상과 예측 화상의 차분인 차분 화상 내의 매크로 블록을 직교 변환한 변환 계수 중, 소정의 주파수 성분의 변환 계수를 0으로 치환하도록 더 제어하는 화상 처리 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    제2 부호량 제어 수단은, 직류 성분 이외의 주파수 성분의 변환 계수를 0으로 치환하도록 제어하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 제2 부호량 제어 수단은, 직류 성분을 포함하는 모든 주파수 성분의 변환 계수를 0으로 치환하도록 제어하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 제2 부호량 제어 수단은, 상기 제1 부호량 제어 수단에 의해 각 픽처에 할당되는 부호량에 기초하여, 변환 계수를 0으로 치환하는 주파수 성분의 범위를 변경하도록 제어하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 제2 부호량 제어 수단은, 매크로 블록이 속하는 슬라이스의 타입에 기초하여, 변환 계수를 0으로 치환하는 주파수 성분의 범위를 변경하도록 제어하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 제2 부호량 제어 수단은, 예측 화상의 생성에 적용되는 예측 모드를 제어하는 화상 처리 장치.
  9. 제8항에 있어서,
    상기 제2 부호량 제어 수단은, 인트라 예측을 행하는 단위인 각 블록에 대하여, 동일한 예측 방향이 적용되도록 제어하는 화상 처리 장치.
  10. 제9항에 있어서,
    상기 제2 부호량 제어 수단은, 상기 각 블록에 대하여 DC 모드가 적용되도록 제어하는 화상 처리 장치.
  11. 제8항에 있어서,
    상기 제2 부호량 제어 수단은, 휘도 신호의 인트라 예측에서, Intra 16×16 모드가 적용되도록 제어하는 화상 처리 장치.
  12. 제8항에 있어서,
    상기 제2 부호량 제어 수단은, 매크로 블록이 속하는 슬라이스의 타입에 기초하여, 인트라 예측을 행하는 단위인 블록의 크기를 제어하는 화상 처리 장치.
  13. 제8항에 있어서,
    상기 제2 부호량 제어 수단은, P 슬라이스에 속하는 매크로 블록에 대한 예측 모드로서, 스킵 모드가 적용되도록 제어하는 화상 처리 장치.
  14. 제8항에 있어서,
    상기 제2 부호량 제어 수단은, B 슬라이스에 속하는 매크로 블록에 대한 예측 모드로서, 스킵 모드 또는 다이렉트 모드가 적용되도록 제어하는 화상 처리 장치.
  15. MPEG(Moving Picture Coding Experts Group)4, 또는, H.264/AVC(Advanced Video Coding) 방식에 의해 화상의 부호화를 행하는 화상 처리 방법으로서,
    비트 레이트의 제어를 행하는 부호량 제어 수단의 제어에 의한 1 픽처당 부호량이 소정의 상한값을 초과할 것인지 여부를 판정하는 스텝, 및
    1 픽처당 부호량이 상기 상한값을 초과할 것이라고 판정된 경우, 상기 부호량 제어 수단과는 다른 방식에 의해, 부호량을 억제하도록 부호화를 제어하는 스텝을 포함하며,
    상기 판정하는 스텝에서, 상기 부호량 제어 수단에 의해 각 픽처에 할당되는 부호량에 기초하여, 1 픽처당 부호량이 소정의 상한값을 초과할 것인지 여부를 판정하며,
    상기 제어하는 스텝에서, 원 화상과 예측 화상의 차분인 차분 화상 내의 매크로 블록을 직교 변환한 변환 계수 중, 소정의 주파수 성분의 변환 계수를 0으로 치환하도록 더 제어하는
    화상 처리 방법.
  16. 삭제
KR1020097000641A 2006-07-14 2007-07-13 화상 처리 장치 및 방법 KR101362590B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006193672A JP2008022405A (ja) 2006-07-14 2006-07-14 画像処理装置および方法、並びに、プログラム
JPJP-P-2006-193672 2006-07-14
PCT/JP2007/063950 WO2008007759A1 (en) 2006-07-14 2007-07-13 Image processing device, method, and program

Publications (2)

Publication Number Publication Date
KR20090042235A KR20090042235A (ko) 2009-04-29
KR101362590B1 true KR101362590B1 (ko) 2014-02-13

Family

ID=38923315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097000641A KR101362590B1 (ko) 2006-07-14 2007-07-13 화상 처리 장치 및 방법

Country Status (7)

Country Link
US (2) US8432964B2 (ko)
EP (1) EP2043371A1 (ko)
JP (1) JP2008022405A (ko)
KR (1) KR101362590B1 (ko)
CN (2) CN101491106B (ko)
TW (1) TW200820789A (ko)
WO (1) WO2008007759A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419798B2 (ja) * 2004-10-27 2010-02-24 豊田合成株式会社 固定ガラス用ウエザストリップの製造方法
US8238428B2 (en) 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
JP4886747B2 (ja) * 2008-08-28 2012-02-29 ルネサスエレクトロニクス株式会社 画像符号化装置および画像符号化方法並びにプログラム
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
JP5197428B2 (ja) * 2009-02-20 2013-05-15 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP2011029954A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置と画像符号化方法
US9369720B2 (en) 2009-12-28 2016-06-14 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus and image coding method
JP5396302B2 (ja) * 2010-02-08 2014-01-22 パナソニック株式会社 映像信号符号化装置及び映像信号符号化方法
US20130083856A1 (en) * 2011-06-29 2013-04-04 Qualcomm Incorporated Contexts for coefficient level coding in video compression
JP5768565B2 (ja) * 2011-07-28 2015-08-26 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN103916665B (zh) * 2013-01-07 2018-05-29 华为技术有限公司 一种图像的解码、编码方法及装置
JP6373033B2 (ja) * 2014-03-28 2018-08-15 キヤノン株式会社 符号化装置及び符号化方法
US20180027256A1 (en) * 2015-01-19 2018-01-25 Nec Corporation Video encoding device, video encoding method, and video encoding program
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP5943118B2 (ja) * 2015-04-13 2016-06-29 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348588A (ja) * 2002-05-30 2003-12-05 Matsushita Electric Ind Co Ltd 動画像符号化装置と映像伝送システム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583560A (ja) * 1991-04-30 1993-04-02 Kyocera Corp 画像データ符号化装置
JP3447771B2 (ja) * 1993-09-02 2003-09-16 富士通株式会社 画像データの符号化方法及び復元方法並びに装置
US5592225A (en) * 1993-09-30 1997-01-07 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
US6961375B1 (en) * 1997-02-06 2005-11-01 Sony Corporation Picture coding device and method, picture transmitting device and method and recording medium
JPH10234033A (ja) * 1997-02-21 1998-09-02 Matsushita Electric Ind Co Ltd 動画像信号の復号方法および動画像信号の復号装置
JPH11243551A (ja) * 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
TW501022B (en) * 1998-03-16 2002-09-01 Mitsubishi Electric Corp Moving picture coding system
JP2000013802A (ja) * 1998-06-19 2000-01-14 Matsushita Electric Ind Co Ltd フレーム間予測を用いた映像信号符号化装置
JP2000152251A (ja) * 1998-11-13 2000-05-30 Victor Co Of Japan Ltd 動画像再生装置
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
JP2002010271A (ja) 2000-04-20 2002-01-11 Matsushita Electric Ind Co Ltd ビデオ符号化装置
US6819714B2 (en) * 2000-04-20 2004-11-16 Matsushita Electric Industrial Co., Ltd. Video encoding apparatus that adjusts code amount by skipping encoding of image data
JP2002010260A (ja) * 2000-06-27 2002-01-11 Mitsubishi Electric Corp 動きベクトル検出方法及び動画像符号化装置
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
US7082163B2 (en) * 2000-11-20 2006-07-25 Matsushita Electric Industrial Co., Ltd. Picture coding method, picture coding apparatus and image relaying apparatus
US6694060B2 (en) * 2000-12-21 2004-02-17 General Instrument Corporation Frame bit-size allocation for seamlessly spliced, variable-encoding-rate, compressed digital video signals
JP2003284075A (ja) 2002-01-18 2003-10-03 Toshiba Corp 動画像符号化方法と装置及び復号化方法と装置
US7151856B2 (en) * 2002-04-25 2006-12-19 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture coding method
JP2004165894A (ja) * 2002-11-12 2004-06-10 Kddi Corp 符号化器のビットレート制御方法
JP2004320437A (ja) 2003-04-16 2004-11-11 Sony Corp データ処理装置、符号化装置およびそれらの方法
US7418147B2 (en) * 2003-06-25 2008-08-26 Georgia Tech Research Corporation Cauchy-distribution based coding system and method
JP4130617B2 (ja) * 2003-09-04 2008-08-06 株式会社東芝 動画像符号化方法および動画像符号化装置
JP4135617B2 (ja) * 2003-09-08 2008-08-20 ソニー株式会社 画像符号化装置及び方法
US7369707B2 (en) * 2003-10-28 2008-05-06 Matsushita Electric Industrial Co., Ltd. Intra-picture prediction coding method
JP4515886B2 (ja) 2003-10-28 2010-08-04 パナソニック株式会社 面内予測符号化方法
JP2005151017A (ja) * 2003-11-13 2005-06-09 Sharp Corp 画像符号化装置
JP4184249B2 (ja) * 2003-12-11 2008-11-19 シャープ株式会社 画像符号化装置
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
JP2005311502A (ja) * 2004-04-19 2005-11-04 Sony Corp 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
JP3846489B2 (ja) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
JP4532980B2 (ja) * 2004-05-12 2010-08-25 キヤノン株式会社 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
CN100539672C (zh) * 2004-08-17 2009-09-09 松下电器产业株式会社 图像编码装置和方法
JP4763422B2 (ja) 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
JP4755093B2 (ja) * 2005-02-01 2011-08-24 パナソニック株式会社 画像符号化方法および画像符号化装置
JP3948025B2 (ja) * 2005-08-23 2007-07-25 日本電気株式会社 画像符号のトランスコーダ及び画像符号のトランスコーディング方法
CN100448297C (zh) * 2005-11-08 2008-12-31 上海广电（集团）有限公司中央研究院 一种码率控制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348588A (ja) * 2002-05-30 2003-12-05 Matsushita Electric Ind Co Ltd 動画像符号化装置と映像伝送システム

Also Published As

Publication number Publication date
EP2043371A1 (en) 2009-04-01
CN101491106A (zh) 2009-07-22
US20090207907A1 (en) 2009-08-20
US20130272397A1 (en) 2013-10-17
US8432964B2 (en) 2013-04-30
WO2008007759A1 (en) 2008-01-17
TW200820789A (en) 2008-05-01
KR20090042235A (ko) 2009-04-29
JP2008022405A (ja) 2008-01-31
CN102271257B (zh) 2014-01-08
CN101491106B (zh) 2013-01-02
US9077968B2 (en) 2015-07-07
CN102271257A (zh) 2011-12-07

Similar Documents

Publication Publication Date Title
KR101362590B1 (ko) 화상 처리 장치 및 방법
JP4529919B2 (ja) 適応量子化装置及び適応量子化プログラム
US8873633B2 (en) Method and apparatus for video encoding and decoding
JP4373609B2 (ja) 映像データストリームの適応的符号化方法と装置
US7532764B2 (en) Prediction method, apparatus, and medium for video encoder
KR101394209B1 (ko) 영상의 인트라 예측 부호화 방법
JP4519933B2 (ja) 動画像符号化装置および動画像符号化方法
KR20120079180A (ko) 동화상 복호화 방법 및 장치
KR20090099234A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20060111659A (ko) 디지털 화상 시퀀스를 위한 인코딩 방법, 디코딩 방법 및인코딩 장치
JP2001145113A (ja) 画像情報変換装置及び方法
JP4901450B2 (ja) 動画像符号化装置
JP2007013298A (ja) 画像符号化装置
JP2006180298A (ja) 画像符号化制御方法及びその装置
JP5007761B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
KR20070077609A (ko) 인트라 예측 모드 결정 방법 및 장치
JP5649296B2 (ja) 画像符号化装置
WO2011155376A1 (ja) 符号化装置および符号化方法
KR100708182B1 (ko) 동영상 부호화기의 비트율 제어 장치 및 방법
KR20070077955A (ko) 인트라 예측 모드 결정 방법 및 장치
KR20110099554A (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
JP2008160402A (ja) 符号化装置及び方法並びに画像符号化装置
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JP2004165894A (ja) 符号化器のビットレート制御方法
JP4561701B2 (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee