KR101364919B1 - 화상 처리 장치 및 방법과 기록 매체 - Google Patents

화상 처리 장치 및 방법과 기록 매체 Download PDF

Info

Publication number
KR101364919B1
KR101364919B1 KR20097000640A KR20097000640A KR101364919B1 KR 101364919 B1 KR101364919 B1 KR 101364919B1 KR 20097000640 A KR20097000640 A KR 20097000640A KR 20097000640 A KR20097000640 A KR 20097000640A KR 101364919 B1 KR101364919 B1 KR 101364919B1
Authority
KR
South Korea
Prior art keywords
image
deblocking
picture
encoded
decoded
Prior art date
Application number
KR20097000640A
Other languages
English (en)
Other versions
KR20090039713A (ko
Inventor
준이찌 다나까
가즈시 사또
요이찌 야가사끼
가즈히로 이시가야
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20090039713A publication Critical patent/KR20090039713A/ko
Application granted granted Critical
Publication of KR101364919B1 publication Critical patent/KR101364919B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은, 화질을 향상시킬 수 있는 화상 처리 장치 및 방법과 프로그램에 관한 것이다. 디블로킹 필터(113)는, 액티비티 산출부(141)에 의해 산출된 화상의 Activity, 직교 변환부(142)에 의해 산출된 화상의 직교 변환 계수의 총합, 레이트 제어부(119)에 의해 산출된 화상의 Complexity, 또는 예측 오차 가산부(120)에 의해 산출된 화상의 예측 오차의 총합에 기초하여, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 또는 slice_beta_offset_div2의 값을 조정한다. 본 발명은, 부호화 장치에 적용할 수 있다.
Figure R1020097000640
화상 처리 장치, 디블로킹 처리, 디블로킹 필터, 블록, 변환 계수, 특징량 산출 수단, 프로그램

Description

화상 처리 장치 및 방법과 기록 매체{IMAGE PROCESSING DEVICE, METHOD, AND RECORDING MEDIUM}
본 발명은, 화상 처리 장치 및 방법과 프로그램에 관한 것으로, 화질을 향상시킬 수 있도록 한 화상 처리 장치 및 방법과 프로그램에 관한 것이다.
MPEG-2(Moving Picture Experts Group phase 2) 방식에 의해 부호화한 화상의 화질 열화의 1 요인으로서 블록 노이즈가 있다. 따라서, MPEG-4(Moving Picture Experts Group phase4) 방식, 또는 H.264/AVC(Advanced Video Coding) 방식에 의해 화상을 부호화하는 장치에서는, 블록 노이즈를 제거하는 디블로킹 처리를 행하는 디블로킹 필터가 설치되어 있다(예를 들면, 특허 문헌 1 참조). 이 디블로킹 처리에 의해, 특히 저비트 레이트의 화상에서도 화질의 열화를 억제할 수 있다.
특허 문헌 1: 일본 특허 제3489735호 공보
그러나, 디블로킹 처리는, 블록 경계에 대하여 로우패스 필터링 처리를 실시하기 때문에, 블록 노이즈를 제거할 수 있는 한편, 화상의 모양 등의 상세 정보(이하, 텍스쳐라고도 칭함)를 잃게 된다고 하는 문제가 있다.
본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 디블로킹 처리를 적절하게 실시함으로써, 화질을 향상시키도록 하는 것이다.
<과제를 해결하기 위한 수단>
본 발명의 일 측면의 화상 처리 장치는, 제1 화상을 부호화하는 경우에 상기 제1 화상의 움직임 예측에 이용하는, 상기 제1 화상보다 전에 부호화된 제2 화상을 복호한 복호 화상에 대하여, 디블로킹 처리를 실시하는 디블로킹 필터와, 상기 제2 화상의 복잡함을 나타내는 특징량을 산출하는 특징량 산출 수단이 설치되고, 상기 디블로킹 필터는, 상기 특징량에 기초하여, 상기 복호 화상에의 디블로킹 처리의 적용의 유무, 또는, 상기 복호 화상에 적용하는 디블로킹 처리의 강도를 제어한다.
상기 특징량 산출 수단에는, 상기 제2 화상의 부호화 난이도를 상기 특징량으로서 산출시킬 수 있다.
상기 특징량 산출 수단에는, 상기 제2 화상이 프레임간 예측을 이용하여 부호화된 화상인 경우, 상기 제2 화상이 부호화되기 전에 프레임 내 예측을 이용하여 부호화된 제3 화상의 부호화 난이도를 이용하여, 상기 제2 화상의 부호화 난이도를 정규화한 값을 상기 특징량으로 시킬 수 있다.
상기 특징량 산출 수단에는, 부호화 전의 상기 제2 화상을 복수의 블록으로 분할하고, 상기 블록마다의 화소값의 분산에 기초하여, 상기 특징량을 산출시킬 수 있다.
상기 특징량 산출 수단에는, 부호화 전의 상기 제2 화상을 복수의 블록으로 분할하고, 상기 블록마다 직교 변환을 실시함으로써 얻어지는 변환 계수에 기초하여, 상기 특징량을 산출시킬 수 있다.
상기 특징량 산출 수단에는, 프레임간 예측에 의해 예측된 상기 제2 화상에 대한 예측 화상과 부호화 전의 상기 제2 화상과의 차분인 예측 오차에 기초하여, 상기 특징량을 산출시킬 수 있다.
상기 화상 처리 장치에는, H.264/AVC(Advanced Video Coding) 방식에 의해 화상을 부호화시키고, 상기 디블로킹 필터에는, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 또는, slice_beta_offset_div2의 값을 조정함으로써, 상기 복호 화상에 대한 디블로킹 처리의 적용의 유무, 또는, 상기 복호 화상에 적용하는 디블로킹 처리의 강도를 제어시킬 수 있다.
상기 화상 처리 장치에는, MPEG-4(Moving Picture Coding Experts Group phase4), H.264/AVC(Advanced Video Coding), 또는, VC-1(Video Codec 1) 방식에 의해 화상을 부호화시킬 수 있다.
본 발명의 일 측면의 화상 처리 방법 또는 프로그램은, 제1 화상을 부호화하는 경우에 상기 제1 화상의 움직임 예측에 이용하는, 상기 제1 화상보다 전에 부호화된 제2 화상의 복잡함을 나타내는 특징량을 산출하고, 상기 특징량에 기초하여, 상기 제2 화상을 복호한 복호 화상에의 디블로킹 처리의 적용의 유무, 또는, 상기 복호 화상에 적용하는 디블로킹 처리의 강도를 제어하는 스텝을 포함한다.
본 발명의 일 측면에서는, 제1 화상을 부호화하는 경우에 상기 제1 화상의 움직임 예측에 이용하는, 상기 제1 화상보다 전에 부호화된 제2 화상의 복잡함을 나타내는 특징량이 산출되고, 상기 특징량에 기초하여, 상기 제2 화상을 복호한 복호 화상에의 디블로킹 처리의 적용의 유무, 또는, 상기 복호 화상에 적용하는 디블로킹 처리의 강도가 제어된다.
<발명의 효과>
본 발명의 일 측면에 따르면, 화상의 특징에 따라서, 디블로킹 처리를 적절하게 실시할 수 있다. 또한, 본 발명의 일 측면에 따르면, 화질을 향상시킬 수 있다.
도 1은 본 발명을 적용한 화상 처리 장치의 일 실시 형태를 도시하는 블록도.
도 2는 도 1의 화상 처리 장치에 의해 실행되는 부호화 처리를 설명하기 위한 플로우차트.
도 3은 도 1의 화상 처리 장치에 의해 실행되는 디블로킹 제어 처리의 제1 실시 형태를 설명하기 위한 플로우차트.
도 4는 도 2의 화상 처리 장치에 의해 실행되는 디블로킹 제어 처리의 제2 실시 형태를 설명하기 위한 플로우차트.
도 5는 도 3의 화상 처리 장치에 의해 실행되는 디블로킹 제어 처리의 제3 실시 형태를 설명하기 위한 플로우차트.
도 6은 도 4의 화상 처리 장치에 의해 실행되는 디블로킹 제어 처리의 제4 실시 형태를 설명하기 위한 플로우차트.
도 7은 퍼스널 컴퓨터의 구성의 예를 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
101: 화상 처리 장치
113: 특징량 산출부
114: 가산기
115: 직교 변환부
119: 레이트 제어부
120: 예측 오차 가산부
124: 디블로킹 필터
126: 인트라 예측부
127: 움직임 예측ㆍ보상부
141: 액티비티 산출부
142: 직교 변환부
<발명을 실시하기 위한 최선의 형태>
이하, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다.
도 1은, 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 도시하는 블록도이다.
화상 처리 장치(101)는, 입력된 화상을 H.264/AVC(Advanced Video Coding) 방식에 의해 부호화하고, 부호화한 화상을, 예를 들면 후단의 도시하지 않은 기록 장치나 전송로 등에 출력하는 장치이다.
화상 처리 장치(101)는, A/D(Analog/Digital) 변환부(111), 화면 재배열 버 퍼(112), 특징량 산출부(113), 가산기(114), 직교 변환부(115), 양자화부(116), 가역 부호화부(117), 축적 버퍼(118), 레이트 제어부(119), 예측 오차 가산부(120), 역양자화부(121), 역직교 변환부(122), 가산기(123), 디블로킹 필터(124), 프레임 메모리(125), 인트라 예측부(126), 및, 움직임 예측ㆍ보상부(127)를 포함하도록 구성된다. 또한, 특징량 산출부(113)는, 액티비티 산출부(141) 및 직교 변환부(142)를 포함하도록 구성된다.
A/D 변환부(111)는, 외부로부터 입력된 아날로그의 화상을 디지털 화상으로 A/D 변환하고, 변환 후의 디지털 화상(이하, 적절하게 원 화상이라고도 칭함)을 화면 재배열 버퍼(112)에 공급한다.
화면 재배열 버퍼(112)는, A/D 변환부(111)로부터 공급된 원 화상을, GOP(Group Of Pictures) 구조에 기초하여 재배열하고, 순서대로 특징량 산출부(113)에 공급한다.
특징량 산출부(113)는, 원 화상의 복잡함을 나타내는 특징량을 산출한다. 또한, 특징량 산출부(113)는, 특징량의 산출이 끝난 원 화상을, 가산기(114), 인트라 예측부(126), 및, 움직임 예측ㆍ보상부(127)에 공급한다.
특징량 산출부(113)를 구성하는 요소 중, 액티비티 산출부(141)는, 도 4를 참조하여 후술하는 바와 같이, 원 화상을 복수의 블록으로 분할하고, 블록마다의 화소값의 분산에 기초하여, 원 화상의 특징량을 산출한다. 액티비티 산출부(141)는, 산출한 특징량을 나타내는 정보를 디블로킹 필터(124)에 공급한다.
또한, 직교 변환부(142)는, 도 5를 참조하여 후술하는 바와 같이, 원 화상을 복수의 블록으로 분할하고, 블록마다 직교 변환을 실시함으로써 얻어지는 변환 계수에 기초하여, 원 화상의 특징량을 산출한다. 직교 변환부(142)는, 산출한 특징량을 나타내는 정보를 디블로킹 필터(124)에 공급한다.
가산기(114)는, 매크로 블록마다, 원 화상에 대하여 인트라 예측(프레임 내 예측)을 이용하여 예측한 인트라 예측 화상, 및, 인터 예측(프레임간 예측, 움직임 보상 예측)을 이용하여 예측한 인터 예측 화상 중 어느 한쪽의 예측 화상을, 인트라 예측부(126) 또는 움직임 예측ㆍ보상부(127)로부터 취득한다. 가산기(114)는, 매크로 블록마다, 원 화상과 인트라 예측 화상 또는 인터 예측 화상과의 차분을 취하고, 차분을 취함으로써 얻어진 예측 오차로 이루어지는 차분 화상을 직교 변환부(115) 및 예측 오차 가산부(120)에 공급한다.
직교 변환부(115)는, 차분 화상에 대하여, 소정의 크기의 블록마다 이산 코사인 변환 또는 카르넨 레베 변환 등의 직교 변환을 실시하고, 이에 의해 얻어진 변환 계수를 양자화부(116)에 공급한다.
양자화부(116)는, 레이트 제어부(119)에 의해 제어되는 양자화 스케일을 이용하여, 직교 변환부(115)로부터 공급된 변환 계수를 양자화하고, 양자화한 변환 계수를 가역 부호화부(117) 및 역양자화부(121)에 공급한다.
가역 부호화부(117)는, 인트라 예측에 관한 정보를 인트라 예측부(126)로부터 취득하고, 인터 예측에 관한 정보를 움직임 예측ㆍ보상부(127)로부터 취득한다. 가역 부호 변환부(117)는, 양자화된 변환 계수, 인트라 예측에 관한 정보, 인터 예측에 관한 정보 등을 소정의 순서로 배치하고, 배치한 데이터에 대하여 CAVLC(Context-Adaptive Variable Length Coding) 등의 가변 길이 부호화, 또는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등의 산술 부호화 등의 가역 부호화 처리를 실시한다. 가역 부호화부(117)는, 부호화한 데이터를 축적 버퍼(118)에 공급하여 축적시킨다.
축적 버퍼(118)는, 가역 부호화부(117)로부터 공급된 데이터를, H.264/AVC 방식으로 부호화된 화상으로서, 예를 들면, 후단의 도시하지 않은 기록 장치나 전송로 등에 출력한다.
레이트 제어부(119)는, 축적 버퍼(118)에 기억되어 있는 화상의 부호량에 기초하여, 부호화하는 화상에 할당되는 시간당의 부호량인 비트 레이트를 제어한다.
예를 들면, 레이트 제어부(119)는, MPEG-2 TestModel5(TM5)에 규정되는 레이트 제어 방식을 이용하여, 양자화부(116)가 양자화를 행할 때에 변환 계수를 제산하는 값인 양자화 스케일의 값을 제어함으로써 비트 레이트를 제어한다. 또한, 레이트 제어부(119)는, 도 3을 참조하여 후술하는 바와 같이, 원 화상의 복잡함을 나타내는 특징량으로서, 부호화 난이도를 산출하고, 산출한 부호화 난이도를 디블로킹 필터(124)에 공급한다.
예측 오차 가산부(120)는, 도 6을 참조하여 후술하는 바와 같이, 가산기(114)로부터 공급되는 차분 화상을 구성하는 예측 오차에 기초하여, 화상의 복잡함을 나타내는 특징량을 산출한다. 예측 오차 가산부(120)는, 산출한 특징량을 나타내는 정보를 디블로킹 필터(124)에 공급한다.
역양자화부(121)는, 양자화부(116)로부터 공급된 변환 계수를 역양자화하여 역직교 변환부(122)에 공급한다.
역직교 변환부(122)는, 역양자화부(121)로부터 공급된 변환 계수에 대하여 역이산 코사인 변환, 역 카르네 레베 변환 등의 역직교 변환을 실시한다. 이에 의해, 차분 화상이 복호된다. 역직교 변환부(122)는, 복호한 차분 화상을 가산기(123)에 공급한다.
가산기(123)는, 차분 화상의 생성에 이용된 인트라 예측 화상 또는 인터 예측 화상을, 인트라 예측부(126) 또는 움직임 예측ㆍ보상부(127)로부터 취득하고, 차분 화상과 취득한 인트라 예측 화상 또는 인터 예측 화상을 가산한다. 이에 의해, 원 화상이 복호된다. 가산기(123)는, 복호한 화상(이하, 적절하게 복호 화상이라고 칭함)을 디블로킹 필터(124)에 공급한다.
디블로킹 필터(124)는, 복호 화상에 대하여, 블록 왜곡을 제거하기 위한 디블로킹 처리를 실시한다. 또한, 디블로킹 필터(124)는, 도 3 내지 도 6을 참조하여 후술하는 바와 같이, 레이트 제어부(119), 예측 오차 가산부(120), 액티비티 산출부(141), 또는, 직교 변환부(142)로부터 취득한 특징량에 기초하여, 복호 화상에의 디블로킹 처리의 적용의 유무, 또는, 복호 화상에 적용하는 디블로킹 처리의 강도를 제어한다. 디블로킹 필터(124)는, 디블로킹 처리를 실시한 복호 화상을 프레임 메모리(125)에 공급한다. 또한, 디블로킹 필터(124)는, 인트라 예측에 이용하는 화상으로서, 디블로킹 처리를 실시하지 않는 복호 화상을 그대로 프레임 메모리(125)에 공급한다.
프레임 메모리(125)는, 디블로킹 필터(124)로부터 공급되는 복호 화상을, 인 트라 예측 또는 인터 예측이 행해지는 경우에 참조되는 화상(이하, 적절하게 참조 화상이라고 칭함)으로서 기억한다.
인트라 예측부(126)는, 매크로 블록마다, 프레임 메모리(125)에 기억되어 있는 동일한 프레임 내의 해당 매크로 블록에 인접하는 부호화 완료된 화소를 이용하여, 원 화상에 대한 예측 화상을 생성하는 인트라 예측을 행한다. 또한, 전술한 바와 같이, 인트라 예측에는, 디블로킹 처리를 실시하기 전의 복호 화상의 화소가 이용된다.
움직임 예측ㆍ보상부(127)는, 매크로 블록마다, 프레임 메모리(125)에 기억되어 있는 다른 프레임의 참조 화상을 이용하여, 참조 화상에 대한 원 화상의 움직임 벡터를 검출하고, 검출한 움직임 벡터를 이용하여 참조 화상에 움직임 보상을 실시함으로써, 원 화상에 대한 인터 예측 화상을 생성하는 인터 예측을 행한다.
또한, 각 매크로 블록에 적용하는 예측 모드는, 예를 들면, 도시하지 않은 모드 판정부에 의해, Low Complexity Mode(고속 모드) 방식을 이용하여 판정된다. 적용되는 예측 모드가 인트라 예측의 예측 모드인 경우, 도 1에 도시된 바와 같이, 프레임 메모리(125)와 인트라 예측부(126)가 접속되고, 인트라 예측부(126)와 가산기(114) 및 가산기(123)가 접속된다. 인트라 예측부(126)는, 선택된 예측 모드에 기초하여 인트라 예측 화상을 생성하고, 생성한 인트라 예측 화상을 가산기(114) 및 가산기(123)에 공급한다. 또한, 인트라 예측부(126)는, 인트라 예측을 행한 매크로 블록의 인트라 예측에 관한 정보로서, 적용한 예측 모드 등의 정보를 가역 부호화부(117)에 공급한다.
또한, 적용되는 예측 모드가 인터 예측의 예측 모드인 경우, 도 1에는 도시되어 있지 않지만, 프레임 메모리(125)와 움직임 예측ㆍ보상부(127)가 접속되고, 움직임 예측ㆍ보상부(127)와 가산기(114) 및 가산기(123)가 접속된다. 움직임 예측ㆍ보상부(127)는, 선택된 예측 모드에 기초하여 인터 예측 화상을 생성하고, 생성한 인터 예측 화상을 가산기(114) 및 가산기(123)에 공급한다. 또한, 인트라 예측부(126)는, 인터 예측을 행한 매크로 블록의 인터 예측에 관한 정보로서, 적용한 예측 모드, 검출한 움직임 벡터, 참조한 화상(픽쳐)의 번호 등의 정보를 가역 부호화부(117)에 공급한다.
다음으로, 도 2의 플로우차트를 참조하여, 도 1의 화상 처리 장치(101)에 의해 실행되는 부호화 처리에 대하여 설명한다. 또한, 이 처리는, 예를 들면, 외부로부터 화상 처리 장치(101)로의 화상의 입력이 개시되었을 때, 개시된다.
스텝 S1에서, 화상 처리 장치(101)는, 화상의 부호화를 개시한다. 즉, 도 1을 참조하여 전술한 동작을, 화상 처리 장치(101)의 각 부가 개시함으로써, 입력된 화상의 H.264/AVC 방식에 의한 부호화가 개시된다. 또한, 도 3 내지 도 6을 참조하여 후술하는 디블로킹 제어 처리도 개시된다.
스텝 S2에서, 화상 처리 장치(101)는, 모든 화상을 부호화하였는지를 판정한다. 스텝 S2에서, 외부로부터 입력된 모든 화상을 부호화하였다고 판정될 때까지, 화상의 부호화가 실행되고, 외부로부터 입력된 모든 화상을 부호화하였다고 판정된 경우, 부호화 처리는 종료된다.
다음으로, 도 3의 플로우차트를 참조하고, 도 2를 참조하여 전술한 부호화 처리 중에 화상 처리 장치(101)에 의해 실행되는 디블로킹 제어 처리의 제1 실시 형태에 대하여 설명한다.
스텝 S21에서, 레이트 제어부(119)는, Complexity를 산출한다. 구체적으로는, 레이트 제어부(119)는, 부호화 완료된 화상(픽쳐)을 축적 버퍼(118)로부터 취득한다. 레이트 제어부(119)는, 이하의 수학식 1에 의해, 그 화상의 복잡함을 나타내는 특징량으로서 부호화 난이도 Complexity를 산출한다.
Figure 112009001983419-pct00001
여기에서, PictureGeneratedBis는 해당 화상의 발생 부호량을 나타낸다. 또한, PictureAverageQuant는, 해당 화상에 적용된 양자화 스케일의 평균값을 나타내고, 이하의 수학식 2에 의해 산출된다.
Figure 112009001983419-pct00002
여기에서, MBNum은 해당 화상의 매크로 블록의 수를 나타낸다. 또한, Quantk는 화상 내의 k번째의 매크로 블록에 적용된 양자화 스케일을 나타내고, 이하의 수학식 3에 의해 산출된다.
Figure 112009001983419-pct00003
여기에서, QPk는 화상 내의 k번째의 매크로 블록의 양자화 파라미터를 나타낸다.
즉, 수학식 1에 의해 구해지는 Complexity는, 해당 화상의 발생 부호량과 양자화 스케일의 평균값을 곱한 값이다. 따라서, Complexity는, 화상의 움직임이 적을수록 작아지고, 화상의 움직임이 클수록 커진다.
스텝 S22에서, 디블로킹 필터(124)는, 디블로킹 처리에 관련된 파라미터를 조정한다. 구체적으로는, 레이트 제어부(119)는, 산출한 Complexity를 나타내는 정보를 디블로킹 필터(124)에 공급한다. 디블로킹 필터(124)는, 디블로킹 처리를 실시하는 화상의 Complexity의 값에 따라서, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 및, slice_beta_offset_div2의 값을 조정한다.
disable_deblocking_filter_idc는, 디블로킹 처리의 적용의 유무를 설정하기 위한 파라미터로서, 슬라이스마다 설정하는 것이 가능하다. disable_deblocking_filter_idc는, 디블로킹 처리를 적용하는 경우, 0으로 설정되고, 디블로킹 처리를 적용하지 않는 경우, 1로 설정되고, 슬라이스 경계에서 디블로킹 처리를 적용하지 않는 경우, 2로 설정된다.
slice_alpha_c0_offset_div2는, 슬라이스를 4×4화소의 블록으로 분할한 경우의 블록 경계에 적용되는 디블로킹 처리의 강도를 조정하기 위한 파라미터로서, 슬라이스마다 설정하는 것이 가능하다. slice_alpha_c0_offset_div2의 설정 범위는, -6 내지 +6이며, 값이 작아질수록 적용되는 디블로킹 처리의 강도는 약해지고, 값이 커질수록 적용되는 디블로킹 처리의 강도는 강해진다.
slice_beta_offset_div2는, 슬라이스를 4×4화소의 블록으로 분할한 경우의 블록의 내부의 화소에 적용되는 디블로킹 처리의 강도를 조정하기 위한 파라미터로서, 슬라이스마다 설정하는 것이 가능하다. slice_beta_offset_div2의 설정 범위는, -6 내지 +6이며, 값이 작아질수록 적용되는 디블로킹 처리의 강도는 약해지고, 값이 커질수록 적용되는 디블로킹 처리의 강도는 강해진다.
스텝 S22에서, 예를 들면, Complexity가 소정의 임계값 Thc보다 작은 경우, disablc_deblocking_filter_idc가 1로 설정된다. 즉, 블록 노이즈가 거의 생기지 않는 매우 움직임이 적은 화상에 대해서는, 디블로킹 처리가 적용되지 않게 된다.
또한, 예를 들면, Complexity가 임계값 Thc 이상인 경우, Complexity의 값에 따라서, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2의 값이 조정된다. 예를 들면, Complexity의 값이 작아질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 -6에 가까운 값으로 설정되고, Complexity의 값이 커질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 +6에 가까운 값으로 설정된다. 즉, 블록의 노이즈가 생기기 어려운 움직임이 적은 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 약해지고, 블록 노이즈가 생기기 쉬운 움직임이 큰 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 강해진다.
스텝 S23에서, 디블로킹 필터(124)는, 디블로킹 처리를 행하고, 디블로킹 제어 처리는 종료된다. 디블로킹 처리가 실시된 복호 화상은, 참조 화상으로서 프레임 메모리(125)에 축적된다. 또한, disable_deblocking_filter_idc가 1로 설정되어 있는 경우, 디블로킹 처리는 실시되지 않는다.
이와 같이, Complexity에 따라서, 복호 화상에 대하여 디블로킹 처리가 적절하게 실시되고, 텍스쳐가 유지된 채 블록 노이즈가 제거된 참조 화상이 생성된다. 따라서, 참조 화상을 이용하여 인터 예측 부호화되는 화상의 화질을 향상시킬 수 있다.
또한, 임계값 Thc의 값을, 화상의 종류, 즉, I픽쳐, P픽쳐, 및, B픽쳐 중 어느 것인지에 기초하여 바꾸도록 하여도 된다.
또한, 프레임간 예측을 이용하여 부호화된 화상인 P픽쳐 및 B픽쳐의 부호화 난이도를, 그 화상보다 전에 프레임 내 예측을 이용하여 부호화된 화상인 I픽쳐의 Complexity를 이용하여 정규화하고, 정규화한 값(Norm_Complexity)에 기초하여, 디블로킹 처리를 제어하도록 하여도 된다. P픽쳐의 Complexity를 정규화한 Norm_ComplexityPpic, 및, B픽쳐의 Complexity를 정규화한 Norm_ComplexityBpic는, 이하의 수학식 4 내지 8에 의해 산출된다.
Figure 112009001983419-pct00004
Figure 112009001983419-pct00005
Figure 112009001983419-pct00006
Figure 112009001983419-pct00007
Figure 112009001983419-pct00008
또한, ComplexityIpic, PictureGeneratedBisIpic, PictureAverageQuantIpic는, 각각 I픽쳐의 부호화 난이도, 발생 부호량, 양자화 스케일의 평균값을 나타내고, ComplexityPpic, PictureCeneratedBisPpic, PictureAverageQuantPpic는, 각각 P픽쳐의 부호화 난이도, 발생 부호량, 양자화 스케일의 평균값을 나타내고, ComplexityBpic, PictureGeneratedBisBpic, PictureAverageQuantIBic는, 각각 B픽쳐의 부호화 난이도, 발생 부호량, 양자화 스케일의 평균값을 나타내고 있다.
예를 들면, 디블로킹 처리를 실시하는 화상이 P픽쳐 또는 B픽쳐인 경우, Norm_Complexity가 소정의 임계값 Thcn보다 작은 경우, disable_deblocking_filter_idc가 1로 설정된다. 즉, 블록 노이즈가 거의 생기지 않는 매우 움직임이 적은 화상에 대해서는, 디블로킹 처리가 적용되지 않게 된다.
또한, 예를 들면, Norm_Complexity가 임계값 Thcn 이상인 경우, Norm_Complexity의 값에 따라서, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2의 값이 조정된다. 예를 들면, Norm_Complexity의 값이 작아질수록 slice_alpha_c0_offset_div2 및 slice-beta_offset_div2가 -6에 가까운 값으로 설정되고, Norm_Complexity의 값이 커질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 +6에 가까운 값으로 설정된다. 즉, 블록의 노이즈가 생기기 어려운 움직임이 적은 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 약해지고, 블록 노이즈가 생기기 쉬운 움직임이 큰 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 강해진다.
Norm_ComplexityPpic 및 Norm_ComplexityBpic는, I픽쳐의 화상의 움직임을 1로 한 경우의, P픽쳐 및 B픽쳐의 움직임을 나타내고 있고, 각 픽쳐의 움직임의 복잡함을 보다 정확하게 추출할 수 있기 때문에, 보다 적절하게 디블로킹 처리가 실시되고, 인터 예측 부호화되는 화상의 화질을 보다 향상시킬 수 있다.
또한, 임계값 Thcn의 값을, 화상의 종류, 즉, P픽쳐 및 B픽쳐 중 어느 것인지에 기초하여 바꾸도록 하여도 된다.
또한, 정규화에 이용하는 I픽쳐는, 해당 화상보다 전의 가장 가까운 시간에 부호화된 I픽쳐, 또는, 해당 화상의 부호화에서 참조되는 I픽쳐를 이용하도록 하는 것이 바람직하다.
또한, I픽쳐에 대해서는, 전술한 바와 같이, Complexity에 기초하여, 디블로킹 처리가 제어된다.
다음으로, 도 4의 플로우차트를 참조하고, 도 2를 참조하여 전술한 부호화 처리 중에 화상 처리 장치(101)에 의해 실행되는 디블로킹 제어 처리의 제2 실시 형태에 대하여 설명한다.
스텝 S41에서, 액티비티 산출부(141)는, Activity를 산출한다. 구체적으로는, 액티비티 산출부(141)는, 이하의 수학식 9에 의해, 이제부터 부호화되는 화상 의 복잡함을 나타내는 특징량으로서 Activity를 산출한다.
Figure 112009001983419-pct00009
여기에서, actk는, 해당 화상의 k번째의 매크로 블록의 액티비티를 나타내고, 이하의 수학식 10에 의해 구해진다.
Figure 112009001983419-pct00010
여기에서, var sblk는, 1개의 매크로 블록을, 8×8개의 화소로 구성되는 4개의 서브 블록으로 분할하고, 그 분할된 서브 블록의 화소값의 분산을 나타내는 값으로서, 이하의 수학식 11 및 수학식 12에 의해 구해진다.
Figure 112009001983419-pct00011
Figure 112009001983419-pct00012
여기에서, Pk는 서브 블록 내의 k번째의 화소의 화소값을 나타낸다.
또한, 수학식 10의 minsblk=1, 8(var sblk)은, 각 서브 블록에 대하여 프레임 DCT 부호화 모드의 경우와, 필드 DCT 부호화 모드의 2종의 경우에 대하여 var sblk를 구하고, 구한 var sblk 중의 최소값을 나타낸다.
즉, 수학식 9에 의해 구해지는 Activity는, 해당 화상 내의 각 매크로 블록의 액티비티의 평균값으로서, 예를 들면, MPEG-2 TestModel5(TM5)에 규정되는 레이트 제어에서 사용되는 값이다. 따라서, Activity는, 화소값의 변화가 적은 화상일수록 작아지고, 화소값의 변화가 큰 화상일수록 커진다.
스텝 S42에서, 디블로킹 필터(124)는, 디블로킹 처리에 관련된 파라미터를 조정한다. 구체적으로는, 액티비티 산출부(141)는, 산출한 Activity를 나타내는 정보를 디블로킹 필터(124)에 공급한다. 디블로킹 필터(124)는, 디블로킹 처리를 실시하는 화상의 Activity의 값에 따라서, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 및, slice_beta_offset_div2의 값을 조정한다.
예를 들면, Activity가 소정의 임계값 Tha보다 작은 경우, disable_deblocking_filter_idc가 1로 설정된다. 즉, 블록 노이즈가 거의 생기지 않는, 화소값의 변화가 매우 적은 평탄한 화상에 대해서는, 디블로킹 처리가 적용되지 않게 된다.
또한, 예를 들면, Activity가 임계값 Tha 이상인 경우, Activity의 값에 따라서, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2의 값이 조정된다. 예를 들면, Activity의 값이 작아질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 -6에 가까운 값으로 설정되고, Activity의 값이 커질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 +6에 가까운 값으로 설정된다. 즉, 블록의 노이즈가 생기기 어려운 화소값의 변화가 적은 화상에 대해 서는, 적용되는 디블로킹 처리의 강도가 약해지고, 블록 노이즈가 생기기 쉬운 화소값의 변화가 큰 복잡한 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 강해진다.
스텝 S43에서, 전술한 도 3의 스텝 S23의 처리와 마찬가지로, 디블로킹 처리가 행해지고, 디블로킹 제어 처리는 종료된다.
이와 같이, Activity에 따라서, 복호 화상에 대하여 디블로킹 처리가 적절하게 실시되고, 텍스쳐가 유지된 채 블록 노이즈가 제거된 참조 화상이 생성된다. 따라서, 참조 화상을 이용하여 인터 예측 부호화되는 화상의 화질을 향상시킬 수 있다.
또한, Activity를 이용하는 경우, 화상을 부호화하기 전에, 화상의 복잡함을 나타내는 특징량을 구할 수 있다.
또한, 전술한 바와 같이, Activity는, MPEG-2 TestModel5(TM5)에 규정되는 레이트 제어에서 사용되는 값이므로, 예를 들면, 레이트 제어부(119)에서 산출하도록 하는 것이 가능하다.
또한, 전술한 Activity, 즉, 각 매크로 블록의 액티비티의 평균값 이외에, 예를 들면, 각 매크로 블록의 액티비티의 합계값 등, 해당 화상의 화소값의 분산의 크기를 반영한 값을 이용하도록 하여도 된다.
다음으로, 도 5의 플로우차트를 참조하고, 도 2를 참조하여 전술한 부호화 처리 중에 화상 처리 장치(101)에 의해 실행되는 디블로킹 제어 처리의 제3 실시 형태에 대하여 설명한다.
스텝 S61에서, 직교 변환부(142)는, 직교 변환 계수의 총합을 산출한다. 구체적으로는, 직교 변환부(142)는, 이제부터 부호화되는 화상을 소정의 크기의 블록으로 분할한다. 또한, 이하, 4×4화소의 블록으로 분할하고, 직교 변환으로서 아다마르 변환을 이용하는 예에 대하여 설명한다. 직교 변환부(142)는, 이하의 수학식 13에 의해, 각 블록을 아다마르 변환한다.
Figure 112009001983419-pct00013
여기에서, P는 아다마르 변환 전의 4×4화소의 화소 행렬을 나타내고, P'는 아다마르 변환 후의 4×4의 변환 계수 행렬을 나타낸다. 또한, H는 이하의 수학식 14로 표현되는 4차의 아다마르 행렬을 나타내고, HT는 4차의 아다마르 행렬의 전치 행렬을 나타낸다.
Figure 112009001983419-pct00014
직교 변환부(142)는, 각 블록마다, 변환 계수 행렬 P'의 좌표(0, 0)의 변환 계수(DC(직류) 성분의 변환 계수)를 제외한 변환 계수의 절대값의 합 Ph를 산출한다. 즉, Ph는, 아다마르 변환 후의 블록 내의 변환 계수 중, 부호량과 상관이 있는 AC(교류) 성분의 변환 계수의 절대값의 합으로 된다. 또한, 직교 변환부(142) 는, 화상 내의 전체 블록의 Ph의 총합 DCtotal을 산출한다. 또한, DCtotal은, 주파수 성분이 치우친 단순한 화상일수록 작아지고, 주파수 성분이 분산된 복잡한 화상일수록 커진다.
스텝 S62에서, 디블로킹 필터(124)는, 디블로킹 처리에 관련된 파라미터를 조정한다. 구체적으로는, 직교 변환부(142)는, 산출한 DCtotal을 나타내는 정보를 디블로킹 필터(124)에 공급한다. 디블로킹 필터(124)는, 디블로킹 처리를 실시하는 화상의 DCtotal의 값에 따라서, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 및, slice_beta_offset_div2의 값을 조정한다.
예를 들면, DCtotal이 소정의 임계값 Thd보다 작은 경우, disable_deblocking_filter_idc가 1로 설정된다. 즉, 블록 노이즈가 거의 생기지 않는, 주파수 성분이 치우친 매우 단순한 화상에 대해서는, 디블로킹 처리가 적용되지 않게 된다.
또한, 예를 들면, DCtotal이 임계값 Thd 이상인 경우, DCtotal의 값에 따라서, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2의 값이 조정된다. 예를 들면, DCtotal의 값이 작아질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 -6에 가까운 값으로 설정되고, DCtotal의 값이 커질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 +6에 가까운 값으로 설정된다. 즉, 블록의 노이즈가 생기기 어려운 주파수 성분이 치우친 단순한 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 약해지고, 블록 노이즈가 생기기 쉬운 주파수 성분이 분산된 복잡한 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 강해진다.
스텝 S63에서, 전술한 도 3의 스텝 S23의 처리와 마찬가지로, 디블로킹 처리가 행해지고, 디블로킹 제어 처리는 종료된다.
또한, 이상의 설명에서는, 직교 변환으로서 아다마르 변환을 이용하는 예를 나타냈지만, 그 밖의 직교 변환, 예를 들면, DCT(이산 코사인 변환) 등을 이용하도록 하여도 된다.
또한, 직교 변환의 종류에 상관없이, 분할하는 블록의 크기는, 전술한 4×4화소에 한정되는 것이 아니며, 예를 들면, 8×8화소 등 임의의 크기로 할 수 있다.
이와 같이, DCtotal에 따라서, 복호 화상에 대하여 디블로킹 처리가 적절하게 실시되고, 텍스쳐가 유지된 채 블록 노이즈가 제거된 참조 화상이 생성된다. 따라서, 참조 화상을 이용하여 인터 예측 부호화되는 화상의 화질을 향상시킬 수 있다.
또한, DCtotal은, 직교 변환을 실시하여, 주파수 성분으로 분해한 변환 계수의 총합이므로, 해당 화상의 부호화 난이도와의 상관이 높아지고, Activity보다 높은 정밀도로 화상의 복잡함을 나타낼 수 있다.
또한, DCtotal을 이용한 경우, 화상을 부호화하기 전에, 화상의 복잡함을 나타내는 특징량을 구할 수 있다.
또한, 직교 변환부(142) 대신에, 직교 변환부(115)를 이용하여, 직교 변환 계수를 산출하도록 하는 것이 가능하다.
또한, 전술한 DCtotal, 즉, AC 성분의 직교 변환 계수의 총합 이외에, 예를 들면, AC 성분의 직교 변환 계수의 평균값 등, 해당 화상의 AC 성분의 직교 변환 계수의 크기를 반영한 값을 이용하도록 하여도 된다.
다음으로, 도 6의 플로우차트를 참조하고, 도 2를 참조하여 전술한 부호화 처리 중에 화상 처리 장치(101)에 의해 실행되는 디블로킹 제어 처리의 제4 실시 형태에 대하여 설명한다.
스텝 S81에서, 예측 오차 가산부(120)는, 예측 오차의 총합을 산출한다. 구체적으로는, 예측 오차 가산부(120)는, 이제부터 부호화되는 화상, 즉, 가산기(114)에 의해 차분이 행해지고 있는 화상이 P픽쳐 또는 B픽쳐인 경우, 가산기(114)로부터 공급되는 예측 오차를 1픽쳐분 서로 더하게 한다. 이에 의해, 예측 오차의 총합 Et가 산출된다. 또한, Et는, 화상의 움직임의 예측이 용이할수록, 즉 화상의 움직임이 작고 또한 단순할수록 작아지고, 화상의 움직임의 예측이 어려울수록, 즉 화상의 움직임이 크고 또한 복잡할수록 커진다.
스텝 S82에서, 디블로킹 필터(124)는, 디블로킹 처리에 관련된 파라미터를 조정한다. 구체적으로는, 예측 오차 가산부(120)는, 산출한 예측 오차의 총합 Et를 나타내는 정보를 디블로킹 필터(124)에 공급한다. 디블로킹 필터(124)는, Et의 값에 따라서, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 및, slice_beta_offset_div2의 값을 조정한다.
예를 들면, Et가 소정의 임계값 The보다 작은 경우, disable_deblocking_filter_idc가 1로 설정된다. 즉, 블록 노이즈가 거의 생기지 않는, 화상의 움직임이 거의 없는 화상에 대해서는, 디블로킹 처리가 적용되지 않 게 된다.
또한, 예를 들면, Et가 임계값 The 이상인 경우, Et의 값에 따라서, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2의 값이 조정된다. 예를 들면, Et의 값이 작아질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 -6에 가까운 값으로 설정되고, Et의 값이 커질수록 slice_alpha_c0_offset_div2 및 slice_beta_offset_div2가 +6에 가까운 값으로 설정된다. 즉, 블록의 노이즈가 생기기 어려운 화상의 움직임이 작고 또한 단순한 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 약해지고, 블록 노이즈가 생기기 쉬운 화상의 움직임이 크고 또한 복잡한 화상에 대해서는, 적용되는 디블로킹 처리의 강도가 강해진다.
스텝 S83에서, 전술한 도 3의 스텝 S23의 처리와 마찬가지로, 디블로킹 처리가 행해지고, 디블로킹 제어 처리는 종료된다.
이와 같이, Et에 따라서, 복호 화상에 대하여 디블로킹 처리가 적절하게 실시되고, 텍스쳐가 유지된 채 블록 노이즈가 제거된 참조 화상이 생성된다. 따라서, 참조 화상을 이용하여 인터 예측 부호화되는 화상의 화질을 향상시킬 수 있다.
또한, Et를 이용한 경우, 화상을 부호화하기 전에, 화상의 복잡함을 나타내는 특징량을 구할 수 있다.
또한, 전술한 Et, 즉, 예측 오차의 총합 이외에, 예를 들면, 직교 변환 계수의 평균값 등, 해당 화상에 대한 예측 오차의 크기를 반영한 값을 이용하도록 하여도 된다.
이상과 같이 하여, 화상의 특징에 따라서, 디블로킹 처리를 적절하게 실시할 수 있고, 그 결과, 화상의 주관 화질을 향상시킬 수 있다.
또한, 이상의 설명에서는, Complexity, Activity, DCtotal 및 Et를 각각 단독으로 이용하여, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 및, slice_beta_offset_div2의 값을 조정하는 예를 나타냈지만, 복수의 값을 이용하여 화상의 복잡함을 판정하고, 그 결과에 기초하여, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2의 값을 조정하도록 하여도 된다.
또한, 이상의 설명에서는, H.264/AVC 방식에 의해 부호화를 행하는 예를 나타냈지만, 본 발명은 인루프의 디블로킹 필터를 이용하는 부호화 방식, 예를 들면 MPEG-4(Moving Picture Coding Experts Group phase4), VC-1(Video Codec 1) 방식 등에 의해 부호화를 행하는 경우에도 적용할 수 있다.
전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 7은, 전술한 일련의 처리를 프로그램에 의해 실행하는 퍼스널 컴퓨터(300)의 구성의 예를 도시하는 블록도이다. CPU(Central Processing Unit)(301)는, ROM(Read Only Memory)(302), 또는 기록부(308)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행한다. RAM(Random Access Memory)(303)에는, CPU(301)가 실행하는 프로그램이나 데이터 등이 적절하게 기억된다. 이들 CPU(301), ROM(302), 및 RAM(303)은, 버스(304)에 의해 서로 접속되어 있다.
CPU(301)에는 또한, 버스(304)를 통하여 입출력 인터페이스(305)가 접속되어 있다. 입출력 인터페이스(305)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(306), 디스플레이, 스피커 등으로 이루어지는 출력부(307)가 접속되어 있다. CPU(301)는, 입력부(306)로부터 입력되는 명령에 대응하여 각종 처리를 실행한다. 그리고, CPU(301)는, 처리의 결과를 출력부(307)에 출력한다.
입출력 인터페이스(305)에 접속되어 있는 기록부(308)는, 예를 들면 하드디스크로 이루어지고, CPU(301)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(309)는, 인터넷이나 로컬 에리어 네트워크 등의 네트워크를 통하여 외부의 장치와 통신한다.
또한, 통신부(309)를 통하여 프로그램을 취득하고, 기록부(308)에 기억하여도 된다.
입출력 인터페이스(305)에 접속되어 있는 드라이브(310)는, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(311)가 장착되었을 때, 그것들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라서 기록부(308)에 전송되어, 기억된다.
컴퓨터에 인스톨되고, 컴퓨터에 의해 실행 가능한 상태로 되는 프로그램을 저장하는 프로그램 기록 매체는, 도 7에 도시한 바와 같이, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(311), 또는, 프로그램이 일시적 혹은 영속적으로 저장되는 ROM(302)이나, 기록부(308)를 구성하는 하드디스크 등에 의해 구성된다. 프로그램 기록 매체로의 프로그램의 저장은, 필요에 따라서 라우터, 모뎀 등의 인터페이스인 통신부(309)를 통하여, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 통신 매체를 이용하여 행해진다.
또한, 본 명세서에서, 프로그램 기록 매체에 저장되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 발명의 실시 형태는, 전술한 실시 형태에 한정되는 것이 아니며, 본 발명의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.

Claims (10)

  1. 프레임간 예측을 이용하여 부호화되고, 복호된 제1 화상에 대하여 디블로킹 처리를 실시하는 디블로킹 필터와,
    상기 제1 화상이 부호화되기 전에 프레임 내 예측을 이용하여 부호화된 제2 화상의 제2 부호화 난이도를 이용하여, 상기 제1 화상의 제1 부호화 난이도를 정규화하는 부호화 난이도 산출 수단을 포함하고,
    상기 디블로킹 필터는, 상기 정규화된 제1 부호화 난이도가 미리 정해진 제1 임계값 이상인 경우, 상기 복호된 제1 화상에 디블로킹 처리를 적용함과 함께, 상기 정규화된 제1 부호화 난이도가 높아질수록, 상기 제1 화상에 적용하는 디블로킹 처리의 강도를 강하게 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 부호화 난이도는, 상기 제1 화상을 부호화한 경우에 발생하는 발생 부호량과 상기 제1 화상에 적용된 양자화 스케일의 평균값을 이용하여 산출되는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 제2 화상은, 상기 제1 화상이 부호화되기 전의 가장 가까운 시간에 부호화된 I픽쳐인 화상 처리 장치.
  4. 제1항에 있어서,
    상기 제2 화상은, 상기 제1 화상의 인터 예측을 행하는 경우에 참조되는 I픽쳐인 화상 처리 장치.
  5. 제1항에 있어서,
    상기 제1 임계값은, 상기 제1 화상의 픽쳐의 종류에 의해 결정되는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 제1 화상 및 상기 제2 화상은, H.264/AVC(Advanced Video Coding) 방식에 의해 부호화 또는 복호되는 화상이고,
    상기 디블로킹 필터는, disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, 또는 slice_beta_offset_div2의 값을 조정함으로써, 상기 복호된 제1 화상에 대한 디블로킹 처리의 적용의 유무, 또는 상기 복호된 제1 화상에 적용하는 디블로킹 처리의 강도를 제어하는 화상 처리 장치.
  7. 제1항에 있어서,
    MPEG-4(Moving Picture Coding Experts Group phase4), H.264/AVC(Advanced Video Coding), 또는 VC-1(Video Codec 1) 방식에 의해 화상을 부호화 또는 복호하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 제1 화상을 복수의 블록으로 분할하고, 상기 블록마다 직교 변환을 실시하는 직교 변환 수단을 더 포함하고,
    상기 디블로킹 필터는, 직교 변환에 의해 얻어지는 변환 계수의 상기 화상 내의 전(全) 블록의 총합이 미리 정해진 제2 임계값 이상인 경우, 상기 복호된 제1 화상에 디블로킹 처리를 적용함과 함께, 상기 변환 계수의 총합이 커질수록, 상기 제1 화상에 적용하는 디블로킹 처리의 강도를 강하게 하는 화상 처리 장치.
  9. 화상 처리 장치가,
    프레임간 예측을 이용하여 부호화되고, 복호된 제1 화상이 부호화되기 전에 프레임 내 예측을 이용하여 부호화된 제2 화상의 제2 부호화 난이도를 이용하여, 상기 제1 화상의 제1 부호화 난이도를 정규화하고,
    상기 정규화된 제1 부호화 난이도가 미리 정해진 제1 임계값 이상인 경우, 상기 복호된 제1 화상에 디블로킹 처리를 적용함과 함께, 상기 정규화된 제1 부호화 난이도가 높아질수록, 상기 제1 화상에 적용하는 디블로킹 처리의 강도를 강하게 하는 스텝을 포함하는 화상 처리 방법.
  10. 프레임간 예측을 이용하여 부호화되고, 복호된 제1 화상이 부호화되기 전에 프레임 내 예측을 이용하여 부호화된 제2 화상의 제2 부호화 난이도를 이용하여, 상기 제1 화상의 제1 부호화 난이도를 정규화하고,
    상기 정규화된 제1 부호화 난이도가 미리 정해진 제1 임계값 이상인 경우, 상기 복호된 제1 화상에 디블로킹 처리를 적용함과 함께, 상기 정규화된 제1 부호화 난이도가 높아질수록, 상기 제1 화상에 적용하는 디블로킹 처리의 강도를 강하게 하는 스텝을 포함하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록된 컴퓨터 판독가능 기록 매체.
KR20097000640A 2006-07-14 2007-07-13 화상 처리 장치 및 방법과 기록 매체 KR101364919B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006193671A JP4747975B2 (ja) 2006-07-14 2006-07-14 画像処理装置および方法、プログラム、並びに、記録媒体
JPJP-P-2006-193671 2006-07-14
PCT/JP2007/063948 WO2008007757A1 (en) 2006-07-14 2007-07-13 Image processing device, method, and program

Publications (2)

Publication Number Publication Date
KR20090039713A KR20090039713A (ko) 2009-04-22
KR101364919B1 true KR101364919B1 (ko) 2014-02-20

Family

ID=38923313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20097000640A KR101364919B1 (ko) 2006-07-14 2007-07-13 화상 처리 장치 및 방법과 기록 매체

Country Status (8)

Country Link
US (1) US8625924B2 (ko)
JP (1) JP4747975B2 (ko)
KR (1) KR101364919B1 (ko)
CN (1) CN101491104B (ko)
BR (1) BRPI0714048A2 (ko)
RU (1) RU2479938C2 (ko)
TW (1) TW200812395A (ko)
WO (1) WO2008007757A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5232175B2 (ja) * 2008-01-24 2013-07-10 パナソニック株式会社 動画像圧縮装置
JP2010128968A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd アダマール変換回路
JP2010128969A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd アダマール変換回路
JP5435452B2 (ja) 2009-01-20 2014-03-05 株式会社メガチップス 画像処理装置および画像変換装置
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN102473240B (zh) * 2009-08-03 2015-11-25 摩托罗拉移动有限责任公司 编码视频内容的方法
JPWO2011158657A1 (ja) * 2010-06-17 2013-08-19 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
WO2012117955A1 (ja) 2011-02-28 2012-09-07 株式会社メガチップス 画像符号化装置
KR20140014214A (ko) * 2011-03-02 2014-02-05 게임 체인저스, 엘엘씨 분산형 마이크로 추력기를 이용하는 비행 제어 장치
US8861593B2 (en) * 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
JP6120490B2 (ja) 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2013109773A1 (en) * 2012-01-17 2013-07-25 Futurewei Technologies, Inc. In-loop filtering for lossless coding mode in high efficiency video coding
EP2680581A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Method and apparatus for dynamic adaptation of video encoder parameters
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
JP6392572B2 (ja) 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP6357385B2 (ja) 2014-08-25 2018-07-11 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
KR102503900B1 (ko) 2015-10-05 2023-02-27 삼성전자주식회사 양자화 파라미터를 적응적으로 결정하는 인코더 및 이를 포함하는 애플리케이션 프로세서
JP6767691B2 (ja) * 2016-10-18 2020-10-14 パナソニックＩｐマネジメント株式会社 画像符号化方法、伝送方法および画像符号化装置
JP6985287B2 (ja) 2016-11-28 2021-12-22 日本放送協会 符号化装置、復号装置、符号化方法、及び復号方法
CN107135396B (zh) * 2017-06-16 2020-08-28 北京奇艺世纪科技有限公司 一种运动估计方法和装置
WO2020059581A1 (ja) * 2018-09-19 2020-03-26 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN109714600B (zh) * 2019-01-12 2020-05-26 贵州佰仕佳信息工程有限公司 兼容性大数据采集系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025160A (ko) * 1995-10-31 1997-05-30 배순훈 호환성을 갖는 동영상 부호화기
KR20050074286A (ko) * 2004-01-13 2005-07-18 소니 가부시끼 가이샤 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02235491A (ja) * 1989-03-09 1990-09-18 Toshiba Corp 画像符号化方式
US5229864A (en) * 1990-04-16 1993-07-20 Fuji Photo Film Co., Ltd. Device for regenerating a picture signal by decoding
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JP3165296B2 (ja) 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JP3208039B2 (ja) * 1995-03-09 2001-09-10 ケイディーディーアイ株式会社 画像符号化データのレート変換装置
KR960039992A (ko) * 1995-04-29 1996-11-25 배순훈 블록화 현상 제거 장치 및 이를 이용한 동영상 복호화기
US6064776A (en) * 1995-10-27 2000-05-16 Kabushiki Kaisha Toshiba Image processing apparatus
US6041145A (en) * 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
EP0772365A3 (en) 1995-11-02 1999-05-12 Matsushita Electric Industrial Co., Ltd. Method and device for filtering a picture signal, and encoding/decoding using the same
JP3392307B2 (ja) * 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
JPH1066082A (ja) * 1996-08-16 1998-03-06 Sony Corp 映像データ圧縮装置およびその方法
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
CN100446560C (zh) * 2003-01-10 2008-12-24 汤姆森特许公司 用于平滑在误差掩蔽期间产生的人为产物的解码器装置和方法
KR20050098251A (ko) * 2003-01-20 2005-10-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩
JP4221655B2 (ja) * 2003-03-06 2009-02-12 ソニー株式会社 符号化装置および符号化方法、プログラム、並びに記録媒体
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
US7792194B2 (en) * 2003-04-10 2010-09-07 Lefan Zhong MPEG artifacts post-processed filtering architecture
RU2305377C2 (ru) * 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
US20050024651A1 (en) * 2003-07-29 2005-02-03 Zhenghua Yu Adaptive complexity scalable post-processing method
US7551792B2 (en) * 2003-11-07 2009-06-23 Mitsubishi Electric Research Laboratories, Inc. System and method for reducing ringing artifacts in images
KR20060134976A (ko) * 2004-03-09 2006-12-28 톰슨 리서치 펀딩 코포레이션 고급 비디오 코딩을 위한 감소된 해상도의 갱신 모드
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
CN1286322C (zh) * 2004-08-06 2006-11-22 联合信源数字音视频技术（北京）有限公司 一种低复杂度整数4×4离散余弦变换量化实现方法
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
US8553777B2 (en) * 2005-04-14 2013-10-08 Thomson Licensing Method and apparatus for slice adaptive motion vector coding for spatial scalable video encoding and decoding
US7801385B2 (en) * 2005-05-10 2010-09-21 Intel Corporation Perceptual filter support techniques
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
CN101228794B (zh) * 2005-07-21 2011-05-11 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
WO2007047271A2 (en) * 2005-10-12 2007-04-26 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025160A (ko) * 1995-10-31 1997-05-30 배순훈 호환성을 갖는 동영상 부호화기
KR20050074286A (ko) * 2004-01-13 2005-07-18 소니 가부시끼 가이샤 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램

Also Published As

Publication number Publication date
CN101491104B (zh) 2011-07-06
JP4747975B2 (ja) 2011-08-17
JP2008022404A (ja) 2008-01-31
RU2479938C2 (ru) 2013-04-20
BRPI0714048A2 (pt) 2012-12-11
RU2009101022A (ru) 2010-07-20
WO2008007757A1 (en) 2008-01-17
US8625924B2 (en) 2014-01-07
CN101491104A (zh) 2009-07-22
TW200812395A (en) 2008-03-01
KR20090039713A (ko) 2009-04-22
TWI335763B (ko) 2011-01-01
US20090263032A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
KR101364919B1 (ko) 화상 처리 장치 및 방법과 기록 매체
RU2694012C1 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
KR101362590B1 (ko) 화상 처리 장치 및 방법
EP2755388B1 (en) Method, device, and program for encoding and decoding image
CN107347157B (zh) 视频解码装置
US20140119455A1 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
US9167271B2 (en) Image processing device, method, and program, dynamic image encoding device, method, and program, dynamic image decoding device, method, and program, and encoding/decoding system and method
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR101394209B1 (ko) 영상의 인트라 예측 부호화 방법
JPWO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
KR101753273B1 (ko) 변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치
JP2007013298A (ja) 画像符号化装置
KR20100136883A (ko) 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
JP7229413B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP7080424B2 (ja) デブロッキングフィルタ制御装置及びプログラム
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP4232733B2 (ja) ノイズ低減方法
JP2014049875A (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2009021802A (ja) 動画像符号化装置及び方法
JP2008104072A (ja) 画像データの符号化方法および符号化装置
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
KR100717033B1 (ko) 영상 부호화기의 잡음 제거 방법 및 장치
Zhang et al. ADAPTIVE PRUNED 4× 4 DCT ALGORITHM FOR H. 264
KR20080051207A (ko) 블록화 현상 제거 방법
JP2005176237A (ja) 画像符号化装置、画像符号化方法及びそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee