KR101786130B1 - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101786130B1
KR101786130B1 KR1020127004293A KR20127004293A KR101786130B1 KR 101786130 B1 KR101786130 B1 KR 101786130B1 KR 1020127004293 A KR1020127004293 A KR 1020127004293A KR 20127004293 A KR20127004293 A KR 20127004293A KR 101786130 B1 KR101786130 B1 KR 101786130B1
Authority
KR
South Korea
Prior art keywords
image
filter
unit
processing
data
Prior art date
Application number
KR1020127004293A
Other languages
English (en)
Other versions
KR20120051020A (ko
Inventor
가즈시 사또
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120051020A publication Critical patent/KR20120051020A/ko
Application granted granted Critical
Publication of KR101786130B1 publication Critical patent/KR101786130B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은, 부호화 효율의 저감을 억제할 수 있는 화상 처리 장치 및 방법에 관한 것이다. 복호 화소 분류부(152) 및 입력 화소 분류부(153)는, 직교 변환 사이즈 버퍼(151)로부터 읽어낸 직교 변환 사이즈에 기초하여, 복호 화상 또는 입력 화상의 각 매크로 블록을 클래스 분류한다. 4×4 블록 계수 산출부(154) 및 8×8 블록 계수 산출부(155)는, 각각의 직교 변환 블록에 있어서, 잔차가 최소로 되도록 필터 계수를 산출한다. 루프 필터(113)의 화소 분류부(161)는, 복호 화상의 각 매크로 블록을, 그 직교 변환 블록 사이즈마다 클래스 분류한다. 필터부(4×4)(162) 및 필터부(8×8)(163)는, 각각이 대응하는 직교 변환 블록에 대하여 적절한 필터 계수를 적용하고, 필터 처리를 행한다. 본 발명은, 예를 들면, 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}
본 발명은, 화상 처리 장치 및 방법에 관한 것으로, 특히, 화상을 부호화하고, 복호하는 것에 의한 화질의 열화를 억제하고, 복호 화상의 화질을 보다 향상시킬 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.
최근, 화상 정보를 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Experts Group) 등의 방식에 준거한 장치가, 방송국 등의 정보 배신 및 일반가정에 있어서의 정보 수신의 쌍방에 있어서 보급되고 있다.
특히, MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission) 13818-2)는, 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준으로, 프로페셔널 용도 및 소비자 용도의 광범위한 어플리케이션에 현재 널리 이용되고 있다. MPEG2 압축 방식을 이용함으로써, 예를 들면 720×480화소를 갖는 표준 해상도의 비월 주사 화상이면 4∼8Mbps, 1920×1088화소를 갖는 고해상도의 비월 주사 화상이면 18∼22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축률로 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축률의 부호화 방식에는 대응하고 있지 않았다. 휴대 단말기의 보급에 따라, 금후 그러한 부호화 방식의 니즈는 높아진다고 생각되며, 이것에 대응해서 MPEG4 부호화 방식의 표준화가 행하여졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC14496-2로서 그 규격이 국제 표준으로 승인되었다.
또한, 최근, 당초 텔레비전 회의용의 화상 부호화를 목적으로 하여, H.26L(ITU-T(ITU Telecommunication Standardization Sector) Q6/16 VCEG(Video Coding Experts Group))라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 베이스로, H.26L에서는 서포트되지 않는 기능도 도입하여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행하여지고 있다. 표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG4 Part 10(AVC(Advanced Video Coding))이라고 하는 이름 하에 국제 표준으로 되었다.
또한, 그 확장으로서, RGB나 4:2:2, 4:4:4와 같은, 업무용에 필요한 부호화 툴이나, MPEG2에서 규정되어 있던 8x8DCT(Discrete Cosine Transform)나 양자화 매트릭스도 포함한 FRExt(Fidelity Range Extension)의 표준화가 행하여지고, 이에 의해, AVC를 이용하여, 영화에 포함되는 필름 노이즈도 양호하게 표현하는 것이 가능한 부호화 방식으로 되어, Blu-Ray Disc 등의 폭넓은 어플리케이션에 이용되는 단계로 되었다.
그러나, 최근 하이비젼 화상의 4배의, 4000×2000화소 정도의 화상을 압축하고 싶거나, 혹은, 인터넷과 같은 한정된 전송 용량의 환경에 있어서, 하이비젼 화상을 배신하고 싶은 등의, 서로 다른 고압축률 부호화에 대한 니즈가 높아지고 있다. 이 때문에, 상술한, ITU-T 산하의 VCEG에 있어서, 부호화 효율의 개선에 관한 검토가 계속되어 행하여지고 있다.
또한, 최근 검토되고 있는 차세대의 비디오 부호화 기술로서 적응 루프 필터(ALF(Adaptive Loop Filter))가 있다(예를 들면, 비특허 문헌 1 및 비특허 문헌 2 참조). 이 루프 필터에 의해, 프레임마다 최적인 필터 처리가 행하여지고, 디블록 필터로 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
그런데, 매크로 블록 사이즈를 16화소×16화소로 하는 것은, 차세대 부호화 방식의 대상으로 되는 UHD(Ultra High Definition; 4000화소×2000화소)와 같은 큰 화소 틀에 대해서는 최적이 아니다. 이와 같은 경우, 매크로 블록 사이즈를, 예를 들면, 32화소×32화소, 64×64화소와 같은 크기로 하는 것이 제안되어 있다(예를 들면, 비특허 문헌 3 참조).
비특허 문헌1: Yi-Jen Chiu and L. Xu, "Adaptive(Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008. 비특허 문헌2: Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July 2008 비특허 문헌3: Qualcomm Inc, "Video Coding Using Extended Block Sizes" ITU-T SG16 Contribution, C123, English, January 2009.
일반적으로 화상은 국소적으로는 다양한 특징을 갖고 있기 때문에, 국소적으로는 최적인 필터 계수는 상이하다. 예를 들면, AVC 부호화 방식에 있어서는, 직교 변환의 크기가 4×4인 경우와, 8×8인 경우에는, 서로 다른 화질 열화가 관측된다. 예를 들면, 8×8 직교 변환 블록에 있어서는, 4×4 직교 변환 블록에 있어서는 관측되지 않는 모스키토 잡음이 관측된다. 또한, 플랫한 에어리어에 대해서는, 8×8 직교 변환 블록이 선택되기 쉽지만, 정밀한 텍스쳐를 포함하는 에어리어에 대해서는, 4×4 직교 변환 블록이 선택되기 쉽다고 하는 경향이 있다.
그러나, 종래 제안되어 있는 방법에 있어서는, 화상 전체에 대하여 균일하게 필터링을 실시할 뿐이며, 화상이 갖는 국소적 성질에 적합한 노이즈 제거가 이루어져 있다고는 단정할 수 없고, 국소적으로는 복호 화상의 화질이 저하할 우려가 있었다.
본 발명은, 이러한 상황을 감안하여 제안된 것이며, 화상을 부호화하고, 복호하는 것에 의한 화질의 열화를 억제하여, 복호 화상의 화질을 보다 향상시키는 것을 목적으로 한다.
본 발명의 일 측면은, 화상을, 소정의 화상 사이즈마다, 상기 화상에 대하여 행하여지는 직교 변환 처리에서 적용된 직교 변환 사이즈에 의해 분류하는 분류 수단과, 상기 분류 수단에 의해 분류된 상기 화상 사이즈마다의 각 부분 화상에 대하여, 상기 부분 화상의 상기 직교 변환 사이즈에 대응하는 상기 화상의 국소적 성질에 따라 설정된 필터 계수를 이용하여, 잡음 제거를 위한 필터 처리를 행하는 필터 수단을 구비하는 화상 처리 장치이다.
상기 필터 수단은, 위너 필터(Wiener Filter)이도록 할 수 있다.
상기 화상 사이즈는, 매크로 블록이며, 상기 분류 수단은, 각 매크로 블록을, 그 직교 변환 사이즈에 따라 분류하고, 상기 필터 수단은, 상기 분류 수단에 의해 분류된 각 매크로 블록에 대하여, 그 직교 변환 사이즈에 대응하는 상기 화상의 국소적 성질에 따라 설정된 상기 필터 계수를 이용해서 상기 필터 처리를 행할 수 있다.
상기 화상을 부호화하고, 부호화 데이터를 생성하는 부호화 수단을 더 구비할 수 있다.
상기 부호화 수단은, 상기 화상을 AVC(Advanced Video Coding) 방식으로 부호화하고, 상기 분류 수단은, 상기 부호화 수단에 의해, 직교 변환되고, 양자화되고, 역양자화되고, 역직교 변환된 복호 화상을 상기 화상 사이즈마다 분류하고, 상기 필터 수단은, 상기 복호 화상의 상기 부분 화상에 대하여 상기 필터 처리를 행하고, 필터 처리 결과를 참조 화상으로서 프레임 메모리에 저장할 수 있다.
상기 부호화 수단에의 입력 화상과, 상기 복호 화상을 이용하여, 상기 필터 계수를 산출하는 필터 계수 산출 수단을 더 구비하고, 상기 필터 수단은, 상기 필터 계수 산출 수단에 의해 산출된 상기 필터 계수를 이용하여, 상기 필터 처리를 행할 수 있다.
상기 필터 계수 산출 수단은, 상기 입력 화상 및 상기 복호 화상을, 각각 상기 화상 사이즈마다, 상기 부호화 수단에 의해 행하여지는 직교 변환 처리에 있어서 적용되는 직교 변환 사이즈에 의해 분류하고, 각 직교 변환 사이즈마다, 상기 입력 화상 및 상기 복호 화상의 차분이 최소로 되도록 상기 필터 계수를 산출할 수 있다.
상기 필터 계수 산출 수단은, 상기 부호화 수단에 의해 행하여지는 직교 변환 처리에서 적용되는 직교 변환 사이즈에 대응하는 상기 화상의 국소적 성질에 따라 상기 필터 계수의 값을 설정할 수 있다.
상기 필터 계수 산출 수단은, 상기 부호화 수단에 의해 행하여지는 직교 변환 처리에서 적용되는 직교 변환 사이즈에 대응하는 상기 화상의 국소적 성질에 따라 상기 필터 계수의 탭수를 더 설정할 수 있다.
상기 필터 계수 산출 수단은, 상기 직교 변환 사이즈가 보다 클수록, 상기 필터 계수의 탭수를 길게 설정하고, 상기 직교 변환 사이즈가 작을수록, 상기 필터 계수의 탭수를 짧게 설정할 수 있다.
상기 부호화 수단에 의해 생성된 상기 부호화 데이터에 상기 필터 계수를 부가하는 부가 수단을 더 구비할 수 있다.
상기 부가 수단은, 상기 부호화 데이터에, 상기 필터 처리를 행할 것인지의 여부를 제어하는 플래그 정보를 더 부가할 수 있다.
화상이 부호화된 부호화 데이터로부터, 상기 필터 계수를 추출하는 추출 수단과, 상기 부호화 데이터를 복호하고, 복호 화상을 생성하는 복호 수단을 더 구비하고, 상기 분류 수단은, 상기 복호 수단에 의해 생성된 상기 복호 화상을, 상기 화상 사이즈마다, 상기 직교 변환 사이즈에 따라 분류하고, 상기 필터 수단은, 상기 분류 수단에 의해 분류된 상기 화상 사이즈마다의 각 부분 화상에 대하여, 상기 추출 수단에 의해 추출된 상기 필터 계수를 이용하여, 잡음 제거를 위한 필터 처리를 행할 수 있다.
상기 복호 수단은, 상기 부호화 데이터를 AVC(Advanced Video Coding) 방식으로 복호하고, 상기 분류 수단은, 상기 복호 수단에 의해, 복호되고, 역양자화되고, 역직교 변환된 상기 복호 화상을 상기 화상 사이즈마다 분류하고, 상기 필터 수단은, 상기 복호 화상의 상기 부분 화상에 대하여 상기 필터 처리를 행할 수 있다.
본 발명의 일 측면은, 또한, 화상 처리 장치의 분류 수단이 화상을, 소정의 화상 사이즈마다, 상기 화상에 대하여 행하여지는 직교 변환 처리에서 적용된 직교 변환 사이즈에 따라 분류하고, 상기 화상 처리 장치의 필터 수단이, 그 분류된 상기 화상 사이즈마다의 각 부분 화상에 대하여, 상기 부분 화상의 상기 직교 변환 사이즈에 대응하는 상기 화상의 국소적 성질에 따라 설정된 필터 계수를 이용하여, 잡음 제거를 위한 필터 처리를 행하는 화상 처리 방법이다.
본 발명의 일 측면에 있어서는, 화상이, 소정의 화상 사이즈마다, 화상에 대하여 행하여지는 직교 변환 처리에 있어서 적용된 직교 변환 사이즈에 의해 분류되고, 그 분류된 화상 사이즈마다의 각 부분 화상에 대하여, 부분 화상의 직교 변환 사이즈에 대응하는 화상의 국소적 성질에 따라서 설정된 필터 계수가 이용되어, 잡음 제거를 위한 필터 처리가 행하여진다.
본 발명에 따르면, 화상을 부호화 또는 복호할 수 있다. 특히, 화상을 부호화하고, 복호하는 것에 의한 화질의 열화를 억제하여, 복호 화상의 화질을 보다 향상시킬 수 있다.
도 1은 본 발명을 적용한 화상 부호화 장치의 주된 구성예를 도시하는 블록도.
도 2는 직교 변환의 단위의 예를 설명하기 위한 도면.
도 3은 4×4 직교 변환을 행하는 매크로 블록에 있어서의 처리에 대해서 설명하는 도면.
도 4는 정수 변환, 역정수 변환을, 버터플라이 연산에 의해 실현하는 방법을 도시하는 도면.
도 5는 디블록 필터의 동작 원리를 설명하는 도면.
도 6은 Bs의 정의의 방법을 설명하는 도면.
도 7은 디블록 필터의 동작 원리를 설명하는 도면.
도 8은 indexA 및 indexB와 α 및 β의 값의 대응 관계의 예를 도시하는 도면.
도 9는 Bs 및 indexA와 tC0의 대응 관계의 예를 도시하는 도면.
도 10은 매크로 블록의 예를 도시하는 도면.
도 11은 루프 필터 및 필터 계수 산출부의 주된 구성예를 도시하는 블록도.
도 12는 부호화 처리의 흐름의 예를 설명하는 플로우차트.
도 13은 예측 처리의 흐름의 예를 설명하는 플로우차트.
도 14는 루프 필터 처리의 흐름의 예를 설명하는 플로우차트.
도 15는 본 발명을 적용한 화상 복호 장치의 주된 구성예를 도시하는 블록도.
도 16은 루프 필터의 주된 구성예를 도시하는 블록도.
도 17은 복호 처리의 흐름의 예를 설명하는 플로우차트.
도 18은 예측 화상 생성 처리의 흐름의 예를 설명하는 플로우차트.
도 19는 루프 필터 처리의 흐름의 예를 설명하는 플로우차트.
도 20은 ALF 블록 및 필터 블록 플래그를 설명하는 도면.
도 21은 ALF 블록 및 필터 블록 플래그의 다른 예를 설명하는 도면.
도 22는 본 발명을 적용한 퍼스널 컴퓨터의 주된 구성예를 도시하는 블록도.
도 23은 본 발명을 적용한 텔레비전 수상기의 주된 구성예를 도시하는 블록도.
도 24는 본 발명을 적용한 휴대 전화기의 주된 구성예를 도시하는 블록도.
도 25는 본 발명을 적용한 하드디스크 레코더의 주된 구성예를 도시하는 블록도.
도 26은 본 발명을 적용한 카메라의 주된 구성예를 도시하는 블록도.
이하, 발명을 실시하기 위한 형태(이하 실시 형태라고 함)에 대해서 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(화상 부호화 장치)
2. 제2 실시 형태(화상 복호 장치)
3. 제3 실시 형태(ALF 블록 제어)
4. 제4 실시 형태(QALF)
5. 제5 실시 형태(퍼스널 컴퓨터)
6. 제6 실시 형태(텔레비전 수상기)
7. 제7 실시 형태(휴대 전화기)
8. 제8 실시 형태(하드디스크 레코더)
9. 제9 실시 형태(카메라)
<1. 제1 실시 형태>
[디바이스의 구성]
도 1은, 본 발명을 적용한 화상 처리 장치로서의 화상 부호화 장치의 일 실시 형태의 구성을 나타내고 있다.
도 1에 도시되는 화상 부호화 장치(100)는, 예를 들면, H.264 및 MPEG(Moving Picture Experts Group)4 Part 10(AVC(Advanced Video Coding))(이하 H.264/AVC라고 칭함) 방식으로 화상을 압축 부호화하는 부호화 장치이며, 또한, 적응 루프 필터를 채용하고 있다.
도 1의 예에 있어서, 화상 부호화 장치(100)는, A/D(Analog/Digital) 변환부(101), 화면 재배열 버퍼(102), 연산부(103), 직교 변환부(104), 양자화부(105), 가역 부호화부(106) 및 축적 버퍼(107)를 갖는다. 또한, 화상 부호화 장치(100)는, 역양자화부(108), 역직교 변환부(109), 연산부(110) 및 디블록 필터(111)를 갖는다. 또한, 화상 부호화 장치(100)는, 필터 계수 산출부(112), 루프 필터(113) 및 프레임 메모리(114)를 갖는다. 또한, 화상 부호화 장치(100)는, 선택부(115), 인트라 예측부(116), 움직임 예측·보상부(117) 및 선택부(118)를 갖는다. 또한, 화상 부호화 장치(100)는, 레이트 제어부(119)를 갖는다.
A/D 변환부(101)는, 입력된 화상 데이터를 A/D 변환하고, 화면 재배열 버퍼(102)에 출력하고, 기억시킨다. 화면 재배열 버퍼(102)는, 기억한 표시의 순번의 프레임의 화상을, GOP(Group of Picture) 구조에 따라서, 부호화를 위한 프레임의 순서대로 재배열한다. 화면 재배열 버퍼(102)는, 프레임의 순번을 재배열한 화상을, 연산부(103), 인트라 예측부(116), 움직임 예측·보상부(117) 및 필터 계수 산출부(112)에 공급한다.
연산부(103)는, 화면 재배열 버퍼(102)로부터 읽어내어진 화상으로부터, 선택부(118)로부터 공급되는 예측 화상을 감산하고, 그 차분 정보를 직교 변환부(104)에 출력한다. 예를 들면, 인트라 부호화가 행하여지는 화상의 경우, 연산부(103)는, 화면 재배열 버퍼(102)로부터 읽어내어진 화상에 인트라 예측부(116)로부터 공급되는 예측 화상을 가산한다. 또한, 예를 들면, 인터 부호화가 행하여지는 화상의 경우, 연산부(103)는, 화면 재배열 버퍼(102)로부터 읽어내어진 화상에 움직임 예측·보상부(117)로부터 공급되는 예측 화상을 가산한다.
직교 변환부(104)는, 연산부(103)로부터의 차분 정보에 대하여, 이산 코사인 변환, 카루넨 뢰베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 양자화부(105)에 공급한다. 또한, 직교 변환부(104)는, 각 매크로 블록에 대하여 4×4 직교 변환과, 8×8 직교 변환 중 어느 것을 적용했는지에 관한 정보(직교 변환 사이즈)를, 필터 계수 산출부(112) 및 루프 필터(113)에 공급한다.
양자화부(105)는, 직교 변환부(104)가 출력하는 변환 계수를 양자화한다. 양자화부(105)는, 양자화된 변환 계수를 가역 부호화부(106)에 공급한다.
가역 부호화부(106)는, 그 양자화된 변환 계수에 대하여, 가변 길이 부호화, 산술 부호화 등의 가역 부호화를 실시한다.
가역 부호화부(106)는, 인트라 예측을 나타내는 정보 등을 인트라 예측부(116)로부터 취득하고, 인터 예측 모드를 나타내는 정보 등을 움직임 예측·보상부(117)로부터 취득한다. 또한, 인트라 예측을 나타내는 정보는, 이하, 인트라 예측 모드 정보라고도 칭한다. 또한, 인터 예측을 나타내는 정보 모드를 나타내는 정보는, 이하, 인터 예측 모드 정보라고도 칭한다.
가역 부호화부(106)는, 또한 루프 필터(113)에 있어서 사용되는 필터 계수를, 필터 계수 산출부(112)로부터 취득한다.
가역 부호화부(106)는, 양자화된 변환 계수를 부호화함과 함께, 필터 계수, 인트라 예측 모드 정보, 인터 예측 모드 정보 및 양자화 파라미터 등을, 부호화 데이터의 헤더 정보의 일부로 한다(다중화한다). 가역 부호화부(106)는, 부호화해서 얻어진 부호화 데이터를 축적 버퍼(107)에 공급해서 축적시킨다.
예를 들면, 가역 부호화부(106)에 있어서는, 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행하여진다. 가변 길이 부호화로서는, H.264/AVC 방식으로 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.
축적 버퍼(107)는, 가역 부호화부(106)로부터 공급된 부호화 데이터를 일시적으로 유지하고, 소정의 타이밍에 있어서, H.264/AVC 방식으로 부호화된 부호화 화상으로서, 예를 들면, 후단의 도시하지 않는 기록 장치나 전송로 등에 출력한다.
또한, 양자화부(105)에 있어서 양자화된 변환 계수는, 역양자화부(108)에도 공급된다. 역양자화부(108)는, 그 양자화된 변환 계수를, 양자화부(105)에 의한 양자화에 대응하는 방법으로 역양자화하고, 얻어진 변환 계수를, 역직교 변환부(109)에 공급한다.
역직교 변환부(109)는, 공급된 변환 계수를, 직교 변환부(104)에 의한 직교 변환 처리에 대응하는 방법으로 역직교 변환한다. 역직교 변환된 출력은, 연산부(110)에 공급된다.
연산부(110)는, 역직교 변환부(109)로부터 공급된 역직교 변환 결과, 즉, 복원된 차분 정보에, 선택부(118)로부터 공급되는 예측 화상을 가산하고, 국부적으로 복호 된 화상(복호 화상)을 얻는다. 예를 들면, 차분 정보가, 인트라 부호화가 행하여지는 화상에 대응하는 경우, 연산부(110)는, 그 차분 정보에 인트라 예측부(116)로부터 공급되는 예측 화상을 가산한다. 또한, 예를 들면, 차분 정보가, 인터 부호화가 행하여지는 화상에 대응하는 경우, 연산부(110)는, 그 차분 정보에 움직임 예측·보상부(117)로부터 공급되는 예측 화상을 가산한다.
그 가산 결과는, 디블록 필터(111)에 공급된다.
디블록 필터(111)는, 복호 화상의 블록 왜곡을 제거한다. 디블록 필터(111)는, 그 왜곡 제거 결과를 루프 필터(113) 및 프레임 메모리(114)에 공급한다.
필터 계수 산출부(112)에는, 디블록 필터(111)로부터 프레임 메모리(114)를 거쳐서 공급되는 복호 화상이 공급된다. 또한, 필터 계수 산출부(112)에는, 화면 재배열 버퍼(102)로부터 읽어내어진 입력 화상이 공급된다. 또한, 필터 계수 산출부(112)에는, 직교 변환부(104)로부터, 직교 변환 사이즈(각 매크로 블록에 대하여 4×4 직교 변환과, 8×8 직교 변환 중 어느 것이 적용되었는지에 관한 정보)가 공급된다.
필터 계수 산출부(112)는, 직교 변환부(104)로부터 공급되는 직교 변환 사이즈에 기초하여, 복호 화상 및 입력 화상의 각 매크로 블록을, 직교 변환의 사이즈마다 그룹 나눔(클래스 분류)하고, 각 그룹(클래스)마다, 루프 필터(113)에 있어서 행하여지는 필터 처리의 적절한 필터 계수를 생성한다. 필터 계수 산출부(112)는, 각 그룹(직교 변환 사이즈)에 있어서, 잔차(복호 화상과 입력 화상의 차분)를 최소로 하도록 필터 계수를 산출한다.
필터 계수 산출부(112)는, 생성한 각 그룹의 필터 계수를 루프 필터(113)에 공급한다. 또한, 필터 계수 산출부(112)는, 생성한 각 그룹의 필터 계수를 가역 부호화부(106)에도 공급한다. 상술한 바와 같이 필터 계수는, 가역 부호화부(106)에 의해, 부호화 데이터에 포함된다(다중화된다). 즉, 각 그룹의 필터 계수는, 부호화 데이터와 함께 화상 복호 장치에 보내진다.
루프 필터(113)에는, 디블록 필터(111)로부터 프레임 메모리(114)를 거쳐서 공급되는 복호 화상이 공급된다. 또한, 필터 계수 산출부(112)에는, 직교 변환부(104)로부터, 직교 변환 사이즈(각 매크로 블록에 대하여 4×4 직교 변환과, 8×8 직교 변환 중 어느 것이 적용되었는지에 관한 정보)가 공급된다.
루프 필터(113)는, 직교 변환부(104)로부터 공급되는 직교 변환 사이즈에 기초하여, 복호 화상의 각 매크로 블록을, 직교 변환의 사이즈마다 그룹 나눔(클래스 분류)하고, 필터 계수 산출부(112)로부터 공급된 필터 계수를 이용하여, 각 그룹(클래스)마다 복호 화상에 필터 처리를 행한다. 이 필터로서, 예를 들면, 위너 필터가 이용된다. 물론 위너 필터 이외의 필터를 이용해도 된다. 루프 필터(113)는, 필터 처리 결과를 프레임 메모리(114)에 공급하고, 참조 화상으로서 축적시킨다.
프레임 메모리(114)는, 소정의 타이밍에 있어서, 축적되어 있는 참조 화상을, 선택부(115)를 거쳐서 인트라 부호화부(116) 또는 움직임 예측·보상부(117)에 출력한다. 예를 들면, 인트라 부호화가 행하여지는 화상의 경우, 프레임 메모리(114)는, 참조 화상을, 선택부(115)를 거쳐서 인트라 예측부(116)에 공급한다. 또한, 예를 들면, 인터 부호화가 행하여지는 화상의 경우, 프레임 메모리(114)는, 참조 화상을, 선택부(115)를 거쳐서 움직임 예측·보상부(117)에 공급한다.
화상 부호화 장치(100)에 있어서는, 예를 들면, 화면 재배열 버퍼(102)로부터의 I픽쳐, B픽쳐 및 P픽쳐가, 인트라 예측(인트라 처리라고도 칭함)하는 화상으로서, 인트라 예측부(116)에 공급된다. 또한, 화면 재배열 버퍼(102)로부터 읽어내어진 B픽쳐 및 P픽쳐가, 인터 예측(인터 처리라고도 칭함)하는 화상으로서, 움직임 예측·보상부(117)에 공급된다.
선택부(115)는, 프레임 메모리(114)로부터 공급되는 참조 화상을, 인트라 부호화를 행하는 화상의 경우, 인트라 예측부(116)에 공급하고, 인터 부호화를 행하는 화상의 경우, 움직임 예측·보상부(117)에 공급한다.
인트라 예측부(116)는, 화면 재배열 버퍼(102)로부터 읽어내어진 인트라 예측하는 화상과 프레임 메모리(114)로부터 공급된 참조 화상에 기초하여, 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다.
인트라 예측부(116)에 있어서, 해당 블록/매크로 블록에 대하여 적용된 인트라 예측 모드 정보는, 가역 부호화부(106)에 전송되고, 부호화 데이터에 있어서의 헤더 정보의 일부로 된다. 휘도 신호에 대해서는, 인트라 4×4 예측 모드, 인트라 8×8 예측 모드 및 인트라 16×16 예측 모드가 정의되어 있고, 또한, 색차 신호에 관해서는, 각각의 매크로 블록마다, 휘도 신호와는 독립된 예측 모드를 정의하는 것이 가능하다. 인트라 4×4 예측 모드에 대해서는, 각각의 4×4 휘도 블록에 대하여 1개의 인트라 예측 모드가 정의되게 된다. 인트라 8×8 예측 모드에 대해서는, 각각의 8×8 휘도 블록에 대하여 1개의 인트라 예측 모드가 정의되게 된다. 인트라 16×16 예측 모드 및 색차 신호에 대해서는, 1개의 매크로 블록에 대하여 각각 1개의 예측 모드가 정의되게 된다.
인트라 예측부(116)는, 예측 화상을 생성한 인트라 예측 모드에 대하여 코스트 함수값을 산출하고, 산출한 코스트 함수값이 최소값을 부여하는 인트라 예측 모드를, 최적 인트라 예측 모드로서 선택한다. 인트라 예측부(116)는, 최적 인트라 예측 모드에서 생성된 예측 화상을, 선택부(118)를 거쳐서 연산부(103)에 공급한다.
움직임 예측·보상부(117)는, 인터 부호화가 행하여지는 화상에 대해서, 화면 재배열 버퍼(102)로부터 공급되는 입력 화상과, 프레임 메모리(114)로부터 공급되는 참조 프레임이 되는 복호 화상을 이용하여, 움직임 벡터를 산출한다. 움직임 예측·보상부(117)는, 산출한 움직임 벡터에 따라서 움직임 보상 처리를 행하여, 예측 화상(인터 예측 화상 정보)을 생성한다.
움직임 예측·보상부(117)는, 후보가 되는 모든 인터 예측 모드의 인터 예측 처리를 행하여, 예측 화상을 생성한다. 이 인터 예측 모드는, 인트라 예측 모드의 경우와 마찬가지이다.
움직임 예측·보상부(117)는, 예측 화상을 생성한 인터 예측 모드에 대하여 코스트 함수값을 산출하고, 산출한 코스트 함수값이 최소값을 부여하는 인터 예측 모드를, 최적 인터 예측 모드로서 선택한다. 움직임 예측·보상부(117)는, 최적 인터 예측 모드에서 생성된 예측 화상을, 선택부(118)를 거쳐서 연산부(103)에 공급한다.
움직임 예측·보상부(117)는, 산출한 움직임 벡터를 나타내는 움직임 벡터 정보를 가역 부호화부(106)에 공급한다. 이 움직임 벡터 정보는, 가역 부호화부(106)에 의해, 부호화 데이터에 포함된다(다중화된다). 즉, 움직임 벡터 정보는, 부호화 데이터와 함께 화상 복호 장치에 보내진다.
선택부(118)는, 인트라 부호화를 행하는 화상의 경우, 인트라 예측부(116)의 출력을 연산부(103)에 공급하고, 인터 부호화를 행하는 화상의 경우, 움직임 예측·보상부(117)의 출력을 연산부(103)에 공급한다.
레이트 제어부(119)는, 축적 버퍼(107)에 축적된 압축 화상에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.
[직교 변환의 설명]
다음으로, 상술한 각 처리의 상세에 대해서 설명한다. 최초로 직교 변환에 대해서 설명한다.
MPEG2 부호화 방식에 있어서는, 직교 변환은, 8×8화소를 단위로 해서 처리가 행하여지고 있었다. 이것에 대하여, AVC 부호화 방식과 마찬가지로 직교 변환을 행하는 화상 부호화 장치(100)는, Baseline Profile, Main Profile, Extended Profile에 있어서는, 4×4화소를 단위로 한 직교 변환을 행한다. 또한, 화상 부호화 장치(100)는, High Profile 이상에 있어서는, 매크로 블록 단위로, 도 2의 A에 도시되는 4×4화소 단위의 직교 변환과, 도 2의 B에 도시되는 8×8화소 단위의 직교 변환을 절환해서 이용하는 것이 가능하다.
[4×4 직교 변환]
우선, 4×4 직교 변환 방식에 대해서 설명한다. 4×4화소 단위의 직교 변환은, 이하와 같은 특징을 갖는다.
제1 특징은, MPEG2 부호화 방식에 있어서는, 변환을 위한 연산 정밀도는, 어떤 범위 내에서, 각각의 부호화 방식에 대하여, 자유롭게 설정하는 경우가 있기 때문에, 역 변환에 있어서의 미스매치 대책을 행할 필요가 있었지만, 본 방식에 있어서는, 변환, 역 변환 모두 규격에 있어서 규정되어 있고, 이러한 미스매치 대책을 행하는 것이 불필요하다는 점이다.
제2 특징은, 연산이, 휴대 단말기 등에 이용되는, 저소비 전력형의 디지털 ㅅ시시그널 프로세서(DSP(Digital Signal Processor))에 있어서도 실현이 가능하도록, 16-bit 레지스터에 의한 실장이 가능하다는 점이다.
제3 특징은, MPEG2 등의, 8×8화소 단위의 직교 변환에 의한 부호화 방식에 있어서는, 고역 계수의 양자화 오차에 기인해서 모스키토 잡음이 관측되어 있었지만, 본 방식에 있어서는, 이러한 모스키토 잡음이 관측되기 어렵다고 하는 점이다.
도 3에, 직교 변환 및 양자화 처리의 개요를 도시한다. 즉, 1개의 매크로 블록에 포함되는, 휘도 신호 16×16화소, 색차 신호 8×8화소는, 각각 도 3에 도시되는 바와 같이 4×4화소 블록으로 분할되고, 각각에 대하여 정수 변환 처리 및 양자화 처리가 실시된다. 또한, 색차 신호에 관해서는, 도 3에 도시되는 바와 같이, 직류 성분만을 모은 2×2 매트릭스가 생성되고, 이것에 2차의 아다마르 변환 및 양자화 처리가 실시된다.
또한, 해당 매크로 블록이 인트라 16×16 모드인 경우에는, 도 3에 도시하는 바와 같이, 직류 성분만을 모은 4×4매트릭스가 생성되고, 이것에 4차의 아다마르 변환 및 양자화가 실시된다.
4차의 직교 변환 처리에 대해서는, 이하의 수학식 1과 같이 기술할 수 있다.
Figure 112012013063358-pct00001
이 수학식 1은, 이하의 수학식 2와 같이 변형할 수 있다.
Figure 112012013063358-pct00002
이 수학식 2는, 또한 이하의 수학식 3과 같이 변형할 수 있다.
Figure 112012013063358-pct00003
따라서, 행렬 [Cf]는, 이하의 수학식 4와 같이 나타낼 수 있다.
Figure 112012013063358-pct00004
즉, 화상 부호화 장치(100)는, 수학식 4의 우변에 도시되는 행렬을 정수 변환 행렬로서 이용한다.
이에 의해, add(가감산) 및 shift(bit shift)에 의해 정수 변환을 실현할 수 있다.
또한, 수학식 3으로부터, 행렬 [Ef]는, 이하의 수학식 5와 같이 나타낼 수 있다.
Figure 112012013063358-pct00005
이 수학식 5의 우변의 항에 대해서는, 화상 부호화 장치(100)가 4×4의 성분마다 서로 다른 양자화 처리를 행함으로써 실현한다. 바꾸어 말하면, 화상 부호화 장치(100)는, 정수 변환과 양자화 처리의 조합에 의해, 직교 변환을 실현하고 있다.
또한, 역정수 변환에 대해서는, 이하의 수학식 6과 같이 나타낼 수 있다.
Figure 112012013063358-pct00006
따라서, 수학식 6의 우변은, 이하의 수학식 7 및 수학식 8과 같이 나타낼 수 있다.
Figure 112012013063358-pct00007
Figure 112012013063358-pct00008
수학식 7의 우변에 도시되는 행렬은, 역양자화의 결과 얻어지는 4×4 행렬이며, 이것에 대하여, 수학식 8의 우변에 도시되는 역정수 행렬을 실시함으로써 복호 화상에 대한 4×4 행렬이 산출된다.
역정수 변환에 대해서도, add(가감산) 및 shift(bit shift)만으로 실현할 수 있다.
도 4의 A 및 도 4의 B에, 정수 변환 및 역정수 변환을 버터플라이 연산에 의해 실현하기 위한 방법을 나타낸다.
[8×8 직교 변환]
다음으로, AVC High Profile 이상에서 이용하는 것이 가능한, 8×8 직교 변환에 대해서 설명한다.
화상 부호화 장치(100)에 있어서, 8×8 직교 변환은, 4×4의 경우와 마찬가지로, 가감산과 시프트 연산만에 있어서 실현되는 정수 변환으로서 정의되어 있다.
화상 부호화 장치(100)는, 최초로, 8점의 수평 방향의 직교 변환의 계산을 행하고, 다음으로, 8점의 수직 방향의 변환을 행한다.
이하에 있어서, 설명의 간략화를 위해, 1차원에 있어서, 8차의 정수 변환을 설명한다.
입력 신호를, {d0, d1, d2, d3, d4, d5, d6, d7}로 하면, 우선, 다음의 수학식 9 내지 수학식 16의 계산이 행하여진다.
Figure 112012013063358-pct00009
Figure 112012013063358-pct00010
Figure 112012013063358-pct00011
Figure 112012013063358-pct00012
Figure 112012013063358-pct00013
Figure 112012013063358-pct00014
Figure 112012013063358-pct00015
Figure 112012013063358-pct00016
다음으로, {e0, e1, e2, e3, e4, e5, e6, e7}에 대하여 이하의 수학식 17 내지 수학식 24의 계산이 행하여진다.
Figure 112012013063358-pct00017
Figure 112012013063358-pct00018
Figure 112012013063358-pct00019
Figure 112012013063358-pct00020
Figure 112012013063358-pct00021
Figure 112012013063358-pct00022
Figure 112012013063358-pct00023
Figure 112012013063358-pct00024
또한, {e'0, e'1, e'2, e'3, e'4, e'5, e'6, e'7}에 대하여, 이하의 수학식 25 내지 수학식 32의 계산이 행하여지고, 직교 변환된 계수 {D0, D1, D2, D3, D4, D5, D6, D7}가 얻어진다.
Figure 112012013063358-pct00025
Figure 112012013063358-pct00026
Figure 112012013063358-pct00027
Figure 112012013063358-pct00028
Figure 112012013063358-pct00029
Figure 112012013063358-pct00030
Figure 112012013063358-pct00031
Figure 112012013063358-pct00032
{D0, D1, D2, D3, D4, D5, D6, D7}로부터 {d0, d1, d2, d3, d4, d5, d6, d7}에의 역직교 변환은 이하와 같이 행하여진다.
즉, 우선, {D0, D1, D2, D3, D4, D5, D6, D7}로부터 {f0, f1, f2, f3, f4, f5, f6, f7}이, 이하의 수학식 34 내지 수학식 40과 같이 산출된다.
Figure 112012013063358-pct00033
Figure 112012013063358-pct00034
Figure 112012013063358-pct00035
Figure 112012013063358-pct00036
Figure 112012013063358-pct00037
Figure 112012013063358-pct00038
Figure 112012013063358-pct00039
Figure 112012013063358-pct00040
다음으로, {f0, f1, f2, f3, f4, f5, f6, f7}로부터, {f'0, f'1, f'2, f'3, f'4, f'5, f'6, f'7}이, 이하의 수학식 41 내지 수학식 48과 같이 산출된다.
Figure 112012013063358-pct00041
Figure 112012013063358-pct00042
Figure 112012013063358-pct00043
Figure 112012013063358-pct00044
Figure 112012013063358-pct00045
Figure 112012013063358-pct00046
Figure 112012013063358-pct00047
Figure 112012013063358-pct00048
마지막으로, {f'0, f'1, f'2, f'3, f'4, f'5, f'6, f'7}로부터, {d0, d1, d2, d3, d4, d5, d6, d7}이, 이하의 수학식 49 내지 수학식 56과 같이 산출된다.
Figure 112012013063358-pct00049
Figure 112012013063358-pct00050
Figure 112012013063358-pct00051
Figure 112012013063358-pct00052
Figure 112012013063358-pct00053
Figure 112012013063358-pct00054
Figure 112012013063358-pct00055
Figure 112012013063358-pct00056
[디블록 필터]
다음으로 디블록 필터에 대해서 설명한다. 디블록 필터(111)는, 복호 화상에 있어서의 블록 왜곡을 제거한다. 이에 의해, 움직임 보상 처리에 의해 참조되는 화상에의 블록 왜곡의 전파가 억제된다.
디블록 필터의 처리로서는, 부호화 데이터에 포함되는, Picture Parameter Set RBSP(Raw Byte Sequence Payload)에 포함되는 deblocking_filter_control_present_flag 및 슬라이스 헤더(Slice Header)에 포함되는 disable_deblocking_filter_idc라고 하는 2개의 파라미터에 의해, 이하의 (ａ) 내지 (c)의 3가지의 방법이 선택 가능하다.
(a) 블록 경계 및 매크로 블록 경계에 실시한다.
(b) 매크로 블록 경계에만 실시한다.
(c) 실시하지 않는다.
양자화 파라미터 QP에 대해서는, 이하의 처리를 휘도 신호에 대하여 적용하는 경우에는, QPY를, 색차 신호에 대하여 적용하는 경우에는 QPC를 이용한다. 또한, 움직임 벡터 부호화, 인트라 예측, 엔트로피 부호화(CAVLC/CABAC)에 있어서는, 서로 다른 슬라이스에 속하는 화소값은 "not available"로서 처리하지만, 디블록 필터 처리에 있어서는, 서로 다른 슬라이스에 속하는 화소값이라도, 동일한 픽쳐에 속하는 경우에는 "available"이라고 해서 처리를 행한다.
이하에 있어서는, 도 5에 도시되는 바와 같이, 디블록 필터 처리 전의 화소값을 p0∼p3, q0∼q3으로 하고, 처리 후의 화소값을 p0'∼p3', q0'∼q3'로 한다.
우선, 디블록 필터 처리에 앞서서, 도 5에 있어서의 p 및 q에 대하여, 도 6에 도시되는 표와 같이, Bs(Boundary Strength)가 정의된다.
도 5에 있어서의 (p2, p1, p0, q0, q1, q2)는, 이하의 수학식 57 및 수학식 58에 의해 나타내지는 조건이 성립하는 경우에만, 디블록 필터 처리가 실시된다.
Figure 112012013063358-pct00057
Figure 112012013063358-pct00058
수학식 58의 α 및 β는, 디폴트에서는 이하와 같이 QP에 따라서 그 값이 정해져 있지만, 부호화 데이터의 슬라이스 헤더에 포함되는, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2라고 하는 2개의 파라미터에 의해, 도 7에 도시되는 그래프의 화살표와 같이, 유저가 그 강도를 조정하는 것이 가능하다.
도 8에 도시되는 표와 같이, α는 indexA로부터 구해진다. 마찬가지로, β는 indexB로부터 구해진다. 이 indexA 및 indexB는, 이하의 수학식 59 내지 수학식 61과 같이 정의된다.
Figure 112012013063358-pct00059
Figure 112012013063358-pct00060
Figure 112012013063358-pct00061
수학식 60 및 수학식 61에 있어서, FilterOffsetA 및 FilterOffsetB가, 유저에 의한 조정 분에 상당한다.
디블록 필터 처리는, 이하에 설명하는 바와 같이, Bs<4의 경우와, Bs=4의 경우에서, 서로 상이한 방법이 정의되어 있다. Bs<4의 경우, 디블록 필터 처리 후의 화소값 p'0 및 q'0이, 이하의 수학식 62 내지 수학식 64와 같이 구해진다.
Figure 112012013063358-pct00062
Figure 112012013063358-pct00063
Figure 112012013063358-pct00064
여기서, tc는, 이하의 수학식 65 또는 수학식 66과 같이 산출된다. 즉, chromaEdgeFlag의 값이 「0」인 경우, tc는 이하의 수학식 65와 같이 산출된다.
Figure 112012013063358-pct00065
또한, chromaEdgeFlag의 값이 「0」 이외인 경우, tc는 이하의 수학식 66과 같이 산출된다.
Figure 112012013063358-pct00066
tC0의 값은, Bs와 indexA의 값에 따라서, 도 9의 A 및 도 9의 B에 도시되는 표와 같이 정의된다.
또한, 수학식 65의 ap 및 aq의 값은, 이하의 수학식 67 및 수학식 68과 같이 산출된다.
Figure 112012013063358-pct00067
Figure 112012013063358-pct00068
디블록 필터 처리 후의 화소값 p'1은 이하와 같이 구해진다. 즉, chromaEdgeFlag의 값이 「0」이고, 또한, ap의 값이 β 이하인 경우, p'1은 이하의 수학식 69와 같이 구해진다.
Figure 112012013063358-pct00069
또한, 수학식 69가 성립하지 않는 경우, p'1은 이하의 수학식 70과 같이 구해진다.
Figure 112012013063358-pct00070
디블록 필터 처리 후의 화소값 q'1은 이하와 같이 구해진다. 즉, chromaEdgeFlag의 값이 「0」이고, 또한, aq의 값이 β 이하인 경우, q'1은 이하의 수학식 71과 같이 구해진다.
Figure 112012013063358-pct00071
또한, 수학식 71이 성립하지 않는 경우, q'1은 이하의 수학식 72와 같이 구해진다.
Figure 112012013063358-pct00072
p'2 및 q'2의 값은, Filtering 전의 값 p2 및 q2와 변함이 없다. 즉, p'2는, 이하의 수학식 73과 같이 구해지고, q'2는, 이하의 수학식 74와 같이 구해진다.
Figure 112012013063358-pct00073
Figure 112012013063358-pct00074
Bs=4의 경우, 디블록 필터 후의 화소값 p'I(i=0..2)는, 이하와 같이 구해진다. chromaEdgeFlag의 값이 「0」이며, 이하의 수학식 75에 나타내지는 조건이 성립하는 경우, p'0, p'1 및 p'2는, 이하의 수학식 76 내지 수학식 78과 같이 구해진다.
Figure 112012013063358-pct00075
Figure 112012013063358-pct00076
Figure 112012013063358-pct00077
Figure 112012013063358-pct00078
또한, 수학식 75에 나타내지는 조건이 성립하지 않을 경우, p'0, p'1 및 p'2는, 이하의 수학식 79 내지 수학식 81과 같이 구해진다.
Figure 112012013063358-pct00079
Figure 112012013063358-pct00080
Figure 112012013063358-pct00081
디블록 필터 처리 후의 화소값 q'i(I=0..2)는, 이하와 같이 구해진다. 즉, chromaEdgeFlag의 값이 「0」이며, 이하의 수학식 82에 나타내지는 조건이 성립하는 경우, q'0, q'1 및 q'2는, 이하의 수학식 83 내지 수학식 85와 같이 구해진다.
Figure 112012013063358-pct00082
Figure 112012013063358-pct00083
Figure 112012013063358-pct00084
Figure 112012013063358-pct00085
또한, 수학식 82에 나타내지는 조건이 성립하지 않을 경우, q'0, q'1 및 q'2는, 이하의 수학식 86 내지 수학식 88과 같이 구해진다.
Figure 112012013063358-pct00086
Figure 112012013063358-pct00087
Figure 112012013063358-pct00088
[루프 필터]
그런데, 4000×2000화소와 같은, 더욱 높은 해상도의 화상의 전송이나, 기존의 하이비젼 화상을, 인터넷과 같은 한정된 밴드 폭의 회선에 있어서 전송하는 경우, AVC에 의해 실현되는 압축률에서는 아직 불충분하다.
그래서, 부호화 효율 개선의 하나의 방법으로서, 화상 부호화 장치(100)에 있어서는, 루프 필터(113)가 이용된다. 루프 필터(113)에는, 예를 들면, 위너 필터가 적용된다. 물론, 루프 필터(113)로서 위너 필터 이외를 이용하도록 해도 된다. 루프 필터(113)는, 디블록 필터 처리된 복호 화상에 대하여, 필터 처리를 행함으로써, 원화상과의 잔차를 최소로 한다. 필터 계수 산출부(112)는, 필터 처리에 의해 복호 화상과 원화상의 잔차가 최소로 되도록, 루프 필터 계수의 산출을 행한다. 루프 필터(113)는, 이 필터 계수를 이용해서 필터 처리를 행한다. 또한, 이 필터 계수는, 부호화 데이터에 부가되어 화상 복호 장치에 전송되고, 복호시의 필터 처리에도 사용된다.
화상 부호화 장치(100)는, 이러한 필터 처리를 행함으로써, 복호 화상의 화질을 향상시키고켜, 또한, 참조 화상의 화질도 향상시킬 수 있다.
[예측 모드의 선택]
그런데, 매크로 블록 사이즈를 16화소×16화소로 하는 것은, 차세대 부호화 방식의 대상으로 되는, UHD(Ultra High Definition; 4000화소×2000화소)와 같은 큰 화소 틀에 대해서는, 최적이 아니다. 따라서, 매크로 블록 사이즈를, 예를 들면, 32화소×32화소, 64×64화소와 같은 크기로 하는 것이 제안되어 있다.
보다 높은 부호화 효율을 달성하기 위해서는, 적절한 예측 모드의 선택이 중요하다. 예를 들면, High Complexity Mode와, Low Complexity Mode의 2가지의 모드 판정 방법을 선택하는 방법이 생각된다. 이 방법의 경우, 어느 쪽도, 각각의 예측 모드 Mode에 관한 코스트 함수값을 산출하고, 이것을 최소로 하는 예측 모드를 해당 블록 내지 매크로 블록에 대한 최적 모드로서 선택한다.
High Complexity Mode에 있어서의 코스트 함수는, 이하의 수학식 89와 같이 구할 수 있다.
Figure 112012013063358-pct00089
수학식 89에 있어서, Ω은, 해당 블록 내지 매크로 블록을 부호화하기 위한 후보 모드의 전체 집합이다. 또한, D는, 해당 예측 모드 Mode에서 부호화한 경우의, 복호 화상과 입력 화상의 차분 에너지이다. 또한, λ는, 양자화 파라미터의 함수로서 부여되는 Lagrange 미정승수이다. 또한, R은, 직교 변환 계수를 포함한, 해당 모드 Mode에서 부호화한 경우의 총 부호량이다.
즉, High Complexity Mode에서의 부호화를 행하기 위해서는, 상기 파라미터 D 및 R을 산출하기 위해서, 모든 후보 모드 Mode에 의해, 1회, 가인코드 처리를 행할 필요가 있어, 보다 높은 연산량을 요한다.
이것에 대하여 Low Complexity Mode에 있어서의 코스트 함수는, 이하의 수학식 90과 같이 구할 수 있다.
Figure 112012013063358-pct00090
로 된다. 수학식 90에 있어서, D는, High Complexity Mode의 경우와 달리, 예측 화상과 입력 화상의 차분 에너지로 된다. 또한, QP2Quant(QP)는, 양자화 파라미터 QP의 함수로서 부여된다. 또한, HeaderBit는, 직교 변환 계수를 포함하지 않는, 움직임 벡터나 모드와 같은 Header에 속하는 정보에 관한 부호량이다.
즉, Low Complexity Mode에 있어서는, 각각의 후보 모드 Mode에 관해서, 예측 처리를 행할 필요가 있지만, 복호 화상까지는 필요 없기 때문에, 부호화 처리까지 행할 필요는 없다. 이 때문에, High Complexity Mode보다 낮은 연산량에서의 실현이 가능하다.
High Profile에 있어서는, 도 2에 도시된 바와 같은, 4×4 직교 변환과, 8×8 직교 변환의 선택도, 상술한 High Complexity Mode 혹은 Low Complexity Mode 중 어느 하나에 기초하여 행하여진다.
그런데, 매크로 블록 사이즈를 16화소×16화소로 하는 것은, 차세대 부호화 방식의 대상으로 되는, UHD와 같은 큰 화소 틀에 대해서는, 최적이 아니다. 매크로 블록 사이즈를, 도 10에 도시되는 바와 같이, 예를 들면, 32화소×32화소와 같은 크기로 하는 것이 제안되어 있다.
도 10과 같은 계층 구조를 채용함으로써, 16×16화소 블록 이하에 관해서는, 현재의 AVC에 있어서의 매크로 블록과 호환성을 유지하면서, 그 수퍼세트로서, 보다 큰 블록이 정의되어 있다.
[상세한 구성예]
이상과 같이, 화상 부호화 장치(100)는, 화상 부호화 처리에, 루프 필터 처리를 적용한다. 화상 부호화 장치(100)는, 직교 변환 사이즈마다, 이 루프 필터 처리의 적절한 필터 계수를 구하고, 각 매크로 블록을, 그 직교 변환 사이즈에 적합한 필터 계수로 필터 처리한다.
이하에, 이러한 루프 필터에 관한 구성인 필터 계수 산출부(112) 및 루프 필터(113)의 구성의 상세에 대해서 설명한다.
도 11은, 필터 계수 산출부(112) 및 루프 필터(113)의 주된 구성예를 도시하는 블록도이다.
도 11에 도시되는 바와 같이, 필터 계수 산출부(112)는, 직교 변환 사이즈 버퍼(151), 복호 화소 분류부(152), 입력 화소 분류부(153), 4×4 블록 계수 산출부(154) 및 8×8 블록 계수 산출부(155)를 갖는다.
또한, 루프 필터(113)는, 화소 분류부(161), 필터부(4×4)(162) 및 필터부(8×8)(163)를 갖는다.
우선, 디블록 필터(111)로부터 복호 화상이 프레임 메모리(114)에 공급된다. 또한, 각 매크로 블록에 대한 직교 변환 사이즈(4×4인지, 8×8인지)에 관한 정보가, 직교 변환부(104)로부터, 필터 계수 산출부(112)의 직교 변환 사이즈 버퍼(151)에 공급된다.
복호 화상은, 또한, 프레임 메모리(114)로부터 필터 계수 산출부(112)의 복호 화소 분류부(152)에 공급된다. 또한, 입력 화상은, 화면 재배열 버퍼(102)로부터 입력 화소 분류부(153)에 공급된다.
복호 화소 분류부(152)는, 직교 변환 사이즈 버퍼(151)로부터, 직교 변환 사이즈에 관한 정보를 읽어내고, 취득한다. 복호 화소 분류부(152)는, 취득한 직교 변환 사이즈에 기초하여, 복호 화상의 각 매크로 블록을, 4×4 직교 변환이 적용된 매크로 블록(4×4 직교 변환 블록)과, 8×8 직교 변환이 적용된 매크로 블록(8×8 직교 변환 블록)으로 클래스 분류(그룹 나눔)한다. 그리고, 복호 화소 분류부(152)는, 복호 화상 중, 4×4 직교 변환 블록에 관한 정보를 4×4 블록 계수 산출부(154)에 공급하고, 8×8 직교 변환 블록에 관한 정보를 8×8 블록 계수 산출부(155)에 공급한다.
마찬가지로, 입력 화소 분류부(153)는, 직교 변환 사이즈 버퍼(151)로부터 직교 변환 사이즈에 관한 정보를 읽어내고, 취득한다. 입력 화소 분류부(153)는, 취득한 직교 변환 사이즈에 기초하여, 입력 화상의 각 매크로 블록을, 4×4 직교 변환이 적용된 매크로 블록(4×4 직교 변환 블록)과, 8×8 직교 변환이 적용된 매크로 블록(8×8 직교 변환 블록)으로 클래스 분류(그룹 나눔)한다. 그리고, 입력 화소 분류부(153)는, 입력 화상 중, 4×4 직교 변환 블록에 관한 정보를 4×4 블록 계수 산출부(154)에 공급하고, 8×8 직교 변환 블록에 관한 정보를 8×8 블록 계수 산출부(155)에 공급한다.
4×4 블록 계수 산출부(154)는, 공급된 4×4 직교 변환 블록의 복호 화상 및 입력 화상을 이용하여, 잔차가 최소로 되도록 필터 계수(예를 들면, 위너 필터 계수)를 산출한다. 4×4 블록 계수 산출부(154)는, 산출한 필터 계수를 가역 부호화부(106)에 공급함과 함께, 루프 필터(113)의 필터부(4×4)(162)에 공급한다.
마찬가지로, 8×8 블록 계수 산출부(155)는, 공급된 8×8 직교 변환 블록의 복호 화상 및 입력 화상을 이용하여, 잔차가 최소로 되도록 필터 계수(예를 들면, 위너 필터 계수)를 산출한다. 8×8 블록 계수 산출부(155)는, 산출한 필터 계수를, 가역 부호화부(106)에 공급함과 함께, 루프 필터(113)의 필터부(8×8)(163)에 공급한다.
가역 부호화부(106)는, 공급된 각 필터 계수를 부호화 데이터에 부가한다.
그런데, 루프 필터(113)의 화소 분류부(161)에는, 각 매크로 블록에 대한 직교 변환 사이즈(4×4인지, 8×8인지)에 관한 정보가 직교 변환부(104)로부터 공급된다. 그리고, 그 화소 분류부(161)에는, 디블록 필터(111)로부터 복호 화상이 공급된다.
화소 분류부(161)는, 직교 변환부(104)로부터 공급되는 직교 변환 사이즈에 관한 정보에 기초하여, 복호 화상의 각 매크로 블록을, 4×4 직교 변환이 적용된 매크로 블록(4×4 직교 변환 블록)과, 8×8 직교 변환이 적용된 매크로 블록(8×8 직교 변환 블록)으로 클래스 분류(그룹 나눔)한다. 그리고, 화소 분류부(161)는, 복호 화상 중, 4×4 직교 변환 블록에 관한 정보를 필터부(4×4)(162)에 공급하고, 8×8 직교 변환 블록에 관한 정보를 필터부(8×8)(163)에 공급한다.
필터부(4×4)(162)는, 4×4 블록 계수 산출부(154)로부터 공급된 4×4 직교 변환 블록에 있어서 적절한 필터 계수를 적용하여, 복호 화상의 4×4 직교 변환 블록에 대하여 필터 처리를 행한다.
필터부(8×8)(163)는, 8×8 블록 계수 산출부(155)로부터 공급된 8×8 직교 변환 블록에 있어서 적절한 필터 계수를 적용하여, 복호 화상의 8×8 직교 변환 블록에 대하여 필터 처리를 행한다.
필터부(4×4)(162) 및 필터부(8×8)(163)는, 필터 처리를 실시한 복호 화상을 프레임 메모리(114)에 저장하고, 소정의 타이밍에 있어서 움직임 예측·보상부(117)에 출력시킨다.
필터 계수 산출부(112) 및 루프 필터(113)는, 이상과 같이 처리를 행하고, 직교 변환 사이즈마다 필터 계수를 생성하고, 필터 처리를 행한다.
화상 내에 있어서의 국소적인 성질은, 직교 변환 사이즈에 반영된다고 할 수 있다. 예를 들면, 플랫한 에어리어(주파수가 성긴 부분)에 대해서는, 8×8 직교 변환이 선택되기 쉽고, 정밀한 텍스쳐를 포함하는 에어리어(주파수가 조밀한 부분)에 대해서는, 4×4 직교 변환이 선택되기 쉽다.
또한, 8×8 직교 변환과, 4×4 직교 변환에서는, 서로 다른 화질 열화의 경향이 관측된다. 예를 들면, 8×8 직교 변환에 있어서는 모스키토 잡음이 관측되기 쉽지만, 4×4 직교 변환에서는 모스키토 잡음은 관측되기 어렵다.
따라서, 필터 계수 산출부(112)는, 상술한 바와 같이 직교 변환 사이즈마다 필터 계수를 생성함으로써, 화상 내의 국소적인 성질을 필터 계수에 반영시킨다. 예를 들면, 필터 계수 산출부(112)는, 필터 계수의 값을 조정하는 것에 의해, 루프 필터(113)가, 주파수가 성긴 부분에 대하여 필터를 약하게 걸고, 주파수가 조밀한 부분에 대하여 필터를 강하게 걸도록 제어할 수 있다.
또한, 필터 계수 산출부(112)는, 간단히 필터 계수의 값을 변경할 뿐만 아니라, 필터의 탭수를 증감시킬 수도 있다. 예를 들면, 필터 계수 산출부(112)는, 주파수가 성긴 부분에 대하여 탭수를 적게 하고, 주파수가 조밀한 부분에 대하여 탭수를 많게 하도록 해도 된다. 물론, 필터 계수 산출부(112)가, 필터 계수의 값의 조정과 탭수의 증감의 양방을 행하도록 해도 된다.
이와 같이 화상 내의 국소적인 성질이 반영된 필터 계수를 이용해서 필터 처리를 행하므로, 루프 필터(113)는, 화상이 갖는 국소적 성질에 적합한 노이즈 제거를 행할 수 있어, 복호 화상의 화질을 보다 향상시킬 수 있다.
또한, 화상 부호화 장치(100)는, 이상과 같이, 직교 변환 사이즈라고 하는, 이미 신택스 요소로서 존재하는 값에 기초한 절환을 행하기 때문에, 재차 어느 쪽의 필터 계수를 보낼지에 관한 맵 정보를 부호화 데이터에 부가할 필요가 없기 때문에, 부호화 데이터에 있어서의 오버헤드를 증가시키는(부호화 효율을 저감시키는) 일없이, 고화질 처리를 실현하는 것이 가능하다.
[처리의 흐름]
다음으로, 이상과 같이 구성되는 각 부를 이용한 처리의 흐름에 대해서 설명한다. 최초로, 화상 부호화 장치(100)에 의해 행하여지는 부호화 처리의 흐름의 예를, 도 12의 플로우차트를 참조하여 설명한다.
스텝 S101에 있어서, A/D 변환부(101)는 입력된 화상을 A/D 변환한다. 스텝 S102에 있어서, 화면 재배열 버퍼(102)는, A/D 변환된 화상을 기억하고, 각 픽쳐가 표시하는 순번으로부터 부호화하는 순번으로의 재배열을 행한다.
스텝 S103에 있어서, 인트라 예측부(116)나 움직임 예측·보상부(117) 등은, 예측 모드를 결정하고, 예측 화상을 생성하는 예측 처리를 행한다. 이 예측 처리의 상세에 대해서는 후술한다.
스텝 S104에 있어서, 연산부(103)는, 스텝 S102의 처리에 의해 재배열된 화상과, 스텝 S103의 예측 처리에 의해 생성된 예측 화상의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우에는 움직임 예측·보상부(117)로부터, 인트라 예측하는 경우에는 인트라 예측부(116)로부터, 각각 선택부(118)를 거쳐서 연산부(103)에 공급된다.
차분 데이터는 원래의 화상 데이터에 비해서 데이터량이 작게 되어 있다. 따라서, 화상을 그대로 부호화하는 경우에 비하여, 데이터량을 압축할 수 있다.
스텝 S105에 있어서, 직교 변환부(104)는, 스텝 S104의 처리에 의해 생성된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨 뢰베 변환 등의 직교 변환이 행하여지고, 변환 계수가 출력된다. 스텝 S106에 있어서, 양자화부(105)는 변환 계수를 양자화한다. 이 양자화 시에는, 후술하는 스텝 S115의 처리에서 설명되는 바와 같이 레이트가 제어된다.
스텝 S107에 있어서, 가역 부호화부(106)는 양자화부(105)로부터 출력된 양자화된 변환 계수를 부호화한다.
또한, 양자화된 차분 정보는, 다음과 같이 해서 국부적으로 복호된다. 즉, 스텝 S108에 있어서, 역양자화부(108)는 양자화부(105)에 의해 양자화된 변환 계수를 양자화부(105)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S109에 있어서, 역직교 변환부(109)는 역양자화부(108)에 의해 역양자화된 변환 계수를 직교 변환부(104)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 S110에 있어서, 연산부(110)는, 선택부(118)를 거쳐서 공급되는 예측 화상을 국부적으로 복호된 차분 정보에 가산하고, 국부적으로 복호된 화상(연산부(103)에의 입력에 대응하는 화상)을 생성한다. 스텝 S111에 있어서 디블록 필터(111)는, 연산부(110)로부터 공급된 복호 화상에 대하여 디블록 필터를 행한다. 이에 의해 블록 왜곡이 제거된다.
이상의 처리가, 1픽쳐 분 행해지면, 필터 계수 산출부(112) 및 루프 필터(113)는, 스텝 S112에 있어서 루프 필터 처리를 행한다. 루프 필터 처리의 상세에 대해서는 후술한다.
스텝 S113에 있어서, 가역 부호화부(106)는, 인트라 예측 모드 정보, 인터 예측 모드 정보 및 각 직교 변환 블록용의 필터 계수 등의 메타데이터를 슬라이스 헤더에 매립한다(기술한다). 이 메타데이터는, 화상 복호시에 읽어내어져 이용된다.
스텝 S114에 있어서 축적 버퍼(107)는, 부호화 데이터를 축적한다. 축적 버퍼(107)에 축적된 부호화 데이터는 적절히 읽어내어져, 전송로를 거쳐서 복호측에 전송된다.
스텝 S115에 있어서 레이트 제어부(119)는, 축적 버퍼(107)에 축적된 부호화 데이터에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.
다음으로, 도 13의 플로우차트를 참조하여, 도 12의 스텝 S103에 있어서 실행되는 예측 처리의 흐름의 예를 설명한다.
예측 처리가 개시되면, 스텝 S131에 있어서, 인트라 예측부(116)는, 선택부(115)를 거쳐서 프레임 메모리(114)로부터 취득한 참조 화상, 및, 화면 재배열 버퍼(102)로부터 공급되는 입력 화상을 이용하여, 인트라 4×4, 인트라 8×8 및 인트라 16×16의 각각의 모드(미리 준비된 각 인트라 모드)에 대한 코스트 함수값을 산출한다.
스텝 S132에 있어서, 인트라 예측부(116)는, 스텝 S131에 있어서 산출된 각 모드의 코스트 함수값에 기초하여, 인트라 4×4, 인트라 8×8 및 인트라 16×16의 각각에 대한 베스트 모드를 결정한다.
스텝 S133에 있어서, 인트라 예측부(116)는, 인트라 4×4, 인트라 8×8 및 인트라 16×16 중에서, 베스트 인트라 모드를 선택한다.
이 스텝 S131 내지 스텝 S133의 각 처리와 병행하여, 움직임 예측·보상부(117)는, 스텝 S134 내지 스텝 S137의 각 처리를 실행한다.
스텝 S134에 있어서, 움직임 예측·보상부(117)는, 움직임 탐색을 행한다. 스텝 S135에 있어서, 움직임 예측·보상부(117)는, 인터 16×16 내지 4×4의 각각의 모드에 대하여, 움직임 벡터·참조 프레임을 결정한다.
스텝 S136에 있어서, 움직임 예측·보상부(117)는, 인터 16×16 내지 4×4의 각각의 모드에 대하여, 코스트 함수값을 산출한다.
스텝 S137에 있어서, 움직임 예측·보상부(117)는, 그 코스트 함수값에 기초하여, 베스트 인터 모드를 결정한다.
스텝 S138에 있어서, 선택부(118)는, 스텝 S133에 있어서 선택된 베스트 인트라 모드와, 스텝 S137에 있어서 결정된 베스트 인터 모드 중 어느 한쪽을 베스트 모드로 결정한다.
스텝 S139에 있어서, 베스트 모드로 결정된 모드에 대응하는 인트라 예측부(116) 또는 움직임 예측·보상부(117)는, 예측 화상을 생성한다. 이 예측 화상은, 선택부(118)를 거쳐서 연산부(103) 및 연산부(110)에 공급된다. 또한, 이때의 베스트 모드의 예측 모드 정보(인트라 예측 모드 정보 또는 인터 예측 모드 정보)가 가역 부호화부(106)에 공급된다.
예측 화상이 생성되면 예측 처리가 종료되고, 도 12의 스텝 S103으로 되돌아가서, 스텝 S104 이후의 처리가 실행된다.
다음으로, 도 14의 플로우차트를 참조하여, 도 12의 스텝 S112에 있어서 실행되는 루프 필터 처리의 흐름의 예를 설명한다.
루프 필터 처리가 개시되면, 스텝 S151에 있어서, 복호 화소 분류부(152), 입력 화소 분류부(153) 및 화소 분류부(161)는, 각각 공급된 복호 화상 또는 입력 화상의 각 매크로 블록을, 도 12의 스텝 S105에 있어서 실행되는 직교 변환 처리에 있어서 적용된 직교 변환 사이즈마다 그룹으로 나눈다(클래스 분류를 행한다).
스텝 S152에 있어서, 4×4 블록 계수 산출부(154) 및 8×8 블록 계수 산출부(155)는, 각 그룹에 대하여 필터 계수를 산출한다.
스텝 S153에 있어서, 필터부(4×4)(162) 및 필터부(8×8)(163)는, 각 그룹에 대하여, 스텝 S152에 있어서 산출된 각 필터 계수를 이용해서 필터 처리를 행한다.
스텝 S154에 있어서, 프레임 메모리(114)는, 스텝 S153에 있어서 행해진 필터 처리의 결과(필터 처리된 복호 화상)를 기억한다. 이 화상은, 소정의 타이밍에 있어서, 참조 화상으로서 움직임 예측·보상부(117)에 공급된다.
스텝 S154의 처리가 종료하면, 루프 필터 처리가 종료되고, 도 12의 스텝 S112로 되돌아가서, 스텝 S113 이후의 처리가 실행된다.
이상과 같이 각 처리를 행함으로써, 필터 계수 산출부(112)는, 직교 변환 사이즈마다, 적절한 필터 계수를 생성할 수 있다. 또한, 루프 필터(113)는, 각 매크로 블록을, 그 직교 변환 사이즈에 따른 필터 계수를 이용해서 필터 처리를 행할 수 있다.
결과로서, 화상 부호화 장치(100)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있어, 보다 고화질인 참조 화상을 얻을 수 있다.
또한, 가역 부호화부(106)가 이 필터 계수를 부호화 데이터에 부가하므로, 화상 복호 장치가 그 부호화 데이터를 복호해서 얻어진 복호 화상에 대하여, 그 필터 계수를 이용해서 적절하게 필터 처리할 수 있다. 즉, 화상 부호화 장치(100)는, 화상 부호화 장치(100)가 생성한 부호화 데이터를 복호해서 얻어지는 복호 화상을 고화질화할 수 있다.
또한, 이상에 있어서 「부가한다」라는 것은, 임의의 형태로 제어 정보를 부호화 데이터에 관련짓는 것을 나타낸다. 예를 들면, 부호화 데이터의 신택스로서 기술하도록 해도 되고, 유저 데이터로서 기술하도록 해도 된다. 또한, 필터 계수 등의 정보를 메타데이터로서 부호화 데이터와 링크된 상태로 하도록 해도 된다. 즉,「부가」는,「매립」,「기술」,「다중화」 및 「연결」 등을 포함한다. 이하에 있어서도 마찬가지이다.
또한, 이상에 있어서는, 직교 변환 사이즈로서 4×4와 8×8을 설명했지만, 직교 변환 사이즈는 임의이다. 또한, 적용되는 직교 변환 사이즈의 개수도 임의이다.
적용되는 직교 변환 사이즈가 3개 이상인 경우의 그룹 나눔(클래스 분류)은, 예를 들면, 전체 직교 변환 사이즈 중 어느 쪽인가 2개에 대하여 행하여지도록 하고, 그 밖의 직교 변환 사이즈는 무시되도록(선택하지 않도록) 해도 된다. 그 경우, 무시되는 그룹은, 필터 처리가 행해지지 않는다. 이 경우, 예를 들면 플래그 정보 등에 의해, 필터 처리를 행할 것인지의 여부를 제어하도록 해도 된다.
또한, 예를 들면, 각 직교 변환 사이즈가 2개의 그룹으로 나눠지도록 해도 된다. 즉, 이 경우, 1개의 그룹에 복수의 직교 변환 사이즈가 혼재할 가능성이 있다. 또한, 예를 들면, 각 직교 변환 사이즈가 서로 다른 그룹으로 나눠지도록 해도 된다. 이 경우, 그룹의 수는 3개 이상으로 된다. 이 경우, 계수 산출부나 필터부(도 11)는 그룹의 수만큼 준비된다.
또한, 필터의 처리 단위는, 프레임이어도 되고, 슬라이스이어도 되며, 이들 이외이어도 된다. 또한, 클래스 분류를 행하는 단위(처리 단위로 되는 부분 화상의 화상 사이즈)는, 매크로 블록 이외이어도 된다.
<2. 제2 실시 형태>
[디바이스의 구성]
다음으로, 제1 실시 형태에 있어서 설명한 화상 부호화 장치(100)에 대응하는 화상 복호 장치에 대해서 설명한다. 도 15는, 본 발명을 적용한 화상 처리 장치로서의 화상 복호 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.
화상 복호 장치(200)는, 화상 부호화 장치(100)로부터 출력되는 부호화 데이터를 복호하고, 복호 화상을 생성한다.
화상 복호 장치(200)는, 축적 버퍼(201), 가역 복호부(202), 역양자화부(203), 역직교 변환부(204), 연산부(205) 및 디블록 필터(206)를 갖는다. 또한, 화상 복호 장치(200)는, 루프 필터(207)를 갖는다. 또한, 화상 복호 장치(200)는, 화면 재배열 버퍼(208) 및 D/A(Digital/Analog l) 변환부(209)를 갖는다. 또한, 화상 복호 장치(200)는, 프레임 메모리(210), 선택부(211), 인트라 예측부(212), 움직임 예측·보상부(213) 및 선택부(214)를 갖는다.
축적 버퍼(201)는, 전송되어 온 부호화 데이터를 축적한다. 가역 복호부(202)는, 축적 버퍼(201)로부터 공급된, 도 1의 가역 부호화부(106)에 의해 부호화된 정보를, 가역 부호화부(106)의 부호화 방식에 대응하는 방식으로 복호한다.
해당 매크로 블록이 인트라 부호화된 것인 경우, 가역 복호부(202)는, 부호화 데이터의 헤더부에 저장된 인트라 예측 모드 정보를 추출하고, 인트라 예측부(212)에 공급한다. 또한, 해당 매크로 블록이 인터 부호화된 것인 경우, 가역 복호부(202)는, 부호화 데이터의 헤더부에 저장된 움직임 벡터 정보나 인터 예측 모드 정보 등을 추출하여, 움직임 예측·보상부(213)에 공급한다.
또한, 가역 복호부(202)는, 부호화 데이터로부터, 각 직교 변환 사이즈용의 필터 계수를 추출하여, 그들을 루프 필터(207)에 공급한다.
역양자화부(203)는 가역 복호부(202)에 의해 복호된 화상을, 도 1의 양자화부(105)의 양자화 방식에 대응하는 방식으로 역양자화한다.
역직교 변환부(204)는, 도 1의 직교 변환부(104)의 직교 변환 방식에 대응하는 방식으로 역양자화부(203)의 출력을 역직교 변환한다. 역직교 변환부(204)는, 역직교 변환된 차분 정보를 연산부(205)에 공급한다. 또한, 역직교 변환부(204)는, 그 역직교 변환 처리에 있어서, 각 매크로 블록에 대하여 적용한 직교 변환 사이즈를 루프 필터(207)에 공급한다.
연산부(205)는, 역직교 변환된 차분 정보에, 선택부(214)로부터 공급되는 예측 화상을 가산하고, 복호 화상을 생성한다. 디블록 필터(206)는, 그 가산 처리되어 생성된 복호 화상의 블록 왜곡을 제거한다.
루프 필터(207)는, 역직교 변환부(204)로부터 공급되는 정보에 기초하여, 디블록 필터(206)로부터 공급된 복호 화상의 각 매크로 블록을, 역직교 변환부(204)에 의한 역직교 변환 처리에 있어서 적용된 역직교 변환 사이즈마다 그룹 나눔(클래스 분류)하고, 각 그룹(클래스)에 대하여, 가역 복호부(202)로부터 공급된 필터 계수를 이용해서 필터 처리를 행한다.
이 필터 계수는, 화상 부호화 장치(100)의 필터 계수 산출부(112)에 있어서 생성된 계수로서, 제1 실시 형태에 있어서 설명한 바와 같이, 직교 변환 사이즈마다, 잔차가 최소로 되도록 산출된 것이다. 즉, 이 각 직교 변환 사이즈용의 필터 계수는, 각각 대응하는 직교 변환 사이즈에 대하여 적절한 값으로 설정되어 있다.
이에 의해, 루프 필터(207)는, 디블록 필터(206)에서는 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다. 이때, 루프 필터(207)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행하므로, 보다 고화질인 복호 화상을 출력할 수 있다.
루프 필터(207)는, 필터 처리 후의 화상을 프레임 메모리(210)에 공급하고, 참조 화상으로서 축적시킴과 함께, 화면 재배열 버퍼(208)에 출력한다.
화면 재배열 버퍼(208)는, 화상의 재배열을 행한다. 즉, 도 1의 화면 재배열 버퍼(102)에 의해 부호화의 순번을 위해 재배열된 프레임의 순번이, 원래의 표시의 순번으로 재배열된다. D/A 변환부(209)는, 화면 재배열 버퍼(208)로부터 공급된 화상을 D/A 변환하고, 출력한다. 예를 들면, D/A 변환부(209)는, D/A 변환해서 얻어진 출력 신호를 도시하지 않는 디스플레이에 출력하고, 화상을 표시시킨다.
인트라 예측부(212)는, 해당 프레임이 인트라 부호화된 것인 경우, 선택부(211)를 거쳐서 프레임 메모리(210)로부터 참조 화상을 취득하고, 가역 복호부(202)로부터 공급되는 정보에 기초하여 예측 화상을 생성하고, 생성한 예측 화상을, 선택부(214)를 거쳐서 연산부(205)에 공급한다.
움직임 예측·보상부(213)는, 해당 프레임이 인터 부호화된 것인 경우, 선택부(211)를 거쳐서 프레임 메모리(210)로부터 참조 화상을 취득하고, 가역 복호부(202)로부터 공급되는 움직임 벡터 정보에 기초하여, 참조 화상에 대하여 움직임 보상 처리를 행하고, 예측 화상을 생성한다. 움직임 예측·보상부(213)는, 생성한 예측 화상을, 선택부(214)를 거쳐서 연산부(205)에 공급한다.
선택부(214)는, 해당 매크로 블록이 인트라 부호화된 것인 경우, 인트라 예측부(212)에 접속하고, 인트라 예측부(212)로부터 공급되는 화상을 예측 화상으로서 연산부(205)에 공급한다. 또한, 해당 매크로 블록이 인터 부호화된 것인 경우, 선택부(214)는, 움직임 예측·보상부(213)에 접속하여, 움직임 예측·보상부(213)로부터 공급되는 화상을 예측 화상으로서 연산부(205)에 공급한다.
도 16은, 도 15의 루프 필터(207)의 상세한 구성예를 도시하는 블록도이다.
루프 필터(207)는, 기본적으로, 화상 부호화 장치(100)의 루프 필터(113)와 마찬가지의 구성을 갖고, 마찬가지의 처리를 실행한다. 도 16에 도시되는 바와 같이, 루프 필터(207)는, 화소 분류부(251), 필터부(4×4)(252) 및 필터부(8×8)(253)를 갖는다.
화소 분류부(251)는, 역직교 변환부(204)로부터 공급되는 직교 변환 사이즈에 관한 정보에 기초하여, 디블록 필터(206)로부터 공급되는 복호 화상의 각 매크로 블록을, 4×4 직교 변환이 적용된 매크로 블록(4×4 직교 변환 블록)과, 8×8 직교 변환이 적용된 매크로 블록(8×8 직교 변환 블록)으로 클래스 분류(그룹 나눔)한다. 그리고, 화소 분류부(251)는, 복호 화상 중, 4×4 직교 변환 블록에 관한 정보를 필터부(4×4)(252)에 공급하고, 8×8 직교 변환 블록에 관한 정보를 필터부(8×8)(253)에 공급한다.
필터부(4×4)(252)는, 가역 복호부(202)로부터 공급된 4×4 직교 변환 블록에 있어서 적절한 필터 계수를 적용하여, 복호 화상의 4×4 직교 변환 블록에 대하여 필터 처리를 행한다.
필터부(8×8)(253)는, 가역 복호부(202)로부터 공급된 8×8 직교 변환 블록에 있어서 적절한 필터 계수를 적용하여, 복호 화상의 8×8 직교 변환 블록에 대하여 필터 처리를 행한다.
필터부(4×4)(252) 및 필터부(8×8)(253)는, 필터 처리를 실시한 복호 화상을, 화면 재배열 버퍼(208)나 프레임 메모리(210)에 공급한다.
이와 같이, 루프 필터(207)는, 복호 화상의 각 매크로 블록을, 그 직교 변환 사이즈마다 분류하고, 그 직교 변환 사이즈용의 필터 계수를 이용해서 필터 처리를 행한다. 이 필터 계수는, 가역 복호부(202)에 의해 부호화 데이터로부터 추출된 것으로서, 제1 실시 형태에 있어서 설명한 바와 같이, 각 직교 변환 사이즈 블록의 화상에 적합하도록 생성된 것이다. 따라서, 루프 필터(207)는, 제1 실시 형태에 있어서 설명한 루프 필터(113)의 경우와 마찬가지로, 화상이 갖는 국소적 성질에 적합한 노이즈 제거를 행할 수 있고, 결과로서, 보다 고화질인 복호 화상을 얻을 수 있다.
[처리의 흐름]
도 17의 플로우차트를 참조하여, 이 화상 복호 장치(200)가 실행하는 복호 처리의 흐름의 예를 설명한다.
스텝 S201에 있어서, 축적 버퍼(201)는 전송되어 온 화상(부호화 데이터)을 축적한다. 스텝 S202에 있어서, 가역 복호부(202)는, 부호화 데이터로부터 필터 계수를 추출한다. 또한, 가역 복호부(202)는, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드 정보나 인터 예측 모드 정보) 등의 추출도 행한다.
스텝 S203에 있어서, 가역 복호부(202)는, 부호화 데이터를 가역 복호한다. 스텝 S204에 있어서, 역양자화부(203)는, 스텝 S203에 있어서 부호화 데이터가 복호되어 얻어진 변환 계수를, 도 1의 양자화부(105)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S205에 있어서, 역직교 변환부(204)는, 스텝 S204의 처리에 의해 역양자화된 변환 계수를, 도 1의 직교 변환부(104)의 특성에 대응하는 특성으로 역직교 변환한다. 이에 의해 도 1의 직교 변환부(104)의 입력(연산부(103)의 출력)에 대응하는 차분 정보가 복호된 것으로 된다.
스텝 S206에 있어서, 인트라 예측부(212) 및 움직임 예측·보상부(213) 등은, 예측 화상 생성 처리를 행하고, 예측 모드에 따라서 예측 화상을 생성한다. 이 예측 화상 생성 처리의 상세에 대해서는 후술한다. 스텝 S207에 있어서, 연산부(205)는, 스텝 S206에 있어서 생성된 예측 화상을, 스텝 S205까지의 처리에 의해 복호된 차분 정보에 가산한다. 이에 의해 원래의 화상이 복호된다.
스텝 S208에 있어서, 디블록 필터(206)는, 연산부(205)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다.
스텝 S209에 있어서, 루프 필터(207) 등은, 루프 필터 처리를 행하고, 디블록 필터 처리된 화상에 다시 적응 필터 처리를 실시한다. 이 루프 필터 처리의 상세에 대해서는 후술하지만, 기본적으로, 도 1의 루프 필터(113)가 행하는 처리와 마찬가지이다.
이 적응 필터 처리에 의해, 디블록킹 필터 처리에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
스텝 S210에 있어서, 화면 재배열 버퍼(208)는 재배열을 행한다. 즉, 도 1의 화상 부호화 장치(100)의 화면 재배열 버퍼(102)에 의해 부호화를 위해 재배열된 프레임의 순서가, 원래의 표시의 순서로 재배열된다.
스텝 S211에 있어서, D/A 변환부(209)는, 스텝 S210에 있어서 재배열된 화상을 D/A 변환한다. 이 화상이 도시하지 않는 디스플레이에 출력되고, 화상이 표시된다. 스텝 S211의 처리가 종료하면, 복호 처리가 종료된다.
다음으로, 도 18의 플로우차트를 참조하여, 도 17의 스텝 S206에 있어서 실행되는 예측 화상 생성 처리의 흐름의 예를 설명한다.
예측 화상 생성 처리가 개시되면, 스텝 S231에 있어서, 가역 복호부(202)는, 스텝 S202에 있어서 추출한 예측 모드 등의 정보에 기초하여, 해당 블록이 인트라 부호화되었는지의 여부를 판정한다. 인트라 부호화된 블록이면, 가역 복호부(202)는, 부호화 데이터로부터 추출한 인트라 예측 모드 정보를 인트라 예측부(212)에 공급하고, 스텝 S232로 진행한다.
스텝 S232에 있어서, 인트라 예측부(212)는, 가역 복호부(202)로부터 공급되는 인트라 예측 모드 정보를 취득한다. 인트라 예측 모드 정보를 취득하면, 인트라 예측부(212)는, 스텝 S233에 있어서, 그 인트라 예측 모드 정보에 기초하여, 선택부(211)를 거쳐서 프레임 메모리(210)로부터 참조 화상을 취득하고, 인트라 예측 화상을 생성한다. 인트라 예측 화상을 생성하면, 인트라 예측부(212)는, 그 인트라 예측 화상을, 예측 화상으로서, 선택부(214)를 거쳐서 연산부(205)에 공급한다.
또한, 스텝 S231에 있어서, 해당 블록이 인터 부호화되어 있다고 판정된 경우, 가역 복호부(202)는, 부호화 데이터로부터 추출한 움직임 예측 모드, 참조 프레임 및 움직임 벡터 정보 등을 움직임 예측·보상부(213)에 공급하고, 스텝 S234로 진행한다.
스텝 S234에 있어서, 움직임 예측·보상부(213)는, 가역 복호부(202)로부터 공급되는 움직임 예측 모드, 참조 프레임 및 움직임 벡터 정보 등을 취득한다. 그들의 정보를 취득하면, 움직임 예측·보상부(213)는, 스텝 S235에 있어서, 움직임 벡터 정보에 따른 내삽 필터를 선택하고, 스텝 S236에 있어서, 선택부(211)를 거쳐서 프레임 메모리(210)로부터 참조 화상을 취득하고, 인터 예측 화상을 생성한다. 인터 예측 화상을 생성하면, 움직임 예측·보상부(213)는, 그 인터 예측 화상을, 예측 화상으로서 선택부(214)를 거쳐서 연산부(205)에 공급한다.
스텝 S233 또는 스텝 S236의 처리가 종료하면, 예측 화상 생성 처리가 종료되고, 도 17의 스텝 S206으로 되돌아가서, 스텝 S207 이후의 처리가 실행된다.
다음으로, 도 19의 플로우차트를 참조하여, 도 17의 스텝 S209에 있어서 실행되는 루프 필터 처리의 흐름의 예를 설명한다.
루프 필터 처리가 개시되면, 스텝 S251에 있어서, 루프 필터(207)의 필터부(4×4)(252) 및 필터부(8×8)(253)는, 각 그룹의 필터 계수를 가역 복호부(202)로부터 취득한다.
스텝 S252에 있어서, 화소 분류부(251)는, 역직교 변환부(204)로부터, 해당 매크로 블록의 직교 변환 사이즈를 취득한다. 화소 분류부(251)는, 취득한 직교 변환 사이즈에 기초하여 해당 매크로 블록을 클래스 분류한다.
스텝 S253에 있어서, 해당 매크로 블록의 직교 변환 사이즈에 대응하는 필터부(필터부(4×4)(252) 또는 필터부(8×8)(253) 중 어느 하나)는, 스텝 S251에 있어서 취득한 필터 계수를 이용하여, 해당 매크로 블록에 대하여, 직교 변환 사이즈에 따른 필터 처리를 행한다.
스텝 S254에 있어서, 프레임 메모리(210)는, 스텝 S253의 필터 처리 결과를 기억한다.
스텝 S254의 처리가 종료하면, 루프 필터 처리가 종료되고, 도 17의 스텝 S209로 되돌아가서, 스텝 S210 이후의 처리가 행하여진다.
이상과 같이 각 처리를 행함으로써, 루프 필터(207)가 필터 처리를 행하여, 디블록 필터에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
또한, 이때, 루프 필터(207)는, 부호화 데이터로부터 추출된 필터 계수를 이용해서 필터 처리를 행한다. 이 필터 계수는, 매크로 블록의 직교 변환 사이즈마다 잔차가 최소로 되도록 생성된 것이다. 루프 필터(207)는, 처리 대상인 해당 매크로 블록을, 그 직교 변환 사이즈용의 필터 계수를 이용해서 필터 처리를 행한다. 이와 같이 함으로써, 루프 필터(207)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 결과적으로, 화상 복호 장치(200)는, 보다 고화질인 복호 화상을 얻을 수 있다.
또한, 제1 실시 형태의 경우와 마찬가지로, 직교 변환 사이즈는 임의이다. 또한, 적용되는 직교 변환 사이즈의 개수도 임의이다.
매크로 블록의 그룹 나눔(클래스 분류)의 방법은, 부호화 데이터를 생성한 화상 부호화 장치(100)의 방법에 대응하고 있으면 어떤 방법이어도 된다. 또한, 필터의 처리 단위는, 프레임이어도 되고, 슬라이스이어도 되며, 이들 이외이어도 된다.
<3. 제3 실시 형태>
[ALF 블록 제어의 설명]
또한, 이상과 같은 필터 계수의 제어 외에, 또한, 루프 필터에 의해 국소적으로 화질이 악화하는 영역에는 루프 필터 처리를 행하지 않도록 하는 BALF(Block based Adaptive Loop Filter)를 적용하도록 해도 된다. 이하에 BALF에 대해서 설명한다.
도 20의 A의 프레임(301)은, 디블록 필터 처리 후의 복호 화상을 나타낸다. 도 20의 B에 도시되는 바와 같이, 각각이 국소적으로 행하여지는 적응 필터 처리의 제어 단위로 되는 제어 블록인, 복수의 ALF(Adaptive Loop Filter) 블록(302)이, 이 프레임(301)의 영역 전체에 깔리도록 간극 없이 배치된다. 이 ALF 블록(302)이 배치되는 영역은, 프레임(301)의 영역과 동일하지 않아도 되지만, 적어도 프레임(301)의 영역 전체를 포함한다. 결과적으로, 프레임(301)의 영역은, 각 ALF 블록(302)의 영역(복수의 영역)으로 분할된다.
ALF 블록(302)의 수평 방향의 사이즈(양쪽 화살표(303))와, 수직 방향의 사이즈(양쪽 화살표(304))는, 예를 들면, 8×8, 16×16, 24×24, 32×32, 48×48, 64×64, 96×96, 혹은 128×128 등으로 할 수 있다. 또한, 그 ALF 블록의 사이즈를 지정하는 정보를 블록 사이즈 인덱스라고 칭한다.
블록 사이즈가 결정되면, 프레임 사이즈는 고정이므로, 1프레임당의 ALF 블록수도 결정된다.
그리고, 도 20의 C에 도시되는 바와 같이, ALF 블록(302)마다, 필터 처리를 행할 것인지의 여부를 제어하는 필터 블록 플래그(305)가 설정된다. 예를 들면, 적응 필터에 의해 화질이 개선되는 영역에 대해서는, 값이 「1」인 필터 블록 플래그(305)가 설정되고, 적응 필터에 의해 화질이 악화하는 영역에 대해서는, 값이 「0」인 필터 블록 플래그(305)가 설정된다. 필터 블록 플래그(305)에 있어서, 값 「1」은, 필터 처리를 행하는 것을 나타내는 값이며, 값 「0」은, 필터 처리를 행하지 않는 것을 나타내는 값이다.
그리고, 이 필터 블록 플래그(305)의 값에 기초하여, ALF 블록(302)의 영역마다, 루프 필터 처리를 행할 것인지의 여부가 제어된다. 예를 들면, 루프 필터(113)는,필터 블록 플래그(305)의 값이 「1」인 ALF 블록(302)의 영역에만 필터 처리를 행하고,필터 블록 플래그(305)의 값이 「0」인 ALF 블록(302)의 영역에는 필터 처리를 행하지 않는다.
예를 들면, 필터 계수 산출부(112)에 있어서, 이러한 ALF 블록(302)이나 필터 블록 플래그(305)를 설정하고, 루프 필터(113)가, 그 정보에 기초하여, 상술한 바와 같이 필터 처리를 행하도록 한다.
이와 같이 함으로써, 루프 필터(113)는, 필터 처리에 의해 국소적으로 화질이 악화되는 영역에 대하여 필터 처리를 행하지 않도록 할 수 있어, 참조 화상의 화질을 보다 향상시킬 수 있다.
또한, 이 ALF 블록(302)이나 필터 블록 플래그(305)에 관한 정보는, 부호화 데이터에 부가되어, 화상 복호 장치(200)에 공급된다. 이에 의해, 화상 복호 장치(200)의 루프 필터(207)도 루프 필터(113)와 마찬가지로 필터 처리를 행할 수 있고, 필터 처리에 의해 국소적으로 화질이 악화되는 영역에 대하여 필터 처리를 행하지 않도록 할 수 있다. 결과적으로, 복호 화상의 화질을 더 향상시킬 수 있다.
<4. 제4 실시 형태>
[QALF의 설명]
또한, 제3 실시 형태에 있어서 설명한, ALF 제어 블록을 쿼드 트리 구조로 해도 된다. 이 기술은 QALF(Quad tree-based Adaptive Loop Filter)라고 칭한다. 쿼드 트리 구조란, 하위 계층에 있어서 1개 상위의 계층의 1개의 ALF 블록의 영역이 4분할되는 계층 구조이다.
도 21에 ALF 블록 분할을 최대 레이어수가 3인 쿼드 트리 구조에 의해 표현하고, 각 ALF 블록에 필터 블록 플래그를 지정하는 예를 나타낸다.
도 21의 A는, 쿼드 트리 구조의 근본이 되는 ALF 블록인 레이어0을 나타낸다. 쿼드 트리 구조에 있어서 각 ALF 블록은, 하위의 계층에 있어서 4분할되는지의 여부를 나타내는 블록 파티셔닝 플래그를 갖고 있다. 도 21의 A에 도시되는 ALF 블록의 블록 파티셔닝 플래그의 값은 「1」이다. 즉, 이 ALF 블록은, 하위의 계층(레이어1)에 있어서 4분할된다. 도 21의 B는, 그 레이어1을 나타낸다. 즉, 레이어1에는, 4개의 ALF 블록이 형성된다.
블록 파티셔닝 플래그가 「0」인 경우, 이것보다 하위의 계층에 있어서 4분할되지 않는다. 즉, 이 이상의 분할은 없고, 그 ALF 블록에 대하여 필터 블록 플래그가 생성된다. 즉,블록 파티셔닝 플래그가 「0」인 ALF 블록은, 필터 블록 플래그도 갖는다. 도 21의 B에 도시되는 「0-1」의 좌측의 「0」이, 그 ALF 블록의 블록 파티셔닝 플래그를 나타내고, 우측의 「1」이, 그 ALF 블록의 필터 블록 플래그를 나타낸다.
레이어1의 블록 파티셔닝 플래그가 「1」인 2개의 ALF 블록은, 더 하위의 계층(레이어2)에 있어서 4분할된다. 도 21의 C는, 그 레이어2를 나타낸다. 즉, 레이어2에는, 10개의 ALF 블록이 형성된다.
마찬가지로, 레이어2에 있어서 블록 파티셔닝 플래그가 「0」인 ALF 블록에는, 필터 블록 플래그도 할당된다. 도 21의 C에 있어서는, 1개의 ALF 블록의 블록 파티셔닝 플래그가 「1」이다. 즉, 그 ALF 블록은, 더 하위의 계층(레이어3)에 있어서 4분할된다. 도 21D는, 그 레이어3을 나타낸다. 즉, 레이어3에는, 13개의 ALF 블록이 형성된다.
이와 같이, 쿼드 트리 구조에 있어서는, ALF 블록의 사이즈는, 그 계층마다 상이하다. 즉, ALF 블록은, 쿼드 트리 구조를 취하는 것에 의해, 프레임 내에 있어서 그 크기를 서로 상이한 것으로 할 수 있다.
각 ALF 블록에 있어서의 필터 블록 플래그의 제어는, 제3 실시 형태의 경우와 마찬가지이다. 즉, 필터 블록 플래그의 값이 「0」인 ALF 블록의 영역은, 필터 처리가 행해지지 않는다.
따라서, 이와 같이 함으로써, 루프 필터(113)는, 제3 실시 형태의 경우와 마찬가지로, 필터 처리에 의해 국소적으로 화질이 악화되는 영역에 대하여 필터 처리를 행하지 않도록 할 수 있어, 참조 화상의 화질을 보다 향상시킬 수 있다.
또한, 제3 실시 형태의 경우와 마찬가지로, 이 제어 블록이나 필터 블록 플래그에 관한 정보는, 부호화 데이터에 부가되어, 화상 복호 장치(200)에 공급된다. 이에 의해, 화상 복호 장치(200)의 루프 필터(207)도 루프 필터(113)와 마찬가지로 필터 처리를 행할 수 있고, 필터 처리에 의해 국소적으로 화질이 악화되는 영역에 대하여 필터 처리를 행하지 않도록 할 수 있다. 결과적으로, 복호 화상의 화질을 더 향상시킬 수 있다.
<5. 제5 실시 형태>
[퍼스널 컴퓨터]
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 도 22에 도시되는 바와 같은 퍼스널 컴퓨터로서 구성되도록 해도 된다.
도 22에 있어서, 퍼스널 컴퓨터(500)의 CPU(501)는, ROM(Read Only Memory)(502)에 기억되어 있는 프로그램, 또는 기억부(513)로부터 RAM(Random Access Memory)(503)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(501), ROM(502) 및 RAM(503)은, 버스(504)를 거쳐서 서로 접속되어 있다. 이 버스(504)에는 또한, 입출력 인터페이스(510)도 접속되어 있다.
입출력 인터페이스(510)에는, 키보드, 마우스 등으로 이루어지는 입력부(511), CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(512), 하드디스크 등으로 구성되는 기억부(513), 모뎀 등으로 구성되는 통신부(514)가 접속되어 있다. 통신부(514)는, 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(510)에는 또한, 필요에 따라서 드라이브(515)가 접속되고, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(521)가 적절히 장착되고, 그들로부터 읽어내어진 컴퓨터 프로그램이, 필요에 따라서 기억부(513)에 인스톨된다.
상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 예를 들면, 도 22에 도시되는 바와 같이, 장치 본체와는 달리, 유저에게 프로그램을 배신하기 위해서 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(521)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태로 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(502)이나, 기억부(513)에 포함되는 하드디스크 등으로 구성된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 이상에 있어서, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 1개의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다. 즉, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변경이 가능하다.
예를 들면, 상술한 화상 부호화 장치(100)나 화상 복호 장치(200)는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대해서 설명한다.
<6. 제6 실시 형태>
[텔레비전 수상기]
도 23은, 본 발명을 적용한 화상 복호 장치(200)를 이용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 23에 도시되는 텔레비전 수상기(1000)는, 지상파 튜너(1013), 비디오 디코더(1015), 영상 신호 처리 회로(1018), 그래픽 생성 회로(1019), 패널 구동 회로(1020) 및 표시 패널(1021)을 갖는다.
지상파 튜너(1013)는, 지상 아날로그 방송의 방송파 신호를, 안테나를 거쳐서 수신하고, 복조하고, 영상 신호를 취득하고, 그것을 비디오 디코더(1015)에 공급한다. 비디오 디코더(1015)는, 지상파 튜너(1013)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(1018)에 공급한다.
영상 신호 처리 회로(1018)는, 비디오 디코더(1015)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(1019)에 공급한다.
그래픽 생성 회로(1019)는, 표시 패널(1021)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 거쳐서 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(1020)에 공급한다. 또한, 그래픽 생성 회로(1019)는, 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(1020)에 공급하는 등의 처리도 적절히 행한다.
패널 구동 회로(1020)는, 그래픽 생성 회로(1019)로부터 공급된 데이터에 기초하여 표시 패널(1021)을 구동하고, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(1021)에 표시시킨다.
표시 패널(1021)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(1020)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.
또한, 텔레비전 수상기(1000)는, 음성 A/D(Analog/Digital) 변환 회로(1014), 음성 신호 처리 회로(1022), 에코 캔슬/음성 합성 회로(1023), 음성 증폭 회로(1024), 및 스피커(1025)도 갖는다.
지상파 튜너(1013)는, 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(1013)는, 취득한 음성 신호를 음성 A/D 변환 회로(1014)에 공급한다.
음성 A/D 변환 회로(1014)는, 지상파 튜너(1013)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(1022)에 공급한다.
음성 신호 처리 회로(1022)는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 신호 처리 회로(1022)로부터 공급된 음성 데이터를 음성 증폭 회로(1024)에 공급한다.
음성 증폭 회로(1024)는, 에코 캔슬/음성 합성 회로(1023)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하고, 소정의 음량으로 조정한 후, 음성을 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 디지털 튜너(1016) 및 MPEG 디코더(1017)도 갖는다.
디지털 튜너(1016)는, 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 거쳐서 수신하고, 복조하고, MPEG-TS(Moving Picture Experts Group-Transport Stream)를 취득하고, 그것을 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS에 실시되고 있는 스크램블을 해제하고,재생 대상(시청 대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(1017)는, 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(1022)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(1018)에 공급한다. 또한, MPEG 디코더(1017)는, MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않는 경로를 거쳐서 CPU(1032)에 공급한다.
텔레비전 수상기(1000)는, 이렇게 영상 패킷을 디코드하는 MPEG 디코더(1017)로서, 상술한 화상 복호 장치(200)를 이용한다. 또한, 방송국 등으로부터 송신되는 MPEG-TS는, 화상 부호화 장치(100)에 의해 부호화되어 있다.
MPEG 디코더(1017)는, 화상 복호 장치(200)의 경우와 마찬가지로, 화상 부호화 장치(100)로부터 공급되는 부호화 데이터로부터 추출한 필터 계수를 이용하여, 복호 화상의 각 매크로 블록에 대하여, 그 직교 변환 사이즈에 따른 필터 처리를 행한다. 따라서, MPEG 디코더(1017)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다.
MPEG 디코더(1017)로부터 공급된 영상 데이터는, 비디오 디코더(1015)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(1018)에 있어서 소정의 처리가 실시되고, 그래픽 생성 회로(1019)에 있어서, 생성된 영상 데이터 등이 적절히 중첩되고, 패널 구동 회로(1020)를 거쳐서 표시 패널(1021)에 공급되어, 그 화상이 표시된다.
MPEG 디코더(1017)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(1022)에 있어서 소정의 처리가 실시되고, 에코 캔슬/음성 합성 회로(1023)를 거쳐서 음성 증폭 회로(1024)에 공급되고, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(1025)로부터 출력된다.
또한, 텔레비전 수상기(1000)는, 마이크로폰(1026) 및 A/D 변환 회로(1027)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 받아들인 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 텔레비전 수상기(1000)의 유저(유저A)의 음성의 데이터가 A/D 변환 회로(1027)로부터 공급되고 있는 경우, 유저 A의 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 해서 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 거쳐서 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 음성 코덱(1028), 내부 버스(1029), SDRAM(Synchronous Dynamic Random Access Memory)(1030), 플래시 메모리(1031), CPU(1032), USB(Universal Serial Bus) I/F(1033), 및 네트워크 I/F(1034)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 받아들인 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, A/D 변환 회로(1027)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷의 데이터로 변환하고, 내부 버스(1029)를 거쳐서 네트워크 I/F(1034)에 공급한다.
네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 거쳐서 네트워크에 접속된다. 네트워크 I/F(1034)는, 예를 들면, 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(1028)로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(1034)는, 예를 들면, 네트워크를 거쳐서 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(1035)를 거쳐서 수신하고, 그것을, 내부 버스(1029)를 거쳐서 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, 네트워크 I/F(1034)로부터 공급된 음성 데이터를 소정의 포맷의 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 코덱(1028)으로부터 공급되는 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 해서 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 거쳐서 스피커(1025)로부터 출력시킨다.
SDRAM(1030)은, CPU(1032)이 처리를 행하는 동시에서 필요한 각종의 데이터를 기억한다.
플래시 메모리(1031)는, CPU(1032)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(1031)에 기억되어 있는 프로그램은, 텔레비전 수상기(1000)의 기동시 등의 소정의 타이밍에서 CPU(1032)에 의해 읽어내어진다. 플래시 메모리(1031)에는, 디지털 방송을 거쳐서 취득된 EPG 데이터, 네트워크를 거쳐서 소정의 서버로부터 취득된 데이터 등도 기억된다.
예를 들면, 플래시 메모리(1031)에는, CPU(1032)의 제어에 의해 네트워크를 거쳐서 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(1031)는, 예를 들면 CPU(1032)의 제어에 의해, 그 MPEG-TS를, 내부 버스(1029)를 거쳐서 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이렇게 텔레비전 수상기(1000)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를 네트워크를 거쳐서 수신하고, MPEG 디코더(1017)를 이용해서 디코드하고, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.
또한, 텔레비전 수상기(1000)는, 리모트 컨트롤러(1051)로부터 송신되는 적외선 신호를 수광하는 수광부(1037)도 갖는다.
수광부(1037)는, 리모트 컨트롤러(1051)로부터의 적외선을 수광하고, 복조해서 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(1032)에 출력한다.
CPU(1032)는, 플래시 메모리(1031)에 기억되어 있는 프로그램을 실행하고, 수광부(1037)로부터 공급되는 제어 코드 등에 따라서 텔레비전 수상기(1000)의 전체의 동작을 제어한다. CPU(1032)와 텔레비전 수상기(1000)의 각 부는, 도시하지 않는 경로를 거쳐서 접속되어 있다.
USB I/F(1033)는, USB 단자(1036)에 장착된 USB 케이블을 거쳐서 접속된, 텔레비전 수상기(1000)의 외부의 기기와의 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 거쳐서 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.
텔레비전 수상기(1000)는, MPEG 디코더(1017)로서 화상 복호 장치(200)를 이용함으로써, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 그 결과로서, 텔레비전 수상기(1000)는, 안테나를 거쳐서 수신하는 방송파 신호나, 네트워크를 거쳐서 취득하는 콘텐츠 데이터로부터, 보다 고화질인 복호 화상을 얻을 수 있다.
<7. 제7 실시 형태>
[휴대 전화기]
도 24는, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 24에 도시되는 휴대 전화기(1100)는, 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(1150), 전원 회로부(1151), 조작 입력 제어부(1152), 화상 인코더(1153), 카메라 I/F부(1154), LCD 제어부(1155), 화상 디코더(1156), 다중 분리부(1157), 기록 재생부(1162), 변복조 회로부(1158) 및 음성 코덱(1159)을 갖는다. 이들은, 버스(1160)를 거쳐서 서로 접속되어 있다.
또한, 휴대 전화기(1100)는, 조작 키(1119), CCD(Charge Coupled Devices) 카메라(1116), 액정 디스플레이(1118), 기억부(1123), 송수신 회로부(1163), 안테나(1114),마이크로폰(마이크)(1121) 및 스피커(1117)를 갖는다.
전원 회로부(1151)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(1100)를 동작 가능한 상태로 기동한다.
휴대 전화기(1100)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(1150)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영, 또는 데이터 기록 등의 각종 동작을 행한다.
예를 들면, 음성 통화 모드에 있어서, 휴대 전화기(1100)는, 마이크로폰(마이크)(1121)에서 집음한 음성 신호를, 음성 코덱(1159)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 거쳐서 통화 상대의 휴대 전화기에 공급된다.
또한, 예를 들면, 음성 통화 모드에 있어서, 휴대 전화기(1100)는, 안테나(1114)에서 수신한 수신 신호를 송수신 회로부(1163)에서 증폭하고, 다시 주파수 변환 처리 및 아날로그 디지털 변환 처리하고, 변복조 회로부(1158)에서 스펙트럼 역확산 처리하고, 음성 코덱(1159)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(1100)는, 그 변환해서 얻어진 아날로그 음성 신호를 스피커(1117)로부터 출력한다.
또한, 예를 들면, 데이터 통신 모드에 있어서 전자 메일을 송신하는 경우, 휴대 전화기(1100)는, 조작 키(1119)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(1152)에 있어서 접수한다. 휴대 전화기(1100)는, 그 텍스트 데이터를 주 제어부(1150)에 있어서 처리하고, LCD 제어부(1155)를 거쳐서, 화상으로서 액정 디스플레이(1118)에 표시시킨다.
또한, 휴대 전화기(1100)는, 주 제어부(1150)에 있어서, 조작 입력 제어부(1152)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(1100)는, 그 전자 메일 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는, 네트워크 및 메일 서버 등을 거쳐서, 소정의 수신처에 공급된다.
또한, 예를 들면, 데이터 통신 모드에 있어서 전자 메일을 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 거쳐서 송수신 회로부(1163)에서 수신하고, 증폭하고, 다시 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리해서 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(1100)는, 복원된 전자 메일 데이터를, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시한다.
또한, 휴대 전화기(1100)는, 수신한 전자 메일 데이터를, 기록 재생부(1162)를 거쳐서, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
이 기억부(1123)는, 재기입 가능한 임의의 기억 매체이다. 기억부(1123)는, 예를 들면, RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 되고, 하드디스크이어도 되고, 자기 디스크, 광 자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 리무버블 미디어이어도 된다. 물론, 이들 이외의 것이어도 된다.
또한, 예를 들면, 데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 휴대 전화기(1100)는, 촬상에 의해 CCD 카메라(1116)로 화상 데이터를 생성한다. CCD 카메라(1116)는, 렌즈나 조리개 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하고, 피사체의 화상의 화상 데이터를 생성한다. CCD 카메라(1116)는, 그 화상 데이터를, 카메라 I/F부(1154)를 거쳐서, 화상 인코더(1153)에서 부호화하고, 부호화 화상 데이터로 변환한다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 인코더(1153)로서, 상술한 화상 부호화 장치(100)를 이용한다. 따라서, 화상 인코더(1053)는, 화상 부호화 장치(100)의 경우와 마찬가지로, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다.
또한, 휴대 전화기(1100)는, 이때 동시에, CCD 카메라(1116)로 촬상 중에 마이크로폰(마이크)(1121)에서 집음한 음성을, 음성 코덱(1159)에 있어서 아날로그 디지털 변환하고, 다시 부호화한다.
휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 화상 인코더(1153)로부터 공급된 부호화 화상 데이터와, 음성 코덱(1159)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(1100)는, 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는, 네트워크 등을 거쳐서, 통신 상대에게 공급된다.
또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(1100)는, CCD 카메라(1116)에서 생성한 화상 데이터를, 화상 인코더(1153)를 거치지 않고, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시시킬 수도 있다.
또한, 예를 들면, 데이터 통신 모드에 있어서, 간이 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 거쳐서 송수신 회로부(1163)에서 수신하고, 증폭하고, 다시 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리해서 원래의 다중화 데이터를 복원한다. 휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 그 다중화 데이터를 분리하고, 부호화 화상 데이터와 음성 데이터로 나눈다.
휴대 전화기(1100)는, 화상 디코더(1156)에 있어서 부호화 화상 데이터를 디코드하는 것에 의해, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시시킨다. 이에 의해, 예를 들면, 간이 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(1118)에 표시된다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 디코더(1156)로서, 상술한 화상 복호 장치(200)를 이용한다. 따라서, 화상 디코더(1156)는, 화상 복호 장치(200)의 경우와 마찬가지로, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다.
이때, 휴대 전화기(1100)는, 동시에, 음성 코덱(1159)에 있어서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(1117)로부터 출력시킨다. 이에 의해, 예를 들면, 간이 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(1100)는, 수신한 간이 홈 페이지 등에 링크된 데이터를, 기록 재생부(1162)를 거쳐서, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
또한, 휴대 전화기(1100)는, 주 제어부(1150)에 있어서, 촬상되어 CCD 카메라(1116)에서 얻어진 2차원 코드를 해석하고, 2차원 코드에 기록된 정보를 취득할 수 있다.
또한, 휴대 전화기(1100)는, 적외선 통신부(1181)에서 적외선에 의해 외부의 기기와 통신할 수 있다.
휴대 전화기(1100)는, 화상 인코더(1153)로서 화상 부호화 장치(100)를 이용하는 것에 의해, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 그 결과로서, 휴대 전화기(1100)는, 보다 고화질인 참조 화상을 얻을 수 있다. 따라서, 휴대 전화기(1100)는, 예를 들면 CCD 카메라(1116)에 있어서 생성된 화상 데이터를 부호화해서 생성하는 부호화 데이터를 복호해서 얻어지는 복호 화상을 고화질화할 수 있다.
또한, 휴대 전화기(1100)는, 화상 디코더(1156)로서 화상 복호 장치(200)를 이용하는 것에 의해, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 그 결과로서, 휴대 전화기(1100)는, 예를 들면, 간이 홈 페이지 등에 링크된 동화상 파일의 데이터(부호화 데이터)로부터, 보다 고화질인 복호 화상을 얻을 수 있다.
또한, 이상에 있어서, 휴대 전화기(1100), CCD 카메라(1116)를 이용하도록 설명했지만, 이 CCD 카메라(1116) 대신에, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센서(CMOS 이미지 센서)를 이용하도록 해도 된다. 이 경우도, 휴대 전화기(1100)는, CCD 카메라(1116)를 이용하는 경우와 마찬가지로, 피사체를 촬상하고,피사체의 화상의 화상 데이터를 생성할 수 있다.
또한, 이상에 있어서는 휴대 전화기(1100)로서 설명했지만, 예를 들면, PDA(Personal Digital Assistants), 스마트 폰, UMPC(Ultra Mobile Personal Computer), 네트 북, 노트형 퍼스널 컴퓨터 등, 이 휴대 전화기(1100)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치이어도 휴대 전화기(1100)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.
<8. 제8 실시 형태>
[하드디스크 레코더]
도 25는, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 하드디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 25에 도시되는 하드디스크 레코더(HDD 레코더)(1200)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비전 신호)에 포함되는 방송프로의 오디오 데이터와 비디오 데이터를, 내장하는 하드디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에서 유저에게 제공하는 장치이다.
하드디스크 레코더(1200)는, 예를 들면, 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그들을 적절히 복호하고, 내장하는 하드디스크에 기억시킬 수 있다. 또한, 하드디스크 레코더(1200)는, 예를 들면, 네트워크를 거쳐서 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 적절히 복호하고, 내장하는 하드디스크에 기억시킬 수도 있다.
또한, 하드디스크 레코더(1200)는, 예를 들면, 내장하는 하드디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호해서 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수 있다. 또한, 하드디스크 레코더(1200)는, 예를 들면, 튜너를 거쳐서 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터, 또는, 네트워크를 거쳐서 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호해서 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수도 있다.
물론, 이 외의 동작도 가능하다.
도 25에 도시되는 바와 같이, 하드디스크 레코더(1200)는, 수신부(1221), 복조부(1222), 디멀티플렉서(1223), 오디오 디코더(1224), 비디오 디코더(1225) 및 레코더 제어부(1226)를 갖는다. 하드디스크 레코더(1200)는, 또한 EPG 데이터 메모리(1227), 프로그램 메모리(1228), 워크 메모리(1229), 디스플레이 컨버터(1230), OSD(On Screen Display) 제어부(1231), 디스플레이 제어부(1232), 기록 재생부(1233), D/A 컨버터(1234) 및 통신부(1235)를 갖는다.
또한, 디스플레이 컨버터(1230)는, 비디오 인코더(1241)를 갖는다. 기록 재생부(1233)는, 인코더(1251) 및 디코더(1252)를 갖는다.
수신부(1221)는, 리모트 컨트롤러(도시 생략)로부터의 적외선 신호를 수신하고,전기 신호로 변환해서 레코더 제어부(1226)에 출력한다. 레코더 제어부(1226)는, 예를 들면, 마이크로프로세서 등에 의해 구성되고, 프로그램 메모리(1228)에 기억되어 있는 프로그램에 따라서, 각종 처리를 실행한다. 레코더 제어부(1226)는, 이때 워크 메모리(1229)를 필요에 따라서 사용한다.
통신부(1235)는, 네트워크에 접속되고, 네트워크를 거쳐서 다른 장치와의 통신 처리를 행한다. 예를 들면, 통신부(1235)는, 레코더 제어부(1226)에 의해 제어되고, 튜너(도시 생략)와 통신하고, 주로 튜너에 대하여 선국 제어 신호를 출력한다.
복조부(1222)는, 튜너로부터 공급된 신호를 복조하고, 디멀티플렉서(1223)에 출력한다. 디멀티플렉서(1223)는, 복조부(1222)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터 및 EPG 데이터로 분리하고, 각각 오디오 디코더(1224), 비디오 디코더(1225), 또는 레코더 제어부(1226)에 출력한다.
오디오 디코더(1224)는, 입력된 오디오 데이터를 디코드하고, 기록 재생부(1233)에 출력한다. 비디오 디코더(1225)는, 입력된 비디오 데이터를 디코드하고, 디스플레이 컨버터(1230)에 출력한다. 레코더 제어부(1226)는, 입력된 EPG 데이터를 EPG 데이터 메모리(1227)에 공급하고, 기억시킨다.
디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급된 비디오 데이터를, 비디오 인코더(1241)에 의해, 예를 들면 NTSC(National Television Standards Committee) 방식의 비디오 데이터로 인코드하고, 기록 재생부(1233)에 출력한다. 또한, 디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급되는 비디오 데이터의 화면의 사이즈를, 모니터(1260)의 사이즈에 대응하는 사이즈로 변환하고, 비디오 인코더(1241)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하여, 디스플레이 제어부(1232)에 출력한다.
디스플레이 제어부(1232)는, 레코더 제어부(1226)의 제어 하에서, OSD(On Screen Display) 제어부(1231)가 출력한 OSD 신호를, 디스플레이 컨버터(1230)로부터 입력된 비디오 신호에 중첩하고, 모니터(1260)의 디스플레이에 출력하고, 표시시킨다.
모니터(1260)에는 또한, 오디오 디코더(1224)가 출력한 오디오 데이터가, D/A 컨버터(1234)에 의해 아날로그 신호로 변환되어 공급되고 있다. 모니터(1260)는, 이 오디오 신호를 내장하는 스피커로부터 출력한다.
기록 재생부(1233)는, 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드디스크를 갖는다.
기록 재생부(1233)는, 예를 들면, 오디오 디코더(1224)로부터 공급되는 오디오 데이터를, 인코더(1251)에 의해 인코드한다. 또한, 기록 재생부(1233)는, 디스플레이 컨버터(1230)의 비디오 인코더(1241)로부터 공급되는 비디오 데이터를, 인코더(1251)에 의해 인코드한다. 기록 재생부(1233)는, 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(1233)는, 그 합성 데이터를 채널 코딩해서 증폭하고, 그 데이터를 기록 헤드를 거쳐서 하드디스크에 기입한다.
기록 재생부(1233)는, 재생 헤드를 거쳐서 하드디스크에 기록되어 있는 데이터를 재생하고, 증폭하고, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(1233)는, 디코더(1252)에 의해 오디오 데이터 및 비디오 데이터를 디코드한다. 기록 재생부(1233)는, 복호한 오디오 데이터를 D/A 변환하고, 모니터(1260)의 스피커에 출력한다. 또한, 기록 재생부(1233)는, 복호한 비디오 데이터를 D/A 변환하고, 모니터(1260)의 디스플레이에 출력한다.
레코더 제어부(1226)는, 수신부(1221)를 거쳐서 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타내지는 유저 지시에 기초하여, EPG 데이터 메모리(1227)로부터 최신의 EPG 데이터를 읽어내고, 그것을 OSD 제어부(1231)에 공급한다. OSD 제어부(1231)는, 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하고, 디스플레이 제어부(1232)에 출력한다. 디스플레이 제어부(1232)는, OSD 제어부(1231)로부터 입력된 비디오 데이터를 모니터(1260)의 디스플레이에 출력하고, 표시시킨다. 이에 의해, 모니터(1260)의 디스플레이에는, EPG(전자프로그램 가이드)가 표시된다.
또한, 하드디스크 레코더(1200)는, 인터넷 등의 네트워크를 거쳐서 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터, 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.
통신부(1235)는, 레코더 제어부(1226)에 제어되고, 네트워크를 거쳐서 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(1226)에 공급한다. 레코더 제어부(1226)는, 예를 들면, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(1233)에 공급하고, 하드디스크에 기억시킨다. 이때, 레코더 제어부(1226) 및 기록 재생부(1233)가, 필요에 따라서 재인코드 등의 처리를 행하도록 해도 된다.
또한, 레코더 제어부(1226)는, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(1230)에 공급한다. 디스플레이 컨버터(1230)는, 비디오 디코더(1225)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(1226)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(1232)를 거쳐서 모니터(1260)에 공급하고, 그 화상을 표시시킨다.
또한, 이 화상 표시에 맞추어, 레코더 제어부(1226)가, 복호한 오디오 데이터를, D/A 컨버터(1234)를 거쳐서 모니터(1260)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 된다.
또한, 레코더 제어부(1226)는, 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(1227)에 공급한다.
이상과 같은 하드디스크 레코더(1200)는, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더로서 화상 복호 장치(200)를 이용한다. 따라서, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 화상 복호 장치(200)의 경우와 마찬가지로, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다.
따라서, 하드디스크 레코더(1200)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 그 결과로서, 하드디스크 레코더(1200)는, 예를 들면, 튜너나 통신부(1235)를 거쳐서 수신되는 비디오 데이터(부호화 데이터)나, 기록 재생부(1233)의 하드디스크에 기록되는 비디오 데이터(부호화 데이터)로부터, 보다 고화질인 복호 화상을 얻을 수 있다.
또한, 하드디스크 레코더(1200)는, 인코더(1251)로서 화상 부호화 장치(100)를 이용한다. 따라서, 인코더(1251)는, 화상 부호화 장치(100)의 경우와 마찬가지로, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다.
따라서, 하드디스크 레코더(1200)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 그 결과로서, 하드디스크 레코더(1200)는, 보다 고화질인 참조 화상을 얻을 수 있다. 따라서, 하드디스크 레코더(1200)는, 예를 들면, 하드디스크에 기록하는 부호화 데이터의 복호 화상을 고화질화할 수 있다.
또한, 이상에 있어서는, 비디오 데이터나 오디오 데이터를 하드디스크에 기록하는 하드디스크 레코더(1200)에 대해서 설명했지만, 물론 기록 매체는 어떤 것이어도 된다. 예를 들면 플래시 메모리, 광 디스크, 또는 비디오 테이프 등, 하드디스크 이외의 기록 매체를 적용하는 레코더이어도, 상술한 하드디스크 레코더(1200)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.
<9. 제9 실시 형태>
[카메라]
도 26은, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 카메라의 주된 구성예를 도시하는 블록도이다.
도 26에 도시되는 카메라(1300)는, 피사체를 촬상하고, 피사체의 화상을 LCD(1316)에 표시시키거나, 그것을 화상 데이터로서, 기록 미디어(1333)에 기록하거나 한다.
렌즈 블록(1311)은, 광(즉, 피사체의 영상)을, CCD/CMOS(1312)에 입사시킨다. CCD/CMOS(1312)는, CCD 또는 CMOS를 이용한 이미지 센서로서, 수광한 광의 강도를 전기 신호로 변환하고, 카메라 신호 처리부(1313)에 공급한다.
카메라 신호 처리부(1313)는, CCD/CMOS(1312)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하고, 화상 신호 처리부(1314)에 공급한다. 화상 신호 처리부(1314)는, 컨트롤러(1321)의 제어 하에서, 카메라 신호 처리부(1313)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(1341)에서 부호화하거나 한다. 화상 신호 처리부(1314)는, 화상 신호를 부호화해서 생성한 부호화 데이터를 디코더(1315)에 공급한다. 또한, 화상 신호 처리부(1314)는, 온스크린 디스플레이(OSD)(1320)에 있어서 생성된 표시용 데이터를 취득하고, 그것을 디코더(1315)에 공급한다.
이상의 처리에 있어서, 카메라 신호 처리부(1313)는, 버스(1317)를 거쳐서 접속되는 DRAM(Dynamic Random Access Memory)(1318)을 적절히 이용하고, 필요에 따라서 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(1318)에 유지시킨다.
디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(1316)에 공급한다. 또한, 디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 표시용 데이터를 LCD(1316)에 공급한다. LCD(1316)는, 디코더(1315)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하고, 그 합성 화상을 표시한다.
온스크린 디스플레이(1320)는, 컨트롤러(1321)의 제어 하에서, 기호, 문자, 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(1317)를 거쳐서 화상 신호 처리부(1314)에 출력한다.
컨트롤러(1321)는, 유저가 조작부(1322)를 이용해서 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(1317)를 거쳐서, 화상 신호 처리부(1314), DRAM(1318), 외부 인터페이스(1319), 온스크린 디스플레이(1320), 및 미디어 드라이브(1323) 등을 제어한다. FLASH ROM(1324)에는, 컨트롤러(1321)가 각종 처리를 실행함에 있어서 필요한 프로그램이나 데이터 등이 저장된다.
예를 들면, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315) 대신에, DRAM(1318)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(1318)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315)의 부호화·복호 방식과 마찬가지의 방식에 의해 부호화·복호 처리를 행하도록 해도 되고, 화상 신호 처리부(1314)나 디코더(1315)가 대응하고 있지 않은 방식에 의해 부호화·복호 처리를 행하도록 해도 된다.
또한, 예를 들면, 조작부(1322)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(1321)는, DRAM(1318)으로부터 화상 데이터를 읽어내고, 그것을 버스(1317)를 거쳐서 외부 인터페이스(1319)에 접속되는 프린터(1334)에 공급해서 인쇄시킨다.
또한, 예를 들면, 조작부(1322)로부터 화상 기록이 지시된 경우, 컨트롤러(1321)는, DRAM(1318)로부터 부호화 데이터를 읽어내고, 그것을 버스(1317)를 거쳐서 미디어 드라이브(1323)에 장착되는 기록 미디어(1333)에 공급해서 기억시킨다.
기록 미디어(1333)는, 예를 들면, 자기 디스크, 광 자기 디스크, 광 디스크, 또는 반도체 메모리 등의 읽기 쓰기 가능한 임의의 리무버블 미디어이다. 기록 미디어(1333)는, 물론 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 되고, 디스크이어도 되고, 메모리 카드이어도 된다. 물론, 비접촉 IC 카드 등이어도 된다.
또한, 미디어 드라이브(1323)와 기록 미디어(1333)를 일체화하고, 예를 들면, 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 된다.
외부 인터페이스(1319)는, 예를 들면, USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터(1334)와 접속된다. 또한, 외부 인터페이스(1319)에는, 필요에 따라서 드라이브(1331)가 접속되고, 자기 디스크, 광 디스크, 혹은 광 자기 디스크 등의 리무버블 미디어(1332)가 적절히 장착되고, 그들로부터 읽어내어진 컴퓨터 프로그램이, 필요에 따라서 FLASH ROM(1324)에 인스톨된다.
또한, 외부 인터페이스(1319)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(1321)는, 예를 들면, 조작부(1322)로부터의 지시에 따라서, DRAM(1318)으로부터 부호화 데이터를 읽어내고, 그것을 외부 인터페이스(1319)로부터, 네트워크를 거쳐서 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(1321)는, 네트워크를 거쳐서 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를 외부 인터페이스(1319)를 거쳐서 취득하고, 그것을 DRAM(1318)에 유지시키거나, 화상 신호 처리부(1314)에 공급하거나 할 수 있다.
이상과 같은 카메라(1300)는, 디코더(1315)로서 화상 복호 장치(200)를 이용한다. 따라서, 디코더(1315)는, 화상 복호 장치(200)의 경우와 마찬가지로, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다.
따라서, 카메라(1300)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 그 결과로서, 카메라(1300)는, 예를 들면, CCD/CMOS(1312)에 있어서 생성되는 화상 데이터나, DRAM(1318) 또는 기록 미디어(1333)로부터 읽어내어지는 비디오 데이터의 부호화 데이터나, 네트워크를 거쳐서 취득하는 비디오 데이터의 부호화 데이터로부터, 보다 고화질인 복호 화상을 얻을 수 있다.
또한, 카메라(1300)는, 인코더(1341)로서 화상 부호화 장치(100)를 이용한다. 따라서, 인코더(1341)는, 화상 부호화 장치(100)의 경우와 마찬가지로, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다.
따라서, 카메라(1300)는, 화상 내의 국소적 성질에 적합한 노이즈 제거를 행할 수 있다. 그 결과로서, 카메라(1300)는, 예를 들면, DRAM(1318)이나 기록 미디어(1333)에 기록하는 부호화 데이터나, 다른 장치에 제공하는 부호화 데이터의 복호 화상을 고화질화할 수 있다.
또한, 컨트롤러(1321)가 행하는 복호 처리에 화상 복호 장치(200)의 복호 방법을 적용하도록 해도 된다. 마찬가지로, 컨트롤러(1321)가 행하는 부호화 처리에 화상 부호화 장치(100)의 부호화 방법을 적용하도록 해도 된다.
또한, 카메라(1300)가 촬상하는 화상 데이터는 동화상이어도 되고, 정지 화상 이어도 된다.
물론, 화상 부호화 장치(100) 및 화상 복호 장치(200)는, 상술한 장치 이외의 장치나 시스템에도 적용 가능이다.
또한, 매크로 블록의 크기도, 16×16화소에 한하지 않는다. 예를 들면 도 10에 도시되는 32×32화소와 같은, 모든 크기의 매크로 블록에 대하여 적용하는 것이 가능하다.
이상에 있어서는, 필터 계수 등을 비트스트림에 다중화(기술)하는 것으로서 설명했지만, 다중화하는 것 이외에도, 예를 들면, 필터 계수와 화상 데이터(또는 비트스트림)를 전송(기록)해도 된다. 필터 계수와 화상 데이터(또는 비트스트림)를 연결하는 (부가하는) 형태도 있을 수 있다.
연결(부가)이란, 화상 데이터(또는 비트스트림)와 필터 계수가 서로 링크되어 있는 상태(대응이 취해져 있는 상태)를 나타내는 것이며, 물리적인 위치 관계는 임의이다. 예를 들면, 화상 데이터(또는 비트스트림)와 필터 계수를, 다른 전송로에서 전송해도 된다. 또한, 화상 데이터(또는 비트스트림)와 필터 계수를, 서로 다른 매체(또는 동일한 기록 매체 내의 각각의 기록 에어리어)에 기록해도 된다. 또한, 화상 데이터(또는 비트스트림)와 필터 계수를 링크시키는 단위는 임의이며, 예를 들면, 부호화 처리 단위(1프레임, 복수 프레임 등)로 설정해도 된다.
100 : 화상 부호화 장치
112 : 필터 계수 산출부
113 : 루프 필터
151 : 직교 변환 사이즈 버퍼
152 : 복호 화소 분류부
153 : 입력 화소 분류부
154 : 4×4 블록 계수 산출부
155 : 8×8 블록 계수 산출부
161 : 화소 분류부
162 : 필터부(4×4)
163 : 필터부(8×8)
200 : 화상 복호 장치
202 : 가역 복호부
204 : 역직교 변환부
207 : 루프 필터
212 : 인트라 예측부
213 : 움직임 예측·보상부
251 : 화소 분류부
252 : 필터부(4×4)
253 : 필터부(8×8)

Claims (15)

  1. 화상 처리 방법으로서,
    화상의 부호화 데이터를 복호하여 복호 화상을 생성하는 단계;
    상기 화상에 대하여 행하여지는 직교 변환 처리에서 적용되는 직교 변환 사이즈 및 상기 화상의 플랫한 정도에 기초하여 필터 계수의 탭 수와 값을 설정하는 단계; 및
    설정된 필터 계수를 이용하여, 상기 복호 화상에 대하여 필터 처리를 행하는 단계를 포함하고,
    상기 필터 처리는, 상기 복호 화상의 직교 변환 블록이 소정의 조건을 만족하는 경우에만 실시되는, 화상 처리 방법.
  2. 제1항에 있어서,
    상기 복호 화상의 블록 경계에 대하여 상기 필터 처리를 행하는, 화상 처리 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 직교 변환 사이즈가 클수록, 상기 필터 계수의 상기 탭수를 길게 설정하고, 상기 직교 변환 사이즈가 작을수록, 상기 필터 계수의 상기 탭수를 짧게 설정하는, 화상 처리 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 부호화 데이터로부터 상기 필터 계수를 추출하는 단계를 더 포함하는, 화상 처리 방법.
  8. 제1항에 있어서,
    상기 화상에 대하여 역양자화 및 역직교 변환을 행하는 단계를 더 포함하는, 화상 처리 방법.
  9. 제1항에 있어서,
    상기 복호 화상의 부분 화상에 대하여 상기 필터 처리를 행하는, 화상 처리 방법.
  10. 제1항에 있어서,
    위너 필터(Wiener Filter)를 이용하여 상기 필터 처리를 행하는, 화상 처리 방법.
  11. 화상 처리 장치로서,
    화상의 부호화 데이터를 복호하여 복호 화상을 생성하도록 구성되는 복호부;
    상기 화상에 대하여 행하여지는 직교 변환 처리에서 적용되는 직교 변환 사이즈 및 상기 화상의 플랫한 정도에 기초하여 필터 계수의 탭 수와 값을 설정하는 필터 계수 산출부; 및
    설정된 필터 계수를 이용하여, 상기 복호 화상에 대하여 필터 처리를 행하도록 구성되는 필터 처리부
    를 포함하고,
    상기 필터 처리부는, 상기 복호 화상의 직교 변환 블록이 소정의 조건을 만족하는 경우에만 상기 필터 처리를 실시하는, 화상 처리 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020127004293A 2009-08-26 2010-08-18 화상 처리 장치 및 방법 KR101786130B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-195317 2009-08-26
JP2009195317A JP2011049740A (ja) 2009-08-26 2009-08-26 画像処理装置および方法
PCT/JP2010/063918 WO2011024684A1 (ja) 2009-08-26 2010-08-18 画像処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177027840A Division KR101901087B1 (ko) 2009-08-26 2010-08-18 화상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120051020A KR20120051020A (ko) 2012-05-21
KR101786130B1 true KR101786130B1 (ko) 2017-10-17

Family

ID=43627789

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177027840A KR101901087B1 (ko) 2009-08-26 2010-08-18 화상 처리 장치 및 방법
KR1020127004293A KR101786130B1 (ko) 2009-08-26 2010-08-18 화상 처리 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177027840A KR101901087B1 (ko) 2009-08-26 2010-08-18 화상 처리 장치 및 방법

Country Status (12)

Country Link
US (3) US9992516B2 (ko)
EP (1) EP2472870A4 (ko)
JP (1) JP2011049740A (ko)
KR (2) KR101901087B1 (ko)
CN (5) CN104601995B (ko)
AU (1) AU2010287688B2 (ko)
BR (1) BR112012003855B1 (ko)
CA (2) CA2970080C (ko)
MX (1) MX2012002070A (ko)
RU (1) RU2533444C2 (ko)
TW (1) TWI435610B (ko)
WO (1) WO2011024684A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151431A (ja) 2009-12-25 2011-08-04 Sony Corp 画像処理装置および方法
JPWO2012131895A1 (ja) * 2011-03-29 2014-07-24 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
TWI455062B (zh) * 2011-04-26 2014-10-01 Univ Nat Cheng Kung 三維視訊內容產生方法
WO2012153538A1 (en) * 2011-05-11 2012-11-15 Panasonic Corporation Methods for encoding and decoding video using an adaptive filtering process
WO2012169054A1 (ja) * 2011-06-09 2012-12-13 株式会社東芝 動画像符号化方法、及び装置、動画像復号方法、及び装置
CN102831132B (zh) * 2011-06-13 2016-05-25 英华达（南京）科技有限公司 可快速在电子装置上显示数字图文件的储存方法及其电子装置
KR102166220B1 (ko) * 2011-06-28 2020-10-15 소니 주식회사 화상 처리 장치 및 화상 처리 방법
CN106713914B (zh) 2011-06-30 2021-06-01 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
PL231161B1 (pl) * 2011-10-17 2019-01-31 Kt Corp Sposób dekodowania sygnału wideo
KR101462052B1 (ko) * 2011-11-09 2014-11-20 에스케이 텔레콤주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2013090120A1 (en) * 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
SG11201402920TA (en) * 2011-12-19 2014-11-27 Sony Corp Image processing device and method
US9426498B2 (en) 2012-07-10 2016-08-23 Broadcom Corporation Real-time encoding system of multiple spatially scaled video based on shared video coding information
US9438911B2 (en) 2012-08-03 2016-09-06 Mediatek Inc. Video processing system with shared/configurable in-loop filter data buffer architecture and related video processing method thereof
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
US10417766B2 (en) * 2014-11-13 2019-09-17 Samsung Electronics Co., Ltd. Method and device for generating metadata including frequency characteristic information of image
CN106303540B (zh) * 2015-05-20 2019-02-12 浙江大华技术股份有限公司 一种图像压缩方法及其装置
CN105138963A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 图片场景判定方法、装置以及服务器
RU2682838C1 (ru) * 2015-12-23 2019-03-21 Хуавей Текнолоджиз Ко., Лтд. Способ и устройство для кодирования с преобразованием с выбором преобразования блокового уровня и неявной сигнализацией в рамках иерархического разбиения
WO2020175145A1 (ja) * 2019-02-27 2020-09-03 ソニー株式会社 画像処理装置及び画像処理方法
CN113711600B (zh) * 2019-04-26 2024-06-21 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN118235392A (zh) * 2021-12-31 2024-06-21 Oppo广东移动通信有限公司 滤波系数生成及滤波方法、视频编解码方法、装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007337A (ja) * 2002-04-25 2004-01-08 Sony Corp 画像処理装置およびその方法
US20080199090A1 (en) * 2007-02-16 2008-08-21 Kei Tasaka Coding method conversion apparatus

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4152772A (en) * 1974-08-29 1979-05-01 The United States Of America As Represented By The Secretary Of The Navy Apparatus for performing a discrete cosine transform of an input signal
JP2879298B2 (ja) * 1993-11-15 1999-04-05 日本電気エンジニアリング株式会社 適応後処理フィルタ
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
CA2513537C (en) * 2003-02-21 2013-03-26 Matsushita Electric Industrial Co. Ltd. Picture coding method and picture decoding method
JP5330647B2 (ja) 2003-09-17 2013-10-30 トムソン ライセンシング 適応参照画像の発生
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP4457346B2 (ja) * 2004-11-12 2010-04-28 ノーリツ鋼機株式会社 画像ノイズ除去方法
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
JP4784188B2 (ja) * 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2007110568A (ja) * 2005-10-14 2007-04-26 Matsushita Electric Ind Co Ltd 画像符号化装置
US7657113B2 (en) * 2005-12-21 2010-02-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Auto-regressive method and filter for denoising images and videos
JP4449915B2 (ja) * 2006-02-08 2010-04-14 ソニー株式会社 符号化装置、符号化方法およびプログラム、並びに、記録媒体
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
EP2001239B1 (en) * 2006-03-27 2017-09-13 Sun Patent Trust Picture coding apparatus and picture decoding apparatus
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
BRPI0714859A2 (pt) * 2006-08-02 2013-05-21 Thomson Licensing mÉtodo e aparelho para particionamento geomÉtrico adaptativo para codificaÇço de vÍdeo e estrutura de sinal de vÍdeo para codificaÇço de vÍdeo
CN101563926B (zh) * 2006-12-18 2011-11-16 皇家飞利浦电子股份有限公司 图像压缩与解压缩
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
JP2009110559A (ja) * 2007-10-26 2009-05-21 Pioneer Electronic Corp 光ディスク装置
CN101170701B (zh) * 2007-11-16 2010-10-27 四川虹微技术有限公司 视频编解码系统中去块滤波方法及装置
US7924941B2 (en) * 2007-11-27 2011-04-12 Motorola Mobility, Inc. Digital pre-distortion for orthogonal frequency division multiplexing (OFDM) signals
CN101970946A (zh) 2008-02-20 2011-02-09 Aos控股公司 用于水容器的有机聚合物涂层
MX2010008978A (es) 2008-03-07 2010-09-07 Toshiba Kk Aparato de codificacion / decodificacion de video.
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007337A (ja) * 2002-04-25 2004-01-08 Sony Corp 画像処理装置およびその方法
US20080199090A1 (en) * 2007-02-16 2008-08-21 Kei Tasaka Coding method conversion apparatus

Also Published As

Publication number Publication date
CN104602002B (zh) 2019-04-16
CN104601994A (zh) 2015-05-06
MX2012002070A (es) 2012-03-19
US20180249185A1 (en) 2018-08-30
CA2769733A1 (en) 2011-03-03
CN102484714B (zh) 2015-02-25
BR112012003855B1 (pt) 2021-08-03
RU2533444C2 (ru) 2014-11-20
CA2769733C (en) 2017-07-18
TW201112773A (en) 2011-04-01
JP2011049740A (ja) 2011-03-10
TWI435610B (zh) 2014-04-21
US20190208227A1 (en) 2019-07-04
KR20120051020A (ko) 2012-05-21
CA2970080C (en) 2020-07-28
CN104602002A (zh) 2015-05-06
KR101901087B1 (ko) 2018-09-20
KR20170117219A (ko) 2017-10-20
AU2010287688B2 (en) 2014-09-11
AU2010287688A1 (en) 2012-03-01
WO2011024684A1 (ja) 2011-03-03
US20120141037A1 (en) 2012-06-07
CN104618716B (zh) 2019-04-23
EP2472870A1 (en) 2012-07-04
BR112012003855A2 (pt) 2016-03-22
US11051044B2 (en) 2021-06-29
EP2472870A4 (en) 2015-08-12
RU2012106134A (ru) 2013-08-27
CN102484714A (zh) 2012-05-30
CN104601994B (zh) 2018-04-27
US9992516B2 (en) 2018-06-05
CN104618716A (zh) 2015-05-13
US10250911B2 (en) 2019-04-02
CA2970080A1 (en) 2011-03-03
CN104601995A (zh) 2015-05-06
CN104601995B (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
KR101786130B1 (ko) 화상 처리 장치 및 방법
US10855984B2 (en) Image processing apparatus and method
US10841580B2 (en) Apparatus and method of adaptive block filtering of target slice based on filter control information
WO2011081035A1 (ja) 画像処理装置および方法、並びに、プログラム
KR20120118460A (ko) 화상 처리 장치 및 방법
KR101858166B1 (ko) 부호화 장치 및 방법
WO2012005195A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant