KR101783575B1 - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101783575B1
KR101783575B1 KR1020167032778A KR20167032778A KR101783575B1 KR 101783575 B1 KR101783575 B1 KR 101783575B1 KR 1020167032778 A KR1020167032778 A KR 1020167032778A KR 20167032778 A KR20167032778 A KR 20167032778A KR 101783575 B1 KR101783575 B1 KR 101783575B1
Authority
KR
South Korea
Prior art keywords
unit
control information
slice
image
filter
Prior art date
Application number
KR1020167032778A
Other languages
English (en)
Other versions
KR20160138585A (ko
Inventor
겐지 곤도
준이찌 다나까
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160138585A publication Critical patent/KR20160138585A/ko
Application granted granted Critical
Publication of KR101783575B1 publication Critical patent/KR101783575B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은, 부호화 효율의 저감을 억제할 수 있는 화상 처리 장치 및 방법에 관한 것이다. 제어 정보 부가부(184)는, 부호화 데이터 유지부(182)에 유지되는 부호화 데이터의, 소정의 슬라이스의 슬라이스 헤더에, 제어 정보 유지부(183)에 유지되는 1픽쳐 분의 제어 정보를 매립한다. 예를 들면, 제어 정보 부가부(184)는, 부호화 데이터의 처리 대상 프레임의, 최초로 전송되는 슬라이스의 슬라이스 헤더에, 1픽쳐 분의 제어 정보를 매립한다. 제어 정보 부가부(184)는 제어 정보를 부가한 부호화 데이터를 소정순으로 출력한다. 본 발명은, 예를 들면, 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법{DEVICE AND METHOD FOR IMAGE PROCESSING}
본 발명은, 화상 처리 장치 및 방법에 관한 것으로, 특히, 부호화시 또는 복호시의 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.
최근, 화상 정보를 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Experts Group) 등의 방식에 준거한 장치가, 방송국 등의 정보 배신, 및 일반 가정에 있어서의 정보 수신의 쌍방에 있어서 보급되고 있다.
특히, MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission) 13818-2)는, 범용 화상 부호화 방식으로서 정의되고 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준으로, 프로페셔널 용도 및 소비자 용도의 광범위한 어플리케이션에 현재 널리 이용되고 있다. MPEG2 압축 방식을 이용함으로써, 예를 들면 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4∼8Mbps, 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18∼22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축률과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축률의 부호화 방식에는 대응하지 않고 있었다. 휴대 단말기의 보급에 의해, 금후 그러한 부호화 방식의 니즈는 높아진다고 생각되며, 이것에 대응해서 MPEG4 부호화 방식의 표준화가 행하여졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC14496-2로서 그 규격이 국제 표준에 승인되었다.
또한 최근, 당초 텔레비전 회의용의 화상 부호화를 목적으로 하여, H.26L(ITU-T(ITU Telecommunication Standardization Sector) Q6/16 VCEG(Video Coding Experts Group))라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 베이스로, H.26L에서는 서포트되지 않는 기능도 도입하고, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행하여지고 있다. 표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG4 Part10(AVC(Advanced Video Coding))이라는 이름 하에 국제 표준이 되었다.
또한, 최근, 검토되고 있는 차세대의 비디오 부호화 기술로서 적응 루프 필터(ALF(Adaptive Loop Filter))가 있다(예를 들면, 비특허 문헌 1 참조). 이 적응 필터에 의해, 프레임마다 최적인 필터 처리가 행하여지고, 디블록 필터로 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
그러나, 일반적으로 화상은 국소적으로는 다양한 특징을 갖고 있기 때문에, 국소적으로는 최적인 필터 계수는 상이하다. 비특허 문헌 1에 기재된 방법에서는, 1프레임 내의 모든 화소에 대하여 동일한 필터 계수가 적용되기 때문에, 프레임 전체에서는 화질을 개선하지만, 국소적으로는 악화시킬 우려가 있었다.
그래서, 국소적으로 악화되는 영역에는 필터 처리를 행하지 않는 방법이 생각되었다(예를 들면 비특허 문헌 2 및 비특허 문헌 3 참조). 이 방법의 경우, 화상 부호화 장치는, 화상의 영역에, 깔도록 간극 없이 배열된 복수의 제어 블록을 대응시키고, 그 제어 블록마다 화상에 필터 처리를 행할 것인지의 여부를 제어한다. 화상 부호화 장치는, 블록마다 플래그 정보를 설정하고, 그 플래그 정보에 따라 적응 필터 처리를 행한다. 화상 복호 장치도 마찬가지로, 이 플래그 정보에 기초해서 적응 필터 처리를 행한다.
이 경우, 복호시에 부호화시와 마찬가지의 적응 필터 처리를 실행할 수 있도록, 제어 블록의 사이즈, 각 제어 블록의 플래그 정보 및 적응 필터 처리의 필터 계수 정보나 필터 TAP수 등과 같은 제어 정보(ALF 제어 정보)를 부호화 데이터에 포함시킬 필요가 있다.
이 ALF 제어 정보는, 1픽쳐마다 변화하는 경우가 많기 때문에, 종래의 생각에서는 픽쳐 파라미터 세트(PPS(Picture Parameter Set)) 혹은 시퀀스 파라미터 세트(SPS(Sequence Parameter Set))에 포함시킨다. 그러나, 이들 PPS나 SPS에 ALF 제어 정보를 포함시키고자 하면, pic_order_present_flag, num_ref_idx_l0_active_minus1, profile_idc, 및 level_idc와 같은 ALF에는 직접 관계가 없는 정보가 부수되기 때문에 불필요한 비트를 화상 압축 정보에 포함하게 되어, 그 오버헤드에 의해 부호화 효율을 악화시킬 우려가 있었다.
또한, 독립된 NAL(Network Abstraction Layer) 유닛을 만들고, 상술한 불필요한 정보를 제거한 경우라도, start code, nal_ref_idc 및 nal_unit_type가 필요로 되어, 그들 오버헤드가 부호화 효율을 악화시킬 우려가 있었다.
이러한 문제를 회피하기 위해서, 이들 ALF 제어 정보를 슬라이스 헤더에 포함시키는 것이 제안되어 있다(예를 들면, 비특허 문헌 4 참조). 또한, 슬라이스 헤더에 ALF 제어 정보를 두지 않고, ALF 제어 정보의 장소를 나타내는 포인터 정보를 두는 방법도 제안되어 있다(예를 들면, 비특허 문헌 5 참조).
비특허 문헌1: Yi-Jen Chiu and L. Xu, "Adaptive(Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008. 비특허 문헌2: Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July, 2008 비특허 문헌3: T. Chujoh, N. Wada and G. Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T SG16 Q6 VCEG Contribution, VCEG-AK22(r1), Japan, April,2009 비특허 문헌4: Takeshi. Chujoh, et al., "Improvement of Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, AJ13, San Diego, October, 2008 비특허 문헌5: Yu-Wen Huang, et all., "Adaptive Quadtree-based Multi-reference Loop Filter", ITU-T SG16 Q6 VCEG Contribution, AK24, Yokohama Japan, April, 2009
그런데, 1프레임을 복수의 슬라이스로 분할하고, 그 슬라이스마다 화상의 부호화 처리나 복호 처리를 행하는 방법(멀티 슬라이스)이 있다. 프레임을 복수의 슬라이스 영역으로 분할하는 것은, 화상 압축 정보의 전송 중의 에러 내성을 높게 하기 위해서 유효한 방법이다.
그러나, 비특허 문헌 2 내지 비특허 문헌 5에는, 간단히 1프레임 전체에 대해서 블록을 설정하고, 전체 블록의 플래그 정보를 생성해서 송신하는 것이 기재되어 있을뿐이며, 이러한 멀티 슬라이스의 경우의 플래그 정보의 처리에 대해서 기재되어 있지 않아, 어떻게 플래그 정보를 생성하여, 이용해야 할지가 불분명하였다.
따라서, 비특허 문헌에 기재된 방법의 경우, 화상 부호화 장치는, 각 슬라이스에 대하여, 프레임내 모든 블록의 플래그 정보를 생성하게 되어, 불필요한 플래그 정보 등에 의해, 부호화 효율을 악화시킬 우려가 있었다.
또한, 상술한 바와 같이 비특허 문헌 4에는, ALF 제어 정보를 슬라이스 헤더에 포함시키는 것이 제안되어 있지만, 멀티 슬라이스의 경우에 있어서, 각 슬라이스에 대하여 생성된 ALF 제어 정보를 부호화 데이터의 각각의 슬라이스 헤더에 포함시키도록 하면, 그 복수의 ALF 제어 정보간에서 내용이 중복되는 부분이 생길 우려가 있었다. 즉, 부호화 효율을 불필요하게 저감시킬 우려가 있었다.
비특허 문헌 5에 기재된 바와 같이 슬라이스 헤더에 포인터를 두는 경우도 마찬가지이며, 복수의 슬라이스 헤더에 포인터를 두는 경우, 중복된 정보를 부호화 데이터에 포함시키게 되어, 부호화 효율을 불필요하게 저감시킬 우려가 있었다.
본 발명은, 이러한 상황을 감안하여 제안된 것으로서, 부호화시 또는 복호시의 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제하는 것을 목적으로 한다.
본 발명의 일 측면은, 화상에 대하여 국소적으로 행하여지는 필터 처리를 제어 블록의 영역마다 제어하는 필터 제어 정보를 생성하는 제어 정보 생성 수단과, 상기 제어 정보 생성 수단에 의해 생성된 상기 필터 제어 정보에 따라, 상기 화상에 대하여 상기 필터 처리를 행하는 필터 수단과, 상기 화상이 부호화된 부호화 데이터의 소정의 데이터 단위마다의 헤더 정보에, 상기 헤더 정보가 속하는 프레임의 복수의 상기 데이터 단위에 대응하는 상기 필터 제어 정보를 부가하는 제어 정보 부가 수단을 포함하는 화상 처리 장치이다.
상기 제어 정보 부가 수단은, 상기 프레임의 최초로 전송되는 상기 데이터 단위의 헤더 정보에, 상기 필터 제어 정보를 부가할 수 있다.
상기 제어 정보 부가 수단은, 상기 프레임의 선두에 위치하는 상기 데이터 단위의 헤더 정보에, 상기 필터 제어 정보를 부가할 수 있다.
상기 제어 정보 부가 수단은, 상기 헤더 정보에, 상기 프레임 전체에 대응하는 상기 필터 제어 정보를 부가할 수 있다.
상기 제어 정보 부가 수단은, 상기 프레임 내의 복수의 상기 헤더 정보의 각각에, 서로 상이한 복수의 상기 데이터 단위에 대응하는 상기 필터 제어 정보를 부가할 수 있다.
상기 프레임 내의, 상기 필터 제어 정보를 부가하는 상기 헤더 정보의 수를 설정하는 설정 수단을 더 포함할 수 있다.
상기 제어 정보 부가 수단은, 상기 헤더 정보에, 상기 부호화 데이터에 부가된 상기 필터 제어 정보의 위치를 나타내는 포인터를 부가할 수 있다.
상기 데이터 단위는, 상기 프레임 내에 복수 형성되는 슬라이스일 수 있다.
상기 제어 정보는, 상기 필터 처리의 필터 계수, 상기 제어 블록의 영역의 크기를 나타내는 블록 사이즈, 및, 상기 제어 블록의 영역마다 상기 필터 처리를 행할 것인지의 여부를 나타내는 플래그를 포함할 수 있다.
상기 필터 수단에 의해 상기 필터 처리가 행하여진 상기 화상을 이용해서 생성된 화상을 부호화하는 부호화 수단을 더 포함하고, 상기 제어 정보 부가 수단은, 상기 부호화 수단에 의해 부호화되어 생성된 부호화 데이터의 상기 헤더 정보에 상기 필터 제어 정보를 부가할 수 있다.
본 발명의 일 측면은, 또한, 화상 처리 장치의 제어 정보 생성 수단이, 화상에 대하여 국소적으로 행하여지는 필터 처리를 제어 블록의 영역마다 제어하는 필터 제어 정보를 생성하고, 상기 화상 처리 장치의 필터 수단이, 생성된 상기 필터 제어 정보에 따라, 상기 화상에 대하여 상기 필터 처리를 행하고, 상기 화상 처리 장치의 제어 정보 부가 수단이, 상기 화상이 부호화된 부호화 데이터의 소정의 데이터 단위마다의 헤더 정보에, 상기 헤더 정보가 속하는 프레임의 복수의 상기 데이터 단위에 대응하는 상기 필터 제어 정보를 부가하는 화상 처리 방법이다.
본 발명의 다른 측면은, 화상이 부호화된 부호화 데이터의 소정의 데이터 단위마다의 헤더 정보에 부가된, 복수의 상기 데이터 단위에 대응하는, 상기 화상에 대하여 국소적으로 행하여지는 필터 처리를 제어 블록의 영역마다 제어하는 필터 제어 정보를, 추출하는 제어 정보 추출 수단과, 상기 제어 정보 추출 수단에 의해 추출된 상기 필터 제어 정보에 따라, 상기 부호화 데이터가 복호된 상기 화상에 대하여 상기 필터 처리를 행하는 필터 수단을 포함하는 화상 처리 장치이다.
상기 부호화 데이터를 복호하는 복호 수단을 더 포함하고, 상기 필터 수단은, 상기 복합 수단에 의해 상기 부호화 데이터가 복호되어 얻어진 상기 화상에 대하여, 상기 필터 처리를 행할 수 있다.
본 발명의 다른 측면은, 또한, 화상 처리 장치의 제어 정보 추출 수단이, 화상이 부호화된 부호화 데이터의 소정의 데이터 단위마다의 헤더 정보에 부가된, 복수의 상기 데이터 단위에 대응하는, 상기 화상에 대하여 국소적으로 행하여지는 필터 처리를 제어 블록의 영역마다 제어하는 필터 제어 정보를 추출하고, 상기 화상 처리 장치의 필터 수단이, 추출된 상기 필터 제어 정보에 따라, 상기 부호화 데이터가 복호된 상기 화상에 대하여 상기 필터 처리를 행하는 화상 처리 방법이다.
본 발명의 일 측면에 있어서는, 화상에 대하여 국소적으로 행하여지는 필터 처리를 제어 블록의 영역마다 제어하는 필터 제어 정보가 생성되고, 생성된 필터 제어 정보에 따라, 화상에 대하여 필터 처리가 행하여지고, 화상이 부호화된 부호화 데이터의 소정의 데이터 단위마다의 헤더 정보에, 헤더 정보가 속하는 프레임의 복수의 데이터 단위에 대응하는 필터 제어 정보가 부가된다.
본 발명의 다른 측면에 있어서는, 화상이 부호화된 부호화 데이터의 소정의 데이터 단위마다의 헤더 정보에 부가된, 복수의 데이터 단위에 대응하는, 화상에 대하여 국소적으로 행하여지는 필터 처리를 제어 블록의 영역마다 제어하는 필터 제어 정보가 추출되고, 그 추출된 필터 제어 정보에 따라, 부호화 데이터가 복호된 화상에 대하여 필터 처리가 행하여진다.
본 발명에 따르면, 화상을 부호화 또는 복호할 수 있다. 특히, 부호화시 또는 복호시의 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 보다 억제할 수 있다. 예를 들면, 화상의 각 프레임을 복수로 나누어 부호화 또는 복호하는 경우에 있어서도, 부호화 효율의 저감을 보다 억제할 수 있다.
도 1은 본 발명을 적용한 화상 부호화 장치의 주된 구성예를 도시하는 블록도.
도 2는 가변 블록 사이즈 움직임 예측·보상 처리를 설명하는 도면.
도 3은 제어 정보 생성부의 주된 구성예를 도시하는 블록도.
도 4는 ALF 블록 및 필터 블록 플래그를 설명하는 도면.
도 5는 멀티 슬라이스의 예를 설명하는 도면.
도 6은 슬라이스0의 처리를 설명하는 도면.
도 7은 슬라이스1의 처리를 설명하는 도면.
도 8은 본 발명을 적용한 슬라이스1의 처리를 설명하는 도면.
도 9는 적응 필터 처리부의 주된 구성예를 도시하는 블록도.
도 10은 가역 부호화부의 주된 구성예를 도시하는 블록도.
도 11은 제어 정보를 최초로 전송되는 슬라이스의 헤더에 포함시키는 모습을 설명하는 도면.
도 12는 슬라이스 헤더의 신택스의 예를 도시하는 도면.
도 13은 부호화 처리의 흐름의 예를 설명하는 플로우차트.
도 14는 제어 정보 생성 처리의 흐름의 예를 설명하는 플로우차트.
도 15는 블록 정보 생성 처리의 흐름의 예를 설명하는 플로우차트.
도 16은 적응 필터 처리의 흐름의 예를 설명하는 플로우차트.
도 17은 가역 부호화 처리의 흐름의 예를 설명하는 플로우차트.
도 18은 본 발명을 적용한 화상 복호 장치의 주된 구성예를 도시하는 블록도.
도 19는 가역 복호부의 주된 구성예를 도시하는 블록도.
도 20은 복호 처리의 흐름의 예를 설명하는 플로우차트.
도 21은 가역 복호 처리의 흐름의 예를 설명하는 플로우차트.
도 22는 제어 정보를 선두 슬라이스의 헤더에 포함시키는 모습을 설명하는 도면.
도 23은 가역 부호화 처리의 흐름의 다른 예를 설명하는 플로우차트.
도 24는 가역 복호부의 다른 구성예를 도시하는 블록도.
도 25는 가역 복호 처리의 흐름의 다른 예를 설명하는 플로우차트.
도 26은 제어 정보를 임의의 슬라이스의 헤더에 포함시키는 모습을 설명하는 도면.
도 27은 가역 부호화 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 28은 가역 복호 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 29는 포인터를 슬라이스의 헤더에 포함시키는 모습을 설명하는 도면.
도 30은 가역 부호화 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 31은 가역 복호 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 32는 제어 정보를 그룹마다 통합해서 슬라이스의 헤더에 포함시키는 모습을 설명하는 도면.
도 33은 가역 부호화 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 34는 가역 부호화부의 다른 구성예를 도시하는 블록도.
도 35는 가역 부호화 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 36은 가역 복호부의 또 다른 구성예를 도시하는 블록도.
도 37은 가역 복호 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 38은 가역 부호화부의 또 다른 구성예를 도시하는 블록도.
도 39는 가역 부호화 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 40은 가역 복호부의 또 다른 구성예를 도시하는 블록도.
도 41은 가역 복호 처리의 흐름의 또 다른 예를 설명하는 플로우차트.
도 42는 ALF 블록 및 필터 블록 플래그의 다른 예를 설명하는 도면.
도 43은 ALF 블록 및 필터 블록 플래그의 다른 예를 설명하는 도면.
도 44는 멀티 슬라이스의 경우의 처리의 모습을 설명하는 도면.
도 45는 본 발명을 적용한 퍼스널 컴퓨터의 주된 구성예를 도시하는 블록도.
도 46은 본 발명을 적용한 텔레비전 수상기의 주된 구성예를 도시하는 블록도.
도 47은 본 발명을 적용한 휴대 전화기의 주된 구성예를 도시하는 블록도.
도 48은 본 발명을 적용한 하드디스크 레코더의 주된 구성예를 도시하는 블록도.
도 49는 본 발명을 적용한 카메라의 주된 구성예를 도시하는 블록도.
도 50은 매크로 블록의 예를 도시하는 도면.
이하, 발명을 실시하기 위한 형태(이하 실시 형태라고 함)에 대해서 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(화상 부호화 장치)
2. 제2 실시 형태(화상 복호 장치)
3. 제3 실시 형태(제어 정보를 선두 슬라이스의 헤더에 포함시키는 예)
4. 제4 실시 형태(제어 정보를 임의의 슬라이스의 헤더에 포함시키는 예)
5. 제5 실시 형태(포인터를 이용하는 예)
6. 제6 실시 형태(제어 정보를 복수의 그룹으로 통합하는 예)
7. 제7 실시 형태(그룹수를 제어하는 예)
8. 제8 실시 형태(요소마다 독립해서 그룹화하는 예)
9. 제9 실시 형태(QALF)
10. 제10 실시 형태(퍼스널 컴퓨터)
11. 제11 실시 형태(텔레비전 수상기)
12. 제12 실시 형태(휴대 전화기)
13. 제13 실시 형태(하드디스크 레코더)
14. 제14 실시 형태(카메라)
<1. 제1 실시 형태>
[디바이스의 구성]
도 1은, 본 발명을 적용한 화상 처리 장치로서의 화상 부호화 장치의 일 실시 형태의 구성을 나타내고 있다.
도 1에 도시되는 화상 부호화 장치(100)는, 예를 들면, H.264 및 MPEG4 Part10(Advanced Video Coding)(이하 H.264/AVC라고 기재함)방식으로 화상을 압축 부호화하는 부호화 장치이며, 또한, 적응 루프 필터를 채용하고 있다.
도 1의 예에 있어서, 화상 부호화 장치(100)는, A/D(Analog/Digital) 변환부(101), 화면 재배열 버퍼(102), 연산부(103), 직교 변환부(104), 양자화부(105), 가역 부호화부(106), 및 축적 버퍼(107)를 갖는다. 또한, 화상 부호화 장치(100)는, 역양자화부(108), 역직교 변환부(109), 연산부(110), 및 디블록 필터(111)를 갖는다. 또한, 화상 부호화 장치(100)는, 제어 정보 생성부(112), 적응 필터 처리부(113), 및 프레임 메모리(114)를 갖는다. 또한, 화상 부호화 장치(100)는, 인트라 예측부(115), 움직임 보상부(116), 움직임 예측부(117), 및 예측 화상 선택부(118)를 갖는다. 또한, 화상 부호화 장치(100)는, 레이트 제어부(119)를 갖는다.
A/D 변환부(101)는, 입력된 화상 데이터를 A/D 변환하여, 화면 재배열 버퍼(102)에 출력하고, 기억시킨다. 화면 재배열 버퍼(102)는, 기억한 표시의 순번의 프레임의 화상을, GOP(Group of Picture) 구조에 따라, 부호화를 위한 프레임의 순번으로 재배열한다.
연산부(103)는, 화면 재배열 버퍼(102)로부터 읽어내어진 화상으로부터, 예측 화상 선택부(118)에 의해 선택된 인트라 예측부(115)로부터의 예측 화상 또는 움직임 보상부(116)로부터의 예측 화상을 감산하고, 그 차분 정보를 직교 변환부(104)에 출력한다. 직교 변환부(104)는, 연산부(103)로부터의 차분 정보에 대하여, 이산 코사인 변환, 카루넨 뢰베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 출력한다. 양자화부(105)는, 직교 변환부(104)가 출력하는 변환 계수를 양자화한다.
양자화부(105)의 출력이 되는, 양자화된 변환 계수는, 가역 부호화부(106)에 입력된다. 가역 부호화부(106)는, 그 양자화된 변환 계수에 대하여, 가변 길이 부호화, 산술 부호화 등의 가역 부호화를 실시한다.
가역 부호화부(106)는, 인트라 예측을 나타내는 정보 등을 인트라 예측부(115)로부터 취득하고, 인터 예측 모드를 나타내는 정보 등을 움직임 예측부(117)로부터 취득한다. 또한, 인트라 예측을 나타내는 정보는, 이하, 인트라 예측 모드 정보라고도 칭한다. 또한, 인터 예측을 나타내는 정보 모드를 나타내는 정보는, 이하, 인터 예측 모드 정보라고도 칭한다.
가역 부호화부(106)는, 또한, 적응 필터 처리부(113)에 있어서 행하여지는 적응 필터 처리의 제어 정보를, 제어 정보 생성부(112)로부터 취득한다.
가역 부호화부(106)는, 양자화된 변환 계수를 부호화함과 함께, 적응 필터 처리의 제어 정보, 인트라 예측을 나타내는 정보나 인터 예측 모드를 나타내는 정보, 및 양자화 파라미터 등을, 부호화 데이터의 헤더 정보의 일부로 한다(다중화한다). 가역 부호화부(106)는, 부호화해서 얻어진 부호화 데이터를 축적 버퍼(107)에 공급해서 축적시킨다.
예를 들면, 가역 부호화부(106)에 있어서는, 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행하여진다. 가변 길이 부호화로서는, H.264/AVC 방식으로 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.
축적 버퍼(107)는, 가역 부호화부(106)로부터 공급된 부호화 데이터를, 일시적으로 유지하고, 소정의 타이밍에 있어서, H.264/AVC 방식으로 부호화된 부호화 화상으로서, 예를 들면, 후단의 도시하지 않는 기록 장치나 전송로 등에 출력한다.
또한, 양자화부(105)에 있어서 양자화된 변환 계수는, 역양자화부(108)에도 입력된다. 역양자화부(108)는, 그 양자화된 변환 계수를, 양자화부(105)에 의한 양자화에 대응하는 방법으로 역양자화하고, 얻어진 변환 계수를, 역직교 변환부(109)에 공급한다.
역직교 변환부(109)는, 공급된 변환 계수를, 직교 변환부(104)에 의한 직교 변환 처리에 대응하는 방법으로 역직교 변환한다. 역직교 변환된 출력은, 연산부(110)에 공급된다. 연산부(110)는, 역직교 변환부(109)로부터 공급된 역직교 변환 결과, 즉, 복원된 차분 정보에, 예측 화상 선택부(118)로부터 공급되는 예측 화상을 가산하고, 국부적으로 복호된 화상(복호 화상)을 얻는다. 그 가산 결과는, 디블록 필터(111)에 공급된다.
디블록 필터(111)는, 복호 화상의 블록 왜곡을 제거한다. 디블록 필터(111)는, 그 왜곡 제거 결과를 제어 정보 생성부(112) 및 적응 필터 처리부(113)에 공급한다.
제어 정보 생성부(112)는, 디블록 필터(111)로부터 공급되는 복호 화상과, 화면 재배열 버퍼(102)로부터 읽어내어진 현재의 입력 화상을 취득하고, 그들로부터, 적응 필터 처리부(113)에 있어서 행하여지는 적응 필터의 제어 정보를 생성한다. 상세에 대해서는 후술하지만, 제어 정보에는, 필터 계수, 블록 사이즈 및 필터 블록 플래그 등이 포함된다.
제어 정보 생성부(112)는, 생성한 제어 정보를 적응 필터 처리부(113)에 공급한다. 또한, 제어 정보 생성부(112)는, 생성한 제어 정보를 가역 부호화부(106)에도 공급한다. 상술한 바와 같이 제어 정보는, 가역 부호화부(106)에 의해, 부호화 데이터에 포함된다(다중화된다). 즉, 제어 정보는, 부호화 데이터와 함께 화상 복호 장치에 보내진다.
적응 필터 처리부(113)는, 제어 정보 생성부(112)로부터 공급된 제어 정보의 필터 계수, 블록 사이즈 지정, 및 필터 블록 플래그 등을 이용하여, 디블록 필터(111)로부터 공급되는 복호 화상에 필터 처리를 행한다. 이 필터로서, 예를 들면, 위너 필터(Wiener Filter)가 이용된다. 물론 위너 필터 이외의 필터를 이용해도 된다. 적응 필터 처리부(113)는, 필터 처리 결과를 프레임 메모리(114)에 공급하고, 참조 화상으로서 축적시킨다.
프레임 메모리(114)는, 소정의 타이밍에 있어서, 축적되어 있는 참조 화상을 움직임 보상부(116) 및 움직임 예측부(117)에 출력한다.
이 화상 부호화 장치(100)에 있어서는, 예를 들면, 화면 재배열 버퍼(102)로부터의 I픽쳐, B픽쳐, 및 P픽쳐가, 인트라 예측(인트라 처리라고도 칭함)하는 화상으로서, 인트라 예측부(115)에 공급된다. 또한, 화면 재배열 버퍼(102)로부터 읽어내어진 Ｂ픽쳐 및 P픽쳐가, 인터 예측(인터 처리라고도 칭함)하는 화상으로서, 움직임 예측부(117)에 공급된다.
인트라 예측부(115)는, 화면 재배열 버퍼(102)로부터 읽어내어진 인트라 예측하는 화상과 프레임 메모리(114)로부터 공급된 참조 화상에 기초하여, 후보로 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하고, 예측 화상을 생성한다.
인트라 예측부(115)에 있어서, 해당 블록/매크로 블록에 대하여 적용된 인트라 예측 모드에 관한 정보는, 가역 부호화부(106)에 전송되어, 부호화 데이터에 있어서의 헤더 정보의 일부로 된다. H.264 화상 정보 부호화 방식에 있어서, 휘도 신호에 대해서는, 인트라 4×4 예측 모드, 인트라 8×8 예측 모드 및 인트라 16×16 예측 모드가 정의되어 있고, 또한, 색차 신호에 관해서는, 각각의 매크로 블록마다, 휘도 신호와는 독립된 예측 모드를 정의하는 것이 가능하다. 인트라 4×4 예측 모드에 대해서는, 각각의 4×4 휘도 블록에 대하여 1개의 인트라 예측 모드가 정의되게 된다. 인트라 8×8예측 모드에 대해서는, 각각의 8×8 휘도 블록에 대하여 1개의 인트라 예측 모드가 정의되게 된다. 인트라 16×16 예측 모드 및 색차 신호에 대해서는, 1개의 매크로 블록에 대하여 각각 1개의 예측 모드가 정의되게 된다.
인트라 예측부(115)는, 예측 화상을 생성한 인트라 예측 모드에 대하여 코스트 함수값을 산출하고, 산출한 코스트 함수값이 최소값을 부여하는 인트라 예측 모드를, 최적 인트라 예측 모드로서 선택한다. 인트라 예측부(115)는, 최적 인트라 예측 모드에서 생성된 예측 화상을, 예측 화상 선택부(118)에 공급한다.
움직임 예측부(117)는, 인터 부호화가 행하여지는 화상에 대해서, 화면 재배열 버퍼(102)로부터 공급되는 화상 정보(입력 화상)와 프레임 메모리(114)로부터 공급되는 참조 프레임으로 되는 화상 정보(복호 화상)를 취득하고, 움직임 벡터를 산출한다. 움직임 예측부(117)는, 산출한 움직임 벡터를 나타내는 움직임 벡터 정보를 가역 부호화부(106)에 공급한다. 이 움직임 벡터 정보는, 가역 부호화부(106)에 의해, 부호화 데이터에 포함된다(다중화된다). 즉, 움직임 벡터 정보는, 부호화 데이터와 함께 화상 복호 장치에 보내진다.
또한, 움직임 예측부(117)는, 움직임 벡터 정보를 움직임 보상부(116)에도 공급한다.
움직임 보상부(116)는, 움직임 예측부(117)로부터 공급된 움직임 벡터 정보에 따라 움직임 보상 처리를 행하고, 인터 예측 화상 정보를 생성한다. 움직임 보상부(116)는, 생성한 예측 화상 정보를 예측 화상 선택부(118)에 공급한다.
예측 화상 선택부(118)는, 인트라 부호화를 행하는 화상의 경우, 인트라 예측부(115)의 출력을 연산부(103)에 공급하고, 인터 부호화를 행하는 화상의 경우, 움직임 보상부(116)의 출력을 연산부(103)에 공급한다.
레이트 제어부(119)는, 축적 버퍼(107)에 축적된 압축 화상에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.
MPEG(Moving Picture Experts Group) 2에 있어서는, 움직임 예측·보상 처리의 단위는, 움직임 보상 블록이며, 움직임 보상 블록마다 독립된 움직임 벡터 정보를 가질 수 있다. 그 움직임 보상 블록의 사이즈에는, 프레임 움직임 보상 모드의 경우는 16×16 화소, 필드 움직임 보상 모드의 경우에는 제1 필드, 제2 필드의 각각에 대하여, 16×8 화소가 있다.
이것에 대하여, AVC(Advanced Video Coding)에 있어서는, 도 2 상측에 도시하는 바와 같이, 16×16 화소에 의해 구성되는 하나의 매크로 블록을, 16×16, 16×8, 8×16 혹은 8×8 중 어느 하나의 파티션으로 분할하고, 각각 독립된 움직임 벡터 정보를 갖는 것이 가능하다. 또한, 8×8 파티션에 관해서는, 도 2 하측에 도시되는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 서브 파티션으로 분할하고, 각각 독립된 움직임 벡터 정보를 갖는 것이 가능하다. 이 움직임 보상 블록을 단위로 해서 움직임 예측·보상 처리가 행하여진다.
도 3은 제어 정보 생성부(112)의 주된 구성예를 도시하는 블록도이다.
제어 정보 생성부(112)는, 상술한 바와 같이, 적응 필터 처리부(113)에 있어서 행하여지는, 루프 필터인 적응 필터(ALF(Adaptive Loop Filter))에 이용되는 제어 정보를 생성한다. 제어 정보 생성부(112)는, 그 제어 정보로서, 예를 들면, 필터 계수, ALF 블록 사이즈 및 필터 블록 플래그를 생성한다.
제어 정보 생성부(112)는, 필터 계수 산출부(131) 및 블록 정보 생성부(132)를 갖는다.
필터 계수 산출부(131)는, 디블록 필터(111)로부터 공급되는 복호 화상과, 화면 재배열 버퍼(102)로부터 읽어내어진 현재의 입력 화상을 취득하고, 그들로부터, 프레임마다 ALF의 필터 계수를 산출한다.
블록 정보 생성부(132)는, ALF 블록 사이즈나 필터 블록 플래그 등의 블록 정보를 생성한다. 예를 들면, 블록 정보 생성부(132)는, 디블록 필터(111)로부터 공급되는 복호 화상과, 필터 계수 산출부(131)에 의해 산출된 필터 계수에 기초하여, ALF 블록 사이즈를 결정한다. 또한, 예를 들면, 블록 정보 생성부(132)는, 그들의 정보 에 기초하여, 처리 대상 슬라이스 내의 각 ALF 블록에 대해서 필터 블록 플래그를 생성한다.
여기서, 블록 정보의 ALF 블록 및 필터 블록 플래그에 대해서 설명한다. 도 4는 ALF 블록 및 필터 블록 플래그를 설명하는 도면이다.
상술한 바와 같이, 적응 필터는, 프레임마다 필터 계수가 설정된다. 즉, 프레임 단위로 최적인 필터 처리가 행하여진다. 그러나, 일반적으로, 프레임 화상은, 전체가 균일하지 않고, 국소적으로 다양한 특징을 갖고 있다. 그 때문에, 국소적으로는 최적인 필터 계수가 상이하다. 따라서, 상술한 바와 같이 프레임마다 결정되는 필터 계수를 이용한 필터 처리에서는, 프레임 전체에서는 화질을 개선하지만, 국소적으로는 반대로 악화시키게 될 우려가 있었다.
그래서, 국소적으로 화질이 악화되는 영역에는 필터 처리를 행하지 않도록 하는 BALF(Block based Adaptive Loop Filter)가 생각되었다.
도 4의 A의 프레임(151)은 디블록 필터 처리 후의 복호 화상을 나타낸다. 블록 정보 생성부(132)는, 도 4의 B에 도시되는 바와 같이, 각각이 국소적으로 행하여지는 적응 필터 처리의 제어 단위로 되는 제어 블록인, 복수의 ALF 블록(152)을, 이 프레임(151)의 영역 전체에 깔도록 간극 없이 배치한다. 이 ALF 블록(152)이 배치되는 영역은, 프레임(151)의 영역과 동일하지 않아도 되지만, 적어도 프레임의 영역 전체를 포함한다. 결과적으로, 프레임(151)의 영역은, 각 ALF 블록(152)의 영역(복수의 제어 영역)에 의해 분할된다.
블록 정보 생성부(132)는, ALF 블록(152)의 수평 방향의 사이즈(양쪽 화살표(153))와, 수직 방향의 사이즈(양쪽 화살표(154))를 결정한다. ALF 블록의 사이즈는, 예를 들면, 8×8, 16×16, 24×24, 32×32, 48×48, 64×64, 96×96, 혹은 128×128 중 어느 1개를 슬라이스마다 지정할 수 있다. 또한, 그 ALF 블록의 사이즈를 지정하는 정보를 블록 사이즈 인덱스라고 칭한다.
블록 사이즈가 결정되면, 프레임 사이즈는 고정이므로, 1프레임당의 ALF 블록수도 결정된다.
블록 정보 생성부(132)는, 도 4의 C에 도시되는 바와 같이, ALF 블록(152)마다, 필터 처리를 행할 것인지의 여부를 제어하는 필터 블록 플래그(155)를 설정한다. 예를 들면, 적응 필터에 의해 화질이 개선되는 영역에 대해서는, 값이 「1」인 필터 블록 플래그(155)가 생성되고, 적응 필터에 의해 화질이 악화되는 영역에 대해서는, 값이 「0」인 필터 블록 플래그(155)가 생성된다. 필터 블록 플래그(155)에 있어서, 값 「1」은, 필터 처리를 행하는 것을 나타내는 값이며, 값 「0」은, 필터 처리를 행하지 않는 것을 나타내는 값이다.
적응 필터 처리부(113)는, 이 필터 블록 플래그(155)의 값에 기초해서 적응 필터 처리를 제어한다. 예를 들면, 적응 필터 처리부(113)는, 필터 블록 플래그(155)의 값이 「1」인 ALF 블록(152)의 영역에만 필터 처리를 행하고, 필터 블록 플래그(155)의 값이 「0」인 ALF 블록(152)의 영역에는 필터 처리를 행하지 않는다.
또한, 전술한 블록 사이즈 인덱스와 필터 블록 플래그는, 부호화 데이터의 슬라이스 헤더에 포함되고, 화상 부호화 장치(100)로부터 화상 복호화 장치에 보내진다. ALF 블록의 수에 따른 1개 이상의 필터 블록 플래그는, 예를 들면 라스터 스캔의 순서에서 슬라이스 헤더에 포함시킬 수 있다.
따라서, ALF 블록의 사이즈가 작을수록, 보다 미세(정밀)한 필터 제어가 가능하게 되고, 보다 적절한 ALF 필터가 가능하게 된다. 단, ALF 블록의 사이즈를 작게 하면, 필터 블록 플래그의 비트량이 증가한다. 즉, ALF 블록의 사이즈가 작을수록, 부호화 데이터의 부호화 효율이 저감한다. 이와 같이, 적응 필터의 성능과 부호화 데이터의 부호화 효율은, 트레이드오프의 관계에 있다.
ALF 블록의 수는 다음의 수학식 1과 같이 산출된다.
Figure 112016114717080-pat00001
수학식 1에 있어서 NALFBLOCK는, ALF 블록의 수를 나타낸다. 또한, NMBw는, 픽쳐의 수평 방향의 매크로 블록수를 나타내고, NMBh는, 픽쳐의 수직 방향의 매크로 북수를 나타낸다. 또한, NSIZE는, ALF 블록의 1변의 사이즈를 나타낸다. 또한, floor[x]은, x의 소수점 이하를 잘라 버리고, 정수로 하는 함수이다.
그런데, H.264/AVC에서는, 1프레임을 복수 슬라이스로 분할하고, 그 슬라이스마다 부호화 데이터를 출력하도록 할 수 있다. 도 5는 멀티 슬라이스의 예를 설명하는 도면이다. 도 5의 예의 경우, 프레임(151)은, 슬라이스0, 슬라이스1 및 슬라이스2의 3개의 슬라이스로 분할되어 있다.
프레임을 복수의 슬라이스 영역으로 분할하는 것은, 화상 압축 정보의 전송 중의 에러 내성을 높게 하기 위해서 유효한 방법이다.
BALF에 대해서 기재되어 있는 비특허 문헌 2에는, 이 멀티 슬라이스에 대해서 개시되어 있지 않다. 즉, ALF 블록을 프레임 전체에 대해서 설정하는 것만 기재되어 있다. 상술한 바와 같이 ALF 블록은, 프레임 전체에 대해서 설정된다. 즉, 슬라이스마다 프레임 전체에 관한 ALF 블록이 설정되게 되고, 슬라이스의 영역 외의 불필요한 ALF 블록이 설정될 우려가 있었다.
예를 들면, 도 5에 도시되는 슬라이스 구성의 예에 있어서, 도 6의 A에 도시되는 바와 같이 슬라이스0을 처리하는 경우, 도 6의 B에 도시되는 바와 같이, 틀(161)로 나타내지는 슬라이스0의 영역에 대하여, 프레임(151) 전체에 관한 ALF 블록(152)이 설정된다.
마찬가지로, 예를 들면, 도 5에 도시되는 슬라이스 구성의 예에 있어서 도 7의 A에 도시되는 바와 같이 슬라이스1을 처리하는 경우, 도 7의 B에 도시되는 바와 같이, 틀(162)로 나타내지는 슬라이스1의 영역에 대하여, 프레임(151) 전체에 관한 ALF 블록(152)이 설정된다.
도 6의 B 및 도 7의 B에 있어서 사선 모양으로 나타내지는 ALF 블록(152)은, 슬라이스0 또는 슬라이스1의 영역 외의 블록으로서, 슬라이스0 또는 슬라이스1의 영역의 처리에 대하여 불필요한 블록이다.
이러한 불필요한 블록이나 그 블록의 플래그의 설정은 무의미한 처리이다. 그래서, 불필요하게 처리를 증대시키지 않도록, 도 3의 제어 정보 생성부(112)의 블록 정보 생성부(132)는, 처리 대상의 슬라이스의 영역을 포함하는 ALF 블록 및 필터 블록 플래그만을 생성한다.
예를 들면, 도 5에 도시되는 슬라이스 구성의 예에 있어서 도 8의 A에 도시되는 바와 같이 슬라이스1을 처리하는 경우, 블록 정보 생성부(132)는, 도 8의 B에 도시되는 바와 같이, 틀(162)로 나타내지는 슬라이스1의 영역에 대하여, 그 영역을 포함하는 ALF 블록(152)만을 설정하고, 이 ALF 블록(152)에 대해서만 필터 블록 플래그를 생성한다.
도 3으로 되돌아가서, 블록 정보 생성부(132)는, 처리 대상 슬라이스 영역 특정부(141), ALF 블록 설정부(142), 처리 대상 ALF 블록 영역 특정부(143), 판정부(144), 및 필터 블록 플래그 생성부(145)를 갖는다.
처리 대상 슬라이스 영역 특정부(141)는, 복호 화상으로서 공급되는 처리 대상 슬라이스의 영역의, 프레임 전체에 있어서의 위치를 특정한다.
ALF 블록 설정부(142)는, ALF 블록 사이즈를 결정하고, 프레임 전체의 ALF 블록(152)을 설정한다. 이에 의해 프레임 전체의 ALF 블록수도 특정된다.
처리 대상 ALF 블록 영역 특정부(143)는, ALF 블록 설정부(142)에 의해 설정된 ALF 블록(152)으로부터, 처리 대상으로 하는 ALF 블록을 1개씩 선택하고, 선택한 처리 대상 ALF 블록의 영역의 위치를 특정한다.
판정부(144)는, 처리 대상 ALF 블록의 영역이, 처리 대상 슬라이스의 영역을 포함하는지의 여부를 판정한다. 필터 블록 플래그 생성부(145)는, 판정부(144)에 의해, 「처리 대상 슬라이스의 영역을 포함한다」라고 판정된 ALF 블록의 필터 블록 플래그를 생성한다. 필터 블록 플래그 생성부(145)는, 필터 계수 산출부(131)에 의해 산출된 필터 계수를 이용하여, 처리 대상 ALF 블록의 영역에 대하여 적응 필터 처리를 행하고, 필터 처리 결과의 화질이 처리 전보다 개선되어 있는지의 여부에 따라, 필터 블록 플래그의 값을 결정한다.
필터 블록 플래그 생성부(145)는, 필터 블록 플래그 및 ALF 블록 사이즈 등의 제어 정보를 출력한다.
도 9는 도 1의 적응 필터 처리부(113)의 주된 구성예를 도시하는 블록도이다.
적응 필터 처리부(113)는, 제어 정보 생성부(112)로부터 공급되는 제어 정보를 이용하여, 디블록 필터(111)로부터 공급되는 복호 화상에 필터 처리를 행한다.
적응 필터 처리부(113)는, 도 9에 도시되는 바와 같이, 제어부(171), 적응 필터(172) 및 선택부(173)를 갖는다.
제어부(171)는, 적응 필터(172) 및 선택부(173)를 제어한다. 예를 들면, 제어부(171)는, 제어 정보 생성부(112)로부터 제어 정보를 취득한다. 또한, 제어부(171)는, 취득한 제어 정보에 포함되는 필터 계수를 적응 필터(172)에 공급하고, 설정한다. 또한, 제어부(171)는, 제어 정보에 포함되는 ALF 블록 사이즈에 기초하여, 처리 대상으로 하는 ALF 블록의 영역의 위치를 특정한다. 또한, 제어부(171)는, 제어 정보에 포함되는 필터 블록 플래그의 값에 기초하여, 적응 필터(172)를 제어하고, 각 ALF 블록의 영역을 필요에 따라 필터 처리시킴과 함께, 선택부(173)의 동작을 제어한다.
적응 필터(172)는, 디블록 필터(111)로부터 공급되는 복호 화상의, 제어부(171)로부터 처리 대상 ALF 블록으로서 지정되는 영역을, 제어부(171)에 의해 설정된 필터 계수를 이용해서 필터 처리한다. 적응 필터(172)는, 필터 처리 결과를 선택부(173)에 공급한다.
선택부(173)는, 제어부(171)에 제어되고, 디블록 필터(111)로부터 공급된 복호 화상(적응 필터 처리되어 있지 않은 복호 화상)과, 적응 필터(172)로부터 공급된 복호 화상(적응 필터 처리된 복호 화상) 중, 어느 한쪽을 선택하고, 프레임 메모리(114)에 공급하여, 참조 화상으로서 축적시킨다.
즉, 적응 필터 처리부(113)는, 디블록 필터(111)로부터 공급되는 복호 화상의, 필터 블록 플래그에 의해 필터 처리를 행하는 것이 나타내진 영역(필터 처리에 의해 화질이 개선된다고 판정된 영역)만 필터 처리를 행한다.
도 10은 도 1의 가역 부호화부(106)의 주된 구성예를 도시하는 블록도이다.
가역 부호화부(106)는, 상술한 바와 같이, 양자화부(105)로부터 공급되는 양자화된 계수 데이터를 가역 부호화해서 부호화 데이터를 생성함과 함께, 제어 정보 생성부(112)로부터 공급되는 제어 정보를 그 부호화 데이터의 슬라이스 헤더에 매립한다(기술한다). 이때, 가역 부호화부(106)는, 픽쳐(프레임) 내의 각 슬라이스의 제어 정보를 통합하고, 그 1픽쳐(1프레임)분의 제어 정보를, 1개의 슬라이스 헤더에 매립한다. 이와 같이 함으로써, 가역 부호화부(106)는, 각 슬라이스의 제어 정보 사이에서 중복되는 부분(용장 부분)을 삭제하여, 슬라이스 헤더에 매립할 수 있다. 이에 의해, 가역 부호화부(106)는, 각 슬라이스의 제어 정보를 각각 부호화 데이터에 매립하는 경우보다, 부호화 데이터의 부호화 효율을 향상시킬 수 있다.
가역 부호화부(106)는, 도 10에 도시되는 바와 같이, 부호화부(181), 부호화 데이터 유지부(182), 제어 정보 유지부(183) 및 제어 정보 부가부(184)를 갖는다.
부호화부(181)는, 각 슬라이스의 화상 데이터(양자화된 계수 데이터)를 가역 부호화하고, 부호화 데이터를 생성한다. 각 슬라이스의 부호화 데이터는, 부호화 데이터 유지부(182)에 유지된다. 부호화 데이터 유지부(182)는, 적어도 1픽쳐 분의 부호화 데이터를 유지할 수 있다.
제어 정보 유지부(183)는, 제어 정보 생성부(112)에 의해 생성되는 슬라이스마다의 제어 정보를 취득하고, 유지한다. 제어 정보 유지부(183)는, 적어도 1픽쳐 분의 제어 정보를 유지할 수 있다. 제어 정보 부가부(184)는, 부호화 데이터 유지부(182)에 유지되는 부호화 데이터의, 픽쳐 내에서 최초로 출력되는 슬라이스의 헤더 정보에, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를 매립하고, 축적 버퍼(107)에 공급한다.
이때, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 처리 대상의 픽쳐의 제어 정보를 통합하고, 용장 부분을 삭제해서 1픽쳐 분의 제어 정보를 생성하고, 그것을 부호화 데이터의 슬라이스 헤더에 매립한다.
예를 들면, 도 11에 도시되는 바와 같이, 프레임(151)이 슬라이스0, 슬라이스1, 및 슬라이스2로 이루어지고, 제어 정보 생성부(112)에 있어서, 슬라이스0에 대하여 제어 정보(191-1)가 생성되고, 슬라이스1에 대하여 제어 정보(191-2)가 생성되고, 슬라이스2에 대하여 제어 정보(191-3)가 생성되는 것으로 한다.
또한, 부호화 데이터(194)는, 슬라이스1, 슬라이스0, 슬라이스2의 순으로 출력되는 것으로 한다. 즉, 슬라이스1 헤더(192-1), 슬라이스1 데이터(193-1), 슬라이스0 헤더(192-2), 슬라이스0 데이터(193-2), 슬라이스2 헤더(192-3), 슬라이스2 데이터(193-3)의 순으로 부호화 데이터(194)가 출력되는 것으로 한다.
이때, 제어 정보 부가부(184)는, 최초로 출력되는 슬라이스1의 헤더(슬라이스 헤더)인 슬라이스1 헤더(192-1)에, 프레임(151)의 제어 정보(191-1) 내지 제어 정보(191-3)를 모두 매립한다. 이때, 제어 정보 부가부(184)는, 제어 정보(191-1) 내지 제어 정보(191-3)를 통합하고, 용장 부분을 삭제하고, 프레임(151) 전체에 대응하는(1픽쳐 분의) 제어 정보(191)(도시 생략)를 생성하고, 그 제어 정보(191)를 슬라이스1 헤더(192-1)에 매립한다.
제어 정보 부가부(184)는, 예를 들면, 도 12의 A 및 도 12의 B에 도시되는 것 같은 신택스에 따라, 제어 정보를 슬라이스 헤더에 매립한다. 도 12의 A는 슬라이스 헤더의 신택스의 예를 나타내고 있고, 도 12의 B는 제어 정보의 부분에 관한 신택스의 예를 나타내고 있다. 도 12의 B에 도시되는 바와 같이, 제어 정보 부가부(184)는, 프레임(151) 전체의 제어 블록의 필터 블록 플래그를 1개의 슬라이스 헤더에 매립한다.
[처리의 흐름]
다음으로, 이상과 같이 구성되는 각 부를 이용한 처리의 흐름에 대해서 설명한다. 최초로, 화상 부호화 장치(100)에 의해 행하여지는 부호화 처리의 흐름의 예를, 도 13의 플로우차트를 참조하여 설명한다.
스텝 S101에 있어서, A/D 변환부(101)는 입력된 화상을 A/D 변환한다. 스텝 S102에 있어서, 화면 재배열 버퍼(102)는, A/D 변환된 화상을 기억하고, 각 픽쳐가 표시하는 순번으로부터 부호화하는 순번으로의 재배열을 행한다.
스텝 S103에 있어서, 연산부(103)는, 스텝 S102의 처리에 의해 재배열된 화상과, 예측 화상의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우에는 움직임 보상부(116)로부터, 인트라 예측하는 경우에는 인트라 예측부(115)로부터, 각각 예측 화상 선택부(118)를 거쳐서 연산부(103)에 공급된다.
차분 데이터는 원래의 화상 데이터에 비해서 데이터량이 작게 되어 있다. 따라서, 화상을 그대로 부호화하는 경우에 비해서, 데이터량을 압축할 수 있다.
스텝 S104에 있어서, 직교 변환부(104)는, 스텝 S103의 처리에 의해 생성된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨 뢰베 변환 등의 직교 변환이 행하여지고, 변환 계수가 출력된다. 스텝 S105에 있어서, 양자화부(105)는 변환 계수를 양자화한다. 이 양자화 시에는, 후술하는 스텝 S119의 처리에서 설명되는 바와 같이, 레이트가 제어된다.
이상과 같이 해서 양자화된 차분 정보는, 다음과 같이 해서 국부적으로 복호된다. 즉, 스텝 S106에 있어서, 역양자화부(108)는 양자화부(105)에 의해 양자화된 변환 계수를 양자화부(105)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S107에 있어서, 역직교 변환부(109)는 역양자화부(108)에 의해 역양자화된 변환 계수를 직교 변환부(104)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 S108에 있어서, 연산부(110)는, 예측 화상 선택부(118)를 거쳐서 입력되는 예측 화상을 국부적으로 복호된 차분 정보에 가산하고, 국부적으로 복호된 화상(연산부(103)에의 입력에 대응하는 화상)을 생성한다. 스텝 S109에 있어서 디블록 필터(111)는, 연산부(110)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다.
이상의 처리가, 1슬라이스 분 행하여지면, 스텝 S110에 있어서, 제어 정보 생성부(112)는, 적응 필터 처리에 이용되는 제어 정보를 생성한다. 제어 정보의 생성 처리의 상세에 대해서는 후술한다.
스텝 S110의 처리에 의해, 필터 계수, ALF 블록 사이즈 및 필터 블록 플래그 등의 제어 정보가 생성되면, 적응 필터 처리부(113)는, 스텝 S111에 있어서, 그 제어 정보를 이용하여, 스텝 S109의 처리에 의해 디블록 필터 처리된 복호 화상에 대하여 적응 필터 처리를 행한다. 이 적응 필터 처리의 상세에 대해서는 후술한다.
스텝 S112에 있어서, 프레임 메모리(114)는, 스텝 S111에 있어서 적응 필터 처리된 화상을 기억한다.
스텝 S113에 있어서, 인트라 예측부(115)는, 인트라 예측 모드의 인트라 예측 처리를 행한다. 스텝 S114에 있어서, 움직임 예측부(117) 및 움직임 보상부(116)는, 인터 예측 모드의 인터 움직임 예측·보상 처리를 행한다.
스텝 S115에 있어서, 예측 화상 선택부(118)는, 처리 대상 프레임의 예측 모드에 따라, 인트라 예측 처리에 의해 생성된 예측 화상, 또는, 인터 움직임 예측·보상 처리에 의해 생성된 예측 화상 중, 어느 한쪽을 선택한다. 예측 화상 선택부(118)는, 선택한 예측 화상을 연산부(103) 및 연산부(110)에 공급한다. 이 예측 화상이, 상술한 바와 같이, 스텝 S103 및 스텝 S108의 연산에 이용된다.
스텝 S116에 있어서, 가역 부호화부(106)는 양자화부(105)로부터 출력된 양자화된 변환 계수를 부호화하는 가역 부호화 처리를 행한다. 즉, 차분 화상이 가변 길이 부호화, 산술 부호화 등의 가역 부호화되고, 압축된다. 이때, 가역 부호화부(106)는, 스텝 S110에 있어서 생성된 제어 정보, 스텝 S113의 인트라 예측 처리의 인트라 예측 모드 정보 및 스텝 S114의 인터 움직임 예측·보상 처리의 인터 예측 모드 등의 메타데이터를 슬라이스 헤더에 매립한다(기술한다). 이 메타데이터는, 화상 복호 시에 읽어내어져 이용된다. 이 가역 부호화 처리의 상세에 대해서는 후술한다.
스텝 S117에 있어서 축적 버퍼(107)는, 부호화 데이터를 축적한다. 축적 버퍼(107)에 축적된 부호화 데이터는, 적절히 읽어내어져, 전송로를 거쳐서 복호측에 전송된다.
스텝 S118에 있어서 레이트 제어부(119)는, 축적 버퍼(107)에 축적된 부호화 데이터에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.
다음으로, 도 13의 스텝 S110에 있어서 제어 정보 생성부(112)에 의해 실행되는 제어 정보 생성 처리의 흐름의 예를, 도 14의 플로우차트를 참조하여 설명한다.
제어 정보 생성 처리가 개시되면, 제어 정보 생성부(112)의 필터 계수 산출부(131)는, 스텝 S131에 있어서, 화면 재배열 버퍼(102)로부터 공급되는 입력 화상과, 디블록 필터(111)로부터 공급되는 디블록 필터 처리된 복호 화상을 이용해서 필터 계수를 산출한다. 예를 들면, 필터 계수 산출부(131)는, 입력 화상과 복호 화상의 잔차가 최소로 되도록 필터 계수의 값을 결정한다.
필터 계수가 산출되면, 블록 정보 생성부(132)는, 스텝 S132에 있어서, ALF 블록 사이즈나 필터 블록 플래그를 포함하는 블록 정보의 생성을 행한다. 블록 정보 생성 처리의 상세에 대해서는 후술한다. 블록 정보가 생성되면, 도 13의 스텝 S110으로 되돌아가서, 스텝 S111 이후의 처리가 실행된다.
또한, 스텝 S131에 있어서 행하여지는 필터 계수의 산출은, 프레임 단위로 행하도록 해도 된다. 그 경우, 스텝 S131의 처리는, 프레임 내의 소정의 슬라이스(예를 들면, 프레임 내에서 식별 번호가 소정의 값인(예를 들면 「0」인) 슬라이스, 혹은, 프레임 내에서 최초로 처리되는 슬라이스 등)에 있어서만 행하여지고, 그 밖의 슬라이스에 있어서는, 그 값이 유용되도록 해도 된다. 또한, 필터 계수의 산출에는, 임의의 화상을 이용할 수 있다. 예를 들면, 과거의 프레임 화상에 기초해서 산출하도록 해도 된다.
다음으로, 도 15의 플로우차트를 참조하여, 도 14의 스텝 S132에 있어서 실행되는 블록 정보 생성 처리의 흐름의 예를 설명한다.
블록 정보 생성 처리가 개시되면, 처리 대상 슬라이스 영역 특정부(141)는, 스텝 S151에 있어서, 처리 대상 슬라이스의 영역을 특정한다.
처리 대상인 해당 슬라이스의 영역을 알기 위해서는, 해당 슬라이스에 포함되어 있는 매크로 블록을 알고, 그곳으로부터 그 매크로 블록에 포함되는 화소를 앎으로써 알 수 있다. 처리 대상 슬라이스 영역 특정부(141)는, 슬라이스 헤더로부터 해당 슬라이스의 선두 매크로 블록 어드레스를 얻는다.
여기서 선두 매크로 블록 어드레스란, 화면의 좌측 상부로부터 라스터 스캔 순서로 매크로 블록에 대하여 붙여진 번호이다. 도 5에 도시되는 바와 같이, 화상(프레임(151))의 좌측 상부의 매크로 블록 어드레스는 0이 된다. 슬라이스0은, 프레임(151)의 좌측 상부로부터 개시되어 있으므로, 슬라이스0의 선두 매크로 블록(156-1)의 매크로 블록 어드레스는 0이 된다. 이 순서에 따라 슬라이스0의 최종 매크로 블록(156-2)의 매크로 블록 어드레스를 E0으로 한다. 또한, 이 슬라이스0과 마찬가지로, 슬라이스1의 선두 매크로 블록(157-1)의 매크로 블록 어드레스를 S1로 하고, 최종 매크로 블록(157-2)의 매크로 블록 어드레스를 E1로 한다. 또한, 슬라이스2의 선두 매크로 블록(158-1)의 매크로 블록 어드레스를 S2로 하고, 최종 매크로 블록(158-2)의 매크로 블록 어드레스를 E2로 한다.
해당 슬라이스를 디코드해 가면, 1개의 매크로 블록의 디코드 처리가 완료할 때마다 매크로 블록 어드레스는 1추가되어 가고, 이윽고 해당 슬라이스의 최종 매크로 북에 도달한다. 최종 매크로 블록에는 슬라이스의 최후의 매크로 블록인 플래그가 세트되어 있다. 이들에 의해, 해당 슬라이스가 보유하고 있는 매크로 블록 어드레스를 모두 알 수 있다. 즉, 선두 매크로 블록 어드레스로부터, 최종 매크로 블록 어드레스까지로 된다.
그런데, 1프레임의 화상 사이즈는, AVC스트림(화상 압축 정보)의 시퀀스 파라미터 세트(SPS(Sequence Parameter Set))에 있어서, 매크로 블록의 수에 의해 나타내진다. pic_height_in_map_units_minus1은, 화상의 세로 방향의 매크로 블록수를 나타낸다. pic_width_in_mbs_minus1은, 화상의 가로 방향의 매크로 블록수를 나타낸다.
따라서, 매크로 블록 어드레스로부터 그 매크로 블록의 위치는, 이하의 수학식 2 및 수학식 3으로 나타내진다.
Figure 112016114717080-pat00002
Figure 112016114717080-pat00003
수학식 2 및 수학식 3에 있어서, mbx는, 매크로 블록이 좌측으로부터 몇 번째인지를 나타내고, mby는, 매크로 블록이 위에서부터 몇 번째인지를 나타낸다. 또한, floor[z]은, z의 소수점 이하를 잘라 버려서 정수로 하고, A%B는, A를 B로 나눈 나머지의 수를 나타낸다.
매크로 블록의 사이즈는 16×16 화소로 정해져 있는 것으로 하면, 매크로 블록의 좌측 상부의 화소의 세로 방향 및 가로 방향의 위치는, (16×mbx, 16×mby)로 되고, 그 매크로 블록에 포함되는 화소는, 그 좌측 상부의 화소 위치로부터 하측 방향에 16화소 및 우측 방향에 16화소의 범위에 포함되는 화소로 된다. 지금까지, 해당 슬라이스의 화소를 모두 알 수 있다. 즉, 처리 대상 슬라이스의 영역이 특정된다.
도 15의 스텝 S152에 있어서, ALF 블록 설정부(142)는, ALF 블록 사이즈를 결정한다. 스텝 S153에 있어서, ALF 블록 설정부(142)는, 프레임내 ALF 블록수를 결정한다. 프레임의 화상 사이즈는 미리 정해져 있으므로, ALF 블록 사이즈가 결정되면, 프레임의 좌측 상부를 원점으로 해서 ALF 블록을 깔기 위해서 필요한 ALF 블록의 수(프레임내 ALF 블록수)도 산출할 수 있다. ALF 블록의 세로 방향의 사이즈(화소수)와 가로 방향의 사이즈(화소수)의 설정값은 미리 준비되어 있으므로, ALF 블록 설정부(142)는, 그 설정값에 따라 각 ALF 블록의 사이즈와 ALF 블록수를 결정하고, ALF 블록을 복호 화상에 대하여 배치한다.
또한, ALF 블록의 수는, 이하의 수학식 4 및 수학식 5에 의해 산출된다.
Figure 112016114717080-pat00004
Figure 112016114717080-pat00005
수학식 4 및 수학식 5에 있어서, num_alf_block_x 및 num_alf_block_y는, 각각 화상에 포함되는 ALF 블록의 가로와 세로의 수이다. 또한, alf_block_size는, ALF 블록의 1변의 사이즈를 나타낸다. 여기서는 설명의 간략화를 위해, ALF 블록은 정사각형인 것으로 한다. 물론, ALF 블록의 세로 방향의 사이즈와 가로 방향의 사이즈가 서로 상이하도록 해도 된다.
스텝 S154에 있어서, 처리 대상 ALF 블록 영역 특정부(143)는, 처리 대상 ALF 블록을 결정한다. 스텝 S155에 있어서, 처리 대상 ALF 블록 영역 특정부(143)는, 그 처리 대상 ALF 블록의 영역을 특정한다.
i번째의 ALF 블록의 위치는, 이하의 수학식 6 및 수학식 7로 나타내진다.
Figure 112016114717080-pat00006
Figure 112016114717080-pat00007
수학식 6 및 수학식 7에 있어서, alf_block_x와 alf_block_y는, 각각 i번째의 ALF 블록이 가로 방향과 세로 방향으로 몇 번째인지를 나타내고 있다. i번째의 ALF 블록의 좌측 상부의 화소의 위치는, alf_block_x와 aof_block_y의 각각에, alf_block_size를 곱한 위치로 된다. 즉, 가로 방향은 16×alf_block_x로 되고, 세로 방향은 16×alf_block_y로 된다. 따라서, i번째의 ALF 블록의 영역은, 좌측 상부의 그 화소로부터 alf_block_size×alf_block_size의 범위로 된다.
스텝 S156에 있어서, 판정부(144)는, 이상과 같이 특정된 처리 대상 ALF 블록의 영역 내에, 처리 대상 슬라이스의 영역이 포함되는지의 여부를 판정한다.
처리 대상 ALF 블록의 영역 내에 처리 대상 슬라이스의 영역이 포함된다고 판정된 경우, 스텝 S157로 진행한다. 스텝 S157에 있어서 필터 블록 플래그 생성부(145)는 처리 대상 ALF 블록이 처리 대상 슬라이스에 있어서 필요한 ALF 블록이므로, 그 ALF 블록에 대해서 필터 블록 플래그를 생성한다. 스텝 S158에 있어서, 필터 블록 플래그 생성부(145)는, 생성한 필터 블록 플래그를 출력한다.
스텝 S158의 처리가 종료하면 스텝 S159로 진행한다. 또한, 스텝 S156에 있어서, 처리 대상 ALF 블록의 영역 내에 처리 대상 슬라이스의 영역이 포함되지 않는다고 판정된 경우, 그 ALF 블록은, 처리 대상 슬라이스에 있어서 불필요하므로 스텝 S159로 진행한다.
스텝 S159에 있어서, 처리 대상 ALF 블록 영역 특정부(143)는, 프레임내 ALF 블록을 모두 처리했는지의 여부를 판정하고, 처리하지 않고 있다고 판정된 경우, 스텝 S154로 되돌아가서, 새로운 ALF 블록을 처리 대상으로 하고, 그 이후의 처리를 반복한다. 처리 대상 ALF 블록 영역 특정부(143)는, 이 루프 처리를 반복할 때에, 프레임의 영역에 깔린 ALF 블록군 중에서 ALF 블록을, 처리 대상 ALF 블록으로 하여, 좌측 상부의 ALF 블록으로부터 라스터 스캔 순으로 1개씩 선택한다.
또한, 스텝 S159에 있어서, 프레임내 ALF 블록을 모두 처리했다고 판정된 경우, 블록 정보 생성 처리가 종료되고, 도 14의 스텝 S132로 되돌아가서, 제어 정보 생성 처리가 종료되고, 도 13의 스텝 S110으로 되돌아가서, 스텝 S111 이후의 처리가 행하여진다.
또한, 이상에 있어서, ALF 블록을 프레임 화상의 영역에 깔도록 배치할 때에, 프레임의 좌측 상부를 원점으로 하는 것처럼 설명했지만, 이 원점의 위치는 임의이다. 예를 들면, 프레임의 좌측 하부, 우측 하부, 우측 상부, 또는 중심이어도 된다. 단, 이 원점의 위치 및 ALF 블록의 배열법은, 부호화 처리와 복호 처리에서 공통으로 하도록 미리 정해 놓을 필요가 있다.
또한, 이상에 있어서는, 처리 대상 ALF 블록을 선택하는 순을, 좌측 상부로부터 라스터 스캔 순으로 하는 것처럼 설명했지만, 이 선택순 및 개시 위치는 임의이다.
다음으로, 도 16의 플로우차트를 참조하여, 도 13의 스텝 S111에 있어서 실행되는 적응 필터 처리의 흐름의 예를 설명한다.
적응 필터 처리가 개시되면, 적응 필터(172) 및 선택부(173)에는, 처리 대상 슬라이스의 복호 화상이 공급된다. 스텝 S171에 있어서, 제어부(171)는, 그 처리 대상 슬라이스의 영역을 특정한다. 제어부(171)는, 도 15의 스텝 S151의 처리의 경우와 마찬가지로, 슬라이스 헤더의 해당 슬라이스의 선두 매크로 블록 어드레스를 취득하고, 또한 최종 매크로 블록을 나타내는 플래그를 검출하여, 선두의 매크로 블록 어드레스로부터 최종 매크로 블록 어드레스까지의 영역을 처리 대상 슬라이스의 영역으로서 특정한다.
제어부(171)는, 스텝 S172에 있어서, 제어 정보 생성부(112)에 의해 생성된 필터 계수를 취득하고, 그 필터 계수를 적응 필터(172)에 설정한다. 스텝 S173에 있어서, 제어부(171)는, 제어 정보 생성부(112)에 의해 결정된 ALF 블록 사이즈를 취득하고, 프레임의 영역 전체에 대하여 그 ALF 블록 사이즈의 ALF 블록을 깔도록 설정(배치)한다.
스텝 S174에 있어서, 제어부(171)는, 이와 같이 설정된 ALF 블록 군 중, 미처리의 ALF 블록 중에서 1개를, 도 15의 스텝 S154의 경우와 마찬가지로, 처리 대상 ALF 블록으로 결정한다. 이 ALF 블록의 선택순은, 미리 정해져 있고, 제어 정보 생성부(112)에 있어서의 선택순과 공통이다.
스텝 S175에 있어서, 제어부(171)는, 결정한 처리 대상 ALF 블록의 영역을, 도 15의 스텝 S155의 경우와 마찬가지로 특정한다.
스텝 S176에 있어서, 제어부(171)는, 도 15의 스텝 S156의 경우와 마찬가지로, 처리 대상 ALF 블록의 영역 내에 처리 대상 슬라이스의 영역이 포함되는지의 여부를 판정한다. 포함된다고 판정된 경우, 스텝 S177로 진행한다.
스텝 S177에 있어서, 제어부(171)는, 제어 정보 생성부(112)에 있어서 생성된 처리 대상 ALF 블록의 필터 블록 플래그를 취득한다. 제어 정보 생성부(112)가, 상술한 바와 같이 필터 블록 플래그를 생성하므로, 실제로는, 처리 대상 슬라이스의 영역을 포함하는 ALF 블록에 대해서만 필터 블록 플래그가 공급된다. ALF 블록의 처리순이 제어 정보 생성부(112)와 공통이므로, 필터 블록 플래그는, ALF 블록의 처리순으로 공급된다. 따라서, 제어부(171)는, 그 공급순으로 필터 블록 플래그를 취득(채용)함으로써, 처리 대상 ALF 블록의 필터 블록 플래그를 취득(채용)할 수 있다.
또한, 필터 블록 플래그의 공급 타이밍과, 제어부(171)에 의한 필터 블록 플래그의 취득 타이밍은, 일치하고 있지 않아도 된다. 즉, 제어부(171)가, 제어 정보 생성부(112)로부터 공급된 필터 블록 플래그를, 예를 들면 내장하는 버퍼 등에 일시적으로 유지하고, 스텝 S177의 처리에 있어서, 그 버퍼로부터 필터 블록 플래그를 읽어내도록 해도 된다. 그 경우도, 필터 블록 플래그의 판독순은, 제어 정보 생성부(112)로부터 공급되는 순, 즉, 버퍼에의 축적순과 동일하게 되도록 하기만 하면, 제어부(171)는, 처리 대상 ALF 블록의 필터 블록 플래그를 취득할 수 있다.
스텝 S178에 있어서, 제어부(171)는, 필터 블록 플래그의 값이 1인지의 여부를 판정한다. 필터 블록 플래그의 값이 1이고, 처리 대상 ALF 블록의 영역에 대해서 필터 처리를 행하도록 지시되어 있는 경우, 스텝 S179로 진행한다. 스텝 S179에 있어서, 적응 필터(172)는, 제어부(171)에 제어되어, 처리 대상 ALF 블록에 필터 처리를 행한다. 스텝 S179의 처리가 종료하면 스텝 S180으로 진행한다. 이 경우, 선택부(173)는, 스텝 S180에 있어서, 제어부(171)에 제어되어 적응 필터(172)의 출력을 선택하고, 프레임 메모리(114)에 출력한다. 즉, 필터 처리된 복호 화상(의 일부의 영역)이 프레임 메모리(114)에 축적된다. 스텝 S180의 처리가 종료하면 스텝 S181로 진행한다.
또한, 스텝 S178에 있어서, 필터 블록 플래그의 값이 0이고, 처리 대상 ALF 블록의 영역에 대해서 필터 처리가 행하여지지 않도록 지시되어 있는 경우, 스텝 S179의 처리를 생략하고, 스텝 S180으로 진행한다. 이 경우, 선택부(173)는, 스텝 S180에 있어서, 제어부(171)에 제어되어 디블록 필터(111)의 출력을 선택하고, 프레임 메모리(114)에 출력한다. 즉, 필터 처리되어 있지 않은 복호 화상(의 일부의 영역)이 프레임 메모리(114)에 축적된다. 스텝 S180의 처리가 종료하면 스텝 S181로 진행한다.
또한, 스텝 S176에 있어서, 처리 대상 ALF 블록의 영역 내에 처리 대상 슬라이스의 영역이 포함되지 않는다고 판정된 경우, 처리 대상 ALF 블록은 처리 대상 슬라이스에 관계없는 ALF 블록이므로, 스텝 S177 내지 스텝 S180의 처리를 생략하고, 스텝 S181로 진행한다.
스텝 S181에 있어서, 제어부(171)는, 프레임내 ALF 블록을 모두 처리했는지의 여부를 판정한다. 미처리의 ALF 블록이 존재한다고 판정된 경우, 스텝 S174로 되돌아가서, 새로운 처리 대상 ALF 블록에 대해서 그 이후의 처리를 반복한다. 제어부(171)는, 이 루프 처리를 반복할 때에, 프레임의 영역에 깔린 ALF 블록 군 중에서 ALF 블록을, 처리 대상 ALF 블록으로 하여, 좌측 상부의 ALF 블록으로부터 라스터 스캔 순으로 1개씩 선택한다.
또한, 스텝 S181에 있어서, 프레임내 ALF 블록을 모두 처리했다고 판정된 경우, 적응 필터 처리가 종료되고, 도 13의 스텝 S111로 되돌아가서, 스텝 S112 이후의 처리가 행하여진다.
이상과 같이 적응 필터 처리를 행함으로써, 적응 필터 처리부(113)는, 프레임에 형성되는 복수의 슬라이스 중의 처리 대상 슬라이스에 필요한, 프레임 내의 일부의 ALF 블록의 필터 블록 플래그에 기초하여, 처리 대상 슬라이스에 대한 필터 처리를 적절하게 실행할 수 있다. 이에 의해, 적응 필터 처리부(113)는, 처리 대상 슬라이스의, 디블록 필터에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
다음으로, 도 17의 플로우차트를 참조하여, 도 13의 스텝 S116에 있어서 실행되는 가역 부호화 처리의 흐름의 예를 설명한다.
가역 부호화 처리가 개시되면, 스텝 S191에 있어서, 가역 부호화부(106)의 부호화부(181)는, 공급되는 화상 데이터(양자화된 계수 데이터)를 순차적으로 부호화함으로써, 처리 대상 슬라이스를 부호화하고, 부호화 데이터를 생성한다.
스텝 S192에 있어서, 부호화 데이터 유지부(182)는, 스텝 S191에 있어서 생성된 부호화 데이터를 유지한다. 스텝 S193에 있어서, 제어 정보 유지부(183)는, 제어 정보 생성부(112)로부터 공급되는, 부호화 데이터가 속하는 슬라이스(처리 대상 슬라이스)에 대응하는 제어 정보를 보유한다.
이상과 같은 스텝 S191 내지 스텝 S193의 각 처리가 프레임 내의 각 슬라이스에 대해서 행하여진다. 1슬라이스 분의 처리가 종료하면, 스텝 S194에 있어서, 제어 정보 부가부(184)는, 부호화부(181)가 프레임 내의 모든 슬라이스에 대해서 화상 데이터(양자화된 계수 데이터)를 부호화했는지의 여부를 판정한다. 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S191로 되돌아가서, 그 이후의 처리가 반복된다.
스텝 S194에 있어서, 부호화부(181)에 의해 프레임 내의 모든 슬라이스가 부호화되었다고 판정된 경우, 스텝 S195로 진행한다.
스텝 S195에 있어서, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를, 부호화 데이터 유지부(182)에 유지되어 있는 1프레임 분의 부호화 데이터의, 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립한다. 이때, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를 취득해서 통합하고, 부호화 데이터가 속하는 프레임(픽쳐)의 1픽쳐 분의 제어 정보를 생성한다. 제어 정보 부가부(184)는, 그 1픽쳐 분의 제어 정보를, 슬라이스 헤더에 매립한다.
즉, 복수의 슬라이스로 이루어지는 1프레임 분의 부호화 데이터에는, 그 중의 1개의 슬라이스 헤더에, 1프레임(픽쳐)분의 제어 정보(필터 계수, ALF 블록 사이즈 및 필터 블록 플래그 등)가 부가된다(매립된다).
즉, 복수의 슬라이스의 제어 정보가 1개의 슬라이스 헤더에 부가된다(다른 슬라이스의 제어 정보도 부가된다). 제어 정보를 슬라이스마다 나누어 복수의 슬라이스 헤더에 매립하는 경우, 각 제어 정보에 중복되는 내용이 생기게 되지만, 제어 정보 부가부(184)는, 이와 같이 1프레임 분의 제어 정보를 1개의 슬라이스 헤더에 통합해서 부가하므로, 그러한 용장성을 저감하여, 부호화 효율을 향상시킬 수 있다.
또한, 여기서 「부가한다」라는 것은, 임의의 형태로 제어 정보를 부호화 데이터에 관련짓는 것을 나타낸다. 예를 들면, 부호화 데이터의 신택스로서 기술하도록 해도 되고, 유저 데이터로서 기술하도록 해도 된다. 또한, 블록 정보를 메타데이터로 해서 부호화 데이터와 연동된 상태로 하도록 해도 된다. 즉, 「부가」는, 「매립」, 「기술」, 「다중화」, 및 「연결」 등을 포함한다.
제어 정보를 부호화 데이터에 부가한 제어 정보 부가부(184)는, 스텝 S196에 있어서, 부호화 데이터를 소정순으로 출력한다. 1픽쳐 분의 부호화 데이터를 출력하면, 가역 부호화부(106)는, 가역 부호화 처리를 종료하고, 도 13의 스텝 S116으로 되돌아가서, 스텝 S117 이후의 처리로 진행한다.
이상과 같은 가역 부호화 처리를 행함으로써, 화상 부호화 장치(100)는, 부호화시 또는 복호시의 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 예를 들면, 화상의 각 프레임을 복수의 슬라이스로 나누어 처리하는 경우에도, 화상 부호화 장치(100)는, 부호화 효율의 저감을 억제할 수 있다.
<2. 제2 실시 형태>
[디바이스의 구성]
다음으로, 제1 실시 형태에 있어서 설명한 화상 부호화 장치(100)에 대응하는 화상 복호 장치에 대해서 설명한다. 도 18은 본 발명을 적용한 화상 처리 장치로서의 화상 복호 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.
화상 복호 장치(200)는, 화상 부호화 장치(100)로부터 출력되는 부호화 데이터를 복호하고, 복호 화상을 생성한다.
화상 복호 장치(200)는, 축적 버퍼(201), 가역 복호부(202), 역양자화부(203), 역직교 변환부(204), 연산부(205), 및 디블록 필터(206)를 갖는다. 또한, 화상 복호 장치(200)는, 적응 필터 처리부(207)를 갖는다. 또한, 화상 복호 장치(200)는, 화면 재배열 버퍼(208) 및 D/A(Digital/Analog l) 변환부(209)를 갖는다. 또한, 화상 복호 장치(200)는, 프레임 메모리(210), 인트라 예측부(211), 움직임 보상부(212), 및 선택부(213)를 갖는다.
축적 버퍼(201)는, 전송되어 온 화상 압축 정보를 축적한다. 가역 복호부(202)는, 축적 버퍼(201)로부터 공급된, 도 1의 가역 부호화부(106)에 의해 부호화된 정보를, 가역 부호화부(106)의 부호화 방식에 대응하는 방식으로 복호한다.
해당 매크로 블록이 인트라 부호화된 것인 경우, 가역 복호부(202)는, 부호화 데이터의 헤더부에 저장된 인트라 예측 모드 정보를 추출하여, 인트라 예측부(211)에 전송한다. 또한, 해당 매크로 블록이 인터 부호화된 것인 경우, 가역 복호부(202)는, 부호화 데이터의 헤더부에 저장된 움직임 벡터 정보를 추출하여, 움직임 보상부(212)에 전송한다.
또한, 가역 복호부(202)는, 부호화 데이터의, 프레임 내에서 최초로 공급되는 슬라이스의 슬라이스 헤더로부터, 적응 필터용의 1픽쳐 분의 제어 정보(제어 정보 생성부(112)에 의해 생성된 제어 정보)를 추출하여, 적응 필터 처리부(207)에 공급한다.
역양자화부(203)는 가역 복호부(202)에 의해 복호된 화상을, 도 1의 양자화부(105)의 양자화 방식에 대응하는 방식으로 역양자화한다. 역직교 변환부(204)는, 도 1의 직교 변환부(104)의 직교 변환 방식에 대응하는 방식으로 역양자화부(203)의 출력을 역직교 변환한다.
연산부(205)는, 역직교 변환된 차분 정보에, 선택부(213)로부터 공급되는 예측 화상을 가산하고, 복호 화상을 생성한다. 디블록 필터(206)는, 그 가산 처리되어 생성된 복호 화상의 블록 왜곡을 제거한다.
적응 필터 처리부(207)는, 가역 복호부(202)로부터 공급된 1픽쳐 분의 제어 정보에 포함되는 필터 계수, ALF 블록 사이즈 및 필터 블록 플래그 등의 정보에 기초하여, 디블록 필터(206)로부터 공급되는 화상에 대하여 필터 처리를 행한다. 적응 필터 처리부(207)는, 도 1의 적응 필터 처리부(113)와 마찬가지의 적응 필터 처리를 행한다. 이에 의해, 적응 필터 처리부(207)는, 디블록 필터(206)에서는 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
적응 필터 처리부(207)는, 필터 처리 후의 화상을 프레임 메모리(210)에 공급하고, 참조 화상 정보로서 축적시킴과 함께, 화면 재배열 버퍼(208)에 출력한다.
화면 재배열 버퍼(208)는, 화상의 재배열을 행한다. 즉, 도 1의 화면 재배열 버퍼(102)에 의해 부호화의 순번 때문에 재배열된 프레임의 순번이, 원래의 표시의 순번으로 재배열된다. D/A 변환부(209)는, 화면 재배열 버퍼(208)로부터 공급된 화상을 D/A 변환하고, 출력한다. 예를 들면, D/A 변환부(209)는, D/A 변환해서 얻어진 출력 신호를 도시하지 않는 디스플레이에 출력하고, 화상을 표시시킨다.
인트라 예측부(211)는, 해당 프레임이 인트라 부호화된 것인 경우, 가역 복호부(202)로부터 공급되는 정보에 기초하여, 예측 화상을 생성하고, 생성한 예측 화상을 선택부(213)에 출력한다.
움직임 보상부(212)는, 해당 프레임이 인터 부호화된 것인 경우, 가역 복호부(202)로부터 공급된 움직임 벡터 정보에 기초하여, 프레임 메모리(210)에 저장된 참조 화상 정보에 대하여 움직임 보상 처리를 행한다.
선택부(213)는, 해당 매크로 블록이 인트라 부호화된 것인 경우, 인트라 예측부(211)에 접속하여, 인트라 예측부(211)로부터 공급되는 화상을 예측 화상으로서 연산부(205)에 공급한다. 또한, 해당 매크로 블록이 인터 부호화된 것인 경우, 선택부(213)는, 움직임 보상부(212)에 접속하여, 움직임 보상부(212)로부터 공급되는 화상을 예측 화상으로서 연산부(205)에 공급한다.
도 19는 도 18의 가역 복호부(202)의 상세한 구성예를 도시하는 블록도이다. 또한, 설명의 편의상, 인트라 예측 모드 정보 및 움직임 벡터 정보의 추출에 관한 구성에 관한 설명은 생략한다.
도 19에 도시되는 바와 같이, 가역 복호부(202)는, 제어 정보 추출부(221) 및 복호부(222)를 갖는다. 제어 정보 추출부(221)는, 축적 버퍼(201)로부터 부호화 데이터를 취득하고, 프레임 내에서 최초로 공급되는 슬라이스의 슬라이스 헤더로부터, 1픽쳐 분의 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급한다.
복호부(222)는, 제어 정보 추출부(221)로부터 공급되는 부호화 데이터를, 가역 부호화부(106)의 부호화 방식에 대응하는 복호 방식으로 복호하고, 복호 데이터(양자화된 계수 데이터)를 생성한다. 복호부(222)는, 생성한 복호 데이터를 역양자화부(203)에 공급한다.
이와 같이, 제어 정보 추출부(221)가 부호화 데이터의 슬라이스 헤더에 매립된 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급하므로, 적응 필터 처리부(207)는, 그 제어 정보에 기초하여, 적절하게 적응 필터 처리를 행할 수 있다. 즉, 적응 필터 처리부(207)는, 화상 부호화 장치(100)의 적응 필터 처리부(113)와 마찬가지로 적응 필터 처리를 행할 수 있다.
[처리의 흐름]
도 20의 플로우차트를 참조하여, 이 화상 복호 장치(200)가 실행하는 복호 처리의 흐름의 예를 설명한다.
스텝 S201에 있어서, 축적 버퍼(201)는 전송되어 온 화상(부호화 데이터)을 축적한다. 스텝 S202에 있어서, 가역 복호부(202)는, 축적 버퍼(201)로부터 공급되는 부호화 데이터를 가역 복호하는 가역 복호 처리를 행한다.
상세에 대해서는 후술하지만, 이 가역 복호 처리에 의해, 도 1의 가역 부호화부(106)에 의해 부호화된 I픽쳐, P픽쳐, 및 B픽쳐가 복호된다. 또한, 이때, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드, 또는 인터 예측 모드를 나타내는 정보) 등의 추출도 행하여진다.
즉, 예측 모드 정보가 인트라 예측 모드 정보인 경우, 예측 모드 정보는, 인트라 예측부(211)에 공급된다. 예측 모드 정보가 인터 예측 모드 정보인 경우, 예측 모드 정보와 대응하는 움직임 벡터 정보 및 참조 프레임 정보는, 움직임 보상부(212)에 공급된다.
또한, 이 가역 복호 처리에 의해, 부호화 데이터의 슬라이스 헤더로부터 1픽쳐 분의 적응 필터 처리용의 제어 정보가 추출되어, 적응 필터 처리부(207)에 공급된다.
스텝 S203에 있어서, 역양자화부(203)는, 스텝 S202에 있어서 복호된 변환 계수를, 도 1의 양자화부(105)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S204에 있어서 역직교 변환부(204)는, 스텝 S203의 처리에 의해 역양자화된 변환 계수를, 도 1의 직교 변환부(104)의 특성에 대응하는 특성으로 역직교 변환한다. 이에 의해 도 1의 직교 변환부(104)의 입력(연산부(103)의 출력)에 대응하는 차분 정보가 복호된 것으로 된다.
스텝 S205에 있어서, 연산부(205)는, 후술하는 스텝 S211의 처리에서 선택되는 예측 화상을 차분 정보와 가산한다. 이에 의해 원래의 화상이 복호된다. 스텝 S206에 있어서, 디블록 필터(206)는, 연산부(205)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다.
스텝 S207에 있어서, 적응 필터 처리부(207)는, 디블록 필터 처리된 화상에, 다시 적응 필터 처리를 실시한다. 이 적응 필터 처리는, 도 1의 적응 필터 처리부(113)가 행하는 처리와 마찬가지이다. 즉, 이 적응 필터 처리는, 가역 복호부(202)로부터 공급된 제어 정보를 이용하는 것 이외에, 도 16의 플로우차트를 참조하여 설명한 경우와 마찬가지로 행하여진다. 단, 이 가역 복호부(202)로부터 공급되는 제어 정보도, 도 1의 제어 정보 생성부(112)가 생성한 것이며, 실질적으로 도 1의 적응 필터 처리부(113)가 이용하는, 제어 정보 생성부(112)로부터 공급되는 제어 정보와 동등하다.
이 적응 필터 처리에 의해, 디블록킹 필터 처리에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
스텝 S208에 있어서, 프레임 메모리(210)는, 필터링된 화상을 기억한다.
인트라 예측 모드 정보가 공급된 경우, 인트라 예측부(211)는, 스텝 S209에 있어서, 인트라 예측 모드의 인트라 예측 처리를 행한다. 또한, 인터 예측 모드 정보가 공급된 경우, 움직임 보상부(212)는, 스텝 S210에 있어서, 인터 예측 모드의 움직임 보상 처리를 행한다.
스텝 S211에 있어서, 선택부(213)는, 예측 화상을 선택한다. 즉, 인트라 예측부(211)에 의해 생성된 예측 화상, 또는 움직임 보상부(212)에 의해 생성된 예측 화상 중 어느 한쪽을 선택하고, 선택한 예측 화상을 연산부(205)에 공급한다.
예를 들면, 인트라 부호화된 화상의 경우, 선택부(213)는, 인트라 예측부(211)에 의해 생성된 예측 화상을 선택하여, 연산부(205)에 공급한다. 또한, 인터 부호화된 화상의 경우, 선택부(213)는, 움직임 보상부(212)에 의해 생성된 예측 화상을 선택하여, 연산부(205)에 공급한다.
스텝 S212에 있어서, 화면 재배열 버퍼(208)는, 재배열을 행한다. 즉, 도 1의 화상 부호화 장치(100)의 화면 재배열 버퍼(102)에 의해 부호화를 위해 재배열된 프레임의 순서가, 원래의 표시의 순서로 재배열된다.
스텝 S213에 있어서, D/A 변환부(209)는, 화면 재배열 버퍼(208)로부터의 화상을 D/A 변환한다. 이 화상이 도시하지 않는 디스플레이에 출력되고, 화상이 표시된다.
이와 같이, 화상 복호 장치(200)는, 가역 복호부(202)가, 화상 부호화 장치(100)로부터 공급된 제어 정보를 추출해서 복호하고, 적응 필터 처리부(207)가, 그 제어 정보를 이용하여, 화상 부호화 장치(100)의 적응 필터 처리부(113)와 마찬가지로, 적응 필터 처리를 행한다.
다음으로, 도 21의 플로우차트를 참조하여, 도 20의 스텝 S202에 있어서 실행되는 가역 복호 처리의 흐름의 예를 설명한다.
가역 복호 처리가 개시되면, 제어 정보 추출부(221)는, 스텝 S231에 있어서, 공급된 부호화 데이터가, 프레임(픽쳐)의 최초로 전송된 슬라이스인지의 여부를 판정한다.
예를 들면, 프레임 번호(frame_num)가 지금까지의 슬라이스와 상이한 경우, 그 슬라이스가 해당 픽쳐의 최초의 슬라이스이다. 또한, 예를 들면, 프레임·픽쳐인지 필드·픽쳐인지를 나타내는 플래그(field_pic_flag)가 지금까지의 슬라이스와 상이한 경우, 그 슬라이스가 해당 픽쳐의 최초의 슬라이스이다. 또한, 예를 들면, 톱·필드인지 보텀·필드인지를 나타내는 플래그(bottom_field_flag)가 지금까지의 슬라이스와 상이한 경우, 그 슬라이스가 해당 픽쳐의 최초의 슬라이스이다. 또한, 예를 들면, 프레임 번호(frame_num)이 동일하며 픽쳐·오더·카운트 POC의 값이 지금까지의 슬라이스와 상이한 경우, 그 슬라이스가 해당 픽쳐의 최초의 슬라이스이다. 또한, 예를 들면, nal_ref_idc 정보가 지금까지의 슬라이스와 상이한 경우, 그 슬라이스가 해당 픽쳐의 최초의 슬라이스이다. 또한, IDR 픽쳐이며 idr_pic_idc 정보가 지금까지의 슬라이스와 상이한 경우, 그 슬라이스가 해당 픽쳐의 최초의 슬라이스이다.
따라서, 제어 정보 추출부(221)는, 이들의 값을 참조하여, 어느 하나의 값이, 지금까지의 슬라이스와 상이한 경우, 그 슬라이스가 해당 픽쳐의 최초의 슬라이스라고 판정한다.
물론, 제어 정보 추출부(221)는, 이 이외의 정보에 기초하여, 최초로 전송된 슬라이스인지의 여부를 판정하도록 해도 된다.
스텝 S231에 있어서, 프레임의 최초로 전송된 슬라이스라고 판정된 경우, 스텝 S232로 진행한다. 스텝 S232에 있어서, 제어 정보 추출부(221)는, 그 슬라이스 헤더로부터, 1픽쳐 분의 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급한다.
제어 정보가 추출되면, 스텝 S233으로 진행한다. 또한, 스텝 S231에 있어서, 공급된 부호화 데이터가, 프레임(픽쳐)의 최초로 전송된 슬라이스가 아니라고 판정된 경우, 스텝 S233으로 진행한다.
스텝 S233에 있어서, 복호부(222)는, 부호화 데이터의 처리 대상 슬라이스를 복호한다. 스텝 S234에 있어서, 복호부(222)는, 복호해서 얻어진 복호 데이터(양자화된 계수 데이터)를 역양자화부(203)에 출력한다. 스텝 S235에 있어서, 복호부(222)는, 프레임 내의 모든 슬라이스를 처리했는지의 여부를 판정한다. 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S231로 되돌아가서, 그 이후의 처리가 반복된다. 또한, 스텝 S235에 있어서, 프레임 내의 모든 슬라이스가 처리되었다고 판정된 경우, 가역 복호 처리를 종료하고, 도 20의 스텝 S207로 되돌아가서, 스텝 S208 이후의 처리가 실행된다.
이상과 같이 가역 복호 처리를 행함으로써, 가역 복호부(202)는, 부호화 데이터에 부가된 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 적절하게 적응 필터 처리를 실행할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 처리 대상 슬라이스의, 디블록 필터에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
또한, 이때, 상술한 바와 같이, 제어 정보는, 해당 픽쳐의 최초의 슬라이스의 슬라이스 헤더에 매립되어 있고, 제어 정보 추출부(221)는, 그 해당 픽쳐의 최초의 슬라이스를 적절하게 검출하여, 그 슬라이스 헤더로부터 1픽쳐 분의 제어 정보를 추출한다.
이와 같이 함으로써, 적응 필터 처리부(207)는, 해당 픽쳐의 제어 정보를, 최초의 슬라이스를 처리하는 시점에서 준비할 수 있어, 불필요한 지연 없이 적응 필터 처리를 행할 수 있다. 즉, 각 슬라이스에 대하여 적응 필터 처리를 행할 때에, 제어 정보의 준비를 위한 불필요한 대기 시간을 설정할 필요가 없으므로, 적응 필터 처리부(207)는, 제어 정보를 각 슬라이스 헤더에 매립하는 경우와 마찬가지의 처리 시간에, 적응 필터 처리를 행할 수 있다.
따라서, 화상 복호 장치(200)는, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 예를 들면, 화상의 각 프레임을 복수의 슬라이스로 나누어 처리하는 경우에도, 부호화 효율의 저감을 억제할 수 있다.
<3. 제3 실시 형태>
[제어 정보를 선두 슬라이스의 헤더에 포함시키는 예의 개요 설명]
또한, 이상에서는, 1픽쳐 분의 제어 정보가, 최초로 출력(전송)되는 슬라이스의 슬라이스 헤더에 부가되는 것처럼 설명했지만, 제어 정보는, 다른 슬라이스의 슬라이스 헤더에 부가되도록 해도 된다. 예를 들면, 선두 슬라이스의 슬라이스 헤더에, 제어 정보가 부가되도록 해도 된다.
선두 슬라이스란, 예를 들면, 프레임(픽쳐) 중에서 가장 위에 위치하는 슬라이스이다. 또한, 예를 들면, 선두 슬라이스란, 슬라이스의 식별 번호가 가장 빠른 슬라이스이다. 또한, 예를 들면, 선두 슬라이스란, MB 어드레스가 「0」인 매크로 블록을 포함하는 슬라이스이다. 일반적으로는 이들 슬라이스는 모두 동일한 슬라이스가 되지만, 일치하지 않아도 된다. 그 경우, 어느 것인가 1개의 조건에 기초해서 선두 슬라이스가 결정된다.
즉, 제1 실시 형태나, 제2 실시 형태에 있어서 설명한, 최초로 전송되는 슬라이스가, 그 처리순에 의해 특정되는 슬라이스인 것에 대해, 이 선두 슬라이스는, 그 위치 관계(예를 들면 식별 번호나 좌표)에 의해 특정되는 슬라이스이다.
예를 들면, 도 22에 도시되는 바와 같이, 3개의 슬라이스(슬라이스0, 슬라이스1, 및 슬라이스2)에 의해 구성되는 프레임(151)에 있어서, 슬라이스0이 선두 슬라이스로서 설정되는 것으로 한다.
이때, 각 슬라이스에 대하여 생성되는 제어 정보(191-1) 내지 제어 정보(191-3)는, 슬라이스의 처리순에 상관없이, 모두 선두 슬라이스의 슬라이스 헤더인 슬라이스0 헤더(192-2)에 부가된다. 이 슬라이스0의 최초의 MB 어드레스는 0이다. 따라서, 이 경우, 제어 정보 추출부(221)는, 슬라이스 헤더에 있는 first_mb_in_slice(슬라이스 중의 최초의 MＢ어드레스를 규정하는 정보)의 값을 참조하여, 그 값이 「0」이면, 그 후에 제어 정보를 포함하고 있는 것을 알 수 있다. 따라서, 제어 정보 추출부(221)는, 경계 검사 없이 용이하게 제어 정보의 존재를 확인하고, 그것을 추출할 수 있다.
단, 도 22에도 도시되는 바와 같이, 선두 슬라이스가, 최초로 전송된다고는 할 수 없다. 도 22의 예의 경우, 부호화 데이터(194)는, 슬라이스1, 슬라이스0, 슬라이스2의 순으로 전송된다.
따라서, 이 경우, 적응 필터 처리부(207)는, 선두 슬라이스보다 먼저 전송된 슬라이스(도 22의 예의 경우, 슬라이스0)에 대해서, 선두 슬라이스로부터 제어 정보가 추출될 때까지 적응 필터 처리를 행할 수 없다.
[부호화측]
이 경우의, 화상 부호화 장치(100)의 가역 부호화부(106)의 구성은, 도 10을 참조하여 설명한 제1 실시 형태의 경우와 마찬가지이다.
도 23의 플로우차트를 참조하여, 이 경우의 가역 부호화 처리의 흐름의 예를 설명한다. 이 도 23의 플로우차트는 도 17에 도시되는 플로우차트에 대응한다.
이 경우도, 제1 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 도 13의 스텝 S116에 있어서 가역 부호화 처리가 개시되면, 스텝 S251 내지 스텝 S254의 각 처리가, 도 17의 스텝 S191 내지 스텝 S194의 각 처리와 마찬가지로 실행되고, 양자화된 계수 데이터가 슬라이스마다 부호화된다.
스텝 S255에 있어서, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를, 부호화 데이터 유지부(182)에 유지되어 있는 1프레임 분의 부호화 데이터의, 선두 슬라이스의 슬라이스 헤더에 매립한다. 이때, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를 취득해서 통합하고, 부호화 데이터가 속하는 프레임(픽쳐)의 1픽쳐 분의 제어 정보를 생성한다. 제어 정보 부가부(184)는, 그 1픽쳐 분의 제어 정보를, 선두 슬라이스의 슬라이스 헤더에 매립한다.
제어 정보를 부호화 데이터에 부가한 제어 정보 부가부(184)는, 스텝 S256에 있어서, 부호화 데이터를 소정순으로 출력한다. 1픽쳐 분의 부호화 데이터를 출력하면, 가역 부호화부(106)는, 가역 부호화 처리를 종료하고, 도 13의 스텝 S116으로 되돌아가서, 스텝 S117 이후의 처리로 진행한다.
이상과 같은 가역 부호화 처리를 행함으로써, 화상 부호화 장치(100)는, 제1 실시 형태의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 또한, 복호시의 제어 정보의 추출을 용이하게 할 수 있다.
[복호측]
다음으로, 본 실시 형태의 화상 복호 장치(200)에 대해서 설명한다. 도 24는, 이 경우의, 화상 복호 장치(200)의 가역 복호부(202)의 구성예를 도시하는 블록도이다. 도 24에 도시되는 바와 같이, 이 경우의 가역 복호부(202)는, 도 19를 참조하여 설명한 제2 실시 형태의 경우의 가역 복호부(202)와 기본적으로 마찬가지의 구성을 갖는다.
단, 이 경우, 가역 복호부(202)는, 복호 데이터 유지부(223)를 더 갖는다. 복호 데이터 유지부(223)는, 복호부(222)에 있어서 복호되어 생성된 복호 데이터를 유지한다.
제어 정보를 선두 슬라이스의 슬라이스 헤더에 포함시키도록 하는 경우, 상술한 바와 같이, 선두 슬라이스가 전송될 때까지 제어 정보가 얻어지지 않는다. 따라서, 복호 데이터 유지부(223)는, 선두 슬라이스보다 먼저 전송되는 슬라이스의 복호 데이터를, 제어 정보가 얻어질 때까지 유지한다.
다음으로, 도 25의 플로우차트를 참조하여, 도 20의 스텝 S202에 있어서 실행되는, 이 경우의 가역 복호 처리의 흐름의 예를 설명한다. 이 도 25의 플로우차트는, 도 21에 도시되는 플로우차트에 대응한다.
이 경우도, 제2 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 가역 복호 처리가 개시되면, 제어 정보 추출부(221)는, 스텝 S271에 있어서, 공급된 부호화 데이터가, 프레임(픽쳐)의 선두 슬라이스인지의 여부를 판정한다.
예를 들면, 슬라이스 헤더에 있는 first_mb_in_slice의 값이 「0」이며, 선두 슬라이스라고 판정된 경우, 스텝 S272로 진행한다. 스텝 S272에 있어서, 제어 정보 추출부(221)는, 그 슬라이스 헤더로부터, 1픽쳐 분의 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급한다.
제어 정보가 추출되면, 스텝 S273으로 진행한다. 또한, 스텝 S271에 있어서, 공급된 부호화 데이터가, 선두 슬라이스가 아니라고 판정된 경우, 스텝 S273으로 진행한다.
스텝 S273에 있어서, 복호부(222)에 의해, 그 부호화 데이터가 복호되면, 복호 데이터 유지부(223)는, 스텝 S274에 있어서, 복호되어 얻어진 복호 데이터를 유지한다.
스텝 S275에 있어서, 복호 데이터 유지부(223)는, 제어 정보 추출부(221)에 의해 제어 정보가 추출되었는지의 여부를 판정한다. 추출되었다고 판정된 경우, 복호 데이터 유지부(223)는, 스텝 S276으로 진행하여, 유지하고 있는 복호 데이터의 역양자화부(203)에의 출력을 개시한다.
복호 데이터의 출력이 개시되면, 스텝 S277로 진행한다. 또한, 스텝 S275에 있어서, 현재 처리 중인 해당 프레임에 대해서, 제어 정보가 추출되어 있지 않다고 판정된 경우, 스텝 S277로 진행한다.
스텝 S277에 있어서, 제어 정보 추출부(221)는, 프레임 내의 모든 슬라이스를 처리했는지의 여부를 판정한다. 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S271로 되돌아가서, 미처리의 슬라이스에 대하여, 그 이후의 처리를 반복한다. 또한, 스텝 S277에 있어서, 프레임 내의 모든 슬라이스를 처리했다고 판정된 경우, 가역 복호 처리를 종료하고, 도 20의 스텝 S207로 되돌아가서, 스텝 S208 이후의 처리가 실행된다.
이상과 같이 가역 복호 처리를 행함으로써, 가역 복호부(202)는, 부호화 데이터에 부가된 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 적절하게 적응 필터 처리를 실행할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 처리 대상 슬라이스의, 디블록 필터에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
또한, 이때, 상술한 바와 같이, 제어 정보는, 해당 픽쳐의 선두 슬라이스의 슬라이스 헤더에 매립되어 있고, 제어 정보 추출부(221)는, 그 해당 픽쳐의 선두 슬라이스를 용이하게 검출하고, 그 슬라이스 헤더로부터 1픽쳐 분의 제어 정보를 추출할 수 있다.
<4. 제4 실시 형태>
[제어 정보를 소정의 슬라이스의 헤더에 포함시키는 예의 개요 설명]
또한, 제어 정보는, 상술한 최초로 전송되는 슬라이스나 선두 슬라이스 이외의 슬라이스의 슬라이스 헤더에, 제어 정보가 부가되도록 해도 된다.
예를 들면, 도 26에 도시되는 바와 같이, 3개의 슬라이스(슬라이스0, 슬라이스1, 및 슬라이스2)에 의해 구성되는 프레임(151)에 있어서, 슬라이스0이 선두 슬라이스로서 설정되는 것으로 한다.
이때, 각 슬라이스에 대하여 생성되는 제어 정보(191-1) 내지 제어 정보(191-3)는, 슬라이스의 처리순에 상관없이, 모두 미리 정해진 소정의 슬라이스인 슬라이스2의 슬라이스 헤더인 슬라이스2 헤더(192-3)에 부가되도록 해도 된다.
이 슬라이스2(슬라이스2 헤더(192-3))의 특정 방법은 임의이다. 또한, 이 경우, 화상 복호 장치(200)의 제어 정보 추출부(221)의 제어 정보 검출 방법도 임의이다.
이 경우도, 제3 실시 형태의 경우와 마찬가지로, 제어 정보가 매립된 슬라이스가, 최초로 전송된다고는 할 수 없다. 도 26의 예의 경우, 부호화 데이터(194)는, 슬라이스1, 슬라이스0, 슬라이스2의 순으로 전송된다. 즉, 슬라이스0 및 슬라이스1은, 제어 정보를 포함하는 슬라이스2보다 먼저 전송된다.
따라서, 이 경우도, 적응 필터 처리부(207)는, 슬라이스2보다 먼저 전송된 슬라이스(도 26의 예의 경우, 슬라이스0 및 슬라이스1)에 대해서, 슬라이스2로부터 제어 정보가 추출될 때까지 적응 필터 처리를 행할 수 없다.
[부호화측]
이 경우의, 화상 부호화 장치(100)의 가역 부호화부(106)의 구성은, 도 10을 참조하여 설명한 제1 실시 형태의 경우와 마찬가지이다.
도 27의 플로우차트를 참조하여, 이 경우의 가역 부호화 처리의 흐름의 예를 설명한다. 이 도 27의 플로우차트는 도 17에 도시되는 플로우차트에 대응한다.
이 경우도, 제1 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 도 13의 스텝 S116에 있어서 가역 부호화 처리가 개시되면, 스텝 S291 내지 스텝 S294의 각 처리가, 도 17의 스텝 S191 내지 스텝 S194의 각 처리와 마찬가지로 실행되고, 양자화된 계수 데이터가 슬라이스마다 부호화된다.
스텝 S295에 있어서, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를, 부호화 데이터 유지부(182)에 유지되어 있는 1프레임 분의 부호화 데이터의, 미리 정해진 소정의 슬라이스의 슬라이스 헤더에 매립한다. 이때, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를 취득해서 통합하고, 부호화 데이터가 속하는 프레임(픽쳐)의 1픽쳐 분의 제어 정보를 생성한다. 제어 정보 부가부(184)는, 그 1픽쳐 분의 제어 정보를, 소정의 슬라이스의 슬라이스 헤더에 매립한다.
제어 정보를 부호화 데이터에 부가한 제어 정보 부가부(184)는, 스텝 S296에 있어서, 부호화 데이터를 소정순으로 출력한다. 1픽쳐 분의 부호화 데이터를 출력하면, 가역 부호화부(106)는, 가역 부호화 처리를 종료하고, 도 13의 스텝 S116으로 되돌아가서, 스텝 S117 이후의 처리로 진행한다.
이상과 같은 가역 부호화 처리를 행함으로써, 화상 부호화 장치(100)는, 제1 실시 형태의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다.
[복호측]
다음으로, 본 실시 형태의 화상 복호 장치(200)에 대해서 설명한다. 이 경우의, 화상 복호 장치(200)의 가역 복호부(202)의 구성은, 도 24를 참조하여 설명한 제3 실시 형태의 경우와 마찬가지이다.
도 28의 플로우차트를 참조하여, 도 20의 스텝 S202에 있어서 실행되는, 이 경우의 가역 복호 처리의 흐름의 예를 설명한다. 이 도 28의 플로우차트는 도 25에 도시되는 플로우차트에 대응한다.
이 경우도, 제3 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 가역 복호 처리가 개시되면, 제어 정보 추출부(221)는, 스텝 S311에 있어서, 공급된 부호화 데이터가, 프레임(픽쳐)의 소정의 슬라이스(슬라이스 헤더에 제어 정보를 포함하는 슬라이스)인지의 여부를 판정한다.
소정의 슬라이스라고 판정된 경우, 스텝 S312로 진행한다. 스텝 S312에 있어서, 제어 정보 추출부(221)는, 그 슬라이스 헤더로부터, 1픽쳐 분의 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급한다.
제어 정보가 추출되면, 스텝 S313으로 진행한다. 또한, 스텝 S311에 있어서, 공급된 부호화 데이터가, 제어 정보가 부가된 소정의 슬라이스가 아니라고 판정된 경우, 스텝 S313으로 진행한다.
그 후, 스텝 S313 내지 스텝 S317의 각 처리가, 도 25의 스텝 S273 내지 스텝 S277의 각 처리와 마찬가지로 실행된다.
이상과 같이 가역 복호 처리를 행함으로써, 가역 복호부(202)는, 부호화 데이터에 부가된 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 적절하게 적응 필터 처리를 실행할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 처리 대상 슬라이스의, 디블록 필터에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
<5. 제5 실시 형태>
[포인터를 이용하는 예의 개요 설명]
또한, 제어 정보는, 상술한 바와 같이 제어 정보 그 자체를 슬라이스 헤더에 부가하는 것 이외에도, 예를 들면, 제어 정보가 부가된 장소를 나타내는 포인터를, 슬라이스 헤더에 포함시키도록 해도 된다.
예를 들면, 도 29에 도시되는 바와 같이, 프레임(151)의 슬라이스0 내지 슬라이스2에 대응하는 제어 정보(191-1) 내지 제어 정보(191-3)는 통합되고, 1픽쳐 분의 제어 정보(231)로서, 부호화 데이터(194)의 슬라이스2 데이터(193-3)의 뒤에 부가된다. 그리고, 최초로 전송되는 슬라이스1 헤더(192-1)에는, 제어 정보(231)의 위치를 나타내는 포인터가 부가된다.
이와 같이 함으로써, 화상 복호 장치(200)의 제어 정보 추출부(221)는, 슬라이스1 헤더(192-1)를 참조하여, 거기에 부가되어 있는 포인터로부터 제어 정보(231)를 취득할 수 있다. 즉, 제어 정보 추출부(221)는, 제2 실시 형태의 경우와 대략 마찬가지로, 부호화 데이터로부터 제어 정보를 추출할 수 있다.
단, 이 경우, 실제로는, 제어 정보 추출부(221)는, 제어 정보(231)가 공급될 때까지 제어 정보(231)를 추출할 수 없다.
물론, 제어 정보(231)를 부가하는 장소는 임의이다. 예를 들면, 제어 정보가, 슬라이스1 헤더(192-1)보다 먼저 전송되는 위치에 부가되도록 해도 된다. 그 경우, 제어 정보 추출부(221)는, 슬라이스1 헤더(192-1)의 포인터를 참조한 시점에서 제어 정보를 추출할 수 있다.
[부호화측]
이 경우도, 화상 부호화 장치(100)의 가역 부호화부(106)의 구성은, 도 10을 참조하여 설명한 제1 실시 형태의 경우와 마찬가지이다.
도 30의 플로우차트를 참조하여, 이 경우의 가역 부호화 처리의 흐름의 예를 설명한다. 이 도 30의 플로우차트는 도 17에 도시되는 플로우차트에 대응한다.
이 경우도, 제1 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 도 13의 스텝 S116에 있어서 가역 부호화 처리가 개시되면, 스텝 S331 내지 스텝 S334의 각 처리가, 도 17의 스텝 S191 내지 스텝 S194의 각 처리와 마찬가지로 실행되고, 양자화된 계수 데이터가 슬라이스마다 부호화된다.
스텝 S335에 있어서, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를, 부호화 데이터의 소정의 위치에 부가한다. 이때, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를 취득해서 통합하고, 부호화 데이터가 속하는 프레임(픽쳐)의 1픽쳐 분의 제어 정보를 생성한다. 제어 정보 부가부(184)는, 그 1픽쳐 분의 제어 정보를 부호화 데이터의 소정의 위치에 부가한다.
스텝 S336에 있어서, 제어 정보 부가부(184)는, 제어 정보를 부가한 위치를 나타내는 포인터를, 부호화 데이터 유지부(182)에 유지되어 있는 1프레임 분의 부호화 데이터의, 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립한다.
제어 정보를 부호화 데이터에 부가하고, 그 포인터를 슬라이스 헤더에 매립한 제어 정보 부가부(184)는, 스텝 S337에 있어서, 부호화 데이터를 소정순으로 출력한다. 1픽쳐 분의 부호화 데이터를 출력하면, 가역 부호화부(106)는, 가역 부호화 처리를 종료하고, 도 13의 스텝 S116으로 되돌아가서, 스텝 S117 이후의 처리로 진행한다.
이상과 같은 가역 부호화 처리를 행함으로써, 화상 부호화 장치(100)는, 제1 실시 형태의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다.
[복호측]
다음으로, 본 실시 형태의 화상 복호 장치(200)에 대해서 설명한다. 이 경우의 화상 복호 장치(200)의 가역 복호부(202)의 구성은, 도 24를 참조하여 설명한 제3 실시 형태의 경우와 마찬가지이다.
도 28의 플로우차트를 참조하여, 도 20의 스텝 S202에 있어서 실행되는, 이 경우의 가역 복호 처리의 흐름의 예를 설명한다. 이 도 28의 플로우차트는 도 25에 도시되는 플로우차트에 대응한다.
다음으로, 도 31의 플로우차트를 참조하여, 도 20의 스텝 S202에 있어서 실행되는, 이 경우의 가역 복호 처리의 흐름의 예를 설명한다. 이 도 31의 플로우차트는 도 25에 도시되는 플로우차트에 대응한다.
이 경우도, 제3 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 가역 복호 처리가 개시되면, 제어 정보 추출부(221)는, 스텝 S351에 있어서, 공급된 부호화 데이터가, 프레임(픽쳐)의 최초로 전송된 슬라이스인지의 여부를 판정한다.
제2 실시 형태의 경우와 마찬가지로 판정에 의해, 최초로 전송된 슬라이스라고 판정된 경우, 스텝 S352로 진행한다. 스텝 S352에 있어서, 제어 정보 추출부(221)는, 그 슬라이스 헤더에 부가된 포인터를 참조한다.
포인터를 참조하면, 스텝 S353으로 진행한다. 또한, 스텝 S351에 있어서, 공급된 부호화 데이터가, 프레임의 최초로 전송된 슬라이스가 아니라고 판정된 경우, 스텝 S353으로 진행한다.
스텝 S353에 있어서, 제어 정보 추출부(221)는, 현시점에서 제어 정보를 추출가능한지의 여부를 판정한다. 그 시점에 있어서, 부호화 데이터에 부가된 1픽쳐 분의 제어 정보가 이미 공급되어 있고, 추출 가능하다고 판정된 경우, 스텝 S354로 진행하고, 제어 정보 추출부(221)는, 그 1픽쳐 분의 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급한다.
제어 정보가 추출되면, 스텝 S355로 진행한다. 또한, 스텝 S353에 있어서, 제어 정보가 아직 공급되고 있지 않고, 추출 불가능이라고 판정된 경우, 스텝 S355로 진행한다.
스텝 S355에 있어서, 복호부(222)에 의해, 부호화 데이터의 처리 대상 슬라이스가 복호되면, 복호 데이터 유지부(223)는, 스텝 S356에 있어서, 복호되어 얻어진 복호 데이터를 유지한다.
스텝 S357에 있어서, 복호 데이터 유지부(223)는, 제어 정보 추출부(221)에 의해 제어 정보가 추출되었는지의 여부를 판정한다. 추출되었다고 판정된 경우, 복호 데이터 유지부(223)는, 스텝 S358로 진행하고, 유지하고 있는 복호 데이터의 역양자화부(203)에의 출력을 개시한다.
복호 데이터의 출력이 개시되면, 스텝 S359로 진행한다. 또한, 스텝 S357에 있어서, 현재 처리 중인 해당 프레임에 대해서, 제어 정보가 추출되어 있지 않다고 판정된 경우, 스텝 S359로 진행한다.
스텝 S359에 있어서, 제어 정보 추출부(221)는, 프레임 내의 모든 슬라이스를 처리했는지의 여부를 판정한다. 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S351로 되돌아가서, 미처리의 슬라이스에 대하여, 그 이후의 처리를 반복한다. 또한, 스텝 S359에 있어서, 프레임 내의 모든 슬라이스를 처리했다고 판정된 경우, 가역 복호 처리를 종료하고, 도 20의 스텝 S207로 되돌아가서, 스텝 S208 이후의 처리가 실행된다.
이상과 같이 가역 복호 처리를 행함으로써, 가역 복호부(202)는, 부호화 데이터에 부가된 포인터에 기초해서 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 적절하게 적응 필터 처리를 실행할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 처리 대상 슬라이스의, 디블록 필터에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
따라서, 화상 복호 장치(200)는, 제2 실시 형태의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 예를 들면, 화상의 각 프레임을 복수의 슬라이스로 나누어 처리하는 경우에도, 부호화 효율의 저감을 억제할 수 있다.
[기타의 예]
또한, 이상에 있어서는, 제어 정보가 부가되어 있는 위치를 나타내는 포인터가, 프레임의 최초로 전송되는 슬라이스의 슬라이스 헤더에 부가되는 것처럼 설명했지만, 포인터의 보충 위치는 임의이다. 예를 들면, 제3 실시 형태와 같이, 선두 슬라이스의 슬라이스 헤더에 제어 정보가 부가되도록 해도 되고, 제4 실시 형태와 같이, 미리 정해진 소정의 슬라이스에 제어 정보가 부가되도록 해도 된다.
또한, 상술한 포인터는, 어떠한 형태의 정보이어도 된다.
<6. 제6 실시 형태>
[제어 정보를 복수의 그룹으로 통합하는 예의 개요 설명]
이상에서는, 1픽쳐 분의 제어 정보를 1개로 통합하는 것처럼 설명했지만, 이것에 한하지 않고, 예를 들면, 1프레임의 슬라이스를 복수의 그룹으로 나누고, 그 그룹마다 제어 정보를 통합하도록 해도 된다.
예를 들면, 도 32에 있어서, 프레임(151) 내의 점선이 슬라이스의 경계를 나타내고, 실선이 복수의 슬라이스를 통합하는 그룹을 나타내고 있다. 각 슬라이스의 제어 정보는, 이 그룹마다 통합된다.
도 32에 있어서, 제어 정보(241-1)는, 프레임(151)의 위에서부터 1번째의 그룹에 속하는 슬라이스의 제어 정보를 통합한 것이다. 제어 정보(241-2)는, 프레임(151)의 위에서부터 2번째의 그룹에 속하는 슬라이스의 제어 정보를 통합한 것이다. 제어 정보(241-3)는, 프레임(151)의 위에서부터 3번째의 그룹에 속하는 슬라이스의 제어 정보를 통합한 것이다.
이들의 제어 정보는, 각각이 대응하는 그룹 중에서 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립된다.
도 32에 있어서, 제어 정보(241-1)는, 프레임(151)의 위에서부터 1번째의 그룹의 부호화 데이터(244-1)의, 최초로 전송되는 슬라이스A의 슬라이스 헤더인 슬라이스A 헤더(242-1)에 매립된다.
마찬가지로, 제어 정보(241-2)는, 프레임(151)의 위에서부터 2번째의 그룹의 부호화 데이터(244-2)의, 최초로 전송되는 슬라이스B의 슬라이스 헤더인 슬라이스B 헤더(242-2)에 매립된다.
마찬가지로, 제어 정보(241-3)는, 프레임(151)의 위에서부터 3번째의 그룹의 부호화 데이터(244-3)의, 최초로 전송되는 슬라이스C의 슬라이스 헤더인 슬라이스C 헤더(242-3)에 매립된다.
즉, 이 경우, 1프레임 분의 부호화 데이터에는, 복수의 제어 정보가 부가되게 되지만, 그룹 단위로 통합하고 있으므로, 슬라이스마다 제어 정보를 부가하는 경우보다, 용장성이 저감되고, 부호화 효율이 향상된다. 또한, 복수로 나누어 제어 정보가 부가되므로, 상술한 각 실시 형태의 경우보다, 전송시의 패킷 손실 등에 대한 내성이 강해진다.
또한, 이 복수 슬라이스로 이루어지는 그룹은, 미리 정해져 있다. 즉, 프레임 내의 슬라이스가 몇 개의 그룹으로 나눠지고, 어느 슬라이스가 어느 그룹에 속하는지는 미리 정해져 있다.
[부호화측]
이 경우의 화상 부호화 장치(100)에 대해서 설명한다. 이 경우의 화상 부호화 장치(100)의 가역 부호화부(106)의 구성은, 도 10을 참조하여 설명한 제1 실시 형태의 경우와 마찬가지이다.
도 33의 플로우차트를 참조하여, 이 경우의 가역 부호화 처리의 흐름의 예를 설명한다. 이 도 33의 플로우차트는 도 17에 도시되는 플로우차트에 대응한다.
이 경우도, 제1 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 도 13의 스텝 S116에 있어서 가역 부호화 처리가 개시되면, 스텝 S371 내지 스텝 S374의 각 처리가, 도 17의 스텝 S191 내지 스텝 S194의 각 처리와 마찬가지로 실행되고, 양자화된 계수 데이터가 슬라이스마다 부호화된다.
단, 이 경우, 제어 정보 부가부(184)는, 스텝 S374에 있어서, 프레임이 아니고, 그룹 단위로, 모든 슬라이스가 부호화되었는지의 여부를 판정한다. 즉, 제어 정보 부가부(184)는, 스텝 S374에 있어서, 부호화부(181)가 처리 대상 그룹에 속하는 모든 슬라이스를 부호화했는지의 여부를 판정한다.
처리 대상 그룹에 속하는 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S371로 되돌아가서, 미처리의 슬라이스에 대하여 그 이후의 처리가 반복된다. 또한, 스텝 S374에 있어서, 부호화부(181)가 처리 대상 그룹에 속하는 모든 슬라이스를 부호화했다고 판정된 경우, 스텝 S375로 진행한다.
스텝 S375에 있어서, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를, 부호화 데이터 유지부(182)에 유지되어 있는 1그룹 분의 부호화 데이터의, 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립한다. 이때, 제어 정보 부가부(184)는, 제어 정보 유지부(183)에 유지되어 있는 제어 정보를 취득해서 통합하고, 부호화 데이터가 속하는 그룹의 제어 정보(1그룹 분의 제어 정보)를 생성한다. 제어 정보 부가부(184)는, 그 1그룹 분의 제어 정보를, 그룹에서 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립한다.
제어 정보를 부호화 데이터에 부가한 제어 정보 부가부(184)는, 스텝 S376에 있어서, 그 1그룹 분의 부호화 데이터를 소정순으로 출력한다. 1그룹 분의 부호화 데이터를 출력하면, 가역 부호화부(106)는, 스텝 S377에 있어서, 프레임 내의 모든 그룹을 처리했는지의 여부를 판정한다.
미처리의 그룹이 존재한다고 판정된 경우, 스텝 S371로 되돌아가서, 미처리의 그룹에 대하여 그 이후의 처리를 반복한다. 또한, 스텝 S377에 있어서, 프레임 내의 모든 그룹이 처리되었다고 판정된 경우, 가역 부호화부(106)는, 가역 부호화 처리를 종료하고, 도 13의 스텝 S116으로 되돌아가서, 스텝 S117 이후의 처리로 진행한다.
이상과 같은 가역 부호화 처리를 행함으로써, 화상 부호화 장치(100)는, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 또한, 패킷 손실 등에 대한 내성도 향상시킬 수 있다.
[복호측]
다음으로, 본 실시 형태의 화상 복호 장치(200)에 대해서 설명한다. 이 경우, 화상 복호 장치(200)의 가역 복호부(202)는, 프레임(픽쳐) 단위가 아니고, 그룹 단위로 제어 정보를 추출하면 된다. 따라서, 이 경우의 가역 복호부(202)는, 도 19를 참조하여 설명한 제2 실시 형태의 경우의 가역 복호부(202)와 마찬가지의 구성을 갖는다.
또한, 가역 복호부(202)에 의한 가역 복호 처리도, 프레임(픽쳐) 단위인 부분을 그룹 단위로 하는 것 이외에, 도 21의 플로우차트를 참조하여 설명한 예와 마찬가지로 실행할 수 있다.
이상과 같이 가역 복호부(202)는, 부호화 데이터에 부가된 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 적절하게 적응 필터 처리를 실행할 수 있다.
[기타의 예]
또한, 이상에서는, 제어 정보가, 각 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더에 부가되는 것처럼 설명했지만, 이 제어 정보의 보충 위치는 임의이다. 예를 들면, 제3 실시 형태와 같이, 각 그룹의 선두 슬라이스의 슬라이스 헤더에 제어 정보가 부가되도록 해도 되고, 제4 실시 형태와 같이, 각 그룹의 미리 정해진 소정의 슬라이스에 제어 정보가 부가되도록 해도 된다.
<7. 제7 실시 형태>
[그룹수를 제어하는 예의 개요 설명]
제6 실시 형태에 있어서는, 제어 정보를 통합하는 단위로서, 복수의 슬라이스로 이루어지는 그룹에 대해서 설명했지만, 화상 부호화 장치(100)가, 예를 들면 프레임마다나 GOP마다 등, 소정의 단위마다 이 그룹을 정의하도록 해도 된다. 즉, 이 경우, 화상 부호화 장치(100)가, 예를 들면 프레임마다, 어느 슬라이스가 어느 그룹에 속하고, 1프레임에 몇 개의 그룹을 형성할지(제어 정보를 1프레임당 몇 개로 집약할지)를 정의한다.
[부호화측]
이 경우의, 화상 부호화 장치(100)에 대해서 설명한다. 도 34는 이 경우의 화상 부호화 장치(100)의 가역 부호화부(106)의 구성예를 도시하는 블록도이다.
도 34에 도시되는 바와 같이, 이 경우의 가역 부호화부(106)는, 제1 실시 형태의 경우와 마찬가지로, 부호화부(181) 내지 제어 정보 부가부(184)를 갖는다. 단, 이 경우의 부호화부(106)는 또한 제어부(251)를 갖는다.
제어부(251)는, 그룹의 정의를 행하고, 처리 대상 프레임 내의 그룹수를 결정한다. 바꾸어 말하면, 제어부(251)는, 부호화 데이터에 매립되는 각 제어 정보가 대응하는 데이터의 범위를 결정한다.
제어부(251)는, 부호화부(181) 및 제어 정보 부가부(184)를 제어하고, 각 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더에, 해당 그룹에 대응하는 제어 정보를 매립시킨다.
도 35의 플로우차트를 참조하여, 이 경우의 가역 부호화 처리의 흐름의 예를 설명한다. 이 도 35의 플로우차트는 도 33에 도시되는 플로우차트에 대응한다.
이 경우도, 제6 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 도 13의 스텝 S116에 있어서 가역 부호화 처리가 개시되면, 스텝 S391에 있어서, 제어부(251)는, 처리 대상 프레임에 대해서 그룹의 정의를 행하고, 그룹수를 설정한다. 제어부(251)는, 그 그룹에 관한 설정에 기초하여, 부호화부(181) 및 제어 정보 부가부(184)를 제어한다.
스텝 S391에 있어서 행하여진 그룹의 설정에 따라, 스텝 S392 내지 스텝 S398의 각 처리가 실행된다. 즉, 그룹이 설정된 후의 스텝 S392 내지 스텝 S398의 각 처리는, 도 33의 스텝 S371 내지 스텝 S377의 각 처리와 마찬가지로 실행된다.
이상과 같은 가역 부호화 처리를 행함으로써, 화상 부호화 장치(100)는, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 또한, 패킷 손실 등에 대한 내성도 향상시킬 수 있다.
[복호측]
다음으로, 본 실시 형태의 화상 복호 장치(200)에 대해서 설명한다. 도 36은, 이 경우의, 화상 복호 장치(200)의 가역 복호부(202)의 구성예를 도시하는 블록도이다.
이 경우, 화상 복호 장치(200)의 가역 복호부(202)는, 프레임(픽쳐) 단위가 아니라, 그룹 단위로 제어 정보를 추출한다. 따라서, 이 경우의 가역 복호부(202)는, 도 36에 도시되는 바와 같이, 예를 들면 도 24를 참조하여 설명한 제3 실시 형태의 경우의 가역 복호부(202)와 마찬가지로, 제어 정보 추출부(221) 내지 복호 데이터 유지부(223)를 갖는다. 단, 이 경우, 화상 복호 장치(200)는, 처리 대상 프레임 내의 그룹수를 파악하고 있지 않으므로, 각 슬라이스 헤더를 해석하고, 제어 정보를 검색한다. 따라서, 이 경우, 가역 복호부(202)는, 도 36에 도시되는 바와 같이, 헤더 해석부(261)를 더 갖는다.
헤더 해석부(261)는, 공급되는 부호화 데이터의 각 슬라이스 헤더를 참조하여, 제어 정보를 검색한다. 제어 정보 추출부(221)는, 그 해석 결과에 기초해서 제어 정보의 추출을 행한다. 또한, 각 부는, 제6 실시 형태의 경우와 마찬가지로, 그룹마다 처리를 행한다.
다음으로, 도 37의 플로우차트를 참조하여, 도 20의 스텝 S202에 있어서 실행되는, 이 경우의 가역 복호 처리의 흐름의 예를 설명한다. 이 도 37의 플로우차트는, 도 25에 도시되는 플로우차트에 대응한다.
이 경우도, 제3 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 가역 복호 처리가 개시되면, 헤더 해석부(261)는, 스텝 S411에 있어서, 공급된 부호화 데이터의 처리 대상 슬라이스의 슬라이스 헤더를 참조하여, 그 슬라이스 헤더에 제어 정보가 존재하는지의 여부를 판정한다. 처리 대상 슬라이스가 그룹의 최초로 전송되는 슬라이스이며, 그 슬라이스 헤더에 해당 그룹의 제어 정보를 포함한다고 판정된 경우, 스텝 S412로 진행한다.
스텝 S412에 있어서, 제어 정보 추출부(221)는, 그 슬라이스 헤더로부터 1그룹 분의 제어 정보를 추출한다. 제어 정보가 추출되면, 스텝 S413으로 진행한다. 또한, 스텝 S411에 있어서, 슬라이스 헤더에 제어 정보가 존재하지 않는다고 판정된 경우, 스텝 S413으로 진행한다.
스텝 S413 내지 스텝 S417의 각 처리는, 도 25의 스텝 S273 내지 스텝 S277의 각 처리와 마찬가지로 실행된다.
이상과 같이 가역 복호부(202)는, 부호화 데이터에 부가된 제어 정보를 추출하여, 적응 필터 처리부(207)에 공급할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 적절하게 적응 필터 처리를 실행할 수 있다.
[그룹수의 제어]
다음으로, 그룹수의 제어에 대해서 설명한다.
일반적으로 그룹수를 늘리면(1프레임당의 제어 정보의 수를 늘리면), 제어 정보의 용장도가 높아지고, 부호화 데이터의 부호화 효율이 저하한다. 이에 의해, 화상 복호 장치(200)에 있어서 처리해야 할 정보량이 증대한다. 또한, 제어 정보를 추출하는 횟수도 증대한다. 따라서, 화상 복호 장치(200)의 부하가 증대할 가능성이 있다. 단, 1개의 제어 정보의 정보량이 작아지므로, 필요한 메모리량이 저감된다.
이것에 대하여, 화상 부호화 장치(100)는, 그룹수를 늘리는 것에 의해, 보다 작은 단위로 부호화 데이터를 출력할 수 있게 된다. 즉, 부호화 처리의 지연 시간을 저감시킬 수 있다. 또한, 이 경우, 부호화 데이터가 고빈도로 출력되므로, 필요한 메모리량이 저감된다.
반대로, 그룹수를 저감시키면(1프레임당의 제어 정보의 수를 줄이면), 제어 정보의 용장도가 낮아지고, 부호화 데이터의 부호화 효율이 향상한다. 이에 의해, 화상 복호 장치(200)에 있어서 처리해야 할 정보량이 저감한다. 또한, 제어 정보를 추출하는 횟수도 저감한다. 따라서, 화상 복호 장치(200)의 부하가 저감할 가능성이 있다. 단, 1개의 제어 정보의 정보량이 커지므로, 필요한 메모리량이 증대한다.
이것에 대하여, 화상 부호화 장치(100)는, 그룹수를 줄이는 것에 의해, 보다 큰 단위로 부호화 데이터를 출력하게 된다. 즉, 부호화 처리의 지연 시간이 증대한다. 또한, 이 경우, 부호화 데이터가 저빈도로 출력되게 되므로, 필요한 메모리량이 증대한다.
이상과 같이, 그룹수의 증감에 의해, 각종 파라미터가 변화한다. 따라서, 최적인 그룹수는, 하드웨어 자원이나 이용 목적 등의 시스템의 사양에 따라 결정된다.
예를 들면, 화상 부호화 장치(100)가 생성한 부호화 데이터를 서버 등에 보존하고, 예를 들면 화상 복호 장치(200)로부터의 요구에 기초하여, 그 부호화 데이터를 제공하는 시스템의 경우, 화상 부호화 장치(100)에 있어서의 지연 시간의 증대는, 부호화 데이터의 제공에 대부분 영향을 미치지 않는다. 이러한 시스템의 경우, 부호화 처리의 지연 시간의 저감보다, 복호 처리의 부하의 저감을 억제시키는 것을 우선해야 한다.
또한, 예를 들면, 촬영 등에 의해 생성된 화상 데이터를, 즉시적(리얼타임)으로, 화상 부호화 장치(100)에 의해 부호화하고, 부호화 데이터를 전송하고, 화상 복호 장치(200)에 의해 그 부호화 데이터를 복호하고, 복호 화상을 표시하는 시스템의 경우, 각 처리의 지연 시간의 억제가 가장 중요하게 된다.
또한, 화상 복호 장치(200)의 처리 능력이 낮은 경우, 복호 처리의 부하를 억제하는 것을 우선시키는 것이 바람직하다. 반대로, 화상 부호화 장치(100)의 처리 능력이 낮은 경우, 부호화 처리의 부하의 억제를 우선시키는 것이 바람직하다. 또한 화상 데이터의 비트 레이트나 전송로의 사용 가능한 대역 폭 등에 따라 부호화 효율의 향상을 우선해야 하는 경우도 생각된다.
이와 같이, 지연 시간, 부호화 효율, 처리의 부하 및 메모리 용량 등, 다양한 파라미터의 최적인 값은, 시스템의 사양에 따라 상이하다. 따라서, 제어부(251)는, 시스템의 사양에 대하여 각종 파라미터가 최적으로 되도록, 그룹의 설정을 행한다. 이에 의해, 보다 다양한 시스템에 적용할 수 있다.
또한, 이 그룹의 설정을 위해, 화상 부호화 장치(100) 또는 화상 복호 장치(200)가, 시스템 내의 다른 장치의 하드웨어 자원이나, 전송로에 관한 정보를 수집하거나, 다른 장치와 각종 정보를 교환하거나 하도록 해도 된다.
또한, 1프레임의 그룹수는 1 이상이면 몇 개이어도 된다. 또한, 그룹수의 제어는, 프레임 단위 이외이어도 된다. 예를 들면 GOP 단위 등이어도 된다.
또한, 이상에 있어서는, 제어 정보가, 각 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더에 부가되는 것처럼 설명했지만, 이 제어 정보의 보충 위치는 임의이다. 예를 들면, 제3 실시 형태와 같이, 각 그룹의 선두 슬라이스의 슬라이스 헤더에 제어 정보가 부가되도록 해도 되고, 제4 실시 형태와 같이, 각 그룹의 미리 정해진 소정의 슬라이스에 제어 정보가 부가되도록 해도 된다.
또한, 이 제어 정보를 매립하는 슬라이스(슬라이스 헤더)를, 화상 부호화 장치(100)가 설정하도록 해도 된다. 예를 들면 프레임 단위나 GOP 단위 등, 임의의 단위로 이러한 설정을 행하도록 해도 된다. 또한, 부정기적으로 행하도록 해도 된다.
이상의 각 실시 형태에서는, 슬라이스를 단위로 해서 프레임 내의 제어 정보를, 1개 또는 복수로 통합하는 것처럼 설명했지만, 이 제어 정보가 통합하는 단위는 임의이다. 예를 들면, 슬라이스보다 작은 단위, 예를 들면, 매크로 블록을 단위로 해서 행하도록 해도 된다. 즉, 매크로 블록마다의 제어 정보를 복수 통합해서 그룹마다의 제어 정보를 생성하도록 해도 된다.
<8. 제8 실시 형태>
[요소마다 독립해서 그룹화하는 예의 개요 설명]
이상에 있어서는, 제어 정보를 구성하는 필터 계수, 블록 사이즈 및 필터 블록 플래그의 각 요소를 서로 동일한 단위로 통합하는 것처럼 설명했지만, 이들의 각 요소를, 서로 독립된 단위로 통합하도록 해도 된다. 즉, 필터 계수, 블록 사이즈 및 필터 블록 플래그의 각 요소를 서로 독립해서 그룹화하도록 해도 된다.
이 경우, 각 필터 계수의 그룹이 대응하는 화상의 범위(슬라이스)와, 각 블록 사이즈의 그룹이 대응하는 화상의 범위(슬라이스)와, 각 필터 블록 플래그가 대응하는 그룹의 화상의 범위(슬라이스)가 서로 독립해서 설정되어 있으므로, 그들의 정보가 저장되는 슬라이스 헤더도 서로 상이한 경우가 있을 수 있다.
따라서, 이 경우, 화상 부호화 장치(100) 및 화상 복호 장치(200)는, 필터 계수, 블록 사이즈 및 필터 블록 플래그의 각 요소에 대해서, 각각 상술한 제어 정보의 경우와 마찬가지의 처리를 행할 필요가 있다.
[부호화측]
이 경우의, 화상 부호화 장치(100)에 대해서 설명한다. 도 38은 이 경우의 화상 부호화 장치(100)의 가역 부호화부(106)의 구성예를 도시하는 블록도이다.
도 38에 도시되는 바와 같이, 이 경우의 가역 부호화부(106)는, 제1 실시 형태의 경우와 마찬가지로, 부호화부(181) 내지 제어 정보 유지부(183)를 갖는다. 또한, 이 경우의 부호화부(106)는, 또한 제어 정보 부가부(184) 대신에 제어 정보 부가부(281)를 갖는다.
제어 정보 부가부(281)는, 필터 계수, 블록 사이즈 및 필터 블록 플래그의 각 요소를, 서로 독립해서 설정된 그룹마다 부호화 데이터의 슬라이스 헤더에 매립한다. 제어 정보 부가부(281)는, 플래그 부가부(291), 블록 사이즈 부가부(292), 및 필터 계수 부가부(293)를 갖는다.
플래그 부가부(291)는, 처리 대상 플래그 그룹의 필터 블록 플래그를, 처리 대상 플래그 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더에 부가한다. 플래그 그룹이란, 서로 동일한 슬라이스 헤더에 매립되는 1조의 필터 블록 플래그가 대응하는 슬라이스의 그룹이다.
블록 사이즈 부가부(292)는, 처리 대상 블록 사이즈 그룹의 블록 사이즈를, 처리 대상 블록 사이즈 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더에 부가한다. 블록 사이즈 그룹이란, 서로 동일한 슬라이스 헤더에 매립되는 1조의 블록 사이즈가 대응하는 슬라이스의 그룹이다.
필터 계수 부가부(293)는, 처리 대상 필터 계수 그룹의 필터 계수를, 처리 대상 필터 계수 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더에 부가한다. 필터 계수 그룹이란, 서로 동일한 슬라이스 헤더에 매립되는 1조의 필터 계수가 대응하는 슬라이스의 그룹이다.
도 39의 플로우차트를 참조하여, 이 경우의 가역 부호화 처리의 흐름의 예를 설명한다. 이 도 39의 플로우차트는 도 33에 도시되는 플로우차트에 대응한다.
이 경우도, 제6 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 도 13의 스텝 S116에 있어서 가역 부호화 처리가 개시되면, 스텝 S431 내지 스텝 S433의 각 처리가, 도 33의 스텝 S371 내지 스텝 S373의 각 처리와 마찬가지로 실행된다.
스텝 S434에 있어서, 제어 정보 부가부(281)의 플래그 부가부(291)는, 부호화부(181)가 처리 대상 플래그 그룹의 모든 슬라이스를 부호화했는지의 여부를 판정한다. 모든 슬라이스를 부호화했다고 판정된 경우, 스텝 S435로 진행한다.
스텝 S435에 있어서, 플래그 부가부(291)는, 1플래그 그룹 분의 필터 블록 플래그를 그 처리 대상 플래그 그룹 내에서 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립한다.
필터 블록 플래그의 보충이 종료하면, 스텝 S436으로 진행한다. 또한, 스텝 S434에 있어서, 처리 대상 플래그 그룹에 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S436으로 진행한다.
스텝 S436에 있어서, 제어 정보 부가부(281)의 블록 사이즈 부가부(292)는, 부호화부(181)가 처리 대상 플래그 그룹의 모든 슬라이스를 부호화했는지의 여부를 판정한다. 모든 슬라이스를 부호화했다고 판정된 경우, 스텝 S437로 진행한다.
스텝 S437에 있어서, 블록 사이즈 부가부(292)는, 1블록 사이즈 그룹 분의 블록 사이즈를 그 처리 대상 블록 사이즈 그룹 내에서 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립한다.
블록 사이즈의 보충이 종료하면, 스텝 S438로 진행한다. 또한, 스텝 S438에 있어서, 처리 대상 블록 사이즈 그룹에 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S438로 진행한다.
스텝 S438에 있어서, 제어 정보 부가부(281)의 필터 계수 부가부(293)는, 부호화부(181)가 처리 대상 필터 계수 그룹의 모든 슬라이스를 부호화했는지의 여부를 판정한다. 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S431로 되돌아가서, 그 이후의 처리가 반복된다.
또한, 스텝 S438에 있어서, 모든 슬라이스를 부호화했다고 판정된 경우, 스텝 S439로 진행한다. 스텝 S439에 있어서, 필터 계수 부가부(293)는, 1필터 계수 그룹 분의 필터 계수를 그 처리 대상 필터 계수 그룹 내에서 최초로 전송되는 슬라이스의 슬라이스 헤더에 매립한다.
필터 계수의 보충이 종료하면, 스텝 S440으로 진행한다. 스텝 S440에 있어서, 제어 정보 부가부(281)는, 부호화 데이터를 소정순으로 출력한다. 스텝 S441에 있어서, 가역 부호화부(106)는, 프레임 내의 모든 그룹을 처리했는지의 여부를 판정한다. 미처리의 그룹이 존재한다고 판정된 경우, 스텝 S431로 되돌아가서, 그 이후의 처리가 반복된다.
또한, 스텝 S441에 있어서, 프레임 내의 모든 그룹이 처리되었다고 판정된 경우, 가역 부호화부(106)는, 가역 부호화 처리를 종료하고, 도 13의 스텝 S116으로 되돌아가서, 스텝 S117 이후의 처리로 진행한다.
이상과 같은 가역 부호화 처리를 행함으로써, 가역 부호화부(106)는, 제어 정보의 각 요소를, 각각에 있어서 보다 적절한 단위로 부가할 수 있다. 이에 의해, 화상 부호화 장치(100)는, 예를 들면 부호화 효율, 지연 시간, 부하량 등의 각종 요소를 보다 적절하게 제어할 수 있다.
[복호측]
다음으로, 본 실시 형태의 화상 복호 장치(200)에 대해서 설명한다. 이 경우, 화상 복호 장치(200)의 가역 복호부(202)는, 필터 계수, 블록 사이즈 및 필터 블록 플래그의 각 요소를, 프레임(픽쳐) 단위가 아니라, 각각의 그룹 단위로 추출한다.
도 40은 이 경우의 화상 복호 장치(200)의 가역 복호부(202)의 구성예를 도시하는 블록도이다. 도 40에 도시되는 바와 같이, 이 경우의 가역 복호부(202)는, 제3 실시 형태의 경우와 마찬가지로, 복호부(222) 및 복호 데이터 유지부(223)를 갖는다. 또한, 이 경우의 복호부(222)는, 또한 제어 정보 추출부(221) 대신에 제어 정보 추출부(301)를 갖는다.
제어 정보 추출부(301)는, 필터 계수, 블록 사이즈 및 필터 블록 플래그의 각 요소를 부호화 데이터의 슬라이스 헤더로부터 추출한다. 제어 정보 추출부(301)는, 플래그 추출부(311), 블록 사이즈 추출부(312) 및 필터 계수 추출부(313)를 갖는다.
플래그 추출부(311)는, 처리 대상 플래그 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더로부터, 그 처리 대상 플래그 그룹의 필터 블록 플래그를 추출한다.
블록 사이즈 추출부(312)는, 처리 대상 블록 사이즈 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더로부터, 그 처리 대상 블록 사이즈 그룹의 블록 사이즈를 추출한다.
필터 계수 추출부(313)는, 처리 대상 필터 계수 그룹의 최초로 전송되는 슬라이스의 슬라이스 헤더로부터, 그 처리 대상 필터 계수 그룹의 필터 계수를 추출한다.
다음으로, 도 41의 플로우차트를 참조하여, 도 20의 스텝 S202에 있어서 실행되는, 이 경우의 가역 복호 처리의 흐름의 예를 설명한다. 이 도 41의 플로우차트는 도 25에 도시되는 플로우차트에 대응한다.
이 경우도, 제2 실시 형태의 경우와 기본적으로 마찬가지로 처리가 행하여진다. 즉, 가역 복호 처리가 개시되면, 제어 정보 추출부(301)의 플래그 추출부(311)는, 스텝 S461에 있어서, 공급된 부호화 데이터가, 처리 대상 플래그 그룹의 최초로 전송된 슬라이스인지의 여부를 판정한다. 처리 대상 플래그 그룹의 최초로 전송된 슬라이스라고 판정된 경우, 스텝 S462로 진행한다.
스텝 S462에 있어서, 플래그 추출부(311)는, 처리 대상 슬라이스의 슬라이스 헤더로부터, 1플래그 그룹 분의 필터 블록 플래그를 추출한다.
필터 블록 플래그가 추출되면, 스텝 S463으로 진행한다. 또한, 스텝 S461에 있어서, 처리 대상 플래그 그룹의 최초로 전송된 슬라이스가 아니라고 판정된 경우, 스텝 S463으로 진행한다.
스텝 S463에 있어서, 제어 정보 추출부(301)의 블록 사이즈 추출부(312)는, 공급된 부호화 데이터가, 처리 대상 블록 사이즈 그룹의 최초로 전송된 슬라이스인지의 여부를 판정한다. 처리 대상 블록 사이즈 그룹의 최초로 전송된 슬라이스라고 판정된 경우, 스텝 S464로 진행한다.
스텝 S464에 있어서, 블록 사이즈 추출부(312)는, 처리 대상 슬라이스의 슬라이스 헤더로부터, 1블록 사이즈 그룹 분의 블록 사이즈를 추출한다.
블록 사이즈가 추출되면, 스텝 S465로 진행한다. 또한, 스텝 S463에 있어서, 처리 대상 블록 사이즈 그룹의 최초로 전송된 슬라이스가 아니라고 판정된 경우, 스텝 S465로 진행한다.
스텝 S465에 있어서, 제어 정보 추출부(301)의 필터 계수 추출부(313)는, 공급된 부호화 데이터가, 처리 대상 필터 계수 그룹의 최초로 전송된 슬라이스인지의 여부를 판정한다. 처리 대상 필터 계수 그룹의 최초로 전송된 슬라이스라고 판정된 경우, 스텝 S466으로 진행한다.
스텝 S466에 있어서, 필터 계수 추출부(313)는, 처리 대상 슬라이스의 슬라이스 헤더로부터, 1필터 계수 그룹 분의 필터 계수를 추출한다.
필터 계수가 추출되면, 스텝 S467로 진행한다. 또한, 스텝 S465에 있어서, 처리 대상 필터 계수 그룹의 최초로 전송된 슬라이스가 아니라고 판정된 경우, 스텝 S467로 진행한다.
스텝 S467에 있어서, 복호부(222)는, 부호화 데이터의 처리 대상 슬라이스를 복호한다. 스텝 S468에 있어서, 복호 데이터 유지부(223)는, 복호되어 얻어진 복호 데이터를 유지한다.
스텝 S469에 있어서, 복호 데이터 유지부(223)는, 제어 정보 추출부(301)에 의해 제어 정보의 요소(필터 블록 플래그, 블록 사이즈 및 필터 계수)가 모두 추출된 슬라이스가 존재하는지의 여부를 판정한다. 추출되었다고 판정된 경우, 복호 데이터 유지부(223)는, 스텝 S470으로 진행하고, 유지하고 있는 복호 데이터의, 제어 정보의 모든 요소가 추출된 슬라이스의 역양자화부(203)에의 출력을 개시한다.
복호 데이터의 출력이 개시되면, 스텝 S471로 진행한다. 또한, 스텝 S469에 있어서, 제어 정보의 모든 요소가 추출된 슬라이스가 존재하지 않는다고 판정된 경우, 스텝 S471로 진행한다.
스텝 S471에 있어서, 제어 정보 추출부(301)는, 프레임 내의 모든 슬라이스를 처리했는지의 여부를 판정한다. 미처리의 슬라이스가 존재한다고 판정된 경우, 스텝 S461로 되돌아가서, 미처리의 슬라이스에 대하여, 그 이후의 처리를 반복한다. 또한, 스텝 S471에 있어서, 프레임 내의 모든 슬라이스를 처리했다고 판정된 경우, 가역 복호 처리를 종료하고, 도 20의 스텝 S207로 되돌아가서, 스텝 S208 이후의 처리가 실행된다.
이상과 같이 가역 복호 처리를 행함으로써, 가역 복호부(202)는, 부호화 데이터에 서로 독립해서 부가된 제어 정보의 각 요소를 추출하여, 적응 필터 처리부(207)에 공급할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 적절하게 적응 필터 처리를 실행할 수 있다. 이에 의해, 적응 필터 처리부(207)는, 처리 대상 슬라이스의, 디블록 필터에 의해 전부 제거할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
[기타의 예]
물론, 이 경우도, 필터 계수, 블록 사이즈 및 필터 블록 플래그 등의 각 요소를, 각 요소의 그룹의 선두 슬라이스의 슬라이스 헤더에 매립하도록 해도 되고, 그 밖의 소정의 슬라이스의 슬라이스 헤더에 매립하도록 해도 된다.
또한, 각 요소의 그룹을 예를 들면 GOP나 프레임마다 설정하도록 하고, 각 요소의 그룹수를 시간 방향으로 변화 가능하게 하도록 해도 된다.
<9. 제9 실시 형태>
[QALF의 설명]
비특허 문헌 3에 도시되는 바와 같이, ALF 블록을 쿼드 트리 구조로 해도 된다. 이 기술은 QALF(Quad tree-based Adaptive Loop Filter)라고 칭한다. 쿼드 트리 구조란, 하위 계층에 있어서 1개 상위의 계층의 1개의 ALF 블록의 영역이 4분할되는 계층 구조이다.
도 42에 ALF 블록 분할을 최대 레이어수가 3인 쿼드 트리 구조에 의해 표현하고, 각 ALF 블록에 필터 블록 플래그를 지정하는 예를 나타낸다.
도 42의 A는, 쿼드 트리 구조의 근본이 되는 ALF 블록인 레이어0을 나타낸다. 쿼드 트리 구조에 있어서 각 ALF 블록은, 하위의 계층에 있어서 4분할되는지의 여부를 나타내는 블록 파티셔닝 플래그를 갖고 있다. 도 42의 A에 도시되는 ALF 블록의 블록 파티셔닝 플래그의 값은 「1」이다. 즉, 이 ALF 블록은, 하위의 계층(레이어1)에 있어서 4분할된다. 도 42의 B는 그 레이어1을 나타낸다. 즉, 레이어1에는, 4개의 ALF 블록이 형성된다.
블록 파티셔닝 플래그가 「0」인 경우, 이것보다 하위의 계층에 있어서 4분할되지 않는다. 즉, 이 이상의 분할은 없고, 그 ALF 블록에 대하여 필터 블록 플래그가 생성된다. 즉, 블록 파티셔닝 플래그가 「0」인 ALF 블록은, 필터 블록 플래그도 갖는다. 도 42의 B에 도시되는 「0-1」의 좌측의 「0」이, 그 ALF 블록의 블록 파티셔닝 플래그를 나타내고, 우측의 「1」이, 그 ALF 블록의 필터 블록 플래그를 나타낸다.
레이어1의 블록 파티셔닝 플래그가 「1」인 2개의 ALF 블록은, 더 하위의 계층(레이어2)에 있어서 4분할된다. 도 42의 C는 그 레이어2를 나타낸다. 즉, 레이어2에는, 10개의 ALF 블록이 형성된다.
마찬가지로, 레이어2에 있어서 블록 파티셔닝 플래그가 「0」인 ALF 블록에는, 필터 블록 플래그도 할당된다. 도 42의 C에 있어서는, 1개의 ALF 블록의 블록 파티셔닝 플래그가 「1」이다. 즉, 그 ALF 블록은, 더 하위의 계층(레이어3)에 있어서 4분할된다. 도 42의 D는 그 레이어3을 나타낸다. 즉, 레이어3에는 13개의 ALF 블록이 형성된다.
도 42와 같이 쿼드 트리화함으로써, ALF 블록의 구성은, 최종적으로 도 43에 도시되게 된다. 이와 같이, 쿼드 트리 구조에 있어서는, ALF 블록의 사이즈는, 그 계층마다 상이하다. 즉, ALF 블록은, 쿼드 트리 구조를 취하는 것에 의해, 프레임 내에 있어서 그 크기를 서로 상이한 것으로 할 수 있다.
각 ALF 블록에 있어서의 필터 블록 플래그의 제어는, 제1 실시 형태의 경우와 마찬가지이다. 즉, 필터 블록 플래그의 값이 「0」인 ALF 블록의 영역(도 43의 사선 모양 부분)은, 필터 처리가 행하여지지 않는다.
멀티 슬라이스의 경우에 부호화 효율이 저감할 우려가 있다고 하는 문제는, ALF 블록의 표현을 개량한 QALF에서도 동일한 문제가 발생한다.
도 44는 도 5의 슬라이스1의 영역을 QALF의 기술을 사용해서 부호화하는 예를 나타내고 있다.
여기서 태선(421)의 영역은 슬라이스1의 영역을 나타낸다. QALF(411) 전체의 제어 정보를, 태선(421)으로 도시되는 바와 같이, 슬라이스마다 나누어, 복수의 제어 정보로 하고, 그들을 부호화 데이터에 부가하도록 하면, 그 제어 정보간에서 중복되는 정보가 생기게 된다.
그래서, QALF의 경우도, 화상 부호화 장치(100)는, 제1 실시 형태에 있어서 설명한 BALF의 경우와 마찬가지의 방법에 의해, 복수의 슬라이스의 제어 정보를, 부호화 데이터의 1개의 슬라이스 헤더에 포함시키도록 한다. 화상 복호 장치(200)도, BALF의 경우와 마찬가지로, 그 제어 정보를 추출하여, 적응 필터 처리를 행하도록 한다.
이와 같이 함으로써, 부호화 데이터에 부가되는 제어 정보의 용장도가 억제되기 때문에, 슬라이스마다 제어 정보를 매립하는 경우보다, 부호화 효율을 향상시킬 수 있다.
<10. 제10 실시 형태>
[퍼스널 컴퓨터]
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 도 45에 도시되는 바와 같은 퍼스널 컴퓨터로서 구성되도록 해도 된다.
도 45에 있어서, 퍼스널 컴퓨터(500)의 CPU(501)는, ROM(Read Only Memory)(502)에 기억되어 있는 프로그램, 또는 기억부(513)로부터 RAM(Random Access Memory)(503)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(501), ROM(502), 및 RAM(503)은, 버스(504)를 거쳐서 서로 접속되어 있다. 이 버스(504)에는 또한, 입출력 인터페이스(510)도 접속되어 있다.
입출력 인터페이스(510)에는, 키보드, 마우스 등으로 이루어지는 입력부(511), CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(512), 하드디스크 등으로 구성되는 기억부(513), 모뎀 등으로 구성되는 통신부(514)가 접속되어 있다. 통신부(514)는, 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(510)에는 또한 필요에 따라 드라이브(515)가 접속되고, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(521)가 적절히 장착되고, 그들로부터 읽어내어진 컴퓨터 프로그램이, 필요에 따라 기억부(513)에 인스톨된다.
상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 예를 들면, 도 45에 도시되는 바와 같이, 장치 본체와는 달리, 유저에게 프로그램을 배신하기 위해서 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(521)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태로 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(502)이나, 기억부(513)에 포함되는 하드디스크 등으로 구성된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 이상에 있어서, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 1개의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다. 즉, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변경이 가능하다.
예를 들면, 상술한 화상 부호화 장치(100)나 화상 복호 장치(200)는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대해서 설명한다.
<11. 제11 실시 형태>
[텔레비전 수상기]
도 46은 본 발명을 적용한 화상 복호 장치(200)를 이용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 46에 도시되는 텔레비전 수상기(1000)는, 지상파 튜너(1013), 비디오 디코더(1015), 영상 신호 처리 회로(1018), 그래픽 생성 회로(1019), 패널 구동 회로(1020) 및 표시 패널(1021)을 갖는다.
지상파 튜너(1013)는, 지상 아날로그 방송의 방송파 신호를, 안테나를 거쳐서 수신하고, 복조하고, 영상 신호를 취득하고, 그것을 비디오 디코더(1015)에 공급한다. 비디오 디코더(1015)는, 지상파 튜너(1013)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(1018)에 공급한다.
영상 신호 처리 회로(1018)는, 비디오 디코더(1015)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(1019)에 공급한다.
그래픽 생성 회로(1019)는, 표시 패널(1021)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 거쳐서 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(1020)에 공급한다. 또한, 그래픽 생성 회로(1019)는, 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩시키거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(1020)에 공급하는 등의 처리도 적절히 행한다.
패널 구동 회로(1020)는, 그래픽 생성 회로(1019)로부터 공급된 데이터에 기초해서 표시 패널(1021)을 구동하고, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(1021)에 표시시킨다.
표시 패널(1021)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(1020)에 의한 제어에 따라 프로그램의 영상 등을 표시시킨다.
또한, 텔레비전 수상기(1000)는, 음성 A/D(Analog/Digital) 변환 회로(1014), 음성 신호 처리 회로(1022), 에코 캔슬/음성 합성 회로(1023), 음성 증폭 회로(1024), 및 스피커(1025)도 갖는다.
지상파 튜너(1013)는, 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(1013)는, 취득한 음성 신호를 음성 A/D 변환 회로(1014)에 공급한다.
음성 A/D 변환 회로(1014)는, 지상파 튜너(1013)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(1022)에 공급한다.
음성 신호 처리 회로(1022)는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 신호 처리 회로(1022)로부터 공급된 음성 데이터를 음성 증폭 회로(1024)에 공급한다.
음성 증폭 회로(1024)는, 에코 캔슬/음성 합성 회로(1023)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하고, 소정의 음량으로 조정한 후, 음성을 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 디지털 튜너(1016) 및 MPEG 디코더(1017)도 갖는다.
디지털 튜너(1016)는, 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 거쳐서 수신하고, 복조하고, MPEG-TS(Moving Picture Experts Group-Transport Stream)를 취득하고, 그것을 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS에 실시되고 있는 스크램블을 해제하고, 재생 대상(시청대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(1017)는, 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(1022)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(1018)에 공급한다. 또한, MPEG 디코더(1017)는, MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않는 경로를 거쳐서 CPU(1032)에 공급한다.
텔레비전 수상기(1000)는, 이와 같이 영상 패킷을 디코드하는 MPEG 디코더(1017)로서, 상술한 화상 복호 장치(200)를 이용한다. 또한, 방송국 등으로부터 송신되는 MPEG-TS는, 화상 부호화 장치(100)에 의해 부호화되어 있다.
MPEG 디코더(1017)는, 화상 복호 장치(200)의 경우와 마찬가지로, 화상 부호화 장치(100)로부터 공급되는 부호화 데이터로부터, 1개의 슬라이스 헤더에 매립된 복수의 슬라이스 분의 제어 정보를 추출하고, 그 제어 정보에 기초해서 적절하게 적응 필터 처리를 행하므로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다.
MPEG 디코더(1017)로부터 공급된 영상 데이터는, 비디오 디코더(1015)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(1018)에 있어서 소정의 처리가 실시되고, 그래픽 생성 회로(1019)에 있어서, 생성된 영상 데이터 등이 적절히 중첩되며, 패널 구동 회로(1020)를 거쳐서 표시 패널(1021)에 공급되고, 그 화상이 표시된다.
MPEG 디코더(1017)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(1022)에 있어서 소정의 처리가 실시되고, 에코 캔슬/음성 합성 회로(1023)를 거쳐서 음성 증폭 회로(1024)에 공급되며, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(1025)로부터 출력된다.
또한, 텔레비전 수상기(1000)는, 마이크로폰(1026) 및 A/D 변환 회로(1027)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 받아들여진 유저의 음성 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 텔레비전 수상기(1000)의 유저(유저A)의 음성 데이터가 A/D 변환 회로(1027)로부터 공급되어 있는 경우, 유저A의 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 해서 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 거쳐서 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 음성 코덱(1028), 내부 버스(1029), SDRAM(Synchronous Dynamic Random Access Memory)(1030), 플래시 메모리(1031), CPU(1032), USB(Universal Serial Bus)I/F(1033) 및 네트워크 I/F(1034)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 받아들여진 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, A/D 변환 회로(1027)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷의 데이터로 변환하고, 내부 버스(1029)를 거쳐서 네트워크 I/F(1034)에 공급한다.
네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 거쳐서 네트워크에 접속된다. 네트워크 I/F(1034)는, 예를 들면, 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(1028)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(1034)는, 예를 들면, 네트워크를 거쳐서 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(1035)를 거쳐서 수신하고, 그것을, 내부 버스(1029)를 거쳐서 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, 네트워크 I/F(1034)로부터 공급된 음성 데이터를 소정의 포맷의 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 코덱(1028)으로부터 공급되는 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 해서 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 거쳐서 스피커(1025)로부터 출력시킨다.
SDRAM(1030)은, CPU(1032)가 처리를 행함에 있어서 필요한 각종 데이터를 기억한다.
플래시 메모리(1031)는, CPU(1032)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(1031)에 기억되어 있는 프로그램은, 텔레비전 수상기(1000)의 기동시 등의 소정의 타이밍에서 CPU(1032)에 의해 읽어내어진다. 플래시 메모리(1031)에는, 디지털 방송을 거쳐서 취득된 EPG 데이터, 네트워크를 거쳐서 소정의 서버로부터 취득된 데이터 등도 기억된다.
예를 들면, 플래시 메모리(1031)에는, CPU(1032)의 제어에 의해 네트워크를 거쳐서 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(1031)는, 예를 들면 CPU(1032)의 제어에 의해, 그 MPEG-TS를, 내부 버스(1029)를 거쳐서 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이와 같이 텔레비전 수상기(1000)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 거쳐서 수신하고, MPEG 디코더(1017)를 이용해서 디코드하고, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.
또한, 텔레비전 수상기(1000)는, 리모트 컨트롤러(1051)로부터 송신되는 적외선 신호를 수광하는 수광부(1037)도 갖는다.
수광부(1037)는 리모트 컨트롤러(1051)로부터의 적외선을 수광하고, 복조해서 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(1032)에 출력한다.
CPU(1032)는, 플래시 메모리(1031)에 기억되어 있는 프로그램을 실행하고, 수광부(1037)로부터 공급되는 제어 코드 등에 따라 텔레비전 수상기(1000)의 전체의 동작을 제어한다. CPU(1032)와 텔레비전 수상기(1000)의 각 부는, 도시하지 않는 경로를 거쳐서 접속되어 있다.
USB I/F(1033)는, USB 단자(1036)에 장착된 USB 케이블을 거쳐서 접속되는, 텔레비전 수상기(1000)의 외부의 기기 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 거쳐서 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.
텔레비전 수상기(1000)는, MPEG 디코더(1017)로서 화상 복호 장치(200)를 이용함으로써, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 추출할 수 있으며, 또한, 그 제어 정보를 이용해서 적절하게 적응 필터 처리를 실행할 수 있다. 그 결과로서, 텔레비전 수상기(1000)는, 안테나를 거쳐서 수신하는 방송파 신호나, 네트워크를 거쳐서 취득하는 콘텐츠 데이터의, 필터 처리의 국소적인 제어를 위한 부호화 효율의 저감의 억제를 실현시킬 수 있다.
<12. 제12 실시 형태>
[휴대 전화기]
도 48은 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 48에 도시되는 휴대 전화기(1100)는, 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(1150), 전원 회로부(1151), 조작 입력 제어부(1152), 화상 인코더(1153), 카메라 I/F부(1154), LCD 제어부(1155), 화상 디코더(1156), 다중 분리부(1157), 기록 재생부(1162), 변복조 회로부(1158), 및 음성 코덱(1159)을 갖는다. 이들은, 버스(1160)를 거쳐서 서로 접속되어 있다.
또한, 휴대 전화기(1100)는, 조작 키(1119), CCD(Charge Coupled Devices) 카메라(1116), 액정 디스플레이(1118), 기억부(1123), 송수신 회로부(1163), 안테나(1114), 마이크로폰(마이크)(1121), 및 스피커(1117)를 갖는다.
전원 회로부(1151)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(1100)를 동작 가능한 상태로 기동한다.
휴대 전화기(1100)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(1150)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영, 또는 데이터 기록 등의 각종 동작을 행한다.
예를 들면, 음성 통화 모드에 있어서, 휴대 전화기(1100)는, 마이크로폰(마이크)(1121)에서 집음한 음성 신호를, 음성 코덱(1159)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 거쳐서 통화 상대의 휴대 전화기에 공급된다.
또한, 예를 들면, 음성 통화 모드에 있어서, 휴대 전화기(1100)는, 안테나(1114)에서 수신한 수신 신호를 송수신 회로부(1163)에서 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리하고, 변복조 회로부(1158)에서 스펙트럼 역확산 처리하고, 음성 코덱(1159)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(1100)는, 그 변환해서 얻어진 아날로그 음성 신호를 스피커(1117)로부터 출력한다.
또한, 예를 들면, 데이터 통신 모드에 있어서 전자 메일을 송신하는 경우, 휴대 전화기(1100)는, 조작 키(1119)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(1152)에 있어서 접수한다. 휴대 전화기(1100)는, 그 텍스트 데이터를 주 제어부(1150)에 있어서 처리하고, LCD 제어부(1155)를 거쳐서, 화상으로서 액정 디스플레이(1118)에 표시시킨다.
또한, 휴대 전화기(1100)는, 주 제어부(1150)에 있어서, 조작 입력 제어부(1152)가 접수한 텍스트 데이터나 유저 지시 등에 기초해서 전자 메일 데이터를 생성한다. 휴대 전화기(1100)는, 그 전자 메일 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는, 네트워크 및 메일 서버 등을 거쳐서, 소정의 수신처에 공급된다.
또한, 예를 들면, 데이터 통신 모드에 있어서 전자 메일을 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 거쳐서 송수신 회로부(1163)에서 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리해서 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(1100)는, 복원된 전자 메일 데이터를, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시한다.
또한, 휴대 전화기(1100)는, 수신한 전자 메일 데이터를, 기록 재생부(1162)를 거쳐서, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
이 기억부(1123)는, 재기입 가능한 임의의 기억 매체이다. 기억부(1123)는, 예를 들면, RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 되고, 하드디스크이어도 되고, 자기 디스크, 광 자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 리무버블 미디어이어도 된다. 물론, 이들 이외의 것이어도 된다.
또한, 예를 들면, 데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 휴대 전화기(1100)는, 촬상에 의해 CCD 카메라(1116)에서 화상 데이터를 생성한다. CCD 카메라(1116)는, 렌즈나 조리개 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하고, 피사체의 화상의 화상 데이터를 생성한다. CCD 카메라(1116)는, 그 화상 데이터를, 카메라 I/F부(1154)를 거쳐서, 화상 인코더(1153)에서 부호화하고, 부호화 화상 데이터로 변환한다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 인코더(1153)로서, 상술한 화상 부호화 장치(100)를 이용한다. 따라서, 화상 인코더(1053)는, 화상 부호화 장치(100)의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 예를 들면, 화상 인코더(1053)는, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 부가하므로, 슬라이스마다 제어 정보를 매립하는 경우보다 부호화 효율을 향상시킬 수 있다.
또한, 휴대 전화기(1100)는, 이때 동시에, CCD 카메라(1116)로 촬상 중에 마이크로폰(마이크)(1121)에서 집음한 음성을, 음성 코덱(1159)에 있어서 아날로그 디지털 변환하고, 다시 부호화한다.
휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 화상 인코더(1153)로부터 공급된 부호화 화상 데이터와, 음성 코덱(1159)로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(1100)는, 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는, 네트워크 등을 거쳐서, 통신 상대에 공급된다.
또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(1100)는, CCD 카메라(1116)에서 생성한 화상 데이터를, 화상 인코더(1153)를 거치지 않고, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시시킬 수도 있다.
또한, 예를 들면, 데이터 통신 모드에 있어서, 간이 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 거쳐서 송수신 회로부(1163)에서 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리해서 원래의 다중화 데이터를 복원한다. 휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 그 다중화 데이터를 분리하고, 부호화 화상 데이터와 음성 데이터로 나눈다.
휴대 전화기(1100)는, 화상 디코더(1156)에 있어서 부호화 화상 데이터를 디코드하는 것에 의해, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시시킨다. 이에 의해, 예를 들면, 간이 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(1118)에 표시된다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 디코더(1156)로서, 상술한 화상 복호 장치(200)를 이용한다. 따라서, 화상 디코더(1156)는, 화상 복호 장치(200)의 경우와 마찬가지로, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 추출할 수 있으며, 또한, 그 제어 정보를 이용해서 적절하게 적응 필터 처리를 실행할 수 있다. 그 결과로서, 필터 처리의 국소적인 제어를 위한 부호화 효율의 저감의 억제를 실현시킬 수 있다.
이때, 휴대 전화기(1100)는, 동시에 음성 코덱(1159)에 있어서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(1117)로부터 출력시킨다. 이에 의해, 예를 들면, 간이 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(1100)는, 수신한 간이 홈 페이지 등에 링크된 데이터를, 기록 재생부(1162)를 거쳐서, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
또한, 휴대 전화기(1100)는, 주 제어부(1150)에 있어서, 촬상되어 CCD 카메라(1116)에서 얻어진 2차원 코드를 해석하고, 2차원 코드에 기록된 정보를 취득할 수 있다.
또한, 휴대 전화기(1100)는, 적외선 통신부(1181)에서 적외선에 의해 외부의 기기와 통신할 수 있다.
휴대 전화기(1100)는, 화상 인코더(1153)로서 화상 부호화 장치(100)를 이용함으로써, 예를 들면 CCD 카메라(1116)에 있어서 생성된 화상 데이터를 부호화해서 생성하는 부호화 데이터의, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 결과적으로, 휴대 전화기(1100)는, 슬라이스마다 제어 정보를 매립하는 경우보다 부호화 효율이 좋은 부호화 데이터(화상 데이터)를, 다른 장치에 제공할 수 있다.
또한, 휴대 전화기(1100)는, 화상 디코더(1156)로서 화상 복호 장치(200)를 이용함으로써, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 추출할 수 있으며, 또한, 그 제어 정보를 이용해서 적절하게 적응 필터 처리를 실행할 수 있다. 그 결과로서, 휴대 전화기(1100)는, 예를 들면, 간이 홈 페이지 등에 링크된 동화상 파일의 데이터의, 필터 처리의 국소적인 제어를 위한 부호화 효율의 저감의 억제를 실현시킬 수 있다.
또한, 이상에 있어서, 휴대 전화기(1100)가, CCD 카메라(1116)를 이용하는 것처럼 설명했지만, 이 CCD 카메라(1116) 대신에, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센서(CMOS 이미지 센서)를 이용하도록 해도 된다. 이 경우도, 휴대 전화기(1100)는, CCD 카메라(1116)를 이용하는 경우와 마찬가지로, 피사체를 촬상하고, 피사체의 화상의 화상 데이터를 생성할 수 있다.
또한, 이상에 있어서는 휴대 전화기(1100)로서 설명했지만, 예를 들면, PDA(Personal Digital Assistants), 스마트 폰, UMPC(Ultra Mobile Personal Computer), 네트 북, 노트형 퍼스널 컴퓨터 등, 이 휴대 전화기(1100)과 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치이어도 휴대 전화기(1100)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.
<13. 제13 실시 형태>
[하드디스크 레코더]
도 48은 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 하드디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 48에 도시되는 하드디스크 레코더(HDD 레코더)(1200)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비전 신호)에 포함되는 방송 프로그램의 오디오 데이터와 비디오 데이터를, 내장하는 하드디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에서 유저에게 제공하는 장치이다.
하드디스크 레코더(1200)는, 예를 들면, 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그들을 적절히 복호하여, 내장하는 하드디스크에 기억시킬 수 있다. 또한, 하드디스크 레코더(1200)는, 예를 들면, 네트워크를 거쳐서 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 적절히 복호하여, 내장하는 하드디스크에 기억시킬 수도 있다.
또한, 하드디스크 레코더(1200)는, 예를 들면, 내장하는 하드디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호해서 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수 있다. 또한, 하드디스크 레코더(1200)는, 예를 들면, 튜너를 거쳐서 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터, 또는, 네트워크를 거쳐서 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호해서 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수도 있다.
물론, 이 외의 동작도 가능하다.
도 48에 도시되는 바와 같이, 하드디스크 레코더(1200)는, 수신부(1221), 복조부(1222), 디멀티플렉서(1223), 오디오 디코더(1224), 비디오 디코더(1225), 및 레코더 제어부(1226)를 갖는다. 하드디스크 레코더(1200)는, 또한, EPG 데이터 메모리(1227), 프로그램 메모리(1228), 워크 메모리(1229), 디스플레이 컨버터(1230), OSD(On Screen Display) 제어부(1231), 디스플레이 제어부(1232), 기록 재생부(1233), D/A 컨버터(1234) 및 통신부(1235)를 갖는다.
또한, 디스플레이 컨버터(1230)는, 비디오 인코더(1241)를 갖는다. 기록 재생부(1233)는, 인코더(1251) 및 디코더(1252)를 갖는다.
수신부(1221)는, 리모트 컨트롤러(도시 생략)로부터의 적외선 신호를 수신하고, 전기 신호로 변환해서 레코더 제어부(1226)에 출력한다. 레코더 제어부(1226)는, 예를 들면, 마이크로프로세서 등에 의해 구성되고, 프로그램 메모리(1228)에 기억되어 있는 프로그램에 따라, 각종 처리를 실행한다. 레코더 제어부(1226)는, 이때, 워크 메모리(1229)를 필요에 따라 사용한다.
통신부(1235)는, 네트워크에 접속되고, 네트워크를 거쳐서 다른 장치와의 통신 처리를 행한다. 예를 들면, 통신부(1235)는, 레코더 제어부(1226)에 의해 제어되고, 튜너(도시 생략)와 통신하여, 주로 튜너에 대하여 선국 제어 신호를 출력한다.
복조부(1222)는, 튜너로부터 공급된 신호를 복조하여, 디멀티플렉서(1223)에 출력한다. 디멀티플렉서(1223)는, 복조부(1222)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터 및 EPG 데이터로 분리하고, 각각 오디오 디코더(1224), 비디오 디코더(1225), 또는 레코더 제어부(1226)에 출력한다.
오디오 디코더(1224)는, 입력된 오디오 데이터를 디코드하고, 기록 재생부(1233)에 출력한다. 비디오 디코더(1225)는, 입력된 비디오 데이터를 디코드하여, 디스플레이 컨버터(1230)에 출력한다. 레코더 제어부(1226)는 입력된 EPG 데이터를 EPG 데이터 메모리(1227)에 공급하고, 기억시킨다.
디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급된 비디오 데이터를, 비디오 인코더(1241)에 의해, 예를 들면 NTSC(National Television Standards Committee) 방식의 비디오 데이터로 인코드하고, 기록 재생부(1233)에 출력한다. 또한, 디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급되는 비디오 데이터의 화면의 사이즈를, 모니터(1260)의 사이즈에 대응하는 사이즈로 변환하고, 비디오 인코더(1241)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하여, 디스플레이 제어부(1232)에 출력한다.
디스플레이 제어부(1232)는, 레코더 제어부(1226)의 제어 하에서, OSD(On Screen Display) 제어부(1231)가 출력한 OSD 신호를, 디스플레이 컨버터(1230)로부터 입력된 비디오 신호에 중첩하고, 모니터(1260)의 디스플레이에 출력하고, 표시시킨다.
모니터(1260)에는 또한, 오디오 디코더(1224)가 출력한 오디오 데이터가, D/A 컨버터(1234)에 의해 아날로그 신호로 변환되어 공급되고 있다. 모니터(1260)는, 이 오디오 신호를 내장하는 스피커로부터 출력한다.
기록 재생부(1233)는, 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드디스크를 갖는다.
기록 재생부(1233)는, 예를 들면, 오디오 디코더(1224)로부터 공급되는 오디오 데이터를, 인코더(1251)에 의해 인코드한다. 또한, 기록 재생부(1233)는, 디스플레이 컨버터(1230)의 비디오 인코더(1241)로부터 공급되는 비디오 데이터를, 인코더(1251)에 의해 인코드한다. 기록 재생부(1233)는, 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(1233)는, 그 합성 데이터를 채널 코딩해서 증폭하고, 그 데이터를, 기록 헤드를 거쳐서 하드디스크에 기입한다.
기록 재생부(1233)는, 재생 헤드를 거쳐서 하드디스크에 기록되어 있는 데이터를 재생하고, 증폭하고, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(1233)는, 디코더(1252)에 의해 오디오 데이터 및 비디오 데이터를 디코드한다. 기록 재생부(1233)는, 복호한 오디오 데이터를 D/A 변환하고, 모니터(1260)의 스피커에 출력한다. 또한, 기록 재생부(1233)는, 복호한 비디오 데이터를 D/A 변환하고, 모니터(1260)의 디스플레이에 출력한다.
레코더 제어부(1226)는, 수신부(1221)를 거쳐서 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타내지는 유저 지시에 기초하여, EPG 데이터 메모리(1227)로부터 최신의 EPG 데이터를 읽어내고, 그것을 OSD 제어부(1231)에 공급한다. OSD 제어부(1231)는, 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하여, 디스플레이 제어부(1232)에 출력한다. 디스플레이 제어부(1232)는, OSD 제어부(1231)로부터 입력된 비디오 데이터를 모니터(1260)의 디스플레이에 출력하고, 표시시킨다. 이에 의해, 모니터(1260)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.
또한, 하드디스크 레코더(1200)는, 인터넷 등의 네트워크를 거쳐서 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터, 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.
통신부(1235)는, 레코더 제어부(1226)에 제어되고, 네트워크를 거쳐서 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(1226)에 공급한다. 레코더 제어부(1226)는, 예를 들면, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(1233)에 공급하고, 하드디스크에 기억시킨다. 이때, 레코더 제어부(1226) 및 기록 재생부(1233)가, 필요에 따라 재인코드 등의 처리를 행하도록 해도 된다.
또한, 레코더 제어부(1226)는, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(1230)에 공급한다. 디스플레이 컨버터(1230)는, 비디오 디코더(1225)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(1226)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(1232)를 거쳐서 모니터(1260)에 공급하고, 그 화상을 표시시킨다.
또한, 이 화상 표시에 맞추어, 레코더 제어부(1226)가, 복호한 오디오 데이터를, D/A 컨버터(1234)를 거쳐서 모니터(1260)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 된다.
또한, 레코더 제어부(1226)는, 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(1227)에 공급한다.
이상과 같은 하드디스크 레코더(1200)는, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더로서 화상 복호 장치(200)를 이용한다. 따라서, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 화상 복호 장치(200)의 경우와 마찬가지로, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 추출할 수 있으며, 또한, 그 제어 정보를 이용해서 적절하게 적응 필터 처리를 실행할 수 있다. 그 결과로서, 필터 처리의 국소적인 제어를 위한 부호화 효율의 저감의 억제를 실현시킬 수 있다.
따라서, 하드디스크 레코더(1200)는, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 추출할 수 있으며, 또한, 그 제어 정보를 이용해서 적절하게 적응 필터 처리를 실행할 수 있다. 그 결과로서, 하드디스크 레코더(1200)는, 예를 들면, 튜너나 통신부(1235)를 거쳐서 수신되는 비디오 데이터나, 기록 재생부(1233)의 하드디스크에 기록되는 비디오 데이터의, 필터 처리의 국소적인 제어를 위한 부호화 효율의 저감의 억제를 실현시킬 수 있다.
또한, 하드디스크 레코더(1200)는, 인코더(1251)로서 화상 부호화 장치(100)를 이용한다. 따라서, 인코더(1251)는, 화상 부호화 장치(100)의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 예를 들면, 인코더(1251)는, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 부가하므로, 슬라이스마다 제어 정보를 매립하는 경우보다 부호화 효율을 향상시킬 수 있다.
따라서, 하드디스크 레코더(1200)는, 인코더(1251)로서 화상 부호화 장치(100)를 이용함으로써, 예를 들면 하드디스크에 기록하는 부호화 데이터의, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 그 결과로서, 하드디스크 레코더(1200)는, 슬라이스마다 제어 정보를 매립하는 경우보다 하드디스크의 기억 영역을 보다 효율 좋게 사용할 수 있다.
또한, 이상에서는, 비디오 데이터나 오디오 데이터를 하드디스크에 기록하는 하드디스크 레코더(1200)에 대해서 설명했지만, 물론, 기록 매체는 어떤 것이어도 된다. 예를 들면 플래시 메모리, 광 디스크, 또는 비디오 테이프 등, 하드디스크 이외의 기록 매체를 적용하는 레코더이어도, 상술한 하드디스크 레코더(1200)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.
<14. 제14 실시 형태>
[카메라]
도 49는 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 카메라의 주된 구성예를 도시하는 블록도이다.
도 49에 도시되는 카메라(1300)는, 피사체를 촬상하고, 피사체의 화상을 LCD(1316)에 표시시키거나, 그것을 화상 데이터로서, 기록 미디어(1333)에 기록하거나 한다.
렌즈 블록(1311)은, 광(즉, 피사체의 영상)을 CCD/CMOS(1312)에 입사시킨다. CCD/CMOS(1312)는, CCD 또는 CMOS를 이용한 이미지 센서로서, 수광한 광의 강도를 전기 신호로 변환하고, 카메라 신호 처리부(1313)에 공급한다.
카메라 신호 처리부(1313)는, CCD/CMOS(1312)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하여, 화상 신호 처리부(1314)에 공급한다. 화상 신호 처리부(1314)는, 컨트롤러(1321)의 제어 하에서, 카메라 신호 처리부(1313)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(1341)에서 부호화하거나 한다. 화상 신호 처리부(1314)는, 화상 신호를 부호화해서 생성한 부호화 데이터를 디코더(1315)에 공급한다. 또한, 화상 신호 처리부(1314)는, 온스크린 디스플레이(OSD)(1320)에 있어서 생성된 표시용 데이터를 취득하고, 그것을 디코더(1315)에 공급한다.
이상의 처리에 있어서, 카메라 신호 처리부(1313)는, 버스(1317)를 거쳐서 접속되는 DRAM(Dynamic Random Access Memory)(1318)을 적절히 이용하여, 필요에 따라 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(1318)에 유지시킨다.
디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(1316)에 공급한다. 또한, 디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 표시용 데이터를 LCD(1316)에 공급한다. LCD(1316)는, 디코더(1315)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하고, 그 합성 화상을 표시한다.
온스크린 디스플레이(1320)는, 컨트롤러(1321)의 제어 하에서, 기호, 문자, 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(1317)를 거쳐서 화상 신호 처리부(1314)에 출력한다.
컨트롤러(1321)는, 유저가 조작부(1322)를 이용해서 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(1317)를 거쳐서, 화상 신호 처리부(1314), DRAM(1318), 외부 인터페이스(1319), 온스크린 디스플레이(1320) 및 미디어 드라이브(1323) 등을 제어한다. FLASH ROM(1324)에는, 컨트롤러(1321)가 각종 처리를 실행함에 있어서 필요한 프로그램이나 데이터 등이 저장된다.
예를 들면, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315) 대신에, DRAM(1318)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(1318)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315)의 부호화·복호 방식과 마찬가지의 방식에 의해 부호화·복호 처리를 행하도록 해도 되고, 화상 신호 처리부(1314)나 디코더(1315)가 대응하고 있지 않은 방식에 의해 부호화·복호 처리를 행하도록 해도 된다.
또한, 예를 들면, 조작부(1322)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(1321)는, DRAM(1318)로부터 화상 데이터를 읽어내고, 그것을, 버스(1317)를 거쳐서 외부 인터페이스(1319)에 접속되는 프린터(1334)에 공급해서 인쇄시킨다.
또한, 예를 들면, 조작부(1322)로부터 화상 기록이 지시된 경우, 컨트롤러(1321)는, DRAM(1318)으로부터 부호화 데이터를 읽어내고, 그것을 버스(1317)를 거쳐서 미디어 드라이브(1323)에 장착되는 기록 미디어(1333)에 공급해서 기억시킨다.
기록 미디어(1333)는, 예를 들면, 자기 디스크, 광 자기 디스크, 광 디스크, 또는 반도체 메모리 등의, 읽기 쓰기 가능한 임의의 리무버블 미디어이다. 기록 미디어(1333)는, 물론 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 되고, 디스크이어도 되고, 메모리 카드이어도 된다. 물론, 비접촉 IC 카드 등이어도 된다.
또한, 미디어 드라이브(1323)와 기록 미디어(1333)를 일체화하고, 예를 들면, 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 된다.
외부 인터페이스(1319)는, 예를 들면, USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에 프린터(1334)와 접속된다. 또한, 외부 인터페이스(1319)에는, 필요에 따라 드라이브(1331)가 접속되고, 자기 디스크, 광 디스크 혹은 광 자기 디스크 등의 리무버블 미디어(1332)가 적절히 장착되고, 그들로부터 읽어내어진 컴퓨터 프로그램이, 필요에 따라 FLASH ROM(1324)에 인스톨된다.
또한, 외부 인터페이스(1319)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(1321)는, 예를 들면, 조작부(1322)로부터의 지시에 따라, DRAM(1318)으로부터 부호화 데이터를 읽어내고, 그것을 외부 인터페이스(1319)로부터, 네트워크를 거쳐서 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(1321)는, 네트워크를 거쳐서 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를 외부 인터페이스(1319)를 거쳐서 취득하고, 그것을 DRAM(1318)에 유지시키거나, 화상 신호 처리부(1314)에 공급하거나 할 수 있다.
이상과 같은 카메라(1300)는, 디코더(1315)로서 화상 복호 장치(200)를 이용한다. 따라서, 디코더(1315)는, 화상 복호 장치(200)의 경우와 마찬가지로, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 추출할 수 있으며, 또한, 그 제어 정보를 이용해서 적절하게 적응 필터 처리를 실행할 수 있다. 그 결과로서, 필터 처리의 국소적인 제어를 위한 부호화 효율의 저감의 억제를 실현시킬 수 있다.
따라서, 카메라(1300)는, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 추출할 수 있으며, 또한, 그 제어 정보를 이용해서 적절하게 적응 필터 처리를 실행할 수 있다. 그 결과로서, 카메라(1300)는, 예를 들면, CCD/CMOS(1312)에 있어서 생성되는 화상 데이터나, DRAM(1318) 또는 기록 미디어(1333)로부터 읽어내어지는 비디오 데이터의 부호화 데이터나, 네트워크를 거쳐서 취득하는 비디오 데이터의 부호화 데이터의, 필터 처리의 국소적인 제어를 위한 부호화 효율의 저감의 억제를 실현시킬 수 있다.
또한, 카메라(1300)는, 인코더(1341)로서 화상 부호화 장치(100)를 이용한다. 따라서, 인코더(1341)는, 화상 부호화 장치(100)의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 예를 들면, 부호화 데이터의 1개의 슬라이스 헤더에 부가된 복수 슬라이스 분의 제어 정보를 부가하므로, 슬라이스마다 제어 정보를 매립하는 경우보다 부호화 효율을 향상시킬 수 있다.
따라서, 카메라(1300)는, 예를 들면, DRAM(1318)이나 기록 미디어(1333)에 기록하는 부호화 데이터나, 다른 장치에 제공하는 부호화 데이터의, 필터 처리의 국소적인 제어에 의한 부호화 효율의 저감을 억제할 수 있다. 그 결과로서, 카메라(1300)는, DRAM(1318)이나 기록 미디어(1333)의 기억 영역을 보다 효율 좋게 사용할 수 있다. 또한, 카메라(1300)는, 부호화 효율이 좋은 부호화 데이터(화상 데이터)를, 다른 장치에 제공할 수도 있다.
또한, 컨트롤러(1321)가 행하는 복호 처리에 화상 복호 장치(200)의 복호 방법을 적용하도록 해도 된다. 마찬가지로, 컨트롤러(1321)가 행하는 부호화 처리에 화상 부호화 장치(100)의 부호화 방법을 적용하도록 해도 된다.
또한, 카메라(1300)가 촬상하는 화상 데이터는 동화상이어도 되고, 정지 화상 이어도 된다.
물론, 화상 부호화 장치(100) 및 화상 복호 장치(200)는, 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.
또한, 매크로 블록의 크기도, 16×16 화소에 한하지 않는다. 예를 들면 도 50에 도시되는 32×32 화소와 같은, 모든 크기의 매크로 블록에 대하여 적용하는 것이 가능하다.
이상에서는, 플래그 정보 등을 비트스트림으로 다중화(기술)하는 것으로서 설명했지만, 다중화하는 것 이외에도, 예를 들면, 플래그와 화상 데이터(또는 비트스트림)를 전송(기록)해도 된다. 플래그와 화상 데이터(또는 비트스트림)를 연결하는(부가하는 ) 형태도 있을 수 있다.
연결(부가)이란, 화상 데이터(또는 비트스트림)와 플래그가 서로 링크되어 있는 상태(대응이 취해져 있는 상태)를 나타내는 것이며, 물리적인 위치 관계는 임의이다. 예를 들면, 화상 데이터(또는 비트스트림)와 플래그를, 다른 전송로에서 전송해도 된다. 또한, 화상 데이터(또는 비트스트림)와 플래그를, 서로 다른 기록 매체(또는 동일한 기록 매체 내의 각각의 기록 에어리어)에 기록해도 된다. 또한, 화상 데이터(또는 비트스트림)와 플래그를 링크시키는 단위는 임의이며, 예를 들면, 부호화 처리 단위(1프레임, 복수 프레임 등)로 설정해도 된다.
100 : 화상 부호화 장치
112 : 제어 정보 생성부
113 : 적응 필터 처리부
132 : 블록 정보 생성부
141 : 처리 대상 슬라이스 영역 특정부
142 : ALF 블록 설정부
143 : 처리 대상 ALF 블록 영역 특정부
144 : 판정부
145 : 필터 블록 플래그 생성부
171 : 제어부
172 : 적응 필터
173 : 선택부
181 : 부호화부
182 : 부호화 데이터 유지부
183 : 제어 정보 유지부
184 : 제어 정보 부가부
200 : 화상 복호 장치
202 : 가역 복호부
207 : 적응 필터 처리부
221 : 제어 정보 추출부
222 : 복호부
223 : 복호 데이터 유지부
251 : 제어부
261 : 헤더 해석부
281 : 제어 정보 부가부
291 : 플래그 부가부
292 : 블록 사이즈 부가부
293 : 필터 계수 부가부
301 : 제어 정보 추출부
311 : 플래그 추출부
312 : 블록 사이즈 추출부
313 : 필터 계수 추출부.

Claims (10)

  1. 화상의 복수의 슬라이스 중 어느 하나의 슬라이스에 대한 헤더 정보에 포함되는 필터 제어 정보를 포함하는 비트스트림을 복호하는 복호부와,
    상기 복호부에 의해 생성된 화상에 대하여, 상기 필터 제어 정보에 기초하여 필터 처리를 행하는 필터 처리부를 구비하고,
    상기 필터 제어 정보는, 상기 복수의 슬라이스의 각 슬라이스별로 설정되는 필터 처리를 제어하기 위한 정보를 포함하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 복호부에 의해 생성된 화상에 대하여 디블록 필터 처리를 행하는 디블록 필터 처리부를 더 포함하고,
    상기 필터 처리부는, 상기 디블록 필터 처리부에 의해 상기 디블록 필터 처리가 행해진 상기 화상을 대상으로 하여 상기 필터 처리를 행하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 필터 제어 정보는, 프레임의 최초에 전송되는 상기 슬라이스의 헤더 정보에 포함되는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 필터 제어 정보는, 프레임의 선두에 위치하는 상기 슬라이스의 헤더 정보에 포함되는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 슬라이스의 헤더 정보로부터 상기 필터 제어 정보를 추출하는 추출부를 더 포함하고,
    상기 필터 처리부는, 상기 추출부에 의해 추출된 상기 필터 제어 정보에 기초하여 상기 필터 처리를 행하는, 화상 처리 장치.
  6. 화상의 복수의 슬라이스 중 어느 하나의 슬라이스에 대한 헤더 정보에 포함되는 필터 제어 정보를 포함하는 비트스트림을 복호하고,
    상기 비트스트림의 복호에 의해 생성된 화상에 대하여, 상기 필터 제어 정보에 기초하여 필터 처리를 행하고,
    상기 필터 제어 정보는, 상기 복수의 슬라이스의 각 슬라이스별로 설정되는 필터 처리를 제어하기 위한 정보를 포함하는, 화상 처리 방법.
  7. 제6항에 있어서,
    상기 비트스트림의 복호에 의해 생성된 화상에 대하여 디블록 필터 처리를 행하고,
    상기 디블록 필터 처리가 행해진 상기 화상을 대상으로 하여 상기 필터 처리를 행하는, 화상 처리 방법.
  8. 제6항에 있어서,
    상기 필터 제어 정보는, 프레임의 최초에 전송되는 상기 슬라이스의 헤더 정보에 포함되는, 화상 처리 방법.
  9. 제6항에 있어서,
    상기 필터 제어 정보는, 프레임의 선두에 위치하는 상기 슬라이스의 헤더 정보에 포함되는, 화상 처리 방법.
  10. 제6항에 있어서,
    상기 슬라이스의 헤더 정보로부터 상기 필터 제어 정보를 추출하고,
    추출된 상기 필터 제어 정보에 기초하여 상기 필터 처리를 행하는, 화상 처리 방법.
KR1020167032778A 2009-08-19 2010-08-10 화상 처리 장치 및 방법 KR101783575B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-189990 2009-08-19
JP2009189990A JP5604825B2 (ja) 2009-08-19 2009-08-19 画像処理装置および方法
PCT/JP2010/063514 WO2011021530A1 (ja) 2009-08-19 2010-08-10 画像処理装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127003475A Division KR101681167B1 (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177026908A Division KR101880010B1 (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법, 및 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20160138585A KR20160138585A (ko) 2016-12-05
KR101783575B1 true KR101783575B1 (ko) 2017-10-23

Family

ID=43606985

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020187019842A KR20180083952A (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법, 및 컴퓨터 판독가능 기록매체
KR1020177026908A KR101880010B1 (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법, 및 컴퓨터 판독가능 기록매체
KR1020167032778A KR101783575B1 (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법
KR1020127003475A KR101681167B1 (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020187019842A KR20180083952A (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법, 및 컴퓨터 판독가능 기록매체
KR1020177026908A KR101880010B1 (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법, 및 컴퓨터 판독가능 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127003475A KR101681167B1 (ko) 2009-08-19 2010-08-10 화상 처리 장치 및 방법

Country Status (15)

Country Link
US (3) US9967593B2 (ko)
EP (2) EP2469856A4 (ko)
JP (1) JP5604825B2 (ko)
KR (4) KR20180083952A (ko)
CN (3) CN109951708B (ko)
AU (2) AU2010285760C9 (ko)
BR (1) BR112012003285B1 (ko)
CA (2) CA2769732C (ko)
IN (1) IN2012DN01240A (ko)
MX (1) MX2012001822A (ko)
MY (1) MY163637A (ko)
RU (1) RU2012104811A (ko)
TW (1) TWI401969B (ko)
WO (1) WO2011021530A1 (ko)
ZA (1) ZA201108188B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104661033B (zh) * 2009-12-10 2018-02-06 Sk电信有限公司 使用树形结构的解码装置
CA2840427C (en) 2011-06-30 2018-03-06 Microsoft Corporation Reducing latency in video encoding and decoding
CN103843350A (zh) * 2011-10-14 2014-06-04 联发科技股份有限公司 回路滤波方法及其装置
WO2013053324A1 (en) * 2011-10-14 2013-04-18 Mediatek Inc. Method and apparatus for loop filtering
JP6080375B2 (ja) * 2011-11-07 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150264375A1 (en) * 2012-10-10 2015-09-17 Zte Corporation Encapsulation of video scanning format information for media transport and storage
JP6065613B2 (ja) * 2013-01-29 2017-01-25 富士通株式会社 動画像符号化装置
JP6331103B2 (ja) * 2013-03-21 2018-05-30 ソニー株式会社 画像復号装置および方法
GB2518823A (en) * 2013-09-25 2015-04-08 Sony Corp Data encoding and decoding
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
CN114998557A (zh) 2015-08-18 2022-09-02 奇跃公司 虚拟和增强现实系统和方法
JP6704194B2 (ja) * 2016-02-26 2020-06-03 パナソニックＩｐマネジメント株式会社 動画像符号化装置及び動画像符号化方法
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031233A1 (en) 2006-08-04 2008-02-07 Fujitsu Limited Network device and computer product
US20080130756A1 (en) 2005-09-20 2008-06-05 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080137752A1 (en) * 2006-12-08 2008-06-12 Freescale Semiconductor, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5809237A (en) * 1993-11-24 1998-09-15 Intel Corporation Registration of computer-based conferencing system
US5508942A (en) * 1993-11-24 1996-04-16 Intel Corporation Intra/inter decision rules for encoding and decoding video signals
KR100200702B1 (ko) * 1996-06-05 1999-06-15 윤종용 디지탈 비디오 시스템의 디지탈 비디오 인코더
EP1065881B1 (en) * 1998-03-05 2008-07-09 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus
EP1515567B1 (en) * 2001-09-12 2006-08-23 Matsushita Electric Industrial Co., Ltd. Image coding method and image decoding method
US20040062310A1 (en) * 2002-01-17 2004-04-01 Zhong Xue Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
ES2754625T3 (es) * 2001-11-29 2020-04-20 Godo Kaisha Ip Bridge 1 Método de extracción de distorsión de codificación
US7084720B2 (en) * 2002-01-09 2006-08-01 Broadcom Corporation Printed bandpass filter for a double conversion tuner
JP2003319389A (ja) 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 画像データ復号装置、画像データ構造
DE10229860A1 (de) 2002-07-03 2004-01-29 Infineon Technologies Ag Verfahren und Sendevorrichtung zum Übertragen eines zweiwertigen Signals
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
EP1730695A2 (en) * 2004-03-09 2006-12-13 Thomson Research Funding Corporation Reduced resolution update mode for advanced video coding
CN1268136C (zh) * 2004-07-02 2006-08-02 上海广电（集团）有限公司中央研究院 基于图像切片结构的帧场自适应编码方法
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
JP4533081B2 (ja) * 2004-10-12 2010-08-25 キヤノン株式会社 画像符号化装置及びその方法
JP4453518B2 (ja) * 2004-10-29 2010-04-21 ソニー株式会社 符号化及び復号装置並びに符号化及び復号方法
JP2007129369A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
CN105430399A (zh) * 2006-11-08 2016-03-23 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
US8332751B2 (en) * 2006-11-14 2012-12-11 Microsoft Corporation Removal of redundant information from electronic documents
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
CN101779464B (zh) * 2007-06-08 2014-02-12 汤姆森特许公司 多格点基于稀疏性滤波基础上环内去伪像滤波方法和装置
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
EP2229782A2 (en) * 2008-01-14 2010-09-22 Thomson Licensing Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
US20090316793A1 (en) 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
US8831103B2 (en) 2008-10-02 2014-09-09 Sony Corporation Image processing apparatus and method
WO2010038858A1 (ja) 2008-10-03 2010-04-08 ソニー株式会社 画像処理装置および方法
KR101353304B1 (ko) * 2008-10-24 2014-01-21 에스케이 텔레콤주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
JPWO2010064675A1 (ja) 2008-12-03 2012-05-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
WO2010064674A1 (ja) 2008-12-03 2010-06-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5408332B2 (ja) * 2010-03-10 2014-02-05 富士通株式会社 中継装置および通信プログラム
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8329232B2 (en) * 2010-11-23 2012-12-11 Beijing Tang-An Nutrition & Healthcare Products Co. Ltd. Process for preparing water extract of cinnamon

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130756A1 (en) 2005-09-20 2008-06-05 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080031233A1 (en) 2006-08-04 2008-02-07 Fujitsu Limited Network device and computer product
US20080137752A1 (en) * 2006-12-08 2008-06-12 Freescale Semiconductor, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information

Also Published As

Publication number Publication date
AU2010285760A1 (en) 2012-02-23
CN109951708B (zh) 2023-01-31
CN106028036A (zh) 2016-10-12
KR20180083952A (ko) 2018-07-23
BR112012003285B1 (pt) 2021-09-28
CN106028036B (zh) 2019-04-30
AU2016203618B2 (en) 2017-10-05
IN2012DN01240A (ko) 2015-05-15
EP3404917A1 (en) 2018-11-21
RU2012104811A (ru) 2013-08-20
TW201112772A (en) 2011-04-01
US10911786B2 (en) 2021-02-02
AU2010285760C1 (en) 2016-10-20
CN102714716B (zh) 2016-08-03
EP2469856A1 (en) 2012-06-27
CA2994002C (en) 2020-06-30
EP2469856A4 (en) 2014-01-22
AU2016203618A1 (en) 2016-06-16
MX2012001822A (es) 2012-03-29
US20120140820A1 (en) 2012-06-07
MY163637A (en) 2017-10-13
CN102714716A (zh) 2012-10-03
CA2769732A1 (en) 2011-02-24
KR20120048615A (ko) 2012-05-15
CA2769732C (en) 2018-04-03
WO2011021530A1 (ja) 2011-02-24
AU2010285760B9 (en) 2016-11-03
US9967593B2 (en) 2018-05-08
US10587899B2 (en) 2020-03-10
KR20170113706A (ko) 2017-10-12
JP5604825B2 (ja) 2014-10-15
KR20160138585A (ko) 2016-12-05
KR101681167B1 (ko) 2016-12-01
AU2010285760B2 (en) 2016-03-03
AU2010285760C9 (en) 2016-11-03
TWI401969B (zh) 2013-07-11
JP2011044781A (ja) 2011-03-03
BR112012003285A2 (pt) 2016-03-01
CN109951708A (zh) 2019-06-28
US20180167639A1 (en) 2018-06-14
US20200169758A1 (en) 2020-05-28
KR101880010B1 (ko) 2018-07-18
CA2994002A1 (en) 2011-02-24
ZA201108188B (en) 2012-07-25

Similar Documents

Publication Publication Date Title
KR101783575B1 (ko) 화상 처리 장치 및 방법
JP5359657B2 (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
KR101872657B1 (ko) 화상 복호 장치, 화상 복호 방법 및 기록 매체
JP5233897B2 (ja) 画像処理装置および方法
JP2018029389A (ja) 画像処理装置および方法、並びにプログラム
JP6241500B2 (ja) 画像処理装置および方法、並びにプログラム
JP6169056B2 (ja) 画像処理装置および方法、並びにプログラム
JP6229770B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6032296B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5875565B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5573995B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP2013153507A (ja) 画像復号装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant