KR20180016614A - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20180016614A
KR20180016614A KR1020187002833A KR20187002833A KR20180016614A KR 20180016614 A KR20180016614 A KR 20180016614A KR 1020187002833 A KR1020187002833 A KR 1020187002833A KR 20187002833 A KR20187002833 A KR 20187002833A KR 20180016614 A KR20180016614 A KR 20180016614A
Authority
KR
South Korea
Prior art keywords
unit
data
encoding
mode
image
Prior art date
Application number
KR1020187002833A
Other languages
English (en)
Other versions
KR102116621B1 (ko
Inventor
가즈시 사토
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180016614A publication Critical patent/KR20180016614A/ko
Application granted granted Critical
Publication of KR102116621B1 publication Critical patent/KR102116621B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

본 기술은, 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있게 할 수 있는 화상 처리 장치 및 방법에 관한 것이다. 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드를 선택할지를, 계층 구조를 갖는 부호화 단위마다 설정하는 부호화 모드 설정부와, 상기 부호화 모드 설정부에 의해 설정된 모드에 따라, 상기 화상 데이터를 상기 부호화 단위마다 부호화하는 부호화부를 구비한다. 본 발명은, 예를 들어 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}
본 발명은, 화상 처리 장치 및 방법에 관한 것으로, 특히, 부호화 처리의 효율의 저감을 억제하면서, 부호화 효율을 향상시킬 수 있게 한 화상 처리 장치 및 방법에 관한 것이다.
최근 들어, 화상 정보를 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하고, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Experts Group) 등의 방식에 준거한 장치가, 방송국 등의 정보 배신 및 일반 가정에 있어서의 정보 수신의 양쪽에 있어서 보급되어 가고 있다.
특히, MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission) 13818-2)는 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 양쪽, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준으로, 프로페셔널 용도 및 소비자 용도의 광범위한 어플리케이션에 현재 널리 사용되고 있다. MPEG2 압축 방식을 사용함으로써, 예를 들어 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8Mbps, 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축률과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 높은 압축률의 부호화 방식에는 대응하지 않았다. 휴대 단말기의 보급에 의해, 금후 그러한 부호화 방식의 요구는 높아질 것으로 생각되며, 이것에 대응해서 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 대해서는, 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.
또한, 최근 들어, 당초 텔레비전 회의용 화상 부호화를 목적으로 하여, H.26L(ITU-T(International Telecommunication Union Telecommunication Standardization Sector) Q6/16 VCEG(Video Coding Expert Group))라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되기는 하지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 기초로, H.26L에서는 지원되지 않는 기능도 도입하여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해지고 있다.
표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG-4 Part10(Advanced Video Coding, 이하 AVC라고 기재함)이라고 하는 이름 하에 국제 표준이 되었다.
또한, 그 확장으로서, RGB나 4:2:2, 4:4:4와 같은, 업무용에 필요한 부호화 툴이나, MPEG-2로 규정되어 있던 8x8DCT(Discrete Cosine Transform)나 양자화 매트릭스도 포함한 FRExt(Fidelity Range Extension)의 표준화가 2005년 2월에 완료되고, 이에 의해, AVC를 사용하여, 영화에 포함되는 필름 노이즈도 양호하게 표현하는 것이 가능한 부호화 방식으로 되어, Blu-Ray Disc 등의 폭넓은 어플리케이션에 사용되게 되었다.
그러나, 요즘, 하이비전 화상의 4배인, 4000×2000 화소 정도의 화상을 압축하고 싶거나, 또는, 인터넷과 같은, 한정된 전송 용량의 환경에 있어서, 하이비전 화상을 배신하고 싶다는 등의, 한층 더한 고압축률 부호화에 대한 요구가 높아지고 있다. 이로 인해, ITU-T 산하의 VCEG(Video Coding Expert Group)에 있어서, 부호화 효율의 개선에 관한 검토가 계속해서 행해지고 있다.
그런데, 현재, AVC보다 한층 더한 부호화 효율의 향상을 목적으로 하여, ITU-T와, ISO/IEC의 공동의 표준화 단체인 JCTVC(Joint Collaboration Team-Video Coding)에 의해, HEVC(High Efficiency Video Coding)라고 불리는 부호화 방식의 표준화가 진행되고 있다(예를 들어, 비특허문헌 1 참조).
이 HEVC 부호화 방식에 있어서는, AVC에 있어서의 매크로 블록과 마찬가지의 처리 단위로서 코딩 유닛(CU(Coding Unit))이 정의되어 있다. 이 CU는, AVC의 매크로 블록과 같이 크기가 16×16 화소에 고정되지 않고, 각각의 시퀀스에 있어서, 화상 압축 정보 중에서 지정된다.
CU는, 최대의 LCU(Largest Coding Unit)로부터 최소의 SCU(Smallest Coding Unit)까지 계층적으로 구성된다. 즉, 대강, LCU가 AVC의 매크로 블록에 상당하고, 그 LCU보다 아래 계층의 CU(LCU보다 작은 CU)가 AVC의 서브매크로 블록에 상당한다고 생각할 수도 있다.
그런데, 화상 데이터를 부호화해서 출력하는 부호화 모드와, 화상 데이터를 부호화하지 않고 출력하는 비부호화 모드를 갖고, 부호화 모드로 할지 비부호화 모드로 할지를 매크로 블록 단위로 선택하고, 1픽처 내에 있어서 부호화 모드와 비부호화 모드를 혼재시킬 수 있는 부호화 방식이 있다(예를 들어 특허문헌 1 참조). AVC 부호화 방식에 있어서도, mb_type로서, 화상 데이터를 부호화하지 않고 출력시키는 I_PCM 모드가 지원되고 있다(예를 들어 특허문헌 2 참조). 이것은, 양자화 파라미터를 QP=0과 같이 작은 값으로 한 경우, 부호화 데이터의 정보량이, 입력 화상을 상회하는 경우, 산술 부호화 처리의 리얼타임 동작을 보증하기 위해서 사용된다. 또한, I-PCM을 사용함으로써, 로스리스(lossless) 부호화를 실현하는 것도 가능하다.
또한, 내부 연산을 증대시키는 방법이 제안되어 있다(예를 들어, 비특허문헌 2 참조). 이에 의해, 직교 변환이나 움직임 보상과 같은 처리에 있어서의 내부 연산 오차를 보다 작은 것으로 하여, 부호화 효율을 향상시키는 것이 가능하다.
또한, 움직임 보상 루프 내에 FIR 필터를 갖는 방법이 제안되어 있다(예를 들어, 비특허문헌 3 참조). 부호화 장치에 있어서는, 이 FIR 필터 계수를, 입력 화상과의 오차를 최소로 하도록, Wiener Filter에 의해 구함으로써, 참조 화상에 있어서의 열화를 최소한으로 억제하여, 출력으로 되는 화상 압축 정보의 부호화 효율을 향상시키는 것이 가능하다.
특허 제3992303호 특허 제4240283호
"Test Model under Consideration", JCTVC-B205, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG112nd Meeting: Geneva, CH, 21-28 July, 2010 Takeshi Chujoh, Reiko Noda, "Internal bit depth increase except frame memory", VCEG-AF07, ITU-Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group(VCEG) 32nd Meeting: San Jose, USA, 20-21 April, 2007 Takeshi Chujoh, Goki Yasuda, Naofumi Wada, Takashi Watanabe, Tomoo Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI 18, ITU-Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group(VCEG) 35th Meeting: Berlin, Germany, 16-18 July, 2008
그러나, HEVC와 같이 CU를 정의하고, 그 CU를 단위로 해서 각종 처리를 행하는 부호화 방식의 경우, AVC에 있어서의 매크로 블록은 LCU에 상당한다고 생각되지만, LCU 단위로밖에는 I_PCM을 설정할 수 없으면, 처리의 단위가, 최대 128×128 화소 단위이기 때문에, 불필요한 부호화 처리가 증대하고, 부호화 처리의 효율이 저감될 우려가 있었다. 예를 들어, CABAC의 리얼타임 동작을 보증하는 것이 곤란해질 우려가 있었다.
또한, 비특허문헌 2나 비특허문헌 3에 있어서 제안되어 있는 부호화 방식은, AVC 부호화 방식에 포함되지 않는 것이며, I_PCM 모드에의 대응은 개시되어 있지 않았다.
본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시키는 것을 목적으로 한다.
본 발명의 일측면은, 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드를 선택할지를, 계층 구조를 갖는 부호화 단위마다 설정하는 부호화 모드 설정부와, 상기 부호화 모드 설정부에 의해 설정된 모드에 따라, 상기 화상 데이터를 상기 부호화 단위마다 부호화하는 부호화부를 구비하는 화상 처리 장치이다.
상기 부호화 모드 설정부에 의해 상기 비압축 모드가 설정된 부호화 단위를 대상으로 해서, 부호화 또는 복호할 때의 비트 정밀도를 확장하는 시프트 처리를 스킵시키도록 제어하는 시프트 처리 제어부와, 상기 시프트 처리 제어부에 의해 상기 시프트 처리를 행하도록 제어되는 부호화 단위를 대상으로 해서, 상기 화상 데이터를 상기 시프트 처리하는 시프트 처리부를 더 구비할 수 있다.
상기 부호화 모드 설정부에 의해 상기 비압축 모드가 설정된 부호화 단위를 대상으로 해서, 로컬 디코드된 화상에 필터링을 행하는 필터 처리를 스킵시키도록 제어하는 필터 처리 제어부와, 상기 필터 처리 제어부에 의해 상기 필터 처리를 행하도록 제어되는 부호화 단위의 화상 데이터를 사용하여, 상기 필터 처리의 필터 계수를 산출하는 필터 계수 산출부와, 상기 필터 계수 산출부에 의해 산출된 상기 필터 계수를 사용하여, 상기 필터 처리의 단위인 블록마다 상기 필터 처리를 행하는 필터 처리부를 더 구비할 수 있다.
상기 필터 처리부는, 처리 대상인 커런트 블록에 포함되는, 상기 필터 처리 제어부에 의해 상기 필터 처리가 행해지도록 제어되는 화소만을 대상으로 해서, 상기 필터 처리를 행할 수 있다.
상기 필터 처리가 행해지는지를 나타내는 식별 정보인 필터 식별 정보를, 상기 블록마다 생성하는 필터 식별 정보 생성부를 더 구비할 수 있다.
상기 필터 처리부는, 상기 로컬 디코드된 화상을 대상으로 해서, 클래스 구분 처리를 사용하는 적응적인 필터 처리인 어댑티브 루프 필터(adaptive loop filtering)를 행할 수 있다.
상기 부호화 모드 설정은, 부호화 처리 대상인 커런트 부호화 단위의 상기 화상 데이터가 부호화된 부호화 데이터의 부호량이, 상기 커런트 부호화 단위의 상기 화상 데이터의 데이터량인 입력 데이터량 이하인 경우, 상기 커런트 부호화 단위의 부호화 모드를, 상기 비압축 모드로 설정할 수 있다.
상기 입력 데이터량을 산출하는 입력 데이터량 산출부를 더 구비하고, 상기 부호화 모드 설정부는, 상기 커런트 부호화 단위를 대상으로 해서, 상기 입력 데이터량 산출부에 의해 산출된 상기 입력 데이터량과, 상기 부호량을 비교할 수 있다.
상기 부호화 모드 설정부에 의해 상기 비압축 모드가 설정되었는지를 나타내는 식별 정보를, 상기 부호화 단위마다 생성하는 식별 정보 생성부를 더 구비할 수 있다.
본 발명의 일측면은, 또한, 화상 처리 장치의 화상 처리 방법으로서, 부호화 모드 설정부가, 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드를 선택할지를, 계층 구조를 갖는 부호화 단위마다 설정하고, 부호화부가, 설정된 모드에 따라, 상기 화상 데이터를 상기 부호화 단위마다 부호화하는 화상 처리 방법이다.
본 발명의 다른 측면은, 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드가 선택되었는지를, 계층 구조를 갖는 부호화 단위마다 판정하는 부호화 모드 판정부와, 상기 부호화 모드 판정부에 의해 판정된 모드에 따라, 상기 부호화 결과를 상기 부호화 단위마다 복호하는 복호부를 구비하는 화상 처리 장치이다.
상기 부호화 모드 판정부에 의해 상기 비압축 모드가 선택되었다고 판정된 부호화 단위를 대상으로 해서, 부호화 또는 복호할 때의 비트 정밀도를 확장하는 시프트 처리를 스킵시키도록 제어하는 시프트 처리 제어부와, 상기 시프트 처리 제어부에 의해 상기 시프트 처리를 행하도록 제어되는 부호화 단위를 대상으로 해서, 상기 화상 데이터를 상기 시프트 처리하는 시프트 처리부를 더 구비할 수 있다.
상기 부호화 모드 판정부에 의해 상기 비압축 모드가 선택되었다고 판정된 부호화 단위를 대상으로 해서, 로컬 디코드된 화상에 필터링을 행하는 필터 처리를 스킵시키도록 제어하는 필터 처리 제어부와, 상기 필터 처리의 단위인 블록마다, 상기 화상 데이터에 대하여 상기 필터 처리를 행하는 필터 처리부를 구비하고, 상기 필터 처리부는, 처리 대상인 커런트 블록에 포함되는, 상기 필터 처리 제어부에 의해 상기 필터 처리를 행하도록 제어된 화소만을 대상으로 해서, 상기 필터 처리를 행할 수 있다.
상기 필터 처리부는, 상기 로컬 디코드된 화상을 대상으로 해서, 클래스 구분 처리를 사용하는 적응적인 필터 처리인 어댑티브 루프 필터를 행할 수 있다.
상기 필터 처리부는, 상기 필터 처리가 행해졌는지를 나타내는 필터 식별 정보에 의해, 처리 대상인 커런트 블록의 화상 데이터에 대하여 상기 필터 처리가 행해진 것이 나타나 있는 경우, 상기 필터 처리 제어부에 의해, 상기 커런트 블록에 포함되는 모든 화소를 대상으로 해서 상기 필터 처리를 행하도록 제어되고 있을 때만, 상기 필터 처리를 행할 수 있다.
상기 부호화 모드 판정부는, 상기 부호화 단위마다 상기 비압축 모드가 선택되었는지를 나타내는 식별 정보에 기초하여, 상기 비압축 모드가 선택되었는지를 판정할 수 있다.
본 발명의 다른 측면은, 또한, 화상 처리 장치의 화상 처리 방법으로서, 부호화 모드 판정부가, 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드가 선택되었는지를, 계층 구조를 갖는 부호화 단위마다 판정하고, 복호부가, 판정된 모드에 따라, 상기 부호화 데이터를 상기 부호화 단위마다 복호하는 화상 처리 방법이다.
본 발명의 일측면에 있어서는, 화상 데이터를 부호화할 때의 부호화 모드로서, 그 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드를 선택할지가, 계층 구조를 갖는 부호화 단위마다 설정되고, 설정된 모드에 따라서 상기 화상 데이터가 상기 부호화 단위마다 부호화된다.
본 발명의 다른 측면에 있어서는, 화상 데이터를 부호화할 때의 부호화 모드로서, 그 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드가 선택되었는지가, 계층 구조를 갖는 부호화 단위마다 판정되고, 판정된 모드에 따라서, 그 부호화 데이터가 부호화 단위마다 복호된다.
본 발명에 의하면, 화상을 처리할 수 있다. 특히, 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
도 1은 AVC 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 부호화 장치를 도시하는 블록도.
도 2는 AVC 부호화 방식에 기초하는 화상 압축 정보를 입력으로 하는 화상 복호 장치를 도시하는 블록도.
도 3은 매크로 블록의 종류의 예를 도시하는 도면.
도 4는 코딩 유닛의 구성예를 설명하는 도면.
도 5는 내부 연산에 있어서 비트량을 증대시키는 방법을 설명하는 도면.
도 6은 적응 루프 필터를 설명하는 도면.
도 7은 화상 부호화 장치의 주된 구성예를 도시하는 블록도.
도 8은 도 7의 가역 부호화부, 루프 필터 및 PCM 부호화부의 주된 구성예를 도시하는 블록도.
도 9는 도 8의 PCM 결정부의 주된 구성예를 도시하는 블록도.
도 10은 부호화 처리의 흐름의 예를 설명하는 흐름도.
도 11은 PCM 부호화 제어 처리의 흐름의 예를 설명하는 흐름도.
도 12는 PCM 부호화 처리의 흐름의 예를 설명하는 흐름도.
도 13은 참조 화상 생성 처리의 흐름의 예를 설명하는 흐름도.
도 14는 루프 필터 처리의 흐름의 예를 설명하는 흐름도.
도 15는 화상 복호 장치의 주된 구성예를 도시하는 블록도.
도 16은 도 15의 가역 복호부, 루프 필터 및 PCM 복호부의 주된 구성예를 도시하는 블록도.
도 17은 복호 처리의 흐름의 예를 설명하는 흐름도.
도 18은 복호 처리의 흐름의 예를 설명하는, 도 17에 계속되는 흐름도.
도 19는 루프 필터 처리의 흐름의 예를 설명하는 흐름도.
도 20은 I_PCM 정보의 예를 설명하는 도면.
도 21은 퍼스널 컴퓨터의 주된 구성예를 도시하는 블록도.
도 22는 텔레비전 수상기의 주된 구성예를 도시하는 블록도.
도 23은 휴대 전화기의 주된 구성예를 도시하는 블록도.
도 24는 하드 디스크 레코더의 주된 구성예를 도시하는 블록도.
도 25는 카메라의 주된 구성예를 도시하는 블록도.
이하, 본 기술을 실시하기 위한 형태(이하 실시 형태로 함)에 대해서 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(화상 부호화 장치)
2. 제2 실시 형태(화상 복호 장치)
3. 제3 실시 형태(퍼스널 컴퓨터)
4. 제4 실시 형태(텔레비전 수상기)
5. 제5 실시 형태(휴대 전화기)
6. 제6 실시 형태(하드 디스크 레코더)
7. 제7 실시 형태(카메라)
<1. 제1 실시 형태>
[AVC 부호화 방식의 화상 부호화 장치]
도 1은, H.264 및 MPEG(Moving Picture Experts Group)4Part10(AVC(Advanced Video Coding)) 부호화 방식에 의해 화상을 부호화하는 화상 부호화 장치의 일 실시 형태의 구성을 나타내고 있다.
도 1에 도시되는 화상 부호화 장치(100)는, AVC 규격에 기초한 부호화 방식으로 화상을 부호화하고, 출력하는 장치이다. 도 1에 도시되는 바와 같이, 화상 부호화 장치(100)는, A/D 변환부(101), 화면 재배열 버퍼(102), 연산부(103), 직교 변환부(104), 양자화부(105), 가역 부호화부(106) 및 축적 버퍼(107)를 갖는다. 또한, 화상 부호화 장치(100)는, 역양자화부(108), 역직교 변환부(109), 연산부(110), 디블록 필터(111), 프레임 메모리(112), 선택부(113), 인트라 예측부(114), 움직임 예측 보상부(115), 선택부(116) 및 레이트 제어부(117)를 갖는다.
A/D 변환부(101)는, 입력된 화상 데이터를 A/D 변환하고, 화면 재배열 버퍼(102)에 출력하고, 기억시킨다. 화면 재배열 버퍼(102)는, 기억한 표시 순서의 프레임의 화상을, GOP(Group of Picture) 구조에 따라, 부호화를 위한 프레임의 순서대로 재배열한다. 화면 재배열 버퍼(102)는, 프레임 순서를 재배열한 화상을, 연산부(103)에 공급한다. 또한, 화면 재배열 버퍼(102)는, 프레임 순서를 재배열한 화상을, 인트라 예측부(114) 및 움직임 예측 보상부(115)에도 공급한다.
연산부(103)는, 화면 재배열 버퍼(102)로부터 판독된 화상으로부터, 선택부(116)를 거쳐서 인트라 예측부(114) 또는 움직임 예측 보상부(115)로부터 공급되는 예측 화상을 감산하고, 그 차분 정보를 직교 변환부(104)에 출력한다.
예를 들어, 인트라 부호화가 행해지는 화상의 경우, 연산부(103)는, 화면 재배열 버퍼(102)로부터 판독된 화상으로부터, 인트라 예측부(114)로부터 공급되는 예측 화상을 감산한다. 또한, 예를 들어 인터 부호화가 행해지는 화상의 경우, 연산부(103)는, 화면 재배열 버퍼(102)로부터 판독된 화상으로부터, 움직임 예측 보상부(115)로부터 공급되는 예측 화상을 감산한다.
직교 변환부(104)는, 연산부(103)로부터 공급되는 차분 정보에 대하여 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 양자화부(105)에 공급한다.
양자화부(105)는, 직교 변환부(104)가 출력하는 변환 계수를 양자화한다. 양자화부(105)는, 레이트 제어부(117)로부터 공급되는 부호량의 목표값에 관한 정보에 기초하여 양자화 파라미터를 설정하고, 양자화를 행한다. 양자화부(105)는, 양자화된 변환 계수를 가역 부호화부(106)에 공급한다.
가역 부호화부(106)는, 그 양자화된 변환 계수에 대하여 가변길이 부호화, 산술 부호화 등의 가역 부호화를 실시한다. 계수 데이터는, 레이트 제어부(117)의 제어 하에서 양자화되어 있으므로, 이 부호량은, 레이트 제어부(117)가 설정한 목표값이 된다(또는 목표값에 근사함).
가역 부호화부(106)는, 인트라 예측을 나타내는 정보 등을 인트라 예측부(114)로부터 취득하고, 인터 예측 모드를 나타내는 정보나 움직임 벡터 정보 등을 움직임 예측 보상부(115)로부터 취득한다. 또한, 인트라 예측(화면 내 예측)을 나타내는 정보는, 이하, 인트라 예측 모드 정보라고도 칭한다. 또한, 인터 예측(화면간 예측)을 나타내는 정보 모드를 나타내는 정보는, 이하, 인터 예측 모드 정보라고도 칭한다.
가역 부호화부(106)는, 양자화된 변환 계수를 부호화함과 함께, 필터 계수, 인트라 예측 모드 정보, 인터 예측 모드 정보 및 양자화 파라미터 등의 각종 정보를, 부호화 데이터의 헤더 정보의 일부로 한다(다중화함). 가역 부호화부(106)는, 부호화해서 얻어진 부호화 데이터를 축적 버퍼(107)에 공급해서 축적시킨다.
예를 들어, 가역 부호화부(106)에 있어서는, 가변길이 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행해진다. 가변길이 부호화로서는, H.264/AVC 방식으로 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.
축적 버퍼(107)는, 가역 부호화부(106)로부터 공급된 부호화 데이터를, 일시적으로 보유하고, 소정의 타이밍에 있어서, H.264/AVC 방식으로 부호화된 부호화 화상으로서, 예를 들어 후단의 도시하지 않은 기록 장치나 전송로 등에 출력한다.
또한, 양자화부(105)에 있어서 양자화된 변환 계수는, 역양자화부(108)에도 공급된다. 역양자화부(108)는, 그 양자화된 변환 계수를, 양자화부(105)에 의한 양자화에 대응하는 방법으로 역양자화한다. 역양자화부(108)는, 얻어진 변환 계수를, 역직교 변환부(109)에 공급한다.
역직교 변환부(109)는, 공급된 변환 계수를, 직교 변환부(104)에 의한 직교 변환 처리에 대응하는 방법으로 역직교 변환한다. 역직교 변환된 출력(복원된 차분 정보)은, 연산부(110)에 공급된다.
연산부(110)는, 역직교 변환부(109)로부터 공급된 역직교 변환 결과, 즉, 복원된 차분 정보에, 선택부(116)를 거쳐서 인트라 예측부(114) 또는 움직임 예측 보상부(115)로부터 공급되는 예측 화상을 가산하고, 국부적으로 복호된 화상(복호 화상)을 얻는다.
예를 들어, 차분 정보가, 인트라 부호화가 행해지는 화상에 대응하는 경우, 연산부(110)는, 그 차분 정보에 인트라 예측부(114)로부터 공급되는 예측 화상을 가산한다. 또한, 예를 들어 차분 정보가, 인터 부호화가 행해지는 화상에 대응하는 경우, 연산부(110)는, 그 차분 정보에 움직임 예측 보상부(115)로부터 공급되는 예측 화상을 가산한다.
그 가산 결과는, 디블록 필터(111) 또는 프레임 메모리(112)에 공급된다.
디블록 필터(111)는, 적절히 디블록 필터 처리를 행함으로써 복호 화상의 블록 왜곡을 제거한다. 디블록 필터(111)는, 그 필터 처리 결과를 프레임 메모리(112)에 공급한다. 또한, 연산부(110)로부터 출력되는 복호 화상은, 디블록 필터(111)를 거치지 않고 프레임 메모리(112)에 공급할 수 있다. 즉, 디블록 필터(111)의 디블록 필터 처리는 생략할 수 있다.
프레임 메모리(112)는, 공급되는 복호 화상을 기억하고, 소정의 타이밍에 있어서, 기억하고 있는 복호 화상을 참조 화상으로 해서, 선택부(113)를 거쳐서 인트라 예측부(114) 또는 움직임 예측 보상부(115)에 출력한다.
예를 들어, 인트라 부호화가 행해지는 화상의 경우, 프레임 메모리(112)는 참조 화상을, 선택부(113)를 거쳐서 인트라 예측부(114)에 공급한다. 또한, 예를 들어 인터 부호화가 행하여지는 경우, 프레임 메모리(112)는 참조 화상을, 선택부(113)를 거쳐서 움직임 예측 보상부(115)에 공급한다.
선택부(113)는 프레임 메모리(112)로부터 공급되는 참조 화상이 인트라 부호화를 행하는 화상인 경우, 그 참조 화상을 인트라 예측부(114)에 공급한다. 또한, 선택부(113)는 프레임 메모리(112)로부터 공급되는 참조 화상이 인터 부호화를 행하는 화상인 경우, 그 참조 화상을 움직임 예측 보상부(115)에 공급한다.
인트라 예측부(114)는 선택부(113)를 거쳐서 프레임 메모리(112)로부터 공급되는 처리 대상 픽처 내의 화소값을 사용해서 예측 화상을 생성하는 인트라 예측(화면 내 예측)을 행한다. 인트라 예측부(114)는 미리 준비된 복수의 모드(인트라 예측 모드)로 이 인트라 예측을 행한다.
H.264 화상 정보 부호화 방식에 있어서, 휘도 신호에 대해서는, 인트라 4×4 예측 모드, 인트라 8×8 예측 모드 및 인트라 16×16 예측 모드가 정의되어 있고, 또한, 색차 신호에 대해서는, 각각의 매크로 블록마다, 휘도 신호와는 독립된 예측 모드를 정의하는 것이 가능하다. 인트라 4×4 예측 모드에 대해서는, 각각의 4×4 휘도 블록에 대하여, 인트라 8×8 예측 모드에 대해서는, 각각의 8×8 휘도 블록에 대하여 1개의 인트라 예측 모드가 정의되게 된다. 인트라 16×16 예측 모드, 및 , 색차 신호에 대해서는, 1개의 매크로 블록에 대하여 각각 1개의 예측 모드가 정의되게 된다.
인트라 예측부(114)는 후보로 되는 모든 인트라 예측 모드로 예측 화상을 생성하고, 화면 재배열 버퍼(102)로부터 공급되는 입력 화상을 사용해서 각 예측 화상의 비용 함수값을 평가하여, 최적인 모드를 선택한다. 인트라 예측부(114)는 최적인 인트라 예측 모드를 선택하면, 그 최적인 모드로 생성된 예측 화상을, 선택부(116)를 거쳐서 연산부(103)나 연산부(110)에 공급한다.
또한, 상술한 바와 같이, 인트라 예측부(114)는 채용된 인트라 예측 모드를 나타내는 인트라 예측 모드 정보 등의 정보를, 적절히 가역 부호화부(106)에 공급한다.
움직임 예측 보상부(115)는 인터 부호화가 행해지는 화상에 대해서, 화면 재배열 버퍼(102)로부터 공급되는 입력 화상과, 선택부(113)를 거쳐서 프레임 메모리(112)로부터 공급되는 참조 화상을 사용하여, 움직임 예측(인터 예측)을 행하고, 검출된 움직임 벡터에 따라서 움직임 보상 처리를 행하고, 예측 화상(인터 예측 화상 정보)을 생성한다. 움직임 예측 보상부(115)는 미리 준비된 복수의 모드(인터 예측 모드)로 이러한 인터 예측을 행한다.
움직임 예측 보상부(115)는 후보로 되는 모든 인터 예측 모드로 예측 화상을 생성하고, 각 예측 화상의 비용 함수값을 평가하여, 최적인 모드를 선택한다. 움직임 예측 보상부(115)는 생성된 예측 화상을, 선택부(116)를 거쳐서 연산부(103)나 연산부(110)에 공급한다.
또한, 움직임 예측 보상부(115)는 채용된 인터 예측 모드를 나타내는 인터 예측 모드 정보나, 산출한 움직임 벡터를 나타내는 움직임 벡터 정보를 가역 부호화부(106)에 공급한다.
선택부(116)는 인트라 부호화를 행하는 화상의 경우, 인트라 예측부(114)의 출력을 연산부(103)나 연산부(110)에 공급하고, 인터 부호화를 행하는 화상의 경우, 움직임 예측 보상부(115)의 출력을 연산부(103)나 연산부(110)에 공급한다.
레이트 제어부(117)는 축적 버퍼(107)에 축적된 압축 화상에 기초하여, 오버플로우 또는 언더플로우가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.
[AVC 부호화 방식의 화상 복호 장치]
도 2는, 이산 코사인 변환 또는 카루넨 루베 변환 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 복호 장치의 주된 구성예를 도시하는 블록도이다. 도 2에 도시되는 화상 복호 장치(200)는 도 1의 화상 부호화 장치(100)에 대응하는 복호 장치이다.
화상 부호화 장치(100)로 부호화된 부호화 데이터는, 예를 들어 전송로나 기록 매체 등, 임의의 경로를 거쳐서, 이 화상 부호화 장치(100)에 대응하는 화상 복호 장치(200)에 공급되어, 복호된다.
도 2에 도시되는 바와 같이, 화상 복호 장치(200)는 축적 버퍼(201), 가역 복호부(202), 역양자화부(203), 역직교 변환부(204), 연산부(205), 디블록 필터(206), 화면 재배열 버퍼(207) 및 D/A 변환부(208)를 갖는다. 또한, 화상 복호 장치(200)는 프레임 메모리(209), 선택부(210), 인트라 예측부(211), 움직임 예측 보상부(212) 및 선택부(213)를 갖는다.
축적 버퍼(201)는 전송되어 온 부호화 데이터를 축적한다. 이 부호화 데이터는, 화상 부호화 장치(100)에 의해 부호화된 것이다. 가역 복호부(202)는 축적 버퍼(201)로부터 소정의 타이밍에서 판독된 부호화 데이터를, 도 1의 가역 부호화부(106)의 부호화 방식에 대응하는 방식으로 복호한다.
또한, 당해 프레임이 인트라 부호화된 것인 경우, 부호화 데이터의 헤더부에는 인트라 예측 모드 정보가 저장되어 있다. 가역 복호부(202)는 이 인트라 예측 모드 정보도 복호하고, 그 정보를 인트라 예측부(211)에 공급한다. 이에 비해, 당해 프레임이 인터 부호화된 것인 경우, 부호화 데이터의 헤더부에는 움직임 벡터 정보가 저장되어 있다. 가역 복호부(202)는 이 움직임 벡터 정보도 복호하고, 그 정보를 움직임 예측 보상부(212)에 공급한다.
역양자화부(203)는 가역 복호부(202)에 의해 복호되어 얻어진 계수 데이터(양자화 계수)를 도 1의 양자화부(105)의 양자화 방식에 대응하는 방식으로 역양자화한다. 즉, 역양자화부(203)는 도 1의 역양자화부(108)와 마찬가지의 방법으로 양자화 계수의 역양자화를 행한다.
역양자화부(203)는 역양자화된 계수 데이터, 즉, 직교 변환 계수를, 역직교 변환부(204)에 공급한다. 역직교 변환부(204)는 도 1의 직교 변환부(104)의 직교 변환 방식에 대응하는 방식(도 1의 역직교 변환부(109)와 마찬가지의 방식)으로, 그 직교 변환 계수를 역직교 변환하고, 화상 부호화 장치(100)에 있어서 직교 변환되기 전의 잔차 데이터에 대응하는 복호 잔차 데이터를 얻는다. 예를 들어, 4차의 역직교 변환이 실시된다.
역직교 변환되어 얻어진 복호 잔차 데이터는, 연산부(205)에 공급된다. 또한, 연산부(205)에는, 선택부(213)를 거쳐서, 인트라 예측부(211) 또는 움직임 예측 보상부(212)로부터 예측 화상이 공급된다.
연산부(205)는 그 복호 잔차 데이터와 예측 화상을 가산하고, 화상 부호화 장치(100)의 연산부(103)에 의해 예측 화상이 감산되기 전의 화상 데이터에 대응하는 복호 화상 데이터를 얻는다. 연산부(205)는 그 복호 화상 데이터를 디블록 필터(206)에 공급한다.
디블록 필터(206)는 공급된 복호 화상의 블록 왜곡을 제거한 후, 화면 재배열 버퍼(207)에 공급한다.
화면 재배열 버퍼(207)는 화상의 재배열을 행한다. 즉, 도 1의 화면 재배열 버퍼(102)에 의해 부호화 순서를 위해서 재배열된 프레임 순서가, 원래의 표시의 순서대로 재배열된다. D/A 변환부(208)는 화면 재배열 버퍼(207)로부터 공급된 화상을 D/A 변환하고, 도시하지 않은 디스플레이에 출력하고, 표시시킨다.
디블록 필터(206)의 출력은, 또한, 프레임 메모리(209)에 공급된다.
프레임 메모리(209), 선택부(210), 인트라 예측부(211), 움직임 예측 보상부(212) 및 선택부(213)는 화상 부호화 장치(100)의 프레임 메모리(112), 선택부(113), 인트라 예측부(114), 움직임 예측 보상부(115) 및 선택부(116)에 각각 대응한다.
선택부(210)는 인터 처리되는 화상과 참조되는 화상을 프레임 메모리(209)로부터 판독하고, 움직임 예측 보상부(212)에 공급한다. 또한, 선택부(210)는 인트라 예측에 사용되는 화상을 프레임 메모리(209)로부터 판독하고, 인트라 예측부(211)에 공급한다.
인트라 예측부(211)에는, 헤더 정보를 복호해서 얻어진 인트라 예측 모드를 나타내는 정보 등이 가역 복호부(202)로부터 적절히 공급된다. 인트라 예측부(211)는 이 정보에 기초하여, 프레임 메모리(209)로부터 취득한 참조 화상으로부터 예측 화상을 생성하고, 생성한 예측 화상을 선택부(213)에 공급한다.
움직임 예측 보상부(212)는 헤더 정보를 복호해서 얻어진 정보(예측 모드 정보, 움직임 벡터 정보, 참조 프레임 정보, 플래그 및 각종 파라미터 등)를 가역 복호부(202)로부터 취득한다.
움직임 예측 보상부(212)는 가역 복호부(202)로부터 공급되는 그들 정보에 기초하여, 프레임 메모리(209)로부터 취득한 참조 화상으로부터 예측 화상을 생성하고, 생성한 예측 화상을 선택부(213)에 공급한다.
선택부(213)는 움직임 예측 보상부(212) 또는 인트라 예측부(211)에 의해 생성된 예측 화상을 선택하여, 연산부(205)에 공급한다.
[매크로 블록 타입]
그런데, 특허문헌 1에 개시되는 바와 같이, 화상 데이터를 부호화해서 출력하는 부호화 모드와, 화상 데이터를 부호화하지 않고 출력하는 비부호화 모드를 갖고, 부호화 모드로 할지 비부호화 모드로 할지를 매크로 블록 단위로 선택하고, 1픽처 내에서 부호화 모드와 비부호화 모드를 혼재시킬 수 있는 부호화 방식이 있다. 특허문헌 2에 도시되는 바와 같이, AVC 부호화 방식에 있어서도, 도 3에 도시되는 바와 같이, 매크로 블록의 종류(mb_type)의 하나로서, 화상 데이터를 부호화하지 않고 출력시키는 I_PCM(Intra-block pulse code modulation)(비압축) 모드가 지원되고 있다.
이것은, 양자화 파라미터를 QP=0과 같이 작은 값으로 한 경우, 부호화 데이터의 정보량이, 입력 화상을 상회하는 경우, 산술 부호화 처리의 리얼타임 동작을 보증하기 위해서 사용된다. 또한, I-PCM 모드(비압축 모드)를 사용함으로써, 로스리스 부호화를 실현하는 것도 가능하다.
[비용 함수]
그런데, AVC 부호화 방식에 있어서, 보다 높은 부호화 효율을 달성하기 위해서는, 적절한 예측 모드의 선택이 중요하다.
이러한 선택 방식의 예로서, http://iphome.hhi.de/suehring/tml/index.htm에 있어서 공개되어 있는, JM(Joint Model)이라고 불리는 H.264/MPEG-4AVC의 참조 소프트웨어에 실장되어 있는 방법을 들 수 있다.
JM에 있어서는, 이하에 설명하는, High Complexity Mode와, Low Complexity Mode의 2가지의 모드 판정 방법을 선택하는 것이 가능하다. 어느 쪽이든, 각각의 예측 모드 Mode에 관한 비용 함수값을 산출하고, 이것을 최소로 하는 예측 모드를 당해 블록 내지 매크로 블록에 대한 최적 모드로서 선택한다.
High Complexity Mode에 있어서의 비용 함수는, 이하의 식(1)과 같이 된다.
Cost(Mode∈Ω)=D+λ*R ···(1)
여기서, Ω는, 당해 블록 내지 매크로 블록을 부호화하기 위한 후보 모드의 전체 집합, D는, 당해 예측 모드 Mode로 부호화한 경우의, 복호 화상과 입력 화상의 차분 에너지이다. λ는, 양자화 파라미터의 함수로서 부여되는 Lagrange 미정승수이다. R은, 직교 변환 계수를 포함한, 당해 모드 Mode로 부호화한 경우의 총 부호량이다.
즉, High Complexity Mode에서의 부호화를 행하기 위해서는, 상기 파라미터D 및 R를 산출하기 위해서, 모든 후보 모드(Mode)에 의해, 일단 가 인코드 처리(preliminary encoding processing)를 행할 필요가 있어, 보다 높은 연산량을 필요로 한다.
Low Complexity Mode에 있어서의 비용 함수는, 이하의 식(2)과 같이 된다.
Cost(Mode∈Ω)=D+QP2Quant(QP)*HeaderBit ···(2)
여기서, D는, High Complexity Mode의 경우와 달리, 예측 화상과 입력 화상의 차분 에너지가 된다. QP2Quant(QP)는 양자화 파라미터 QP의 함수로서 부여되고, HeaderBit는, 직교 변환 계수를 포함하지 않는, 움직임 벡터나, 모드와 같은, Header에 속하는 정보에 관한 부호량이다.
즉, Low Complexity Mode에 있어서는, 각각의 후보 모드(Mode)에 대해서, 예측 처리를 행할 필요가 있지만, 복호화 화상까지는 필요없기 때문에, 부호화 처리까지 행할 필요는 없다. 이로 인해, High Complexity Mode보다 낮은 연산량에서의 실현이 가능하다.
[코딩 유닛]
이어서, 비특허문헌 1에 기재된 HEVC 부호화 방식에 있어서 정해져 있는, 코딩 유닛(Coding Unit)에 대해서 설명한다.
Coding Unit(CU)은 Coding Tree Block(CTB)이라고도 불리고, AVC에 있어서의 매크로 블록과 마찬가지의 역할을 하는, 픽처 단위의 화상의 부분 영역이며, 계층 구조를 갖는 부호화 단위이다. 매크로 블록은, 16×16 화소의 크기로 고정되어 있는 데 반해, CU의 크기는 고정되어 있지 않고, 각각의 시퀀스에 있어서, 화상 압축 정보 중에서 지정되게 된다.
특히, 최대의 크기를 갖는 CU를, LCU(Largest Coding Unit)라고 칭하고, 또한, 최소의 크기를 갖는 CU를 SCU(Smallest Coding Unit)라고 칭한다. 예를 들어 화상 압축 정보에 포함되는 시퀀스 파라미터 세트(SPS)에 있어서, 이들 영역의 크기가 지정되게 되지만, 각각, 정사각형이고, 2의 멱승으로 표현되는 크기에 한정된다.
도 4에, HEVC로 정의되어 있는 코딩 유닛(Coding Unit)의 예를 나타낸다. 도 4의 예에서는, LCU의 크기가 128이고, 최대 계층 심도가 5로 된다. 2N×2N의 크기의 CU는, split_flag의 값이 「1」일 때, 1개 아래의 계층이 되는, N×N의 크기의 CU로 분할된다.
또한, CU는, 인트라 또는 인터 예측의 처리 단위로 되는 영역(픽처 단위의 화상의 부분 영역)인 프레딕션 유닛(Prediction Unit(PU))으로 분할되고, 또한, 직교 변환의 처리 단위로 되는 영역(픽처 단위의 화상의 부분 영역)인, 트랜스폼 유닛(Transform Unit(TU))으로 분할된다. 현재, HEVC에 있어서는, 4×4 및 8×8 외에, 16×16 및 32×32 직교 변환을 사용하는 것이 가능하다.
[IBDI]
그런데, 비특허문헌 2에 있어서는, 도 5에 도시되는 바와 같은, 내부 연산을 증대시키는 방법(IBDI(Internal bit depth increase except frame memory))이 제안되어 있다. 이 방법의 경우, 도 5에 도시되는 바와 같이, 부호화 장치 및 복호 장치의, 양자화 처리, 가역 부호화 처리, 역양자화 처리, 필터 처리, 예측 처리 및 가역 복호 처리 등에 있어서, 데이터의 비트 심도를 예를 들어 8비트로부터 12비트로 확장한다. 이에 의해, 직교 변환이나 움직임 보상과 같은 처리에 있어서의 내부 연산 오차를 보다 작은 것으로 하여, 부호화 효율을 향상시키는 것이 가능하다.
[BALF]
그런데, 비특허문헌 3에 있어서는, 도 5에 도시되는 바와 같이, 움직임 보상 루프 내에 FIR 필터를 갖고, 그 필터에 의해 적절하게 루프 필터 처리(BALF(Block-based Adaptive Loop Filter))를 행하는 방법이 제안되어 있다. 부호화 장치에 있어서는, 이 FIR 필터 계수를, 입력 화상과의 오차를 최소로 하도록, Wiener Filter에 의해 구함으로써, 참조 화상에 있어서의 열화를 최소한으로 억제하고, 출력으로 되는 화상 압축 정보의 부호화 효율을 향상시키는 것이 가능하다.
[부호화 처리의 효율]
그런데, HEVC와 같이 CU를 정의하고, 그 CU를 단위로 해서 각종 처리를 행하는 부호화 방식의 경우, AVC에 있어서의 매크로 블록은 LCU에 상당한다고 생각할 수 있다. 그러나, CU는 도 4에 도시되는 바와 같이 계층 구조를 가지므로, 그 최상위 계층의 LCU의 크기는, 예를 들어 128×128 화소와 같이, AVC의 매크로 블록보다 크게 설정되는 것이 일반적이다.
따라서, 이러한 부호화 방식에 있어서도 AVC의 경우와 마찬가지로, LCU 단위로 I_PCM 모드를 설정하도록 하면, 처리의 단위가, 예를 들어 128×128 화소 단위와 같이, AVC의 경우보다도 커져버린다.
인트라 예측이나 인터 예측의 모드는, 상술한 바와 같이 비용 함수값을 산출하고, 비교함으로써 결정된다. 즉, 모든 모드로 예측이나 부호화가 행해지고, 각각의 비용 함수값이 산출되고, 최적인 모드가 선택되고, 그 최적인 모드로 부호화 데이터가 생성된다.
그러나, I_PCM 모드가 채용되면, 그 최적인 모드로 생성된 부호화 데이터는 파기되고, 입력 화상(비부호화 데이터)이 그대로 부호화 결과로서 채용된다. 따라서, I_PCM 모드가 선택된 경우, 그 최적인 모드의 부호화 데이터를 생성하기 위한 처리는 모두 불필요한 처리로 되어 버린다. 즉, 이 I_PCM 모드의 선택 제어의 단위가 커지면 불필요한 처리가 더욱 증대하게 된다. 즉, 상술한 바와 같이 LCU마다 I_PCM 모드를 채용할지 여부를 선택하도록 하면, 부호화 처리의 효율이 보다 저감되어 버릴 우려가 있었다. 따라서, 예를 들어 CABAC의 리얼타임 동작을 보증하는 것이 곤란해질 우려가 있었다.
또한, 상술한 IBDI나 BALF와 같은 기술은, AVC 부호화 방식에 포함되지 않는 것이며, I_PCM 모드가 채용되는 경우에 있어서, 이들 처리를 어떻게 제어할지가 불분명하였다.
그래서, 본 실시에 있어서는, I_PCM 모드(비압축 모드)의 선택을 보다 상세하게 제어할 수 있도록 하여, 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있게 한다. 또한, I_PCM 모드의 선택에 따라, 적절하게 IBDI나 BALF의 실행의 유무를 제어하도록 하여, 부호화 처리의 효율의 저감을 더 억제 할 수 있도록 한다.
[화상 부호화 장치]
도 7은, 화상 부호화 장치의 주된 구성예를 도시하는 블록도이다.
도 7에 도시되는 화상 부호화 장치(300)는 도 1의 화상 부호화 장치(100)와 기본적으로 마찬가지의 장치이며, 화상 데이터를 부호화한다. 도 7에 도시되는 바와 같이 화상 부호화 장치(300)는 A/D 변환부(301), 화면 재배열 버퍼(302), 적응 좌측 시프트부(303), 연산부(304), 직교 변환부(305), 양자화부(306), 가역 부호화부(307) 및 축적 버퍼(308)를 갖는다. 또한, 화상 부호화 장치(300)는 역양자화부(309), 역직교 변환부(310), 연산부(311), 루프 필터(312), 적응 우측 시프트부(313), 프레임 메모리(314), 적응 좌측 시프트부(315), 선택부(316), 인트라 예측부(317), 움직임 예측 보상부(318), 선택부(319) 및 레이트 제어부(320)를 갖는다.
화상 부호화 장치(300)는 또한, PCM 부호화부(321)를 갖는다.
A/D 변환부(301)는 A/D 변환부(101)의 경우와 마찬가지로, 입력된 화상 데이터를 A/D 변환한다. A/D 변환부(301)는 변환 후의 화상 데이터(디지털 데이터)를 화면 재배열 버퍼(302)에 공급하고, 기억시킨다. 화면 재배열 버퍼(302)는 화면 재배열 버퍼(102)의 경우와 마찬가지로, 기억한 표시 순서의 프레임의 화상을, GOP(Group of Picture) 구조에 따라, 부호화를 위한 프레임의 순서대로 재배열한다. 화면 재배열 버퍼(302)는 프레임 순서를 재배열한 화상을, 적응 좌측 시프트부(303)에 공급한다.
또한, 화면 재배열 버퍼(302)는 프레임 순서를 재배열한 화상을, 가역 부호화부(307) 및 PCM 부호화부(321)에도 공급한다.
적응 좌측 시프트부(303)는 PCM 부호화부(321)에 의해 제어되고, 화면 재배열 버퍼(302)로부터 판독된 화상 데이터를 좌측 방향으로 시프트하고, 그 비트 심도를 소정 비트수(예를 들어 4비트) 증대시킨다. 예를 들어, 적응 좌측 시프트부(303)는 화면 재배열 버퍼(302)로부터 판독된 화상 데이터의 비트 심도를, 8비트로부터 12비트로 증대시킨다. 이렇게 비트 심도를 증대시킴으로써, 직교 변환 처리, 양자화 처리, 가역 부호화 처리 및 예측 처리 등의 각 처리에 있어서의 내부 연산의 정밀도를 향상시켜, 오차를 억제할 수 있다.
또한, 이 좌측 시프트량(비트량)은 임의이며, 고정값이어도 좋고, 가변이어도 좋다. 또한, PCM 부호화부(321)의 제어에 의해, 이 좌측 시프트 처리는 생략(스킵)되는 경우도 있다.
적응 좌측 시프트부(303)는, 좌측 시프트 처리 후의 화상 데이터를(처리가 생략(스킵)된 경우에는, 화면 재배열 버퍼(302)로부터 출력된 화상 데이터를 그대로) 연산부(304)에 공급한다. 또한, 적응 좌측 시프트부(303)는 그 화상 데이터를, 인트라 예측부(317) 및 움직임 예측 보상부(318)에도 공급한다.
연산부(304)는 연산부(103)의 경우와 마찬가지로, 적응 좌측 시프트부(303)로부터 공급된 화상으로부터, 선택부(319)를 거쳐서 인트라 예측부(317) 또는 움직임 예측 보상부(318)로부터 공급되는 예측 화상을 감산한다. 연산부(304)는 그 차분 정보를 직교 변환부(305)에 출력한다.
예를 들어, 인트라 부호화가 행해지는 화상의 경우, 연산부(304)는 적응 좌측 시프트부(303)로부터 공급된 화상으로부터, 인트라 예측부(317)로부터 공급되는 예측 화상을 감산한다. 또한, 예를 들어 인터 부호화가 행해지는 화상의 경우, 연산부(304)는 적응 좌측 시프트부(303)로부터 공급된 화상으로부터, 움직임 예측 보상부(318)로부터 공급되는 예측 화상을 감산한다.
직교 변환부(305)는 직교 변환부(104)의 경우와 마찬가지로, 연산부(304)로부터 공급되는 차분 정보에 대하여 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시한다. 또한, 이 직교 변환의 방법은 임의이다. 직교 변환부(305)는 그 변환 계수를 양자화부(306)에 공급한다.
양자화부(306)는 양자화부(105)의 경우와 마찬가지로, 직교 변환부(305)로부터 공급되는 변환 계수를 양자화한다. 양자화부(306)는 레이트 제어부(320)로부터 공급되는 부호량의 목표값에 관한 정보에 기초하여 양자화 파라미터를 설정하고, 그 양자화를 행한다. 또한, 이 양자화의 방법은 임의이다. 양자화부(306)는 양자화된 변환 계수를 가역 부호화부(307)에 공급한다.
가역 부호화부(307)는 가역 부호화부(106)의 경우와 마찬가지로, 양자화부(306)에 있어서 양자화된 변환 계수에 대하여, 가변길이 부호화, 산술 부호화 등의 가역 부호화를 실시한다. 계수 데이터는, 레이트 제어부(320)의 제어 하에서 양자화되어 있으므로, 이 부호량은, 레이트 제어부(320)가 설정한 목표값으로 된다(또는 목표값에 근사함).
또한, 가역 부호화부(307)는 PCM 부호화부(321)에 의해 I_PCM 모드가 선택된 경우, 화면 재배열 버퍼(302)로부터 공급되는 입력 화상(비부호화 데이터)을 부호화 결과로 한다(즉, 실제로는 부호화는 생략(스킵)됨).
또한, 가역 부호화부(307)는 인트라 예측의 모드를 나타내는 정보 등을 인트라 예측부(317)로부터 취득하고, 인터 예측의 모드를 나타내는 정보나 움직임 벡터 정보 등을 움직임 예측 보상부(318)로부터 취득한다. 또한, 가역 부호화부(307)는 루프 필터(312)에 있어서 사용된 필터 계수를 취득한다.
가역 부호화부(307)는 이들 필터 계수, 인트라 예측이나 인터 예측의 모드를 나타내는 정보, 및 양자화 파라미터 등의 각종 정보를, 가역 부호화부(106)의 경우와 마찬가지로 부호화하고, 부호화 데이터의 헤더 정보의 일부로 한다(다중화함). 가역 부호화부(307)는 부호화해서 얻어진 부호화 데이터(I_PCM 모드의 경우의 비부호화 데이터를 포함함)를 축적 버퍼(308)에 공급해서 축적시킨다.
예를 들어, 가역 부호화부(307)에 있어서는, 가역 부호화부(106)의 경우와 마찬가지로, 가변길이 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행해진다. 가변길이 부호화로서는, H.264/AVC 방식으로 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다. 물론, 가역 부호화부(307)가 이들 방법 이외의 방법으로 부호화를 행하도록 해도 좋다.
축적 버퍼(308)는 축적 버퍼(107)의 경우와 마찬가지로, 가역 부호화부(307)로부터 공급된 부호화 데이터(I_PCM 모드의 경우의 비부호화 데이터를 포함함)를 일시적으로 보유한다. 축적 버퍼(308)는 소정의 타이밍에 있어서, 보유하고 있는 부호화 데이터를, 예를 들어 후단의 도시하지 않은 기록 장치(기록 매체)나 전송로 등에 출력한다.
또한, 양자화부(306)에 있어서 양자화된 변환 계수는, 역양자화부(309)에도 공급된다. 역양자화부(309)는 그 양자화된 변환 계수를, 역양자화부(108)의 경우와 마찬가지로, 양자화부(306)에 의한 양자화에 대응하는 방법으로 역양자화한다. 이 역양자화의 방법은, 양자화부(306)에 의한 양자화 처리에 대응하는 방법이면 어떠한 방법이어도 좋다. 역양자화부(309)는 얻어진 변환 계수를, 역직교 변환부(310)에 공급한다.
역직교 변환부(310)는 역양자화부(309)로부터 공급된 변환 계수를, 역직교 변환부(109)의 경우와 마찬가지로, 직교 변환부(305)에 의한 직교 변환 처리에 대응하는 방법으로 역직교 변환한다. 이 역직교 변환의 방법은, 직교 변환부(305)에 의한 직교 변환 처리에 대응하는 방법이면 어떠한 것이어도 좋다. 역직교 변환된 출력(복원된 차분 정보)은 연산부(311)에 공급된다.
연산부(311)는 연산부(110)의 경우와 마찬가지로, 역직교 변환부(310)로부터 공급된 역직교 변환 결과, 즉, 복원된 차분 정보에, 선택부(319)를 거쳐서 인트라 예측부(317) 또는 움직임 예측 보상부(318)로부터 공급되는 예측 화상을 가산하고, 국부적으로 복호(로컬 디코드)된 화상(복호 화상)을 얻는다.
예를 들어, 차분 정보가, 인트라 부호화가 행해지는 화상에 대응하는 경우, 연산부(311)는 그 차분 정보에 인트라 예측부(317)로부터 공급되는 예측 화상을 가산한다. 또한, 예를 들어 차분 정보가, 인터 부호화가 행해지는 화상에 대응하는 경우, 연산부(311)는 그 차분 정보에 움직임 예측 보상부(318)로부터 공급되는 예측 화상을 가산한다.
그 가산 결과(복호 화상)는 루프 필터(312) 또는 적응 우측 시프트부(313)에 공급된다.
루프 필터(312)는 디블록 필터나 적응 루프 필터 등을 포함하고, 연산부(311)로부터 공급되는 복호 화상에 대하여 적절히 필터 처리를 행한다. 예를 들어, 루프 필터(312)는 복호 화상에 대하여, 디블록 필터(111)와 마찬가지의 디블록 필터 처리를 행함으로써 복호 화상의 블록 왜곡을 제거한다. 또한, 예를 들어 루프 필터(312)는 PCM 부호화부(321)에 의해 제어되어, 그 디블록 필터 처리 결과(블록 왜곡의 제거가 행해진 복호 화상)에 대하여, 위너 필터(Wiener Filter)를 사용해서 루프 필터 처리를 행함으로써 화질 개선을 행한다. 또한, PCM 부호화부(321)의 제어에 의해, 이 적응 루프 필터 처리는 생략(스킵)되는 경우도 있다.
또한, 루프 필터(312)가 복호 화상에 대하여 임의의 필터 처리를 행하도록 해도 좋다. 또한, 루프 필터(312)는 필요에 따라, 필터 처리에 사용한 필터 계수를 가역 부호화부(307)에 공급하고, 그것을 부호화시키도록 할 수도 있다.
루프 필터(312)는 필터 처리 결과(필터 처리 후의 복호 화상)를 적응 우측 시프트부(313)에 공급한다. 또한, 상술한 바와 같이, 연산부(311)로부터 출력되는 복호 화상은, 루프 필터(312)를 거치지 않고 적응 우측 시프트부(313)에 공급할 수 있다. 즉, 루프 필터(312)에 의한 필터 처리는 생략(스킵)할 수 있다.
적응 우측 시프트부(313)는 PCM 부호화부(321)에 의해 제어되고, 연산부(311) 또는 루프 필터(312)로부터 공급된 화상 데이터를 우측 방향으로 시프트하고, 그 비트 심도를 소정 비트수(예를 들어 4비트) 저감시킨다. 즉, 적응 우측 시프트부(313)는 적응 좌측 시프트부(303)에 있어서 좌측 시프트된 비트수만큼 우측 시프트하고, 화상 데이터의 비트 심도를 좌측 시프트되기 전의 상태(화면 재배열 버퍼(302)로부터 판독된 시점의 상태)로 복귀시킨다.
예를 들어, 적응 우측 시프트부(313)는 연산부(311) 또는 루프 필터(312)로부터 공급된 화상 데이터의 비트 심도를, 12비트로부터 8비트로 저감시킨다. 이렇게 비트 심도를 저감시킴으로써, 프레임 메모리에 저장될 때의 화상 데이터의 데이터량을 저감시킬 수 있다.
또한, 이 우측 시프트량(비트량)은 적응 좌측 시프트부(303)에 있어서의 좌측 시프트량과 일치하는 한, 임의이다. 즉, 고정값이어도 좋고, 가변이어도 좋다. 또한, PCM 부호화부(321)의 제어에 의해, 이 우측 시프트 처리는 생략(스킵)되는 경우도 있다.
적응 우측 시프트부(313)는 우측 시프트 처리 후의 화상 데이터를(처리가 생략(스킵)된 경우에는, 연산부(311) 또는 루프 필터(312)로부터 출력된 화상 데이터를 그대로) 프레임 메모리(314)에 공급한다.
프레임 메모리(314)는 프레임 메모리(112)의 경우와 마찬가지로, 공급되는 복호 화상을 기억하고, 소정의 타이밍에 있어서, 기억하고 있는 복호 화상을 참조 화상으로 해서, 적응 좌측 시프트부(315)에 출력한다.
적응 좌측 시프트부(315)는 적응 좌측 시프트부(303)와 마찬가지의 처리부이며, PCM 부호화부(321)에 의해 제어되고, 프레임 메모리(314)로부터 판독된 화상 데이터(참조 화상)를 적절히 좌측 방향으로 시프트하고, 그 비트 심도를 소정 비트수(예를 들어 4비트) 증대시킨다.
예를 들어, I_PCM 모드가 아닌 경우, 입력 화상의 데이터는 적응 좌측 시프트부(303)에 있어서 좌측 시프트된다. 따라서, 적응 좌측 시프트부(315)는 PCM 부호화부(321)의 제어에 따라, 프레임 메모리(314)로부터 판독된 참조 화상의 데이터를 좌측 시프트하고, 비트 심도를 적응 좌측 시프트부(303)의 경우와 동일한 비트수만큼 증대시킨다(예를 들어, 비트 심도를 8비트로부터 12비트로 함).
그리고, 적응 좌측 시프트부(315)는 그 좌측 시프트 처리 후의 화상 데이터를 선택부(316)에 공급한다. 이렇게 비트 심도를 증대시킴으로써, 참조 화상의 비트 심도를 입력 화상의 비트 심도에 맞출 수 있고, 참조 화상을 입력 화상에 가산시킬 수 있게 된다. 또한, 예측 처리 등의 내부 연산의 정밀도를 향상시켜, 오차를 억제할 수 있다.
이에 비해, 예를 들어 I_PCM 모드의 경우, 입력 화상의 데이터는 적응 좌측 시프트부(303)에 있어서 좌측 시프트되지 않는다. 그래서 적응 좌측 시프트부(315)는 PCM 부호화부(321)의 제어에 따라, 프레임 메모리(314)로부터 판독된 참조 화상을, 비트 심도를 증대시키지 않고 선택부(316)에 공급한다.
선택부(316)는 선택부(113)의 경우와 마찬가지로, 인트라 예측의 경우, 적응 좌측 시프트부(315)로부터 공급되는 참조 화상을 인트라 예측부(317)에 공급한다. 또한, 인터 예측의 경우, 선택부(316)는 선택부(113)의 경우와 마찬가지로, 적응 좌측 시프트부(315)로부터 공급되는 참조 화상을 움직임 예측 보상부(318)에 공급한다.
인트라 예측부(317)는 선택부(316)를 거쳐서 적응 좌측 시프트부(315)로부터 공급되는 참조 화상을 사용해서 예측 화상을 생성하는 인트라 예측(화면 내 예측)을 행한다. 인트라 예측부(317)는 미리 준비된 복수의 모드(인트라 예측 모드)로 이 인트라 예측을 행한다. 인트라 예측부(317)는 AVC 부호화 방식에 있어서 규정되는 모드 이외의 임의의 모드로 이 인트라 예측을 행할 수도 있다.
인트라 예측부(317)는 후보로 되는 모든 인트라 예측 모드로 예측 화상을 생성하고, 적응 좌측 시프트부(303)로부터 공급되는 입력 화상을 사용해서 각 예측 화상의 비용 함수값을 평가하여, 최적인 모드를 선택한다. 인트라 예측부(317)는 최적인 인트라 예측 모드를 선택하면, 그 최적인 모드로 생성된 예측 화상을, 선택부(319)를 거쳐서 연산부(304)나 연산부(311)에 공급한다.
또한, 상술한 바와 같이, 인트라 예측부(317)는 채용된 인트라 예측 모드를 나타내는 인트라 예측 모드 정보 등의 정보를, 적절히 가역 부호화부(307)에 공급하고, 부호화시킨다.
움직임 예측 보상부(318)는 인터 부호화가 행해지는 화상에 대해서, 적응 좌측 시프트부(303)로부터 공급되는 입력 화상과, 선택부(316)를 거쳐서 적응 좌측 시프트부(315)로부터 공급되는 참조 화상을 사용하여, 움직임 예측(인터 예측)을 행하고, 검출된 움직임 벡터에 따라서 움직임 보상 처리를 행하여, 예측 화상(인터 예측 화상 정보)을 생성한다. 움직임 예측 보상부(318)는 미리 준비된 복수의 모드(인터 예측 모드)로 이러한 인터 예측을 행한다. 움직임 예측 보상부(318)는AVC 부호화 방식에 있어서 규정되는 모드 이외의 임의의 모드로 이 인터 예측을 행할 수도 있다.
움직임 예측 보상부(318)는 후보로 되는 모든 인터 예측 모드로 예측 화상을 생성하고, 각 예측 화상의 비용 함수값을 평가하여, 최적인 모드를 선택한다. 움직임 예측 보상부(318)는 최적인 인터 예측 모드를 선택하면, 그 최적인 모드로 생성된 예측 화상을, 선택부(319)를 거쳐서 연산부(304)나 연산부(311)에 공급한다.
또한, 움직임 예측 보상부(318)는 채용된 인터 예측 모드를 나타내는 인터 예측 모드 정보나, 산출한 움직임 벡터를 나타내는 움직임 벡터 정보를 가역 부호화부(307)에 공급하고, 부호화시킨다.
선택부(319)는 선택부(116)의 경우와 마찬가지로, 인트라 부호화를 행하는 화상의 경우, 인트라 예측부(317)의 출력을 연산부(304)나 연산부(311)에 공급하고, 인터 부호화를 행하는 화상의 경우, 움직임 예측 보상부(318)의 출력을 연산부(304)나 연산부(311)에 공급한다.
레이트 제어부(320)는 축적 버퍼(308)에 축적된 부호화 데이터의 부호량에 기초하여, 오버플로우 또는 언더플로우가 발생하지 않도록, 양자화부(306)의 양자화 동작의 레이트를 제어한다.
또한, 레이트 제어부(320)는 축적 버퍼(308)에 축적된 부호화 데이터의 부호량(발생 부호량)을 PCM 부호화부(321)에 공급한다.
PCM 부호화부(321)는 레이트 제어부(320)로부터 공급되는 부호량과, 화면 재배열 버퍼(302)로부터 공급되는 입력 화상의 데이터량을 비교하고, I_PCM 모드를 채용할지 여부를 선택한다. 그 때, PCM 부호화부(321)는 이 선택을, LCU보다 작은 CU 단위로 행한다. 즉, PCM 부호화부(321)는 I_PCM 모드인지 여부를, 보다 상세하게 제어한다.
PCM 부호화부(321)는 그 선택 결과에 따라, 가역 부호화부(307), 적응 좌측 시프트부(303), 적응 우측 시프트부(313), 적응 좌측 시프트부(315) 및 루프 필터(312)의 동작을 제어한다.
[가역 부호화부, PCM 부호화부 및 루프 필터]
도 8은, 도 7의 가역 부호화부(307), PCM 부호화부(321) 및 루프 필터(312)의 주된 구성예를 도시하는 블록도이다.
도 8에 도시되는 바와 같이, 가역 부호화부(307)는 NAL(Network Abstraction Layer) 부호화부(331) 및 CU 부호화부(332)를 갖는다.
NAL 부호화부(331)는 도시하지 않은 유저 인터페이스를 거쳐서 입력되는 유저 지시나, 사양 등에 기초하여, 예를 들어 시퀀스 파라미터 세트(SPS(Sequence Parameter Set)나 PPS(Picture Parameter Set) 등의 NAL을 부호화한다. NAL 부호화부(331)는 부호화한 NAL(NAL 데이터)을 축적 버퍼(308)에 공급하고, CU 부호화부(332)로부터 축적 버퍼(308)에 공급되는 부호화된 VCL(Video Coding Layer)인 CU 데이터에 부가시킨다.
CU 부호화부(332)는 PCM 부호화부(321)에 의해 제어되어(PCM 부호화부(321)로부터 공급되는 On/Off 제어 신호에 기초하여), VCL의 부호화를 행한다. 예를 들어, PCM 부호화부(321)에 의해 I_PCM 모드가 선택되지 않은 경우(PCM 부호화부(321)로부터 「On」을 나타내는 제어 신호가 공급된 경우), CU 부호화부(332)는 CU마다의 양자화된 직교 변환 계수를 부호화한다. CU 부호화부(332)는 부호화한 각 CU의 부호화 데이터(CU 데이터)를 축적 버퍼(308)에 공급한다.
또한, 예를 들어 PCM 부호화부(321)에 의해 I_PCM 모드가 선택된 경우(PCM 부호화부(321)로부터 「Off」를 나타내는 제어 신호가 공급된 경우), CU 부호화부(332)는 화면 재배열 버퍼(302)로부터 공급되는 입력 화소값을 부호화 결과(CU 데이터)로서 축적 버퍼(308)에 공급한다.
또한, CU 부호화부(332)는 PCM 부호화부(321)로부터 공급되는, 부호화의 모드가 I_PCM 모드인지 여부를 나타내는 플래그(I_PCM_flag)도 부호화하고, CU 데이터로서 축적 버퍼(308)에 공급한다. 또한, CU 부호화부(332)는 루프 필터(312)로부터 공급되는 적응 필터 플래그나 필터 계수 등의 필터 처리에 관한 정보를 부호화하고, CU 데이터로서 축적 버퍼(308)에 공급한다.
CU 부호화부(332)에 의한 부호화의 방법은 임의이다(예를 들어 CABAC나 CAVLC 등). 축적 버퍼(308)에 공급된 NAL 데이터 및 CU 데이터는, 합성되어 축적된다.
또한, 실제로는, PCM 부호화부(321)는 CU 부호화부(332)에 있어서 양자화된 직교 변환 계수가 부호화된 부호화 데이터의 부호량을 사용해서 I_PCM 모드를 선택할지 여부를 제어한다.
따라서, 예를 들어 I_PCM 모드가 선택되지 않은 경우, 축적 버퍼(308)에 공급 완료된 부호화 데이터가, 당해 CU의 양자화된 직교 변환 계수의 부호화 결과로서 그대로 채용된다. 따라서, CU 부호화부(332)는 I_PCM_flag 등의 부가 정보의 부호화만을 행하면 된다.
이에 비해, 예를 들어 I_PCM 모드가 선택된 경우, CU 부호화부(332)는 화면 재배열 버퍼(302)로부터 공급되는 당해 CU의 입력 화소값을 부호화 결과(CU 데이터)로서 축적 버퍼(308)에 공급한다. 따라서, 이 경우, 이미 공급 완료된 당해 CU의 부호화 데이터(양자화된 직교 변환 계수가 부호화된 부호화 데이터)는 파기된다. 즉, 그 부호화 데이터의 생성에 관한 처리는 모두 용장(冗長) 처리로 된다.
도 8에 도시되는 바와 같이, PCM 부호화부(321)는 I_PCM_flag 생성부(341) 및 PCM 결정부(342)를 갖는다.
I_PCM_flag 생성부(341)는 PCM 결정부(342)의 결정에 따라, I_PCM_flag를 생성하고, 그 값을 결정한다. I_PCM_flag 생성부(341)는 생성한 I_PCM_flag를 가역 부호화부(307)의 CU 부호화부(332)에 공급한다. 예를 들어, PCM 결정부(342)가 I_PCM 모드를 선택한 경우, I_PCM_flag 생성부(341)는 I_PCM_flag의 값을, I_PCM 모드가 선택된 것을 나타내는 값(예를 들어 「1」)으로 설정하고, 그 I_PCM_flag를 CU 부호화부(332)에 공급한다. 또한, 예를 들어, 예를 들어 PCM 결정부(342)가 I_PCM 모드를 선택하지 않은 경우, I_PCM_flag 생성부(341)는 I_PCM_flag의 값을, I_PCM 모드가 선택되지 않은 것을 나타내는 값(예를 들어 「0」)으로 설정하고, 그 I_PCM_flag를 CU 부호화부(332)에 공급한다.
PCM 결정부(342)는 부호화의 모드를 I_PCM 모드로 할지 여부를 결정한다. PCM 결정부(342)는 화면 재배열 버퍼(302)로부터 공급되는 입력 화소값의 데이터량을 구하고, 레이트 제어부(320)로부터 공급되는 발생 부호량과 비교하고, 그 비교 결과에 기초하여, I_PCM 모드를 선택할지 여부를 결정한다. PCM 결정부(342)는 그 선택 결과를 나타내는 On/Off 제어 신호를 CU 부호화부(332)나 I_PCM_flag 생성부(341)에 공급함으로써, 선택 결과에 따른 동작의 제어를 행한다.
예를 들어, 입력 화소값의 데이터량이 발생 부호량보다 큰 경우, PCM 결정부(342)는 I_PCM 모드를 선택하지 않는다. 이 경우, PCM 결정부(342)는 「On」을 나타내는 제어 신호를 CU 부호화부(332)에 공급하고, CU 부호화부(332)에 의해 양자화된 직교 변환 계수를 부호화시킨다. 또한, PCM 결정부(342)는 「On」을 나타내는 제어 신호를, I_PCM_flag 생성부(341)에 공급하고, I_PCM 모드가 선택되지 않은 것을 나타내는 값(예를 들어 「0」)의 I_PCM_flag를 생성시킨다.
이에 비해, 예를 들어 입력 화소값의 데이터량이 발생 부호량 이하인 경우, PCM 결정부(342)는 I_PCM 모드를 선택한다. 이 경우, PCM 결정부(342)는 「Off」를 나타내는 제어 신호를 CU 부호화부(332)에 공급하고, 입력 화소값을 부호화 결과(CU 데이터)로서 출력시킨다. 또한, PCM 결정부(342)는 「Off」를 나타내는 제어 신호를, I_PCM_flag 생성부(341)에 공급하고, I_PCM 모드가 선택된 것을 나타내는 값(예를 들어 「1」)의 I_PCM_flag를 생성시킨다.
PCM 결정부(342)는 이러한 I_PCM 모드를 선택할지 여부의 결정을, LCU뿐만 아니라, 시퀀스 파라미터 세트에 있어서 설정되는, 모든 크기의(임의의 계층의) CU 마다 행할 수 있다. 이에 의해, 예를 들어 낮은 QP에 있어서, 많은 비트가 발생해버리는 것을, I_PCM 모드에 의해 제한하는 처리를, 보다 작은 CU를 단위로 해서 실행하는 것이 가능하게 되고, 부호량(I_PCM 모드에 의한 비부호화 데이터의 데이터량을 포함함)의 제어를 보다 상세하게 행할 수 있을 뿐만 아니라, I_PCM 모드 시에 발생하는 용장 처리를 저감시킬 수 있다.
또한, PCM 결정부(342)는 선택 결과를 나타내는 On/Off 제어 신호를 적응 좌측 시프트부(303), 적응 우측 시프트부(313) 및 적응 좌측 시프트부(315)에 공급함으로써, 선택 결과에 따라서 IBDI의 제어를 행한다. 즉, PCM 결정부(342)는 당해 CU가 I_PCM 모드인 경우, 적응 시프트 장치에 의한, 비트 정밀도의 증가 및 감소의 처리가 행해지지 않도록 제어한다.
예를 들어, I_PCM 모드를 선택하지 않은 경우, PCM 결정부(342)는 「On」을 나타내는 제어 신호를 적응 좌측 시프트부(303), 적응 우측 시프트부(313) 및 적응 좌측 시프트부(315)에 공급하고, 좌측 시프트 처리나 우측 시프트 처리를 실행시켜, 내부 처리에 있어서의 비트 정밀도의 확장이 행해지도록 한다.
이에 비해, 예를 들어 I_PCM 모드를 선택한 경우, PCM 결정부(342)는 「Off」를 나타내는 제어 신호를 적응 좌측 시프트부(303), 적응 우측 시프트부(313) 및 적응 좌측 시프트부(315)에 공급하고, 좌측 시프트 처리나 우측 시프트 처리를 생략(스킵)시켜, 내부 처리에 있어서의 비트 정밀도의 확장이 행해지지 않도록 한다.
I_PCM 모드에서는, 입력 화상 화소값 그 자체를 화상 압축 정보에 전송하기 때문에, 연산 오차를 발생하는 일이 없고, 이에 비해 비트 연산 정밀도를 증대시키는 것은, 용장 처리로 되어 버린다. PCM 결정부(342)는 상술한 바와 같이 처리를 행함으로써, 이러한 용장 처리를 배제할 수 있다.
또한, PCM 결정부(342)는 선택 결과를 나타내는 On/Off 제어 신호를 루프 필터(312)에 공급함으로써, 선택 결과에 따라서 적응 루프 필터 처리(BALF)의 제어를 행한다. 즉, PCM 결정부(342)는 당해 CU가 I_PCM 모드인 경우, 루프 필터(312)에 의한, 적응 루프 필터 처리가 행해지지 않도록 제어한다.
예를 들어, I_PCM 모드를 선택하지 않은 경우, PCM 결정부(342)는 「On」을 나타내는 제어 신호를 루프 필터(312)에 공급하고, 적응 루프 필터 처리가 행해지도록 한다. 이에 비해, 예를 들어 I_PCM 모드를 선택한 경우, PCM 결정부(342)는 「Off」를 나타내는 제어 신호를 루프 필터(312)에 공급하고, 적응 루프 필터 처리를 생략(스킵)시킨다.
I_PCM 모드에서는, 입력 화상 화소값 그 자체를 화상 압축 정보에 전송하기 때문에, 열화가 발생하는 일이 없어, 이것에 적응 루프 필터 처리를 실시하는 것은 용장으로 되어 버린다. PCM 결정부(342)는 상술한 바와 같이 처리를 행함으로써, 이러한 용장 처리를 배제할 수 있다.
도 8에 도시되는 바와 같이, 루프 필터(312)는 디블록 필터(351), 화소 구분부(352), 필터 계수 산출부(353) 및 필터링부(354)를 갖는다.
디블록 필터(351)는 디블록 필터(111)의 경우와 마찬가지로, 연산부(311)로부터 공급되는 복호 화상(디블록 필터 전화소값)에 대하여 디블록 필터 처리를 행함으로써 블록 왜곡을 제거한다.
처리 대상의 당해 CU가 I_PCM 모드로 처리되어도, 그 당해 CU에 인접하는 CU가 I_PCM 모드로 처리되었다고는 할 수 없다. 따라서, 당해 CU가 I_PCM 모드로 처리되는 경우에도, 블록 왜곡이 발생할 우려가 있다. 따라서, 디블록 필터 처리는, 당해 CU가 I_PCM 모드인지 여부에 관계 없이 실행된다.
디블록 필터(351)는 그 필터 처리 결과(디블록 필터 후화소값)를 화소 구분부(352)에 공급한다.
화소 구분부(352)는 PCM 결정부(342)로부터 공급되는 On/Off 제어 신호의 값에 따라, 각 필터 처리 결과(디블록 필터 후화소값)를, 적응 루프 필터 처리를 행하는 화소값과, 적응 루프 필터 처리를 행하지 않는 화소값으로 구분한다.
예를 들어, PCM 결정부(342)로부터 「On」을 나타내는 제어 신호가 공급된 경우, 화소 구분부(352)는 그 CU의 디블록 필터 후화소값을, 적응 루프 필터 처리를 행하는 화소값으로 구분한다. 이에 비해, 예를 들어 PCM 결정부(342)로부터 「Off」를 나타내는 제어 신호가 공급된 경우, 화소 구분부(352)는 그 CU의 디블록 필터 후화소값을, 적응 루프 필터 처리를 행하지 않는 화소값으로 구분한다.
화소 구분부(352)는 구분을 행한 각 화소의 화소값(디블록 필터 후화소값)을 필터 계수 산출부(353)에 공급한다.
필터 계수 산출부(353)는 공급된 디블록 필터 후화소값 중, 적응 루프 필터 처리를 행하는 쪽으로 구분된 화소값에 대해서, 이 적응 루프 필터의 필터 계수(FIR 필터 계수)를 입력 화상과의 오차를 최소로 하도록, 위너 필터(Wiener Filter)에 의해 산출한다. 즉, 필터 계수 산출부(353)는 I_PCM 모드로 처리되는 화소를 제외하고, 필터 계수를 산출한다.
필터 계수 산출부(353)는 디블록 필터 후화소값과 산출한 필터 계수를 필터링부(354)에 공급한다.
필터링부(354)는 공급된 필터 계수를 사용하여, 적응 루프 필터 처리를 행하는 쪽으로 구분된 화소값에 대하여 적응 루프 필터 처리(어댑티브 루프 필터 처리)를 행한다. 필터링부(354)는 이 필터 처리 후의 화소값과, 적응 루프 필터 처리를 행하지 않는 쪽으로 구분된 화소값을 적응 필터 후화소값으로서 적응 우측 시프트부(313)에 공급한다.
또한, 필터링부(354)는 필터 처리가 행해졌는지 여부를 나타내는 필터 식별 정보인 적응 필터 플래그(on/off_flag)를, CU와는 독립해서 설정되는 소정의 블록마다 생성한다. 이 적응 필터 플래그의 값의 설정 방법은 임의이다.
예를 들어, 처리 대상인 당해 블록(커런트 블록) 내의 일부 또는 전부의 화소에 대해서 적응 루프 필터 처리가 행해진 경우, 이 적응 필터 플래그는, 필터 처리가 행해진 것을 나타내는 값(예를 들어 「1」)으로 설정되도록 해도 좋다. 또한, 예를 들어 당해 블록 내의 모든 화소가 적응 루프 필터 처리되지 않은 경우, 이 적응 필터 플래그는, 필터 처리가 행해지지 않고 있는 것을 나타내는 값(예를 들어 「0」)으로 설정되도록 해도 좋다. 그 밖의 기준에 기초하여 적응 필터 플래그의 값이 설정되도록 해도 좋다.
필터링부(354)는 생성한 적응 필터 플래그를, 가역 부호화부(307)의 CU 부호화부(332)에 공급하고, 부호화시켜, 복호측에 제공시킨다. 단, 적응 필터 플래그의 값이, 필터 처리가 행해지지 않고 있는 것을 나타내는 값(예를 들어 「0」)인 경우, 이 복호측에의 제공은 생략할(적응 필터 플래그를 복호측에 제공하지 않도록 할) 수도 있다.
예를 들어, 적응 필터 플래그의 값이, 필터 처리가 행해지지 않고 있는 것을 나타내는 값(예를 들어 「0」)이며, 또한, 가역 부호화부(307)(CU 부호화부(332))의 부호화 방식이 VLC인 경우, 필터링부(354)는 이 적응 필터 플래그의 공급을 생략한다(복호측에 제공하지 않는다). 또한, 예를 들어 적응 필터 플래그의 값이, 필터 처리가 행해지지 않고 있는 것을 나타내는 값(예를 들어 「0」)이며, 또한, 가역 부호화부(307)(CU 부호화부(332))의 부호화 방식이 CABAC인 경우, 필터링부(354)는 이 적응 필터 플래그를 가역 부호화부(307)의 CU 부호화부(332)에 공급한다(복호측에 제공함).
이것은, VLC의 경우, 입력 정보가 적은 경우, 보다 높은 부호화 효율을 실현하는 것이 가능하지만, CABAC의 경우, 동일한 입력 정보가 연속되면, 산술 부호화할 때의 확률에 치우침이 발생하여, 보다 높은 부호화 효율을 실현하는 것이 가능하기 때문이다.
또한, 필터링부(354)는 적응 루프 필터 처리에 사용한 필터 계수를 가역 부호화부(307)의 CU 부호화부(332)에 공급하고, 부호화시켜, 복호측에 제공시킨다.
[PCM 결정부]
도 9는, 도 8의 PCM 결정부(342)의 주된 구성예를 도시하는 블록도이다.
도 9에 도시되는 바와 같이, PCM 결정부(342)는 입력 데이터량 산출부(361), PCM 판정부(362), 부호화 제어부(363), 적응 시프트 제어부(364) 및 필터 제어부(365)를 갖는다.
입력 데이터량 산출부(361)는 당해 CU에 대해서, 화면 재배열 버퍼(302)로부터 공급되는 입력 화소값의 데이터량인 입력 데이터량을 산출하고, 산출한 입력 데이터량을 PCM 판정부(362)에 공급한다.
PCM 판정부(362)는 레이트 제어부(320)로부터 공급되는 발생 부호량(발생 비트)을 취득하고, 입력 데이터량 산출부(361)로부터 공급되는 입력 데이터량과 비교하고, 그 비교 결과에 기초하여 당해 CU에 대해서 I_PCM 모드를 선택할지 여부를 판정한다. 즉, PCM 판정부(362)는 임의의 계층의 CU마다 I_PCM 모드를 선택할지 여부를 판정한다. PCM 판정부(362)는 그 판정 결과를 부호화 제어부(363), 적응 시프트 제어부(364) 및 필터 제어부(365)에 공급한다.
부호화 제어부(363)는 PCM 판정부(362)로부터 공급되는 판정 결과(I_PCM 모드가 선택되었는지 여부를 나타내는 식별 정보)에 기초하여, CU 부호화부(332)나 I_PCM_flag 생성부(341)에 대하여 On/Off 제어 신호를 공급한다.
따라서, 부호화 제어부(363)는 부호화의 모드를 임의의 계층의 CU마다 제어할 수 있다. 이에 의해, 부호화 제어부(363)는 부호량(I_PCM 모드에 의한 비부호화 데이터의 데이터량을 포함함)의 제어를 보다 상세하게 행할 수 있을 뿐만 아니라, I_PCM 모드가 선택되었을 때의 용장 처리를 저감시킬 수 있다.
적응 시프트 제어부(364)는 PCM 판정부(362)로부터 공급되는 판정 결과(I_PCM 모드가 선택되었는지 여부를 나타내는 정보)에 기초하여, 적응 좌측 시프트부(303), 적응 우측 시프트부(313) 및 적응 좌측 시프트부(315)에 대하여 On/Off 제어 신호를 공급한다.
따라서, 적응 시프트 제어부(364)는 I_PCM 모드 시에, 내부 연산에 있어서 비트 심도를 확장시키지 않도록 제어할 수 있다. 이에 의해 적응 시프트 제어부(364)는 용장 처리를 저감시킬 수 있다.
필터 제어부(365)는 PCM 판정부(362)로부터 공급되는 판정 결과(I_PCM 모드가 선택되었는지 여부를 나타내는 정보)에 기초하여, 화소 구분부(352)에 대하여 On/Off 제어 신호를 공급한다.
따라서, 필터 제어부(365)는 I_PCM 모드 시에, 적응 루프 필터 처리를 실행시키지 않도록 제어할 수 있다. 이에 의해 필터 제어부(365)는 용장 처리를 저감시킬 수 있다.
이상과 같이, 화상 부호화 장치(300)는 용장 처리를 저감시켜, 부호화 처리의 효율의 저감을 억제할 수 있다. 또한, 화상 부호화 장치(300)는 I_PCM 모드(비압축 모드)의 선택을 보다 상세하게(작은 데이터 단위마다) 행할 수 있어, 부호화 효율을 향상시킬 수 있다. 따라서, 화상 부호화 장치(300)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
[부호화 처리의 흐름]
이어서, 이상과 같은 화상 부호화 장치(300)에 의해 실행되는 각 처리의 흐름에 대해서 설명한다. 처음에, 도 10의 흐름도를 참조하여, 부호화 처리의 흐름의 예를 설명한다.
스텝 S301에 있어서, A/D 변환부(301)는 입력된 화상을 A/D 변환한다. 스텝 S302에 있어서, 화면 재배열 버퍼(302)는 A/D 변환된 화상을 기억하고, 각 픽처가 표시하는 순서로부터 부호화하는 순서로의 재배열을 행한다.
스텝 S303에 있어서, 적응 좌측 시프트부(303)는 PCM 부호화부(321)의 제어에 기초하여, 입력 화상에 대하여 적절하게 좌측 시프트를 행한다. 스텝 S304에 있어서, 적응 좌측 시프트부(315)는 참조 화상에 대하여 적절하게 좌측 시프트를 행한다.
스텝 S305에 있어서, 인트라 예측부(317)는 스텝 S304에 있어서 좌측 시프트된 참조 화상을 사용해서 인트라 예측 모드의 인트라 예측 처리를 행한다. 스텝 S306에 있어서, 움직임 예측 보상부(318)는 스텝 S304에 있어서 좌측 시프트된 참조 화상을 사용해서 인터 예측 모드에서의 움직임 예측이나 움직임 보상을 행하는 인터 움직임 예측 처리를 행한다.
또한, 실제로는, 참조 화상의 비트 심도를 좌측 시프트시키는 처리는, 인트라 예측 처리 또는 인터 움직임 예측 처리에 있어서, 참조 화상이 프레임 메모리(314)로부터 판독될 때에 행해지면 좋다.
스텝 S307에 있어서, 선택부(319)는 인트라 예측부(317) 및 움직임 예측 보상부(318)로부터 출력된 각 비용 함수값에 기초하여, 최적인 모드를 결정한다. 즉, 선택부(319)는 인트라 예측부(317)에 의해 생성된 예측 화상과, 움직임 예측 보상부(318)에 의해 생성된 예측 화상 중 어느 한쪽을 선택한다.
또한, 이 어느 예측 화상이 선택되었는지를 나타내는 선택 정보는, 인트라 예측부(317) 및 움직임 예측 보상부(318) 중, 예측 화상이 선택된 쪽에 공급된다. 최적 인트라 예측 모드의 예측 화상이 선택된 경우, 인트라 예측부(317)는 최적 인트라 예측 모드 등을 나타내는 인트라 예측 모드 정보를, 가역 부호화부(307)에 공급한다. 최적 인터 예측 모드의 예측 화상이 선택된 경우, 움직임 예측 보상부(318)는 최적 인터 예측 모드를 나타내는 정보와, 필요에 따라, 최적 인터 예측 모드에 따른 정보를 가역 부호화부(307)에 출력한다. 최적 인터 예측 모드에 따른 정보로서는, 움직임 벡터 정보나 플래그 정보, 참조 프레임 정보 등을 들 수 있다.
스텝 S308에 있어서, 연산부(304)는 스텝 S303의 처리에 의해 비트 심도가 좌측 시프트된 화상과, 스텝 S307의 처리에 의해 선택된 예측 화상의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우에는 움직임 예측 보상부(318)로부터, 인트라 예측하는 경우에는 인트라 예측부(317)로부터, 선택부(319)를 거쳐서 연산부(304)에 공급된다.
차분 데이터는 원래의 화상 데이터에 비해서 데이터량이 저감된다. 따라서, 화상을 그대로 부호화하는 경우에 비하여, 데이터량을 압축할 수 있다.
스텝 S309에 있어서, 직교 변환부(305)는 스텝 S308의 처리에 의해 생성된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환이 행해지고, 변환 계수가 출력된다.
스텝 S310에 있어서, 양자화부(306)는 스텝 S309의 처리에 의해 얻어진 직교 변환 계수를 양자화한다.
스텝 S311에 있어서, 가역 부호화부(307)는 스텝 S310의 처리에 의해 양자화된 변환 계수를 부호화한다. 즉, 차분 화상에 대하여 가변길이 부호화나 산술 부호화 등의 가역 부호화가 행해진다.
또한, 가역 부호화부(307)는 스텝 S310에 있어서 산출된 양자화 파라미터를 부호화하고, 부호화 데이터에 부가한다. 또한, 가역 부호화부(307)는 스텝 S307의 처리에 의해 선택된 예측 화상의 모드에 관한 정보를 부호화하고, 차분 화상을 부호화해서 얻어지는 부호화 데이터에 부가한다. 즉, 가역 부호화부(307)는 인트라 예측부(317)로부터 공급되는 최적 인트라 예측 모드 정보, 또는, 움직임 예측 보상부(318)로부터 공급되는 최적 인터 예측 모드에 따른 정보 등도 부호화하고, 부호화 데이터에 부가한다.
또한, 가역 부호화부(307)는 루프 필터(312)로부터 취득한 필터 계수나 플래그 정보를 부호화하여, 부호화 데이터에 부가한다. 또한, 가역 부호화부(307)는 NAL 데이터의 부호화도 행한다.
스텝 S312에 있어서 축적 버퍼(308)는 가역 부호화부(307)로부터 출력되는 부호화 데이터를 축적한다. 축적 버퍼(308)에 축적된 부호화 데이터는, 적절히 판독되어, 전송로나 기록 매체를 거쳐서 복호측에 전송된다.
스텝 S313에 있어서 레이트 제어부(320)는 스텝 S312의 처리에 의해 축적 버퍼(308)에 축적된 부호화 데이터의 부호량(발생 부호량)을 산출하고, 그것에 기초하여, 오버플로우 또는 언더플로우가 발생하지 않도록, 양자화부(306)의 양자화 동작의 레이트를 제어한다. 또한, 레이트 제어부(320)는 발생 부호량을 PCM 부호화부(321)에 공급한다.
스텝 S314에 있어서, PCM 부호화부(321)는 스텝 S313에 있어서 산출된 발생 부호량을 사용해서 PCM 부호화 제어 처리를 행한다. 스텝 S315에 있어서, 가역 부호화부(307)는 PCM 부호화부(321)의 제어에 따라서 PCM 부호화 처리를 행한다.
스텝 S316에 있어서, 역양자화부(309) 내지 프레임 메모리(314)는 스텝 S310의 처리에 의해 양자화된 차분 정보를 국부적으로 복호하고, 참조 화상을 생성하는 참조 화상 생성 처리를 실행한다.
스텝 S316의 처리가 종료되면, 부호화 처리가 종료된다. 이 부호화 처리는, 예를 들어 CU마다 반복 실행된다.
[PCM 부호화 제어 처리]
이어서, 도 11의 흐름도를 참조하여, 도 10의 스텝 S314에 있어서 실행되는 PCM 부호화 제어 처리의 흐름의 예에 대해서 설명한다.
PCM 부호화 제어 처리가 개시되면, 스텝 S331에 있어서, PCM 결정부(342)의 PCM 판정부(362)는 레이트 제어부(320)로부터 공급되는, 당해 CU의 양자화된 직교 변환 계수의 부호화 데이터의 발생 부호량을 취득한다.
스텝 S332에 있어서, 입력 데이터량 산출부(361)는 당해 CU의 입력 화소값의 입력 데이터량을 산출한다.
스텝 S333에 있어서, PCM 판정부(362)는 스텝 S331에 있어서 취득한 부호량과, 스텝 S332에 있어서 산출한 입력 데이터량을 비교하여, I_PCM 모드로 부호화를 행할지 여부를 판정한다.
스텝 S334에 있어서, I_PCM_flag 생성부(341)는 부호화 제어부(363)가 공급하는 스텝 S333의 판정 결과를 나타내는 On/Off 제어 신호에 기초하여, I_PCM_flag를 생성한다.
스텝 S335에 있어서, 부호화 제어부(363)는 CU 부호화부(332)에 대하여 스텝 S333의 판정 결과를 나타내는 On/Off 제어 신호를 공급함으로써, CU 데이터의 부호화를 제어한다.
스텝 S336에 있어서, 적응 시프트 제어부(364)는 적응 좌측 시프트부(303), 적응 우측 시프트부(313) 및 적응 좌측 시프트부(315)에 대하여 스텝 S333의 판정 결과를 나타내는 On/Off 제어 신호를 공급함으로써, 적응 시프트 처리를 제어한다.
스텝 S337에 있어서, 부호화 제어부(363)는 루프 필터(312)의 화소 구분부(352)에 대하여 스텝 S333의 판정 결과를 나타내는 On/Off 제어 신호를 공급함으로써, 적응 루프 필터 처리를 제어한다.
스텝 S337의 처리가 종료되면, PCM 결정부(342)는 PCM 부호화 제어 처리를 종료하고, 처리를 도 10의 스텝 S314로 복귀시키고, 스텝 S315 이후의 처리를 실행시킨다.
[PCM 부호화 처리의 흐름]
이어서, 도 12의 흐름도를 참조하여, 도 10의 스텝 S315에 있어서 실행되는 PCM 부호화 처리의 흐름의 예에 대해서 설명한다.
PCM 부호화 처리가 개시되면, 스텝 S351에 있어서, CU 부호화부(332)는 I_PCM 모드로 부호화를 행할지 여부를 판정한다. 상술한 PCM 부호화 제어 처리에 의해 I_PCM 모드로 부호화를 행하도록 제어된 경우, CU 부호화부(332)는 처리를 스텝 S352로 진행시킨다. 스텝 S352에 있어서, CU 부호화부(332)는 당해 CU의 입력 화소값을 부호화 결과로서 선택한다. CU 부호화부(332)는 축적 버퍼(308)의 당해 CU의 CU 데이터를 파기시키고, 그 입력 화소값을 축적 버퍼(308)에 축적시킨다.
스텝 S352의 처리가 종료되면, CU 부호화부(332)는 처리를 스텝 S353으로 진행시킨다. 또한, 스텝 S351에 있어서, I_PCM 모드로 부호화를 행하지 않는다고 판정된 경우, CU 부호화부(332)는 처리를 스텝 S353으로 진행시킨다.
스텝 S353에 있어서, CU 부호화부(332)는 상술한 PCM 부호화 제어 처리에 의해 생성된 I_PCM_flag를 부호화하고, 그것을 축적 버퍼(308)에 축적시킨다.
스텝 S353의 처리가 종료되면, CU 부호화부(332)는 PCM 부호화 처리를 종료하고, 처리를 도 10의 스텝 S315로 복귀시키고, 스텝 S316 이후의 처리를 실행시킨다.
[참조 화상 생성 처리의 흐름]
이어서, 도 13의 흐름도를 참조하여, 도 10의 스텝 S316에 있어서 실행되는 참조 화상 생성 처리의 흐름의 예에 대해서 설명한다.
참조 화상 생성 처리가 개시되면, 적응 좌측 시프트부(315)는 스텝 S371에 있어서, 적응 시프트 제어부(364)의 제어에 기초하여, I_PCM 모드가 선택되었는지 여부를 판정한다. I_PCM 모드가 선택된 경우, 내부 연산에 있어서의 비트 심도의 확장이 행해지지 않으므로, 예측 처리부터 재시도된다. 즉, I_PCM 모드가 선택되었다고 판정되면, 적응 좌측 시프트부(315)는 참조 화상에 대한 좌측 시프트 처리를 행하지 않고, 처리를 스텝 S372로 진행시킨다.
스텝 S372에 있어서, 인트라 예측부(317)는 비트 심도가 좌측 시프트되어 있지 않은 참조 화상을 사용해서 인트라 예측 처리를 행한다. 스텝 S373에 있어서, 움직임 예측 보상부(318)는 비트 심도가 좌측 시프트되어 있지 않은 참조 화상을 사용해서 인터 움직임 예측 처리를 행한다.
스텝 S374에 있어서, 선택부(319)는 인트라 예측부(317) 및 움직임 예측 보상부(318)로부터 출력된 각 비용 함수값에 기초하여, 최적인 모드를 결정한다. 즉, 선택부(319)는 인트라 예측부(317)에 의해 생성된 예측 화상과, 움직임 예측 보상부(318)에 의해 생성된 예측 화상 중 어느 한쪽을 선택한다.
또한, 이 어느 쪽 예측 화상이 선택되었는지를 나타내는 선택 정보는, 인트라 예측부(317) 및 움직임 예측 보상부(318) 중, 예측 화상이 선택된 쪽에 공급된다. 최적 인트라 예측 모드의 예측 화상이 선택된 경우, 인트라 예측부(317)는 최적 인트라 예측 모드 등을 나타내는 인트라 예측 모드 정보를, 가역 부호화부(307)에 공급한다. 최적 인터 예측 모드의 예측 화상이 선택된 경우, 움직임 예측 보상부(318)는 최적 인터 예측 모드를 나타내는 정보와, 필요에 따라, 최적 인터 예측 모드에 따른 정보를 가역 부호화부(307)에 공급한다. 최적 인터 예측 모드에 따른 정보로서는, 움직임 벡터 정보나 플래그 정보, 참조 프레임 정보 등을 들 수 있다.
I_PCM 모드가 선택된 경우, 내부 연산에 있어서의 비트 심도의 확장이 행해지지 않는다. 즉, 적응 좌측 시프트부(303)에 의한 참조 화상에 대한 좌측 시프트 처리는 생략(스킵)된다. 스텝 S375에 있어서, 연산부(304)는 비트 심도가 좌측 시프트되어 있지 않은 입력 화상과, 스텝 S374의 처리에 의해 선택된 예측 화상의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우에는 움직임 예측 보상부(318)로부터, 인트라 예측하는 경우에는 인트라 예측부(317)로부터, 선택부(319)를 거쳐서 연산부(304)에 공급된다.
스텝 S376에 있어서, 직교 변환부(305)는 스텝 S375의 처리에 의해 생성된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환이 행해지고, 변환 계수가 출력된다. 스텝 S377에 있어서, 양자화부(306)는 스텝 S376의 처리에 의해 얻어진 직교 변환 계수를 양자화한다.
직교 변환 계수가 양자화되면, 양자화부(306)는 처리를 스텝 S378로 진행시키고, 스텝 S377에 있어서 양자화된 직교 변환 계수(좌측 시프트 처리되지 않은 데이터)를 사용해서 참조 화상의 생성이 행해진다.
이에 비해, 스텝 S371에 있어서, I_PCM 모드가 아니라고 판정된 경우, 적응 좌측 시프트부(315)는 스텝 S372 내지 스텝 S377의 각 처리를 생략(스킵)하고, 처리를 스텝 S378로 진행시킨다. 즉, I_PCM 모드가 아닌 경우, 도 10의 스텝 S310에 있어서 양자화된 직교 변환 계수(좌측 시프트 처리된 데이터)를 사용해서 참조 화상의 생성이 행해진다.
스텝 S378에 있어서, 역양자화부(309)는 양자화된 직교 변환 계수(양자화 계수라고도 칭함)를 양자화부(306)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S379에 있어서, 역직교 변환부(310)는 스텝 S378의 처리에 의해 얻어진 직교 변환 계수를, 직교 변환부(305)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 S380에 있어서, 연산부(311)는 예측 화상을 국부적으로 복호된 차분 정보에 가산하고, 국부적으로 복호된 화상(연산부(304)에의 입력에 대응하는 화상)을 생성한다. 예를 들어, I_PCM 모드의 경우, 연산부(311)는 좌측 시프트 처리되지 않은 예측 화상을, 좌측 시프트 처리되지 않은 차분 정보에 가산하고, 좌측 시프트 처리되지 않은 복호 화상을 생성한다. 또한, 예를 들어 I_PCM 모드가 아닌 경우, 연산부(311)는 좌측 시프트 처리된 예측 화상을, 좌측 시프트 처리된 차분 정보에 가산하고, 좌측 시프트 처리된 복호 화상을 생성한다.
스텝 S381에 있어서 루프 필터(312)는 필터 제어부(365)의 제어에 기초하여, 스텝 S380의 처리에 의해 얻어진 국부적인 복호 화상에 대하여 루프 필터 처리를 행하고, 디블록 필터 처리나 적응 루프 필터 처리 등을 포함하는 루프 필터 처리를 적절히 행한다.
스텝 S382에 있어서, 적응 우측 시프트부(313)는 적응 시프트 제어부(364)의 제어에 기초하여, I_PCM 모드가 선택되었는지 여부를 판정한다. I_PCM 모드가 선택되어 있지 않다고 판정된 경우, 적응 우측 시프트부(313)는 처리를 스텝 S383으로 진행시킨다.
I_PCM 모드가 아닌 경우, 복호 화상은 내부 연산에 있어서의 비트 심도의 확장이 행해지고 있으므로, 적응 우측 시프트부(313)는 스텝 S383에 있어서, 스텝 S381의 루프 필터 처리에 의해 얻어진 필터 처리 결과(복호 화상)의 비트 심도에 대하여 적절하게 우측 시프트를 행한다. 스텝 S383의 처리가 종료되면, 적응 우측 시프트부(313)는 처리를 스텝 S384로 진행시킨다.
또한, 스텝 S382에 있어서, I_PCM 모드가 선택되었다고 판정된 경우, 적응 우측 시프트부(313)는 우측 시프트 처리를 행하지 않고 처리를 스텝 S384로 진행시킨다.
스텝 S384에 있어서, 프레임 메모리(314)는 복호 화상을 기억한다. 스텝 S384의 처리가 종료되면, 프레임 메모리(314)는 참조 화상 생성 처리를 종료하고, 처리를 도 10의 스텝 S316으로 복귀시키고, 부호화 처리를 종료한다.
[루프 필터 처리의 흐름]
이어서, 도 14의 흐름도를 참조하여, 도 13의 스텝 S381에 있어서 실행되는 루프 필터 처리의 흐름의 예를 설명한다.
루프 필터 처리가 개시되면, 루프 필터(312)의 디블록 필터(351)는, 스텝 S401에 있어서, 연산부(311)로부터 공급되는 복호 화상(디블록 필터 전화소값)에 대하여 디블록 필터 처리를 행한다.
스텝 S402에 있어서, 화소 구분부(352)는 PCM 결정부(342)의 필터 제어부(365)에 의해 제어되어, I_PCM 모드인지 여부에 기초하여 복호 화상의 각 화소를 구분한다.
스텝 S403에 있어서, 필터 계수 산출부(353)는 필터 처리를 행하도록 구분된 화소(처리 대상 화소)에 대한 필터 계수를 산출한다. 스텝 S404에 있어서, 필터링부(354)는 스텝 S403에 있어서 산출되는 필터 계수를 사용하여, 처리 대상 화소에 대하여 적응 필터 처리를 행한다.
스텝 S405에 있어서, 필터링부(354)는 처리 대상 블록에 관한 적응 필터 플래그를 설정하고, 그 적응 필터 플래그나 필터 계수를 CU 부호화부(332)에 공급하고, 부호화시킨다.
스텝 S405의 처리가 종료되면, 루프 필터(312)는 루프 필터 처리를 종료하고, 처리를 도 13의 스텝 S381로 복귀시키고, 스텝 S382 이후의 처리를 실행시킨다.
이상과 같이 각 처리를 실행함으로써, 화상 부호화 장치(300)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
<2. 제2 실시 형태>
[화상 복호 장치]
도 15는, 화상 복호 장치의 주된 구성예를 도시하는 블록도이다. 도 15에 도시되는 화상 복호 장치(500)는 도 2의 화상 복호 장치(200)와 기본적으로 마찬가지의 장치이며, 화상 데이터가 부호화된 부호화 데이터를 복호한다.
도 15에 도시되는 화상 복호 장치(500)는 도 7의 화상 부호화 장치(300)에 대응하는 복호 장치이다. 화상 부호화 장치(300)로부터 부호화된 부호화 데이터는, 예를 들어 전송로나 기록 매체 등, 임의의 경로를 거쳐서, 이 화상 복호 장치(500)에 공급되어, 복호된다.
도 15에 도시되는 바와 같이, 화상 복호 장치(500)는 축적 버퍼(501), 가역 복호부(502), 역양자화부(503), 역직교 변환부(504), 연산부(505), 루프 필터(506), 적응 우측 시프트부(507), 화면 재배열 버퍼(508) 및 D/A 변환부(509)를 갖는다. 또한, 화상 복호 장치(500)는 프레임 메모리(510), 적응 좌측 시프트부(511), 선택부(512), 인트라 예측부(513), 움직임 예측 보상부(514) 및 선택부(515)를 갖는다.
화상 복호 장치(500)는 또한, PCM 복호부(516)를 갖는다.
축적 버퍼(501)는 축적 버퍼(201)의 경우와 마찬가지로, 전송되어 온 부호화 데이터를 축적한다. 이 부호화 데이터는, 화상 부호화 장치(300)에 의해 부호화된 것이다.
가역 복호부(502)는 축적 버퍼(501)로부터 부호화 데이터를 소정의 타이밍에서 판독하고, 도 15의 가역 부호화부(307)의 부호화 방식에 대응하는 방식으로 복호한다. 그 때, 가역 복호부(502)는 부호화 데이터에 포함되는 I_PCM_flag를 PCM 복호부(516)에 공급하고, I_PCM 모드(비압축 모드)인지 여부를 판정시킨다.
I_PCM 모드인 경우, 축적 버퍼(501)로부터 취득한 CU 데이터는 비부호화 데이터이므로, 가역 복호부(502)는 PCM 복호부(516)의 제어에 따라, 그 CU 데이터를 역양자화부(503)에 공급한다.
I_PCM 모드가 아닌 경우, 축적 버퍼(501)로부터 취득한 CU 데이터는 부호화 데이터이므로, 가역 복호부(502)는 PCM 복호부(516)의 제어에 따라, 그 CU 데이터를 복호하고, 복호 결과를 역양자화부(503)에 공급한다.
또한, 예를 들어 당해 CU가 인트라 부호화된 것인 경우, 부호화 데이터의 헤더부에는 인트라 예측 모드 정보가 저장되어 있다. 가역 복호부(502)는 이 인트라 예측 모드 정보도 복호하고, 그 정보를 인트라 예측부(513)에 공급한다. 이에 비해, 예를 들어 당해 CU가 인터 부호화된 것인 경우, 부호화 데이터의 헤더부에는 움직임 벡터 정보나 인터 예측 모드 정보가 저장되어 있다. 가역 복호부(502)는 이 움직임 벡터 정보나 인터 예측 모드 정보도 복호하고, 그 정보를 움직임 예측 보상부(514)에 공급한다.
역양자화부(503)는 I_PCM 모드가 아닌 경우, 역양자화부(203)의 경우와 마찬가지로, 가역 복호부(502)로부터 공급되는 계수 데이터(양자화 계수)를 도 7의 양자화부(306)의 양자화 방식에 대응하는 방식으로 역양자화한다. 즉, 역양자화부(503)는 도 7의 역양자화부(309)와 마찬가지의 방법으로 양자화 계수의 역양자화를 행한다. 역양자화부(503)는 역양자화된 계수 데이터, 즉, 직교 변환 계수를, 역직교 변환부(504)에 공급한다.
또한, 역양자화부(503)는 I_PCM 모드인 경우, 가역 복호부(502)로부터 공급되는 CU 데이터(부호화되어 있지 않은 화상 데이터)를 역직교 변환부(504)에 공급한다.
역직교 변환부(504)는 I_PCM 모드가 아닌 경우, 역직교 변환부(204)의 경우와 마찬가지로, 도 7의 직교 변환부(305)의 직교 변환 방식에 대응하는 방식(도 7의 역직교 변환부(310)와 마찬가지의 방식)으로, 그 직교 변환 계수를 역직교 변환한다. 역직교 변환부(504)는 이 역직교 변환 처리에 의해, 화상 부호화 장치(300)에 있어서 직교 변환되기 전의 잔차 데이터에 대응하는 복호 잔차 데이터를 얻는다. 예를 들어, 4차의 역직교 변환이 실시된다. 역직교 변환부(504)는 역직교 변환해서 얻어진 복호 잔차 데이터를, 연산부(505)에 공급한다.
또한, 역직교 변환부(504)는 I_PCM 모드인 경우, 역양자화부(503)로부터 공급되는 CU 데이터(부호화되어 있지 않은 화상 데이터)를 연산부(505)에 공급한다.
또한, 연산부(505)에는, 선택부(515)를 거쳐서, 인트라 예측부(513) 또는 움직임 예측 보상부(514)로부터 예측 화상이 공급된다.
연산부(505)는 I_PCM 모드가 아닌 경우, 연산부(205)의 경우와 마찬가지로, 그 복호 잔차 데이터와 예측 화상을 가산하고, 화상 부호화 장치(300)의 연산부(304)에 의해 예측 화상이 감산되기 전의 화상 데이터에 대응하는 복호 화상 데이터를 얻는다. 연산부(505)는 그 복호 화상 데이터를 루프 필터(506)에 공급한다.
또한, 연산부(505)는 I_PCM 모드인 경우, 역직교 변환부(504)로부터 공급되는 CU 데이터(부호화되어 있지 않은 화상 데이터)를 루프 필터(506)에 공급한다. 이 경우, CU 데이터는, 잔차 정보가 아니므로, 예측 화상과의 가산은 불필요하다.
루프 필터(506)는 PCM 복호부(516)에 의해 제어되어, 연산부(505)로부터 공급된 복호 화상에 대하여 디블록 필터 처리나 적응 루프 필터 처리 등을 포함하는 루프 필터 처리를 적절히 실시한다.
보다 구체적으로는, 루프 필터(506)는 복호 화상에 대하여 디블록 필터(206)와 마찬가지의 디블록 필터 처리를 행함으로써 복호 화상의 블록 왜곡을 제거한다. 그리고, 루프 필터(506)는 PCM 복호부(516)의 제어에 따라, 그 디블록 필터 처리 결과(블록 왜곡의 제거가 행해진 복호 화상)에 대하여 위너 필터(Wiener Filter)를 사용해서 루프 필터 처리를 행함으로써 화질 개선을 행한다.
또한, 루프 필터(506)가 복호 화상에 대하여 임의의 필터 처리를 행하도록 해도 좋다. 또한, 루프 필터(506)가 도 7의 화상 부호화 장치(300)로부터 공급된 필터 계수를 사용해서 필터 처리를 행하도록 해도 좋다.
루프 필터(506)는 필터 처리 결과(필터 처리 후의 복호 화상)를 적응 우측 시프트부(507)에 공급한다.
적응 우측 시프트부(507)는 적응 우측 시프트부(313)(도 7)와 마찬가지의 처리부이며, PCM 복호부(516)에 의해 제어되고, I_PCM 모드가 아닌 경우, 루프 필터(506)로부터 공급된 복호 화상 데이터를 우측 방향으로 시프트하고, 그 비트 심도를 소정 비트수(예를 들어 4비트) 저감시킨다(예를 들어, 비트 심도를 12비트로부터 8비트로 저감시킴). 즉, 적응 우측 시프트부(507)는 화상 부호화 장치(300)에 있어서 좌측 시프트된 비트수만큼 우측 시프트하고, 화상 데이터의 비트 심도를 좌측 시프트되기 전의 상태(화면 재배열 버퍼(302)(도 7)로부터 판독된 시점의 상태)로 복귀시킨다.
적응 우측 시프트부(507)는 우측 시프트 처리 후의 화상 데이터를 화면 재배열 버퍼(508) 및 프레임 메모리(510)에 공급한다.
또한, 이 우측 시프트량(비트량)은 화상 부호화 장치(300)(적응 좌측 시프트부(303))에 있어서의 좌측 시프트량과 일치하는 한, 임의이다. 즉, 고정값이어도 좋고, 가변이어도 좋다. 예를 들어, 시프트량이 미리 정해져 있도록(화상 부호화 장치(300)와 화상 복호 장치(500) 사이에서 미리 공유되어 있도록) 해도 좋고, 화상 복호 장치(500)에 있어서, 화상 부호화 장치(300)에 있어서의 시프트량을 산출 할 수 있도록 해도 좋고, 화상 부호화 장치(300)로부터 시프트량을 나타내는 정보가 제공되도록 해도 좋다.
또한, PCM 복호부(516)의 제어에 의해, 이 우측 시프트 처리는 생략(스킵)되는 경우도 있다. 예를 들어, I_PCM 모드의 경우, 화상 부호화 장치(300)에 있어서 화상 데이터는 좌측 시프트 처리되어 있지 않다. 따라서, 이 경우, 적응 우측 시프트부(507)는 PCM 복호부(516)에 의해 제어되고, 루프 필터(506)로부터 공급된 복호 화상 데이터를 우측 방향으로 시프트하지 않고 화면 재배열 버퍼(508) 및 프레임 메모리(510)에 공급한다.
화면 재배열 버퍼(508)는 화면 재배열 버퍼(207)의 경우와 마찬가지로, 화상의 재배열을 행한다. 즉, 도 7의 화면 재배열 버퍼(302)에 의해 부호화의 순서를 위해서 재배열된 프레임의 순서가, 원래의 표시 순서대로 재배열된다. 화면 재배열 버퍼(508)는 각 프레임의 복호 화상 데이터를, 재배열한 순서대로 D/A 변환부(509)에 공급한다.
D/A 변환부(509)는 D/A 변환부(208)의 경우와 마찬가지로, 화면 재배열 버퍼(508)로부터 공급된 프레임 화상을 D/A 변환하고, 도시하지 않은 디스플레이에 출력하고, 표시시킨다.
프레임 메모리(510)는 적응 우측 시프트부(507)로부터 공급되는 복호 화상을 기억하고, 소정의 타이밍에 있어서, 기억하고 있는 복호 화상을 참조 화상으로서, 적응 좌측 시프트부(511)에 공급한다.
적응 좌측 시프트부(511)는 적응 좌측 시프트부(315)와 마찬가지의 처리부이며, PCM 복호부(516)에 의해 제어되고, 프레임 메모리(510)로부터 판독된 화상 데이터(참조 화상)를 적절히 좌측 방향으로 시프트하고, 그 비트 심도를 소정 비트수(예를 들어 4비트) 증대시킨다.
예를 들어, I_PCM 모드가 아닌 경우, 역직교 변환부(504)로부터 연산부(505)에 공급되는 복호 화상 데이터는, 화상 부호화 장치(300)에 있어서 좌측 시프트된 상태의 화상 데이터이다(예를 들어 비트 심도가 12비트임). 그래서 적응 좌측 시프트부(511)는 PCM 복호부(516)의 제어에 따라, 프레임 메모리(510)로부터 판독된 참조 화상의 비트 심도를 소정 비트수 증대시킨다(예를 들어, 비트 심도를 8비트로부터 12비트로 함).
그리고, 적응 좌측 시프트부(511)는 그 좌측 시프트 처리 후의 화상 데이터를 선택부(512)에 공급한다. 이렇게 비트 심도를 증대시킴으로써, 참조 화상의 비트 심도를 복호 화상의 비트 심도에 맞출 수 있어, 참조 화상을 복호 화상에 가산시킬 수 있게 된다. 또한, 예측 처리 등의 내부 연산의 정밀도를 향상시켜, 오차를 억제할 수 있다.
이에 비해, 예를 들어 I_PCM 모드의 경우, 역직교 변환부(504)로부터 연산부(505)에 공급되는 복호 화상 데이터는, 화상 부호화 장치(300)에 있어서 좌측 시프트 처리되지 않은 상태의 화상 데이터이다(예를 들어 비트 심도가 8비트임). 그래서 적응 좌측 시프트부(511)는 PCM 복호부(516)의 제어에 따라, 프레임 메모리(510)로부터 판독된 참조 화상을, 비트 심도를 증대시키지 않고 선택부(512)에 공급한다.
선택부(512)는 인트라 예측의 경우, 적응 좌측 시프트부(511)로부터 공급되는 참조 화상을 인트라 예측부(513)에 공급한다. 또한, 선택부(512)는 인터 예측의 경우, 적응 좌측 시프트부(511)로부터 공급되는 참조 화상을 움직임 예측 보상부(514)에 공급한다.
인트라 예측부(513)에는, 헤더 정보를 복호해서 얻어진 인트라 예측 모드를 나타내는 정보 등이 가역 복호부(502)로부터 적절히 공급된다. 인트라 예측부(513)는 인트라 예측부(317)에 있어서 사용된 인트라 예측 모드로, 프레임 메모리(510)로부터 취득한 참조 화상을 사용해서 인트라 예측을 행하여, 예측 화상을 생성한다. 즉, 인트라 예측부(513)는 인트라 예측부(317)와 마찬가지로, AVC 부호화 방식에 있어서 규정되는 모드 이외의 임의의 모드로 이 인트라 예측을 행할 수도 있다.
인트라 예측부(513)는 생성한 예측 화상을 선택부(515)에 공급한다.
움직임 예측 보상부(514)에는, 헤더 정보를 복호해서 얻어진 정보(예측 모드 정보, 움직임 벡터 정보, 참조 프레임 정보, 플래그 및 각종 파라미터 등)가 가역 복호부(502)로부터 공급된다.
움직임 예측 보상부(514)는 움직임 예측 보상부(318)에 있어서 사용된 인터 예측 모드로, 프레임 메모리(510)로부터 취득한 참조 화상을 사용해서 인터 예측을 행하여, 예측 화상을 생성한다. 즉, 움직임 예측 보상부(514)는 움직임 예측 보상부(318)와 마찬가지로, AVC 부호화 방식에 있어서 규정되는 모드 이외의 임의의 모드로 이 인트라 예측을 행할 수도 있다.
움직임 예측 보상부(514)는 생성한 예측 화상을 선택부(515)에 공급한다.
선택부(515)는 선택부(213)의 경우와 마찬가지로, 움직임 예측 보상부(514) 또는 인트라 예측부(513)에 의해 생성된 예측 화상을 선택하여, 연산부(505)에 공급한다.
PCM 복호부(516)는 가역 복호부(502)로부터 공급되는 I_PCM_flag에 기초하여, 가역 복호부(502), 루프 필터(506), 적응 우측 시프트부(507) 및 적응 좌측 시프트부(511)를 제어한다.
[가역 복호부, PCM 복호부 및 루프 필터]
도 16은, 도 15의 가역 복호부(502), PCM 복호부(516) 및 루프 필터(506)의 주된 구성예를 도시하는 블록도이다.
도 16에 도시되는 바와 같이, 가역 복호부(502)는 NAL 복호부(531) 및 CU 복호부(532)를 갖는다. NAL 복호부(531)는 축적 버퍼(501)로부터 공급되는, 부호화된 NAL 데이터를 복호하고, 복호된 NAL 데이터를 CU 복호부(532)에 공급한다.
CU 복호부(532)는 NAL 복호부(531)로부터 공급되는 NAL 데이터에 기초하여, 축적 버퍼(501)로부터 공급되는, 부호화된 CU 데이터를 복호한다.
또한, CU 복호부(532)는 CU 데이터를 복호해서 I_PCM_flag를 취득하면, 그것을 PCM 복호부(516)에 공급한다. CU 복호부(532)는 그 I_PCM_flag에 기초하는 PCM 복호부(516)의 제어에 따라서(PCM 부호화부(321)로부터 공급되는 On/Off 제어 신호에 기초하여), 부호화된 CU 데이터를 복호한다.
예를 들어, I_PCM_flag가 I_PCM 모드가 아닌 것을 나타내는 값이며, PCM 복호부(516)로부터 「On」을 나타내는 제어 신호를 취득하면, CU 복호부(532)는 NAL 복호부(531)로부터 공급되는 NAL 데이터에 기초하여, 축적 버퍼(501)로부터 공급되는, 부호화된 CU 데이터를 복호하고, 양자화된 직교 변환 계수를 역양자화부(503)에 공급한다.
이에 비해, 예를 들어 I_PCM_flag가 I_PCM 모드인 것을 나타내는 값이며, PCM 복호부(516)로부터 「Off」를 나타내는 제어 신호를 취득하면, CU 복호부(532)는 축적 버퍼(501)로부터 공급되는 CU 데이터(부호화되어 있지 않은 화상 데이터)를 역양자화부(503)에 공급한다.
또한, CU 복호부(532)는 CU 데이터를 복호해서 얻어지는 필터 계수나 적응 필터 플래그 등의 정보를 루프 필터(506)에 공급한다.
도 8에 도시되는 바와 같이, PCM 복호부(516)는 I_PCM_flag 버퍼(541) 및 PCM 제어부(542)를 갖는다.
I_PCM_flag 버퍼(541)는 가역 복호부(502)의 CU 복호부(532)로부터 공급되는 I_PCM_flag를 기억하고, 소정의 타이밍에 있어서 그것을 PCM 제어부(542)에 공급한다.
PCM 제어부(542)는 I_PCM_flag 버퍼(541)로부터 취득한 I_PCM_flag의 값에 기초하여, 화상 부호화 장치(300)에 있어서 부호화시에 I_PCM 모드가 선택되었는지 여부를 판정한다. PCM 제어부(542)는 그 판정 결과에 기초하여, CU 복호부(532)에 On/Off 제어 신호를 공급하고, 그 동작을 제어한다.
예를 들어 I_PCM 모드가 선택되지 않았다고 판정된 경우, PCM 제어부(542)는 「On」을 나타내는 제어 신호를 CU 복호부(532)에 공급하고, CU 복호부(532)에 의해 부호화된 CU 데이터를 복호시키고, 그 복호에 의해 얻어진, 양자화된 직교 변환 계수를 역양자화부(503)에 공급시킨다.
이에 비해, 예를 들어 I_PCM 모드가 선택되었다고 판정된 경우, PCM 제어부(542)는 「Off」를 나타내는 제어 신호를 CU 복호부(532)에 공급하고, 비부호화 데이터인 CU 데이터를 출력 화소값으로서 역양자화부(503)에 공급시킨다.
이러한 제어에 의해, CU 복호부(532)는 화상 부호화 장치(300)로부터 공급되는 부호화 데이터를 적절하게 복호할 수 있다. 즉, CU 복호부(532)는 LCU보다 작은 CU 단위로 I_PCM 모드인지 여부가 제어되고 있는 경우에도, 보다 적절하게 복호할 수 있다.
또한, PCM 제어부(542)는 I_PCM 모드의 판정 결과에 기초하여, 적응 우측 시프트부(507) 및 적응 좌측 시프트부(511)에 On/Off 제어 신호를 공급하고, 그 동작을 제어한다.
예를 들어 I_PCM 모드가 선택되지 않았다고 판정된 경우, PCM 제어부(542)는 「On」을 나타내는 제어 신호를 적응 우측 시프트부(507) 및 적응 좌측 시프트부(511)에 공급하고, 좌측 시프트 처리나 우측 시프트 처리를 실행시켜, 내부 처리에 있어서의 비트 정밀도의 확장이 행해지도록 한다.
이에 비해, 예를 들어 I_PCM 모드가 선택되었다고 판정된 경우, PCM 제어부(542)는 「Off」를 나타내는 제어 신호를 적응 우측 시프트부(507) 및 적응 좌측 시프트부(511)에 공급하고, 좌측 시프트 처리나 우측 시프트 처리를 생략(스킵)시켜, 내부 처리에 있어서의 비트 정밀도의 확장이 행해지지 않도록 한다.
이러한 제어에 의해, PCM 제어부(542)는 LCU보다 작은 CU 단위로 I_PCM 모드인지 여부가 제어되고 있는 경우에도, 용장 처리를 적절하게 배제할 수 있다.
또한, PCM 제어부(542)는 I_PCM 모드의 판정 결과에 기초하여, 루프 필터(506)에 On/Off 제어 신호를 공급하고, 그 동작을 제어한다. 예를 들어 I_PCM 모드가 선택되지 않았다고 판정된 경우, PCM 제어부(542)는 「On」을 나타내는 제어 신호를 루프 필터(506)에 공급한다. 이에 비해, 예를 들어 I_PCM 모드가 선택되었다고 판정된 경우, PCM 제어부(542)는 「Off」를 나타내는 제어 신호를 루프 필터(506)에 공급한다.
이러한 제어에 의해, PCM 제어부(542)는 LCU보다 작은 CU 단위로 I_PCM 모드인지 여부가 제어되고 있는 경우에도, 용장 처리를 보다 적절하게 배제할 수 있다.
도 8에 도시되는 바와 같이, 루프 필터(506)는 디블록 필터(551), 화소 구분부(552) 및 필터링부(553)를 갖는다.
디블록 필터(551)는 디블록 필터(206)의 경우와 마찬가지로, 연산부(505)로부터 공급되는 복호 화상(디블록 필터 전화소값)에 대하여 디블록 필터 처리를 행함으로써 블록 왜곡을 제거한다.
화상 부호화 장치(300)의 경우와 마찬가지로, 디블록 필터 처리는, 당해 CU가 I_PCM 모드인지 여부에 관계 없이 실행된다. 디블록 필터(551)는 그 필터 처리 결과(디블록 필터 후화소값)를 화소 구분부(552)에 공급한다.
화소 구분부(552)는 PCM 제어부(542)로부터 공급되는 On/Off 제어 신호의 값에 따라, 각 필터 처리 결과(디블록 필터 후화소값)를, 적응 루프 필터 처리를 행하는 화소값과, 적응 루프 필터 처리를 행하지 않는 화소값으로 구분한다.
예를 들어, PCM 제어부(542)로부터 「On」을 나타내는 제어 신호가 공급된 경우, 화소 구분부(552)는 그 CU의 디블록 필터 후화소값을, 적응 루프 필터 처리를 행하는 화소값으로 구분한다. 이에 비해, 예를 들어 PCM 제어부(542)로부터 「Off」를 나타내는 제어 신호가 공급된 경우, 화소 구분부(552)는 그 CU의 디블록 필터 후화소값을, 적응 루프 필터 처리를 행하지 않는 화소값으로 구분한다.
화소 구분부(552)는 구분을 행한 각 화소의 화소값(디블록 필터 후화소값)을 필터링부(553)에 공급한다.
필터링부(553)는 CU 복호부(532)로부터 공급된 적응 루프 필터 플래그에 기초하여, 적응 루프 필터 처리를 행하는 쪽으로 구분된 화소값에 대하여 적응 루프 필터 처리를 행한다.
적응 루프 필터 처리는, CU와는 독립해서 설정되는 소정의 블록마다 행해진다. 필터링부(553)는 당해 블록의 적응 루프 필터 플래그의 값이, 부호화측에 있어서 필터 처리가 행해지지 않은 것을 나타내는 값(예를 들어 「0」)인 경우, 당해 블록에 대한 적응 루프 필터 처리를 생략(스킵)하고, 공급된 디블록 필터후의 화소값을 적응 필터 후화소값으로서 적응 우측 시프트부(507)에 공급한다.
그런데, 적응 루프 필터 플래그의 설정 방법은, 화상 부호화 장치(300)의 사양 등에 의존한다. 따라서, 화상 부호화 장치(300)에 의한 적응 루프 필터 플래그의 설정 방법에 따라서는, 당해 블록의 적응 루프 필터 플래그의 값이, 부호화측에 있어서 필터 처리가 행해진 것을 나타내는 값(예를 들어 「1」)이어도, 당해 블록 내에 I_PCM 모드의 화소가 포함될 가능성이 있다.
그래서, 필터링부(553)는 당해 블록 내에 적응 루프 필터 처리를 행하지 않는 쪽으로 구분된 화소값이 존재하는 경우, 당해 블록의 적응 루프 필터 플래그의 값이, 부호화측에 있어서 필터 처리가 행해진 것을 나타내는 값(예를 들어 「1」)이어도, 당해 블록에 대한 적응 루프 필터 처리를 생략(스킵)하고, 공급된 디블록 필터후의 화소값을 적응 필터 후화소값으로서 적응 우측 시프트부(507)에 공급한다.
즉, 필터링부(553)는 당해 블록의 적응 루프 필터 플래그의 값이, 부호화측에 있어서 필터 처리가 행해진 것을 나타내는 값(예를 들어 「1」)이며, 또한, 당해 블록 내의 모든 화소가 적응 루프 필터 처리를 행하는 쪽으로 구분된 경우만, 당해 블록에 대하여 적응 루프 필터 처리를 행한다.
또한, 필터링부(553)는 적응 루프 필터 처리를 행하는 경우, CU 복호부(532)로부터 공급된 필터 계수(부호화측의 적응 루프 필터 처리에 있어서 사용된 필터 계수)를 사용해서 적응 루프 필터 처리를 행한다.
필터링부(553)는 적응 루프 필터 처리를 행한 화소값을 적응 필터 후화소값으로서 적응 우측 시프트부(507)에 공급한다.
이러한 제어에 의해, PCM 제어부(542)는 LCU보다 작은 CU 단위로 I_PCM 모드(비압축 모드)인지 여부가 제어되고 있는 경우에도, 용장 처리를 보다 적절하게 배제할 수 있다.
이상과 같이, 각 처리부의 처리에 의해, 화상 복호 장치(500)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시키는 것을 실현할 수 있다.
[복호 처리의 흐름]
이어서, 이상과 같은 화상 복호 장치(500)에 의해 실행되는 각 처리의 흐름에 대해서 설명한다. 처음에, 도 17 및 도 18의 흐름도를 참조하여, 복호 처리의 흐름의 예를 설명한다.
복호 처리가 개시되면, 스텝 S501에 있어서, 축적 버퍼(501)는 전송되어 온 화상(부호화 데이터)을 축적한다. 스텝 S502에 있어서, CU 복호부(532)는 스텝 S501에 있어서 축적된 부호화 데이터로부터 적응 필터 플래그를 취득한다. 스텝 S503에 있어서, CU 복호부(532)는 스텝 S501에 있어서 축적된 부호화 데이터로부터I_PCM_flag를 취득한다. I_PCM_flag 버퍼(541)는 그 I_PCM_flag를 기억한다.
스텝 S504에 있어서, PCM 제어부(542)는 I_PCM_flag 버퍼(541)에 기억된 I_PCM_flag의 값에 기초하여, 스텝 S501에 있어서 축적된 부호화 데이터(CU 데이터)의 부호화의 모드가 I_PCM 모드(즉, 비부호화 데이터)인지 여부를 판정한다.
부호화의 모드가 I_PCM 모드가 아니라고 판정된 경우, PCM 제어부(542)는 처리를 스텝 S505로 진행시킨다. 스텝 S505에 있어서, 가역 복호부(502)는 가역 복호 처리를 행하고, 스텝 S501에 있어서 축적된 부호화 데이터(CU 데이터)를 복호하고, 양자화된 직교 변환 계수나 필터 계수 등을 얻는다.
스텝 S506에 있어서, 역양자화부(503)는 스텝 S505의 처리에 의해 얻어진, 양자화된 직교 변환 계수를 역양자화한다. 스텝 S507에 있어서, 역직교 변환부(504)는 스텝 S506의 처리에 의해 역양자화된 직교 변환 계수를 역직교 변환하여, 복호 화상 데이터를 생성한다.
스텝 S508에 있어서, 적응 좌측 시프트부(511)는 당해 CU에 대응하는 참조 화상을 프레임 메모리(510)로부터 취득하고, PCM 복호부(516)의 제어에 따라, 그 참조 화상에 대하여 좌측 시프트 처리를 행한다.
스텝 S509에 있어서, 스텝 S508에 있어서 좌측 시프트 처리된 참조 화상 등을 사용하여, 인트라 예측부(513) 또는 움직임 예측 보상부(514)는 예측 처리를 행하여, 예측 화상을 생성한다.
스텝 S510에 있어서, 연산부(505)는 스텝 S507의 처리에 의해 얻어진 차분 정보에, 스텝 S509에 있어서 인트라 예측부(513) 또는 움직임 예측 보상부(514)에 의해 생성된 예측 화상을 가산한다.
스텝 S511에 있어서, 루프 필터(506)는 스텝 S510의 가산 결과에 대하여 루프 필터 처리를 행한다.
스텝 S512에 있어서, 적응 우측 시프트부(507)는 스텝 S511의 루프 필터 처리 결과에 대하여 PCM 복호부(516)의 제어에 따라서 우측 시프트 처리를 행한다.
스텝 S513에 있어서, 프레임 메모리(510)는 복호 화상 데이터를 참조 화상으로서 기억한다.
스텝 S514에 있어서, 화면 재배열 버퍼(508)는 복호 화상 데이터의 프레임의 재배열을 행한다. 즉, 복호 화상 데이터의, 화상 부호화 장치(300)의 화면 재배열 버퍼(302)(도 7)에 의해 부호화를 위해서 재배열된 프레임의 순서가, 원래의 표시 순서로 재배열된다.
스텝 S515에 있어서, D/A 변환부(509)는 스텝 S514에 있어서, 프레임이 재배열된 복호 화상 데이터를 D/A 변환한다. 이 복호 화상 데이터가 도시하지 않은 디스플레이에 출력되고, 그 화상이 표시된다.
또한, 스텝 S504에 있어서, 부호화의 모드가 I_PCM 모드라고 판정된 경우, PCM 제어부(542)는 처리를 도 18의 스텝 S521로 진행시킨다. 스텝 S521에 있어서, 가역 복호부(502)는 가역 복호 처리를 행하여, 스텝 S501에 있어서 축적된 부호화 데이터(비압축 데이터)를 부호화 결과(출력 화소값)로 한다.
스텝 S522에 있어서, 루프 필터(506)는 스텝 S521에 있어서 얻어진 출력 화소값에 대하여 루프 필터 처리를 행한다. 스텝S522의 처리가 종료되면, 루프 필터(506)는 처리를 도 17의 스텝 S513로 복귀시키고, 그 이후의 처리를 실행시킨다.
[루프 필터 처리의 흐름]
이어서, 도 19의 흐름도를 참조하여, 도 17의 스텝 S511 및 도 18의 스텝 S522에 있어서 실행되는 루프 필터 처리의 흐름의 예를 설명한다.
루프 필터 처리가 개시되면, 디블록 필터(551)는, 스텝 S541에 있어서, 스텝 S510 또는 스텝 S521에 있어서 얻어진 디블록 필터 전화소값에 대하여 디블록 필터 처리를 행한다.
스텝 S542에 있어서, 필터링부(553)는 필터 계수를 취득한다. 스텝 S543에 있어서, 화소 구분부(552)는 적응 루프 필터 플래그의 값에 기초하여, 적응 루프 필터를 행할지 여부를 판정한다. 적응 루프 필터 처리를 행한다고 판정한 경우, 화소 구분부(552)는 처리를 스텝 S544로 진행시킨다.
스텝 S544에 있어서, 화소 구분부(552)는 PCM 제어부(542)의 제어에 따라, I_PCM 모드인지 여부에 따라 디블록 필터 후화소값의 구분을 행한다.
스텝 S545에 있어서, 필터링부(545)는 적응 루프 필터 처리를 행하는 쪽으로 구분된 디블록 필터 후화소값에 대하여, 스텝 S542에 있어서 취득한 필터 계수를 사용해서 적응 루프 필터 처리를 행한다. 스텝 S545의 처리가 종료되면, 필터링부(545)는 루프 필터 처리를 종료하고, 처리를 도 17의 스텝 S511 또는 도 18의 스텝 S522로 복귀시키고, 도 17의 스텝 S512 또는 도 17의 스텝 S513으로 처리를 진행시킨다.
또한, 도 19의 스텝 S543에 있어서, 적응 루프 필터 처리를 행하지 않는다고 판정한 경우, 화소 구분부(552)는 루프 필터 처리를 종료하고, 처리를 도 17의 스텝 S511 또는 도 18의 스텝 S522로 복귀시키고, 도 17의 스텝 S512 또는 도 17의 스텝 S513으로 처리를 진행시킨다.
이상과 같이 각 처리를 실행함으로써, 화상 복호 장치(500)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시키는 것을 실현할 수 있다.
[I_PCM 정보의 위치]
이상에서 설명한 바와 같이, I_PCM 모드의 선택 제어를 CU 단위로 행할 수 있게 함으로써, 예를 들어 도 20의 A에 도시되는 바와 같이, LCU 내의 일부의 CU만 I_PCM 모드로 부호화를 행하도록 할 수도 있다. 도 20의 A는, 1LCU 내의 CU의 구조를 나타내고 있다. 도 20의 A에 도시되는 LCU는, CU0 내지 CU6의 7개의 CU에 의해 구성된다. 각 숫자는 당해 LCU 내의 처리순을 나타낸다. 도 20의 A의 예에 있어서, 회색으로 표시되는 CU(CU1, CU3, CU6)가 I_PCM 모드로 부호화되는 것으로 한다.
이러한 경우에 있어서, 도 20의 B에 도시되는 바와 같이, 코드 스트림에 있어서 LCU의 데이터의 선두에, 당해 LCU의 내부에 있어서의 I_PCM에 관한 정보인 I_PCM 정보를 부가하도록 해도 좋다.
I_PCM 정보는, 예를 들어 당해 LCU가 I_PCM 모드로 부호화되는 CU를 포함하는지 여부를 나타내는 플래그 정보를 포함한다. 도 20의 예의 경우, CU1, CU3 및 CU6이 I_PCM 모드로 부호화되는 CU이므로, 이 플래그 정보는, 당해 LCU가 I_PCM 모드로 부호화되는 CU를 포함하는 것을 나타내는 값(예를 들어 「1」)으로 설정된다.
이와 같이, 화상 부호화 장치(300)가 당해 LCU의 내부에 있어서의 I_PCM에 관한 정보를, LCU의 선두에 부가함으로써, 화상 복호 장치(500)는 당해 LCU를 복호 하기 전에, 당해 LCU 내에 I_PCM 모드로 부호화되는 CU가 존재하는지 여부를 용이하게 파악할 수 있다.
또한, I_PCM 정보는, 예를 들어 당해 LCU에 포함되는 I_PCM 모드로 부호화되는 CU를 나타내는 정보를 포함한다. 도 20의 예의 경우, CU1, CU3 및 CU6이 I_PCM 모드로 부호화되는 CU이므로, I_PCM 정보는, 이들 CU(CU1, CU3, CU6)를 나타내는 정보를 포함한다.
이와 같이, 화상 부호화 장치(300)가 당해 LCU의 내부에 있어서의 I_PCM에 관한 정보를, LCU의 선두에 부가함으로써, 화상 복호 장치(500)는 당해 LCU를 복호 하기 전에, 당해 LCU 내의 어느 CU가 I_PCM 모드(비압축 모드)로 부호화되었는지를 용이하게 파악할 수 있다.
또한, 이상에 있어서는, I_PCM_flag, 적응 필터 플래그, 필터 계수 및 I_PCM 정보 등의 화상 데이터 이외의 정보도, 필요에 따라, 화상 부호화 장치(300)로부터 화상 복호 장치(500)에 제공되는 것처럼 설명했지만, 이들 정보는, 부호화 데이터의 임의의 위치에 부가되도록 해도 좋다. 예를 들어, CU나 LCU의 선두에 부가되도록 해도 좋고, 슬라이스 헤더에 부가되도록 해도 좋고, 시퀀스 파라미터 세트(SPS)나 픽처 파라미터 세트(PPS) 등에 저장되도록 해도 좋다. 또한, 예를 들어 이들 정보가, SEI(Suplemental Enhancement Information) 등의 파라미터 세트(예를 들어 시퀀스나 픽처의 헤더 등)에 저장되도록 해도 좋다.
또한, 이들 정보가, 부호화 데이터와는 별도로 복호측에 전송되도록 해도 좋다. 그 경우, 이들 정보와 부호화 데이터의 대응 관계를 명확하게 할(복호측에서 파악할 수 있도록 함) 필요가 있지만, 그 방법은 임의이다. 예를 들어, 별도로, 대응 관계를 나타내는 테이블 정보를 작성해도 좋고, 대응처의 데이터를 나타내는 링크 정보를 서로의 데이터에 매립하거나 해도 좋다.
또한, 이들 정보를, 화상 부호화 장치(300)와 화상 복호 장치(500)에서 미리 공유해 두도록 해도 좋다. 그 경우, 이들 정보의 전송을 생략할 수 있는 경우도 있다.
<3. 제3 실시 형태>
[퍼스널 컴퓨터]
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들어 도 21에 도시되는 바와 같은 퍼스널 컴퓨터로서 구성되도록 해도 좋다.
도 21에 있어서, 퍼스널 컴퓨터(600)의 CPU(Central Processing Unit)(601)는, ROM(Read Only Memory)(602)에 기억되어 있는 프로그램 또는 기억부(613)로부터 RAM(Random Access Memory)(603)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(603)에는 또한, CPU(601)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(601), ROM(602) 및 RAM(603)은, 버스(604)를 거쳐서 서로 접속되어 있다. 이 버스(604)에는 또한, 입출력 인터페이스(610)도 접속되어 있다.
입출력 인터페이스(610)에는, 키보드, 마우스 등으로 이루어지는 입력부(611), CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display) 등을 포함하여 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(612), 하드 디스크 등으로 구성되는 기억부(613), 모뎀 등으로 구성되는 통신부(614)가 접속되어 있다. 통신부(614)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(610)에는 또한, 필요에 따라 드라이브(615)가 접속되고, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(621)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(613)에 인스톨된다.
상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 예를 들어 도 21에 도시되는 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위해서 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광자기 디스크(MD(Mini Disc)를 포함함), 또는 반도체 메모리 등을 포함하여 이루어지는 리무버블 미디어(621)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태로 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(602)이나, 기억부(613)에 포함되는 하드 디스크 등으로 구성된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 좋고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 좋다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지는 않더라도, 병렬적 또는 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 이상에 있어서, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 좋다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 1개의 장치(또는 처리부)로서 구성되도록 해도 좋다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 좋다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 좋다. 즉, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 도 8에 도시되는 가역 부호화부(307), 루프 필터(312) 및 PCM 부호화부(321)를 각각, 독립된 장치로서 구성하도록 해도 좋다. 또한, 도 8에 도시되는 NAL 부호화부(331), CU 부호화부(332), I_PCM_flag 생성부(341), PCM 결정부(342), 디블록 필터(351), 화소 구분부(352), 필터 계수 산출부(353) 및 필터링부(354)를 각각, 독립된 장치로서 구성하도록 해도 좋다.
또한, 도 9에 도시되는 입력 데이터량 산출부(361), PCM 판정부(362), 부호화 제어부(363), 적응 시프트 제어부(364) 및 필터 제어부를, 각각, 독립된 장치로서 구성하도록 해도 좋다.
또한, 이들 각 처리부를 임의로 조합하고, 독립된 장치로서 구성하도록 해도 좋다. 물론, 도 7 내지 도 9에 도시되는 임의의 처리부와 조합해도 좋고, 도시하지 않은 처리부와 조합해도 좋다.
화상 복호 장치(500)에 대해서도 마찬가지이다. 예를 들어, 도 15에 도시되는 가역 복호부(502), 루프 필터(506) 및 PCM 복호부(516)를 각각, 독립된 장치로서 구성하도록 해도 좋다. 또한, 도 16에 도시되는 NAL 복호부(531), CU 복호부(532), I_PCM_flag 버퍼(541), PCM 제어부(542), 디블록 필터(551), 화소 구분부(552) 및 필터링부(553)를 각각, 독립된 장치로서 구성하도록 해도 좋다.
또한, 이들 각 처리부를 임의로 조합하고, 독립된 장치로서 구성하도록 해도 좋다. 물론, 도 15 및 도 16에 도시되는 임의의 처리부와 조합해도 좋고, 도시하지 않은 처리부와 조합해도 좋다.
또한, 예를 들어 상술한 화상 부호화 장치나 화상 복호 장치는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대해서 설명한다.
<4. 제4 실시 형태>
[텔레비전 수상기 ]
도 22는, 화상 복호 장치(500)를 사용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 22에 도시되는 텔레비전 수상기(1000)는, 지상파 튜너(1013), 비디오 디코더(1015), 영상 신호 처리 회로(1018), 그래픽 생성 회로(1019), 패널 구동 회로(1020) 및 표시 패널(1021)을 갖는다.
지상파 튜너(1013)는 지상 아날로그 방송의 방송파 신호를, 안테나를 거쳐서 수신하고, 복조하고, 영상 신호를 취득하고, 그것을 비디오 디코더(1015)에 공급한다. 비디오 디코더(1015)는 지상파 튜너(1013)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(1018)에 공급한다.
영상 신호 처리 회로(1018)는 비디오 디코더(1015)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(1019)에 공급한다.
그래픽 생성 회로(1019)는 표시 패널(1021)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통해서 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(1020)에 공급한다. 또한, 그래픽 생성 회로(1019)는 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(1020)에 공급하는 처리도 적절히 행한다.
패널 구동 회로(1020)는 그래픽 생성 회로(1019)로부터 공급된 데이터에 기초하여 표시 패널(1021)을 구동하고, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(1021)에 표시시킨다.
표시 패널(1021)는 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(1020)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.
또한, 텔레비전 수상기(1000)는 음성 A/D(Analog/Digital) 변환 회로(1014), 음성 신호 처리 회로(1022), 에코 캔슬/음성 합성 회로(1023), 음성 증폭 회로(1024) 및 스피커(1025)도 갖는다.
지상파 튜너(1013)는 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(1013)는 취득한 음성 신호를 음성 A/D 변환 회로(1014)에 공급한다.
음성 A/D 변환 회로(1014)는 지상파 튜너(1013)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(1022)에 공급한다.
음성 신호 처리 회로(1022)는 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는 음성 신호 처리 회로(1022)로부터 공급된 음성 데이터를 음성 증폭 회로(1024)에 공급한다.
음성 증폭 회로(1024)는 에코 캔슬/음성 합성 회로(1023)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하고, 소정의 음량으로 조정한 후, 음성을 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는 디지털 튜너(1016) 및 MPEG 디코더(1017)도 갖는다.
디지털 튜너(1016)는 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 거쳐서 수신하고, 복조하고, MPEG-TS(Moving Picture Experts Group-Transport Stream)를 취득하고, 그것을 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는 디지털 튜너(1016)로부터 공급된 MPEG-TS에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(1017)는 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(1022)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(1018)에 공급한다. 또한, MPEG 디코더(1017)는 MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않은 경로를 거쳐서 CPU(1032)에 공급한다.
텔레비전 수상기(1000)는 이렇게 영상 패킷을 디코드하는 MPEG 디코더(1017)로서, 상술한 화상 복호 장치(500)를 사용한다. 또한, 방송국 등으로부터 송신되는 MPEG-TS는, 화상 부호화 장치(300)에 의해 부호화되어 있다.
MPEG 디코더(1017)는 화상 복호 장치(500)의 경우와 마찬가지로, I_PCM 모드의 선택을 LCU보다도 작은 CU 단위로 제어된 부호화 데이터를 적절하게 복호한다. 따라서, MPEG 디코더(1017)는 부호화시의 용장 처리의 저감과, 부호화 데이터에 포함되는 용장 정보의 저감을 실현시킬 수 있다. 이에 의해, MPEG 디코더(1017)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시키는 것을 실현할 수 있다.
MPEG 디코더(1017)로부터 공급된 영상 데이터는, 비디오 디코더(1015)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(1018)에 있어서 소정의 처리가 실시되고, 그래픽 생성 회로(1019)에 있어서, 생성된 영상 데이터 등이 적절히 중첩되고, 패널 구동 회로(1020)를 거쳐서 표시 패널(1021)에 공급되고, 그 화상이 표시된다.
MPEG 디코더(1017)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(1022)에 있어서 소정의 처리가 실시되고, 에코 캔슬/음성 합성 회로(1023)를 거쳐서 음성 증폭 회로(1024)에 공급되어, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(1025)로부터 출력된다.
또한, 텔레비전 수상기(1000)는 마이크로폰(1026) 및 A/D 변환 회로(1027)도 갖는다.
A/D 변환 회로(1027)는 음성 회화용이 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는 텔레비전 수상기(1000)의 유저(유저A)의 음성 데이터가 A/D 변환 회로(1027)로부터 공급되고 있는 경우, 유저A의 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성 데이터를, 음성 증폭 회로(1024)를 거쳐서 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는 음성 코덱(1028), 내부 버스(1029), SDRAM(Synchronous Dynamic Random Access Memory)(1030), 플래시 메모리(1031), CPU(1032), USB(Universal Serial Bus) I/F(1033) 및 네트워크 I/F(1034)도 갖는다.
A/D 변환 회로(1027)는 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털 음성 데이터를 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은 A/D 변환 회로(1027)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷 데이터로 변환하고, 내부 버스(1029)를 거쳐서 네트워크 I/F(1034)에 공급한다.
네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 통해서 네트워크에 접속된다. 네트워크 I/F(1034)는, 예를 들어 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(1028)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(1034)는, 예를 들어 네트워크를 통해서 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(1035)를 거쳐서 수신하고, 그것을, 내부 버스(1029)를 거쳐서 음성 코덱(1028)에 공급한다.
음성 코덱(1028)는 네트워크 I/F(1034)로부터 공급된 음성 데이터를 소정의 포맷 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는 음성 코덱(1028)으로부터 공급되는 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성 데이터를, 음성 증폭 회로(1024)를 거쳐서 스피커(1025)로부터 출력시킨다.
SDRAM(1030)은, CPU(1032)가 처리를 행함에 있어서 필요한 각종 데이터를 기억한다.
플래시 메모리(1031)는 CPU(1032)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(1031)에 기억되어 있는 프로그램은, 텔레비전 수상기(1000)의 기동시 등의 소정의 타이밍에서 CPU(1032)에 의해 판독된다. 플래시 메모리(1031)에는, 디지털 방송을 거쳐서 취득된 EPG 데이터, 네트워크를 통해서 소정의 서버로부터 취득된 데이터 등도 기억된다.
예를 들어, 플래시 메모리(1031)에는, CPU(1032)의 제어에 의해 네트워크를 통해서 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(1031)는 예를 들어 CPU(1032)의 제어에 의해, 그 MPEG-TS를, 내부 버스(1029)를 거쳐서 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는 디지털 튜너(1016)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이렇게 텔레비전 수상기(1000)는 영상이나 음성 등을 포함하여 이루어지는 콘텐츠 데이터를, 네트워크를 통해서 수신하고, MPEG 디코더(1017)를 사용해서 디코드하고, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.
또한, 텔레비전 수상기(1000)는 리모트 컨트롤러(1051)로부터 송신되는 적외선 신호를 수광하는 수광부(1037)도 갖는다.
수광부(1037)는 리모트 컨트롤러(1051)로부터의 적외선을 수광하고, 복조해서 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(1032)에 출력한다.
CPU(1032)는, 플래시 메모리(1031)에 기억되어 있는 프로그램을 실행하고, 수광부(1037)로부터 공급되는 제어 코드 등에 따라 텔레비전 수상기(1000)의 전체 동작을 제어한다. CPU(1032)와 텔레비전 수상기(1000)의 각 부는, 도시하지 않는 경로를 거쳐서 접속되어 있다.
USB I/F(1033)는, USB 단자(1036)에 장착된 USB 케이블을 통해서 접속되는, 텔레비전 수상기(1000)의 외부의 기기와의 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 통해서 네트워크에 접속되고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.
텔레비전 수상기(1000)는 MPEG 디코더(1017)로서 화상 복호 장치(500)를 사용함으로써, 안테나를 거쳐서 수신하는 방송파 신호나, 네트워크를 통해서 취득하는 콘텐츠 데이터를 생성할 때의 부호화 처리의 효율의 저감을 억제하면서, 그 데이터의 부호화 효율을 향상시키는 것을 실현할 수 있다.
<5. 제5 실시 형태>
[휴대 전화기]
도 23은, 화상 부호화 장치(300) 및 화상 복호 장치(500)를 사용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 23에 도시되는 휴대 전화기(1100)는 각 부를 통괄적으로 제어하도록 이루어진 주제어부(1150), 전원 회로부(1151), 조작 입력 제어부(1152), 화상 인코더(1153), 카메라 I/F부(1154), LCD 제어부(1155), 화상 디코더(1156), 다중 분리부(1157), 기록 재생부(1162), 변복조 회로부(1158) 및 음성 코덱(1159)을 갖는다. 이들은, 버스(1160)를 거쳐서 서로 접속되어 있다.
또한, 휴대 전화기(1100)는 조작 키(1119), CCD(Charge Coupled Devices) 카메라(1116), 액정 디스플레이(1118), 기억부(1123), 송수신 회로부(1163), 안테나(1114), 마이크로폰(마이크)(1121) 및 스피커(1117)를 갖는다.
전원 회로부(1151)는 유저의 조작에 의해 통화 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(1100)를 동작 가능한 상태로 기동시킨다.
휴대 전화기(1100)는 CPU, ROM 및 RAM 등으로 이루어지는 주제어부(1150)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드로, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.
예를 들어, 음성 통화 모드에 있어서, 휴대 전화기(1100)는 마이크로폰(마이크)(1121)으로 집음한 음성 신호를, 음성 코덱(1159)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는 공중 전화 회선망을 거쳐서 통화 상대의 휴대 전화기에 공급된다.
또한, 예를 들어 음성 통화 모드에 있어서, 휴대 전화기(1100)는 안테나(1114)로 수신한 수신 신호를 송수신 회로부(1163)에서 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리하고, 변복조 회로부(1158)에서 스펙트럼 역확산 처리하고, 음성 코덱(1159)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(1100)는 그 변환해서 얻어진 아날로그 음성 신호를 스피커(1117)로부터 출력한다.
또한, 예를 들어 데이터 통신 모드에 있어서 전자 메일을 송신하는 경우, 휴대 전화기(1100)는 조작 키(1119)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(1152)에 있어서 접수한다. 휴대 전화기(1100)는 그 텍스트 데이터를 주제어부(1150)에 있어서 처리하고, LCD 제어부(1155)를 거쳐서, 화상으로서 액정 디스플레이(1118)에 표시시킨다.
또한, 휴대 전화기(1100)는 주제어부(1150)에 있어서, 조작 입력 제어부(1152)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(1100)는 그 전자 메일 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는 네트워크 및 메일 서버 등을 거쳐서, 소정의 수신처에 공급된다.
또한, 예를 들어 데이터 통신 모드로 전자 메일을 수신하는 경우, 휴대 전화기(1100)는 기지국으로부터 송신된 신호를, 안테나(1114)를 거쳐서 송수신 회로부(1163)에서 수신하여, 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(1100)는 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리해서 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(1100)는 복원된 전자 메일 데이터를, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시한다.
또한, 휴대 전화기(1100)는 수신한 전자 메일 데이터를, 기록 재생부(1162)를 거쳐서, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
이 기억부(1123)는 재기입 가능한 임의의 기억 매체이다. 기억부(1123)는 예를 들어 RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 좋고, 하드 디스크이어도 좋고, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이어도 좋다. 물론, 이들 이외의 것이어도 좋다.
또한, 예를 들어 데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 휴대 전화기(1100)는 촬상에 의해 CCD 카메라(1116)로 화상 데이터를 생성한다. CCD 카메라(1116)는 렌즈나 조리개(교축 밸브) 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하고, 피사체의 화상의 화상 데이터를 생성한다. CCD 카메라(1116)는 그 화상 데이터를, 카메라 I/F부(1154)를 거쳐서, 화상 인코더(1153)에서 부호화하고, 부호화 화상 데이터로 변환한다.
휴대 전화기(1100)는 이러한 처리를 행하는 화상 인코더(1153)로서, 상술한 화상 부호화 장치(300)를 사용한다. 화상 인코더(1153)는 화상 부호화 장치(300)의 경우와 마찬가지로, I_PCM 모드의 선택을 LCU보다도 작은 CU 단위로 제어한다. 즉, 화상 인코더(1153)는 부호화시의 용장 처리를 보다 저감시킬 수 있음과 함께, 부호화 데이터에 포함되는 용장 정보를 보다 저감시킬 수 있다. 이에 의해, 화상 인코더(1153)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 휴대 전화기(1100)는 이때 동시에, CCD 카메라(1116)로 촬상 중에 마이크로폰(마이크)(1121)으로 집음한 음성을, 음성 코덱(1159)에 있어서 아날로그/디지털 변환하고, 다시 부호화한다.
휴대 전화기(1100)는 다중 분리부(1157)에 있어서, 화상 인코더(1153)로부터 공급된 부호화 화상 데이터와, 음성 코덱(1159)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(1100)는 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는 네트워크 등을 통하여, 통신 상대에게 공급된다.
또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(1100)는 CCD 카메라(1116)에서 생성한 화상 데이터를, 화상 인코더(1153)를 거치지 않고, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시시킬 수도 있다.
또한, 예를 들어 데이터 통신 모드에 있어서, 간이 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 휴대 전화기(1100)는 기지국으로부터 송신된 신호를, 안테나(1114)를 거쳐서 송수신 회로부(1163)에서 수신하여, 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(1100)는 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리해서 원래의 다중화 데이터를 복원한다. 휴대 전화기(1100)는 다중 분리부(1157)에 있어서, 그 다중화 데이터를 분리하여, 부호화 화상 데이터와 음성 데이터로 나눈다.
휴대 전화기(1100)는 화상 디코더(1156)에 있어서 부호화 화상 데이터를 디코드함으로써, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(1155)를 거쳐서 액정 디스플레이(1118)에 표시시킨다. 이에 의해, 예를 들어 간이 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(1118)에 표시된다.
휴대 전화기(1100)는 이러한 처리를 행하는 화상 디코더(1156)로서, 상술한 화상 복호 장치(500)를 사용한다. 즉, 화상 디코더(1156)는 화상 복호 장치(500)의 경우와 마찬가지로, I_PCM 모드의 선택을 LCU보다도 작은 CU 단위로 제어된 부호화 데이터를 적절하게 복호한다. 따라서, 화상 디코더(1156)는 부호화시의 용장 처리의 저감과, 부호화 데이터에 포함되는 용장 정보의 저감을 실현시킬 수 있다. 이에 의해, 화상 디코더(1156)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시키는 것을 실현할 수 있다.
이때, 휴대 전화기(1100)는 동시에, 음성 코덱(1159)에 있어서, 디지털 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(1117)로부터 출력시킨다. 이에 의해, 예를 들어 간이 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(1100)는 수신한 간이 홈 페이지 등에 링크된 데이터를, 기록 재생부(1162)를 거쳐서, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
또한, 휴대 전화기(1100)는 주제어부(1150)에 있어서, 촬상되어 CCD 카메라(1116)에서 얻어진 2차원 코드를 해석하고, 2차원 코드에 기록된 정보를 취득할 수 있다.
또한, 휴대 전화기(1100)는 적외선 통신부(1181)에서 적외선에 의해 외부의 기기와 통신할 수 있다.
휴대 전화기(1100)는 화상 인코더(1153)로서 화상 부호화 장치(300)를 사용함으로써, 예를 들어 CCD 카메라(1116)에 있어서 생성된 화상 데이터를 부호화해서 전송할 때에 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 휴대 전화기(1100)는 화상 디코더(1156)로서 화상 복호 장치(500)를 사용함으로써, 예를 들어 간이 홈 페이지 등에 링크된 동화상 파일의 데이터(부호화 데이터)를 생성할 때의 부호화 처리의 효율의 저감을 억제하면서, 그 데이터의 부호화 효율을 향상시키는 것을 실현할 수 있다.
또한, 이상에 있어서, 휴대 전화기(1100)가 CCD 카메라(1116)를 사용하는 것처럼 설명했지만, 이 CCD 카메라(1116) 대신에 CMOS(Complementary Metal Oxide Semiconductor)를 사용한 이미지 센서(CMOS 이미지 센서)를 사용하도록 해도 좋다. 이 경우도, 휴대 전화기(1100)는 CCD 카메라(1116)를 사용하는 경우와 마찬가지로, 피사체를 촬상하여, 피사체의 화상의 화상 데이터를 생성할 수 있다.
또한, 이상에 있어서는 휴대 전화기(1100)로서 설명했지만, 예를 들어PDA(Personal Digital Assistants), 스마트폰, UMPC(Ultra Mobile Personal Computer), 인터넷북, 노트북형 퍼스널 컴퓨터 등, 이 휴대 전화기(1100)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치이어도 휴대 전화기(1100)의 경우와 마찬가지로, 화상 부호화 장치(300) 및 화상 복호 장치(500)를 적용할 수 있다.
<6. 제6 실시 형태>
[하드 디스크 레코더]
도 24는, 화상 부호화 장치(300) 및 화상 복호 장치(500)를 사용하는 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 24에 도시되는 하드 디스크 레코더(HDD 레코더)(1200)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비젼신호)에 포함되는 방송 프로그램의 오디오 데이터와 비디오 데이터를, 내장하는 하드 디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에서 유저에게 제공하는 장치이다.
하드 디스크 레코더(1200)는 예를 들어 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그들을 적절히 복호하고, 내장하는 하드 디스크에 기억시킬 수 있다. 또한, 하드 디스크 레코더(1200)는 예를 들어 네트워크를 통해서 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 적절히 복호하고, 내장하는 하드 디스크에 기억시킬 수도 있다.
또한, 하드 디스크 레코더(1200)는 예를 들어 내장하는 하드 디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호해서 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수 있다. 또한, 하드 디스크 레코더(1200)는 예를 들어 튜너를 거쳐서 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터 또는, 네트워크를 통해서 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호해서 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수도 있다.
물론, 이 이외의 동작도 가능하다.
도 24에 도시되는 바와 같이, 하드 디스크 레코더(1200)는 수신부(1221), 복조부(1222), 디멀티플렉서(1223), 오디오 디코더(1224), 비디오 디코더(1225) 및 레코더 제어부(1226)를 갖는다. 하드 디스크 레코더(1200)는 또한, EPG 데이터 메모리(1227), 프로그램 메모리(1228), 워크 메모리(1229), 디스플레이 컨버터(1230), OSD(On Screen Display) 제어부(1231), 디스플레이 제어부(1232), 기록 재생부(1233), D/A 컨버터(1234) 및 통신부(1235)를 갖는다.
또한, 디스플레이 컨버터(1230)는 비디오 인코더(1241)를 갖는다. 기록 재생부(1233)는 인코더(1251) 및 디코더(1252)를 갖는다.
수신부(1221)는 리모트 컨트롤러(도시하지 않음)로부터의 적외선 신호를 수신하고, 전기 신호로 변환해서 레코더 제어부(1226)에 출력한다. 레코더 제어부(1226)는 예를 들어 마이크로프로세서 등에 의해 구성되고, 프로그램 메모리(1228)에 기억되어 있는 프로그램에 따라, 각종 처리를 실행한다. 레코더 제어부(1226)는 이때, 워크 메모리(1229)를 필요에 따라서 사용한다.
통신부(1235)는 네트워크에 접속되고, 네트워크를 통해서 다른 장치와의 통신 처리를 행한다. 예를 들어, 통신부(1235)는 레코더 제어부(1226)에 의해 제어되고, 튜너(도시하지 않음)와 통신하여, 주로 튜너에 대하여 선국 제어 신호를 출력한다.
복조부(1222)는 튜너로부터 공급된 신호를, 복조하여, 디멀티플렉서(1223)에 출력한다. 디멀티플렉서(1223)는 복조부(1222)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터 및 EPG 데이터로 분리하고, 각각, 오디오 디코더(1224), 비디오 디코더(1225) 또는 레코더 제어부(1226)에 출력한다.
오디오 디코더(1224)는 입력된 오디오 데이터를 디코드하고, 기록 재생부(1233)에 출력한다. 비디오 디코더(1225)는 입력된 비디오 데이터를 디코드하여, 디스플레이 컨버터(1230)에 출력한다. 레코더 제어부(1226)는 입력된 EPG 데이터를 EPG 데이터 메모리(1227)에 공급하고, 기억시킨다.
디스플레이 컨버터(1230)는 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급된 비디오 데이터를, 비디오 인코더(1241)에 의해, 예를 들어 NTSC(National Television Standards Committee) 방식의 비디오 데이터로 인코드하여, 기록 재생부(1233)에 출력한다. 또한, 디스플레이 컨버터(1230)는 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급되는 비디오 데이터의 화면의 크기를, 모니터(1260)의 크기에 대응하는 크기로 변환하고, 비디오 인코더(1241)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하여, 디스플레이 제어부(1232)에 출력한다.
디스플레이 제어부(1232)는 레코더 제어부(1226)의 제어 하에서, OSD(On Screen Display) 제어부(1231)가 출력한 OSD 신호를, 디스플레이 컨버터(1230)로부터 입력된 비디오 신호에 중첩하고, 모니터(1260)의 디스플레이에 출력하고, 표시시킨다.
모니터(1260)에는 또한, 오디오 디코더(1224)가 출력한 오디오 데이터가, D/A 컨버터(1234)에 의해 아날로그 신호로 변환되어 공급되고 있다. 모니터(1260)는 이 오디오 신호를 내장하는 스피커로부터 출력한다.
기록 재생부(1233)는 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드 디스크를 갖는다.
기록 재생부(1233)는 예를 들어 오디오 디코더(1224)로부터 공급되는 오디오 데이터를, 인코더(1251)에 의해 인코드한다. 또한, 기록 재생부(1233)는 디스플레이 컨버터(1230)의 비디오 인코더(1241)로부터 공급되는 비디오 데이터를, 인코더(1251)에 의해 인코드한다. 기록 재생부(1233)는 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(1233)는 그 합성 데이터를 채널 코딩하여 증폭하고, 그 데이터를, 기록 헤드를 거쳐서 하드 디스크에 기입한다.
기록 재생부(1233)는 재생 헤드를 거쳐서 하드 디스크에 기록되어 있는 데이터를 재생하고, 증폭하고, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(1233)는 디코더(1252)에 의해 오디오 데이터 및 비디오 데이터를 디코드한다. 기록 재생부(1233)는 복호한 오디오 데이터를 D/A 변환하여, 모니터(1260)의 스피커에 출력한다. 또한, 기록 재생부(1233)는 복호한 비디오 데이터를 D/A 변환하여, 모니터(1260)의 디스플레이에 출력한다.
레코더 제어부(1226)는 수신부(1221)를 거쳐서 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타나는 유저 지시에 기초하여, EPG 데이터 메모리(1227)로부터 최신의 EPG 데이터를 판독하고, 그것을 OSD 제어부(1231)에 공급한다. OSD 제어부(1231)는 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하여, 디스플레이 제어부(1232)에 출력한다. 디스플레이 제어부(1232)는 OSD 제어부(1231)로부터 입력된 비디오 데이터를 모니터(1260)의 디스플레이에 출력하고, 표시시킨다. 이에 의해, 모니터(1260)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.
또한, 하드 디스크 레코더(1200)는 인터넷 등의 네트워크를 통해서 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.
통신부(1235)는 레코더 제어부(1226)에 의해 제어되고, 네트워크를 통해서 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(1226)에 공급한다. 레코더 제어부(1226)는 예를 들어 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(1233)에 공급하고, 하드 디스크에 기억시킨다. 이때, 레코더 제어부(1226) 및 기록 재생부(1233)가 필요에 따라 재인코드 등의 처리를 행하도록 해도 좋다.
또한, 레코더 제어부(1226)는 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(1230)에 공급한다. 디스플레이 컨버터(1230)는 비디오 디코더(1225)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(1226)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(1232)를 거쳐서 모니터(1260)에 공급하고, 그 화상을 표시시킨다.
또한, 이 화상 표시에 맞추어, 레코더 제어부(1226)가 복호한 오디오 데이터를, D/A 컨버터(1234)를 거쳐서 모니터(1260)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 좋다.
또한, 레코더 제어부(1226)는 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(1227)에 공급한다.
이상과 같은 하드 디스크 레코더(1200)는 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더로서 화상 복호 장치(500)를 사용한다. 즉, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 화상 복호 장치(500)의 경우와 마찬가지로, I_PCM 모드의 선택을 LCU보다도 작은 CU 단위로 제어된 부호화 데이터를 적절하게 복호한다. 따라서, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 부호화시의 용장 처리의 저감과, 부호화 데이터에 포함되는 용장 정보의 저감을 실현시킬 수 있다. 이에 의해, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시키는 것을 실현할 수 있다.
따라서, 하드 디스크 레코더(1200)는 예를 들어 튜너나 통신부(1235)가 수신하는 비디오 데이터(부호화 데이터)나, 기록 재생부(1233)가 재생하는 비디오 데이터(부호화 데이터)를 생성할 때의 부호화 처리의 효율의 저감을 억제하면서, 그 데이터의 부호화 효율을 향상시키는 것을 실현할 수 있다.
또한, 하드 디스크 레코더(1200)는 인코더(1251)로서 화상 부호화 장치(300)를 사용한다. 따라서, 인코더(1251)는 화상 부호화 장치(300)의 경우와 마찬가지로, I_PCM 모드의 선택을 LCU보다도 작은 CU 단위로 제어한다. 즉, 인코더(1251)는 부호화시의 용장 처리를 보다 저감시킬 수 있음과 함께, 부호화 데이터에 포함되는 용장 정보를 보다 저감시킬 수 있다. 이에 의해, 인코더(1251)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
따라서, 하드 디스크 레코더(1200)는 예를 들어 하드 디스크에 기록하는 부호화 데이터를 생성할 때에, 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 이상에 있어서는, 비디오 데이터나 오디오 데이터를 하드 디스크에 기록하는 하드 디스크 레코더(1200)에 대해서 설명했지만, 물론, 기록 매체는 어떠한 것이어도 좋다. 예를 들어 플래시 메모리, 광 디스크 또는 비디오 테이프 등, 하드 디스크 이외의 기록 매체를 적용하는 레코더이어도, 상술한 하드 디스크 레코더(1200)의 경우와 마찬가지로, 화상 부호화 장치(300) 및 화상 복호 장치(500)를 적용할 수 있다.
<7. 제7 실시 형태>
[카메라]
도 25는, 화상 부호화 장치(300) 및 화상 복호 장치(500)를 사용하는 카메라의 주된 구성예를 도시하는 블록도이다.
도 25에 도시되는 카메라(1300)는 피사체를 촬상하고, 피사체의 화상을 LCD(1316)에 표시시키거나, 그것을 화상 데이터로서, 기록 미디어(1333)에 기록하거나 한다.
렌즈 블록(1311)은 광(즉, 피사체의 영상)을 CCD/CMOS(1312)에 입사시킨다. CCD/CMOS(1312)는, CCD 또는 CMOS를 사용한 이미지 센서이며, 수광한 광의 강도를 전기 신호로 변환하고, 카메라 신호 처리부(1313)에 공급한다.
카메라 신호 처리부(1313)는 CCD/CMOS(1312)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하여, 화상 신호 처리부(1314)에 공급한다. 화상 신호 처리부(1314)는 컨트롤러(1321)의 제어 하에서, 카메라 신호 처리부(1313)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(1341)로 부호화하거나 한다. 화상 신호 처리부(1314)는 화상 신호를 부호화해서 생성한 부호화 데이터를, 디코더(1315)에 공급한다. 또한, 화상 신호 처리부(1314)는 온 스크린 디스플레이(OSD)(1320)에 있어서 생성된 표시용 데이터를 취득하고, 그것을 디코더(1315)에 공급한다.
이상의 처리에 있어서, 카메라 신호 처리부(1313)는 버스(1317)를 거쳐서 접속되는 DRAM(Dynamic Random Access Memory)(1318)을 적절히 이용하여, 필요에 따라 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(1318)에 보유시킨다.
디코더(1315)는 화상 신호 처리부(1314)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(1316)에 공급한다. 또한, 디코더(1315)는 화상 신호 처리부(1314)로부터 공급된 표시용 데이터를 LCD(1316)에 공급한다. LCD(1316)는, 디코더(1315)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하고, 그 합성 화상을 표시한다.
온 스크린 디스플레이(1320)는 컨트롤러(1321)의 제어 하에서, 기호, 문자 또는 도형을 포함하여 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(1317)를 거쳐서 화상 신호 처리부(1314)에 출력한다.
컨트롤러(1321)는 유저가 조작부(1322)를 사용해서 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(1317)를 거쳐서, 화상 신호 처리부(1314), DRAM(1318), 외부 인터페이스(1319), 온 스크린 디스플레이(1320) 및 미디어 드라이브(1323) 등을 제어한다. FLASH ROM(1324)에는, 컨트롤러(1321)가 각종 처리를 실행함에 있어서 필요한 프로그램이나 데이터 등이 저장된다.
예를 들어, 컨트롤러(1321)는 화상 신호 처리부(1314)나 디코더(1315) 대신에, DRAM(1318)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(1318)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(1321)는 화상 신호 처리부(1314)나 디코더(1315)의 부호화·복호 방식과 마찬가지의 방식에 의해 부호화·복호 처리를 행하도록 해도 좋고, 화상 신호 처리부(1314)나 디코더(1315)가 대응하지 않고 있는 방식에 의해 부호화·복호 처리를 행하도록 해도 좋다.
또한, 예를 들어 조작부(1322)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(1321)는 DRAM(1318)으로부터 화상 데이터를 판독하고, 그것을, 버스(1317)를 거쳐서 외부 인터페이스(1319)에 접속되는 프린터(1334)에 공급해서 인쇄시킨다.
또한, 예를 들어 조작부(1322)로부터 화상 기록이 지시된 경우, 컨트롤러(1321)는 DRAM(1318)로부터 부호화 데이터를 판독하고, 그것을, 버스(1317)를 거쳐서 미디어 드라이브(1323)에 장착되는 기록 미디어(1333)에 공급해서 기억시킨다.
기록 미디어(1333)는 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이다. 기록 미디어(1333)는 물론, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 좋고, 디스크이어도 좋고, 메모리 카드이어도 좋다. 물론, 비접촉 IC 카드 등이어도 좋다.
또한, 미디어 드라이브(1323)와 기록 미디어(1333)를 일체화하고, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 좋다.
외부 인터페이스(1319)는 예를 들어 USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터(1334)와 접속된다. 또한, 외부 인터페이스(1319)에는, 필요에 따라 드라이브(1331)가 접속되고, 자기 디스크, 광 디스크, 또는 광자기 디스크 등의 리무버블 미디어(1332)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라, FLASH ROM(1324)에 인스톨된다.
또한, 외부 인터페이스(1319)는 LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(1321)는 예를 들어 조작부(1322)로부터의 지시에 따라 DRAM(1318)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(1319)로부터, 네트워크를 통해서 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(1321)는 네트워크를 통해서 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스(1319)를 거쳐서 취득하고, 그것을 DRAM(1318)에 보유시키거나, 화상 신호 처리부(1314)에 공급하거나 할 수 있다.
이상과 같은 카메라(1300)는 디코더(1315)로서 화상 복호 장치(500)를 사용한다. 즉, 디코더(1315)는 화상 복호 장치(500)의 경우와 마찬가지로, I_PCM 모드의 선택을 LCU보다도 작은 CU 단위로 제어된 부호화 데이터를 적절하게 복호한다. 따라서, 디코더(1315)는 부호화시의 용장 처리의 저감과, 부호화 데이터에 포함되는 용장 정보의 저감을 실현시킬 수 있다. 이에 의해, 디코더(1315)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시키는 것을 실현할 수 있다.
따라서, 카메라(1300)는 예를 들어 CCD/CMOS(1312)에 있어서 생성되는 화상 데이터나, DRAM(1318) 또는 기록 미디어(1333)로부터 판독하는 비디오 데이터의 부호화 데이터나, 네트워크를 통해서 취득하는 비디오 데이터의 부호화 데이터를 생성할 때의 부호화 처리의 효율의 저감을 억제하면서, 그 데이터의 부호화 효율을 향상시키는 것을 실현할 수 있다.
또한, 카메라(1300)는 인코더(1341)로서 화상 부호화 장치(300)를 사용한다. 인코더(1341)는 화상 부호화 장치(300)의 경우와 마찬가지로, I_PCM 모드의 선택을 LCU보다도 작은 CU 단위로 제어한다. 즉, 인코더(1341)는 부호화시의 용장 처리를 보다 저감시킬 수 있음과 함께, 부호화 데이터에 포함되는 용장 정보를 보다 저감시킬 수 있다. 이에 의해, 인코더(1341)는 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
따라서, 카메라(1300)는 예를 들어 DRAM(1318)이나 기록 미디어(1333)에 기록하는 부호화 데이터나, 다른 장치에 제공하는 부호화 데이터를 생성할 때에, 부호화 처리의 효율의 저감을 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 컨트롤러(1321)가 행하는 복호 처리에 화상 복호 장치(500)의 복호 방법을 적용하도록 해도 좋다. 마찬가지로, 컨트롤러(1321)가 행하는 부호화 처리에 화상 부호화 장치(300)의 부호화 방법을 적용하도록 해도 좋다.
또한, 카메라(1300)가 촬상하는 화상 데이터는 동화상이어도 좋고, 정지 화상이어도 좋다.
물론, 화상 부호화 장치(300) 및 화상 복호 장치(500)는 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.
본 기술은, 예를 들어 MPEG, H.26x 등과 같이, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축된 화상 정보(비트 스트림)를 위성 방송, 케이블 TV, 인터넷, 휴대 전화 등의 네트워크 미디어를 거쳐서 수신할 때에, 또는 광, 자기 디스크, 플래시 메모리와 같은 기억 미디어 상에서 처리할 때에 사용되는 화상 부호화 장치나 화상 복호 장치에 적용할 수 있다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드를 선택할지를, 계층 구조를 갖는 부호화 단위마다 설정하는 부호화 모드 설정부와,
상기 부호화 모드 설정부에 의해 설정된 모드에 따라, 상기 화상 데이터를 상기 부호화 단위마다 부호화하는 부호화부를 구비하는, 화상 처리 장치.
(2) 상기 부호화 모드 설정부에 의해 상기 비압축 모드가 설정된 부호화 단위를 대상으로 해서, 부호화 또는 복호할 때의 비트 정밀도를 확장하는 시프트 처리를 스킵시키도록 제어하는 시프트 처리 제어부와,
상기 시프트 처리 제어부에 의해 상기 시프트 처리를 행하도록 제어되는 부호화 단위를 대상으로 해서, 상기 화상 데이터를 상기 시프트 처리하는 시프트 처리부를 더 구비하는 상기 (1)에 기재된 화상 처리 장치.
(3) 상기 부호화 모드 설정부에 의해 상기 비압축 모드를 설정된 부호화 단위를 대상으로 해서, 로컬 디코드된 화상에 필터링을 행하는 필터 처리를 스킵시키도록 제어하는 필터 처리 제어부와,
상기 필터 처리 제어부에 의해 상기 필터 처리를 행하도록 제어되는 부호화 단위의 화상 데이터를 사용하여, 상기 필터 처리의 필터 계수를 산출하는 필터 계수 산출부와,
상기 필터 계수 산출부에 의해 산출된 상기 필터 계수를 사용하여, 상기 필터 처리의 단위인 블록마다 상기 필터 처리를 행하는 필터 처리부를 더 구비하는 상기 (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 필터 처리부는, 처리 대상인 커런트 블록에 포함되는, 상기 필터 처리 제어부에 의해 상기 필터 처리가 행해지도록 제어되는 화소만을 대상으로 해서, 상기 필터 처리를 행하는 상기 (3)에 기재된 화상 처리 장치.
(5) 상기 필터 처리가 행해지는지를 나타내는 플래그 정보인 필터 식별 정보를, 상기 블록마다 생성하는 필터 식별 정보 생성부를 더 구비하는 상기 (3) 또는 (4)에 기재된 화상 처리 장치.
(6) 상기 필터 처리부는, 상기 로컬 디코드된 화상을 대상으로 해서, 클래스 구분 처리를 사용하는 적응적인 필터 처리인 어댑티브 루프 필터를 행하는 상기 (3) 내지 (5) 중 어느 하나에 기재된 화상 처리 장치.
(7) 상기 부호화 모드 설정부는, 부호화 처리 대상인 커런트 부호화 단위의 상기 화상 데이터가 부호화된 부호화 데이터의 부호량이, 상기 커런트 부호화 단위의 상기 화상 데이터의 데이터량인 입력 데이터량 이하인 경우, 상기 커런트 부호화 단위의 부호화 모드를, 상기 비압축 모드로 설정하는 상기 (1) 내지 (6) 중 어느 하나에 기재된 화상 처리 장치.
(8) 상기 입력 데이터량을 산출하는 입력 데이터량 산출부를 더 구비하고,
상기 부호화 모드 설정부는, 상기 커런트 부호화 단위를 대상으로 해서, 상기 입력 데이터량 산출부에 의해 산출된 상기 입력 데이터량과, 상기 부호량을 비교하는 상기 (7)에 기재된 화상 처리 장치.
(9) 상기 부호화 모드 설정부에 의해 상기 비압축 모드가 설정되었는지를 나타내는 식별 정보를, 상기 부호화 단위마다 생성하는 식별 정보 생성부를 더 구비하는 상기 (1) 내지 (8) 중 어느 하나에 기재된 화상 처리 장치.
(10) 화상 처리 장치의 화상 처리 방법으로서,
부호화 모드 설정부가, 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드를 선택할지를, 계층 구조를 갖는 부호화 단위마다 설정하고,
부호화부가, 설정된 모드에 따라, 상기 화상 데이터를 상기 부호화 단위마다 부호화하는, 화상 처리 방법.
(11) 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드가 선택되었는지를, 계층 구조를 갖는 부호화 단위마다 판정하는 부호화 모드 판정부와,
상기 부호화 모드 판정부에 의해 판정된 모드에 따라, 상기 부호화 데이터를 상기 부호화 단위마다 복호하는 복호부를 구비하는, 화상 처리 장치.
(12) 상기 부호화 모드 판정부에 의해 상기 비압축 모드가 선택되었다고 판정된 부호화 단위를 대상으로 해서, 부호화 또는 복호할 때의 비트 정밀도를 확장하는 시프트 처리를 스킵시키도록 제어하는 시프트 처리 제어부와,
상기 시프트 처리 제어부에 의해 상기 시프트 처리를 행하도록 제어되는 부호화 단위를 대상으로 해서, 상기 화상 데이터를 상기 시프트 처리하는 시프트 처리부를 더 구비하는 상기 (11)에 기재된 화상 처리 장치.
(13) 상기 부호화 모드 판정부에 의해 상기 비압축 모드가 선택되었다고 판정된 부호화 단위를 대상으로 해서, 로컬 디코드된 화상에 필터링을 행하는 필터 처리를 스킵시키도록 제어하는 필터 처리 제어부와,
상기 필터 처리의 단위인 블록마다, 상기 화상 데이터에 대하여 상기 필터 처리를 행하는 필터 처리부를 더 구비하고,
상기 필터 처리부는, 처리 대상인 커런트 블록에 포함되는, 상기 필터 처리 제어부에 의해 상기 필터 처리를 행하도록 제어된 화소만을 대상으로 해서, 상기 필터 처리를 행하는 상기 (11) 또는 (12)에 기재된 화상 처리 장치.
(14) 상기 필터 처리부는, 상기 로컬 디코드된 화상을 대상으로 해서, 클래스 구분 처리를 사용하는 적응적인 필터 처리인 어댑티브 루프 필터를 행하는 상기 (13)에 기재된 화상 처리 장치.
(15) 상기 필터 처리부는, 상기 필터 처리가 행해졌는지 여부를 나타내는 필터 식별 정보에 의해, 처리 대상인 커런트 블록의 화상 데이터에 대하여 상기 필터 처리가 행해진 것이 나타나고 있는 경우, 상기 필터 처리 제어부에 의해, 상기 커런트 블록에 포함되는 모든 화소를 대상으로 해서 상기 필터 처리를 행하도록 제어되어 있을 때만, 상기 필터 처리를 행하는 상기 (13) 또는 (14)에 기재된 화상 처리 장치.
(16) 상기 부호화 모드 판정부는, 상기 부호화 단위마다 상기 비압축 모드가 선택되었는지를 나타내는 식별 정보에 기초하여, 상기 비압축 모드가 선택되었는지를 판정하는 상기 (11) 내지 (15) 중 어느 하나에 기재된 화상 처리 장치.
(17) 화상 처리 장치의 화상 처리 방법으로서,
부호화 모드 판정부가, 화상 데이터를 부호화할 때의 부호화 모드로서, 상기 화상 데이터를 부호화 데이터로서 출력하는 부호화 모드인 비압축 모드가 선택되었는지를, 계층 구조를 갖는 부호화 단위마다 판정하고,
복호부가, 판정된 모드에 따라, 상기 부호화 데이터를 상기 부호화 단위마다 복호하는, 화상 처리 방법.
300 : 화상 부호화 장치
303 : 적응 좌측 시프트부
307 : 가역 부호화부
312 : 루프 필터
313 : 적응 우측 시프트부
315 : 적응 좌측 시프트부
320 : 레이트 제어부
321 : PCM 부호화부
331 : NAL 부호화부
332 : CU 부호화부
341 : I_PCM_flag 생성부
342 : PCM 결정부
351 : 디블록 필터
352 : 화소 구분부
353 : 필터 계수 산출부
354 : 필터링부
361 : 입력 데이터량 산출부
362 : PCM 판정부
363 : 부호화 제어부
364 : 적응 시프트 제어부
365 : 필터 제어부
500 : 화상 복호 장치
502 : 가역 복호부
506 : 루프 필터
507 : 적응 우측 시프트부
511 : 적응 좌측 시프트부
516 : PCM 복호부
531 : NAL 복호부
532 : CU 복호부
541 : I_PCM_flag 버퍼
542 : PCM 제어부
551 : 디블록 필터
552 : 화소 구분부
553 : 필터링부

Claims (25)

  1. 최대 부호화 단위를 재귀적으로 분할함으로써 얻어지는 부호화 단위마다 화상 데이터를 부호화하는 경우, 상기 화상 데이터를 부호화하지 않고 비부호화 데이터로 출력하는 부호화 모드인 비압축 모드로 설정된 부호화 단위의 비트 심도를, 상기 화상 데이터를 부호화하여 부호화 데이터로 출력하는 부호화 모드인 압축 모드로 설정된 부호화 단위의 비트 심도와 다른 비트 심도로 설정하는 설정부와,
    상기 설정부에 의해 설정된 비트 심도에 따라 상기 화상 데이터를 상기 부호화 단위마다 부호화하여, 상기 비부호화 데이터가 부호화 단위에 포함되는지를 식별하는 식별 데이터를 포함하는 부호화 데이터를 생성하는 부호화부
    를 구비하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 설정부는, 상기 비압축 모드로 설정된 부호화 단위의 비트 심도를, 상기 압축 모드로 설정된 부호화 단위의 비트 심도보다 작은 비트 심도로 설정하는
    화상 처리 장치.
  3. 제2항에 있어서,
    상기 비압축 모드가 선택되었는지를, 상기 부호화 단위마다 판정하는 판정부를 더 구비하고,
    상기 설정부는, 상기 판정부에 의해 상기 비압축 모드가 선택되었다고 판정된 부호화 단위의 비트 심도를, 상기 압축 모드로 설정된 부호화 단위의 비트 심도보다 작은 비트 심도로 설정하는
    화상 처리 장치.
  4. 제3항에 있어서,
    부호화 대상인 커런트 부호화 단위의 화상 데이터의 데이터량인 입력 데이터 량이, 상기 커런트 부호화 단위의 상기 화상 데이터가 부호화된 부호화 데이터의 부호량 이하인 경우, 상기 커런트 부호화 단위의 부호화 모드를, 상기 비압축 모드로 설정하는 부호화 모드 설정부
    를 더 구비하는 화상 처리 장치.
  5. 제4항에 있어서,
    상기 부호화 모드 설정부에 의한 부호화 모드의 설정에 따라 상기 식별 데이터를 설정하는 식별 데이터 설정부를 더 구비하는
    화상 처리 장치.
  6. 제5항에 있어서,
    상기 식별 데이터 설정부는, 상기 식별 데이터를, 상기 부호화 단위마다 설정하는
    화상 처리 장치.
  7. 제5항에 있어서,
    상기 식별 데이터 설정부는, 복수의 부호화 단위로 구성된 블록에 상기 비부호화 데이터가 있는 것을 식별하는 식별 정보를 설정하는
    화상 처리 장치.
  8. 제7항에 있어서,
    상기 복수의 부호화 단위로 구성된 블록은, 최대 크기의 부호화 단위인 상기 최대 부호화 단위(LCU : Largest Coding Unit)인
    화상 처리 장치.
  9. 제8항에 있어서,
    상기 부호화 단위는, 상기 LCU를 4분목 구조에 따라 재귀적으로 분할되는
    화상 처리 장치.
  10. 제9항에 있어서,
    상기 LCU는, 상기 4분목 구조에 있어서 최상위 계층의 코딩 유닛인
    화상 처리 장치.
  11. 제10항에 있어서,
    상기 LCU는, 시퀀스 단위로 고정된 크기의 블록이며,
    상기 부호화 단위는, 가변 크기의 블록인
    화상 처리 장치.
  12. 제1항에 있어서,
    상기 부호화부는, 상기 비압축 모드로 설정된 부호화 단위의 비부호화 데이터와 상기 압축 모드로 설정된 부호화 단위의 부호화 데이터를 포함하는 부호화 데이터를 생성하는
    화상 처리 장치.
  13. 최대 부호화 단위를 재귀적으로 분할함으로써 얻어지는 부호화 단위마다 화상 데이터를 부호화하는 경우, 상기 화상 데이터를 부호화하지 않고 비부호화 데이터로 출력하는 부호화 모드인 비압축 모드로 설정된 부호화 단위의 비트 심도를, 상기 화상 데이터를 부호화하여 부호화 데이터로 출력하는 부호화 모드인 압축 모드로 설정된 부호화 단위의 비트 심도와 다른 비트 심도로 설정하고,
    설정된 비트 심도에 따라 상기 화상 데이터를 상기 부호화 단위마다 부호화하여, 상기 비부호화 데이터가 부호화 단위에 포함되는지를 식별하는 식별 데이터를 포함하는 부호화 데이터를 생성하는
    화상 처리 방법.
  14. 제13항에 있어서,
    상기 비압축 모드로 설정된 부호화 단위의 비트 심도를, 상기 압축 모드로 설정된 부호화 단위의 비트 심도보다 작은 비트 심도로 설정하는
    화상 처리 방법.
  15. 제14항에 있어서,
    상기 비압축 모드가 선택되었는지를, 상기 부호화 단위마다 판정하고,
    상기 비압축 모드가 선택되었다고 판정된 부호화 단위의 비트 심도를, 상기 압축 모드로 설정된 부호화 단위의 비트 심도보다 작은 비트 심도로 설정하는
    화상 처리 방법.
  16. 제15항에 있어서,
    부호화 대상인 커런트 부호화 단위의 화상 데이터의 데이터량인 입력 데이터 량이, 상기 커런트 부호화 단위의 상기 화상 데이터가 부호화된 부호화 데이터의 부호량 이하인 경우, 상기 커런트 부호화 단위의 부호화 모드를, 상기 비압축 모드로 설정하는
    화상 처리 방법.
  17. 제16항에 있어서,
    부호화 모드의 설정에 따라 상기 식별 데이터를 설정하는
    화상 처리 방법.
  18. 제17항에 있어서,
    상기 식별 데이터를, 상기 부호화 단위마다 설정하는
    화상 처리 방법.
  19. 제17항에 있어서,
    복수의 부호화 단위로 구성된 블록에 상기 비부호화 데이터가 있는 것을 식별하는 식별 정보를 설정하는
    화상 처리 방법.
  20. 제19항에 있어서,
    상기 복수의 부호화 단위로 구성된 블록은, 최대 크기의 부호화 단위인 상기 최대 부호화 단위(LCU : Largest Coding Unit)인
    화상 처리 방법.
  21. 제20항에 있어서,
    상기 부호화 단위는, 상기 LCU를 4분목 구조에 따라 재귀적으로 분할되는
    화상 처리 방법.
  22. 제21항에 있어서,
    상기 LCU는, 상기 4분목 구조에 있어서 최상위 계층의 코딩 유닛인
    화상 처리 방법.
  23. 제22항에 있어서,
    상기 LCU는, 시퀀스 단위로 고정된 크기의 블록이며,
    상기 부호화 단위는, 가변 크기의 블록인
    화상 처리 방법.
  24. 제13항에 있어서,
    상기 비압축 모드로 설정된 부호화 단위의 비부호화 데이터와 상기 압축 모드로 설정된 부호화 단위의 부호화 데이터를 포함하는 부호화 데이터를 생성하는
    화상 처리 방법.
  25. 컴퓨터를,
    최대 부호화 단위를 재귀적으로 분할함으로써 얻어지는 부호화 단위마다 화상 데이터를 부호화하는 경우, 상기 화상 데이터를 부호화하지 않고 비부호화 데이터로 출력하는 부호화 모드인 비압축 모드로 설정된 부호화 단위의 비트 심도를, 상기 화상 데이터를 부호화하여 부호화 데이터로 출력하는 부호화 모드인 압축 모드로 설정된 부호화 단위의 비트 심도와 다른 비트 심도로 설정하는 설정부와,
    상기 설정부에 의해 설정된 비트 심도에 따라 상기 화상 데이터를 상기 부호화 단위마다 부호화하여, 상기 비부호화 데이터가 부호화 단위에 포함되는지를 식별하는 식별 데이터를 포함하는 부호화 데이터를 생성하는 부호화부
    로 기능시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020187002833A 2011-01-11 2012-01-04 화상 처리 장치 및 방법 KR102116621B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-003245 2011-01-11
JP2011003245A JP5850214B2 (ja) 2011-01-11 2011-01-11 画像処理装置および方法、プログラム、並びに記録媒体
PCT/JP2012/050016 WO2012096201A1 (ja) 2011-01-11 2012-01-04 画像処理装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017198A Division KR101882537B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180016614A true KR20180016614A (ko) 2018-02-14
KR102116621B1 KR102116621B1 (ko) 2020-05-29

Family

ID=46507101

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020207020322A KR102228342B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187002833A KR102116621B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187035317A KR102028853B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187002831A KR102135696B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187021024A KR101988815B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020137017198A KR101882537B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187021023A KR101988814B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187002830A KR101928044B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020197028303A KR102127604B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207020322A KR102228342B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR1020187035317A KR102028853B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187002831A KR102135696B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187021024A KR101988815B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020137017198A KR101882537B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187021023A KR101988814B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020187002830A KR101928044B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법
KR1020197028303A KR102127604B1 (ko) 2011-01-11 2012-01-04 화상 처리 장치 및 방법

Country Status (13)

Country Link
US (8) US9270987B2 (ko)
EP (3) EP2665263B1 (ko)
JP (1) JP5850214B2 (ko)
KR (9) KR102228342B1 (ko)
CN (5) CN106851291B (ko)
BR (2) BR122014030189B1 (ko)
CA (1) CA2820180C (ko)
CO (1) CO6721060A2 (ko)
MX (1) MX2013007843A (ko)
MY (3) MY191951A (ko)
RU (2) RU2578164C2 (ko)
SG (3) SG2014014526A (ko)
WO (1) WO2012096201A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP2680583B1 (en) 2011-02-22 2018-04-11 Tagivan Ii Llc Filter method, dynamic image encoding device, dynamic image decoding device, and dynamic image encoding/decoding device
MX2013001051A (es) * 2011-02-22 2013-04-03 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen, aparato de decodificacion de imagen y aparato de codificacion/decidificacion de imagen.
EP3843394B1 (en) * 2011-07-19 2024-04-03 Tagivan Ii Llc Coding method
JP6048941B2 (ja) 2012-01-27 2016-12-27 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
EP2869561A4 (en) * 2012-06-26 2016-02-17 Nec Corp VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, VIDEO DECODING METHOD, AND PROGRAM
EP2942958B1 (en) * 2013-01-07 2018-03-21 NEC Corporation Coding unit split signaling for pcm coded blocks
US9830369B1 (en) * 2013-05-14 2017-11-28 Jsonar, Inc. Processor for database analytics processing
JP6157344B2 (ja) * 2013-12-26 2017-07-05 アルパイン株式会社 電子装置および無線機器確認方法
US9736481B2 (en) 2014-03-14 2017-08-15 Qualcomm Incorporated Quantization parameters for color-space conversion coding
JP6824034B2 (ja) 2014-03-31 2021-02-03 ソニー株式会社 画像復号装置および方法
US9451296B2 (en) 2014-08-19 2016-09-20 At&T Intellectual Property I, L.P. Extracting data from advertisement files for ad insertion
FR3033116B1 (fr) * 2015-02-20 2017-03-24 Stmicroelectronics (Grenoble 2) Sas Procede de selection d’une solution de placement des pixels d’une image en fonction du rendu visuel
US11057499B2 (en) * 2015-03-25 2021-07-06 Sino-Japanese Engineering Corporation Device control method by thin client system
JP6791952B2 (ja) * 2015-09-08 2020-11-25 エルジー エレクトロニクス インコーポレイティド 映像の符号化／復号化方法及びそのための装置
US10225561B2 (en) * 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
US10645384B2 (en) * 2016-05-02 2020-05-05 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
TW201817232A (zh) * 2016-08-11 2018-05-01 聯詠科技股份有限公司 影像處理方法及相關裝置
CN107835429B (zh) * 2017-10-31 2020-10-13 北京信息科技大学 一种高光谱图像的压缩方法及系统
KR102636813B1 (ko) * 2018-11-22 2024-02-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 펄스 코드 변조 기술
CN111009017B (zh) * 2019-10-18 2021-08-17 珠海格力电器股份有限公司 图片压缩方法、装置、存储介质、计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3992303A (en) 1974-05-03 1976-11-16 Van Straaten Chemical Company Metal cold forming process and lubricant composition therefor
US4240283A (en) 1978-11-09 1980-12-23 Mitsuboshi Belting Ltd. Apparatus for testing power transmission belt
WO2004034330A1 (en) * 2002-10-10 2004-04-22 Sony Corporation Video-information encoding method and video-information decoding method
KR20100111609A (ko) * 2008-02-04 2010-10-15 소니 주식회사 영상신호 송신 장치, 영상신호 송신 방법, 영상신호 수신 장치 및 영상신호 수신 방법

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335116A (en) * 1989-05-09 1994-08-02 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for recording analog video signal in compressed digital format
JP3265429B2 (ja) * 1990-09-14 2002-03-11 キヤノン株式会社 カラーファクシミリ装置
US5485293A (en) * 1993-09-29 1996-01-16 Honeywell Inc. Liquid crystal display including color triads with split pixels
JP3442491B2 (ja) * 1994-08-19 2003-09-02 株式会社リコー 画像読取装置
JP3992303B2 (ja) 1995-06-22 2007-10-17 ソニー株式会社 信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法
JPH10234686A (ja) * 1997-02-28 1998-09-08 Seiko Epson Corp 計測結果表示装置
US6453071B2 (en) * 1997-04-04 2002-09-17 Canon Kabushiki Kaisha Data communication apparatus, method and system and programs for data communication process stored in computer readable storage medium
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
FR2799323B1 (fr) * 1999-10-04 2002-04-19 Mitsubishi Electric France Procede de generation d'un mode compresse sur un canal composite comportant au moins deux canaux de transport et dispositif pour la mise en oeuvre de ce procede
CN1231050C (zh) * 1999-12-15 2005-12-07 三洋电机株式会社 图像再现、处理装置和方法以及具有该装置的电视接收机
CN1848941A (zh) * 1999-12-15 2006-10-18 三洋电机株式会社 图像再现、处理装置和方法以及具有该装置的电视接收机
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
AU2003272833A1 (en) * 2002-09-17 2004-04-08 Vladimir Ceperkovic Fast codec with high compression ratio and minimum required resources
JP4208533B2 (ja) * 2002-09-19 2009-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
JP4082194B2 (ja) * 2002-12-03 2008-04-30 セイコーエプソン株式会社 画像処理方法および画像処理装置ならびに画像処理プログラム
US7428342B2 (en) * 2004-12-17 2008-09-23 Microsoft Corporation Reversible overlap operator for efficient lossless data compression
GB0428160D0 (en) * 2004-12-22 2005-01-26 British Telecomm Variable bit rate processing
DE102005036298B3 (de) * 2005-08-02 2006-12-14 Siemens Ag Verfahren und Kommunikationssystem zur Auswahl eines Übertragungsmodus' für eine Übermittlung von Nutzdaten
TW200727598A (en) * 2005-11-18 2007-07-16 Sony Corp Encoding/decoding device/method and the transmission system
JP2007166039A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 画像符号化装置
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4987322B2 (ja) 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
JP5017555B2 (ja) * 2006-04-10 2012-09-05 株式会社メガチップス 画像符号化装置及び画像復号化装置
JP4555257B2 (ja) 2006-06-06 2010-09-29 パナソニック株式会社 画像符号化装置
JP4893957B2 (ja) * 2006-08-07 2012-03-07 富士ゼロックス株式会社 符号化装置、復号化装置、符号化方法及びプログラム
CN101150721B (zh) * 2006-09-21 2010-10-13 凌阳科技股份有限公司 具有适应性位元平面编码模式的编码方法
CN101622878B (zh) * 2007-01-10 2015-01-14 汤姆逊许可公司 用于实现位深度可分级性的视频编解码方法和视频编解码设备
CN101569170B (zh) * 2007-05-17 2011-11-16 索尼株式会社 编码设备和编码方法以及解码设备和解码方法
AU2008263458A1 (en) 2007-06-12 2008-12-18 Nokia Corporation Joint coding of multiple transform blocks with reduced number of coefficients
US8619853B2 (en) * 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
JP4987080B2 (ja) * 2007-07-17 2012-07-25 日本電信電話株式会社 映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体
CN101933331B (zh) * 2007-09-06 2014-04-09 日本电气株式会社 视频编码装置、视频编码方法、视频解码方法
US8165210B2 (en) 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
KR100952340B1 (ko) * 2008-01-24 2010-04-09 에스케이 텔레콤주식회사 시공간적 복잡도를 이용한 부호화 모드 결정 방법 및 장치
US8681861B2 (en) * 2008-05-01 2014-03-25 Nvidia Corporation Multistandard hardware video encoder
US20090316788A1 (en) * 2008-06-23 2009-12-24 Thomson Licensing Video coding method with non-compressed mode and device implementing the method
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9232226B2 (en) * 2008-08-19 2016-01-05 Marvell World Trade Ltd. Systems and methods for perceptually lossless video compression
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US20100086051A1 (en) * 2008-10-06 2010-04-08 Lg Electronics Inc. Method and an apparatus for processing a video signal
JP2010193398A (ja) 2009-02-20 2010-09-02 Canon Inc 画像符号化装置及び画像符号化方法
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
CN101577110B (zh) * 2009-05-31 2012-04-25 腾讯科技（深圳）有限公司 视频播放方法及视频播放器
KR20110061468A (ko) * 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
CN103004191B (zh) * 2010-07-13 2016-06-01 日本电气株式会社 视频编码装置、视频解码装置、视频编码方法、视频解码方法以及程序
CN101895757A (zh) * 2010-07-15 2010-11-24 北京大学 预测残差块的重排序、逆重排序方法及系统
PL3618431T3 (pl) * 2010-07-21 2023-05-29 Telefonaktiebolaget Lm Ericsson (Publ) Kodowanie i dekodowanie obrazu wizyjnego
ES2589702T3 (es) * 2010-11-26 2016-11-15 Nec Corporation Dispositivo, método y programa de descodificación de video
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
NO335667B1 (no) * 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
AU2012200345B2 (en) * 2012-01-20 2014-05-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit
WO2013118485A1 (ja) * 2012-02-08 2013-08-15 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US9693060B2 (en) * 2012-11-16 2017-06-27 Qualcomm Incorporated Device and method for scalable coding of video information
WO2014162849A1 (ja) * 2013-04-05 2014-10-09 ソニー株式会社 画像処理装置及び画像処理方法
JP2015192381A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3992303A (en) 1974-05-03 1976-11-16 Van Straaten Chemical Company Metal cold forming process and lubricant composition therefor
US4240283A (en) 1978-11-09 1980-12-23 Mitsuboshi Belting Ltd. Apparatus for testing power transmission belt
WO2004034330A1 (en) * 2002-10-10 2004-04-22 Sony Corporation Video-information encoding method and video-information decoding method
KR20100111609A (ko) * 2008-02-04 2010-10-15 소니 주식회사 영상신호 송신 장치, 영상신호 송신 방법, 영상신호 수신 장치 및 영상신호 수신 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Test Model under Consideration", JCTVC-B205, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG112nd Meeting: Geneva, CH, 21-28 July, 2010
Takeshi Chujoh, Goki Yasuda, Naofumi Wada, Takashi Watanabe, Tomoo Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI 18, ITU-Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group(VCEG) 35th Meeting: Berlin, Germany, 16-18 July, 2008
Takeshi Chujoh, Reiko Noda, "Internal bit depth increase except frame memory", VCEG-AF07, ITU-Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group(VCEG) 32nd Meeting: San Jose, USA, 20-21 April, 2007

Also Published As

Publication number Publication date
BR122014030189B1 (pt) 2022-07-19
KR20180089529A (ko) 2018-08-08
MY191986A (en) 2022-07-21
US9270987B2 (en) 2016-02-23
CN103299629B (zh) 2016-10-19
WO2012096201A1 (ja) 2012-07-19
RU2014146734A (ru) 2016-06-10
US10027987B2 (en) 2018-07-17
US10432976B2 (en) 2019-10-01
US20230388554A1 (en) 2023-11-30
EP2665263A1 (en) 2013-11-20
KR102135696B1 (ko) 2020-07-21
US10979739B2 (en) 2021-04-13
KR20180015274A (ko) 2018-02-12
RU2607239C2 (ru) 2017-01-10
CN103299629A (zh) 2013-09-11
US8737751B2 (en) 2014-05-27
KR102228342B1 (ko) 2021-03-16
KR102127604B1 (ko) 2020-06-29
CN106851291B (zh) 2019-11-19
EP4221219A1 (en) 2023-08-02
BR122014030189A2 (pt) 2019-08-20
SG2014014526A (en) 2014-07-30
JP2012147191A (ja) 2012-08-02
KR101988815B1 (ko) 2019-06-12
CN107071432A (zh) 2017-08-18
BR112013017308B1 (pt) 2022-05-10
CA2820180C (en) 2018-07-17
KR20180089528A (ko) 2018-08-08
US20130315493A1 (en) 2013-11-28
SG191867A1 (en) 2013-08-30
EP2665263A4 (en) 2015-07-29
KR20190114012A (ko) 2019-10-08
MY163985A (en) 2017-11-15
KR102028853B1 (ko) 2019-10-04
KR20180132992A (ko) 2018-12-12
BR112013017308A2 (pt) 2016-10-04
US20210306674A1 (en) 2021-09-30
KR101988814B1 (ko) 2019-06-12
EP4064705A1 (en) 2022-09-28
AU2012206186A1 (en) 2013-06-27
JP5850214B2 (ja) 2016-02-03
KR101882537B1 (ko) 2018-07-26
KR102116621B1 (ko) 2020-05-29
US20130329783A1 (en) 2013-12-12
CA2820180A1 (en) 2012-07-19
US20180152734A1 (en) 2018-05-31
CO6721060A2 (es) 2013-07-31
CN106851291A (zh) 2017-06-13
AU2012206186A9 (en) 2015-11-12
RU2013130743A (ru) 2015-01-10
KR20200091463A (ko) 2020-07-30
RU2578164C2 (ru) 2016-03-20
KR20130139323A (ko) 2013-12-20
CN107071431A (zh) 2017-08-18
MY191951A (en) 2022-07-20
MX2013007843A (es) 2013-09-06
US20200021854A1 (en) 2020-01-16
EP2665263B1 (en) 2022-04-20
AU2012206186B2 (en) 2015-11-19
SG10201605708XA (en) 2016-08-30
CN110278441B (zh) 2021-10-08
KR20180015273A (ko) 2018-02-12
US20160134897A1 (en) 2016-05-12
KR101928044B1 (ko) 2018-12-12
US20160134898A1 (en) 2016-05-12
CN107071432B (zh) 2021-01-08
CN110278441A (zh) 2019-09-24
US9894387B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
KR101882537B1 (ko) 화상 처리 장치 및 방법
JP6332502B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
AU2019210569B2 (en) Image processing apparatus and method
JP6299901B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6115619B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6115620B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5850272B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
AU2015201422B2 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2019101000741; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20190304

Effective date: 20200128

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)