KR101697056B1 - 화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체 - Google Patents

화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101697056B1
KR101697056B1 KR1020167018256A KR20167018256A KR101697056B1 KR 101697056 B1 KR101697056 B1 KR 101697056B1 KR 1020167018256 A KR1020167018256 A KR 1020167018256A KR 20167018256 A KR20167018256 A KR 20167018256A KR 101697056 B1 KR101697056 B1 KR 101697056B1
Authority
KR
South Korea
Prior art keywords
pixel
unit
prediction
prediction mode
intra
Prior art date
Application number
KR1020167018256A
Other languages
English (en)
Other versions
KR20160086419A (ko
Inventor
가즈시 사또
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160086419A publication Critical patent/KR20160086419A/ko
Application granted granted Critical
Publication of KR101697056B1 publication Critical patent/KR101697056B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

본 발명은 인트라 예측에 있어서의 부호화 효율을 향상시킬 수 있도록 하는 화상 처리 장치 및 방법에 관한 것이다. 최적 인트라 예측 모드가 모드 0인 경우, 대상 블록의 예측에 사용되는 인접 화소는 화소 A0, A1, A2, A3으로 된다. 이들 화소와 6탭의 FIR 필터에 의해, 1/2 화소 정밀도의 화소 a－0.5, a＋0.5, …가 생성되고, 또한 선형 내삽에 의해 1/4 화소 정밀도의 화소 a－0.75, a－0.25, a＋0.25, a＋0.75가 생성된다. 그리고, 정수 화소와 생성된 소수 화소 정밀도의 위상차인 －0.75 내지 ＋0.75의 값을, 수평 방향의 시프트량의 후보로 하여, 최적의 시프트량이 결정된다. 본 발명은, 예를 들어 H.264/AVC 방식으로 부호화하는 화상 부호화 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체{VIDEO PROCESSING APPARATUS AND METHOD, COMPUTER READABLE RECORDING MEDIUM}
본 발명은 화상 처리 장치 및 방법에 관한 것으로, 특히 인트라 예측에 있어서의 부호화 효율을 향상시키도록 한 화상 처리 장치 및 방법에 관한 것이다.
최근, 화상 정보를 디지털로서 취급하고, 그때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 부호화 방식을 채용하여 화상을 압축 부호하는 장치가 보급되고 있다. 이 부호화 방식에는, 예를 들어 MPEG(Moving Picture Experts Group) 등이 있다.
특히, MPEG2(ISO/IEC 13818-2)는 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 양쪽 및 표준 해상도 화상 및 고정세 화상을 망라하는 표준이다. 예를 들어, MPEG2는 프로페셔널 용도 및 소비자 용도의 광범위한 어플리케이션에 현재 널리 사용되고 있다. MPEG2 압축 방식을 사용함으로써, 예를 들어 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8Mbps의 부호량(비트 레이트)이 할당된다. 또한, MPEG2 압축 방식을 사용함으로써, 예를 들어 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22Mbps의 부호량(비트 레이트)이 할당된다. 이에 의해, 높은 압축률과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축률의 부호화 방식에는 대응하고 있지 않았다. 휴대 단말의 보급에 의해, 금후 그와 같은 부호화 방식의 요구는 높아질 것이라 생각되고, 이에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC14496-2로서 그 규격이 국제 표준에 승인되었다.
또한, 최근, 당초 텔레비전 회의용 화상 부호화를 목적으로 하여, H.26L(ITU-T Q6/16 VCEG)이라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4 등의 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 기초로, H.26L에서는 서포트되지 않는 기능도 도입하여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해지고 있다. 표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG-4 Part10(Advanced Video Coding, 이하 H.264/AVC라고 기재함)이라고 하는 국제 표준으로 되어 있다.
또한, 그 확장으로서, RGB나 4:2:2, 4:4:4 등의, 업무용에 필요한 부호화 툴이나, MPEG-2에서 규정되어 있던 8x8DCT나 양자화 매트릭스도 포함한 FRExt(Fidelity Range Extension)의 표준화가 2005년 2월에 완료되어 있다. 이에 의해, H.264/AVC를 사용하여, 영화에 포함되는 필름 노이즈도 양호하게 표현하는 것이 가능한 부호화 방식으로 되고, Blu-Ray Disc(상표) 등의 폭넓은 어플리케이션에 사용되는 단계로 되었다.
그러나, 최근, 하이비전 화상의 4배인 4000×2000 화소 정도의 화상을 압축하고자 하는 등의 고압축률 부호화에 대한 요구가 한층 높아지고 있다. 혹은, 인터넷과 같은, 한정된 전송 용량의 환경에 있어서, 하이비전 화상을 송신하고자 하는 등의, 고압축률 부호화에 대한 요구가 한층 높아지고 있다. 이로 인해, 앞서 서술한 ITU－T 산하의 VCEG(＝Video Coding Expert Group)에 있어서, 부호화 효율의 개선에 관한 검토가 계속해서 행해지고 있다.
예를 들어, MPEG2 방식에 있어서는, 선형 내삽 처리에 의해 1/2 화소 정밀도의 움직임 예측ㆍ보상 처리가 행해지고 있다. 한편, H.264/AVC 방식에 있어서는, 6탭의 FIR(Finite Impulse Response Filter) 필터를 사용한 1/4 화소 정밀도의 예측ㆍ보상 처리가 행해지고 있다.
이 1/4 화소 정밀도의 예측ㆍ보상 처리에 대해, 최근, H.264/AVC 방식의 효율을 더욱 향상시키고자 하는 검토가 행해지고 있다. 이로 인한 부호화 방식의 하나로서, 비특허 문헌 1에 있어서는, 1/8 화소 정밀도의 움직임 예측이 제안되어 있다.
즉, 비특허 문헌 1에 있어서, 1/2 화소 정밀도의 보간 처리는 필터 [－3, 12, －39, 158, 158, －39, 12, －3]/256에 의해 행해진다. 또한, 1/4 화소 정밀도의 보간 처리는 필터 [－3, 12, －37, 229, 71, －21, 6, －1]/256에 의해 행해지고, 1/8 화소 정밀도의 보간 처리는 선형 보간에 의해 행해진다.
이와 같이, 보다 높은 화소 정밀도의 보간 처리를 사용한 움직임 예측을 행함으로써, 특히 해상도가 높은 텍스쳐를 갖고, 비교적 느린 움직임의 시퀀스에 있어서는, 예측 정밀도를 향상시켜, 부호화 효율의 향상을 실현할 수 있다.
그런데, H.264/AVC 방식이, 종래의 MPEG2 방식 등에 비해 높은 부호화 효율을 실현하는 요인의 하나로서, 다음에 설명하는 인트라 예측 방식의 채용을 들 수 있다.
H.264/AVC 방식에 있어서, 휘도 신호에 대해서는, 9종류의 4×4 화소 및 8×8 화소의 블록 단위 및 4종류의 16×16 화소의 매크로 블록 단위의 인트라 예측 모드가 정해져 있다. 색차 신호에 대해서는, 4종류의 8×8 화소의 블록 단위의 인트라 예측 모드가 정해져 있다. 색차 신호의 인트라 예측 모드는 휘도 신호의 인트라 예측 모드와 독립으로 설정이 가능하다. 또한, 예측 모드의 종류는 도 1의 번호 0, 1, 3 내지 8로 나타내는 방향에 대응하고 있다. 예측 모드 2는 평균값 예측이다.
이와 같은 인트라 예측 방식이 채용됨으로써, 예측 정밀도의 향상이 실현되고 있다. 그러나, H.264/AVC 방식에 있어서는, 도 1의 방향으로 나타낸 바와 같이, 22.5° 단위에서의 인트라 예측밖에 행해지지 않는다. 따라서, 엣지의 기울기가, 그 이외의 각도인 경우, 부호화 효율의 향상이 제한되어 버린다.
따라서, 새로운 부호화 효율의 개선을 위해, 비특허 문헌 2에 있어서는, 22.5°의 단위보다도 미세한 각도로 예측을 행하는 제안이 이루어져 있다.
"Motion compensated prediction with 1/8-pel displacement vector resolution", VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 23-27 Oct 2006 Virginie Drugeon, Thomas Wedi, and Torsten Palfner, "High Precision Edge Prediction for Intra Coding", 2008
그러나, H.264/AVC 방식의 인트라 예측에서는, 예측에, 부호화 대상이 되는 블록의 소정의 인접 화소가 사용되는 것에 비해, 비특허 문헌 2에 기재된 제안에서는, 부호화 대상이 되는 블록의 인접 화소 이외의 화소도 예측에 사용해야만 한다.
따라서, 비특허 문헌 2에 기재된 제안에서는, 22.5°의 단위보다도 미세한 각도로 예측을 행하였다고 해도, 메모리 액세스 횟수나 처리가 증대되어 버린다.
본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 메모리 액세스 횟수나 처리를 증대시키는 일 없이, 인트라 예측에 있어서의 부호화 효율을 더욱 향상시키는 것이다.
본 발명의 제1 측면의 화상 처리 장치는 화상 데이터에 대해 인트라 예측의 처리 대상이 되는 인트라 예측 블록에 대해, 인트라 예측의 예측 모드를 결정하는 모드 결정 수단과, 상기 모드 결정 수단에 의해 결정된 상기 예측 모드에 따른 시프트 방향 및 후보가 되는 시프트량에 따라, 상기 인트라 예측 블록에 소정의 위치 관계로 인접하는 인접 화소의 위상을 시프트시키는 위상 시프트 수단과, 상기 인접 화소 및 상기 위상 시프트 수단에 의해 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인접 화소에 대해, 상기 위상의 최적 시프트량을 결정하는 시프트량 결정 수단과, 상기 시프트량 결정 수단에 의해 결정된 상기 최적 시프트량에 따라 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인트라 예측 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비한다.
상기 인트라 예측 블록의 화상과 상기 예측 화상 생성 수단에 의해 생성된 상기 예측 화상의 차분 정보를 부호화하여 부호화 스트림을 생성하는 부호화 수단과, 상기 시프트량 결정 수단에 의해 결정된 상기 최적 시프트량을 나타내는 시프트량 정보와, 상기 모드 결정 수단에 의해 결정된 상기 예측 모드를 나타내는 예측 모드 정보를, 상기 부호화 수단에 의해 생성된 부호화 스트림과 함께 전송하는 전송 수단을 더 구비할 수 있다.
상기 부호화 수단은 상기 시프트량 정보로서, 상기 인트라 예측 블록에 대해 결정된 상기 최적 시프트량과 MostProbableMode를 부여하는 블록에 대해 결정된 최적 시프트량의 차분을 나타내는 차분 정보를 부호화하고, 상기 전송 수단은 상기 부호화 수단에 의해 생성된 부호화 스트림과 상기 차분 정보를 전송할 수 있다.
상기 위상 시프트 수단은 상기 모드 결정 수단에 의해 결정된 상기 예측 모드가, DC prediction 모드인 경우, 상기 위상의 시프트를 금지할 수 있다.
상기 위상 시프트 수단은 상기 모드 결정 수단에 의해 결정된 상기 예측 모드가, Vertical prediction 모드, Diag_Down_Left prediction 모드, 또는 Vertical_Left prediction 모드인 경우, 상기 인접 화소 중, 상부 인접 화소에 대해, Horizontal 방향의 위상을 상기 후보가 되는 시프트량에 따라 시프트시키고, 상기 인접 화소 중, 좌측부 인접 화소에 대해, Vertical 방향의 위상의 시프트를 금지할 수 있다.
상기 위상 시프트 수단은 상기 모드 결정 수단에 의해 결정된 상기 예측 모드가, Horizontal prediction 모드, 또는 Horizontal_Up prediction 모드인 경우, 상기 인접 화소 중, 좌측부 인접 화소에 대해, Vertical 방향의 위상을 상기 후보가 되는 시프트량에 따라 시프트시키고, 상기 인접 화소 중, 상부 인접 화소에 대해, Horizontal 방향의 위상의 시프트를 금지할 수 있다.
상기 모드 결정 수단은 상기 인트라 예측의 모든 예측 모드를 결정하고, 상기 위상 시프트 수단은 상기 모드 결정 수단에 의해 결정된 상기 모든 예측 모드에 따른 시프트 방향 및 후보가 되는 시프트량에 따라, 상기 인접 화소의 위상을 시프트시키고, 상기 시프트량 결정 수단은 상기 인접 화소 및 상기 위상 시프트 수단에 의해 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인접 화소에 대해, 상기 위상의 최적 시프트량과 최적 예측 모드를 결정할 수 있다.
상기 화상의 인터 움직임 예측 블록에 대해, 인터 움직임 예측을 행하는 움직임 예측 보상 수단을 더 구비하고, 상기 위상 시프트 수단은 상기 움직임 예측 보상 수단에 의해 소수 화소 정밀도 예측 시에 사용되는 필터를 사용하여, 상기 인접 화소의 위상을 시프트시킬 수 있다.
본 발명의 제1 측면의 화상 처리 방법은, 화상 처리 장치가, 화상 데이터에 대해 인트라 예측의 처리 대상이 되는 인트라 예측 블록에 대해, 인트라 예측의 예측 모드를 결정하고, 결정된 상기 예측 모드에 따른 시프트 방향 및 후보가 되는 시프트량에 따라, 상기 인트라 예측 블록에 소정의 위치 관계로 인접하는 인접 화소의 위상을 시프트시키고, 상기 인접 화소 및 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인접 화소에 대해, 상기 위상의 최적 시프트량을 결정하고, 결정된 상기 최적 시프트량에 따라 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인트라 예측 블록의 예측 화상을 생성하는 스텝을 포함한다.
본 발명의 제2 측면의 화상 처리 장치는 인트라 예측의 처리 대상이 되는 인트라 예측 블록에 대해 인트라 예측의 예측 모드를 나타내는 예측 모드 정보와, 상기 인트라 예측 블록에 소정의 위치 관계로 인접하는 인접 화소를 상기 예측 모드 정보가 나타내는 예측 모드에 따라 위상을 시프트시키는 시프트량을 나타내는 시프트량 정보를 수취하는 수취 수단과, 상기 수취 수단에 의해 수취된 상기 예측 모드에 따른 시프트 방향 및 시프트량에 따라, 상기 인접 화소의 위상을 시프트시키는 위상 시프트 수단과, 상기 위상 시프트 수단에 의해 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인트라 예측 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비한다.
상기 수취 수단은 상기 시프트량 정보로서, 상기 인트라 예측 블록에 대한 시프트량과, MostProbableMode를 부여하는 블록에 대한 시프트량의 차분을 나타내는 차분 정보를 수취할 수 있다.
상기 예측 화상 생성 수단에 의해 생성된 예측 화상을 사용하여, 상기 인트라 예측 블록을 복호하는 복호 수단을 더 구비할 수 있다.
상기 복호 수단은 상기 수취 수단에 의해 수취된 예측 모드 정보와 상기 시프트량 정보를 복호할 수 있다.
상기 위상 시프트 수단은 상기 복호 수단에 의해 복호된 상기 예측 모드가, DC prediction 모드인 경우, 상기 인접 화소의 위상의 시프트를 금지할 수 있다.
상기 위상 시프트 수단은 상기 복호 수단에 의해 복호된 상기 예측 모드가, Vertical prediction 모드, Diag_Down_Left prediction 모드, 또는 Vertical_Left prediction 모드인 경우, 상기 인접 화소 중, 상부 인접 화소에 대해, Horizontal 방향의 위상을, 상기 복호 수단에 의해 복호된 상기 시프트량에 따라 시프트시키고, 상기 인접 화소 중, 좌측부 인접 화소에 대해, Vertical 방향의 위상의 시프트를 금지할 수 있다.
상기 위상 시프트 수단은 상기 복호 수단에 의해 복호된 상기 예측 모드가, Horizontal prediction 모드, 또는 Horizontal_Up prediction 모드인 경우, 상기 인접 화소 중, 좌측부 인접 화소에 대해, Vertical 방향의 위상을, 상기 복호 수단에 의해 복호된 상기 시프트량에 따라 시프트시키고, 상기 인접 화소 중, 상부 인접 화소에 대해, Horizontal 방향의 위상의 시프트를 금지할 수 있다.
부호화되어 있는 인터 움직임 예측 블록과 함께 상기 복호 수단에 의해 복호되는 움직임 벡터를 사용하여, 인터 움직임 예측을 행하는 움직임 예측 보상 수단을 더 구비하고, 상기 위상 시프트 수단은 상기 움직임 예측 보상 수단에 의해 소수 화소 정밀도 예측 시에 사용되는 필터를 사용하여, 상기 인접 화소의 위상을 시프트시킬 수 있다.
본 발명의 제2 측면의 화상 처리 방법은 화상 처리 장치가, 인트라 예측의 처리 대상이 되는 인트라 예측 블록에 대해 인트라 예측의 예측 모드를 나타내는 예측 모드 정보와, 상기 인트라 예측 블록에 소정의 위치 관계로 인접하는 인접 화소를 상기 예측 모드 정보가 나타내는 예측 모드에 따라 위상을 시프트시키는 시프트량을 나타내는 시프트량 정보를 수취하고, 수취된 상기 예측 모드에 따른 시프트 방향 및 시프트량에 따라, 상기 인접 화소의 위상을 시프트시키고, 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인트라 예측 블록의 예측 화상을 생성하는 스텝을 포함한다.
본 발명의 제1 측면에 있어서는, 화상 데이터에 대해 인트라 예측의 처리 대상이 되는 인트라 예측 블록에 대해, 인트라 예측의 예측 모드가 결정되고, 결정된 상기 예측 모드에 따른 시프트 방향 및 후보가 되는 시프트량에 따라, 상기 인트라 예측 블록에 소정의 위치 관계로 인접하는 인접 화소의 위상이 시프트된다. 그리고, 상기 인접 화소 및 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인접 화소에 대해, 상기 위상의 최적 시프트량이 결정되고, 결정된 상기 최적 시프트량에 따라 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인트라 예측 블록의 예측 화상이 생성된다.
본 발명의 제2 측면에 있어서는, 인트라 예측의 처리 대상이 되는 인트라 예측 블록에 대해 인트라 예측의 예측 모드를 나타내는 예측 모드 정보와, 상기 인트라 예측 블록에 소정의 위치 관계로 인접하는 인접 화소를 상기 예측 모드 정보가 나타내는 예측 모드에 따라 위상을 시프트시키는 시프트량을 나타내는 시프트량 정보가 수취되고, 수취된 상기 예측 모드에 따른 시프트 방향 및 시프트량에 따라, 상기 인접 화소의 위상이 시프트된다. 그리고, 상기 위상이 시프트된 인접 화소를 사용하여, 상기 인트라 예측 블록의 예측 화상이 생성된다.
또한, 상술한 화상 처리 장치의 각각은 독립된 장치라도 좋고, 1개의 화상 부호화 장치 또는 화상 복호 장치를 구성하고 있는 내부 블록이라도 좋다.
본 발명의 제1 측면에 따르면, 인트라 예측에 의해 예측 화상을 생성할 수 있다. 또한, 본 발명의 제1 측면에 따르면, 메모리 액세스 횟수나 처리를 증대시키는 일 없이, 부호화 효율을 향상시킬 수 있다.
본 발명의 제2 측면에 따르면, 인트라 예측에 의해 예측 화상을 생성할 수 있다. 또한, 본 발명의 제2 측면에 따르면, 메모리 액세스 횟수나 처리를 증대시키는 일 없이, 부호화 효율을 향상시킬 수 있다.
도 1은 4×4 화소의 인트라 예측의 방향을 설명하는 도면이다.
도 2는 본 발명을 적용한 화상 부호화 장치의 일 실시 형태의 구성을 도시하는 블록도이다.
도 3은 1/4 화소 정밀도의 움직임 예측ㆍ보상 처리를 설명하는 도면이다.
도 4는 멀티 참조 프레임의 움직임 예측ㆍ보상 방식에 대해 설명하는 도면이다.
도 5는 움직임 벡터 정보의 생성 방법의 예를 설명하는 도면이다.
도 6은 인트라 예측부 및 인접 화소 내삽부의 구성예를 도시하는 블록도이다.
도 7은 도 2의 화상 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 8은 도 7의 스텝 S21의 예측 처리를 설명하는 흐름도이다.
도 9는 16×16 화소의 인트라 예측 모드의 경우의 처리 순서를 설명하는 도면이다.
도 10은 휘도 신호의 4×4 화소의 인트라 예측 모드의 종류를 도시하는 도면이다.
도 11은 휘도 신호의 4×4 화소의 인트라 예측 모드의 종류를 도시하는 도면이다.
도 12는 4×4 화소의 인트라 예측의 방향을 설명하는 도면이다.
도 13은 4×4 화소의 인트라 예측을 설명하는 도면이다.
도 14는 휘도 신호의 4×4 화소의 인트라 예측 모드의 부호화를 설명하는 도면이다.
도 15는 휘도 신호의 16×16 화소의 인트라 예측 모드의 종류를 도시하는 도면이다.
도 16은 휘도 신호의 16×16 화소의 인트라 예측 모드의 종류를 도시하는 도면이다.
도 17은 16×16 화소의 인트라 예측을 설명하는 도면이다.
도 18은 소수 화소 정밀도의 인트라 예측을 실현하기 위한 동작을 설명하는 도면이다.
도 19는 소수 화소 정밀도의 인트라 예측의 효과예를 설명하는 도면이다.
도 20은 도 8의 스텝 S31의 인트라 예측 처리를 설명하는 흐름도이다.
도 21은 도 20의 스텝 S45의 인접 화소 내삽 처리를 설명하는 흐름도이다.
도 22는 도 8의 스텝 S32의 인터 움직임 예측 처리를 설명하는 흐름도이다.
도 23은 인트라 예측부 및 인접 화소 내삽부의 다른 구성예를 도시하는 블록도이다.
도 24는 도 8의 스텝 S31의 인트라 예측 처리의 다른 예를 설명하는 흐름도이다.
도 25는 도 24의 스텝 S101의 인접 화소 내삽 처리를 설명하는 흐름도이다.
도 26은 본 발명을 적용한 화상 복호 장치의 일 실시 형태의 구성을 도시하는 블록도이다.
도 27은 인트라 예측부 및 인접 화소 내삽부의 다른 구성예를 도시하는 블록도이다.
도 28은 도 26의 화상 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 29는 도 28의 스텝 S138의 예측 처리를 설명하는 흐름도이다.
도 30은 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대해 설명한다.
[화상 부호화 장치의 구성예]
도 2는 본 발명을 적용한 화상 처리 장치로서의 화상 부호화 장치의 일 실시 형태의 구성을 나타내고 있다.
이 화상 부호화 장치(51)는, 예를 들어 H.264 및 MPEG-4 Part10(Advanced Video Coding)(이하, H.264/AVC라고 기재함) 방식으로 화상을 압축 부호화한다.
도 2의 예에 있어서, 화상 부호화 장치(51)는 A/D 변환부(61), 화면 재배열 버퍼(62), 연산부(63), 직교 변환부(64), 양자화부(65), 가역 부호화부(66), 축적 버퍼(67), 역양자화부(68), 역직교 변환부(69), 연산부(70), 디블록 필터(71), 프레임 메모리(72), 스위치(73), 인트라 예측부(74), 인접 화소 내삽부(75), 움직임 예측ㆍ보상부(76), 예측 화상 선택부(77) 및 레이트 제어부(78)에 의해 구성되어 있다.
A/D 변환부(61)는 입력된 화상을 A/D 변환하고, 화면 재배열 버퍼(62)에 출력하여 기억시킨다. 화면 재배열 버퍼(62)는 기억한 표시의 순서의 프레임의 화상을, GOP(Group of Picture)에 따라, 부호화를 위한 프레임의 순서대로 재배열한다.
연산부(63)는 화면 재배열 버퍼(62)로부터 판독된 화상으로부터, 예측 화상 선택부(77)에 의해 선택된 인트라 예측부(74)로부터의 예측 화상 또는 움직임 예측ㆍ보상부(76)로부터의 예측 화상을 감산하여, 그 차분 정보를 직교 변환부(64)에 출력한다. 직교 변환부(64)는 연산부(63)로부터의 차분 정보에 대해, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시하여, 그 변환 계수를 출력한다. 양자화부(65)는 직교 변환부(64)가 출력하는 변환 계수를 양자화한다.
양자화부(65)의 출력이 되는, 양자화된 변환 계수는 가역 부호화부(66)에 입력되고, 여기서 가변장 부호화, 산술 부호화 등의 가역 부호화가 실시되어, 압축된다.
가역 부호화부(66)는 인트라 예측을 나타내는 정보 등을 인트라 예측부(74)로부터 취득하고, 인터 예측 모드를 나타내는 정보 등을 움직임 예측ㆍ보상부(76)로부터 취득한다. 또한, 인트라 예측을 나타내는 정보는 이하, 인트라 예측 모드 정보라고도 칭한다. 또한, 인터 예측을 나타내는 정보 모드를 나타내는 정보는 이하, 인터 예측 모드 정보라고도 칭한다.
가역 부호화부(66)는 양자화된 변환 계수를 부호화하는 동시에, 인트라 예측을 나타내는 정보나 인터 예측 모드를 나타내는 정보 등을 부호화하여, 압축 화상에 있어서의 헤더 정보의 일부로 한다. 가역 부호화부(66)는 부호화한 데이터를 축적 버퍼(67)에 공급하여 축적시킨다.
예를 들어, 가역 부호화부(66)에 있어서는, 가변장 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행해진다. 가변장 부호화로서는, H.264/AVC 방식으로 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.
축적 버퍼(67)는 가역 부호화부(66)로부터 공급된 데이터를, H.264/AVC 방식으로 부호화된 압축 화상으로서, 예를 들어 후단의 도시하지 않은 기록 장치나 전송로 등에 출력한다.
또한, 양자화부(65)로부터 출력된, 양자화된 변환 계수는 역양자화부(68)에도 입력되어, 역양자화된 후, 또한 역직교 변환부(69)에 있어서 역직교 변환된다. 역직교 변환된 출력은 연산부(70)에 의해 예측 화상 선택부(77)로부터 공급되는 예측 화상과 가산되어, 국부적으로 복호된 화상으로 된다. 디블록 필터(71)는 복호된 화상의 블록 변형을 제거한 후, 프레임 메모리(72)에 공급하여 축적시킨다. 프레임 메모리(72)에는 디블록 필터(71)에 의해 디블록 필터 처리되기 전의 화상도 공급되어 축적된다.
스위치(73)는 프레임 메모리(72)에 축적된 참조 화상을 움직임 예측ㆍ보상부(76) 또는 인트라 예측부(74)에 출력한다.
이 화상 부호화 장치(51)에 있어서는, 예를 들어 화면 재배열 버퍼(62)로부터의 I 픽쳐, B 픽쳐 및 P 픽쳐가, 인트라 예측(인트라 처리라고도 칭함)하는 화상으로서, 인트라 예측부(74)에 공급된다. 또한, 화면 재배열 버퍼(62)로부터 판독된 B 픽쳐 및 P 픽쳐가, 인터 예측(인터 처리라고도 칭함)하는 화상으로서, 움직임 예측ㆍ보상부(76)에 공급된다.
인트라 예측부(74)는 화면 재배열 버퍼(62)로부터 판독된 인트라 예측하는 화상과 프레임 메모리(72)로부터 공급된 참조 화상에 기초하여, 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다.
인트라 예측부(74)는 예측 화상을 생성한 인트라 예측 모드에 대해 비용 함수값을 산출하고, 산출한 비용 함수값이 최소값을 부여하는 인트라 예측 모드를, 최적 인트라 예측 모드로서 선택한다. 인트라 예측부(74)는 인트라 예측하는 대상 블록의 인접 화소와, 최적 인트라 예측 모드의 정보를, 인접 화소 내삽부(75)에 공급한다.
인접 화소 내삽부(75)는 인트라 예측부(74)로부터의 최적 인트라 예측 모드에 따른 시프트 방향으로, 후보가 되는 시프트량으로 인접 화소의 위상을 시프트시킨다. 실제로는, 인접 화소 내삽부(75)는 최적 인트라 예측 모드에 따른 시프트 방향에 대해, 인접 화소에 대해, 6탭의 FIR 필터를 걸고, 선형 내삽함으로써, 인접 화소의 위상을, 소수 화소 정밀도로 시프트시킨다. 따라서, 이하, 설명의 편의상, 6탭의 FIR 필터 및 선형 내삽에 의해 위상이 시프트된 인접 화소를, 내삽된 인접 화소 또는 위상이 시프트된 인접 화소로 적절하게 설명하지만, 그들은 동의이다.
인접 화소 내삽부(75)는 위상이 시프트된 인접 화소를, 인트라 예측부(74)에 공급한다.
인트라 예측부(74)는 인접 화상 버퍼(81)로부터의 인접 화소의 화소값 및 인접 화소 내삽부(75)에 의해 위상이 시프트된 인접 화소의 화소값을 사용하여, 인접 화소에 대해 위상의 최적 시프트량을 결정한다. 또한, 인트라 예측부(74)는 결정한 최적 시프트량으로 위상이 시프트된 인접 화소의 화소값을 사용하여, 대상 블록의 예측 화상을 생성하고, 생성된 예측 화상과, 대응하는 최적 인트라 예측 모드에 대해 산출된 비용 함수값을 예측 화상 선택부(77)에 공급한다.
인트라 예측부(74)는 예측 화상 선택부(77)에 의해 최적 인트라 예측 모드에서 생성된 예측 화상이 선택된 경우, 최적 인트라 예측 모드를 나타내는 정보와 최적 시프트량의 정보를, 가역 부호화부(66)에 공급한다. 가역 부호화부(66)는 인트라 예측부(74)로부터 정보가 보내져 온 경우에는, 이 정보를 부호화하여, 압축 화상에 있어서의 헤더 정보의 일부로 한다.
움직임 예측ㆍ보상부(76)는 후보가 되는 모든 인터 예측 모드의 움직임 예측ㆍ보상 처리를 행한다. 즉, 움직임 예측ㆍ보상부(76)에는 화면 재배열 버퍼(62)로부터 판독된 인터 처리하는 화상과, 스위치(73)를 통해 프레임 메모리(72)에 참조 화상이 공급된다. 움직임 예측ㆍ보상부(76)는 인터 처리하는 화상과 참조 화상에 기초하여, 후보가 되는 모든 인터 예측 모드의 움직임 벡터를 검출하고, 움직임 벡터에 기초하여 참조 화상에 보상 처리를 실시하여, 예측 화상을 생성한다.
또한, 움직임 예측ㆍ보상부(76)는 후보가 되는 모든 인터 예측 모드에 대해 비용 함수값을 산출한다. 움직임 예측ㆍ보상부(76)는 산출한 비용 함수값 중, 최소값을 부여하는 예측 모드를, 최적 인터 예측 모드로서 결정한다.
움직임 예측ㆍ보상부(76)는 최적 인터 예측 모드에서 생성된 예측 화상과 그 비용 함수값을 예측 화상 선택부(77)에 공급한다. 움직임 예측ㆍ보상부(76)는 예측 화상 선택부(77)에 의해 최적 인터 예측 모드에서 생성된 예측 화상이 선택된 경우, 최적 인터 예측 모드를 나타내는 정보(인터 예측 모드 정보)를 가역 부호화부(66)에 출력한다.
또한, 필요하면, 움직임 벡터 정보, 플래그 정보, 참조 프레임 정보 등도 가역 부호화부(66)에 출력된다. 가역 부호화부(66)는 움직임 예측ㆍ보상부(76)로부터의 정보를 마찬가지로 가변장 부호화, 산술 부호화 등의 가역 부호화 처리하여, 압축 화상의 헤더부에 삽입한다.
예측 화상 선택부(77)는 인트라 예측부(74) 또는 움직임 예측ㆍ보상부(76)로부터 출력된 각 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드로부터 최적 예측 모드를 결정한다. 그리고, 예측 화상 선택부(77)는 결정된 최적 예측 모드의 예측 화상을 선택하여 연산부(63, 70)에 공급한다. 이때, 예측 화상 선택부(77)는 예측 화상의 선택 정보를 인트라 예측부(74) 또는 움직임 예측ㆍ보상부(76)에 공급한다.
레이트 제어부(78)는 축적 버퍼(67)에 축적된 압축 화상에 기초하여, 오버플로우 혹은 언더플로우가 발생하지 않도록, 양자화부(65)의 양자화 동작의 레이트를 제어한다.
[H.264/AVC 방식의 설명]
도 3은 H.264/AVC 방식에 있어서의 움직임 예측ㆍ보상의 블록 사이즈의 예를 나타내는 도면이다. H.264/AVC 방식에 있어서는, 블록 사이즈를 가변으로 하여, 움직임 예측ㆍ보상이 행해진다.
도 3의 상단에는 좌측으로부터, 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 파티션으로 분할된 16×16 화소로 구성되는 매크로 블록이 순서대로 도시되어 있다. 또한, 도 3의 하단에는 좌측으로부터, 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 서브 파티션으로 분할된 8×8 화소의 파티션이 순서대로 도시되어 있다.
즉, H.264/AVC 방식에 있어서는, 1개의 매크로 블록을, 16×16 화소, 16×8 화소, 8×16 화소, 혹은 8×8 화소 중 어느 하나의 파티션으로 분할하고, 각각 독립된 움직임 벡터 정보를 갖는 것이 가능하다. 또한, 8×8 화소의 파티션에 관해서는, 8×8 화소, 8×4 화소, 4×8 화소, 혹은 4×4 화소 중 어느 하나의 서브 파티션으로 분할하여, 각각 독립된 움직임 벡터 정보를 갖는 것이 가능하다.
도 4는 H.264/AVC 방식에 있어서의 1/4 화소 정밀도의 예측ㆍ보상 처리를 설명하는 도면이다. H.264/AVC 방식에 있어서는, 6탭의 FIR(Finite Impulse Response Filter) 필터를 사용한 1/4 화소 정밀도의 예측ㆍ보상 처리가 행해지고 있다.
도 4의 예에 있어서, 위치 A는 정수 정밀도 화소의 위치, 위치 b, c, d는 1/2 화소 정밀도의 위치, 위치 e1, e2, e3은 1/4 화소 정밀도의 위치를 나타내고 있다. 우선, 이하에 있어서는, Clip()을 다음 수학식 1과 같이 정의한다.
Figure 112016065755795-pat00001
또한, 입력 화상이 8비트 정밀도인 경우, max_pix의 값은 255로 된다.
위치 b 및 d에 있어서의 화소값은 6탭의 FIR 필터를 사용하여, 다음 수학식 2와 같이 생성된다.
Figure 112016065755795-pat00002
위치 c에 있어서의 화소값은 수평 방향 및 수직 방향으로 6탭의 FIR 필터를 적용하여, 다음 수학식 3과 같이 생성된다.
Figure 112016065755795-pat00003
또한, Clip 처리는 수평 방향 및 수직 방향의 적화 처리의 양쪽을 행한 후, 마지막으로 한 번만 실행된다.
위치 e1 내지 e3은 다음 수학식 4와 같이 선형 내삽에 의해 생성된다.
Figure 112016065755795-pat00004
H.264/AVC 방식에 있어서는, 도 3 및 도 4를 참조하여 상술한 움직임 예측ㆍ보상 처리가 행해짐으로써, 방대한 움직임 벡터 정보가 생성되고, 이것을 그대로 부호화하는 것은 부호화 효율의 저하를 초래해 버린다. 이에 대해, H.264/AVC 방식에 있어서는, 도 5에 도시하는 방법에 의해, 움직임 벡터의 부호화 정보의 저감이 실현되어 있다.
도 5는 H.264/AVC 방식에 의한 움직임 벡터 정보의 생성 방법에 대해 설명하는 도면이다.
도 5의 예에 있어서, 앞으로 부호화되는 대상 블록(E)(예를 들어, 16×16 화소)과, 이미 부호화되었고, 대상 블록(E)에 인접하는 블록(A 내지 D)이 도시되어 있다.
즉, 블록(D)은 대상 블록(E)의 좌측 상부에 인접하고 있고, 블록(B)은 대상 블록(E) 상에 인접하고 있고, 블록(C)은 대상 블록(E)의 우측 상부에 인접하고 있고, 블록(A)은 대상 블록(E)의 좌측에 인접하고 있다. 또한, 블록(A 내지 D)이 구획되어 있지 않은 것은, 각각 도 2에서 상술한 16×16 화소 내지 4×4 화소 중 어느 하나의 구성의 블록인 것을 나타내고 있다.
예를 들어, X(＝A, B, C, D, E)에 대한 움직임 벡터 정보를, mvX로 나타낸다. 우선, 대상 블록(E)에 대한 예측 움직임 벡터 정보(pmvE)는 블록(A, B, C)에 관한 움직임 벡터 정보를 사용하여, 메디안 예측에 의해 다음 수학식 5와 같이 생성된다.
Figure 112016065755795-pat00005
블록(C)에 관한 움직임 벡터 정보가, 픽쳐 프레임의 단부이거나, 혹은 아직 부호화되어 있지 않은 것 등의 이유에 의해, 이용 불가능한(unavailable임) 경우가 있다. 이 경우에는, 블록(C)에 관한 움직임 벡터 정보는 블록(D)에 관한 움직임 벡터 정보로 대용된다.
대상 블록(E)에 대한 움직임 벡터 정보로서, 압축 화상의 헤더부에 부가되는 데이터(mvdE)는 pmvE를 사용하여, 다음 수학식 6과 같이 생성된다.
Figure 112016065755795-pat00006
또한, 실제로는 움직임 벡터 정보의 수평 방향, 수직 방향의 각각의 성분에 대해, 독립으로 처리가 행해진다.
이와 같이, 예측 움직임 벡터 정보를 생성하여, 인접하는 블록과의 상관에 의해 생성된 예측 움직임 벡터 정보와 움직임 벡터 정보의 차분인 데이터(mvdE)를, 움직임 벡터 정보로 하여, 압축 화상의 헤더부에 부가함으로써, 움직임 벡터 정보를 저감시킬 수 있다.
여기서, 도 4를 참조하여 상술한 H.264/AVC 방식에 있어서의 1/4 화소 정밀도의 예측ㆍ보상 처리는 움직임 예측ㆍ보상부에 있어서 실행되지만, 도 2의 화상 부호화 장치(51)에 있어서는, 1/4 화소 정밀도의 예측이 인트라 예측에 있어서도 행해진다. 이 소수 화소 정밀도의 인트라 예측은 다음에 설명하는 인트라 예측부(74) 및 인접 화소 내삽부(75)에 의해 실행된다.
[인트라 예측부 및 인접 화소 내삽부의 구성예]
도 6은 인트라 예측부 및 인접 화소 내삽부의 상세한 구성예를 도시하는 블록도이다.
도 6의 예의 경우, 인트라 예측부(74)는 인접 화상 버퍼(81), 최적 모드 결정부(82), 최적 시프트량 결정부(83) 및 예측 화상 생성부(84)에 의해 구성되어 있다.
인접 화소 내삽부(75)는 모드 판별부(91), 수평 방향 내삽부(92) 및 수직 방향 내삽부(93)에 의해 구성되어 있다.
인접 화상 버퍼(81)는 프레임 메모리(72)로부터의 인트라 예측의 대상 블록의 인접 화소를 축적한다. 도 6의 경우, 스위치(73)의 도시는 생략되어 있지만, 인접 화소는 프레임 메모리(72)로부터, 스위치(73)를 통해 인접 화상 버퍼(81)에 공급된다.
최적 모드 결정부(82)에는 화면 재배열 버퍼(62)로부터 판독된 인트라 예측하는 화상이 입력된다. 최적 모드 결정부(82)는 인트라 예측하는 대상 블록에 대응하는 인접 화소를 인접 화상 버퍼(81)로부터 판독한다.
최적 모드 결정부(82)는 인트라 예측하는 대상 블록의 화상과 대응하는 인접 화소를 사용하여, 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다. 최적 모드 결정부(82)는 예측 화상을 생성한 인트라 예측 모드에 대해 비용 함수값을 산출하고, 산출한 비용 함수값이 최소값을 부여하는 인트라 예측 모드를, 최적 인트라 예측 모드로서 결정한다. 결정된 예측 모드의 정보는 모드 판별부(91), 최적 시프트량 결정부(83) 및 예측 화상 생성부(84)에 공급된다. 또한, 예측 화상 생성부(84)에는 공급되는 예측 모드에 대응하는 비용 함수값도 공급된다.
최적 시프트량 결정부(83)에는 화면 재배열 버퍼(62)로부터 판독된 인트라 예측하는 화상과, 최적 모드 결정부(82)에 의해 최적이라고 결정된 예측 모드의 정보가 입력된다. 또한, 최적 시프트량 결정부(83)에는 최적 인트라 예측 모드에 따라, 수평 방향 내삽부(92) 및 수직 방향 내삽부(93)에 의해 선형 내삽되어, 위상이 시프트된 인접 화소가 입력된다. 최적 시프트량 결정부(83)는 인트라 예측하는 대상 블록에 대응하는 인접 화소를 인접 화상 버퍼(81)로부터 판독한다.
최적 시프트량 결정부(83)는 최적 모드 결정부(82)에 의해 결정된 예측 모드에 대해, 인트라 예측하는 대상 블록의 화상, 대응하는 인접 화소 및 대응하는 내삽된 인접 화소의 화소값을 사용하여 최적의 시프트량을 결정한다. 최적 시프트량 결정부(83)는, 예를 들어 예측 오차(잔차) 등을 산출하고, 산출한 예측 오차 중 작은 것을 최적의 시프트량으로서 결정한다. 최적 시프트량 결정부(83)에 의해 결정된 최적 시프트량의 정보는 예측 화상 생성부(84)에 공급된다.
예측 화상 생성부(84)에는 최적 모드 결정부(82)에 의해 결정된 예측 모드의 정보와 대응하는 비용 함수값 및 최적 시프트량 결정부(83)에 의해 결정된 최적 시프트량의 정보가 입력된다. 예측 화상 생성부(84)는 인트라 예측하는 대상 블록에 대응하는 인접 화소를 인접 화상 버퍼(81)로부터 판독하여, 예측 모드에 따른 위상 방향으로, 판독한 인접 화소를 최적 시프트량으로, 인접 화소의 위상을 시프트한다.
예측 화상 생성부(84)는 위상이 시프트된 인접 화소를 사용하여, 최적 모드 결정부(82)에 의해 결정된 최적 인트라 예측 모드에서 인트라 예측을 행하여, 대상 블록의 예측 화상을 생성한다. 예측 화상 생성부(84)는 생성된 예측 화상과, 대응하는 비용 함수값을 예측 화상 선택부(77)에 출력한다.
또한, 예측 화상 생성부(84)는 예측 화상 선택부(77)에 의해 최적 인트라 예측 모드에서 생성된 예측 화상이 선택된 경우, 최적 인트라 예측 모드를 나타내는 정보와 시프트량의 정보를, 가역 부호화부(66)에 공급한다.
모드 판별부(91)는 최적 모드 결정부(82)에 의해 결정된 예측 모드에 따른 제어 신호를, 수평 방향 내삽부(92) 및 수직 방향 내삽부(93)에 출력한다. 예를 들어, 내삽 처리의 ON을 나타내는 제어 신호가 예측 모드에 따라 출력된다.
수평 방향 내삽부(92) 및 수직 방향 내삽부(93)는 모드 판별부(91)로부터의 제어 신호에 따라, 인접 화상 버퍼(81)로부터 인접 화소를 각각 판독한다. 수평 방향 내삽부(92) 및 수직 방향 내삽부(93)는 판독한 인접 화소에 대해, 6탭의 FIR 필터 및 선형 내삽에 의해, 수평 방향 및 수직 방향으로, 위상을 각각 시프트한다. 수평 방향 내삽부(92) 및 수직 방향 내삽부(93)에 의해 내삽된 인접 화소의 정보는 최적 시프트량 결정부(83)에 공급된다.
[화상 부호화 장치의 부호화 처리의 설명]
다음에, 도 7의 흐름도를 참조하여, 도 2의 화상 부호화 장치(51)의 부호화 처리에 대해 설명한다.
스텝 S11에 있어서, A/D 변환부(61)는 입력된 화상을 A/D 변환한다. 스텝 S12에 있어서, 화면 재배열 버퍼(62)는 A/D 변환부(61)로부터 공급된 화상을 기억하여, 각 픽쳐의 표시하는 순서로부터 부호화하는 순서로의 재배열을 행한다.
스텝 S13에 있어서, 연산부(63)는 스텝 S12에서 재배열된 화상과 예측 화상의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우에는 움직임 예측ㆍ보상부(76)로부터, 인트라 예측하는 경우에는 인트라 예측부(74)로부터, 각각 예측 화상 선택부(77)를 통해 연산부(63)에 공급된다.
차분 데이터는 원래의 화상 데이터에 비해 데이터량이 작게 되어 있다. 따라서, 화상을 그대로 부호화하는 경우에 비해, 데이터량을 압축할 수 있다.
스텝 S14에 있어서, 직교 변환부(64)는 연산부(63)로부터 공급된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환이 행해져, 변환 계수가 출력된다. 스텝 S15에 있어서, 양자화부(65)는 변환 계수를 양자화한다. 이 양자화 시에는, 후술하는 스텝 S25의 처리에서 설명되는 바와 같이, 레이트가 제어된다.
이상과 같이 하여 양자화된 차분 정보는 다음과 같이 하여 국부적으로 복호된다. 즉, 스텝 S16에 있어서, 역양자화부(68)는 양자화부(65)에 의해 양자화된 변환 계수를 양자화부(65)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S17에 있어서, 역직교 변환부(69)는 역양자화부(68)에 의해 역양자화된 변환 계수를 직교 변환부(64)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 S18에 있어서, 연산부(70)는 예측 화상 선택부(77)를 통해 입력되는 예측 화상을 국부적으로 복호된 차분 정보에 가산하여, 국부적으로 복호된 화상[연산부(63)로의 입력에 대응하는 화상]을 생성한다. 스텝 S19에 있어서 디블록 필터(71)는 연산부(70)로부터 출력된 화상을 필터링한다. 이에 의해 블록 변형이 제거된다. 스텝 S20에 있어서 프레임 메모리(72)는 필터링된 화상을 기억한다. 또한, 프레임 메모리(72)에는 디블록 필터(71)에 의해 필터 처리되어 있지 않은 화상도 연산부(70)로부터 공급되어 기억된다.
스텝 S21에 있어서, 인트라 예측부(74) 및 움직임 예측ㆍ보상부(76)는 각각 화상의 예측 처리를 행한다. 즉, 스텝 S21에 있어서, 인트라 예측부(74)는 인트라 예측 모드의 인트라 예측 처리를 행한다. 움직임 예측ㆍ보상부(76)는 인터 예측 모드의 움직임 예측ㆍ보상 처리를 행한다.
스텝 S21에 있어서의 예측 처리의 상세는, 도 8을 참조하여 후술하지만, 이 처리에 의해, 후보가 되는 모든 예측 모드에서의 예측 처리가 각각 행해져, 후보가 되는 모든 예측 모드에서의 비용 함수값이 각각 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 최적 인트라 예측 모드가 선택되어, 최적 인트라 예측 모드의 인트라 예측에 의해 생성된 예측 화상과 그 비용 함수값이 예측 화상 선택부(77)에 공급된다.
구체적으로는, 이때, 인트라 예측부(74)는 6탭의 FIR 필터 및 선형 내삽에 의해, 최적 인트라 예측 모드에 따른 시프트 방향으로, 최적 시프트량으로, 위상이 시프트된 인접 화소를 사용하여 인트라 예측에 의해 생성한 예측 화상을 예측 화상 선택부(77)에 공급한다. 또한, 예측 화상과 함께, 최적 인트라 예측 모드에 대한 비용 함수값도, 예측 화상 선택부(77)에 공급된다.
한편, 산출된 비용 함수값에 기초하여, 인터 예측 모드 중으로부터, 최적 인터 예측 모드가 결정되고, 최적 인터 예측 모드에서 생성된 예측 화상과 그 비용 함수값이 예측 화상 선택부(77)에 공급된다.
스텝 S22에 있어서, 예측 화상 선택부(77)는 인트라 예측부(74) 및 움직임 예측ㆍ보상부(76)로부터 출력된 각 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드 중 한쪽을 최적 예측 모드로 결정한다. 그리고, 예측 화상 선택부(77)는 결정한 최적 예측 모드의 예측 화상을 선택하여 연산부(63, 70)에 공급한다. 이 예측 화상이, 상술한 바와 같이 스텝 S13, S18의 연산에 이용된다.
또한, 이 예측 화상의 선택 정보는 인트라 예측부(74) 또는 움직임 예측ㆍ보상부(76)에 공급된다. 최적 인트라 예측 모드의 예측 화상이 선택된 경우, 인트라 예측부(74)는 최적 인트라 예측 모드를 나타내는 정보(즉, 인트라 예측 모드 정보)와 최적이라고 결정된 시프트량의 정보를, 가역 부호화부(66)에 공급한다.
최적 인터 예측 모드의 예측 화상이 선택된 경우, 움직임 예측ㆍ보상부(76)는 최적 인터 예측 모드를 나타내는 정보와, 필요에 따라 최적 인터 예측 모드에 따른 정보를 가역 부호화부(66)에 출력한다. 최적 인터 예측 모드에 따른 정보로서는, 움직임 벡터 정보나 플래그 정보, 참조 프레임 정보 등을 들 수 있다. 즉, 최적 인터 예측 모드로서, 인터 예측 모드에 의한 예측 화상이 선택되어 있을 때에는, 움직임 예측ㆍ보상부(76)는 인터 예측 모드 정보, 움직임 벡터 정보, 참조 프레임 정보를 가역 부호화부(66)에 출력한다.
스텝 S23에 있어서, 가역 부호화부(66)는 양자화부(65)로부터 출력된 양자화된 변환 계수를 부호화한다. 즉, 차분 화상이 가변장 부호화, 산술 부호화 등의 가역 부호화되어 압축된다. 이때, 상술한 스텝 S22에 있어서 가역 부호화부(66)에 입력된, 인트라 예측부(74)로부터의 인트라 예측 모드 정보, 또는 움직임 예측ㆍ보상부(76)로부터의 최적 인터 예측 모드에 따른 정보 등도 부호화되어, 헤더 정보에 부가된다.
스텝 S24에 있어서 축적 버퍼(67)는 차분 화상을 압축 화상으로서 축적한다. 축적 버퍼(67)에 축적된 압축 화상이 적절하게 판독되어, 전송로를 통해 복호측으로 전송된다.
스텝 S25에 있어서 레이트 제어부(78)는 축적 버퍼(67)에 축적된 압축 화상에 기초하여, 오버플로우 혹은 언더플로우가 발생하지 않도록, 양자화부(65)의 양자화 동작의 레이트를 제어한다.
[예측 처리의 설명]
다음에, 도 8의 흐름도를 참조하여, 도 7의 스텝 S21에 있어서의 예측 처리를 설명한다.
화면 재배열 버퍼(62)로부터 공급되는 처리 대상의 화상이 인트라 처리되는 블록의 화상인 경우, 참조되는 복호 완료된 화상이 프레임 메모리(72)로부터 판독되어, 스위치(73)를 통해 인트라 예측부(74)에 공급된다.
스텝 S31에 있어서, 인트라 예측부(74)는 공급된 화상을 사용하여, 처리 대상의 블록의 화소를, 후보가 되는 모든 인트라 예측 모드에서 인트라 예측한다. 또한, 참조되는 복호 완료된 화소로서는, 디블록 필터(71)에 의해 디블록 필터링되어 있지 않은 화소가 사용된다.
스텝 S31에 있어서의 인트라 예측 처리의 상세는, 도 20을 참조하여 후술하지만, 이 처리에 의해, 후보가 되는 모든 인트라 예측 모드에서 인트라 예측이 행해진다. 그리고, 후보가 되는 모든 인트라 예측 모드에 대해 비용 함수값이 산출되고, 산출된 비용 함수값에 기초하여, 최적 인트라 예측 모드가 결정된다.
그리고, 6탭의 FIR 필터 및 선형 내삽에 의해, 결정된 최적 인트라 예측 모드에 따른 시프트 방향으로 최적 시프트량으로, 인접 화소의 위상이 시프트된다. 이 위상이 시프트된 인접 화소가 사용되어, 최적 인트라 예측 모드에서의 인트라 예측에 의해 예측 화상이 생성된다. 생성된 예측 화상과 최적 인트라 예측 모드의 비용 함수값은 예측 화상 선택부(77)에 공급된다.
화면 재배열 버퍼(62)로부터 공급되는 처리 대상의 화상이 인터 처리되는 화상인 경우, 참조되는 화상이 프레임 메모리(72)로부터 판독되어, 스위치(73)를 통해 움직임 예측ㆍ보상부(76)에 공급된다. 이들 화상에 기초하여, 스텝 S32에 있어서, 움직임 예측ㆍ보상부(76)는 인터 움직임 예측 처리를 행한다. 즉, 움직임 예측ㆍ보상부(76)는 프레임 메모리(72)로부터 공급되는 화상을 참조하여, 후보가 되는 모든 인터 예측 모드의 움직임 예측 처리를 행한다.
스텝 S32에 있어서의 인터 움직임 예측 처리의 상세는, 도 22를 참조하여 후술하지만, 이 처리에 의해, 후보가 되는 모든 인터 예측 모드에서 움직임 예측 처리가 행해지고, 후보가 되는 모든 인터 예측 모드에 대해 비용 함수값이 산출된다.
스텝 S33에 있어서, 움직임 예측ㆍ보상부(76)는 스텝 S32에 있어서 산출된 인터 예측 모드에 대한 비용 함수값을 비교하여, 최소값을 부여하는 예측 모드를, 최적 인터 예측 모드로서 결정한다. 그리고, 움직임 예측ㆍ보상부(76)는 최적 인터 예측 모드에서 생성된 예측 화상과 그 비용 함수값을, 예측 화상 선택부(77)에 공급한다.
[H.264/AVC 방식에 있어서의 인트라 예측 처리의 설명]
다음에, H.264/AVC 방식으로 정해져 있는 인트라 예측의 각 모드에 대해 설명한다.
우선, 휘도 신호에 대한 인트라 예측 모드에 대해 설명한다. 휘도 신호의 인트라 예측 모드에는 인트라 4×4 예측 모드, 인트라 8×8 예측 모드 및 인트라 16×16 예측 모드의 3가지의 방식이 정해져 있다. 이는, 블록 단위를 정하는 모드이고, 매크로 블록마다 설정된다. 또한, 색차 신호에 대해서는, 매크로 블록마다 휘도 신호와는 독립된 인트라 예측 모드를 설정하는 것이 가능하다.
또한, 인트라 4×4 예측 모드의 경우, 4×4 화소의 대상 블록마다, 9종류의 예측 모드로부터 1개의 예측 모드를 설정할 수 있다. 인트라 8×8 예측 모드의 경우, 8×8 화소의 대상 블록마다, 9종류의 예측 모드로부터 1개의 예측 모드를 설정할 수 있다. 또한, 인트라 16×16 예측 모드의 경우, 16×16 화소의 대상 매크로 블록에 대해, 4종류의 예측 모드로부터 1개의 예측 모드를 설정할 수 있다.
또한, 이하, 인트라 4×4 예측 모드, 인트라 8×8 예측 모드 및 인트라 16×16 예측 모드는 각각 4×4 화소의 인트라 예측 모드, 8×8 화소의 인트라 예측 모드 및 16×16 화소의 인트라 예측 모드라고 적절하게 칭한다.
도 9의 예에 있어서, 각 블록에 부여되어 있는 숫자 －1 내지 25는 그 각 블록의 비트 스트림순(복호측에 있어서의 처리순)을 나타내고 있다. 또한, 휘도 신호에 대해서는, 매크로 블록이 4×4 화소로 분할되어, 4×4 화소의 DCT가 행해진다. 그리고, 인트라 16×16 예측 모드의 경우에만, －1의 블록에 도시된 바와 같이, 각 블록의 직류 성분을 모아, 4×4 행렬이 생성되고, 이에 대해, 직교 변환이 더 실시된다.
한편, 색차 신호에 대해서는, 매크로 블록이 4×4 화소로 분할되어, 4×4 화소의 DCT가 행해진 후에, 16 및 17의 각 블록에 도시된 바와 같이, 각 블록의 직류 성분을 모아, 2×2 행렬이 생성되고, 이에 대해, 직교 변환이 더 실시된다.
또한, 이는, 인트라 8×8 예측 모드에 관해서는, 하이 프로파일 또는 그 이상의 프로파일에서, 대상 매크로 블록에, 8×8 직교 변환이 실시되는 경우에 대해서만 적용 가능하다.
도 10 및 도 11은 9종류의 휘도 신호의 4×4 화소의 인트라 예측 모드(Intra_4x4_pred_mode)를 도시하는 도면이다. 평균값(DC) 예측을 나타내는 모드 2 이외의 8종류의 각 모드는 각각, 상술한 도 1의 번호 0, 1, 3 내지 8로 나타내는 방향에 대응하고 있다.
9종류의 Intra_4x4_pred_mode에 대해, 도 12를 참조하여 설명한다. 도 12의 예에 있어서, 화소 a 내지 p는 인트라 처리되는 대상 블록의 화소를 나타내고, 화소값 A 내지 M은 인접 블록에 속하는 화소의 화소값을 나타내고 있다. 즉, 화소 a 내지 p는 화면 재배열 버퍼(62)로부터 판독된 처리 대상의 화상이고, 화소값 A 내지 M은 프레임 메모리(72)로부터 판독되어, 참조되는 복호 완료된 화상의 화소값이다.
도 10 및 도 11에 도시하는 각 인트라 예측 모드의 경우, 화소 a 내지 p의 예측 화소값은 인접 블록에 속하는 화소의 화소값 A 내지 M을 사용하여, 이하와 같이 생성된다. 또한, 화소값이 "available"이라고 함은, 픽쳐 프레임의 단부이거나, 혹은 아직 부호화되어 있지 않은 것 등의 이유가 없어, 이용 가능한 것을 나타낸다. 이에 대해, 화소값이 "unavailable"이라고 함은, 픽쳐 프레임의 단부이거나, 혹은 아직 부호화되어 있지 않은 것 등의 이유에 의해 이용 가능하지 않은 것을 나타낸다.
모드 0은 Vertical Prediction mode이고, 화소값 A 내지 D가 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 7과 같이 생성된다.
Figure 112016065755795-pat00007
모드 1은 Horizontal Prediction mode이고, 화소값 I 내지 L이 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 8과 같이 생성된다.
Figure 112016065755795-pat00008
모드 2는 DC Prediction mode이고, 화소값 A, B, C, D, I, J, K, L이 모두 "available"일 때, 예측 화소값은 수학식 9와 같이 생성된다.
Figure 112016065755795-pat00009
또한, 화소값 A, B, C, D가 모두 "unavailable"일 때, 예측 화소값은 수학식 10과 같이 생성된다.
Figure 112016065755795-pat00010
또한, 화소값 I, J, K, L이 모두 "unavailable"일 때, 예측 화소값은 수학식 11과 같이 생성된다.
Figure 112016065755795-pat00011
또한, 화소값 A, B, C, D, I, J, K, L이 모두 "unavailable"일 때, 128을 예측 화소값으로서 사용한다.
모드 3은 Diagonal_Down_Left Prediction mode이고, 화소값 A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 12와 같이 생성된다.
Figure 112016065755795-pat00012
모드 4는 Diagonal_Down_Right Prediction mode이고, 화소값 A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 13과 같이 생성된다.
Figure 112016065755795-pat00013
모드 5는 Diagonal_Vertical_Right Prediction mode이고, 화소값 A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 14와 같이 생성된다.
Figure 112016065755795-pat00014
모드 6은 Horizontal_Down Prediction mode이고, 화소값 A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 15와 같이 생성된다.
Figure 112016065755795-pat00015
모드 7은 Vertical_Left Prediction mode이고, 화소값 A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 16과 같이 생성된다.
Figure 112016065755795-pat00016
모드 8은 Horizontal_Up Prediction mode이고, 화소값 A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 이 경우, 화소 a 내지 p의 예측 화소값은 다음 수학식 17과 같이 생성된다.
Figure 112016065755795-pat00017
다음에, 도 13을 참조하여, 휘도 신호의 4×4 화소의 인트라 예측 모드(Intra_4x4_pred_mode)의 부호화 방식에 대해 설명한다. 도 13의 예에 있어서, 4×4 화소로 이루어지고, 부호화 대상이 되는 대상 블록(C)이 도시되어 있고, 대상 블록(C)에 인접하는 4×4 화소로 이루어지는 블록(A) 및 블록(B)이 도시되어 있다.
이 경우, 대상 블록(C)에 있어서의 Intra_4x4_pred_mode와, 블록(A) 및 블록(B)에 있어서의 Intra_4x4_pred_mode는 높은 상관이 있다고 생각된다. 이 상관성을 사용하여, 다음과 같이 부호화 처리를 행함으로써, 보다 높은 부호화 효율을 실현할 수 있다.
즉, 도 13의 예에 있어서, 블록(A) 및 블록(B)에 있어서의 Intra_4x4_pred_mode를, 각각 Intra_4x4_pred_modeA 및 Intra_4x4_pred_modeB로 하고, MostProbableMode를 다음 수학식 18로 정의한다.
Figure 112016065755795-pat00018
즉, 블록(A) 및 블록(B) 중, 보다 작은 mode_number가 할당되어 있는 쪽을 MostProbableMode로 한다.
비트 스트림 중에는 대상 블록(C)에 대한 파라미터로서, prev_intra4x4_pred_mode_flag [luma4x4BlkIdx] 및 rem_intra4x4_pred_mode [luma4x4BlkIdx]라고 하는 2개의 값이 정의되어 있고, 다음 수학식 19에 나타내는 의사 코드에 기초하는 처리에 의해, 복호 처리가 행해지고, 대상 블록(C)에 대한 Intra_4x4_pred_mode, Intra4x4PredMode [luma4x4BlkIdx]의 값을 얻을 수 있다.
Figure 112016065755795-pat00019
다음에, 16×16 화소의 인트라 예측 모드에 대해 설명한다. 도 14 및 도 15는 4종류의 휘도 신호의 16×16 화소의 인트라 예측 모드(Intra_16x16_pred_mode)를 도시하는 도면이다.
4종류의 인트라 예측 모드에 대해, 도 16을 참조하여 설명한다. 도 16의 예에 있어서, 인트라 처리되는 대상 매크로 블록(A)이 도시되어 있고, P(x, y);x, y＝－1, 0, …, 15는 대상 매크로 블록(A)에 인접하는 화소의 화소값을 나타내고 있다.
모드 0은 Vertical Prediction mode이고, P(x, －1);x, y＝－1, 0, …, 15가 "available"일 때에만 적용된다. 이 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 20과 같이 생성된다.
Figure 112016065755795-pat00020
모드 1은 Horizontal Prediction mode이고, P(－1, y);x, y＝－1, 0, …, 15가 "available"일 때에만 적용된다. 이 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 21과 같이 생성된다.
Figure 112016065755795-pat00021
모드 2는 DC Prediction mode이고, P(x, －1) 및 P(－1, y);x, y＝－1, 0, …, 15가 모두 "available"인 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 22와 같이 생성된다.
Figure 112016065755795-pat00022
또한, P(x, －1);x, y＝－1, 0, …, 15가 "unavailable"인 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 23과 같이 생성된다.
Figure 112016065755795-pat00023
P(－1, y);x, y＝－1, 0, …, 15가 "unavailable"인 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 24와 같이 생성된다.
Figure 112016065755795-pat00024
P(x, －1) 및 P(－1, y);x, y＝－1, 0, …, 15가 모두 "unavailable"인 경우에는 예측 화소값으로서 128을 사용한다.
모드 3은 Plane Prediction mode이고, P(x, －1) 및 P(－1, y);x, y＝－1, 0, …, 15가 모두 "available"인 경우에만 적용된다. 이 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 25와 같이 생성된다.
Figure 112016065755795-pat00025
다음에, 색차 신호에 대한 인트라 예측 모드에 대해 설명한다. 도 17은 4종류의 색차 신호의 인트라 예측 모드(Intra_chroma_pred_mode)를 도시하는 도면이다. 색차 신호의 인트라 예측 모드는 휘도 신호의 인트라 예측 모드와 독립으로 설정이 가능하다. 색차 신호에 대한 인트라 예측 모드는 상술한 휘도 신호의 16×16 화소의 인트라 예측 모드에 준한다.
단, 휘도 신호의 16×16 화소의 인트라 예측 모드가, 16×16 화소의 블록을 대상으로 하고 있는 것에 비해, 색차 신호에 대한 인트라 예측 모드는 8×8 화소의 블록을 대상으로 하고 있다. 또한, 상술한 도 14와 도 17에 도시된 바와 같이, 양자에 있어서 모드 번호는 대응하고 있지 않다.
여기서, 도 16을 참조하여 상술한 휘도 신호의 16×16 화소의 인트라 예측 모드의 대상 매크로 블록(A)의 화소값 및 인접하는 화소값의 정의에 준한다. 예를 들어, 인트라 처리되는 대상 매크로 블록(A)(색차 신호의 경우에는, 8×8 화소)에 인접하는 화소의 화소값을 P(x, y);x, y＝－1, 0, …, 7로 한다.
모드 0은 DC Prediction mode이고, P(x, －1) 및 P(－1, y);x, y＝－1, 0, …, 7이 모두 "available"인 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 26과 같이 생성된다.
Figure 112016065755795-pat00026
또한, P(－1, y);x, y＝－1, 0, …, 7이 "unavailable"인 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 27과 같이 생성된다.
Figure 112016065755795-pat00027
또한, P(x, －1);x, y＝－1, 0, …, 7이 "unavailable"인 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 28과 같이 생성된다.
Figure 112016065755795-pat00028
모드 1은 Horizontal Prediction mode이고, P(－1, y);x, y＝－1, 0, …, 7이 "available"의 경우에만 적용된다. 이 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 29와 같이 생성된다.
Figure 112016065755795-pat00029
모드 2는 Vertical Prediction mode이고, P(x, －1);x, y＝－1, 0, …, 7이 "available"인 경우에만 적용된다. 이 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 30과 같이 생성된다.
Figure 112016065755795-pat00030
모드 3은 Plane Prediction mode이고, P(x, －1) 및 P(－1, y);x, y＝－1, 0, …, 7이 "available"인 경우에만 적용된다. 이 경우, 대상 매크로 블록(A)의 각 화소의 예측 화소값 Pred(x, y)는 다음 수학식 31과 같이 생성된다.
Figure 112016065755795-pat00031
이상과 같이, 휘도 신호의 인트라 예측 모드에는 9종류의 4×4 화소 및 8×8 화소의 블록 단위 및 4종류의 16×16 화소의 매크로 블록 단위의 예측 모드가 있다. 이 블록 단위의 모드는 매크로 블록 단위마다 설정된다. 색차 신호의 인트라 예측 모드에는 4종류의 8×8 화소의 블록 단위의 예측 모드가 있다. 이 색차 신호의 인트라 예측 모드는 휘도 신호의 인트라 예측 모드와 독립으로 설정이 가능하다.
또한, 휘도 신호의 4×4 화소의 인트라 예측 모드(인트라 4×4 예측 모드) 및 8×8 화소의 인트라 예측 모드(인트라 8×8 예측 모드)에 대해서는, 4×4 화소 및 8×8 화소의 휘도 신호의 블록마다 1개의 인트라 예측 모드가 설정된다. 휘도 신호의 16×16 화소의 인트라 예측 모드(인트라 16×16 예측 모드)와 색차 신호의 인트라 예측 모드에 대해서는, 1개의 매크로 블록에 대해 1개의 예측 모드가 설정된다.
또한, 예측 모드의 종류는 상술한 도 1의 번호 0, 1, 3 내지 8로 나타내는 방향에 대응하고 있다. 예측 모드 2는 평균값 예측이다.
이상과 같이 H.264/AVC 방식에 있어서의 인트라 예측은 정수 화소 정밀도에 의해 행해진다. 이에 대해, 화상 부호화 장치(51)에 있어서는, 소수 화소 정밀도의 인트라 예측이 행해진다.
[소수 화소 정밀도의 인트라 예측의 동작]
다음에, 도 18을 참조하여, 소수 화소 정밀도의 인트라 예측을 실현하기 위한 동작에 대해 설명한다. 또한, 도 18의 예에 있어서는, 대상 블록이 4×4 화소인 경우의 예가 도시되어 있다.
도 18의 예의 경우, 흑색 원이 인트라 예측의 대상 블록의 화소를 나타내고 있고, 백색 원이 대상 블록에 인접하는 인접 화소를 나타내고 있다. 더욱 상세하게는, 백색 원의 인접 화소 중, 대상 블록의 좌측 상부에 인접하는 좌측 상부 인접 화소는 A－1 또한 I－1이고, 이 화소는 도 12의 화소값 M의 화소에 상당한다. 백색 원의 인접 화소 중, 대상 블록의 상부에 인접하는 상부 인접 화소는 A0, A1, A2, …이고, 이들 화소는 도 12의 화소값 A 내지 H의 화소에 상당한다. 백색 원의 인접 화소 중, 대상 블록의 좌측부에 인접하는 좌측부 인접 화소는 I0, I1, I2, …이고, 이들 화소는 도 12의 화소값 I 내지 L의 화소에 상당한다.
또한, 인접 화소 사이에 나타내는 a－0.5, a＋0.5, … 및 i－0.5, i＋0.5, …는 1/2 화소 정밀도의 화소를 나타내고 있다. 또한, a－0.5, a＋0.5, … 및 i－0.5, i＋0.5, …의 화소 사이에 나타내어지는 a－0.75, a－0.25, a＋0.25, a＋0.75, … 및 i－0.75, i－0.25, i＋0.25, i＋0.75, …는 1/4 화소 정밀도의 화소를 나타내고 있다.
우선, 제1 동작으로서, 인트라 예측부(74)에 있어서는, 도 12에 도시되는 화소값 A 내지 M을 사용하여, 각 인트라 예측 모드에 대해 인트라 예측이 행해지고, 각 인트라 예측 모드 중에서, 최적 인트라 예측 모드가 결정된다. 대상 블록이 4×4인 경우, 이 최적 인트라 예측 모드는 도 10 또는 도 11의 9개의 예측 모드 중 어느 하나이다.
예를 들어, 최적 인트라 예측 모드로서, 모드 0(Vertical Prediction mode)이 선택된 것으로 한다. 이때, 대상 블록의 예측에 사용되는 인접 화소는 도 12의 화소값 A 내지 D의 화소이고, 도 18의 화소 A0, A1, A2, A3으로 된다.
제2 동작으로서, 인접 화소 내삽부(75)에 있어서는, 도 4를 참조하여 상술한 H.264/AVC 방식에 있어서의 6탭의 FIR 필터에 의해, 도 18의 1/2 화소 정밀도의 화소 a－0.5, a＋0.5, …가 생성된다. 즉, 화소 a－0.5는 다음 수학식 32로 나타낸다.
Figure 112016065755795-pat00032
다른 1/2 화소 정밀도의 화소 a＋0.5, a＋1.5 등에 관해서도 마찬가지이다.
제3 동작으로서, 인접 화소 내삽부(75)에 있어서는, 화소 A0, A1, A2, A3 및 화소 a－0.5, a＋0.5 등으로부터, 도 18의 1/4 화소 정밀도의 화소 a－0.75, a－0.25, a＋0.25, a＋0.75가, 선형 내삽에 의해 생성된다. 즉, 화소 a＋0.25는 다음 수학식 33으로 나타낸다.
Figure 112016065755795-pat00033
다른 1/4 화소 정밀도의 화소에 관해서도 마찬가지이다.
제4 동작으로서, 인트라 예측부(74)에 있어서는, 모드 0의 경우, 정수 화소와 각 소수 화소 정밀도의 위상차인 －0.75, －0.50, －0.25, ＋0.25, ＋0.50, ＋0.75의 값을, 수평 방향의 시프트량의 후보로 하여, 최적의 시프트량이 결정된다.
예를 들어, 시프트량이 ＋0.25인 경우에는 화소 A0, A1, A2, A3의 화소값 대신에, 화소 a＋0.25, a＋1.25, a＋2.25, a＋3.25의 화소값이 사용되어, 인트라 예측이 행해진다.
이와 같이, 제1 동작에 의해 선택된 최적 인트라 예측 모드에 대해, 최적의 시프트량이 결정된다. 예를 들어, 시프트량이 0인 경우가 최적으로 되고, 정수 화소의 화소값이 사용되는 경우도 있을 수 있다.
또한, 도 10 또는 도 11에 도시되는 9개의 예측 모드 중, 모드 2(DC prediction mode)에 관해서는, 평균값 처리를 행하게 된다. 따라서, 시프트를 행하였다고 해도, 부호화 효율의 향상에는 직접 관여하지 않으므로, 상술한 동작은 금지되어, 행해지지 않는다.
모드 0(Vertical Prediction mode), 모드 3(Diagonal_Down_Left Prediction mode), 또는 모드 7(Vertical_Left Prediction mode)에 관해서는, 도 18에 있어서의 상부 인접 화소 A0, A1, A2, …만의 시프트가 후보로 된다.
모드 1(Horizontal Prediction mode), 또는 모드 8(Horizontal_Up Prediction mode)에 관해서는, 도 18에 있어서의 좌측부 인접 화소 I0, I1, I2, …만의 시프트가 후보로 된다.
그 밖의 모드(모드 4 내지 6)에 관해서는, 상부 인접 화소 및 좌측부 인접 화소의 양쪽에 관하여, 시프트를 고려할 필요가 있다.
또한, 상부 인접 화소에 관해서는, 수평 방향의 시프트량만이 결정되고, 좌측부 인접 화소에 관해서는, 수직 방향의 시프트량만이 결정된다.
이상의 제1 내지 제4 동작을 행하여, 최적의 시프트량을 결정함으로써, 인트라 예측 모드에 있어서 사용되는 화소값의 선택지를 늘릴 수 있어, 보다 최적의 인트라 예측을 행할 수 있다. 이에 의해, 인트라 예측에 있어서의 부호화 효율을 더욱 향상시키는 것이 가능하다.
또한, H.264/AVC 방식에 있어서는, 도 4를 참조하여 상술한 바와 같이, 인터 움직임 예측 보상에밖에 사용되지 않은 6탭의 FIR 필터의 회로를, 인트라 예측에도 유효 활용할 수 있다. 이에 의해, 회로를 증대시키지 않고, 효율을 개선할 수 있다.
또한, H.264/AVC 방식에 있어서 정해져 있는 인트라 예측의 분해능인 22.5°보다 더욱 미세한 분해능에 의한 인트라 예측을 행할 수 있다.
[소수 화소 정밀도의 인트라 예측의 효과예]
도 19의 예에 있어서, 점선은, 도 1을 참조하여 상술한 H.264/AVC 방식의 인트라 예측의 예측 모드의 방향을 나타내고 있다. 점선에 부여된 번호는, 도 10 또는 도 11에 도시되어 있는 9개의 예측 모드의 번호에 대응하고 있다. 또한, 모드 2는 평균값 예측이므로, 그 번호가 부여되어 있지 않다.
H.264/AVC 방식에 있어서는, 점선으로 나타내는 22.5°의 분해능으로밖에 인트라 예측을 행할 수 없었다. 이에 대해, 화상 부호화 장치(51)에 있어서는, 소수 화소 정밀도의 인트라 예측을 행함으로써, 굵은 선으로 나타내는 바와 같이 22.5°보다 더욱 미세 분해능에 의한 인트라 예측을 행할 수 있다. 이에 의해, 특히 기울기 엣지를 갖는 텍스쳐에 대한 부호화 효율을 향상시킬 수 있다.
[인트라 예측 처리의 설명]
다음에, 도 20의 흐름도를 참조하여, 상술한 동작으로서의 인트라 예측 처리를 설명한다. 또한, 이 인트라 예측 처리는 도 8의 스텝 S31에 있어서의 인트라 예측 처리이고, 도 20의 예에 있어서는, 휘도 신호의 경우를 예로 들어 설명한다.
최적 모드 결정부(82)는 스텝 S41에 있어서, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대해 인트라 예측을 행한다.
상술한 바와 같이, 인트라 4×4 예측 모드와 인트라 8×8 예측 모드에는 9종류의 예측 모드가 있고, 각각 블록마다 1개의 예측 모드를 정의할 수 있다. 인트라 16×16 예측 모드와 색차 신호의 인트라 예측 모드에는 4종류의 예측 모드가 있고, 1개의 매크로 블록에 대해 1개의 예측 모드를 정의할 수 있다.
최적 모드 결정부(82)는 처리 대상의 블록의 화소를, 인접 화상 버퍼(81)로부터 판독되는 복호 완료된 인접 화상을 참조하여, 각 인트라 예측 모드의 모든 종류의 예측 모드에서, 인트라 예측한다. 이에 의해, 각 인트라 예측 모드의 모든 종류의 예측 모드에서의 예측 화상이 생성된다. 또한, 참조되는 복호 완료된 화소로서는, 디블록 필터(71)에 의해 디블록 필터링되어 있지 않은 화소가 사용된다.
최적 모드 결정부(82)는 스텝 S42에 있어서, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대한 비용 함수값을 산출한다. 여기서, 비용 함수값으로서는, High Complexity 모드나, Low Complexity 모드 중 어느 하나의 방법에 기초하여 행한다. 이들 모드는 H.264/AVC 방식에 있어서의 참조 소프트웨어인 JM(Joint Model)으로 정해져 있다.
즉, High Complexity 모드에 있어서는, 스텝 S41의 처리로서, 후보가 되는 모든 예측 모드에 대해, 가령 부호화 처리까지가 행해진다. 그리고, 다음 수학식 34로 나타내어지는 비용 함수값이 각 예측 모드에 대해 산출되고, 그 최소값을 부여하는 예측 모드가 최적 예측 모드로서 선택된다.
Figure 112016065755795-pat00034
D는 원화상과 복호 화상의 차분(변형), R은 직교 변환 계수까지 포함한 발생 부호량, λ는 양자화 파라미터(QP)의 함수로서 부여되는 라그랑지 승수이다.
한편, Low Complexity 모드에 있어서는, 스텝 S41의 처리로서, 후보가 되는 모든 예측 모드에 대해, 예측 화상의 생성 및 움직임 벡터 정보나 예측 모드 정보, 플래그 정보 등의 헤더 비트까지가 산출된다. 그리고, 다음 수학식 35로 나타내어지는 비용 함수값이 각 예측 모드에 대해 산출되고, 그 최소값을 부여하는 예측 모드가 최적 예측 모드로서 선택된다.
Figure 112016065755795-pat00035
D는 원화상과 복호 화상의 차분(변형), Header_Bit는 예측 모드에 대한 헤더 비트, QPtoQuant는 양자화 파라미터(QP)의 함수로서 부여되는 함수이다.
Low Complexity 모드에 있어서는, 모든 예측 모드에 대해, 예측 화상을 생성할 뿐이고, 부호화 처리 및 복호 처리를 행할 필요가 없으므로, 연산량이 적어진다.
최적 모드 결정부(82)는 스텝 S43에 있어서, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대해, 각각 최적 모드를 결정한다. 즉, 상술한 바와 같이, 인트라 4×4 예측 모드 및 인트라 8×8 예측 모드의 경우에는, 예측 모드의 종류가 9종류 있고, 인트라 16×16 예측 모드의 경우에는 예측 모드의 종류가 4종류 있다. 따라서, 최적 모드 결정부(82)는 스텝 S42에 있어서 산출된 비용 함수값에 기초하여, 그들 중에서, 최적 인트라 4×4 예측 모드, 최적 인트라 8×8 예측 모드, 최적 인트라 16×16 예측 모드를 결정한다.
최적 모드 결정부(82)는 스텝 S44에 있어서, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대해 결정된 각 최적 모드 중에서, 스텝 S42에 있어서 산출된 비용 함수값에 기초하는 최적 인트라 예측 모드를 선택한다. 즉, 4×4 화소, 8×8 화소 및 16×16 화소에 대해 결정된 각 최적 모드 중에서, 비용 함수값이 최소값인 모드를, 최적 인트라 예측 모드로서 선택한다.
결정된 예측 모드의 정보는 모드 판별부(91), 최적 시프트량 결정부(83) 및 예측 화상 생성부(84)에 공급된다. 또한, 예측 화상 생성부(84)에는 예측 모드에 대응하는 비용 함수값도 공급된다.
인접 화소 내삽부(75) 및 최적 시프트량 결정부(83)는 스텝 S45에 있어서, 인접 내삽 처리를 실행한다. 스텝 S45에 있어서의 인접 내삽 처리의 상세는, 도 21을 참조하여 후술하지만, 이 처리에 의해, 결정된 최적 인트라 예측 모드에 따른 시프트 방향으로 최적의 시프트량이 결정된다. 결정된 최적의 시프트량에 관한 정보는 예측 화상 생성부(84)에 공급된다.
스텝 S46에 있어서, 예측 화상 생성부(84)는 최적 시프트량으로 위상이 시프트된 인접 화소를 사용하여, 예측 화상을 생성한다.
즉, 예측 화상 생성부(84)는 인트라 예측하는 대상 블록에 대응하는 인접 화소를 인접 화상 버퍼(81)로부터 판독한다. 그리고, 예측 화상 생성부(84)는 6탭의 FIR 필터 및 선형 내삽에 의해, 예측 모드에 따른 위상 방향으로, 판독한 인접 화소의 위상을 최적 시프트량으로 시프트한다. 예측 화상 생성부(84)는 위상이 시프트된 인접 화소를 사용하여, 최적 모드 결정부(82)에 의해 결정된 예측 모드에서 인트라 예측을 행하여, 대상 블록의 예측 화상을 생성하고, 생성된 예측 화상과, 대응하는 비용 함수값을 예측 화상 선택부(77)에 공급한다.
또한, 최적 시프트량이 0인 경우에는, 인접 화상 버퍼(81)로부터의 인접 화소의 화소값이 사용된다.
예측 화상 선택부(77)에 의해 최적 인트라 예측 모드에서 생성된 예측 화상이 선택된 경우, 예측 화상 생성부(84)에 의해, 이들 최적 인트라 예측 모드를 나타내는 정보와 시프트량의 정보는 가역 부호화부(66)에 공급된다. 그리고, 가역 부호화부(66)에 있어서, 부호화되어, 압축 화상의 헤더 정보에 부가된다(상술한 도 7의 스텝 S23).
또한, 이 시프트량의 정보의 부호화로서는, 결정된 대상 블록의 시프트량과, 도 13을 참조하여 상술한 MostProbableMode를 부여하는 블록에 있어서의 시프트량의 차분이 부호화된다.
단, 예를 들어, MostProbableMode가 모드 2(DC 예측)이고, 대상 블록의 예측 모드가 모드 0(Vertical 예측)인 경우, MostProbableMode를 부여하는 블록에 있어서의 수평 방향의 시프트량은 존재하지 않게 된다. 또한, 인터 슬라이스에 있어서의 인트라 매크로 블록이라고 하는 사정에 의해서도, MostProbableMode를 부여하는 블록에 있어서의 수평 방향의 시프트량은 존재하지 않게 된다.
이와 같은 경우에는 MostProbableMode를 부여하는 블록에 있어서의 수평 방향의 시프트량은 0으로 하여, 차분 부호화 처리가 행해진다.
[인접 화소 내삽 처리의 설명]
다음에, 도 21의 흐름도를 참조하여, 도 20의 스텝 S45의 인접 화소 내삽 처리에 대해 설명한다. 도 21의 예에 있어서는, 대상 블록이 4×4인 경우에 대해 설명된다.
최적 모드 결정부(82)에 의해 결정된 예측 모드의 정보는 모드 판별부(91)에 공급된다. 모드 판별부(91)는 스텝 S51에 있어서, 최적 인트라 예측 모드가 DC 모드인지 여부를 판정한다. 스텝 S51에 있어서, 최적 인트라 예측 모드가 DC 모드가 아니라고 판정된 경우, 처리는 스텝 S52로 진행한다.
스텝 S52에 있어서, 모드 판별부(91)는 최적 인트라 예측 모드가, Vertical Prediction mode, Diagonal_Down_Left Prediction mode, 또는 Vertical_Left Prediction mode인지 여부를 판정한다.
스텝 S52에 있어서, 최적 인트라 예측 모드가, Vertical Prediction mode, Diagonal_Down_Left Prediction mode, 또는 Vertical_Left Prediction mode라고 판정된 경우, 처리는 스텝 S53으로 진행한다.
스텝 S53에 있어서, 모드 판별부(91)는 수평 방향 내삽부(92)에 제어 신호를 출력하여, 수평 방향의 내삽을 행하게 한다. 즉, 수평 방향 내삽부(92)는 모드 판별부(91)로부터의 제어 신호에 따라, 인접 화상 버퍼(81)로부터 상부 인접 화소를 판독하고, 6탭의 FIR 필터 및 선형 내삽에 의해, 판독한 상부 인접 화소에 대해, 수평 방향의 위상을 시프트한다. 수평 방향 내삽부(92)는 내삽된 상부 인접 화소의 정보를, 최적 시프트량 결정부(83)에 공급한다.
스텝 S54에 있어서, 최적 시프트량 결정부(83)는 최적 모드 결정부(82)에 의해 결정된 예측 모드에 대해, －0.75 내지 ＋0.75 중, 상부 인접 화소의 최적 시프트량을 결정한다. 또한, 이 결정에는 인트라 예측하는 대상 블록의 화상, 인접 화상 버퍼(81)로부터 판독되는 상부 인접 화소 및 내삽된 상부 인접 화소의 정보가 사용된다. 또한, 이때, 좌측부 인접 화소에 대한 최적 시프트량은 0으로 된다. 결정된 최적 시프트량의 정보는 예측 화상 생성부(84)에 공급된다.
스텝 S52에 있어서, 최적 인트라 예측 모드가 Vertical Prediction mode, Diagonal_Down_Left Prediction mode 및 Vertical_Left Prediction mode가 아니라고 판정된 경우, 처리는 스텝 S55로 진행한다.
스텝 S55에 있어서, 모드 판별부(91)는 최적 인트라 예측 모드가 Horizontal Prediction mode, 또는 Horizontal_Up Prediction mode인지 여부를 판정한다. 스텝 S55에 있어서, 최적 인트라 예측 모드가 Horizontal Prediction mode, 또는 Horizontal_Up Prediction mode라고 판정된 경우, 처리는 스텝 S56으로 진행한다.
스텝 S56에 있어서, 모드 판별부(91)는 수직 방향 내삽부(93)에 제어 신호를 출력하여, 수직 방향의 내삽을 행하게 한다. 즉, 수직 방향 내삽부(93)는 모드 판별부(91)로부터의 제어 신호에 따라, 인접 화상 버퍼(81)로부터 좌측부 인접 화소를 판독하고, 6탭의 FIR 필터 및 선형 내삽에 의해, 판독한 좌측부 인접 화소에 대해 수직 방향의 위상을 시프트한다. 수직 방향 내삽부(93)는 내삽된 좌측부 인접 화소의 정보를, 최적 시프트량 결정부(83)에 공급한다.
스텝 S57에 있어서, 최적 시프트량 결정부(83)는 최적 모드 결정부(82)에 의해 결정된 예측 모드에 대해, －0.75 내지 ＋0.75 중, 좌측부 인접 화소의 최적 시프트량을 결정한다. 또한, 이 결정에는 인트라 예측하는 대상 블록의 화상, 인접 화상 버퍼(81)로부터 판독되는 좌측부 인접 화소 및 내삽된 좌측부 인접 화소의 정보가 사용된다. 또한, 이때, 상부 인접 화소에 대한 최적 시프트량은 0으로 된다. 결정된 최적 시프트량의 정보는 예측 화상 생성부(84)에 공급된다.
스텝 S55에 있어서, 최적 인트라 예측 모드가 Horizontal Prediction mode 및 Horizontal_Up Prediction mode가 아니라고 판정된 경우, 처리는 스텝 S58로 진행한다.
스텝 S58에 있어서, 모드 판별부(91)는 수평 방향 내삽부(92)에 제어 신호를 출력하여, 수평 방향의 내삽을 행하게 하고, 수직 방향 내삽부(93)에 제어 신호를 출력하여, 수직 방향의 내삽을 행하게 한다.
즉, 수평 방향 내삽부(92)는 모드 판별부(91)로부터의 제어 신호에 따라, 인접 화상 버퍼(81)로부터 상부 인접 화소를 판독하고, 6탭의 FIR 필터 및 선형 내삽에 의해, 판독한 상부 인접 화소에 대해 수평 방향의 위상을 시프트한다. 수평 방향 내삽부(92)는 내삽된 상부 인접 화소의 정보를, 최적 시프트량 결정부(83)에 공급한다.
또한, 수직 방향 내삽부(93)는 모드 판별부(91)로부터의 제어 신호에 따라, 인접 화상 버퍼(81)로부터 좌측부 인접 화소를 판독하고, 6탭의 FIR 필터 및 선형 내삽에 의해, 판독한 좌측부 인접 화소에 대해 수직 방향의 위상을 시프트한다. 수직 방향 내삽부(93)는 내삽된 좌측부 인접 화소의 정보를, 최적 시프트량 결정부(83)에 공급한다.
스텝 S59에 있어서, 최적 시프트량 결정부(83)는 최적 모드 결정부(82)에 의해 결정된 예측 모드에 대해, －0.75 내지 ＋0.75 중, 상부 및 좌측부 인접 화소의 최적 시프트량을 결정한다. 이 결정에는 인트라 예측하는 대상 블록의 화상, 인접 화상 버퍼(81)로부터 판독되는 상부 및 좌측부 인접 화소 및 내삽된 상부 및 좌측부 인접 화소의 정보가 사용된다. 결정된 최적 시프트량의 정보는 예측 화상 생성부(84)에 공급된다.
한편, 스텝 S51에 있어서, 최적 인트라 예측 모드가 DC 모드라고 판정된 경우, 인접 화소 내삽 처리는 종료된다. 즉, 수평 방향 내삽부(82) 및 수직 방향 내삽부(83)는 동작하지 않고, 최적 시프트량 결정부(83)에 있어서는, 시프트량 0이 최적 시프트량으로 결정된다.
[인터 움직임 예측 처리의 설명]
다음에, 도 22의 흐름도를 참조하여, 도 8의 스텝 S32의 인터 움직임 예측 처리에 대해 설명한다.
움직임 예측ㆍ보상부(76)는 스텝 S61에 있어서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대해 움직임 벡터와 참조 화상을 각각 결정한다. 즉, 각 인터 예측 모드의 처리 대상의 블록에 대해, 움직임 벡터와 참조 화상이 각각 결정된다.
움직임 예측ㆍ보상부(76)는 스텝 S62에 있어서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대해, 스텝 S61에서 결정된 움직임 벡터에 기초하여, 참조 화상에 움직임 예측과 보상 처리를 행한다. 이 움직임 예측과 보상 처리에 의해, 각 인터 예측 모드에서의 예측 화상이 생성된다.
움직임 예측ㆍ보상부(76)는 스텝 S63에 있어서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대해 결정된 움직임 벡터에 대해, 압축 화상에 부가하기 위한 움직임 벡터 정보를 생성한다. 이때, 도 5를 참조하여 상술한 움직임 벡터의 생성 방법이 사용된다.
생성된 움직임 벡터 정보는 다음 스텝 S64에 있어서의 비용 함수값 산출 시에도 사용되고, 최종적으로 예측 화상 선택부(77)에 의해 대응하는 예측 화상이 선택된 경우에는, 예측 모드 정보 및 참조 프레임 정보와 함께, 가역 부호화부(66)로 출력된다.
움직임 예측ㆍ보상부(76)는 스텝 S64에 있어서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대해, 상술한 수학식 34 또는 수학식 35로 나타내는 비용 함수값을 산출한다. 여기서 산출된 비용 함수값은 상술한 도 8의 스텝 S34에서 최적 인터 예측 모드를 결정할 때에 사용된다.
또한, 본 발명에 있어서의 동작 원리는 도 18, 또는 도 20 및 도 21을 참조하여 상술한 동작으로 한정되지 않는다. 예를 들어, 모든 인트라 예측 모드에 대해, 후보가 되는 모든 시프트량의 예측값을 산출하고, 그 잔차를 산출하여, 최적 인트라 예측 모드 및 최적 시프트량을 결정하도록 할 수도 있다. 이 동작을 행하는 경우의 인트라 예측부 및 인접 화소 내삽부의 구성예는 도 23에 도시된다.
[인트라 예측부 및 인접 화소 내삽부의 다른 구성예]
도 23은 인트라 예측부 및 인접 화소 내삽부의 다른 구성예를 도시하는 블록도이다.
도 23의 예의 경우, 인트라 예측부(74)는 인접 화상 버퍼(101), 최적 모드/최적 시프트량 결정부(102) 및 예측 화상 생성부(103)에 의해 구성되어 있다.
인접 화소 내삽부(75)는 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)에 의해 구성되어 있다.
인접 화상 버퍼(101)는 프레임 메모리(72)로부터의 인트라 예측의 대상 블록의 인접 화소를 축적한다. 도 23의 경우도, 스위치(73)의 도시는 생략되어 있지만, 실제로는, 인접 화소는 프레임 메모리(72)로부터, 스위치(73)를 통해 인접 화상 버퍼(101)에 공급된다.
최적 모드/최적 시프트량 결정부(102)에는 인트라 예측하는 대상 블록의 화소가 화면 재배열 버퍼(62)로부터 입력된다. 최적 모드/최적 시프트량 결정부(102)는 인트라 예측하는 대상 블록에 대응하는 인접 화소를 인접 화상 버퍼(101)로부터 판독한다.
최적 모드/최적 시프트량 결정부(102)는 후보의 인트라 예측 모드(이하, 후보 모드라고 칭함)의 정보를, 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)에 공급한다. 최적 모드/최적 시프트량 결정부(102)에는 후보 모드에 따라 내삽된 인접 화소의 정보가 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)로부터 입력된다.
최적 모드/최적 시프트량 결정부(102)는 인트라 예측하는 대상 블록의 화소, 대응하는 인접 화소 및 내삽된 인접 화소의 화소값을 사용하여, 모든 후보 모드 및 모든 후보 시프트량에 대해, 인트라 예측을 행하여, 예측 화상을 생성한다. 그리고, 최적 모드/최적 시프트량 결정부(102)는 비용 함수값이나 예측 잔차 등을 산출하여, 모든 후보 모드 및 모든 시프트량 중에서, 최적의 인트라 예측 모드 및 최적의 시프트량을 결정한다. 결정된 예측 모드 및 시프트량의 정보는 예측 화상 생성부(103)에 공급된다. 또한, 이때, 예측 모드에 대응하는 비용 함수값도 예측 화상 생성부(103)에 공급된다.
예측 화상 생성부(103)는 인트라 예측하는 대상 블록에 대응하는 인접 화소를 인접 화상 버퍼(101)로부터 판독하고, 6탭의 FIR 필터 및 선형 내삽에 의해, 예측 모드에 따른 위상 방향으로, 판독한 인접 화소의 위상을 최적 시프트량으로 시프트한다.
예측 화상 생성부(103)는 위상이 시프트된 인접 화소를 사용하여, 최적 모드/최적 시프트량 결정부(102)에 의해 결정된 최적 인트라 예측 모드에서 인트라 예측을 행하여, 대상 블록의 예측 화상을 생성한다. 예측 화상 생성부(103)는 생성된 예측 화상과, 대응하는 비용 함수값을 예측 화상 선택부(77)에 출력한다.
또한, 예측 화상 생성부(103)는 예측 화상 선택부(77)에 의해 최적 인트라 예측 모드에서 생성된 예측 화상이 선택된 경우, 최적 인트라 예측 모드를 나타내는 정보와 시프트량의 정보를, 가역 부호화부(66)에 공급한다.
수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 최적 모드/최적 시프트량 결정부(102)로부터의 후보 모드에 따라, 인접 화상 버퍼(101)로부터 인접 화소를 각각 판독한다. 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 6탭의 FIR 필터 및 선형 내삽에 의해, 판독한 인접 화소에 대해, 수평 방향 및 수직 방향으로 각각 위상을 시프트한다.
[인트라 예측 처리의 다른 설명]
다음에, 도 24의 흐름도를 참조하여, 도 23의 인트라 예측부(74) 및 인접 화소 내삽부(75)가 행하는 인트라 예측 처리를 설명한다. 또한, 이 인트라 예측 처리는 도 8의 스텝 S31에 있어서의 인트라 예측 처리의 다른 예이다.
최적 모드/최적 시프트량 결정부(102)는 후보의 인트라 예측 모드의 정보를, 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)에 공급한다.
스텝 S101에 있어서, 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 모든 후보의 인트라 예측 모드에 대해, 인접 화소 내삽 처리를 실행한다. 즉, 스텝 S101에 있어서는, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대해, 인접 화소 내삽 처리가 각각 실행된다.
스텝 S101에 있어서의 인접 내삽 처리의 상세는 도 25를 참조하여 후술하지만, 이 처리에 의해, 각 인트라 예측 모드에 따른 시프트 방향으로 내삽된 인접 화소의 정보가, 최적 모드/최적 시프트량 결정부(102)에 공급된다.
스텝 S102에 있어서, 최적 모드/최적 시프트량 결정부(102)는 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드와 각 시프트량에 대해 인트라 예측을 행한다.
즉, 최적 모드/최적 시프트량 결정부(102)는 인트라 예측하는 대상 블록의 화소, 대응하는 인접 화소 및 내삽된 인접 화소의 화소값을 사용하여, 모든 인트라 예측 모드 및 모든 후보 시프트량에 대해, 인트라 예측을 행한다. 이 결과, 모든 인트라 예측 모드 및 모든 후보 시프트량에 대해, 예측 화상이 생성된다.
스텝 S103에 있어서, 최적 모드/최적 시프트량 결정부(102)는 예측 화상을 생성한 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드와 각 시프트량에 대해, 상술한 수학식 34 또는 수학식 35의 비용 함수값을 산출한다.
스텝 S104에 있어서, 최적 모드/최적 시프트량 결정부(102)는 산출한 비용 함수값을 비교함으로써, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대해, 각각 최적 모드 및 최적 시프트량을 결정한다.
스텝 S105에 있어서, 최적 모드/최적 시프트량 결정부(102)는, 스텝 S104에 있어서 결정된 각 최적 모드와 최적 시프트량 중에서, 스텝 S103에 있어서 산출된 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 시프트량을 선택한다. 즉, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대해 결정된 각 최적 모드와 최적 시프트량 중에서, 최적 인트라 예측 모드와 최적 시프트량이 선택된다. 선택된 예측 모드 및 시프트량의 정보는 대응하는 비용 함수값과 함께, 예측 화상 생성부(103)에 공급된다.
스텝 S106에 있어서, 예측 화상 생성부(103)는 최적 시프트량으로 위상이 시프트된 인접 화소를 사용하여, 예측 화상을 생성한다.
즉, 예측 화상 생성부(103)는 인트라 예측하는 대상 블록에 대응하는 인접 화소를 인접 화상 버퍼(101)로부터 판독한다. 그리고, 예측 화상 생성부(103)는 6탭의 FIR 필터 및 선형 내삽에 의해, 결정된 예측 모드에 따른 위상 방향으로, 판독한 인접 화소의 위상을 최적 시프트량으로 시프트한다.
예측 화상 생성부(103)는 위상이 시프트된 인접 화소를 사용하여, 최적 모드/최적 시프트량 결정부(102)에 의해 결정된 예측 모드에서 인트라 예측을 행하여, 대상 블록의 예측 화상을 생성한다. 생성된 예측 화상은, 대응하는 비용 함수값과 함께 예측 화상 선택부(77)에 공급된다.
[인접 화소 내삽 처리의 설명]
다음에, 도 25의 흐름도를 참조하여, 도 24의 스텝 S101의 인접 화소 내삽 처리에 대해 설명한다. 또한, 이 인접 화소 내삽 처리는 후보의 인트라 예측 모드마다 행해지는 처리이다. 또한, 도 25의 스텝 S111 내지 S116은 도 21의 스텝 S51 내지 S53, S55, S56 및 S58과 동일한 처리를 행하므로, 그 상세한 설명은 적절하게 생략한다.
최적 모드/최적 시프트량 결정부(102)로부터 후보의 인트라 예측 모드의 정보는 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)에 공급된다. 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 스텝 S111에 있어서, 후보의 인트라 예측 모드가 DC 모드인지 여부를 판정한다. 스텝 S111에 있어서, 후보의 인트라 예측 모드가 DC 모드가 아니라고 판정된 경우, 처리는 스텝 S112로 진행한다.
스텝 S112에 있어서, 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 후보의 인트라 예측 모드가, Vertical Prediction mode, Diagonal_Down_Left Prediction mode, 또는 Vertical_Left Prediction mode인지 여부를 판정한다.
스텝 S112에 있어서, 후보의 인트라 예측 모드가, Vertical Prediction mode, Diagonal_Down_Left Prediction mode, 또는 Vertical_Left Prediction mode라고 판정된 경우, 처리는 스텝 S113으로 진행한다.
스텝 S113에 있어서, 수평 방향 내삽부(111)는 후보의 인트라 예측 모드에 따라, 수평 방향의 내삽을 행한다. 수평 방향 내삽부(111)는 내삽된 상부 인접 화소의 정보를, 최적 모드/최적 시프트량 결정부(102)에 공급한다. 이때, 수직 방향 내삽부(112)는 수직 방향의 내삽 처리를 행하지 않는다.
스텝 S112에 있어서, 후보의 인트라 예측 모드가, Vertical Prediction mode, Diagonal_Down_Left Prediction mode 및 Vertical_Left Prediction mode가 아니라고 판정된 경우, 처리는 스텝 S114로 진행한다.
스텝 S114에 있어서, 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 후보의 인트라 예측 모드가 Horizontal Prediction mode, 또는 Horizontal_Up Prediction mode인지 여부를 판정한다. 스텝 S114에 있어서, 후보의 인트라 예측 모드가 Horizontal Prediction mode, 또는 Horizontal_Up Prediction mode라고 판정된 경우, 처리는 스텝 S115로 진행한다.
스텝 S115에 있어서, 수직 방향 내삽부(112)는 후보의 인트라 예측 모드에 따라, 수직 방향의 내삽을 행한다. 수직 방향 내삽부(112)는 내삽된 좌측부 인접 화소의 정보를, 최적 모드/최적 시프트량 결정부(102)에 공급한다. 이때, 수평 방향 내삽부(111)는 수평 방향의 내삽을 행하지 않는다.
스텝 S114에 있어서, 후보의 인트라 예측 모드가 Horizontal Prediction mode 및 Horizontal_Up Prediction mode가 아니라고 판정된 경우, 처리는 스텝 S116으로 진행한다.
스텝 S116에 있어서, 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 후보의 인트라 예측 모드에 따라, 수평 방향의 내삽 및 수직 방향의 내삽을 각각 행한다. 수평 방향 내삽부(111) 및 수직 방향 내삽부(112)는 내삽된 상부 인접 화소 및 좌측부 인접 화소의 정보를, 최적 모드/최적 시프트량 결정부(102)에 각각 공급한다.
부호화된 압축 화상은 소정의 전송로를 통해 전송되고, 화상 복호 장치에 의해 복호된다.
[화상 복호 장치의 구성예]
도 26은 본 발명을 적용한 화상 처리 장치로서의 화상 복호 장치의 일 실시 형태의 구성을 도시하고 있다.
화상 복호 장치(151)는 축적 버퍼(161), 가역 복호부(162), 역양자화부(163), 역직교 변환부(164), 연산부(165), 디블록 필터(166), 화면 재배열 버퍼(167), D/A 변환부(168), 프레임 메모리(169), 스위치(170), 인트라 예측부(171), 인접 화소 내삽부(172), 움직임 예측ㆍ보상부(173) 및 스위치(174)에 의해 구성되어 있다.
축적 버퍼(161)는 전송되어 온 압축 화상을 축적한다. 가역 복호부(162)는 축적 버퍼(161)로부터 공급된, 도 2의 가역 부호화부(66)에 의해 부호화된 정보를, 가역 부호화부(66)의 부호화 방식에 대응하는 방식으로 복호한다. 역양자화부(163)는 가역 복호부(162)에 의해 복호된 화상을, 도 2의 양자화부(65)의 양자화 방식에 대응하는 방식으로 역양자화한다. 역직교 변환부(164)는 도 2의 직교 변환부(64)의 직교 변환 방식에 대응하는 방식으로 역양자화부(163)의 출력을 역직교 변환한다.
역직교 변환된 출력은 연산부(165)에 의해 스위치(174)로부터 공급되는 예측 화상과 가산되어 복호된다. 디블록 필터(166)는 복호된 화상의 블록 변형을 제거한 후, 프레임 메모리(169)에 공급하여 축적시키는 동시에, 화면 재배열 버퍼(167)에 출력한다.
화면 재배열 버퍼(167)는 화상의 재배열을 행한다. 즉, 도 2의 화면 재배열 버퍼(62)에 의해 부호화의 순서를 위해 재배열된 프레임의 순서가, 원래의 표시의 순서대로 재배열된다. D/A 변환부(168)는 화면 재배열 버퍼(167)로부터 공급된 화상을 D/A 변환하고, 도시하지 않은 디스플레이에 출력하여 표시시킨다.
스위치(170)는 인터 처리되는 화상과 참조되는 화상을 프레임 메모리(169)로부터 판독하여, 움직임 예측ㆍ보상부(173)에 출력하는 동시에, 인트라 예측에 사용되는 화상을 프레임 메모리(169)로부터 판독하여, 인트라 예측부(171)에 공급한다.
인트라 예측부(171)에는 헤더 정보를 복호하여 얻어진 인트라 예측 모드를 나타내는 정보와, 인접 화소의 시프트량의 정보가, 가역 복호부(162)로부터 공급된다. 인트라 예측부(171)는 이들 정보를, 인접 화소 내삽부(172)에도 공급한다.
인트라 예측부(171)는 이들 정보에 기초하여, 필요에 따라, 인접 화소 내삽부(172)에 인접 화소의 위상을 시프트시키고, 인접 화소 또는 위상이 시프트된 인접 화소를 사용하여, 예측 화상을 생성하고, 생성한 예측 화상을 스위치(174)에 출력한다.
인접 화소 내삽부(172)는 인트라 예측부(171)로부터 공급되는 인트라 예측 모드에 따른 시프트 방향으로, 인트라 예측부(171)로부터 공급되는 시프트량으로, 인접 화소의 위상을 시프트시킨다. 실제로는, 인접 화소 내삽부(172)는 인트라 예측 모드에 따른 시프트 방향에 대해, 인접 화소에 대해, 6탭의 FIR 필터를 걸고, 선형 내삽함으로써, 인접 화소의 위상을, 소수 화소 정밀도로 시프트시킨다. 인접 화소 내삽부(172)는 위상이 시프트된 인접 화소를 인트라 예측부(171)에 공급한다.
움직임 예측ㆍ보상부(173)에는 헤더 정보를 복호하여 얻어진 정보(예측 모드 정보, 움직임 벡터 정보, 참조 프레임 정보)가 가역 복호부(162)로부터 공급된다. 인터 예측 모드를 나타내는 정보가 공급된 경우, 움직임 예측ㆍ보상부(173)는 움직임 벡터 정보와 참조 프레임 정보에 기초하여 화상에 움직임 예측과 보상 처리를 실시하여 예측 화상을 생성한다. 움직임 예측ㆍ보상부(173)는 인터 예측 모드에 의해 생성된 예측 화상을 스위치(174)에 출력한다.
스위치(174)는 움직임 예측ㆍ보상부(173) 또는 인트라 예측부(171)에 의해 생성된 예측 화상을 선택하여, 연산부(165)에 공급한다.
[인트라 예측부 및 인접 화소 내삽부의 구성예]
도 27은 인트라 예측부 및 인접 화소 내삽부의 상세한 구성예를 도시하는 블록도이다.
도 27의 예의 경우, 인트라 예측부(171)는 예측 모드 수신부(181), 시프트량 수신부(182), 인트라 예측 화상 생성부(183)에 의해 구성되어 있다. 인접 화소 내삽부(172)는 수평 방향 내삽부(191) 및 수직 방향 내삽부(192)에 의해 구성되어 있다.
예측 모드 수신부(181)는 가역 복호부(162)에 의해 복호된 인트라 예측 모드 정보를 수신한다. 예측 모드 수신부(181)는 수신한 인트라 예측 모드 정보를, 인트라 예측 화상 생성부(183), 수평 방향 내삽부(191) 및 수직 방향 내삽부(192)에 공급한다.
시프트량 수신부(182)는 가역 복호부(162)에 의해 복호된 시프트량(수평 방향 및 수직 방향)의 정보를 수신한다. 시프트량 수신부(182)는 수신한 시프트량 중, 수평 방향의 시프트량을, 수평 방향 내삽부(191)에 공급하고, 수직 방향의 시프트량을, 수직 방향 내삽부(192)에 공급한다.
인트라 예측 화상 생성부(183)에는 예측 모드 수신부(181)에 의해 수신된 인트라 예측 모드의 정보가 입력된다. 또한, 인트라 예측 화상 생성부(183)에는 수평 방향 내삽부(191)로부터 상부 인접 화소 또는 내삽된 상부 인접 화소의 정보와, 수직 방향 내삽부(192)로부터 좌측부 인접 화소 또는 내삽된 좌측부 인접 화소의 정보가 입력된다.
인트라 예측 화상 생성부(183)는 입력되는 인트라 예측 모드 정보가 나타내는 예측 모드에서, 인접 화소 또는 내삽된 인접 화소의 화소값을 사용하여, 인트라 예측을 행하여, 예측 화상을 생성하고, 생성한 예측 화상을 스위치(174)에 출력한다.
수평 방향 내삽부(191)는 예측 모드 수신부(181)로부터의 예측 모드에 따라, 프레임 메모리(169)로부터 상부 인접 화소를 판독한다. 수평 방향 내삽부(191)는 6탭의 FIR 필터 및 선형 내삽에 의해, 판독한 상부 인접 화소에 대해, 시프트량 수신부(182)로부터의 수평 방향의 시프트량으로, 위상을 시프트한다. 내삽된 상부 인접 화소 또는 내삽이 행해지지 않았던 상부 인접 화소[즉, 프레임 메모리(169)로부터의 인접 화소]의 정보는 인트라 예측 화상 생성부(183)에 공급된다. 도 27의 경우, 스위치(170)의 도시는 생략되어 있지만, 인접 화소는 프레임 메모리(169)로부터, 스위치(170)를 통해 판독된다.
수직 방향 내삽부(192)는 예측 모드 수신부(181)로부터의 예측 모드에 따라, 프레임 메모리(169)로부터 좌측부 인접 화소를 판독한다. 수직 방향 내삽부(192)는 6탭의 FIR 필터 및 선형 내삽에 의해, 판독한 좌측부 인접 화소에 대해, 시프트량 수신부(182)로부터의 수직 방향의 시프트량으로, 위상을 시프트한다. 선형 내삽된 좌측부 인접 화소 또는 내삽이 행해지지 않았던 좌측부 인접 화소[즉, 프레임 메모리(169)로부터의 인접 화소]의 정보는 인트라 예측 화상 생성부(183)에 공급된다.
[화상 복호 장치의 복호 처리의 설명]
다음에, 도 28의 흐름도를 참조하여, 화상 복호 장치(151)가 실행하는 복호 처리에 대해 설명한다.
스텝 S131에 있어서, 축적 버퍼(161)는 전송되어 온 화상을 축적한다. 스텝 S132에 있어서, 가역 복호부(162)는 축적 버퍼(161)로부터 공급되는 압축 화상을 복호한다. 즉, 도 2의 가역 부호화부(66)에 의해 부호화된 I 픽쳐, P 픽쳐 및 B 픽쳐가 복호된다.
이때, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드, 또는 인터 예측 모드를 나타내는 정보), 플래그 정보 및 시프트량의 정보 등도 복호된다.
즉, 예측 모드 정보가 인트라 예측 모드 정보인 경우, 예측 모드 정보와 시프트량의 정보는 인트라 예측부(171)에 공급된다. 예측 모드 정보가 인터 예측 모드 정보인 경우, 예측 모드 정보와 대응하는 움직임 벡터 정보 및 참조 프레임 정보는 움직임 예측ㆍ보상부(173)에 공급된다.
스텝 S133에 있어서, 역양자화부(163)는 가역 복호부(162)에 의해 복호된 변환 계수를, 도 2의 양자화부(65)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S134에 있어서 역직교 변환부(164)는 역양자화부(163)에 의해 역양자화된 변환 계수를, 도 2의 직교 변환부(64)의 특성에 대응하는 특성으로 역직교 변환한다. 이에 의해 도 2의 직교 변환부(64)의 입력[연산부(63)의 출력]에 대응하는 차분 정보가 복호되게 된다.
스텝 S135에 있어서, 연산부(165)는 후술하는 스텝 S141의 처리에서 선택되어, 스위치(174)를 통해 입력되는 예측 화상을 차분 정보와 가산한다. 이에 의해 원래의 화상이 복호된다. 스텝 S136에 있어서 디블록 필터(166)는 연산부(165)로부터 출력된 화상을 필터링한다. 이에 의해 블록 변형이 제거된다. 스텝 S137에 있어서 프레임 메모리(169)는 필터링된 화상을 기억한다.
스텝 S138에 있어서, 인트라 예측부(171) 및 움직임 예측ㆍ보상부(173)는 가역 복호부(162)로부터 공급되는 예측 모드 정보에 대응하여, 각각 화상의 예측 처리를 행한다.
즉, 가역 복호부(162)로부터 인트라 예측 모드 정보가 공급된 경우, 인트라 예측부(171)는 인트라 예측 모드의 인트라 예측 처리를 행한다. 이때, 인트라 예측부(171)는 인트라 예측 모드에 따른 시프트 방향으로, 가역 복호부(162)로부터 공급되는 시프트량으로 위상이 시프트된 인접 화소를 사용하여, 인트라 예측 처리를 행한다.
스텝 S138에 있어서의 예측 처리의 상세는 도 29를 참조하여 후술하지만, 이 처리에 의해, 인트라 예측부(171)에 의해 생성된 예측 화상, 또는 움직임 예측ㆍ보상부(173)에 의해 생성된 예측 화상이 스위치(174)에 공급된다.
스텝 S139에 있어서, 스위치(174)는 예측 화상을 선택한다. 즉, 인트라 예측부(171)에 의해 생성된 예측 화상, 또는 움직임 예측ㆍ보상부(173)에 의해 생성된 예측 화상 공급된다. 따라서, 공급된 예측 화상이 선택되어 연산부(165)에 공급되고, 상술한 바와 같이, 스텝 S134에 있어서 역직교 변환부(164)의 출력으로 가산된다.
스텝 S140에 있어서, 화면 재배열 버퍼(167)는 재배열을 행한다. 즉 화상 부호화 장치(51)의 화면 재배열 버퍼(62)에 의해 부호화를 위해 재배열된 프레임의 순서가, 원래의 표시의 순서로 재배열된다.
스텝 S141에 있어서, D/A 변환부(168)는 화면 재배열 버퍼(167)로부터의 화상을 D/A 변환한다. 이 화상이 도시하지 않은 디스플레이에 출력되어, 화상이 표시된다.
[예측 처리의 설명]
다음에, 도 29의 흐름도를 참조하여, 도 28의 스텝 S138의 예측 처리를 설명한다.
예측 모드 수신부(181)는 스텝 S171에 있어서, 대상 블록이 인트라 부호화되어 있는지 여부를 판정한다. 가역 복호부(162)로부터 인트라 예측 모드 정보가 예측 모드 수신부(181)에 공급되면, 예측 모드 수신부(181)는 스텝 S171에 있어서, 대상 블록이 인트라 부호화되어 있다고 판정하고, 처리는 스텝 S172으로 진행한다.
예측 모드 수신부(181)는 스텝 S172에 있어서, 가역 복호부(162)로부터의 인트라 예측 모드 정보를 수신, 취득한다. 예측 모드 수신부(181)는 수신한 인트라 예측 모드 정보를, 인트라 예측 화상 생성부(183), 수평 방향 내삽부(191) 및 수직 방향 내삽부(192)에 공급한다.
시프트량 수신부(182)는 스텝 S173에 있어서, 가역 복호부(162)에 의해 복호된 인접 화소의 시프트량(수평 방향 및 수직 방향)의 정보를 수신, 취득한다. 시프트량 수신부(182)는 수신한 시프트량 중, 수평 방향의 시프트량을, 수평 방향 내삽부(191)에 공급하고, 수직 방향의 시프트량을, 수직 방향 내삽부(192)에 공급한다.
수평 방향 내삽부(191) 및 수직 방향 내삽부(192)는 프레임 메모리(169)로부터 인접 화소를 판독하고, 스텝 S174에 있어서, 인접 화소 내삽 처리를 실행한다. 스텝 S174에 있어서의 인접 내삽 처리의 상세는 도 25를 참조하여 상술한 인접 내삽 처리와 기본적으로 동일한 처리이므로, 그 설명과 도시는 생략된다.
이 처리에 의해, 예측 모드 수신부(181)로부터의 인트라 예측 모드에 따른 시프트 방향으로, 내삽된 인접 화소, 혹은 인트라 예측 모드에 따라 내삽되지 않았던 인접 화소가, 인트라 예측 화상 생성부(183)에 공급된다.
즉, 인트라 예측 모드가 모드 2(DC 예측)의 경우, 수평 방향 내삽부(191) 및 수직 방향 내삽부(192)는 인접 화소의 내삽을 행하지 않고, 프레임 메모리(169)로부터 판독된 상부 및 좌측부 인접 화소를, 인트라 예측 화상 생성부(183)에 공급한다.
인트라 예측 모드가 모드 0(Vertical 예측), 모드 3(Diagonal_Down_Left 예측), 또는 모드 7(Vertical_Left 예측)의 경우, 수평 방향의 내삽만이 행해진다. 즉, 수평 방향 내삽부(191)는 프레임 메모리(169)로부터 판독된 상부 인접 화소에 대해, 시프트량 수신부(182)로부터의 수평 방향의 시프트량으로 내삽하고, 내삽된 상부 인접 화소를 인트라 예측 화상 생성부(183)에 공급한다. 이때, 수직 방향 내삽부(192)는 좌측부 인접 화소의 내삽을 행하지 않고, 프레임 메모리(169)로부터 판독된 좌측부 인접 화소를 인트라 예측 화상 생성부(183)에 공급한다.
인트라 예측 모드가 모드 1(Horizontal 예측), 또는 모드 8(Horizontal_Up 예측)의 경우, 수직 방향만의 내삽이 행해진다. 즉, 수직 방향 내삽부(192)는 프레임 메모리(169)로부터 판독된 좌측부 인접 화소에 대해, 시프트량 수신부(182)로부터의 수직 방향의 시프트량으로 내삽하고, 내삽된 좌측부 인접 화소를, 인트라 예측 화상 생성부(183)에 공급한다. 이때, 수평 방향 내삽부(191)는 상부 인접 화소의 내삽을 행하지 않고, 프레임 메모리(169)로부터 판독된 상부 인접 화소를 인트라 예측 화상 생성부(183)에 공급한다.
인트라 예측 모드가 그 밖의 예측 모드인 경우, 수평 방향 및 수직 방향의 내삽이 행해진다. 즉, 수평 방향 내삽부(191)는 프레임 메모리(169)로부터 판독된 상부 인접 화소에 대해, 시프트량 수신부(182)로부터의 수평 방향의 시프트량으로 내삽하고, 내삽된 상부 인접 화소를 인트라 예측 화상 생성부(183)에 공급한다. 수직 방향 내삽부(192)는 프레임 메모리(169)로부터 판독된 좌측부 인접 화소에 대해, 시프트량 수신부(182)로부터의 수직 방향의 시프트량으로 내삽하고, 내삽된 좌측부 인접 화소를 인트라 예측 화상 생성부(183)에 공급한다.
스텝 S175에 있어서, 인트라 예측 화상 생성부(183)는 입력되는 인트라 예측 모드 정보가 나타내는 예측 모드에서, 수평 방향 내삽부(191) 및 수직 방향 내삽부(192)로부터의 인접 화소 또는 내삽된 인접 화소의 화소값을 사용하여, 인트라 예측을 행한다. 이 인트라 예측에 의해, 예측 화상이 생성되고, 생성된 예측 화상은 스위치(174)에 출력된다.
한편, 스텝 S171에 있어서, 인트라 부호화되어 있지 않다고 판정된 경우, 처리는 스텝 S176으로 진행한다.
처리 대상의 화상이 인터 처리되는 화상인 경우, 가역 복호부(162)로부터 인터 예측 모드 정보, 참조 프레임 정보, 움직임 벡터 정보가 움직임 예측ㆍ보상부(173)에 공급된다. 스텝 S176에 있어서, 움직임 예측ㆍ보상부(173)는 가역 복호부(162)로부터의 인터 예측 모드 정보, 참조 프레임 정보, 움직임 벡터 정보 등을 취득한다.
그리고, 움직임 예측ㆍ보상부(173)는 스텝 S177에 있어서, 인터 움직임 예측을 행한다. 즉, 처리 대상의 화상이 인터 예측 처리되는 화상인 경우, 필요한 화상이 프레임 메모리(169)로부터 판독되고, 스위치(170)를 통해 움직임 예측ㆍ보상부(173)에 공급된다. 스텝 S177에 있어서 움직임 예측ㆍ보상부(173)는 스텝 S176에서 취득한 움직임 벡터에 기초하여, 인터 예측 모드의 움직임 예측을 하여, 예측 화상을 생성한다. 생성한 예측 화상은 스위치(174)에 출력된다.
이상과 같이, 화상 부호화 장치(51)에 있어서, 6탭의 FIR 필터와 선형 내삽에 의해, 소수 화소 정밀도의 화소를 구하고, 최적의 시프트량을 결정하도록 하였으므로, 인트라 예측 모드에 있어서 사용되는 화소값의 선택지를 늘릴 수 있다. 이에 의해 최적의 인트라 예측을 행할 수 있고, 인트라 예측에 있어서의 부호화 효율을 더욱 향상시키는 것이 가능하다.
또한, H.264/AVC 방식에 있어서는, 도 4를 참조하여 상술한 인터 움직임 예측 보상에밖에 사용되지 않았던 6탭의 FIR 필터의 회로를, 인트라 예측에도 유효 활용할 수 있다. 이에 의해, 회로를 증대시키는 일 없이, 효율을 개선할 수 있다.
또한, H.264/AVC 방식에 있어서 정해져 있는 인트라 예측의 분해능인 22.5°보다 더욱 미세한 분해능에 의한 인트라 예측을 행할 수 있다.
또한, 화상 부호화 장치(51)에 있어서는, 비특허 문헌 2에 기재된 제안과 달리, H.264/AVC 방식의 인트라 예측에서 사용되는 대상 블록에 소정의 위치에서 인접하는 화소만이 인트라 예측에서 사용된다. 즉, 인접 화소 버퍼(81)에 판독하는 화소는 인접 화소만으로도 좋다.
따라서, 비특허 문헌 2의 제안에 있어서의 부호화 대상이 되는 블록의 인접 화소 이외의 화소도 예측에 사용하는 것에 의한 메모리 액세스 횟수나 처리의 증가, 즉 처리 효율의 저하를 회피할 수 있다.
또한, 상기 설명에 있어서는, 인접 화소 내삽 처리로서, 휘도 신호의 인트라 4×4 예측 모드의 경우를 예로 들어 설명하였지만, 본 발명은 인트라 8×8이나 인트라 16×16 예측 모드의 경우에도 적용할 수 있다. 또한, 본 발명은 색차 신호의 인트라 예측 모드의 경우에도 적용할 수 있다.
또한, 인트라 8×8 예측 모드의 경우에는 인트라 4×4 예측 모드의 경우와 마찬가지로, 모드 2(DC prediction mode)에 관해서는, 평균값 처리를 행하게 된다. 따라서, 시프트를 행하였다고 해도, 부호화 효율의 향상에는 직접 관여하지 않으므로, 상술한 동작은 금지되어, 행해지지 않는다.
모드 0(Vertical Prediction mode), 모드 3(Diagonal_Down_Left Prediction mode), 또는 모드 7(Vertical_Left Prediction mode)에 관해서는, 도 18에 있어서의 상부 인접 화소 A0, A1, A2, …만의 시프트가 후보로 된다.
모드 1(Horizontal Prediction mode), 또는 모드 8(Horizontal_Up Prediction mode)에 관해서는, 도 18에 있어서의 좌측부 인접 화소I0, I1, I2, …만의 시프트가 후보로 된다.
그 밖의 모드(모드 4 내지 6)에 관해서는, 상부 인접 화소 및 좌측부 인접 화소의 양쪽에 관하여, 시프트를 고려할 필요가 있다.
또한, 인트라 16×16 예측 모드 및 색차 신호의 인트라 예측 모드의 경우, Vertical Prediction mode에 관해서는, 상부 인접 화소의 수평 방향의 시프트만이 행해진다. Horizontal Prediction mode에 관해서는, 좌측부 인접 화소의 수직 방향의 시프트만이 행해진다. DC Prediction mode에 관해서는, 시프트 처리는 행해지지 않는다. Plane Prediction mode에 관해서는, 상부 인접 화소의 수평 방향의 시프트 및 좌측부 인접 화소의 수직 방향의 시프트의 양쪽이 행해진다.
또한, 비특허 문헌 1에 기재되어 있는 바와 같이, 움직임 예측에서 1/8 화소 정밀도의 내삽 처리가 행해지고 있는 경우, 본 발명에 있어서도, 1/8 화소 정밀도의 내삽 처리가 행해진다.
이상에 있어서는, 부호화 방식으로서 H.264/AVC 방식을 사용하도록 하였지만, 본 발명은 이에 한정되지 않고, 인접 화소를 사용한 인트라 예측을 행하는, 그 밖의 부호화 방식/복호 방식을 적용할 수 있다.
또한, 본 발명은, 예를 들어 MPEG, H.26x 등과 같이 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축된 화상 정보(비트 스트림)를, 위성 방송, 케이블 텔레비전, 인터넷, 또는 휴대 전화기 등의 네트워크 미디어를 통해 수신할 때에 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 발명은 광, 자기 디스크 및 플래시 메모리와 같은 기억 미디어 상에서 처리할 때에 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 발명은 그들의 화상 부호화 장치 및 화상 복호 장치 등에 포함되는 움직임 예측 보상 장치에도 적용할 수 있다.
상술한 일련의 처리는 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 범용의 퍼스널 컴퓨터 등이 포함된다.
도 30은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(301), ROM(Read Only Memory)(302), RAM(Random Access Memory)(303)은 버스(304)에 의해 서로 접속되어 있다. 버스(304)에는, 또한, 입출력 인터페이스(305)가 접속되어 있다. 입출력 인터페이스(305)에는 입력부(306), 출력부(307), 기억부(308), 통신부(309) 및 드라이브(310)가 접속되어 있다.
입력부(306)는 키보드, 마우스, 마이크로폰 등으로 이루어진다. 출력부(307)는 디스플레이, 스피커 등으로 이루어진다. 기억부(308)는 하드 디스크나 비휘발성의 메모리 등으로 이루어진다. 통신부(309)는 네트워크 인터페이스 등으로 이루어진다. 드라이브(310)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(311)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는 CPU(301)가, 예를 들어 기억부(308)에 기억되어 있는 프로그램을 입출력 인터페이스(305) 및 버스(304)를 통해 RAM(303)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터[CPU(301)]가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(311)에 기록하여 제공할 수 있다. 또한, 프로그램은 근거리 통신망, 인터넷, 디지털 방송 등의, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터에서는, 프로그램은 리무버블 미디어(311)를 드라이브(310)에 장착함으로써, 입출력 인터페이스(305)를 통해 기억부(308)에 인스톨할 수 있다. 또한, 프로그램은 유선 또는 무선의 전송 매체를 통해 통신부(309)에서 수신하고, 기억부(308)에 인스톨할 수 있다. 그 밖에, 프로그램은 ROM(302)이나 기억부(308)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이라도 좋고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이라도 좋다.
본 발명의 실시 형태는 상술한 실시 형태로 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
51 : 화상 부호화 장치
66 : 가역 부호화부
74 : 인트라 예측부
75 : 인접 화소 내삽부
76 : 움직임 예측ㆍ보상부
77 : 예측 화상 선택부
81 : 인접 화소 버퍼
82 : 최적 모드 결정부
83 : 최적 시프트량 결정부
84 : 예측 화상 생성부
91 : 모드 판정부
92 : 수평 방향 내삽부
93 : 수직 방향 내삽부
151 : 화상 복호 장치
162 : 가역 복호부
171 : 인트라 예측부
172 : 인접 화소 내삽부
173 : 움직임 예측ㆍ보상부
174 : 스위치
181 : 예측 모드 수신부
182 : 시프트량 수신부
183 : 인트라 예측 화상 생성부
191 : 수평 방향 내삽부
192 : 수직 방향 내삽부

Claims (8)

  1. 비트 스트림을 복호 처리해서 얻어지는 화상을 대상으로 하여, 복호 처리 대상이 되는 대상 블록의 화소에 대해 인트라 예측을 행할 때의 예측 모드에 따라, 상기 대상 블록의 화소에 대해 인트라 예측을 행할 때 참조하는 인접 화소의 위상을 상기 대상 블록 내의 화소의 위치에 따라 시프트시킬지, 상기 인접 화소의 위상을 상기 대상 블록 내의 화소의 위치에 따라 시프트시키지 않을지를 선택하는 선택부와,
    상기 선택부에 의해 상기 인접 화소의 위상을 시프트시킨다고 선택된 경우에 상기 인트라 예측 모드와 상기 대상 블록 내의 화소의 위치에 따라, 상기 인접 화소의 위상을 시프트하는 때의 시프트 방향과 시프트량을 설정하는 설정부와,
    상기 설정부에 의해 설정된 시프트 방향과 시프트량에 따라, 상기 인접 화소의 위상을 시프트시키는 시프트부,
    상기 시프트부에 의해 위상이 시프트된 인접 화소를 사용하여 상기 대상 블록의 화소에 대해 인트라 예측을 행하고, 예측 화상을 생성하는 인트라 예측부,
    상기 인트라 예측부에 의해 생성된 예측 화상을 사용하여, 상기 비트 스트림을 복호화 처리하는 복호부를 포함하는,
    화상 처리 장치.
  2. 제1항에 있어서,
    상기 인트라 예측부는, 상기 선택부에 의해 인접 화소의 위상을 상기 대상 블록 내의 화소의 위치에 따라 시프트시키지 않는다고 선택된 경우에, 위상이 시프트되지 않은 인접 화소를 사용하여 상기 대상 블록의 화소에 대해 인트라 예측을 행하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 시프트부는, 상기 인접 화소에 대한 선형 보간 처리를 행함으로써, 소수 화소 정밀도(precision)의 위치에 상기 인접 화소의 위상을 시프트시키고,
    상기 인트라 예측부는, 상기 시프트부에 의해 소수 화소 정밀도의 위치에 위상이 시프트된 인접 화소를 사용하여 소수 화소 정밀도로 인트라 예측을 행하는, 화상 처리 장치.
  4. 제3항에 있어서,
    상기 인트라 예측부는, 22.5도 보다도 미세한 분해능으로 인트라 예측을 행하는, 화상 처리 장치.
  5. 화상 처리 장치가,
    비트 스트림을 복호 처리해서 얻어지는 화상을 대상으로 하여, 복호 처리 대상이 되는 대상 블록의 화소에 대해 인트라 예측을 행할 때의 예측 모드에 따라, 상기 대상 블록의 화소에 대해 인트라 예측을 행할 때 참조하는 인접 화소의 위상을 상기 대상 블록 내의 화소의 위치에 따라 시프트시킬지, 상기 인접 화소의 위상을 상기 대상 블록 내의 화소의 위치에 따라 시프트시키지 않을지를 선택하고,
    상기 인접 화소의 위상을 시프트시킨다고 선택된 경우에 상기 인트라 예측 모드와 상기 대상 블록 내의 화소의 위치에 따라, 상기 인접 화소의 위상을 시프트하는 때의 시프트 방향과 시프트량을 설정하고,
    상기 설정된 시프트 방향과 시프트량에 따라, 상기 인접 화소의 위상을 시프트시키고,
    상기 위상이 시프트된 인접 화소를 사용하여 상기 대상 블록의 화소에 대해 인트라 예측을 행하고, 예측 화상을 생성하며,
    상기 생성된 예측 화상을 사용하여, 상기 비트 스트림을 복호화 처리하는,
    화상 처리 방법.
  6. 컴퓨터에 의해 실행되었을 때, 복호 방법을 상기 컴퓨터가 실행하도록 하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체로서,
    상기 복호 방법은,
    비트 스트림을 복호 처리해서 얻어지는 화상을 대상으로 하여, 복호 처리 대상이 되는 대상 블록의 화소에 대해 인트라 예측을 행할 때의 예측 모드에 따라, 상기 대상 블록의 화소에 대해 인트라 예측을 행할 때 참조하는 인접 화소의 위상을 상기 대상 블록 내의 화소의 위치에 따라 시프트시킬지, 상기 인접 화소의 위상을 상기 대상 블록 내의 화소의 위치에 따라 시프트시키지 않을지를 선택하는 선택하는 선택 단계,
    상기 인접 화소의 위상을 시프트시킨다고 선택된 경우에 상기 인트라 예측 모드와 상기 대상 블록 내의 화소의 위치에 따라, 상기 인접 화소의 위상을 시프트하는 때의 시프트 방향과 시프트량을 설정하는 단계,
    상기 설정된 시프트 방향과 시프트량에 따라, 상기 인접 화소의 위상을 시프트시키는 단계,
    상기 위상이 시프트된 인접 화소를 사용하여 상기 대상 블록의 화소에 대해 인트라 예측을 행하고, 예측 화상을 생성하는 단계,
    상기 생성된 예측 화상을 사용하여, 상기 비트 스트림을 복호화 처리하는 단계를 포함하는,
    컴퓨터 판독가능 기록 매체.
  7. 삭제
  8. 삭제
KR1020167018256A 2009-04-24 2010-04-22 화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체 KR101697056B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009105937A JP5169978B2 (ja) 2009-04-24 2009-04-24 画像処理装置および方法
JPJP-P-2009-105937 2009-04-24
PCT/JP2010/057127 WO2010123056A1 (ja) 2009-04-24 2010-04-22 画像処理装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117024189A Division KR101641400B1 (ko) 2009-04-24 2010-04-22 복호 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036971A Division KR101786418B1 (ko) 2009-04-24 2010-04-22 화상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160086419A KR20160086419A (ko) 2016-07-19
KR101697056B1 true KR101697056B1 (ko) 2017-01-16

Family

ID=43011172

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020167036971A KR101786418B1 (ko) 2009-04-24 2010-04-22 화상 처리 장치 및 방법
KR1020117024189A KR101641400B1 (ko) 2009-04-24 2010-04-22 복호 장치 및 방법
KR1020167018256A KR101697056B1 (ko) 2009-04-24 2010-04-22 화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체
KR1020157003667A KR101641474B1 (ko) 2009-04-24 2010-04-22 부호화 장치 및 방법
KR1020167018257A KR101690471B1 (ko) 2009-04-24 2010-04-22 화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020167036971A KR101786418B1 (ko) 2009-04-24 2010-04-22 화상 처리 장치 및 방법
KR1020117024189A KR101641400B1 (ko) 2009-04-24 2010-04-22 복호 장치 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020157003667A KR101641474B1 (ko) 2009-04-24 2010-04-22 부호화 장치 및 방법
KR1020167018257A KR101690471B1 (ko) 2009-04-24 2010-04-22 화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체

Country Status (12)

Country Link
US (4) US10755444B2 (ko)
EP (3) EP3211895A1 (ko)
JP (1) JP5169978B2 (ko)
KR (5) KR101786418B1 (ko)
CN (5) CN104320666B (ko)
AU (1) AU2010240090B2 (ko)
BR (1) BRPI1015330B1 (ko)
CA (2) CA2973288C (ko)
MX (1) MX2011010960A (ko)
RU (3) RU2547634C2 (ko)
TW (5) TWI540901B (ko)
WO (1) WO2010123056A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
ES2718426T3 (es) 2010-12-17 2019-07-01 Mitsubishi Electric Corp Dispositivo de codificación de imágenes en movimiento, dispositivo de decodificación de imágenes en movimiento, método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
JP2012147332A (ja) * 2011-01-13 2012-08-02 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法
TW201235974A (en) * 2011-02-25 2012-09-01 Altek Corp Image processing apparatus and memory accessing method thereof
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR101654673B1 (ko) 2011-06-28 2016-09-22 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
TWI484442B (zh) * 2012-09-20 2015-05-11 Univ Nat Taiwan Science Tech 錯視影像產生裝置及其方法
CN103152540B (zh) * 2013-03-11 2016-01-20 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
CN105338366B (zh) * 2015-10-29 2018-01-19 北京工业大学 一种视频序列中分数像素的解码方法
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
US11368682B2 (en) 2016-04-26 2022-06-21 Intellectual Discovery Co., Ltd. Method and device for encoding/decoding image
MX2019004151A (es) 2016-10-11 2019-08-05 Lg Electronics Inc Metodo y aparato de decodificación de imagen basados en la intrapredicción en sistema de codificación de imagen.
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
US11431971B2 (en) 2019-06-24 2022-08-30 Industrial Technology Research Institute Method and image processing apparatus for video coding
JP7188594B2 (ja) * 2019-07-18 2022-12-13 日本電気株式会社 画像処理装置および画像処理方法
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2023192336A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction
WO2023212254A1 (en) * 2022-04-27 2023-11-02 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
WO2007093629A1 (en) 2006-02-17 2007-08-23 Thomson Licensing Process for coding images using intra prediction mode

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078657A (ko) * 1996-05-20 1997-12-12 구자홍 비디오 데이타 압축 장치
FR2756399B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法
US6418408B1 (en) * 1999-04-05 2002-07-09 Hughes Electronics Corporation Frequency domain interpolative speech codec system
US6987893B2 (en) * 2001-01-05 2006-01-17 Lg Electronics Inc. Image interpolation method and apparatus thereof
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP2003037843A (ja) * 2001-07-23 2003-02-07 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003348595A (ja) 2002-05-28 2003-12-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
AU2003248913A1 (en) * 2003-01-10 2004-08-10 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
BRPI0408087A (pt) * 2003-03-03 2006-02-14 Agency Science Tech & Res método de intrapredição de codificação de vìdeo avançada (avc) para codificar vìdeo digital, aparelho que utiliza essa intrapredição e produto de programa de computador
JP3968712B2 (ja) * 2003-04-28 2007-08-29 ソニー株式会社 動き予測補償装置及びその方法
US8417066B2 (en) * 2004-03-04 2013-04-09 Broadcom Corporation Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
JP5037938B2 (ja) * 2004-04-28 2012-10-03 日立コンシューマエレクトロニクス株式会社 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
WO2006020019A1 (en) * 2004-07-15 2006-02-23 Qualcomm Incorporated H.264 spatial error concealment based on the intra-prediction direction
JP4501631B2 (ja) * 2004-10-26 2010-07-14 日本電気株式会社 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
US7830960B2 (en) * 2005-01-13 2010-11-09 Qualcomm Incorporated Mode selection techniques for intra-prediction video encoding
US8340175B2 (en) * 2005-04-13 2012-12-25 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
KR100718135B1 (ko) * 2005-08-24 2007-05-14 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
JP4650173B2 (ja) * 2005-09-05 2011-03-16 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US7929608B2 (en) * 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
US7545740B2 (en) 2006-04-07 2009-06-09 Corrigent Systems Ltd. Two-way link aggregation
US20070286277A1 (en) * 2006-06-13 2007-12-13 Chen Xuemin Sherman Method and system for video compression using an iterative encoding algorithm
CN102685496B (zh) * 2006-07-10 2014-11-05 夏普株式会社 用于组合多层比特流中的层的方法和系统
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
AU2006346583B2 (en) 2006-07-28 2011-04-28 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
JP4854019B2 (ja) 2006-11-29 2012-01-11 独立行政法人情報通信研究機構 意見収集システム、意見収集方法および意見収集プログラム
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
US8942505B2 (en) 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
KR101103699B1 (ko) * 2007-02-23 2012-01-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
JP4762938B2 (ja) * 2007-03-06 2011-08-31 三菱電機株式会社 データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法
JP2008271371A (ja) * 2007-04-24 2008-11-06 Sharp Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
JP2009010492A (ja) * 2007-06-26 2009-01-15 Hitachi Ltd 画像復号化装置及び画像変換回路
CN101115207B (zh) * 2007-08-30 2010-07-21 上海交通大学 基于预测点间相关性的帧内预测实现的方法及装置
KR101712915B1 (ko) * 2007-10-16 2017-03-07 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
JP2009284275A (ja) 2008-05-23 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
KR101479141B1 (ko) * 2009-12-10 2015-01-07 에스케이텔레콤 주식회사 트리 구조를 이용한 부호화/복호화 방법 및 장치
JP2012086745A (ja) 2010-10-21 2012-05-10 Tenryu Kogyo Kk 乗物用座席のヘッドレスト構造
JP5614233B2 (ja) 2010-10-21 2014-10-29 トヨタ自動車株式会社 排気部品の遮熱構造
JP5488684B2 (ja) 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5488685B2 (ja) 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
WO2007093629A1 (en) 2006-02-17 2007-08-23 Thomson Licensing Process for coding images using intra prediction mode

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Drugeon et al., "High Precision Edge Prediction for Intra Coding", ICIP, 15th IEEE International Conference on Image Processing, pp.1620-1623.

Also Published As

Publication number Publication date
US10755445B2 (en) 2020-08-25
CA2973288A1 (en) 2010-10-28
CN104320664B (zh) 2018-09-14
CN102396230B (zh) 2015-06-17
BRPI1015330A2 (pt) 2016-05-31
RU2015103222A3 (ko) 2018-07-27
TW201347561A (zh) 2013-11-16
US11107251B2 (en) 2021-08-31
RU2665877C2 (ru) 2018-09-04
WO2010123056A1 (ja) 2010-10-28
MX2011010960A (es) 2011-11-02
CN104320666A (zh) 2015-01-28
TWI531216B (zh) 2016-04-21
CA2973288C (en) 2018-12-04
RU2011142001A (ru) 2013-04-27
KR101641474B1 (ko) 2016-07-20
CN104320665A (zh) 2015-01-28
KR101641400B1 (ko) 2016-07-20
US20130301941A1 (en) 2013-11-14
KR20170005158A (ko) 2017-01-11
KR101786418B1 (ko) 2017-10-17
CN104320664A (zh) 2015-01-28
US20200320746A1 (en) 2020-10-08
AU2010240090B2 (en) 2015-11-12
TW201105144A (en) 2011-02-01
AU2010240090A1 (en) 2011-10-27
EP3211896A1 (en) 2017-08-30
CN104320666B (zh) 2018-11-02
CN104363457A (zh) 2015-02-18
CA2755889C (en) 2017-08-15
TWI524743B (zh) 2016-03-01
KR101690471B1 (ko) 2016-12-27
CN104363457B (zh) 2018-09-04
RU2665876C2 (ru) 2018-09-04
RU2547634C2 (ru) 2015-04-10
TWI400960B (zh) 2013-07-01
US20190221007A1 (en) 2019-07-18
KR20160086419A (ko) 2016-07-19
TWI528789B (zh) 2016-04-01
CN104320665B (zh) 2018-08-31
JP5169978B2 (ja) 2013-03-27
RU2015103369A (ru) 2015-06-20
US10755444B2 (en) 2020-08-25
US9123109B2 (en) 2015-09-01
US20120033736A1 (en) 2012-02-09
EP2424246A1 (en) 2012-02-29
KR20160086420A (ko) 2016-07-19
CN102396230A (zh) 2012-03-28
TW201347559A (zh) 2013-11-16
BRPI1015330B1 (pt) 2021-04-13
JP2010258740A (ja) 2010-11-11
KR20150022027A (ko) 2015-03-03
EP3211895A1 (en) 2017-08-30
EP2424246A4 (en) 2013-10-02
TW201347560A (zh) 2013-11-16
CA2755889A1 (en) 2010-10-28
TW201347558A (zh) 2013-11-16
RU2015103222A (ru) 2016-08-20
TWI540901B (zh) 2016-07-01
KR20120027145A (ko) 2012-03-21
RU2015103369A3 (ko) 2018-07-27

Similar Documents

Publication Publication Date Title
KR101697056B1 (ko) 화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체
WO2010001917A1 (ja) 画像処理装置および方法
US20120147960A1 (en) Image Processing Apparatus and Method
JP5488684B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5488685B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
AU2015255215B2 (en) Image processing apparatus and method
JP6102977B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6102978B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5776804B2 (ja) 画像処理装置および方法、並びに記録媒体
JP5776803B2 (ja) 画像処理装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4