KR102032000B1 - 변경된 이미지 블록 경계 세기 유도에 의한 디블로킹 필터링 - Google Patents

변경된 이미지 블록 경계 세기 유도에 의한 디블로킹 필터링

Info

Publication number
KR102032000B1
KR102032000B1 KR1020147010257A KR20147010257A KR102032000B1 KR 102032000 B1 KR102032000 B1 KR 102032000B1 KR 1020147010257 A KR1020147010257 A KR 1020147010257A KR 20147010257 A KR20147010257 A KR 20147010257A KR 102032000 B1 KR102032000 B1 KR 102032000B1
Authority
KR
South Korea
Prior art keywords
parameter
video
block
data
deblocking
Prior art date
Application number
KR1020147010257A
Other languages
English (en)
Other versions
KR20140098740A (ko
Inventor
토마스 베디
아난드 코트라
마티아스 나로쉬케
세미흐 에센릭
Original Assignee
선 페이턴트 트러스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선 페이턴트 트러스트 filed Critical 선 페이턴트 트러스트
Publication of KR20140098740A publication Critical patent/KR20140098740A/ko
Application granted granted Critical
Publication of KR102032000B1 publication Critical patent/KR102032000B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Abstract

본 발명은, 디블로킹 필터링에 관련된 경계 세기 유도 및 결정 처리에 유리한 방식에 관한 것이다. 더 상세하게는, 본 발명은, 계산 사이클의 수와 필요한 메모리 공간을 감소시키기 위해, 디블로킹을 결정하여 종래 기술에서 알려진 적절한 디블로킹 필터를 선택하는 방식을 개선한다.

Description

변경된 이미지 블록 경계 세기 유도에 의한 디블로킹 필터링{DEBLOCKING FILTERING WITH MODIFIED IMAGE BLOCK BOUNDARY STRENGTH DERIVATION}
본 발명은 이미지의 필터링에 관한 것이다. 상세하게, 본 발명은 디블로킹 필터링과, 디블로킹 필터링을 위한 결정 기준의 유도에 관한 것이다.
현재, 다수의 표준화된 비디오 부호화 알고리즘은 혼합 비디오 부호화를 기반으로 한다. 혼합 비디오 부호화 방법은 통상 여러 상이한 무손실 및 손실 압축 방식을 혼합하여 원하는 압축 이득을 달성한다. 혼합 비디오 부호화는 또한 ISO/IEC 표준(MPEG-1, MPEG-2 및 MPEG-4와 같은 MPEG-X 표준) 뿐만 아니라 ITU-T 표준(H.261, H.263과 같은 H.26x 표준)에 대한 기반이다. 최신의 및 개선된 비디오 부호화 표준은 현재, 연합 비디오 팀(JVT: Joint Video Team), 즉 ITU-T와 ISO/IEC MPEG 그룹의 연합 팀에 의한 표준화 노력의 결과인 H.264/MPEG-4 개선된 비디오 부호화(AVC: Advanced Video Coding)로서 지칭되는 표준이다. 이 코덱은, 특히 고해상도 비디오 부호화에 관한 효율 개선을 목적으로 하는 명칭, 고효율 비디오 부호화(HEVC: High-Efficiency Video Coding) 하의 비디오 부호화에 관한 연합 협력 팀(JCT-VC: Joint Collaborative Team on Video Coding)에 의해 더 개발되고 있다.
부호화기에 입력된 비디오 신호는 프레임으로 불리는 이미지의 시퀀스이며, 각 프레임은 2차원 픽셀 매트릭스이다. 혼합 비디오 부호화를 기반으로 한 모든 상기 언급한 표준은 각 개별 비디오 프레임을 복수의 픽셀로 구성된 더 작은 블록으로 세분하는 단계를 포함한다. 블록의 크기는 예컨대 이미지의 내용에 따라 다를 수 있다. 부호화의 방식은 통상 블록 단위마다 다를 수 있다. 그러한 블록에 대한 최대 가능 크기는 예컨대 HEVC에서 64x64개의 픽셀이다. 이것은 이때 최대 부호화 유닛(LCU: Largest Coding Unit)이라고 불린다. H.264/MPEG-4 AVC에서, (보통 16x16개의 픽셀의 블록을 지칭하는) 매크로블록은, 부호화/복호 단계 중 일부가 적용되었던 더 작은 서브블록으로 더 분리할 가능성을 가지고, 부호화가 실행된 기반 이미지 요소였다.
통상, 혼합 비디오 부호화의 부호화 단계는 공간 및/또는 시간 예측을 포함한다. 따라서, 부호화될 각 블록은 먼저 그 공간적 이웃 블록이나 그 시간적 이웃으로부터의, 즉 이전에 부호화된 비디오 프레임으로부터의 블록을 사용하여 예측된다. 부호화될 블록과, 예측 잔여 블록이라고도 불리는 그 예측 사이의 차이 블록을 그 후 계산한다. 다른 부호화 단계는 공간(픽셀) 도메인으로부터 주파수 도메인으로 잔여 블록의 변환이다. 이 변환은 입력 블록의 상관을 감소시키는 것을 목적으로 한다. 추가 부호화 단계는 변환 계수의 양자화이다. 이 단계에서, 실제 손실(비가역적) 압축이 발생한다. 보통, 압축된 변환 계수 값은 엔트로피 부호화에 의해 추가로 컴팩트화된다(무손실 압축된다). 게다가, 부호화된 비디오 신호의 재구성에 필요한 부차적인 정보가 부호화된 비디오 신호와 함께 부호화되어 제공된다. 이것은 예컨대 공간 및/또는 시간 예측, 양자화 양 등에 관한 정보이다.
도 1은 통상적인 H.264/MPEG-4 AVC 및/또는 HEVC 비디오 부호화기(100)의 예이다. 감산기(105)는 먼저 입력 비디오 이미지의 부호화될 현재의 블록(입력 신호(s))과 부호화될 현재의 블록의 예측으로서 사용되는 대응하는 예측 블록() 사이의 차이(e)를 결정한다. 예측 신호는 시간 또는 공간 예측(180)에 의해 얻어질 수 있다. 예측의 타입은 프레임 단위로나 블록 단위로 얻을 수 있다. 시간적 예측을 사용하여 예측된 블록 및/또는 프레임은 "상호"-부호화된다고 하며, 공간적 예측을 사용하여 예측된 블록 및/또는 프레임은 "내부"-부호화된다고 한다. 시간적 예측을 사용한 예측 신호는, 메모리에 저장되는 이전에 부호화된 이미지로부터 유도된다. 공간적 예측을 사용한 예측 신호는, 이전에 부호화되고, 복호되어 메모리에 저장된 이웃 블록에서의 경계 픽셀의 값으로부터 유도된다. 예측 에러나 잔여로 지칭되는, 입력 신호와 예측 신호 사이의 차이(e)는 변환되어(110), 계수를 생성하며, 이 계수는 양자화된다(120). 엔트로피 부호화기(190)는 그 후 양자화된 계수가 적용되어, 무손실 방식으로 저장 및/또는 송신될 데이터 양을 더 감소시킨다. 이점은 주로 가변 길이의 코드 워드를 갖는 코드를 적용함으로써 달성되며, 코드 워드의 길이는 그 발생 확률을 기반으로 하여 선택된다.
비디오 부호화기(100) 내에서, 복호 유닛이 복호된(재구성된) 비디오 신호(s')를 얻기 위해 병합된다. 부호화 단계에 부합하여, 복호 단계는 역양자화 및 역변환(130)을 포함한다. 그렇게 얻은 예측 에러 신호(e')는 양자화 잡음으로도 불리는 양자화 에러로 인해 원래의 예측 에러 신호로와 상이하다. 재구성된 이미지 신호(s')는 그 후 복호된 예측 에러 신호(e')를 예측 신호()에 더함으로써(140) 얻어진다. 부호화기 측과 복호기 측 사이의 호환성을 유지하기 위해, 예측 신호()는, 부호화기와 복호기 양측에서 알려진 부호화된 및 후속하여 복호된 비디오 신호를 기반으로 하여 얻어진다.
양자화로 인해, 양자화 잡음이 재구성된 비디오 신호에 중첩된다. 블록에 관한 코딩으로 인해, 중첩된 잡음은 종종 블로킹 특징을 가지며, 이로 인해 결국 특히 강한 양자화에서는 복호된 이미지에서의 가시적 블록 경계를 초래한다. 그러한 블로킹 아티팩트(blocking artifact)는 사람의 시각적 인지에 부정적인 영향을 미친다. 이들 아티팩트를 감소시키기 위해, 디블로킹 필터(150)를 모든 재구성된 이미지 블록에 적용한다. 디블로킹 필터는 재구성된 신호(s')에 적용된다. 예컨대, H.264/MPEG-4 AVC의 디블로킹 필터는 국부적 적응 성능을 갖는다. 큰 블로킹 잡음인 경우, 강한(협대역) 저역 통과 필터가 적용되는데 반해, 작은 블로킹 잡음의 경우에, 더 약한(광대역) 저역 통과 필터가 적용된다. 저역 통과 필터의 세기는 예측 신호()와 양자화된 예측 에러 신호(e')에 의해 결정된다. 디블로킹 필터는 일반적으로 블록 에지를 평활화하여 복호된 이미지의 개선된 주관적인 품질을 얻는다. 게다가, 이미지의 필터링된 부분이 추가 이미지의 움직임 보상된 예측에 사용되므로, 필터링은 또한 예측 에러를 감소시키며, 따라서 부호화 효율의 개선을 가능케 한다.
디블로킹 필터 이후, 샘플 적응 오프셋(155) 및/또는 적응 루프 필터(160)가 이미 디블로킹된 신호(s")를 포함한 이미지에 적용될 수 있다. 디블로킹 필터가 주관적인 품질을 개선하는 반면, 샘플 적응 오프셋(SAO: Sample Adaptive Offset) 및 ALF는 픽셀에 관한 충실도("객관적인" 품질)를 개선하는 것을 목적으로 한다. 특히, SAO는 픽셀의 바로 이웃에 따라 오프셋을 추가한다. 적응 루프 필터(ALF)가 압축에 의해 초래된 이미지 왜곡을 보상하는데 사용된다. 통상적으로, 적응 루프 필터는, 재구성된 s'와 소스 이미지(s) 사이의 평균 제곱 에러(MSE)가 최소화되도록 결정된 필터 계수를 갖는 위너 필터(Wiener filter)이다. ALF의 계수는 프레임 단위로 계산되어 송신될 수 있다. ALF는 전체 프레임(비디오 시퀀스의 이미지)에 또는 국부적인 영역(블록)에 적용될 수 있다. 어떤 영역이 필터링될 것인지를 지시하는 추가로 부차적인 정보가 (블록-기반, 프레임-기반 또는 쿼드트리(quadtree-기반으로) 송신될 수 있다.
복호되기 위해, 상호-부호화된 블록은 또한 참조 프레임 버퍼(170)에서 이전에 부호화된 및 후속하여 복호된 이미지(들) 부분을 저장할 것을 필요로 한다. 상호-부호화된 블록은 움직임 보상된 예측을 사용하여 예측된다(180). 첫째, 최상-매칭 블록이 움직임 추정기에 의해 이전에 부호화된 및 복호된 비디오 프레임 내의 현재 블록에 대해 찾아진다. 최상-매칭 블록은 이때 예측 신호가 되며, 현재 블록과 그 최상 매칭 사이의 상대적인 변위(움직임)는 그 후 부호화된 비디오 데이터와 함께 제공된 부차적인 정보 내에서 3차원 움직임 벡터의 형태의 움직임 데이터로서 신호화된다. 3차원은 2개의 공간 차원과 1개의 시간 차원으로 구성된다. 예측 정확도를 최적화하기 위해, 움직임 벡터는 공간 서브-픽셀 해상도, 예컨대 1/2 픽셀 또는 1/4 픽셀 해상도로 결정될 수 있다. 공간 서브-픽셀 해상도를 갖는 움직임 벡터는, 실제 픽셀 값을 이용 가능하지 않은 이미 복호된 프레임 내의 공간 위치, 즉 서브-픽셀 위치를 가리킬 수 있다. 그러므로 그러한 픽셀 값의 공간 보간이 움직임 보상된 예측을 실행하기 위해 필요하다. 이것은 (도 1에서 예측 블록(180) 내에 통합되는) 보간 필터에 의해 달성할 수 있다.
두 경우, 내부- 및 상호-부호화 모드에 대해, 현재의 입력 신호와 예측 신호 사이의 차이(e)가 변환되고(110), 양자화되어(120), 양자화된 계수를 얻는다. 일반적으로, 2차원 이산 코사인 변환(DCT: Discrete Cosine Transformation)이나 그 정수 버전과 같은 직교 변환이, 자연적인 비디오 이미지의 상관을 효율적으로 감소시키므로 사용된다. 변환 후, 저 주파수 성분은 보통, 고 주파수 성분보다 이미지 품질에 더 중요하여, 고 주파수 성분보다 저 주파수 성분을 부호화하는데 더 많은 비트를 소비할 수 있다. 엔트로피 부호화기에서, 양자화된 계수의 2차원 매트릭스는 1차원 어레이로 변환된다. 통상, 이러한 변환은 소위 지그-재그 스캐닝으로 실행되며, 이러한 스캐닝은 2차원 어레이의 상단 좌측 코너에서의 DC-계수로 시작하여, 미리 결정된 시퀀스로 2차원 어레이를 스캐닝하며 하단 우측 코너에서 AC 계수로 종료된다. 에너지는 통상, 저 주파수에 대응하는 2차원 계수 매트릭스의 상단 좌측 부분에 집중되므로, 지그-재그 스캐닝은 보통 마지막 값이 0인 어레이를 야기한다. 이로 인해, 실제 엔트로피 부호화의 일부/그 전에 런-렝쓰 코드를 사용한 효율적인 부호화를 할 수 있다.
H.264/MPEG-4 H.264/MPEG-4 AVC 뿐만 아니라 HEVC는 2개의 기능 층, 비디오 부호화 층(VCL: Video Coding Layer) 및 네트워크 요약 층(NAL: Network Abstraction Layer)을 포함한다. VCL은 간략하게 상술한 바와 같이 부호화 기능을 제공한다. NAL은, 채널을 통한 송신이나 저장부에 저장과 같은 추가 응용에 따라 NAL 유닛으로 불리는 표준화된 유닛으로 정보 요소를 캡슐화한다. 이 정보 요소는 예컨대 부호화된 예측 에러 신호나 예측 타입, 양자화 파라미터, 움직임 벡터 등과 같은 비디오 신호의 복호에 필요한 다른 정보이다. 복호 성능을 개선하는데 사용될 수 있는 추가 정보를 제공하는 보충 향상 정보(SEI: Supplemental Enhancement Information)나 전체 비디오 시퀀스에 관한 파라미터 세트와 같은 추가 데이터를 캡슐화하는 비-VCL 유닛뿐만 아니라 압축 비디오 데이터 및 관련 정보를 포함하는 VCL NAL 유닛이 있다.
도 2는 H.264/MPEG-4 AVC 또는 HEVC 비디오 부호화 표준에 따른 예시적인 복호기(200)를 예시한다. 부호화된 비디오 신호(복호기로의 입력 신호)는 먼저 엔트로피 복호기(290)에 전달되며, 복호기(290)는 양자화된 계수, 움직임 데이터, 예측 모드 등과 같이 복호에 필요한 정보 요소를 복호한다. 양자화된 계수는 2차원 매트릭스를 얻기 위해 역으로 스캐닝되며, 매트릭스는 그 후 역양자화 및 역변환(230)에 공급된다. 역양자화 및 역변환(230) 이후, 복호된(양자화된) 예측 에러 신호(e')가 얻어지며, 이 신호는, 양자화 잡음이 도입되지 않으며 에러가 발생하지 않는 경우에 부호화기에 입력된 신호로부터 예측 신호를 감산하여 얻은 차이에 대응한다.
예측 신호는 시간 또는 공간 예측(280)으로부터 얻는다. 복호된 정보 요소는 보통, 내부-예측인 경우의 예측 타입과 움직임 보상 예측인 경우의 움직임 데이터와 같은 예측에 필요한 정보를 더 포함한다. 공간 도메인에서 양자화된 예측 에러 신호는 그 후 움직임 보상된 예측이나 내부-프레임 예측(280)으로부터 얻은 예측 신호에 가산기(240)로 추가된다. 재구성된 이미지(s')는 디블로킹 필터(250), 샘플 적응 오프셋 처리(255), 및 적응 루프 필터(260)를 통과하여, 결과적인 복호 신호가 메모리(270)에 저장되어 다음의 블록/이미지의 시간 또는 공간 예측에 적용된다.
예시적인 혼합 비디오 부호화기의 추가 예를 도 3에 도시한다. 도 3의 부호화기는, 도 1의 디블로킹 필터(150)가 수직 에지의 수평 디블로킹을 위한 필터(350a)와 수평 에지의 수직 디블로킹을 위한 필터(350b)로 세분되었다는 점에서 도 1의 부호화기와 상이하다. 필터(350a)는, 가산기(140)의 출력인 재구성된 신호(S')에 적용된다. 필터(350b)의 출력, 즉 S"으로 표시되는 디블로킹된 수직 에지를 갖는 이미지가 필터(350b)에 입력된다. 필터(350b)의 출력 신호, 즉 수직 및 수평 디블로킹된 이미지는 S"'로 표시된다. 게다가, 도 3은, 엔트로피 부호화기(190), 수평 디블로킹 필터(350a) 및 수직 디블로킹 필터(350b)에 입력될 양자화 파라미터(QP)를 명시적으로 도시한다.
도 3의 나머지 블록은 도 1의 각 블록에 대응하며, 유사한 특성부는 도 3 및 도 1에서 동일한 참조번호로 표시한다. 도 3에서, 적응된 루프 필터(160)는 명시적으로 위너 필터로 기재되며, 블록(155(SAO) 및 160(ALF))은 교환되었다. 이들 단계이 시퀀스는 그러나 본 발명의 핵심은 아니다. 게다가, 참조 프레임 버퍼(170)는 명시적으로 도 3에 도시되어 있지 않다.
도 1의 부호화기와 도 2의 복호기의 각 특성은 긴밀하게 유사하므로, 당업자는 복호기를 예시하기 위해 도 2를 수정하는 방법을 이해하며, 2개의 후속한 단계에서 수평 및 수직 디블로킹은 명시적으로 이루어진다. 각 도면은 그러므로 본 명세서에서 생략하였다.
이미지를 압축하며 압축해제할 때, 블로킹 아티팩트는 통상 사용자에게 가장 성가신 아티팩트이다. 디블로킹 필터링은, 재구성된 이미지에서 블록 사이의 에지를 평활화함으로써 사용자의 지각 경험(perceptual experience)을 개선하는 것을 돕는다. 디블로킹 필터링에서 어려움 중 하나는 양자화기의 적용으로 인한 블로깅에 의해 초래된 에지와의 사이와, 부호화된 신호의 일부인 에지 사이를 정확히 결정하는 것이다. 디블로킹 필터의 적용은, 블록 경계 상의 에지가 압축 아티팩트로 인한 경우에만 바람직하다. 다른 경우, 디블로킹 필터를 적용함으로써, 재구성된 신호는 손상될 수 있으며, 왜곡될 수 있다. 다른 어려움은 디블로킹 필터링에 적절한 필터의 선택이다. 통상, 강한 또는 약한 저역 통과 필터링을 초래하는 상이한 주파수 응답을 갖는 여러 개의 저역 통과 필터 사이에서 결정한다. 디블로킹 필터링이 적용될지를 결정하고, 적절한 필터를 선택하기 위해, 2개의 블록의 경계 인근의 이미지 데이터를 고려한다.
예컨대, 이웃 블록의 양자화 파라미터를 고려할 수 있다. 택일적으로 또는 추가로, 내부 또는 상호와 같은 예측 모드를 고려할 수 있다. 다른 가능성은 양자화된 예측 에러 계수를 평가, 예컨대 이들 계수 증 얼마나 많은 계수가 0으로 양자화되는지를 평가하는 것이다. 움직임 보상된 예측에 사용된 참조 프레임은 또한 필터 선택, 예컨대 동일한 참조 프레임이 현재의 블록과 이웃 블록의 예측에 사용되는지를 나타낼 수 있다. 결정은 또한 움직임 보상된 예측에 사용된 움직임 벡터와, 현재의 블록 및 이웃 블록에 대한 움직임 벡터가 동일한지를 기반으로 할 수 있거나, 오히려 이들은 연기된다. 결정은 블록 패치까지의 거리와 같이 샘플의 공간 위치를 수반할 수 있다.
예컨대, H.264/MPEG-4 AVC는 2개의 이웃 블록의 각각에서 제1 유도(도함수)의 절대값을 평가하며, 이들 블록의 경계는 디블로킹될 것이다. 게다가, 2개의 블록 사이의 에지에 걸친 제1 도함수의 절대값은, 예컨대 H.264/MPEG-4 AVC 표준의 8.7.2.2절에 기재된 대로 평가된다. 유사한 접근법이 또한 US 2007/854204A에 기재되어 있다. 모든 픽셀은 동일한 기준을 기반으로 하여 필터링되도록 결정이 이뤄지며, 전체 블록에 대해 선택이 실행된다. HEVC는 유사한 메커니즘을 사용하지만, 제2 도함수를 또한 사용한다.
이들 접근법에 따라, 2개의 블록 사이의 특정한 에지(경계)에 대해, 디블로킹을 적용할지가 결정되어야 하며, 적용된다면, 상이한 필터 세기를 갖는 복수의 상이한 디블로킹 필터 중 어느 필터가 적용될지가 결정되어야 한다. 일반적으로 말해서, 더 높은 필터 세기를 갖는 디블로킹 필터("강한 필터")는 더 작은 필터 세기를 갖는 필터("약한 필터")보다 경계 인근의 픽셀 값에 더 상당한 보정을 실행한다. 필터링 여부에 대한 결정의 목적은, 블록 경계에서 검출된 큰 신호 변화가 블록에 대한 처리에 적용된 양자화로 인한 것인 이들 샘플만을 필터링하는 것이다. 이러한 필터링의 결과는 블록 경계에서의 평활 신호이다. 평활 신호는 블로킹 아티팩트보다는 시청자에게 덜 성가신 것이다. 블록 경계에서 큰 신호 변화가 부호화될 원래의 신호에 속해 있는 그러한 샘플은 고 주파수를 유지하며, 그에 따라 시각적 선명도를 유지하기 위해 필터링되지 않아야 한다. 잘못된 결정인 경우, 이미지는 불필요하게 평활화되거나 블로키(blocky) 상태로 남게 된다.
복수의 결정 기준은 상술한 결정을 실행하기 위해 종래 기술에서 유도되었다. 이러한 결정 기준은 블록 경계의 양측 상의 픽셀 값 분포의 세부내용을 명시하는 파라미터를 기초로 하여 운용된다. 일반적으로 말해, 먼저, 파라미터(경계 세기: BS)는, 블록 경계에서의 블록 아티팩트가 어떻게 확연하게 보이는지를 나타내기 위해 유도된다. 이를 기반으로 하여, 결정 임계치를 한정하는 파라미터가 유도된다. 그러한 결정 흐름에서 그리고 상세하게는 경계 세기(BS)의 유도에서의 각 단계는 일부(1 또는 여러 개의) CPU 사이클을 소비한다. 게다가, 결정 흐름에 수반되는 파라미터 각각은 각각의 메모리 공간을 필요로 한다. 처리 효율을 이유로, 그러므로 가능한 소수의 중간 단계 및 파라미터로 필요한 계산 및 결정을 실행하는 것이 바람직하다.
본 발명은 개선된 디블로킹 필터링 접근법을 제공하는 것을 목적으로 하며, 디블로킹 및 필터 선택 결정에 대한 처리 효율은 기저의 계산을 간략화함으로써 개선된다.
본 발명의 특정한 접근법은, 2개의 파라미터의 합의 단일 함수로서 유도된 임계치를 기반으로 하여 상이한 필터 세기를 갖는 복수의 디블로킹 필터 중 블록 경계를 디블로킹하는 디블로킹 필터를 선택하는 것이다. 한 파라미터(경계 세기)는 경계에서 블로킹 아티팩트의 세기, 즉 에지(경계)가 얼마나 블로키한 상태로 보이는지를 나타낸다. 다른 파라미터(양자화)는 부호화에 적용되는 양자화 간격의 크기를 나타낸다.
본 발명의 양상에 따르면, 픽셀의 이미지 블록의 디블로킹 필터링을 위한 방법이 제공된다. 이 방법은 2개의 인접한 이미지 블록 사이의 블록 경계의 세기를 나타내는 제1 파라미터를 결정하는 단계, 및 제1 파라미터와 양자화 파라미터를 기반으로 하여 제2 파라미터를 계산하는 단계를 포함하며, 제2 파라미터는 제1 파라미터와 양자화 파라미터의 합의 함수로서 계산된다. 이 방법은, 제2 파라미터를 기반으로 한정된 임계치를 사용하여 블록 경계에 적용되기 위한 제1 또는 제2 디블로킹 필터를 선택하는 단계를 더 포함하며, 제1 및 제2 디블로킹 필터는 상이한 필터 세기를 갖는다.
본 발명의 다른 양상에 따르면, 픽셀의 이미지 블록의 디블로킹 필터링을 위한 장치가 제공된다. 이 장치는 2개의 인접한 이미지 블록 사이의 블록 경계의 세기를 나타내는 제1 파라미터를 결정하는 결정 유닛을 포함한다. 이 장치는, 제1 파라미터와 양자화 파라미터를 기반으로 하여 제2 파라미터를 계산하는 계산 유닛을 더 포함한다. 계산 유닛은 제1 파라미터와 양자화 파라미터의 합의 함수로서 제2 파라미터를 계산한다. 이 장치는, 제2 파라미터를 기반으로 한정된 임계치를 사용하여 블록 경계에 적용되기 위한 제1 또는 제2 디블로킹 필터를 선택하는 선택 유닛을 더 포함한다. 제1 및 제2 디블로킹 필터는 상이한 필터 세기를 갖는다.
상술한 바와 같이, 본 발명에 의하면, 개선된 디블로킹 필터링 접근법을 제공할 수 있다.
수반하는 도면은 명세서에 통합되어 그 일부를 이루어서 본 발명의 여러 실시예를 예시한다. 이들 도면은, 상세한 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다. 도면들은, 본 발명이 어떻게 이루어질 수 있으며 사용될 수 있는지에 대한 바람직한 그리고 대안적인 예를 예시할 목적으로만 작성된 것이며, 본 발명을 예시한 및 기재한 실시예로만 제한하는 것으로 해석되지 않을 것이다. 추가 특성 및 장점은 수반하는 도면에 예시된 바와 같이 본 발명의 여러 실시예에 대한 다음의 및 더 상세한 설명으로부터 분명하게 될 것이며, 유사한 참조 번호는 유사한 요소를 지칭한다.
도 1은 비디오 부호화기의 예를 예시하는 블록도이다.
도 2는 비디오 복호기의 예를 예시하는 블록도이다.
도 3은 비디오 부호화기의 예를 예시하는 다른 블록도이다.
도 4의 (a)는 수직 경계에 대한 디블로킹 필터의 적용을 예시하는 개략도이다.
도 4의 (b)는 수평 경계에 대한 디블로킹 필터의 적용을 예시하는 개략도이다.
도 5는 디블로킹의 적용 여부에 관한 결정 및 디블로킹 필터의 선택을 예시하는 개략도이다.
도 6의 (a)는 강한 필터에 의해 실행된 디블로킹 동작을 예시하는 개략도이다.
도 6의 (b)는 약한 필터에 의해 실행된 디블로킹 동작을 예시하는 개략도이다.
도 7은 디블로킹의 통상의 처리 방식을 예시하는 흐름도이다.
도 8은 디블로킹 경계 세기 값의 종래 유도 방식을 예시하는 흐름도이다.
도 9는 본 발명의 양상에 따라 경계 세기를 기반으로 하여 임계치 파라미터를 결정하기 위한 오프셋 파라미터의 개선된 유도를 예시하는 흐름도이다.
도 10은 도 9의 개선된 방식과 도 8의 종래의 방식 사이의 부호화 효율의 비교를 예시한다.
도 11은 본 발명의 실시예에 따른 경계 세기에 대한 간략화된 결정 방식을 예시하는 흐름도이다.
도 12는 도 11의 간략화된 방식과 도 8의 종래의 방식 사이의 부호화 효율의 비교를 예시한다.
도 13은 본 발명의 실시예에 따른 개선된 및 간략화된 BS 계산 방식을 예시하는 흐름도이다.
도 14는 본 발명의 실시예에 따른 계산 방식의 더 변경된 예를 예시하는 흐름도이다.
도 15는 본 발명의 실시예에 따른 추가 개선된 BS 결정 방식을 예시하는 흐름도이다.
도 16은 본 발명의 양상에 따른 전체 디블로킹 필터링 결정 트리의 간략화를 예시하는 흐름도이다.
도 17은 컨텐츠 전송 서비스를 구현하는 컨텐츠 제공 시스템의 전체 구성도이다.
도 18은 디지털 방송용 시스템의 전체 구성도이다.
도 19는 텔레비전의 구성예를 예시하는 블록도이다.
도 20은, 광 디스크인 기록 매체에 정보의 판독 및 기록을 행하는 정보 재생/기록 유닛의 구성예를 예시하는 블록도이다.
도 21은 광 디스크인 기록 매체의 구성예를 도시하는 도면이다.
도 22a는 휴대폰의 일예를 나타내는 도면이다.
도 22b는 휴대폰의 구성예를 도시하는 블록도이다.
도 23은 다중화된 데이터의 구조를 나타내는 도면이다.
도 24는 각 스트림이 다중화된 데이터에서 어떻게 다중화되는지를 개략적으로 도시하는 도면이다.
도 25는 PES 패킷 스트림에 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 도시하는 도면이다.
도 26은 다중화된 데이터에서의 TS 패킷과 소스 패킷의 구조를 도시하는 도면이다.
도 27은 PMT의 데이터 구조를 도시하는 도면이다.
도 28은 다중화된 데이터 정보의 내부 구조를 도시하는 도면이다.
도 29는 스트림 속성 정보의 내부 구조를 도시하는 도면이다.
도 30은 비디오 데이터를 식별하는 단계를 도시하는 도면이다.
도 31은 각 실시예에 따른 동화상 부호화 방법 및 동화상 복호 방법을 구현하는 집적 회로의 구성예를 도시하는 블록도이다.
도 32는 구동 주파수 사이를 스위칭하는 구성을 도시하는 도면이다.
도 33은 비디오 데이터를 식별하여, 구동 주파수 사이를 스위칭하는 단계를 도시하는 도면이다.
도 34는 비디오 데이터의 표준과 구동 주파수를 대응시킨 룩업 테이블의 일예를 도시하는 도면이다.
도 35a는 신호 처리 유닛의 모듈을 공유하는 구성의 일예를 나타내는 도면이다.
도 35b는 신호 처리 유닛의 모듈을 공유하는 구성의 다른 일예를 나타내는 도면이다.
도 3에 예시한 것과 같은 최신 기술의 혼합 비디오 부호화기는 블록에 대한 예측 및 블록에 대한 예측 에러 부호화를 적용한다. 이러한 예측 에러 부호화는 양자화 단계를 포함한다. 이러한 블록에 대한 처리로 인해, 특히 거친 양자화인 경우에, 소위 블로킹 아티팩트가 발생한다. 블로킹 아티팩트는 블록 에지에서 큰 신호 변화와 관련된다. 이들 블로킹 아티팩트는 시청자에게 매우 성가신 것이다. 이들 블로킹 아티팩트를 감소시키기 위해, 디블로킹 필터가 예컨대 H.264/MPEG-4 AVC 비디오 부호화 표준 또는 HEVC 비디오 부호화 표준화 활동의 테스트 모델인 HM에서 적용된다(예컨대, HM 디블로킹 필터, JCTVC-F803_d4, "WD4: Working Draft 4 of High-Efficiency Video Coding", 6번째 회의, 토리노, 이탈리아, 2011년 7월 14일부터 22일까지).
디블로킹 필터는 블록 경계에서 각 샘플이 필터링될지를 결정하며 필터링하기로 결정된 경우에 저역 통과 필터를 적용한다. 이러한 결정의 목적은 블록 경계에서의 큰 신호 변화가 블록에 대한 처리에 적용된 양자화로 인해 유래되는 샘플만을 필터링하는 것이다. 이러한 처리의 결과는 블록 경계에서의 평활 신호이다. 평활 신호는 블록 아티팩트보다 시청자에게 덜 성가신 것이다. 블록 경계에서의 큰 신호 변화가 부호화될 원래의 신호에 속해 있는 샘플은 고 주파수 및 그에 따라 시각적 선명도를 유지하기 위해 필터링되지 않아야 한다. 잘못 결정된 경우, 이미지는 불필요하게 평활화되거나 블로키 상태로 유지된다.
도 4는 도 1, 도 2 및 도 3 각각의 설명에서 언급된 디-블로킹 필터(150, 250, 350a 및 350b와 같은 것)의 적용의 예를 도시한다. 그러한 디블로킹 필터는 블록 경계에서의 각 샘플이 필터링될지를 결정할 수 있다. 필터링될 때, 저역 통과 필터가 적용된다. 이러한 결정의 목적은, 블록 경계에서의 큰 신호 변화가 앞선 설명에서 기재한 바와 같이 블록에 대한 처리에 적용된 양자화로 인한 것인 그러한 샘플만을 필터링하는 것이다. 이러한 필터링의 결과는 블록 경계에서의 평활화된 신호이다. 평활화된 신호는 블로킹 아티팩트보다 시청자에게 덜 성가시다. 블록 경계에서의 큰 신호 변화가 부호화될 원래의 신호에 속해 있는 이들 샘플은 고 주파수 및 그에 따라 시각적 선명도를 유지하기 위해 필터링되지 않아야 한다. 잘못 결정된 경우에, 이미지는 불필요하게 평활화되거나 블로키한 상태로 남는다.
도 4의 (a)는 (수평 디블로킹 필터로 필터링을 하거나 필터링하지 않는 것에 대한) 수직 경계에 대한 결정을 예시하며, 도 4의 (b)는 (수직 디블로킹 필터로 필터링하거나 하지 않는 것에 대한) 수평 경계에 대한 결정을 예시한다. 특히, 도 5a는 복호될 현재의 블록(340) 및 그 이미 복호된 이웃 블록(310, 320 및 330)을 도시한다. 한 줄로 늘어선 픽셀(360)에 대해, 결정이 실행된다. 유사하게, 도 5b는 동일한 현재의 블록(340)을 도시하며, 일렬로 늘어선 픽셀(370)에 대해 결정이 실행된다.
디블로킹 필터를 적용할지에 대한 판정은 H.264/MPEG-4 AVC에서와 유사하게 다음과 같이 실행될 수 있다. 6개의 픽셀(360)의 한 줄을 취해보자. 도 5에 또한 예시되어 있는 바와 같이, 그 중 첫 3개의 픽셀(p2, p1, p0)이 좌측 이웃 블록 A(330)에 속하며, 그 중 그 다음 3개의 픽셀(q0, q1 및 q2)이 현재의 블록 B(340)에 속해 있다. 줄(410)은 블록 A과 B 사이의 경계를 예시한다. 픽셀(p0 및 q0)은 각각 서로 바로 인접하게 위치해 있는 좌측 이웃 A와 현재 블록 B의 픽셀이다. 픽셀(p0 및 q0)은 예컨대 다음의 조건이 충족될 때 디블로킹 필터링됨으로써 필터링된다:
여기서, 일반적으로 이다. 이들 조건은 p0과 q0 사이의 차이가 블로킹 아티팩트로부터 유래된 것인지를 검출하는 것을 목적으로 한다. 이들 조건은 블록 A 및 B 각각 내에서 및 그 사이에서의 제1 유도의 평가에 대응한다.
픽셀(p1)은, 상기 세 조건 외에, 다음의 조건이 또한 충족될 때 필터링된다:
픽셀(q1)은, 예컨대 상기 처음 세 조건 외에, 다음의 조건이 충족될 때 필터링된다:
이들 조건은 제1 블록 내의 제1 유도와 제2 블록 내의 제1 유도 각각에 대응한다. 상기 조건에서, QP는 적용된 양자화 양을 나타내는 양자화 파라미터를 나타내며, β,α는 스칼라 상수이다. 특히, QPNEW는, 다음과 같이 각각의 제1 및 제2 블록 A 및 B에 적용된 양자화 파라미터(QPA 및 QPB)를 기반으로 하여 유도된 양자화 파라미터이다:
여기서, ">>n"은 n비트 만큼의 우측 시프트를 나타낸다(상기 수학식에서는 1비트).
상기 조건은 블록 내의 제1 도함수의 평가에 대응한다. 결정은 블록의 선택된 줄이나 선택된 줄들에 대해서만 실행될 수 있는 반면, 픽셀의 필터링은 적절히 모든 줄(360)에 대해서 실행된다. HEVC에 따라 결정에 수반되는 줄(430)의 예(420)를 도 5에 예시한다. 줄(430)을 기반으로 하여, 전체 블록을 필터링할지에 대한 결정을 실행한다.
HEVC에서 디블로킹 필터링의 다른 예를 JCTVC-E603 문서, JTC-VC, ITU-T SG16 WP3 및 ISO/IEC JTC1/SC29/WG11의 8.6.1절에서 볼 수 있으며, 이것은 http://wftp3.itu.int/av-arch/jctvc-site/에서 무료로 얻을 수 있다.
따라서, HEVC에서 2개의 줄(430)이 디블로킹 필터링이 적용되는지 및 어떻게 적용되는지를 결정하는데 사용된다. 이러한 결정 단계는 본 명세서 전반에 걸쳐서 제1 결정 단계(D1)로 표시한다. 예(420)는 수평 블로킹 필터링을 목적으로 (색인 2를 갖는) 제3 줄과 (색인 5를 갖는) 제6 줄의 평가를 담당한다. 특히, 블록 각각 내에서의 제2 도함수를 평가하여, 다음과 같이 측정치(dp 및 dq)의 획득을 초래한다:
픽셀(p)은 블록 A에 속하며, 픽셀(q)은 블록 B에 속한다. p 또는 q 이후의 첫 번째 숫자는 열 색인을 나타내며, 첨자의 다음 숫자는 블록 내의 행 번호를 나타낸다. 예(420)에서 예시된 모두 8개의 줄에 대한 디블로킹은 다음의 조건이 충족될 때 가능케 된다:
상기 조건이 충족되지 않는다면, 디블로킹은 적용되지 않는다. 디블로킹이 가능케 된 경우에, 디블로킹에 사용될 필터는 본 명세서 전반에 걸쳐서 제2 결정 단계(D2)로 표시되는 후속한 결정 단계에서 결정된다. 이러한 결정은 블록 A와 B 사이의 제1 도함수의 평가를 기반으로 한다. 특히, 각 줄(i) - i는 0과 7 사이의 정수이다 - 에 대해, 강한 또는 약한 저역 통과 필터가 적용될지가 결정된다. 다음의 조건이 충족된다면, 강한 필터가 선택된다.
HEVC 모델에 따라, "강한 필터"는 를 사용하여 샘플()을 필터링하는 반면, "약한 필터"는 를 사용하여 샘플()을 필터링한다. 상기 조건에서, 파라미터(β 및 tc)는 이미지의 슬라이스 등에 대해 설정될 수 있는 양자화 파라미터(QPe)의 두 함수이다. β 및 tc의 값은 통상 룩업 테이블을 사용하여 QP를 기반으로 하여 유도된다.
도 6은, (HEVC 소프트웨어 모델 HM4.0에서 구현된) H264/MPEG-4 AVC 표준에 따른 강한 필터 동작 및 약한 필터 동작에 대한 예시적인 해법을 더 상세하게 설명한다.
도 6의 (a)에서, 좌측 도면은 강한 필터에서 수직 에지를 수평으로 필터링하는데 사용되는 샘플을 예시한다. 도 6의 (a)의 우측 도면은 필터에 의해 변경된 샘플을 예시한다. 이 도면에서 볼 수 있는 바와 같이, 주어진 예에서, 참조 번호(610)로 표시된 경계의 양측에 가장 인접한 4개의 픽셀에 대응하는 샘플이 필터링에 사용된다. 실제로 변경되는 것은, 도 6의 (a)의 좌측 도면에서 620으로 표시된 양측으로부터의 경계에 가장 가까운 3개의 픽셀만이다. 실제로, 필터링은 다음의 공식에 따라 실행된다.
함수(Clip(x))는 다음과 같이 한정된다:
여기서, max_allowed_value는 x가 가질 수 있는 최대값이다. k비트 샘플의 PCM 부호화인 경우에, 최대값은 max_allowed_value=2k-1일 것이다. 예컨대, 8비트 샘플의 PCM 부호화인 경우에, 최대값은 max_allowed_value=255일 것이다. 10비트 샘플의 PCM 부호화인 경우에, 최대값은 max_allowed_value=1023일 것이다.
상기 수학식에서 볼 수 있는 바와 같이, 필터링은 각 줄에 대해 개별적으로 실행되며(단 하나의 줄 색인 i=0, 1, 2, 3, 4, 5, 6 또는 7), 수학식 각각에서 사용되고, 여기서 픽셀은 (필터 번호 다음의 위첨자 '로 표시한) 필터에 의해 변경된다. 변경되지 않은 픽셀이 p3i 및 q3i에 대해 계산되지 않을지라도, p2'i 및 q2'i에 대한 수학식으로부터, p3i 및 q3i가 각 계산 수학식의 우측 상에 생성됨을 알 수 있다.
도 6의 (b)에서 볼 수 있는 바와 같이, 양측으로부터 경계에 가장 가까운 3개의 픽셀이 약한 필터에 의한 필터링에 사용된다(좌측 방식에서의 샘플(630)). 실제로 변경되는 것은 경계에 가장 가까운 2개의 이웃만이다(도 6의 (b)의 우측 상의 샘플(640)). 약한 필터링에 대한 계산 처리는 강한 필터링인 경우에서의 계산과 상당히 상이하며 추가 정밀도를 포함한다. 먼저, 판별값(Δ)은 다음의 수학식에 따라 계산되며, 이 수학식은 결정의 기반이 된다:
후속하여, 제3 결정 단계(D3)에서, 필터링을 실행할지에 대해 결정된다. 제3 결정에 따라, 필터링은, 조건, 이 충족되는 경우에, 픽셀 샘플(640)에만 적용된다.
조건이 충족되는 경우에, 양 측 상에서 경계에 가장 가까운 픽셀은 다음의 수학식에 따라 필터링된다:
여기서, 이다.
함수(Clip(x))는 상기와 같이 한정된다. 함수(Clip3(x))는 다음과 같이 한정된다:
샘플(p0 및 q0)을 필터링한 후, 제4 결정(D4)이 경계의 관점에서 가장 가까운 그 다음의 픽셀 샘플(p1i 및 q1i)을 또한 필터링하는 것에 대해 실행된다. 제4 결정(D4)은 경계의 양 측에 대해, 즉 도 6의 (b)의 블록 A에 속한 픽셀(p1i)에 대해 그리고 도 6의 (b)의 블록 B의 픽셀(q1i)에 대해 실행된다.
픽셀(p1i)에 대한 제4 결정은 상기에서 도입한 파라미터(dp)에 기반한다. 조건()이 충족된다면, 필터링은 에 따라 실행되며, 여기서 이다.
블록 B의 픽셀(qi)에 대한 결정(D4)은, 조건()이 충족된다면 실행된다. 필터링은 에 따라 실행되며, 여기서 이다.
앞선 기재에서, 파라미터(tc2)는 을 준수하여 한정된다.
앞선 기재의 필터링 절차는, 비록 수직 에지의 수평 필터링에 대해서 예를 들어 기재되었지만, 수평 및 수직 방향 및 행을 각각 열로 교체함으로써 수평 에지의 수직 필터링에 동일하게 적용할 수 있음을 주목해야 한다. 게다가, 명세서 전반에 걸쳐서, 용어 "줄"은 열 또는 행 중 어느 하나를 의미한다는 관례를 적용한다.
필터의 적용에 관해 결정하는데 그리고 바람직하게는 상이한 세기를 갖는 복수의 필터 중 디블로킹에 적용될 필터 타입을 더 선택하는데 필요한 단계는 특정한 계산 노력을 야기한다. 상기에서 기재한 바와 같이, 일반적으로, 필터 세기를 한정하기 위해, 임계값(상기에서 도입한 β 및 tc와 비교)을 수반하는 결정이 내려진다. 본 발명은 특히 후자의 임계치 파라미터(tc)에 대한 계산 방식을 개선하여 필요한 계산 노력을 감소시켜, 계산 방식을 간략화함으로써 처리 효율을 개선하는 것을 목적으로 한다.
종래에, 파라미터(tc)의 계산은, 경계(에지)가 얼마나 "블로키" 상태 인지에 대한 추정을 나타내는 제1 파라미터 값(경계 세기(BS))과, 부호화에 사용된 양자화 단계의 크기를 나타내는 양자화 파라미터(QP)를 기반으로 한다. tc 결정에 대해, 중간 처리에서, 더 이상 경계의 "블로키니스(blockiness")를 명백하게 반영하지 않는 오프셋 값(tc_offset)이 유도되어 QP와 결합되어 필터 세기를 한정한다.
본 발명은, 파라미터(BS 및 QP)의 미리 결정된 조합(합)의 함수를 기반으로 하여 파라미터(tc)를 직접 유도할 수 있다는 점에서 종래의 계산 방식을 개선한다.
도 7은 디블로킹을 적용할지를 결정하고 적절한 디블로킹 필터를 선택하는 방법의 통상의 흐름도를 도시한다. 도 7의 흐름도는 일반적으로 본 발명의 실시예 내에서뿐만 아니라 앞서 논의하였던 종래의 디블로킹 방식 내에서 적용될 수 있다.
도 7의 상단 우측 코너의 작은 상자(P 및 Q)는, 인접하며 따라서 공통 경계를 공유하는 이미지의 2개의 블록 P 및 Q의 개략적인 예시를 나타낸다. 예시한 바와 같이 그리고 앞서 논의한 바와 같이, 블록 P 및 Q 사이의 경계는 수평(우측 방식)뿐만 아니라 수직(좌측 방식)일 수 있다.
도 7의 처음 단계(S700)에서, 경계 세기(BS)는 결정을 위한 제1 파라미터로서 계산된다. 일반적으로, 경계 세기(BS)는 0이나 양수일 수 있는 정수 파라미터이다. 단계(S700)의 그러한 경계 계산 세기의 세부 내용은 도 8 및 후속한 도면들을 참조하여 후술될 것이다.
단계(S700) 이후, 처리 흐름은 단계(S710)로 진행한다. 단계(S710)에서, 계산된 경계 세기 값(BS)이 양수인지가 결정된다. 만약 단계(S710)에서 BS가 양수가 아니라고 결정된다면(즉, BS=0), 현재 처리되는 에지에 대해 디블로킹이 실행되지 않는다고 결정되며, 흐름도의 처리는 단계(S715)에서 종료한다.
반대로, 단계(S710)에서의 결정이 긍정적이라면, 디블로킹에 대한 추가 결정을 진행하도록 결정된다. 단계(S720)에서, 파라미터(tc 및 β)가 계산된다. 단계(S720)에서 계산된 파라미터(tc 및 β)는 도 5 및 도 6을 참조하여 상술한 방식으로 디블로킹 동작을 취급하기 위해 다음의 설명에서 사용되는 변수이다. 두 파라미터(tc 및 β)는 상술한 바와 같이 양자화 파라미터(QP)에 의존한다. 이하에서 상세하게 논의될 바와 같이, tc는 경계 세기(BS)에 더 의존한다. 따라서 tc는 BS와 QP 모두에 의존한다.
후속한 단계(S730)에서, 강한 필터링(S732), 약한 필터링(S735) 또는 단계(S710)에서의 처음 결정과 반대로 필터링이 적용되지 않음이 더 상세한 조사를 통해 드러남(S738)을 선택하는 것에 대한 결정이 실행된다. 처음 2개의 경우에서 각각의 필터링 처리가 실행되는데 반해, 후자의 경우에 흐름은 단계(S715)로 진행하여, 필터링 없이 종료된다. 단계(S730)에서의 결정은, 단계(S738)의 수정된 필터링 없음 결정을 포함하여, 새롭게 계산된 파라미터(tc 및 β)를 기반으로 한다.
도 8은 단계(S700)의 디블로킹 경계 세기(BS) 값의 유도의 세부 내용을 도시한다. 시작 후, 단계(S810)에서, 블록 P 및 Q 중 적어도 하나가 내부-부호화된 이미지에 속하는지를 결정한다. 그러한 결정의 배경은, 내부-부호화된 픽처(I-픽처)에 대해 양자화 시의 더 큰 양자화 에러가 아마도 발생하게 된다는데 있다.
단계(S810)에서의 결정이 긍정적이라면, 종래의 처리는 단계(S812)로 진행하며, 여기서 현재 처리된 블록 경계가 부호화 유닛 사이의 경계인지에 대한 결정이 실행된다. 부호화 유닛은 일반적으로 하나 이상의 이미지 블록을 포함하는 유닛이다. 더 상세하게, 혼합 부호화기에서, 각 LCU(Least Coding Unit)(64x64개의 샘플의 최소 부호화 유닛)은 부호화 유닛(CU: Coding Unit)으로 더 분할된다. CU의 에지는 CU-에지로서 한정된다. CU는 예측 유닛(PU: Prediction Unit)과 변환 유닛(TU: Transform Unit)으로 더 분할된다. 각 PU 및 TU 블록은 에지(PU-에지 및 TU-에지)를 갖는다. 디블로킹은 CU-, PU- 및 TU-에지에 대해 실행된다. 그러므로 본 명세서에 따른 "블록"은 CU의 의미를 가질 뿐만 아니라 CU가 더 세분될 경우에는 PU 및 TU의 의미를 갖는 용어이다. PU 및 TU의 경계는 따라서 동시에 CU-에지이거나 그렇지 않을 수 있다.
단계(S812)에서의 결정이 긍정적이라면(즉, 현재 처리되는 블록 경계가 CU-에지라면), 경계 세기(BS)는 4의 값으로 설정된다(단계(S816)). 반대의 경우로, 단계(S812)의 결정이 부정적이라면, BS는 3으로 설정된다(S814).
단계(S810)에서의 결정이 부정적인 경우에, 처리는 단계(S820)로 진행한다. 단계(S820)에서, 파라미터(cbf-P 또는 cbf-Q) 중 어느 것도 0의 값을 갖지 않는지가 결정된다. 단계(S820 및 S830)의 관계식에서 사용된 부호(!=)의 조합은 "같지 않다"를 의미함을 주목해야 한다. 결정에서, 변수(cbf-P)는 블록 P가 0과 같지 않은 하나 이상의 변환 계수 레벨을 포함하는지를 결정한다. 블록 Q에 대한 각각의 지시는 변수(cbf-Q)에 의해 주어진다. 더 상세하게, 파라미터(cbf-P 및 cbf-Q) 각각은 값(0 및 1)을 가질 수 있다. 1과 같은 값은, 각 블록의 변환 블록이 0과 같지 않은 하나 이상의 변환 계수 레벨을 포함함을 명시한다. 이 값이 0과 같다면, 비-0 변환 계수 레벨이 각 변환 블록에서는 없다.
단계(S820)에서의 결정이 긍정적이라면, BS는 2의 값으로 설정된다(S822).
반대의 경우에, 처리는 단계(S830)로 진행한다. 단계(S830)에서, 블록 P(Refldx-P) 및 블록 Q(Refldx-Q)의 참조 색인이 서로 상이한지에 대한 결정이 실행된다. 참조 색인(Refldx-P 및 -Q)은, 각각의 블록이 참조하게 되는 픽처를 나타낸다. 그에 따라, 단계(S830)에서의 부정적인 결정은, 블록 P 및 Q 모두가 동일한 픽처로부터 참조됨을 의미한다. 단계(S830)에서의 긍정적인 결정은, 블록 P 및 Q 모두가 상이한 픽처로부터 참조됨을 의미한다. 긍정적인 결정인 경우에, BS는 1의 값으로 설정된다(S832).
부정적인 결정(S830: NO)인 경우에, 처리는 단계(S840)로 진행한다. 단계(S840)에서, 파라미터(AbsHor 및 AbsVer) 중 하나가 0보다 큰지에 대한 결정이 실행된다. 여기서, 파라미터(AbsHor)는, 블록 P 및 블록 Q에 속한 움직임 벡터의 수평 움직임 벡터 성분 값에서의 절대차를 결정한다. AbsVer은 블록 P 및 Q에 속한 움직임 벡터의 수직 움직임 벡터 성분 값에서의 절대차를 결정한다. 단계(S840)의 결정에서, 3의 값을 예를 들어서만 제공함을 주목해야 한다. 본 명세서의 범위 내에서 다른 값이 동일하게 가능하다. 단계(S840)의 결정이 긍정적이라면, BS는 단계(S842)에서 1로 설정된다. 반대인 경우에, BS는 단계(S844)에서 0으로 설정된다.
앞서 기재한 바와 같이, BS 값은 에지가 얼마나 블로키 상태인지를 의미한다. 경계 세기가 클수록, 에지는 더 블로키 상태가 된다. 도 8의 방식에서 볼 수 있는 바와 같이, BS의 후자의 속성은 도 8의 결정에 의해 반영된다. 예컨대, 내부-부호화된 블록의 경우에, 더 큰 양자화 에러를 감안하여, BS에 대해 일반적으로 더 큰 값이 할당된다.
도 8의 종래의 방식은 앞서 언급한 JCTVC-F803_d4의 HM 디블로킹 필터에 대응하며, 거기서 사용되었으며 앞선 기재에서 기재된 파라미터는 각각의 문서, "HM 디블로킹 필터, JCTVC-F803_d4, "WD4: Working Draft 4 of High-Efficiency Video Coding", 6번째 회의, 토리노, 이탈리아, 2011년 7월 14일부터 22일까지(특히 7.4.8 및 8.6.1.3절과 비교)에서 소개되어 있다.
일반적으로, 에지에 대한 디블로킹은 BS의 유도된 값을 기반으로 하여 실행된다. BS가 0과 같다면, 디블로킹은 실행되지 않는다. 반대의 경우로, 임계치 파라미터(tc)는 추가 필터링 결정에 대해 유도된다.
일반적인 종래의 계산 방식은 종래 기술에서 알려져 있다.
예컨대, AVC에서, tc는, 양자화 파라미터(QP)와 경계 세기(BS) 값에 의해 색인이 붙여진 2차원 하드 부호화 표(hard coded table)를 기반으로 하여 유도된다.
그러한 접근법은 2차원 표를 저장하는 큰 메모리 요건의 단점을 갖는다.
상이한 종래의 접근법이 (HM 버전 1.0으로부터 시작하는) HEVC에서 알려져 있다. 이 경우, tc는 변수(tc_offset)에 의해 색인이 붙여진 1차원 하드 부호화 표로부터 유도된다. 더 상세하게, 제1 단계에서, BS의 유도된 값을 기반으로 하여, 파라미터(tc_offset)를 계산한다. 즉, BS가 2 이하라면, tc_offset=0으로 설정되며, 반대의 경우에는 tc_offset=2로 설정된다. 파라미터(tc)는 다음의 수학식에 다라 결정된다:
함수, Tctable[]은 함수 인수를 사용하여 색인이 붙여진 상이한 tc 값을 갖는 표 함수로서 한정된다. 이 경우에, 함수 인수는 가산된 오프셋 값(tc_offset)을 갖는 양자화 파라미터(QP)이다. 표는 상기 언급한 문서, JCTVC-F803_d4, "HM deblocking filter, JCTVC-F803_d4, "WD4: Working Draft 4 of High-Efficiency Video Coding", 6번째 회의, 토리노, 이탈리아, 2011년 7월 14일부터 22일까지(특히 표 8-15와 비교)에서 한정된다.
후자의 종래 방식의 단점은, 값(BS=1과 BS=2) 사이에 차이가 없다는 점이다. 결국, BS=2를 갖는 더 블로키 상태인 에지와 BS=1을 갖는 덜 블로키 상태인 에지는 동일한 디블로킹 동작을 겪을 수 있다.
본 발명은 파라미터(TCz)를 유도하는 간략하며 덜 복잡한 방식을 제공한다. 즉, BS=2라면, tc_offset=1이다. BS=1이라면, tc_offset=0으로 설정된다.
결국, 표 크기는 AVC와 비교할 때 감소한다. 다른 한편으로, HEVC(1.0보다 큰 HM)과 비교하면, 더 블로키 상태인 에지(BS=2)와 덜 블로키 상태인 에지 (BS=1) 사이에 추가적인 차이가 도입된다. 다시 말해, 종래의 HEVC 접근법과 비교할 때, 본 발명은 경계 세기(BS)를 기반으로 하여 더 미세한 그레인의(more fine grained) tc_offset 유도를 가능케 한다.
그러한 차이를 도 9에 예시한다.
도 9의 좌측은 HEVC의 종래의 HM-4.0 접근법을 예시한다. 이로부터 알 수 있는 바와 같이, 두 값(BS=2 및 BS=1)은 동일한 tc 값을 초래한다. 반대로, 우측에서, 본 발명의 실시예에 따른 변경된 방식을 예시한다. 이로부터 알 수 있는 바와 같이, 상이한 tc 값을 BS=2 및 BS=1인 상이한 값에 대해 얻게 된다.
BS를 유도하는 전체 처리 단계는 도 8의 방식에 대응하며, 동일한 처리 단계가 도 8 및 도 9에서 동일한 단계 번호로 참조된다.
일반적으로 말해, 본 발명의 실시예에 따라, 단계(S820)에서의 판정이 긍정적일 때, 그러한 판정이 부정적인 경우와 비교할 때, 파라미터(tc_offset)는 항상 상이하게 설정된다.
도 10은, 종래의 방식과, 도 9의 개선된 방식, 우측 사이의 (http://phenix.intevry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F900-v1.zip 하에서 이용 가능한 JCT-VC 문서 JCTVC-F900에서 명시된 대로의) 부호화 효율의 비교를 예시한다. 도 10a의 좌측 표는 공통 시험 조건에 대응한다. 도 10b의 우측은 하이 컨버세이션(high conversation) 파라미터(QP=39, 41, 43 및 45)에 대응한다. BD-레이트는 피스-와이즈 큐빅 보간(piece-wise cubic interpolation)(음영 숫자에 대한 큐빅 보간)을 사용하여 계산된다. 낮은 지연 P 고 효율과 낮은 지연 P 저 복잡도인 경우에 관찰되는 약간의 부호화 효율 이득이 있다. 부호화 횟수와 복호 횟수는 종래 방식과 유사하다.
도 11은 도 8의 처리 방식의 추가 간략화를 예시한다.
도 11의 간략화는 결정 트리의 복잡도 및 그에 따른 계산 노력을 감소시키고자 개발되었다. 종래의 접근법과 본 발명의 실시예에 따라 간략화된 접근법 사이의 차이를 강조하기 위해, 도 8의 종래의 접근법은 도 11의 좌측에 한번 더 예시되었으며, 여기서 같은 참조 번호는 같은 단계를 지칭한다. 본 발명의 실시예에 따른 개선된 방법은 도 11의 우측 상에 예시되어 있다. 이로부터 알 수 있는 바와 같이, 단계(S810)에서 긍정적으로 결정된 경우에, 값(BS=3)이 자동으로 할당된다(단계(S1115)가 단계(S812)를 대체함). 값 3은 그러나 단지 예이며, 다른 고정 값이 본 발명 내에서 사용될 수 있다.
다시 말해, CU 에지와 다른 블록 경계(특히: 전술한 바와 같이 TU 에지 및 PU 에지) 사이에 구별은 없다. 적어도 하나의 내부-부호화된 블록에 인접한 모든 에지는 따라서 동일한 방식으로 취급되며, 동일한 BS가 할당된다. 그러므로 CU 에지에 대한 점검을 실행하는 추가 단계는 필요하지 않다. 그러므로 전술한 바와 같이, BS 유도에서의 각 단계는 여러 CPU 사이클을 포함하므로 계산 노력은 감소할 수 있다.
도 12는, 도 11의 방식(우측)과, 도 8의 종래의 방식 사이의 (http://phenix.intevry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F900-v1.zip 하에서 이용 가능한 JCT-VC 문서 JCTVC-F900에서 명시된 대로의) 부호화 효율의 비교를 예시한다.
도 12로부터 알 수 있는 바와 같이, 부호화 효율은 일반적으로 종래의 접근법과 매칭된다. 그러나 계산 파워는 절약되며, 이는 유도 방식이 BS 계산의 중요 부분에서 CU 경계 점검 명령을 생략함으로 인해 덜 복잡하기 때문이다.
도 13은 도 9 및 도 11 모두의 혁신적인 접근법의 조합을 반영한 간략화된 방식을 예시한다. 도 13에서, 동일한 참조 번호는 이전 도면에서처럼 각각의 방법 단계에 대응한다.
도 13으로부터 알 수 있는 바와 같이, 경계 세기(BS)와 추가 오프셋 파라미터(tc_offset) 사이의 바이유니크(biunique)(원-투-원 및 온투(one-to-one and onto)) 대응 면에서 장점이 있다. 오프셋 파라미터(tc_offset)의 중간 판별은 본 발명에 따른 변경된 한정 면에서 진부하게 되었으며, 그러므로 메모리 및 계산 파워 요건을 절약하기 위해 완전히 생략될 수 있다. 알 수 있는 바와 같이, tc는 BS에 바로 의존하며, 다음의 수학식에 따라 유도된다:
다시 말해, tc는 BS와 QP의 합의 (고유) 함수가 되었다.
더욱 상세하게, 종래 기술에 따라, tc는 수학식, 에 따라 한정되었으며, BS>2일때 tc_offset=2이며, BS<=2일 때 tc_offset=0이다.
본 발명에 따르면, 변수(tc_offset)는 더 이상 사용되지 않으며, tc는 다음과 같이 유도될 수 있다:
또는 심지어
(도 14: 후술됨).
도 14는 도 13과 비교한 추가 변경을 예시한다. 즉, 각 결정 단계에서 내려진 결정 면에서 할당된 BS 값은 1만큼 다운 시프트된다. 더욱 상세하게, 단계(S810)에서 긍정적으로 결정된 경우에, 단계(S1115)는 단계(S1415)로 교체되며, 여기서 BS=2로 설정된다. 단계(S820)에서 긍정적으로 결정된 경우에, 단계(S822)는 단계(S1422)로 교체되며, 여기서 BS=1로 설정된다. 단계(S830)에서 긍정적으로 결정된 경우에, 단계(S832)는 단계(S1432)로 교체되며, 여기서 BS=0으로 설정된다. 유사하게, 단계(S840)에서 긍적적으로 결정된 경우에, 단계(S842)는 단계(S1442)로 교체되며, 여기서 BS=0으로 설정된다.
결국, 파라미터(tc)의 계산은 추가로 간략화된 수학식에 따라 실행될 수 있다:
이에 따라, BS와 QP의 합은 룩업 테이블 함수 Tctable에서 룩업 파라미터로서 바로 사용된다.
단계(S840)에서 부정적으로 결정된 경우에 특정한 상황을 고려해야 한다. 도 13에서 (및 이전 각 도면에서) 이 경우에 값(BS=0)이 단계(S844)에서 설정되었으며, (경계 세기의 부정적인 값이 허용 가능하지 않으므로) 1만큼의 추가 다운 시프트가 이용 가능하지 않으므로, 처리 방식은 상기 특정 경우에 약간 변경된다. 즉, 단계(S844)는 도 14에서 단계(S1444)로 교체되며, 여기서, 임의의 특정한 BS 값 설정 없이도 디블로킹하지 않음을 실행한다고 결정된다. 다시 말해, "디블로킹 하지 않음" 결정은 경계 세기 값을 참조하지 않고도 실행된다. 디블로킹 하지 않음인 경우에 파라미터(tc)를 수반하는 임의의 추가 결정은 불필요하므로, 경계 세기 값을 할당하는 중간 단계도 그 경우에 불필요하게 된다.
요약하면, 도 13 및 도 14의 개선된 계산 방식은 다음의 장점을 가능케 한다:
a) 중간 파라미터(tc_offset)를 사용할 필요가 회피되며, 따라서 필터의 세기를 결정하는 값(tc)의 유도가 간략화되었다.
b) BS=2(도 14의 경우에는 BS=1)를 갖는 더 블로키 상태인 에지와 BS=1(도 14에서는 BS=0)을 갖는 덜 블로키 상태인 에지 사이의 추가적인 차이를 도입하였다. 결국, 부호화 효율과 주관적인 품질에서의 이득을 달성할 수 있다.
c) 처리된 경계가 부호화 유닛 에지인지를 점검하는 추가 단계가 생략되어, 경계 세기의 유도가 간략화된다. 결과적으로 복잡도가 감소하여, BS 유도에서 더 적은 수의 명령(CPU 사이클)을 초래한다.
도 14의 방식의 추가 변경이 도 15에 예시되어 있다. 도 15에서, 결정 트리의 추가 개선이, 단계(S820)에서 부정적으로 결정된 경우에서뿐만 아니라 그러한 단계에서 긍정적으로 결정된 경우에도, 참조 색인 및 움직임 벡터 차이에 대한 추가 결정을 실행함으로써 예시되어 있다. 더욱 상세하게, 도 14에서 단계(S820)에서 긍정적으로 결정된 경우 BS=1이 단계(S1422)에서 자동으로 할당되는데 반해, 도 15의 방식에 따라서는, 처리는 단계(S1530)으로 추가로 진행한다. 단계(S1530)에서, 블록 P 및 Q의 참조 색인이 상이한지에 대한 결정이 실행된다. 부정적으로 결정된 경우에, 값(BS=1)이 단계(S1532)에서 설정된다. 긍정적으로 결정된 경우에, 절대차가 예컨대 블록 P과 Q 사이의 수직 움직임 벡터 성분 값이며 미리 결정된 값(바람직하게는 3)을 초과하는지에 대한 추가 결정이 단계(S1540)에서 실행된다. 단계(S1540)에서 부정적으로 결정된 경우에, 단계(S1542)에서 한번 더 BS=1로 설정된다. 단계(S1540)에서 긍정적으로 결정된 경우에, 대조적으로, 단계(S1544)는 BS=2를 설정한다. 다시 말해, 도 15의 추가 결정 단계는, 0과 같지 않은 적어도 하나의 변환 계수 레벨이 있으며, 블록 P 및 Q가 상이한 픽처로 참조되며 움직임 벡터 성분의 절대차가 존재할 때(즉, 3개의 결정(S820, S1530 및 S1540) 모두가 긍정적으로 결정될 때) 가장 블로키 상태인 경우가 발생함을 강조하는 역할을 한다. 그 경우, 도 14의 상황과 비교하여 상이한 경계 세기(바람직하게는 더 높은 경계 세기)가 할당된다. 더욱 상세하게, 3개의 언급한 결정 모두가 긍정적으로 판정된다면, 본 예에서, 동일한 값(BS=2)이 내부-부호화된 블록인 경우에서처럼 할당된다. 그러나 본 발명은 그러한 값으로 제한되지 않으며, 특히 블로키 상태인 경우를 강조하기 위한 다른 값이 또한 가능함을 주목해야 한다.
게다가, 도 7의 전체 결정 방식의 간략화를 도 16에 도시한다. 도 16의 좌측 상의 방식은 도 7의 종래의 방식에 대응한다. 추가 간략화가 계산을 추가로 간략화하게 한다. 전체 방식은 도 16의 하단 우측에 도시되어 있다. S1600의 제1 단계에서, 경계 세기가 추가로 간략화된 방식에 따라 계산된다. 그러한 추가로 간략화된 방식은 도 16의 상단 우측 부분에 예시되어 있다. 즉, 도 16의 추가로 간략화된 BS 계산 방식에서 단 하나의 결정이 실행된다. 단계(S810)에서의 단일 결정이 긍정적이라면(적어도 하나의 내부-부호화된 블록), BS=2가 단계(S1450)에서 설정된다. 이전 방식과 대조적으로, 또한 단계(S810)의 부정적으로 결정된 경우에, 추가 결정이 실행되지 않는다. 대조적으로, 처리는 단계(S1620)로 진행하며, 여기서 BS는 고정 값(BS=0)으로 설정된다. 단계(S1600)에서 변경된 계산을 기반으로 하여(이 도면의 우측 상단부에 상세하게 기재됨), 처리는 즉시 단계(S720)로 진행하며, 여기서 파라미터(tc 및 β)가 계산된다. tc 및 β를 기반으로, 후속 단계(S1630)에서, 강한 필터링(S732), 약한 필터링(S735) 또는 필터링 없음(S738)을 실행하는지에 대해 결정된다. 단계(S1415 및 S1620)에서 파라미터(BS)에 할당될 값(2 및 0)은 단지 예시적인 값이며, 다른 고정 값이 본 발명의 범위 내에 있음을 주목해야 한다.
결국, 블로킹 결정의 픽셀 기반 단에서 필터링 없음만이 결정된다. tc의 계산은, 2(또는 다른 고정 값)의 값이 표 함수(Tctable)의 인수에 추가되거나 추가되지 않는다는 점에서 더 간략화된다.
따라서, 단계(S810)에서 단지 단일 결정이 실행된 결과로, 상이한 고정 값이 경계 세기(BS)에 할당된다는 점에서 계산이 더 간략화된다.
본 발명의 추가 장점은, 경계 세기(BS)의 값을 저장하는데 필요한 비트 양의 감소에 관한 것이다. 도 8을 참조하여 전술한 바와 같이, 종래 기술에서, 경계 세기(BS)는 경계값 포함 범위[0, 4]에서 값을 갖는다. 결국, 3비트의 최소치가 각 에지에 대해 BS 값을 나타내는데 필요하다. 다른 한편, 현재 발명의 방법은 경계값 포함 범위[0, 3]에서 BS 값을 단지 사용한다. 따라서, 본 발명은 그러한 특정한 상황을 고려하여, 오직 2비트를 사용하여 BS 값을 나타낼 수 있게 한다. 즉, 부호화 유닛 에지가 아닌 다른 종류의 블록 경계와 부호화 유닛 경계 사이의 차이를 회피한 본 발명은 0 내지 3의 경계 세기 값만을 갖게 된다. 실시예(도 14 및 후속 도면과 비교)는 심지어 경계값 포함 간격[0, 2]인 BS 범위를 생성한다.
따라서, 본 발명은, 메모리 요건을 덜 수반하면서 현재의 HM-4.0과 동일한 디블로킹 결과를 달성하는 추가 장점을 제공한다.
다음의 설명에서, 본 발명의 실시예의 일부 추가 특정 양상 및 특성을 간략하게 기재한다.
실시예에 따라, 제1 파라미터는, 제1 판정이 부정적이라면 제1 고정 값과는 상이한 제2 고정 값으로 설정된다.
또한, 실시예에 따라, 본 발명에 따른 방법은, 그러한 제1 및 제2 디블로킹 필터 중 더 작은 세기를 갖는 필터가 선택되었다면, 제2 파라미터를 사용하여 한정된 다른 임계치를 기반으로 하여 디블로킹을 그러한 경계에 적용하지 않는 것으로 결정하는 단계를 포함한다. 본 실시예에 따른 장치는 결정 단계를 실행하는 결정 유닛을 포함한다.
또한, 실시예에 따라, 제1 판정이 부정적이라면, 그러한 인접 픽셀 블록 중 적어도 하나가 적어도 하나의 비-0 레벨의 변환 계수를 포함하는지에 대한 제2 판정 단계와, 이미지 블록이 참조되는 픽처를 나타내는 참조 색인이 그러한 인접 이미지 블록 모두에 대해 상이한지에 대한 제3 판정 단계, 및 2개의 인접 이미지 블록 사이의 수평 및 수직 움직임 벡터 성분 값 중 적어도 하나에서의 절대차가 미리 결정된 임계값을 초과하는지에 대한 제4 판정 단계를 더 포함한다. 제2, 제3 및 제4 판정 단계가 모두 긍정적이라고 판정된다면, 제1 파라미터의 값은 그러한 제1 고정 값이라고 결정된다. 그렇지 않다면, 제1 파라미터는 상이한 값이라고 결정된다. 실시예에 따른 장치는, 제1 판정 부분에 의한 판정이 부정적인 경우에 동작되어 제2, 제3 및 제4 판정 단계를 실행하는 제2, 제3 및 제4 판정 부분을 더 포함한다.
실시예 각각에 기재된 처리는, 실시예 각각에서 기재된 동화상 부호화 방법(이미지 부호화 방법)과 동화상 복호 방법(이미지 복호 방법)의 구성을 구현하기 위한 프로그램을 기록 매체에 기록함으로써, 독립적인 컴퓨터 시스템에서 간단히 구현될 수 있다. 기록 매체는, 프로그램이 기록될 수 있는 한, 자기 디스크, 광 디스크, 자기 광 디스크, IC 카드 및 반도체 메모리와 같은 임의의 기록 매체일 수 있다.
이 후, 실시예 각각에서 기재된 동화상 부호화 방법(이미지 부호화 방법)과 동화상 복호 방법(이미지 복호 방법) 및 이를 사용한 시스템에 대한 응용을 기재할 것이다. 시스템은, 이미지 부호화 방법을 사용하는 이미지 부호화 장치와 이미지 복호 방법을 사용하는 이미지 복호 장치를 포함하는 이미지 부호화 및 복호 장치를 갖는 특성을 갖는다. 시스템의 다른 구성은 경우에 따라 적절히 변경될 수 있다.
(실시예 A)
도 17는, 컨텐츠 전송 서비스를 구현하는 컨텐츠 제공 시스템(ex100)의 전체 구성을 나타내는 도면이다. 통신 서비스의 제공 영역을 원하는 크기의 셀로 분할하고, 각 셀 내에 고정 무선국인 기지국(ex106, ex107, ex108, ex109, 및 ex110)이 설치되어 있다.
이 컨텐츠 제공 시스템(ex100)은, 인터넷(ex101), 인터넷 서비스 프로바이더(ISP: Internet Service Provider)(ex102), 전화망(ex104), 그리고 기지국(ex106 내지 ex110) 각각을 통하여, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대폰(ex114), 게임기(ex115) 등의 기기가 접속된다.
그러나 컨텐츠 제공 시스템(ex100)은 도 17과 같은 구성에 한정되지 않고, 어느 하나의 요소를 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex106 내지 ex110)을 거치지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다. 또한, 각 기기가 근거리 무선 통신 등을 통하여 서로 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 비디오 촬영이 가능한 기기이다. 카메라(ex116)는 디지털 카메라 등의 정지 이미지 촬영, 비디오 촬영이 가능한 기기이다. 또한, 휴대폰(ex114)은, GSM(등록 상표)(Global System for Mobile Communications), CDMA(Code Division Multiple Access), W-CDMA(Wideband-Code Division Multiple Access), LTE(Long Term Evolution) 및 HSPA(High Speed Packet Access) 등의 표준 중 어느 것을 충족하는 것일 수 있다. 택일적으로, 휴대폰(ex114)은 PHS(Personal Handyphone System)일 수 있다.
컨텐츠 제공 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109) 및 전화망(ex104)을 통하여 스트리밍 서버(ex103)에 접속됨으로써, 라이브 쇼 등의 이미지 전송 등이 가능해진다. 라이브 전송에서는, 사용자가 카메라(ex113)를 이용하여 촬영하는 컨텐츠(예를 들면, 음악 라이브 쇼의 비디오)에 대하여 각 실시예에서 설명한 것과 같이 부호화 처리를 행하고(즉, 카메라가 본 발명의 일 양상에 관련된 이미지 부호화 장치로서 기능한다), 부호화된 컨텐츠를 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대하여 송신된 컨텐츠 데이터를 스트림 전송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대폰(ex114) 및 게임기(ex115)가 있다. 전송된 데이터를 수신한 각 기기에서는, 부호화된 데이터를 복호하여 재생한다(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다).
또한, 촬영한 데이터는 카메라(ex113)로 또는 데이터를 송신하는 스트리밍 서버(ex103)로 부호화되거나, 부호화 처리는 카메라(ex113)와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 마찬가지로 전송된 데이터는 클라이언트나 스트리밍 서버(ex103)로 복호되거나, 복호 처리는 클라이언트와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 또한, 카메라(ex113)에 한정되지 않고, 카메라(ex116)로 촬영한 정지 이미지 및 비디오 데이터를, 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 하나로 행해도 되고, 서로 공유하여 행해도 된다.
또한, 이들 부호화 및 복호 처리는, 일반적으로 컴퓨터(ex111)와 기기들 각각에 포함된 LSI(ex500)에 의해 실행할 수 있다. LSI(ex500)는, 1 칩이거나 복수 칩으로 이루어지는 구성이어도 된다. 또한, 비디오 부호화 및 복호용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어떠한 기록 매체(CD-ROM, 플렉서블 디스크, 하드 디스크 등)에 집어넣고, 그 소프트웨어를 이용하여 부호화 및 복호 처리를 행해도 된다. 또한, 휴대폰(ex114)에 카메라가 부착된 경우에는, 그 카메라로 취득한 비디오 데이터를 송신해도 된다. 비디오 데이터는 휴대폰(ex114)이 가지는 LSI(ex500)에서 부호화된 데이터이다.
또한, 스트리밍 서버(ex103)는 서버와 컴퓨터로 구성될 수 있으며, 데이터를 분산하여 분산된 데이터를 처리하고, 기록하거나 전송하는 것이어도 된다.
이상과 같이 하여, 컨텐츠 제공 시스템(ex100)에서는, 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 다시 말해, 컨텐츠 제공 시스템(ex100)에서는, 사용자가 송신한 정보를 클라이언트가 수신하고 복호하여, 복호된 데이터를 실시간으로 재생할 수 있어서, 특별한 권리나 설비를 가지지 않는 사용자라도 개인 방송을 구현할 수 있다.
또한, 컨텐츠 제공 시스템(ex100)의 예 외에, 도 18에 도시하는 바와 같이, 디지털 방송용 시스템(ex200)에서, 각 실시예에 기재된 동화상 부호화 장치(이미지 부호화 장치) 및 동화상 복호 장치(이미지 복호 장치) 중 적어도 하나가 실행될 수 있다. 구체적으로는, 방송국(ex201)에서는 비디오 데이터에 오디오 데이터 등이 다중화되어 얻어진 다중화된 데이터가 전파를 통하여 방송 위성(ex202)에 통신 또는 송신된다. 이 비디오 데이터는 각 실시예에서 설명한 동화상 부호화 방법에 의해 부호화된 데이터이다(즉, 본 발명의 일 양상에 관련된 이미지 부호화 장치에 의해 부호화된 데이터이다). 다중화된 데이터를 받으면, 방송 위성(ex202)은, 방송용의 전파를 송신한다. 그 후, 위성 방송의 수신이 가능한 가정의 안테나(ex204)가 전파를 수신한다. 다음으로, 수신한 다중화된 데이터를, 텔레비전(수신기)(ex300) 및 셋탑 박스(STB)(ex217) 등의 장치가 복호하여 복호된 데이터를 재생한다(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다).
또한, 리더/레코더(ex218)는 (i) DVD, BD 등의 기록 매체(ex215)에 기록한 다중화된 데이터를 판독하여 복호하거나, (i) 기록 매체(ex215)에서의 비디오 신호를 부호화하고, 또한 경우에 따라서는 부호화된 데이터 상에서 오디오 신호를 다중화하여 얻은 데이터를 기록한다. 리더/레코더(ex218)는 각 실시예에서 나타낸 동화상 복호 장치 또는 동화상 부호화 장치를 포함할 수 있다. 이 경우, 재생된 비디오 신호는 모니터(ex219)에 디스플레이되고, 다중화된 데이터가 기록된 기록 매체(ex215)를 이용하여 다른 장치나 시스템에 의해 비디오 신호를 재생할 수 있다. 또한, 케이블 텔레비전용의 케이블(ex203) 또는 위성 및/또는 지상파 방송용 안테나(ex204)에 접속된 셋탑 박스(ex217) 내에 동화상 복호 장치를 구현하고, 비디오 신호를 텔레비전(ex300)의 모니터(ex219)로 디스플레이해도 된다. 이때 셋탑 박스가 아니라, 텔레비전(ex300) 내에 동화상 복호 장치를 구현해도 된다.
도 19는, 각 실시예에서 설명한 동화상 복호 방법 및 동화상 부호화 방법을 이용한 텔레비전(수신기)(ex300)을 나타내는 도면이다. 텔레비전(ex300)은, 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통하여 비디오 데이터에 오디오 데이터가 다중화되어 얻어진 다중화된 데이터를 취득 또는 제공하는 튜너(ex301); 수신한 다중화된 데이터를 복조하거나, 외부에 공급하는 다중화된 데이터로 변조하는 변조/복조 유닛(ex302); 및 변조한 다중화된 데이터를 비디오 데이터와 오디오 데이터로 역다중화하거나, 또는 신호 처리 유닛(ex306)에서 부호화된 비디오 데이터 및 오디오 데이터를 데이터로 다중화하는 다중화/역다중화 유닛(ex303)을 구비한다.
또한, 텔레비전(ex300)은, 오디오 데이터 및 비디오 데이터를 복호하고, 오디오 데이터 및 비디오 데이터를 각각 부호화하는 오디오 신호 처리 유닛(ex304) 및 비디오 신호 처리 유닛(ex305)(본 발명의 일 양상에 관련된 이미지 부호화 장치 및 이미지 복호 장치로서 기능한다)를 가지는 신호 처리 유닛(ex306); 및 복호한 오디오 신호를 제공하는 스피커(ex307) 및 복호한 비디오 신호를 디스플레이하는 디스플레이 등의 디스플레이 유닛(ex308)을 가지는 출력 유닛(ex309)을 더 갖는다. 또한, 텔레비전(ex300)은, 사용자 조작의 입력을 수신하는 조작 입력 유닛(ex312)을 가지는 인터페이스 유닛(ex317)을 가진다. 또한, 텔레비전(ex300)은, 텔레비전(ex300)의 각 구성 요소를 통괄적으로 제어하는 제어 유닛(ex310)과, 각 요소에 전력을 공급하는 전원 회로 유닛(ex311)을 가진다. 인터페이스 유닛(ex317)은, 조작 입력 유닛(ex312) 이외에, 리더/레코더(ex218) 등의 외부 기기와 접속되는 브릿지(ex313); SD 카드 등의 기록 매체(ex216)를 장착 가능하게 하기 위한 슬롯 유닛(ex314); 하드 디스크 등의 외부 기록 매체와 접속하기 위한 드라이버(ex315); 및 전화망과 접속하는 모뎀(ex316) 등을 가지고 있어도 된다. 또한, 기록 매체(ex216)는, 저장하는 불휘발성/휘발성의 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. 텔레비전(ex300)의 각 구성 요소는 동기 버스를 통하여 서로 접속되어 있다.
먼저, 텔레비전(ex300)이 안테나(ex204) 등에 의해 외부로부터 취득한 다중화된 데이터를 복호하여, 복호된 데이터를 재생하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, CPU를 가지는 제어 유닛(ex310)의 제어에 의거하여, 변조/복조 유닛(ex302)에서 복조한 다중화된 데이터를 다중화/역다중화 유닛(ex303)에서 역다중화한다. 또한, 텔레비전(ex300)에서는, 상기 각 실시예에서 설명한 복호 방법을 이용하여 역다중화한 오디오 데이터를 오디오 신호 처리 유닛(ex304)에서 복호하고, 역다중화한 비디오 데이터를 비디오 신호 처리 유닛(ex305)에서 복호한다. 복호한 오디오 신호 및 비디오 신호는, 각각 출력 유닛(ex309)으로부터 외부를 향해서 출력된다. 출력 유닛(ex309)이 비디오 신호 및 오디오 신호를 제공할 때, 이들 신호는 서로와 동기화하여 재생하도록, 버퍼(ex318 및 ex319) 등에 일시적으로 저장될 수 있다. 또한, 텔레비전(ex300)은, 방송 등으로부터가 아니라, 자기 디스크, 광 디스크, 및 SD 카드 등의 기록 매체(ex215 및 ex216)로부터 다중화된 데이터를 판독해도 된다. 다음에, 텔레비전(ex300)이 오디오 신호 및 비디오 신호를 부호화하여 외부에 송신하거나 이러한 데이터를 기록 매체 상에 기록하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, 제어 유닛(ex310)의 제어에 의거하여, 각 실시예에서 설명한 부호화 방법을 이용하여 오디오 신호 처리 유닛(ex304)에서 오디오 신호를 부호화하고, 비디오 신호 처리 유닛(ex305)에서 비디오 신호를 부호화한다. 부호화한 오디오 신호 및 비디오 신호는 다중화/역다중화 유닛(ex303)에서 다중화되어 결과 신호가 외부로 제공된다. 다중화/역다중화 유닛(ex303)이 비디오 신호 및 오디오 신호를 다중화할 때, 신호들은 서로 동기화되어 재생되도록 버퍼(ex320 및 ex321) 등에 일시적으로 저장될 수 있다. 또한, 버퍼(ex318, ex319, ex320 및 ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되고, 적어도 하나의 버퍼를 텔레비전(ex300)에서 공유하는 구성이어도 된다. 또한, 예를 들면 변조/복조 유닛(ex302)과 다중화/역다중화 유닛(ex303) 사이에서 시스템 오버플로우 및 언더플로우를 피할 수 있도록 데이터가 버퍼에 저장될 수 있다.
또한, 텔레비전(ex300)은, 방송이나 기록 매체로부터 오디오 데이터 및 비디오 데이터를 취득하는 구성 이외에, 마이크나 카메라로부터 AV 입력을 수신하는 구성을 구비하고, 이들로부터 취득한 데이터를 부호화할 수 있다. 또한, 텔레비전(ex300)은 상세한 설명에서 부호화, 다중화 및 데이터를 외부로 제공할 수 있더라도, 오로지 수신, 복호, 및 데이터를 외부로 제공할 수만 있고, 부호화, 다중화, 및 데이터를 외부로 제공하는 것은 할 수 없을 수 있다.
또한, 리더/레코더(ex218)에서 기록 매체로부터 다중화된 데이터를 판독하거나, 또는 이에 기록하는 경우에는, 텔레비전(ex300) 및 리더/레코더(ex218) 중 하나가 다중화된 데이터를 복호 또는 부호화할 수 있으며, 텔레비전(ex300) 및 리더/레코더(ex218)가 복호 또는 부호화를 공유할 수 있다.
일예로서, 광 디스크로부터 데이터를 판독 또는 기록할 경우의 정보 재생/기록 유닛(ex400)의 구성을 도 20에 도시한다. 정보 재생/기록 유닛(ex400)은, 이하에 설명하는 구성요소(ex401, ex402, ex403, ex404, ex405, ex406 및 ex407)를 구비한다. 광 헤드(ex401)는, 광 디스크인 기록 매체(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기록하고, 기록 매체(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 판독한다. 변조 기록 유닛(ex402)은, 광 헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저 광의 변조를 행한다. 재생 복조 유닛(ex403)은, 광 헤드(ex401)에 내장된 포토디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출하여 얻은 재생 신호를 증폭하고, 기록 매체(ex215)에 기록된 신호 성분을 분리하여 이 재생 신호를 복조하여, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 매체(ex215)에 기록하기 위한 정보 및 기록 매체(ex215)로부터 재생한 정보를 일시적으로 유지한다. 디스크 모터(ex405)는 기록 매체(ex215)를 회전시킨다. 서보 제어 유닛(ex406)은, 디스크 모터(ex405)의 회전 구동을 제어하면서 광 헤드(ex401)를 미리 결정된 정보 트랙으로 이동시켜, 레이저 스폿을 뒤따른다. 시스템 제어 유닛(ex407)은, 정보 재생/기록 유닛(ex400) 전체의 제어를 행한다. 이러한 판독 및 기록 처리는 시스템 제어 유닛(ex407)이, 버퍼(ex404)에 저장된 각종 정보를 이용하거나, 또한 필요에 따라서 새로운 정보를 생성하고 추가함과 더불어, 변조 기록 유닛(ex402), 재생 복조 유닛(ex403), 서보 제어 유닛(ex406)을 협조 동작시키면서, 광 헤드(ex401)를 통하여, 정보의 기록 재생을 행함으로써 구현된다. 시스템 제어 유닛(ex407)은 예를 들면 마이크로 프로세서로 구성되고, 컴퓨터가 판독 및 기록용 프로그램을 실행하게 함으로써 처리를 실행한다.
이상에서는, 광 헤드(ex401)는 레이저 스폿을 조사하는 것으로서 설명했는데, 근접장광을 이용하여 고밀도의 기록을 행하는 구성이어도 된다.
도 21에 광 디스크인 기록 매체(ex215)를 예시한다. 기록 매체(ex215)의 기록면에는 안내 홈(groove)이 스파이럴 상으로 형성되고, 정보 트랙(ex230)에는, 미리, 안내 홈의 형상 변화에 의해 디스크 상의 절대 위치를 나타내는 어드레스 정보가 기록되어 있다. 이 어드레스 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 결정하기 위한 정보를 포함한다. 데이터의 기록이나 재생을 행하는 장치에 있어서 정보 트랙(ex230)을 재생하여 어드레스 정보를 판독함으로써 기록 블록의 위치를 결정할 수 있다. 또한, 기록 매체(ex215)는, 데이터 기록 영역(ex233), 내주 영역(ex232), 및 외주 영역(ex234)을 포함하고 있다. 사용자 데이터를 기록하기 위해서 이용하는 영역이 데이터 기록 영역(ex233)이다. 데이터 기록 영역(ex233)의 내부 및 외부에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234) 각각은, 사용자 데이터의 기록 이외의 특정 용도에 이용된다. 정보 재생/기록 유닛(ex400)은, 이러한 기록 매체(ex215)의 데이터 기록 영역(ex233)에 대하여, 부호화된 오디오, 부호화된 비디오 데이터 또는 부호화된 오디오 및 비디오 데이터의 다중화에 의해 얻은 다중화된 데이터의 판독 및 기록을 행한다.
DVD, BD 등의 하나의 층의 광 디스크를 예로 들어 설명했는데, 광 디스크는 이들로 한정되는 것은 아니고, 다층 구조이며 표면 이외의 부분에도 기록가능한 광 디스크여도 된다. 또한, 광 디스크의 동일한 장소에 다양한 파장의 색의 광을 이용하여 정보를 기록하고 다양한 각도로부터 상이한 층의 정보를 기록하는 등, 다차원적인 기록/재생을 행하는 구조의 광 디스크여도 된다.
또한, 디지털 방송용 시스템(ex200)에 있어서, 안테나(ex205)를 가지는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하고, 차(ex210)가 가지는 카 네비게이션 시스템(ex211) 등의 디스플레이 장치에 비디오를 재생하는 것도 가능하다. 또한, 카 네비게이션 시스템(ex211)의 구성은 예를 들면 도 19에 도시하는 구성 중, GPS 수신 유닛을 포함하는 구성일 것이다. 동일한 것을 컴퓨터(ex111), 휴대폰(ex114) 등의 구성에서도 생각할 수 있다.
도 22a는, 실시예에서 설명한 동화상 복호 방법 및 동화상 부호화 방법을 이용한 휴대폰(ex114)을 도시하는 도면이다. 휴대폰(ex114)은, 기지국(ex110)을 통하여 전파를 송수신하기 위한 안테나(ex350); 화상 및 정지 이미지를 촬영하는 것이 가능한 카메라 유닛(ex365); 및 카메라 유닛(ex365)으로 촬상하거나 안테나(ex350)로 수신한 복호된 비디오 등의 데이터를 디스플레이하는 액정 디스플레이 등의 디스플레이 유닛(ex358)을 구비한다. 휴대폰(ex114)은, 또한, 조작 키 유닛(ex366)을 가지는 본체 유닛; 오디오를 출력하기 위한 스피커 등인 오디오 출력 유닛(ex357); 오디오를 입력하기 위한 마이크 등인 오디오 입력 유닛(ex356); 촬영한 비디오 또는 정지 화상, 녹음한 오디오, 또는 수신한 비디오, 정지 화상, 전자 메일 등이 부호화된 데이터 또는 복호된 데이터를 저장하기 위한 메모리 유닛(ex367); 및 메모리 유닛(ex367)과 동일한 방식으로 데이터를 저장하는 기록 매체에 대한 인터페이스 유닛인 슬롯 유닛(ex364)를 구비한다.
또한, 휴대폰(ex114)의 구성예에 대하여, 도 22b를 이용하여 설명한다. 휴대폰(ex114)은, 디스플레이 유닛(ex358) 및 조작 키 유닛(ex366)을 구비한 본체 유닛의 각 부를 통괄적으로 제어하도록 설계된 메인 제어 유닛(ex360)에 대하여, 전원 공급 회로 유닛(ex361), 조작 입력 제어 유닛(ex362), 비디오 신호 처리 유닛(ex355), 카메라 인터페이스 유닛(ex363), LCD(Liquid Crystal Display) 제어 유닛(ex359), 변조/복조 유닛(ex352), 다중화/역다중화 유닛(ex353), 오디오 신호 처리 유닛(ex354), 슬롯 유닛(ex364) 및 메모리 유닛(ex367)이 동기 버스(ex370)를 통하여 서로 접속되어 있다.
전원 공급 회로 유닛(ex361)은, 사용자의 조작에 의해 통화종료 키 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대폰(ex114)을 동작가능한 상태로 기동한다.
휴대폰(ex114)은, CPU, ROM, RAM 등을 가지는 주 제어 유닛(ex360)의 제어에 의거하여, 음성 통화 모드 시에 오디오 입력 유닛(ex356)에서 수음한 오디오 신호를 오디오 신호 처리 유닛(ex354)에서 디지털 오디오 신호로 변환한다. 그 후, 변조/복조 유닛(ex352)에서 디지털 오디오 신호에 관해 스펙트럼 확산 처리하여, 송수신 유닛(ex351)에서 데이터에 관해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 결과 데이터를 안테나(ex350)를 통하여 송신한다. 또한, 휴대폰(ex114)은, 송수신 유닛(ex351)에서 음성 통화 모드 시에 안테나(ex350)를 통하여 수신한 데이터를 증폭하여 데이터에 관한 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시한다. 그 후, 변조/복조 유닛(ex352)에서 데이터에 관해 스펙트럼 역확산 처리하고, 오디오 신호 처리 유닛(ex354)에서 아날로그 오디오 신호로 변환한 후, 이를 오디오 출력 유닛(ex357)을 통해 출력한다.
또한, 데이터 통신 모드 시에 전자 메일을 송신할 경우, 본체의 조작 키 유닛(ex366) 등의 조작에 의해 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어 유닛(ex362)을 통하여 메인 제어 유닛(ex360)에 송출된다. 메인 제어 유닛(ex360)은, 텍스트 데이터를 변조/복조 유닛(ex352)에서 스펙트럼 확산 처리를 하고, 송수신 유닛(ex351)에서 결과 데이터에 대해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 데이터를 안테나(ex350)를 통하여 기지국(ex110)에 송신한다. 전자 메일을 수신하는 경우는, 수신한 데이터에 대하여 전자 메일을 송신하기 위한 처리에 대략 반대인 처리가 행해져, 결과 데이터가 디스플레이 유닛(ex358)에 출력된다.
데이터 통신 모드 시에 비디오, 정지 이미지, 또는 비디오와 오디오를 송신할 경우, 비디오 신호 처리 유닛(ex355)은, 카메라 유닛(ex365)으로부터 공급된 비디오 신호를 각 실시예에서 나타낸 동화상 부호화 방법에 의해 압축 부호화하고(즉, 본 발명의 일 양상에 관련된 이미지 부호화 장치로서 기능한다), 부호화된 비디오 데이터를 다중화/역다중화 유닛(ex353)에 송신한다. 대조적으로, 오디오 신호 처리 유닛(ex354)은, 비디오, 정지 이미지 등을 카메라 유닛(ex365)에서 촬상 중에, 오디오 입력 유닛(ex356)에서 수음한 오디오 신호를 부호화하고, 부호화된 오디오 데이터를 다중화/역다중화 유닛(ex353)에 송신한다.
다중화/역다중화 유닛(ex353)은, 비디오 신호 처리 유닛(ex355)으로부터 공급된 부호화된 비디오 데이터와 오디오 신호 처리 유닛(ex354)으로부터 공급된 부호화된 오디오 데이터를 미리 결정된 방식으로 다중화한다. 그 후, 변조/복조 유닛(변조/복조 회로 유닛)(ex352)에서 다중화된 데이터에 대해 스펙트럼 확산 처리를 하고, 송수신 유닛(ex351)에서 데이터에 대해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 결과 데이터를 송신한다.
데이터 통신 모드 시에 웹 페이지 등에 링크된 비디오 파일 데이터를 수신할 경우, 또는 비디오 및/또는 오디오가 첨부된 전자 메일을 수신할 경우, 안테나(ex350)를 통하여 수신된 다중화된 데이터를 복호하기 위해서, 다중화/역다중화 유닛(ex353)은, 다중화된 데이터를 비디오 데이터의 비트스트림과 오디오 데이터의 비트스트림으로 역다중화하고, 동기 버스(ex370)를 통하여 부호화된 비디오 데이터를 비디오 신호 처리 유닛(ex355)에 공급함과 더불어, 부호화된 오디오 데이터를 오디오 신호 처리 유닛(ex354)에 공급한다. 비디오 신호 처리 유닛(ex355)은, 각 실시예에서 나타낸 동화상 부호화 방법에 대응한 동화상 복호 방법에 의해 비디오 신호를 복호하고(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다), LCD 제어 유닛(ex359)을 통하여 디스플레이 유닛(ex358)으로부터, 예를 들면 웹 페이지에 링크된 비디오 파일에 포함되는 비디오 및 정지 이미지가 디스플레이된다. 또한, 오디오 신호 처리 유닛(ex354)은, 오디오 신호를 복호하여, 오디오 출력 유닛(ex357)으로부터 오디오가 제공된다.
또한, 상기 휴대폰(ex114) 등의 단말은, (i) 텔레비전(ex300)과 마찬가지로, 부호화기 및 복호기를 모두 가지는 송수신형 단말 외에, (ii) 부호화기만의 송신 단말, (iii) 복호기만의 수신 단말이라고 하는 3가지의 실시 구성을 아마도 가질 것이다. 또한, 디지털 방송용 시스템(ex200)에 있어서, 비디오 데이터에 오디오 데이터가 다중화되어 얻어진 다중화된 데이터를 수신 및 송신하는 것으로서 설명했는데, 오디오 데이터 이외에 비디오에 관련된 문자 데이터 등이 비디오 데이터에 다중화된 데이터여도 되고, 다중화된 데이터가 아니라 비디오 데이터 자체여도 된다.
이와 같이, 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 복호 방법을 상술한 어느 하나의 기기 및 시스템에 이용하는 것은 가능하다. 그와 같이 함으로써, 상기 각 실시예에서 설명한 효과를 얻을 수 있다.
또한, 본 발명은 이러한 상기 실시예에 한정되는 것은 아니고, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.
(실시예 B)
(i) 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치와, (ii) MPEG-2, MPEG-4 AVC, VC-1 등 상이한 표준에 따른 동화상 부호화 방법 또는 동화상 부호화 장치 사이에서 필요에 따라 스위칭함으로써, 비디오 데이터를 생성하는 것도 가능하다.
여기에서, 상이한 표준을 따르는 복수의 비디오 데이터를 생성하여 복호할 때, 상이한 표준을 따르는 복호 방법을 선택할 필요가 있다. 그러나 복호될 복수의 비디오 데이터 각각이 어느 표준을 따르는지 식별할 수 없으므로, 적절한 복호 방법을 선택할 수 없다는 과제가 발생한다.
이 과제를 해결하기 위해서, 비디오 데이터에 오디오 데이터 등을 다중화하여 얻은 다중화된 데이터는, 비디오 데이터가 어느 표준을 따르는지를 나타내는 식별 정보를 포함하는 구조로 한다. 각 실시예에서 나타내는 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 비디오 데이터를 포함하는 다중화된 데이터의 구체적인 구조를 이하에 설명한다. 다중화된 데이터는, MPEG-2 트랜스포트 스트림 형식의 디지털 스트림이다.
도 23은, 다중화된 데이터의 구조를 나타내는 도면이다. 도 23에 도시하는 바와 같이, 다중화된 데이터는, 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림(PG) 및 인터랙티브 그래픽스 스트림 중 적어도 하나를 다중화함으로써 얻어진다. 비디오 스트림은 영화의 주 비디오 및 부 비디오를 나타내고, 오디오 스트림(IG)은 주 오디오 부분과 그 주 오디오 부분과 혼합하는 부 오디오 부분을 나타내며, 프리젠테이션 그래픽스 스트림은 영화의 자막을 나타내고 있다. 여기서, 주 비디오란 화면에 디스플레이되는 통상의 비디오를 나타내고, 부 비디오란 주 비디오 중에 작은 화면으로 디스플레이하는 비디오이다. 또한, 인터랙티브 그래픽스 스트림은, 화면 상에 GUI 부분을 배치함으로써 생성되는 대화 화면을 나타낸다. 비디오 스트림은, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 부호화되거나, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 따른 동화상 부호화 방법 및 동화상 부호화 장치에 의해 부호화되어 있다. 오디오 스트림은, 돌비-AC-3, 돌비 디지털 플러스(Dolby Digital Plus), MLP, DTS, DTS-HD, 및 리니어 PCM 등의 표준으로 부호화되어 있다.
다중화된 데이터에 포함되는 각 스트림은 PID에 의해 식별된다. 예를 들면, 영화의 비디오에 이용하는 비디오 스트림에는 0x1011이 할당되고, 오디오 스트림에는 0x1100부터 0x111F까지가 할당되며, 프리젠테이션 그래픽스 스트림에는 0x1200부터 0x121F까지가 할당되고, 인터랙티브 그래픽스 스트림에는 0x1400부터 0x141F까지가 할당되며, 영화의 부 비디오에 이용하는 비디오 스트림에는 0x1B00부터 0x1B1F까지가 할당되며, 주 오디오와 혼합하는 부 오디오에 이용하는 오디오 스트림에는 0x1A00부터 0x1A1F까지가 할당된다.
도 24는 데이터가 어떻게 다중화되는지를 개략적으로 도시하는 도면이다. 먼저, 비디오 프레임으로 이루어지는 비디오 스트림(ex235), 오디오 프레임으로 이루어지는 오디오 스트림(ex238)을, 각각 PES 패킷 스트림(ex236 및 ex239)으로 변환하고, TS 패킷(ex237 및 ex240)으로 변환한다. 마찬가지로, 프리젠테이션 그래픽스 스트림(ex241)의 데이터 및 인터랙티브 그래픽스 스트림(ex244)의 데이터를 각각 PES 패킷 스트림(ex242 및 ex245)으로 변환하고, 다시 TS 패킷(ex243 및 ex246)으로 변환한다. 다중화된 데이터(ex247)는 이들 TS 패킷을 1개의 스트림으로 다중화함으로써 얻어진다.
도 25는, PES 패킷 스트림에, 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타내고 있다. 도 25에 있어서의 제1 단째는 비디오 스트림의 비디오 프레임 스트림을 나타낸다. 제2 단째는, PES 패킷 스트림을 나타낸다. 도 25의 화살표 yy1, yy2, yy3, yy4로 표시하는 바와 같이, 비디오 스트림은 각각 비디오 프리젠테이션 유닛인 I 픽처, B 픽처, P 픽처로서 픽처로 분할되며, PES 패킷 각각의 페이로드에 픽처들이 저장된다. 각 PES 패킷은 PES 헤더를 가지고, PES 헤더에는, 픽처의 디스플레이 시간인 PTS(Presentation Time-Stamp)와, 픽처의 복호 시간인 DTS(Decoding Time-Stamp)가 저장된다.
도 26은, 다중화된 데이터에 최종적으로 기록되는 TS 패킷의 형식을 나타내고 있다. TS 패킷 각각은, 스트림을 식별하는 PID 등의 정보를 가지는 4-byte TS 헤더와 데이터를 저장하는 184-byte의 TS 페이로드로 구성되는 188-byte 고정 길이의 패킷이다. 상기 PES 패킷은 분할되어 각각 TS 페이로드에 저장된다. BD ROM이 사용된 경우, TS 패킷 각각에는, 4-byte의 TP_Extra_Header가 부여되어, 192-byte의 소스 패킷을 만든다. 소스 패킷은 다중화된 데이터에 기록된다. TP_Extra_Header에는 ATS(Arrival_Time_Stamp) 등의 정보가 저장된다. ATS는 TS 패킷 각각의 PID 필터로의 전송 개시 시간을 나타낸다. 다중화된 데이터에는 도 26 하단에 도시하는 바와 같이 소스 패킷이 배열된다. 다중화된 데이터의 선두부터 증가하는 번호는 SPN(소스 패킷 넘버)으로 불린다.
또한, 다중화된 데이터에 포함되는 TS 패킷 각각에는, 비디오, 오디오 및 자막 등의 스트림 이외에도 PAT(Program Association Table), PMT(Program Map Table), PCR(Program Clock Reference) 등이 있다. PAT는 다중화된 데이터에 이용되는 PMT의 PID가 무엇인지를 나타내고, PAT 자신의 PID는 0으로 등록된다. PMT는, 다중화된 데이터에 포함되는 비디오, 오디오 및 자막 등의 스트림의 PID와, PID에 대응하는 스트림의 속성 정보를 저장한다. 또한, PMT는 다중화된 데이터에 관한 각종 디스크립터를 가진다. 디스크립터에는 다중화된 데이터의 복제의 허가·불허가를 지시하는 복제 제어 정보 등의 정보가 있다. PCR은, ATS의 시간 축인 ATC(Arrival Time Clock)와 PTS 및 DTS의 시간 축인 STC(System Time Clock) 사이의 동기화를 달성하기 위해, 그 PCR 패킷이 복호기에 전송되는 때를 나타내는 ATS에 대응하는 STC 시간 정보를 저장한다.
도 27은 PMT의 데이터 구조를 상세하게 설명하는 도면이다. PMT의 선두에는, 그 PMT에 포함되는 데이터의 길이 등을 기재한 PMT 헤더가 배치된다. PMT 헤더의 뒤에는, 다중화된 데이터에 관한 디스크립터가 복수 배치된다. 상기 복제 제어 정보 등의 정보가 디스크립터에 기재된다. 디스크립터의 뒤에는, 다중화된 데이터에 포함되는 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보 각각은, 스트림의 압축 코덱을 식별하기 위해서 스트림 타입, 스트림의 PID, 스트림의 속성 정보(프레임 속도, 애스펙트 비 등) 등의 정보를 각각 기재하는 스트림 디스크립터로 구성된다. 스트림 디스크립터는 다중화된 데이터에 존재하는 스트림의 수만큼 존재한다.
기록 매체 등에 기록할 경우에는, 상기 다중화된 데이터는, 다중화된 데이터 정보 파일과 함께 기록된다.
다중화된 데이터 정보 파일 각각은, 도 28에 도시하는 바와 같이 다중화된 데이터의 관리 정보이다. 다중화된 데이터 정보 파일은 다중화된 데이터와 1대1로 대응하고, 파일 각각은 다중화된 데이터 정보, 스트림 속성 정보 및 엔트리 맵으로 구성된다.
다중화된 데이터 정보는, 도 28에 도시하는 바와 같이, 시스템 속도, 재생 개시 시간 및 재생 종료 시간으로 구성되어 있다. 시스템 속도는, 후술될 시스템 타겟 복호기가 다중화된 데이터를 PID 필터에 전송할 최대 전송 속도를 나타낸다. 다중화된 데이터 중에 포함되는 ATS의 간격은 시스템 속도 이하가 되도록 설정되어 있다. 재생 개시 시간은 다중화된 데이터의 선두 비디오 프레임의 PTS를 나타낸다. 한 프레임의 간격이 다중화된 데이터의 종단에서의 비디오 프레임에서 PTS에 추가되고, 이 PTS가 재생 종료 시간으로 설정된다.
속성 정보는, 도 29에 도시하는 바와 같이, 다중화된 데이터에 포함되는 각 스트림에 대한 스트림 속성 정보가, PID마다 등록된다. 각 속성 정보는, 해당 스트림이 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림 또는 인터랙티브 그래픽스 스트림인지에 따라 상이한 정보를 가진다. 비디오 스트림 속성 정보 각각은, 그 비디오 스트림이 어떤 압축 코덱으로 압축되었는지, 비디오 스트림을 구성하는 각각의 픽처 데이터의 해상도가 얼마인지, 애스펙트 비는 얼마인지, 프레임 속도는 얼마인지 등의 정보를 가진다. 오디오 스트림 속성 정보 각각은, 그 오디오 스트림이 어떤 압축 코덱으로 압축되었는지, 그 오디오 스트림에 포함되는 채널 수는 무엇인지, 오디오 스트림이 어떤 언어를 지원하는지, 샘플링 주파수가 얼마인지 등의 정보를 가진다. 비디오 스트림 속성 정보와 오디오 스트림 속성 정보는, 플레이어가 정보를 재생하기 전의 복호기의 초기화에 이용된다.
본 실시예에 있어서는, 사용될 다중화된 데이터로는 PMT에 포함되는 스트림 타입이 있다. 또한, 기록 매체에 다중화된 데이터가 기록되어 있는 경우에는, 다중화된 데이터 정보에 포함되는 비디오 스트림 속성 정보를 이용한다. 구체적으로는, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 있어서, PMT에 포함되는 스트림 타입 또는 비디오 스트림 속성 정보에 대하여, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터를 나타내는 고유 정보를 할당하는 단계 또는 유닛을 포함한다. 이 구성에 의해, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터가 다른 표준을 따르는 비디오 데이터와 구별될 수 있다.
또한, 본 실시예에 있어서의 동화상 복호 방법의 단계를 도 30에 도시한다. 단계(exS100)에 있어서, 다중화된 데이터로부터 PMT에 포함되는 스트림 타입 또는 다중화된 데이터 정보에 포함되는 비디오 스트림 속성 정보를 취득한다. 다음에, 단계(exS101)에 있어서, 스트림 타입 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성되는지를 나타내는지 여부를 판단한다. 그리고 스트림 타입 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 것임을 나타낸다고 판단된 경우에는, 단계(exS102)에 있어서, 각 실시예에서의 동화상 복호 방법에 의해 복호를 행한다. 또한, 스트림 타입 또는 비디오 스트림 속성 정보가 MPEG-2, MPEG-4 AVC 및 VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, 단계(exS103)에 있어서, 종래의 규격에 따른 동화상 복호 방법에 의해 복호를 행한다.
이와 같이, 스트림 타입 또는 비디오 스트림 속성 정보에 새로운 고유치를 할당함으로써, 각 실시예에서 나타낸 동화상 복호 방법 또는 동화상 복호 장치가 복호를 실행할 수 있는지에 관한 판단을 가능케 한다. 따라서, 상이한 표준을 따르는 다중화된 데이터가 입력된 경우라도, 적절한 복호 방법 또는 적절한 복호 장치를 선택할 수 있다. 따라서, 에러를 발생시키지 않고 정보를 복호하는 것이 가능해진다. 또한, 본 실시예에서 나타낸 동화상 부호화 방법 또는 장치, 또는, 동화상 복호 방법 또는 장치를, 상술한 기기 및 시스템에 이용하는 것도 가능하다.
(실시예 C)
각 실시예에서 나타낸 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 복호 장치는 각각 전형적으로는 집적 회로인 LSI 회로로 구현된다. LSI의 예로서, 도 31은 1 칩화된 LSI(ex500)의 구성을 나타낸다. LSI(ex500)는, 이하에 설명하는 요소(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, 및 ex509)를 구비하고, 요소들은 버스(ex510)를 통하여 서로 접속하고 있다. 전원 공급 회로 유닛(ex505)은 전원 공급 회로 유닛(ex505)이 온 상태인 경우에 요소의 각각에 대하여 전력을 공급함으로써 동작 가능한 상태로 기동한다.
예를 들면 부호화 처리를 행하는 경우에는, LSI(ex500)는, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504) 및 구동 주파수 제어 유닛(ex512)을 포함하는 제어 유닛(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117), 카메라(ex113) 등으로부터 AV 신호를 수신한다. 수신된 AV 신호는, SDRAM 등의 외부 메모리(ex511)에 일시적으로 저장된다. 제어 유닛(ex501)의 제어에 의거하여, 저장된 데이터는 처리량과 속도에 따라서 데이터 부분으로 분할되어 신호 처리 유닛(ex507)에 송신된다. 그 후, 신호 처리 유닛(ex507)에 있어서 오디오 신호의 부호화 및/또는 비디오 신호의 부호화가 행해진다. 여기서 비디오 신호의 부호화 처리는 각 실시예에서 설명한 부호화 처리이다. 신호 처리 유닛(ex507)에서는 또한, 경우에 따라 부호화된 오디오 데이터와 부호화된 비디오 데이터를 다중화하는 등의 처리를 행하여, 스트림 I/O(ex506)가 다중화된 데이터를 외부에 제공한다. 이 제공된 다중화된 데이터는, 기지국(ex107)에 송신되거나, 기록 매체(ex215)에 기록되기도 한다. 또한, 데이터 세트는 다중화할 때는, 데이터 세트가 서로 동기화하도록, 버퍼(ex508)에 일시적으로 데이터를 저장해야 한다.
메모리(ex511)가 LSI(ex500) 외부의 요소일지라도, LSI(ex500)에 포함될 수 도 있다. 버퍼(ex508)도 1개로 한정되는 것이 아니라, 복수의 버퍼를 구비하고 있어도 된다. 또한, LSI(ex500)는 1칩화되어도 되고, 복수 칩화되어도 된다.
또한, 제어 유닛(ex501)이, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 구동 주파수 제어 유닛(ex512) 등을 가지는 것으로 하고 있는데, 제어 유닛(ex501)의 구성은, 이 구성에 한정되지 않는다. 예를 들면, 신호 처리 유닛(ex507)이 CPU를 더 구비하는 구성이어도 된다. 신호 처리 유닛(ex507)의 내부에도 다른 CPU를 설치함으로써, 처리 속도를 보다 향상시키는 것이 가능해진다. 또한, 다른 예로서, CPU(ex502)가 신호 처리 유닛(ex507), 또는 신호 처리 유닛(ex507)의 일부로 역할을 하며, 예를 들면 오디오 신호 처리 유닛을 구비하는 구성이어도 된다. 이러한 경우에는, 제어 유닛(ex501)은, 신호 처리 유닛(ex507) 또는 신호 처리 유닛(ex507)의 일부를 가지는 CPU(ex502)를 구비하는 구성이 된다.
또한, 여기에서는, LSI로 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI로 불리기도 한다.
또한, 집적화의 수법은 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 집적화를 구현해도 된다. LSI 제조 후에 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI의 접속이나 구성의 재구성을 허용하는 재구성 가능한 프로세서를 동일한 목적으로 이용해도 된다.
장래에, 반도체 기술의 진보로, 전혀 새로운 기술이 LSI를 대체할 수 있다. 기능 블록은 그러한 기술을 이용하여 집적할 수 있다. 본 발명은 바이오 기술에 적용될 가능성이 있다.
(실시예 D)
각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터를 복호할 경우, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따르는 비디오 데이터를 복호하는 경우에 비해, 처리량이 증가하는 것을 생각할 수 있다. 이 때문에, LSI(ex500)에 있어서, 종래의 표준을 따르는 비디오 데이터를 복호할 때 사용될 CPU(ex502)의 구동 주파수보다도 높은 구동 주파수로 설정할 필요가 있다. 그러나 구동 주파수를 높게 하면, 소비 전력이 높아진다는 과제가 발생한다.
이 과제를 해결하기 위해서, 텔레비전(ex300), LSI(ex500) 등의 동화상 복호 장치는, 비디오 데이터가 어느 표준을 따르는 것인지를 결정하고, 결정된 표준에 따라서 구동 주파수 사이에서 스위칭하는 구성으로 한다. 도 32는, 본 실시예에 있어서의 구성(ex800)을 나타내고 있다. 구동 주파수 스위칭 유닛(ex803)은, 비디오 데이터가, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 것인 경우에는, 구동 주파수를 더 높은 구동 주파수로 설정한다. 그리고 구동 주파수 스위칭 유닛(ex803)은, 각 실시예에서 나타낸 동화상 복호 방법을 실행하는 복호 처리 유닛(ex801)에 대하여, 비디오 데이터를 복호하도록 지시한다. 한편, 비디오 데이터가, 종래의 표준을 따르는 경우, 구동 주파수 스위칭 유닛(ex803)은, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터인 경우에 비해, 구동 주파수를 더 낮은 구동 주파수로 설정한다. 그리고 구동 주파수 스위칭 유닛(ex803)은, 종래의 표준을 따르는 복호 처리 유닛(ex802)에 대하여, 비디오 데이터를 복호하도록 지시한다.
더욱 구체적으로는, 구동 주파수 스위칭 유닛(ex803)은, 도 31의 CPU(ex502)와 구동 주파수 제어 유닛(ex512)으로 구성된다. 또한, 각 실시예에서 나타낸 동화상 복호 방법을 실행하는 복호 처리 유닛(ex801) 및 종래의 표준을 따르는 복호 처리 유닛(ex802) 각각은 도 31의 신호 처리 유닛(ex507)에 해당한다. CPU(ex502)는, 비디오 데이터가 어느 표준을 따르는 것인지를 결정한다. 그리고 CPU(ex502)로부터의 신호에 의거하여, 구동 주파수 제어 유닛(ex512)은 구동 주파수를 결정한다. 또한, CPU(ex502)로부터의 신호에 의거하여, 신호 처리 유닛(ex507)은, 비디오 데이터의 복호를 행한다. 비디오 데이터의 식별에는, 예컨대 실시예 B에서 기재한 식별 정보를 이용하는 것을 생각할 수 있다. 식별 정보에 관해서는 실시예 B에서 기재한 것에 한정되지 않고, 비디오 데이터가 어느 표준을 따르는지 식별할 수 있는 정보이면 된다. 예를 들면, 비디오 데이터가 텔레비전에 이용되는 것인지, 디스크에 이용되는 것인지 등을 결정하기 위한 외부 신호에 의거하여, 비디오 데이터가 어느 표준을 따르는 것인지 결정 가능한 경우에는, 이러한 외부 신호에 의거하여 결정해도 된다. 또한, CPU(ex502)에 있어서의 구동 주파수의 선택은, 예를 들면, 도 34와 같이 비디오 데이터의 표준과 구동 주파수를 대응시킨 룩업 테이블에 의거하여 행하는 것을 생각할 수 있다. 룩업 테이블을 버퍼(ex508)와, LSI의 내부 메모리에 저장해 두고, CPU(ex502)가 이 룩업 테이블을 참조함으로써, 구동 주파수를 선택하는 것이 가능하다.
도 33은, 본 실시예의 방법을 실시하는 단계를 나타내고 있다. 먼저, 단계(exS200)에서는, 신호 처리 유닛(ex507)에 있어서, 다중화된 데이터로부터 식별 정보를 취득한다. 다음에, 단계(exS201)에서는, CPU(ex502)에 있어서, 식별 정보에 의거하여 비디오 데이터가 각 실시예에서 나타낸 부호화 방법 및 부호화 장치에 의해 생성된 것인지 여부를 결정한다. 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것인 경우에는, 단계(exS202)에 있어서, 구동 주파수를 더 높은 구동 주파수로 설정하는 신호를, CPU(ex502)가 구동 주파수 제어 유닛(ex512)에 보낸다. 그리고 구동 주파수 제어 유닛(ex512)이 구동 주파수를 더 높은 구동 주파수로 설정한다. 한편, 식별 정보가, 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, 단계(exS203)에 있어서, 구동 주파수를 더 낮은 구동 주파수로 설정하는 신호를, CPU(ex502)가 구동 주파수 제어 유닛(ex512)에 보낸다. 그리고 구동 주파수 제어 유닛(ex512)은, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것인 경우에 비해, 더 낮은 구동 주파수로 구동 주파수를 설정한다.
또한, 구동 주파수의 스위칭에 연동하여, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 변경함으로써, 전력 절감 효과를 더욱 높이는 것이 가능하다. 예를 들면, 구동 주파수를 낮게 설정할 경우에는, 구동 주파수를 높게 설정하고 있는 경우에 비해, LSI(ex500) 또는 LSI(ex500)을 포함하는 장치에 부여하는 전압은 더 낮은 전압으로 아마도 설정하게 된다.
또한, 복호하기 위한 처리량이 더 클 경우에, 구동 주파수를 높게 설정하고, 복호하기 위한 처리량이 적은 경우에, 구동 주파수를 설정하는 방법으로서 구동 주파수는 더 낮게 설정될 수 있다. 따라서, 설정 방법은 상술된 것들로 한정되지 않는다. 예를 들면, MPEG-4 AVC에 따라 비디오 데이터를 복호하기 위한 처리량이 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 비디오 데이터를 복호하기 위한 처리량보다도 클 경우에는, 구동 주파수는 상술한 설정과 역순으로 아마도 설정된다.
또한, 구동 주파수의 설정 방법은, 구동 주파수를 더 낮게 설정하는 방법에 한정되지 않는다. 예를 들면, 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성됨을 나타내는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 아마도 더 높게 설정하게 된다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 아마도 더 낮게 설정하게 된다. 다른 예로는, 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것을 나타내는 경우에는, CPU(ex502)의 구동을 아마도 정지시킬 필요는 없다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, CPU(ex502)가 추가 처리 용량을 갖기 때문에, CPU(ex502)의 구동을 아마도 정지시키게 된다. 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성됨을 나타내는 경우에도, CPU(ex502)가 추가 처리 용량을 갖는 경우에, CPU(ex502)의 구동을 아마도 정지시키게 된다. 이 경우는, 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에서보다, 정지 시간을 아마도 더 짧게 설정시키게 된다.
이와 같이, 비디오 데이터가 따르는 표준에 따라, 구동 주파수 사이에서 스위칭함으로써, 전력 절감화를 도모하는 것이 가능해진다. 또한, 배터리를 이용하여 LSI(ex500) 또는 LSI(ex500)을 포함하는 장치를 구동하고 있는 경우에는, 전력 절감화에 따라, 배터리의 수명을 길게 하는 것이 가능하다.
(실시예 E)
텔레비전 및 휴대폰 등의 상술한 기기 및 시스템에는, 상이한 표준을 따르는 복수의 비디오 데이터가 제공되는 경우가 있다. 상이한 표준을 따르는 복수의 비디오 데이터를 복호할 수 있기 위해서, LSI(ex500)의 신호 처리 유닛(ex507)이 상이한 표준을 따를 필요가 있다. 그러나 각각의 표준을 따르는 신호 처리 유닛(ex507)을 개별로 이용하면, LSI(ex500)의 회로 규모가 커지고, 또한, 비용이 증가한다는 과제가 발생한다.
이 과제를 해결하기 위해서, 각 실시예에서 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리 유닛과, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따르는 복호 처리 유닛을 일부 공유하는 구성을 생각하게 된다. 이 구성의 예를 도 35a의 ex900에 도시한다. 예를 들면, 각 실시예에서 나타낸 동화상 복호 방법과, MPEG-4 AVC을 따르는 동화상 복호 방법은, 엔트로피 부호화, 역양자화, 디블로킹 필터링 및 움직임 보상 예측 등의 처리에 있어서 처리 내용이 일부 공통된다. 공유되는 처리 내용에 대해서는, MPEG-4 AVC 표준을 따르는 복호 처리 유닛(ex902)의 사용을 포함한다. 이와 대조적인 경우, 전용 복호 처리 유닛(ex901)이 본 발명의 양상에 고유한 다른 처리에 아마도 사용된다. 특히, 본 발명의 일 양상은 역양자화에 특징이 있으므로, 예를 들면, 역양자화에 대해서는 전용 복호 처리 유닛(ex901)을 이용한다. 그 외의 경우에, 복호 처리 유닛은 엔트로피 복호, 디블로킹 필터링 및 움직임 보상 중 하나 또는 모든 처리에 대해서 공유하게 된다. 각 실시예에 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리 유닛은 공유될 처리에 대해 공유될 수 있으며, 전용 복호 처리 유닛은 MPEG-4 AVC의 처리 유닛에 고유한 처리에 사용될 수 있다.
또한, 처리를 일부 공유화하는 다른 예를 도 35b의 ex1000에 나타낸다. 이 예에서는, 본 발명의 일 양상에 특유한 처리를 지원하는 전용 복호 처리 유닛(ex1001)과, 다른 종래 표준에 특유한 처리를 지원하는 전용 복호 처리 유닛(ex1002)과, 본 발명의 일 양상에 관련된 동화상 복호 방법과 종래의 동화상 복호 방법 사이에서 공유되는 처리를 지원하는 복호 처리 유닛(ex1003)을 포함하는 구성을 이용한다. 여기에서, 전용 복호 처리 유닛(ex1001, ex1002)은, 반드시 본 발명의 일 양상에 따른 처리 및 종래 표준의 처리로 특화될 필요는 없으며, 범용 처리를 실행할 수 있는 것이어도 된다. 또한, 본 실시예의 구성을, LSI(ex500)로 실행하는 것도 가능하다.
이처럼, 본 발명의 일 양상에 따른 동화상 복호 방법과 종래 표준에 따른 동화상 복호 방법 사이에 공유되는 처리용 복호 처리 유닛을 공유함으로써 LSI의 회로 규모를 감소시키고 비용을 감소시키는 것이 가능하다.
요약하면, 본 발명은 디블로킹 필터링에 관한 경계 세기 유도 및 결정 처리를 위한 유리한 방식에 관한 것이다. 더 상세하게는, 본 발명은, 계산 사이클의 수 및 필요한 메모리 공간을 감소시키 위해 디블로킹을 결정하며, 종래 기술에서 알려져 있는 적절한 디블로킹 필터를 선택하는 방식을 개선한다.

Claims (26)

  1. 픽셀의 이미지 블록의 디블로킹 필터링 방법으로서,
    2개의 인접한 이미지 블록 사이의 블록 경계의 세기를 나타내는 제1 파라미터를 결정하는 단계,
    상기 제1 파라미터와 양자화 파라미터를 기반으로 하여 제2 파라미터를 계산하는 단계 - 상기 제2 파라미터는 상기 제1 파라미터와 상기 양자화 파라미터의 합의 함수로서 계산됨 - , 및
    상기 제2 파라미터를 기반으로 한정된 임계치를 사용하여 상기 블록 경계에 적용되기 위한 제1 또는 제2 디블로킹 필터를 선택하는 단계 - 상기 제1 및 상기 제2 디블로킹 필터는 상이한 필터 세기를 가짐 - 를 포함하며,
    상기 결정하는 단계는 상기 인접한 픽셀 블록 중 적어도 하나가 내부-부호화되는지에 대한 제1 판정 단계를 포함하며, 상기 제1 파라미터는, 상기 제1 판정이 긍정적이라면, 제1 고정 값으로 설정되는, 디블로킹 필터링 방법.
  2. 청구항 1에 있어서, 상기 선택하는 단계 전에, 상기 제1 파라미터를 기반으로 하여, 상기 경계에 디블로킹을 적용할지를 결정하는 단계를 더 포함하는 디블로킹 필터링 방법.
  3. 청구항 1에 있어서, 상기 제1 고정 값은 2인, 디블로킹 필터링 방법.
  4. 청구항 1에 있어서, 상기 결정하는 단계는, 상기 제1 판정이 부정적이라면, 상기 인접한 픽셀 블록 중 적어도 하나가 적어도 하나의 비-0 레벨의 변환 계수를 포함하는지에 대한 제2 판정 단계를 포함하며,
    상기 제1 파라미터의 결정된 값은 상기 제2 판정이 긍정적인지 또는 부정적인지에 의존하는, 디블로킹 필터링 방법.
  5. 청구항 1에 있어서, 이미지 블록이 참조하는 픽처를 나타내는 참조 색인이 상기 인접한 이미지 블록 둘 모두에 대해 상이한지에 대한 제3 판정 단계를 더 포함하는 디블로킹 필터링 방법.
  6. 청구항 1에 있어서, 상기 인접한 이미지 블록에 대응하는 움직임 벡터의 수직 및 수평 성분 중 적어도 하나에서의 절대차가 미리 결정된 값보다 큰지에 대한 제4 판정 단계를 더 포함하는 디블로킹 필터링 방법.
  7. 청구항 1에 있어서, 상기 임계치는, 룩업 테이블을 사용하여 상기 제2 파라미터를 기반으로 하여 결정되는, 디블로킹 필터링 방법.
  8. 청구항 1에 있어서, 상기 선택하는 단계는 상기 블록 경계의 양측에 인접한 픽셀의 픽셀 값 차이를 상기 임계치와 비교하는 단계를 포함하는, 디블로킹 필터링 방법.
  9. 복수의 픽셀을 포함하는 이미지의 현재의 블록을 부호화하는 방법으로서,
    상기 현재의 블록을 압축하여 재구성하는 단계, 및
    청구항 1 내지 청구항 8 중 어느 한 항에 기재된 모든 단계를 상기 재구성된 블록에 적용하는 단계를 포함하는 부호화 방법.
  10. 복수의 픽셀을 포함하는 이미지의 부호화된 현재의 블록을 복호하는 방법으로서,
    상기 부호화된 현재의 블록을 재구성하는 단계, 및
    청구항 1 내지 청구항 8 중 어느 한 항에 기재된 모든 단계를 상기 재구성된 블록에 적용하는 단계를 포함하는 복호 방법.
  11. 컴퓨터로 판독 가능한 프로그램 코드를 그 내부에 구현한 컴퓨터로 판독 가능한 저장 매체로서,
    상기 프로그램 코드는 청구항 1 내지 청구항 8 중 어느 한 항에 기재된 방법을 실행하도록 되어 있는, 컴퓨터로 판독 가능한 저장 매체.
  12. 픽셀의 이미지 블록의 디블로킹 필터링 장치로서,
    2개의 인접한 이미지 블록 사이의 블록 경계의 세기를 나타내는 제1 파라미터를 결정하는 결정 유닛,
    상기 제1 파라미터와 양자화 파라미터를 기반으로 하여 제2 파라미터를 계산하는 계산 유닛 - 상기 계산 유닛은, 상기 제1 파라미터와 상기 양자화 파라미터의 합의 함수로서 상기 제2 파라미터를 계산함 - , 및
    상기 제2 파라미터를 기반으로 한정된 임계치를 사용하여 상기 블록 경계에 적용되기 위한 제1 또는 제2 디블로킹 필터를 선택하는 선택 유닛 - 상기 제1 및 상기 제2 디블로킹 필터는 상이한 필터 세기를 가짐 - 을 포함하며,
    상기 결정 유닛은, 상기 인접한 픽셀 블록 중 적어도 하나가 내부-부호화되는지를 판정하는 제1 판정 부분으로서, 상기 제1 판정 부분이 긍정적이라고 판정한다면, 상기 제1 파라미터를 제1 고정 값으로 설정하는, 제1 판정 부분을 포함하는, 디블로킹 필터링 장치.
  13. 청구항 12의 장치를 구현한 집적 회로로서,
    필터링되는 픽셀을 저장하는 메모리를 더 포함하는 집적 회로.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
KR1020147010257A 2011-11-04 2012-10-31 변경된 이미지 블록 경계 세기 유도에 의한 디블로킹 필터링 KR102032000B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161555805P 2011-11-04 2011-11-04
US61/555,805 2011-11-04
PCT/EP2012/071584 WO2013064547A1 (en) 2011-11-04 2012-10-31 Deblocking filtering with modified image block boundary strength derivation

Publications (2)

Publication Number Publication Date
KR20140098740A KR20140098740A (ko) 2014-08-08
KR102032000B1 true KR102032000B1 (ko) 2019-10-14

Family

ID=47146377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147010257A KR102032000B1 (ko) 2011-11-04 2012-10-31 변경된 이미지 블록 경계 세기 유도에 의한 디블로킹 필터링

Country Status (9)

Country Link
US (4) US9591306B2 (ko)
EP (1) EP2774359B1 (ko)
JP (3) JP6083614B2 (ko)
KR (1) KR102032000B1 (ko)
CN (1) CN104025593B (ko)
ES (1) ES2563292T3 (ko)
IN (1) IN2014CN03020A (ko)
PL (1) PL2774359T3 (ko)
WO (1) WO2013064547A1 (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9339278B2 (en) 2006-02-27 2016-05-17 Biomet Manufacturing, Llc Patient-specific acetabular guides and associated instruments
US9907659B2 (en) 2007-04-17 2018-03-06 Biomet Manufacturing, Llc Method and apparatus for manufacturing an implant
US9113971B2 (en) 2006-02-27 2015-08-25 Biomet Manufacturing, Llc Femoral acetabular impingement guide
US9173661B2 (en) 2006-02-27 2015-11-03 Biomet Manufacturing, Llc Patient specific alignment guide with cutting surface and laser indicator
US20150335438A1 (en) 2006-02-27 2015-11-26 Biomet Manufacturing, Llc. Patient-specific augments
US8407067B2 (en) 2007-04-17 2013-03-26 Biomet Manufacturing Corp. Method and apparatus for manufacturing an implant
US9345548B2 (en) 2006-02-27 2016-05-24 Biomet Manufacturing, Llc Patient-specific pre-operative planning
US9289253B2 (en) 2006-02-27 2016-03-22 Biomet Manufacturing, Llc Patient-specific shoulder guide
US8603180B2 (en) 2006-02-27 2013-12-10 Biomet Manufacturing, Llc Patient-specific acetabular alignment guides
US9918740B2 (en) 2006-02-27 2018-03-20 Biomet Manufacturing, Llc Backup surgical instrument system and method
US9795399B2 (en) 2006-06-09 2017-10-24 Biomet Manufacturing, Llc Patient-specific knee alignment guide and associated method
DE102009028503B4 (de) 2009-08-13 2013-11-14 Biomet Manufacturing Corp. Resektionsschablone zur Resektion von Knochen, Verfahren zur Herstellung einer solchen Resektionsschablone und Operationsset zur Durchführung von Kniegelenk-Operationen
US9271744B2 (en) 2010-09-29 2016-03-01 Biomet Manufacturing, Llc Patient-specific guide for partial acetabular socket replacement
US9968376B2 (en) 2010-11-29 2018-05-15 Biomet Manufacturing, Llc Patient-specific orthopedic instruments
US9675400B2 (en) 2011-04-19 2017-06-13 Biomet Manufacturing, Llc Patient-specific fracture fixation instrumentation and method
US20130001121A1 (en) 2011-07-01 2013-01-03 Biomet Manufacturing Corp. Backup kit for a patient-specific arthroplasty kit assembly
US9386993B2 (en) 2011-09-29 2016-07-12 Biomet Manufacturing, Llc Patient-specific femoroacetabular impingement instruments and methods
US9451973B2 (en) 2011-10-27 2016-09-27 Biomet Manufacturing, Llc Patient specific glenoid guide
KR20130046336A (ko) 2011-10-27 2013-05-07 삼성전자주식회사 디스플레이장치의 멀티뷰 디바이스 및 그 제어방법과, 디스플레이 시스템
ES2635542T3 (es) 2011-10-27 2017-10-04 Biomet Manufacturing, Llc Guías glenoideas específicas para el paciente
US9301812B2 (en) 2011-10-27 2016-04-05 Biomet Manufacturing, Llc Methods for patient-specific shoulder arthroplasty
US9237950B2 (en) 2012-02-02 2016-01-19 Biomet Manufacturing, Llc Implant with patient-specific porous structure
CN104904210B (zh) * 2013-01-07 2018-01-30 日本电气株式会社 视频编码设备、视频解码设备、视频编码方法、视频解码方法，以及程序
US9839438B2 (en) 2013-03-11 2017-12-12 Biomet Manufacturing, Llc Patient-specific glenoid guide with a reusable guide holder
US9826981B2 (en) 2013-03-13 2017-11-28 Biomet Manufacturing, Llc Tangential fit of patient-specific guides
US9498233B2 (en) 2013-03-13 2016-11-22 Biomet Manufacturing, Llc. Universal acetabular guide and associated hardware
US20150112349A1 (en) 2013-10-21 2015-04-23 Biomet Manufacturing, Llc Ligament Guide Registration
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
CN111988606B (zh) 2014-09-15 2022-09-20 寰发股份有限公司 去区块滤波方法、相应地编码装置和存储介质
US9833245B2 (en) 2014-09-29 2017-12-05 Biomet Sports Medicine, Llc Tibial tubercule osteotomy
KR20180006411A (ko) * 2015-06-07 2018-01-17 엘지전자 주식회사 디블록킹 필터링을 수행하는 방법 및 장치
US10568647B2 (en) 2015-06-25 2020-02-25 Biomet Manufacturing, Llc Patient-specific humeral guide designs
US10226262B2 (en) 2015-06-25 2019-03-12 Biomet Manufacturing, Llc Patient-specific humeral guide designs
CN107590155B (zh) * 2016-07-08 2020-09-08 富士通株式会社 文档图像的字符真值获取装置及方法、电子设备
CN107734347B (zh) * 2016-08-12 2019-07-12 珠海市杰理科技股份有限公司 去块滤波边界强度确定方法和装置
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
US20180184127A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
US10555006B2 (en) 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
CN114173118B (zh) * 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 编码方法、解码方法及发送方法
KR20230054495A (ko) * 2016-12-28 2023-04-24 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
CN116170583A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
US20180242016A1 (en) * 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
US10722310B2 (en) 2017-03-13 2020-07-28 Zimmer Biomet CMF and Thoracic, LLC Virtual surgery planning system and method
US10645408B2 (en) 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
CN114979636B (zh) * 2017-10-09 2023-10-27 佳能株式会社 用于对样本块进行滤波的方法、装置和存储介质
KR20190107944A (ko) * 2018-03-13 2019-09-23 삼성전자주식회사 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
US11297351B2 (en) * 2018-03-29 2022-04-05 Arris Enterprises Llc System and method for deblocking HDR content
US10708592B2 (en) * 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
CN110933419B (zh) * 2018-09-20 2022-07-01 杭州海康威视数字技术股份有限公司 一种运动矢量确定、边界强度确定方法和设备
US10638146B2 (en) * 2018-10-01 2020-04-28 Tencent America LLC Techniques for QP coding for 360 image and video coding
WO2021134654A1 (zh) * 2019-12-31 2021-07-08 深圳市大疆创新科技有限公司 视频编码的方法和装置
US11516514B2 (en) * 2020-03-27 2022-11-29 Tencent America LLC High level control for deblocking operations

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080025632A1 (en) * 2004-10-13 2008-01-31 Tandberg Telecom As Deblocking filter

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA03006715A (es) * 2001-11-29 2003-10-24 Matsushita Electric Ind Co Ltd Metodo para la remocion de la distorsion de la codificacion, metodo codificador de video, metodo descodificador de video y aparato y programa para los mismos.
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
JP4241559B2 (ja) * 2004-09-21 2009-03-18 日本ビクター株式会社 ブロック歪み低減用ループフィルタ
JP4784188B2 (ja) * 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8619880B2 (en) * 2007-10-10 2013-12-31 Qualcomm Incorporated Universal blockiness correction
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method
CA2785036A1 (en) * 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) De-blocking filtering control
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
PL2938075T3 (pl) * 2011-01-14 2019-05-31 Ericsson Telefon Ab L M Filtrowanie deblokujące
JP5684407B2 (ja) * 2011-01-14 2015-03-11 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ブロッキングアーチファクトを低減する方法、デブロッキングフィルタユニット、符号器、復号器、ユーザ機器、ネットワーク装置、コンピュータプログラム及びコンピュータプログラム記憶媒体
EP3001682B1 (en) * 2011-03-01 2017-03-01 Telefonaktiebolaget LM Ericsson (publ) Deblocking filtering control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080025632A1 (en) * 2004-10-13 2008-01-31 Tandberg Telecom As Deblocking filter

Also Published As

Publication number Publication date
JP6233790B2 (ja) 2017-11-22
WO2013064547A8 (en) 2013-07-11
US20170134759A1 (en) 2017-05-11
KR20140098740A (ko) 2014-08-08
CN104025593A (zh) 2014-09-03
EP2774359B1 (en) 2015-12-30
US9591306B2 (en) 2017-03-07
US10375417B2 (en) 2019-08-06
CN104025593B (zh) 2017-06-27
JP2018033160A (ja) 2018-03-01
US20180205969A1 (en) 2018-07-19
JP2017085651A (ja) 2017-05-18
WO2013064547A1 (en) 2013-05-10
PL2774359T3 (pl) 2016-06-30
JP6083614B2 (ja) 2017-02-22
IN2014CN03020A (ko) 2015-07-03
JP6422067B2 (ja) 2018-11-14
US10021428B2 (en) 2018-07-10
ES2563292T3 (es) 2016-03-14
EP2774359A1 (en) 2014-09-10
JP2014533027A (ja) 2014-12-08
US10194174B2 (en) 2019-01-29
US20140056350A1 (en) 2014-02-27
US20190116384A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
JP7246008B2 (ja) 復号装置および符号化装置
JP7361285B2 (ja) 符号化方法および符号化装置
JP6422067B2 (ja) 符号化方法、プログラムおよび符号化装置
KR20170129279A (ko) 화상 처리 방법 및 화상 처리 장치
TWI577191B (zh) 以脈衝碼調變模式編碼之區塊的濾波技術

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant