KR20170106494A - 저복잡도 디블로킹 필터 결정 - Google Patents

저복잡도 디블로킹 필터 결정 Download PDF

Info

Publication number
KR20170106494A
KR20170106494A KR1020177025106A KR20177025106A KR20170106494A KR 20170106494 A KR20170106494 A KR 20170106494A KR 1020177025106 A KR1020177025106 A KR 1020177025106A KR 20177025106 A KR20177025106 A KR 20177025106A KR 20170106494 A KR20170106494 A KR 20170106494A
Authority
KR
South Korea
Prior art keywords
block
data
segment
deblocking
line
Prior art date
Application number
KR1020177025106A
Other languages
English (en)
Other versions
KR102039544B1 (ko
Inventor
마티아스 나로쉬케
세미흐 에센릭
토마스 베디
Original Assignee
선 페이턴트 트러스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선 페이턴트 트러스트 filed Critical 선 페이턴트 트러스트
Publication of KR20170106494A publication Critical patent/KR20170106494A/ko
Application granted granted Critical
Publication of KR102039544B1 publication Critical patent/KR102039544B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

본 발명은 이점으로 화상 또는 영상 신호의 블록별 부호화 및 복호화를 위해 적용될 수 있는 디블로킹 필터링에 관한 것이다. 특히, 본 발명은 블록에 대한 디블로킹 필터링을 적용하거나 스킵하고 디블로킹 필터를 선택할지에 대한 자동화된 결정으로 개선된 메모리 관리에 관한 것이다. 이러한 결정은 메모리 사용이 최적화되는 방식으로 블록의 세그멘테이션에 기초하여 수행된다. 바람직하게는, 적절한 디블로킹 필터의 선택은 계산 비용을 감소시키기 위해 개선된다.

Description

저복잡도 디블로킹 필터 결정{LOW COMPLEX DEBLOCKING FILTER DECISIONS}
본 발명은 화상의 필터링에 관한 것이다. 특히, 본 발명은 디블로킹 필터링(deblocking filtering), 및 화상 영역에 대한 디블로킹 필터링을 가능하게 하는지 또는 가능하지 않게 하는지에 관한 결정에 관한 것이다.
현재, 표준화된 영상 부호화 알고리즘의 대부분은 하이브리드 영상 부호화에 기초한다. 하이브리드 영상 부호화 방법은 통상적으로 원하는 압축 이득을 달성하기 위해 여러 가지의 서로 다른 무손실 및 손실 압축 방식을 조합한다. 하이브리드 영상 부호화는 또한 ITU-T 표준(H.261, H.263과 같은 H.26x 표준) 뿐만 아니라 ISO/IEC 표준(MPEG-1, MPEG-2 및 MPEG-4와 같은 MPEG-X 표준)에 대한 기초이다. 가장 최근의 진보된 영상 부호화 표준은 현재 JVT(Joint Video Team), ITU-T 및 ISO/IEC MPEG 그룹의 조인트 팀(joint team)에 의해 표준화 노력의 결과인 H.264/MPEG-4 AVC(Advanced Video Coding)으로 나타낸 표준이다. 이러한 코덱은 특히 고해상도 영상 부호화에 관한 효율의 개선을 겨냥한 이름 HEVC(High-Efficiency Video Coding) 하에 JCT-VC(Joint Collaborative Team on Video Coding)에 의해 추가로 개발되고 있다.
부호화기에 입력되는 영상 신호는 프레임이라는 일련의 연속 화상이며, 각 프레임은 픽셀의 2 차원 매트릭스이다. 하이브리드 영상 부호화에 기초하여 상술한 모든 표준은 각각의 영상 프레임을 복수의 픽셀로 이루어진 작은 블록으로 세분하는 것을 포함한다. 블록의 크기는 예를 들어 화상의 내용에 따라 변할 수 있다. 부호화 방식은 통상적으로 블록 기준으로 변화될 수 있다. 예를 들어 HEVC에서 이러한 블록에 대한 가장 큰 가능한 크기는 64 × 64 픽셀이다. 그 다음, 그것은 LCU(Largest Coding Unit)라고 한다. H.264/MPEG-4 AVC에서, (일반적으로 26 × 16 픽셀의 블록을 나타내는) 매크로블록은 부호화/복호화 단계의 일부가 적용되는 더욱 작은 서브블록으로 더 분할할 가능성으로 부호화가 수행되는 기본적인 화상 요소이다.
통상적으로, 하이브리드 영상 부호화의 부호화 단계는 공간 및/또는 시간 예측을 포함한다. 따라서, 부호화되는 각각의 블록은 먼저 공간 이웃 내의 블록이나 시간 이웃, 즉 이전에 부호화된 영상 프레임으로부터의 블록을 이용하여 예측된다. 그리고 나서, 부호화되는 블록과 또한 예측 잔차(prediction residual)의 블록이라하는 예측 간의 차의 블록이 계산된다. 다른 부호화 단계는 공간(픽셀) 도메인으로부터 주파수 도메인으로 잔차의 블록을 변환하는 것이다. 변환은 입력 블록의 상관을 감소시키는 것을 목표로 한다. 추가의 부호화 단계는 변환 계수의 양자화이다. 이러한 단계에서는 실제 손실(돌이킬 수 없는) 압축이 일어난다. 일반적으로, 압축된 변환 계수 값은 엔트로피 부호화에 의해 더 압축된다(무손실 압축된다). 게다가, 부호화된 영상 신호의 재구성에 필요한 보조(side) 정보가 부호화되어 부호화된 영상 신호와 함께 제공된다. 이것은 예를 들어 공간 및/또는 시간 예측, 양자화의 양 등에 관한 정보이다.
도 1은 전형적인 H.264/MPEG-4 AVC 및/또는 HEVC 영상 부호화기(100)의 일례이다. 감산기(105)는 먼저 입력 영상 화상(입력 신호 s)로 부호화되는 현재 블록과 부호화되는 현재 블록의 예측으로 이용되는 상응하는 예측 블록(
Figure pat00001
) 간의 차를 결정한다. 예측 신호는 시간 또는 공간 예측(180)에 의해 획득될 수 있다. 예측의 타입은 프레임 기준 또는 블록 기준으로 변화될 수 있다. 시간 예측을 이용하여 예측된 블록 및/또는 프레임은 "인터(inter)" 부호화라 하고, 공간 예측을 이용하여 예측된 블록 및/또는 프레임은 "인트라(intra)" 부호화라 한다. 시간 예측을 이용하는 예측 신호는 메모리에 저장되는 이전에 부호화된 화상로부터 도출된다. 공간 예측을 이용하는 예측 신호는 이전에 부호화되고 복호화되어 메모리에 저장된 이웃 블록에서의 경계 픽셀의 값으로부터 도출된다. 입력 신호와 예측 오차 또는 잔차를 나타낸 예측 신호 간의 차는 변환(110)되어 양자화(120)되는 계수를 생성한다. 그 다음, 엔트로피 부호화기(190)는 무손실 방식으로 저장 및/또는 전송되는 데이터의 양을 추가로 감소시키기 위해 양자화된 계수에 적용된다. 이것은 주로 가변 길이의 코드 워드를 코드에 적용함으써 달성되며, 코드 워드의 길이는 이것의 생성의 가능성에 기초하여 선택된다.
영상 부호화기(100) 내에서, 복호화 장치는 복호화된(재구성된) 영상 신호(s')를 획득하기 위해 통합된다. 부호화 단계에 따라, 복호화 단계는 역 양자화 및 역 변환(130)을 포함한다. 이렇게 획득된 예측 오차 신호(e')는 또한 양자화 잡음이라고 하는 양자화 오차로 인해 원래의 예측 오차 신호와 다르다. 그 후, 재구성된 화상 신호(s')는 복호화된 예측 오차 신호(e')를 예측 신호(
Figure pat00002
)에 가산(140)함으로써 획득된다. 부호화기 측과 복호화기 측 간의 호환성을 유지하기 위해, 예측 신호(
Figure pat00003
)는 부호화기 측과 복호화기 측의 양측에서 공지인 부호화되고 다음으로 복호화된 영상 신호에 기초하여 획득된다.
양자화로 인해, 양자화 잡음은 재구성된 영상 신호에 중첩된다. 블록별(block-wise) 부호화으로 인해, 중첩된 잡음은 종종 특히 강한 양자화를 위해 복호화된 화상에서 시각적 블록 경계(visible block boundaries)를 생성하는 블로킹 특성을 갖는다. 이러한 블로킹 아티팩트(blocking artifacts)는 인간의 시각적 인식에 부정적인 영향을 미친다. 이러한 아티팩트를 감소시키기 위해, 디블로킹 필터(150)는 모든 재구성된 화상 블록에 적용된다. 디블로킹 필터는 재구성된 신호(s')에 적용된다. 예를 들면, H.264/MPEG-4 AVC의 디블로킹 필터는 로컬 적응의 능력을 갖는다. 고도의 블로킹 잡음의 경우에는, 강한(협대역) 저역 통과 필터가 적용되는 반면에, 낮은 수준의 블로킹 잡음의 경우에는, 약한(광대역) 저역 통과 필터가 적용된다. 저역 통과 필터의 강도는 예측 신호(
Figure pat00004
) 및 양자화된 예측 오차 신호(e')에 의해 결정된다. 디블로킹 필터는 일반적으로 복호화된 화상의 주관적 품질 향상으로 이어지는 블록 에지를 평활화시킨다. 더욱이, 화상의 필터링된 부분이 추가의 화상의 움직임 보상 예측에 이용되므로, 필터링은 또한 예측 오차를 감소시키며, 따라서 부호화 효율이 향상될 수 있다.
디블로킹 필터 후, 샘플 적응 오프셋(155) 및/또는 적응 루프 필터(160)는 이미 디블로킹된 신호(s")를 포함하는 화상에 적용될 수 있다. 디블로킹 필터는 주관적 품질을 향상시키므로, 샘플 적응 오프셋(SAO) 및 ALF는 픽셀별 충실도("객관적(objective)” 품질)를 향상시키는데 도움을 준다. 특히, SAO는 픽셀의 바로 근처에 따라 오프셋을 추가한다. 적응 루프 필터(ALF)는 압축에 의해 유발된 화상 왜곡을 보상하는데 이용된다. 통상적으로, 적응 루프 필터는 재구성된 화상(s')와 소스 화상(s) 사이의 평균 제곱 오차(MSE)가 최소화되도록 결정되는 필터 계수를 가진 위너 필터(Wiener filter)이다. ALF의 계수는 계산되어 프레임 기준으로 전송될 수 있다. ALF는 전체 프레임(영상 시퀀스의 화상) 또는 로컬 영역(블록)에 적용될 수 있다. 어떤 영역이 필터링되는 지를 나타내는 추가적인 보조 정보가 전송될 수 있다(블록 기반, 프레임 기반 또는 쿼드트리 기반(quadtree-based).
복호화되도록 하기 위해, 인터 부호화된 블록은 또한 화상의 이전에 부호화된 부분 및 이후에 복호화된 부분을 기준 프레임 버퍼(170)에 저장하는 것을 필요로 한다. 인터 부호화된 블록은 움직임 보상 예측을 사용하여 예측된다(180). 먼저, 최상의 정합 블록은 움직임 추정기에 의해 이전에 부호화 및 복호화된 영상 프레임 내에서 현재 블록에 대해 발견된다. 그 후, 최상의 정합 블록은 예측 신호가 되어, 현재 블록과 최상의 정합 블록 간의 상대 변위(움직임)는 부호화된 영상 데이터와 함께 제공된 보조 정보 내에서 3차원 움직임 벡터의 형태의 움직임 데이터로 신호화된다. 3차원은 2개의 공간 차원 및 하나의 시간 차원으로 구성된다. 예측 정확도를 최적화하기 위해, 움직임 벡터는 공간 서브픽셀 해상도, 예를 들어 절반 픽셀 또는 1/4 픽셀(quarter pixel) 해상도로 결정될 수 있다. 공간 서브픽셀 해상도를 가진 움직임 벡터는 실제 픽셀 값이 이용할 수 없는 이미 복호화된 프레임 내에 공간 위치를 가리킬 수 있다. 따라서, 이러한 픽셀 값의 공간 보간은 움직임 보상 예측을 수행하기 위해 필요하다. 이것은 (도 1에서 예측 블록(180) 내에 통합되는) 보간 필터에 의해 달성될 수 있다.
양방의 인트라 및 인터 부호화 모드에 대해, 현재 입력 신호와 예측 신호 사이의 차(e)는 변환(110)되고 양자화(120)되어, 양자화된 계수를 생성한다. 일반적으로, 2차원 이산 코사인 변환(DCT) 또는 이의 정수 버전(integer version)과 같은 직교 변환은 자연스러운 영상 화상의 상관 관계를 효율적으로 감소시키므로 사용된다. 변환 후, 더욱 많은 비트가 고주파 성분보다 저주파 성분을 부호화하는데 소비될 수 있도록 저주파 성분은 보통 고주파 성분보다 화상 품질에 더 중요하다. 엔트로피 코더에서, 양자화된 계수의 2차원 매트릭스는 1차원 어레이로 변환된다. 일반적으로, 이러한 변환은 2차원 어레이의 상위 왼쪽 코너의 DC 계수로 시작하여, 하위 오른쪽 코너의 AC 계수로 끝나는 미리 정해진 시퀀스로 2차원 어레이를 스캔하는 소위 지그재그 스캐닝(zig-zag scanning)에 의해 수행된다. 에너지는 일반적으로 저주파에 상응하는 계수의 2차원 매트릭스의 왼쪽 상위 부분에 집중될 때, 지그재그 스캐닝은 보통 최종 값이 0인 어레이를 생성한다. 이것은 실제 엔트로피 부호화의 일부로서 실제 엔트로피 부호화 전에 실행 길이 코드를 이용하여 효율적인 부호화를 허용한다.
H.264/MPEG-4 H.264/MPEG-4 AVC 뿐만 아니라 HEVC는 2개의 기능적 계층, VCL(Video Coding Layer) 및 NAL(Network Abstraction Layer)을 포함한다. VCL은 간략하게 상술한 바와 같은 부호화 기능을 제공한다. NAL은 채널을 통해 전송하거나 저장소에 저장하는 것과 같은 추가의 적용에 따라 NAL 유닛이라는 표준화된 유닛으로 정보 요소를 캡슐화한다. 정보 요소는 예를 들어 부호화된 예측 오차 신호, 또는 예측, 양자화 파라미터, 움직임 벡터 등의 타입과 같은 영상 신호의 복호화에 필요한 다른 정보이다. 압축된 영상 데이터 및 관련된 정보를 포함하는 VCL NAL 유닛 뿐만 아니라, 전체 영상 시퀀스에 관한 파라미터 세트와 같은 추가적인 데이터, 또는 복호화 성능을 향상시키는 데 사용될 수 있는 추가적인 정보를 제공하는 SEI(Supplemental Enhancement Information)를 캡슐화하는 비 VCL(non-VCL) 유닛이 있다.
도 2는 H.264/MPEG-4 AVC 또는 HEVC 영상 부호화 표준에 따른 예시적인 복호화기(200)를 도시한다. 부호화된 영상 신호(복호화기에 대한 입력 신호)는 먼저 양자화된 계수, 움직임 데이터와 같이 복호화에 필요한 정보 요소, 예측 모드 등을 복호화하는 엔트로피 복호화기(290)로 전달한다. 양자화된 계수는 역양자화 및 역변환(230)에 공급되는 2차원 매트릭스를 획득하기 위해 역으로 스캔된다. 역양자화 및 역변환(230) 후에, 양자화 잡음이 도입되지 않고, 오차가 발생되지 않는 경우에 부호화기에 입력된 신호에서 예측 신호를 감산함으로써 획득된 차에 상응하는 복호화된(양자화된) 예측 오차 신호(e')가 획득된다.
예측 신호는 시간 또는 공간 예측(280) 중 하나로부터 획득된다. 복호화된 정보 요소는 일반적으로 인트라 예측의 경우의 예측 타입 및 움직임 보상된 예측의 경우의 움직임 데이터와 같은 예측에 필요한 정보를 추가로 포함한다. 그 후, 공간 영역의 양자화된 예측 오차 신호는 가산기(240)에 의해 움직임 보상된 예측 또는 인트라 프레임 예측(280)으로부터 획득된 예측 신호에 가산된다. 재구성된 화상(s')는 디블로킹 필터(250), 샘플 적응 오프셋 프로세싱(255) 및 적응 루프 필터(260)를 통해 전달될 수 있고, 생성된 복호화된 신호는 다음의 블록/화상의 시간 또는 공간 예측에 적용되도록 메모리(270)에 저장된다.
예시적인 하이브리드 영상 부호화기의 다른 예시도가 도 3에 도시된다. 도 3의 부호화기는 도 1의 디블로킹 필터(150)가 수직 에지의 수평 디블로킹을 위한 필터(350a) 및 수평 에지의 수직 디블로킹을 위한 필터(350b)로 세분되었다는 점에서 도 1의 부호화기와 다르다. 필터(350a)는 가산기(140)의 출력인 재구성된 신호(S')에 인가된다. 필터(350b)의 출력, 즉 S"로 나타내는 디블로킹된 수직 에지를 가진 화상은 필터(350b)로 입력된다. 필터(350b)의 출력 신호, 즉 수직 및 수평 디블로킹된 화상은 S"'로 나타낸다. 더욱이, 도 3은 엔트로피 부호화기(190), 수평 디블로킹 필터(350a) 및 수직 디블로킹 필터(350b)로 입력되는 양자화 파라미터(QP)를 명시적으로 도시한다.
도 3의 나머지 블록은 도 1의 각각의 블록에 상응하며, 동일한 특징은 도 3 및 도 1에서 동일한 참조 번호로 표시되었다. 도 3에서, 적응 루프 필터(160)는 명시적으로 위너 필터로 나타내었고, 블록(155)(SAO) 및 (160)(ALF)는 교환되었다. 그러나, 이러한 단계의 시퀀스는 본 발명에 필수적인 것은 아니다. 더욱이, 기준 프레임 버퍼(170)는 도 3에 명시적으로 도시되지 않았다.
도 1의 부호화기 및 도 2의 복호화기의 각각의 특징의 밀접한 유사성(close analogy)을 고려하여, 당업자는 두 다음 단계에서의 수평 및 수직 디블로킹이 명시적으로 행해지는 복호화기를 도시하기 위해 도 2를 수정하는 방법을 알고 있다. 그래서, 각각의 도면은 여기서 생략되었다.
화상을 압축 및 압축 해제할 때, 블로킹 아티팩트는 일반적으로 사용자에 대한가장 성가신 아티팩트이다. 디블로킹 필터링은 재구성된 화상의 블록 사이의 에지를 평활화함으로써 사용자의 지각적 경험을 향상시키는데 도움을 준다. 디블로킹 필터링의 어려움 중 하나는 양자화기의 적용으로 인해 블로킹에 의해 생성된 에지 사이 및 부호화된 신호의 부분인 에지 사이에서 정확하게 결정하는 것이다. 디블로킹 필터의 적용은 블록 경계의 에지가 압축 아티팩트로 인한 경우에만 바람직하다. 다른 경우에는, 디블로킹 필터를 적용함으로써 재구성된 신호가 왜곡될 수 있다. 다른 어려움은 디블로킹 필터링을 위한 적절한 필터를 선택하는 것이다. 일반적으로, 서로 다른 주파수 응답이 강하거나 약한 저역 통과 필터링을 생성하는 여러 저역 통과 필터 사이에서 결정이 행해진다. 디블로킹 필터링이 적용되어야 하는지를 판단하여 적절한 필터를 선택하기 위해, 두 블록의 경계 부근의 화상 데이터가 고려된다.
예를 들면, 이웃 블록의 양자화 파라미터가 고려될 수 있다. 대안적으로 또는 부가적으로, 인트라 또는 인터와 같은 예측 모드가 고려될 수 있다. 다른 가능성은 예를 들어 양자화된 예측 오차 계수 중 얼마나 많은 것이 0으로 양자화되는지를 평가하는 것이다. 움직임 보상 예측에 이용되는 기준 프레임은 또한 예를 들어 동일한 기준 프레임이 현재 블록 및 이웃 블록의 예측에 이용되는지 필터의 선택을 위해 나타낼 수 있다. 이러한 결정은 또한 움직임 보상 예측에 이용된 움직임 벡터에 기초하고, 현재 블록 및 이웃 블록에 대한 움직임 벡터가 동일한지에 기초하거나, 이들이 연기하는 것이 더 좋은지에 기초할 수 있다. 결정은 블록 패치에 대한 거리와 같은 샘플의 공간 위치를 포함할 수 있다.
예를 들면, H.264/MPEG-4 AVC는 두 이웃하는 블록의 각각의 제 1 유도(derivation)(유도 함수(derivative))의 절대값을 평가하며, 이의 경계는 디블로킹되어야 한다. 게다가, 두 블록 간의 에지에 걸친 제 1 유도 함수의 절대값은 예를 들어 H.264/MPEG-4 AVC 표준, 섹션 8.7.2.2에서 설명된 바와 같이 평가된다. 유사한 접근 방식이 US 2007/854204 A에 설명되어 있다. 모든 픽셀이 동일한 기준에 기초하여 필터링되도록 하기 위한 결정이 취해지고, 전체 블록에 대한 선택이 수행된다. HEVC는 유사한 메커니즘을 채용하지만, 또한 제 2 유도 함수를 이용한다.
이러한 접근 방식에 따르면, 실제 디블로킹을 위해, 블록의 모든 에지가 잠재적으로 디블로킹되도록 하기 위해 디블로킹할지에 대한 결정이 취해진다. 더욱이, 각각의 라인에 대해 디블로킹이 가능해지면, 적용될 필터의 종류에 대한 결정이 취해진다. 이러한 결정은 디블로킹되지 않은 픽셀 샘플에 기초하여 취해진다. 그래서, 두 디블로킹 방향에 대한 결정은 실제로 디블로킹 필터를 적용하기 전에 수직 에지의 수평 필터링 및 수평 에지의 수직 필터링 모두에 대해 취해져야 한다. 결과적으로, 적용될 제 1 디블로킹 필터(예를 들어, 수평 필터링)가 지연된다. 게다가, 필터 온(on)/필터 오프(off) 결정의 결과는 저장될 필요가 있다. 대안적으로, 추가적인 라인 메모리는 제 2 방향(예를 들어 수직)에서 디블로킹을 위해 취해진 결정을 지연시키기 위해 필요하다. 라인 메모리가 매우 고가이므로, 이것은 비용의 증가를 초래한다.
기존의 기술에 이러한 문제가 존재하면, 메모리 사용의 효율이 향상되는 효율적 디블로킹 필터링 접근 방식을 제공하는 것이 유리하다.
그것은 완전한 블록에 기초하기보다는 블록 경계에 수직인 라인을 따라 적어도 2개의 세그먼트로의 각 블록의 세그멘테이션(segmentation)에 기초하여 2개의 블록 사이의 경계에 디블로킹 필터를 적용하거나 스킵(skip)할지에 대한 결정을 수행하기 위한 본 발명의 특정 접근 방식이다. 세그먼트는 세그먼트가 어쨌든 저장되는 모든 픽셀을 포함하는 식으로 정의되는데, 그 이유는 이러한 픽셀이 각각의 세그먼트에 인접한 수직 방향의 다른 블록 경계에 디블로킹 필터링 및/또는 적절한 필터의 선택을 적용하거나 스킵할지에 대한 결정을 위해 필요하기 때문이다.
본 발명의 양태에 따르면, 픽셀의 화상 블록의 디블로킹 필터링을 위한 방법이 제공된다. 이러한 방법은 제 1 경계에 의해 분리되는 제 1 및 2 블록의 각각을 제 1 경계에 수직인 라인을 따라 적어도 2개의 세그먼트로 분할하는 단계, 및 제 1 및 2 블록의 제 1 경계에 인접한 픽셀에 디블로킹 필터를 적용할지를 판단하는 단계를 포함한다. 이러한 판단은 다른 세그먼트에 속하는 픽셀이 이러한 판단에 이용되지 않도록 인접한 세그먼트의 쌍의 샘플 픽셀을 이용하여 제 1 경계의 양측에서 인접한 세그먼트의 쌍에 대해 개별적으로 수행된다. 세그먼트로의 블록의 분할은 블록의 세그먼트가 상기 블록과 제 3 블록 사이의 제 2 경계에 인접한 픽셀을 디블로킹하기 위한 디블로킹 필터 및/또는 디블로킹 필터의 선택을 적용할지를 판단하는데 필요한 블록의 모든 픽셀을 포함하는 방식으로 수행되며, 제 2 경계는 제 1 경계에 수직이다.
본 발명의 다른 양태에 따르면, 픽셀의 화상 블록의 디블로킹 필터링을 위한 장치가 제공된다. 이러한 장치는 제 1 경계에 의해 분리되는 제 1 및 2 블록의 각각을 제 1 경계에 수직인 라인을 따라 적어도 2개의 세그먼트로 분할하는 세그멘테이션 유닛을 포함한다. 장치는 제 1 및 2 블록의 제 1 경계에 인접한 픽셀에 디블로킹 필터를 적용할지를 판단하는 판단 유닛을 추가로 포함한다. 판단 유닛은 다른 세그먼트에 속하는 픽셀이 판단에 이용되지 않도록 인접한 세그먼트의 쌍의 샘플 픽셀을 이용하여 제 1 경계의 양측에서 인접한 세그먼트의 쌍에 대해 판단을 개별적으로 수행한다. 세그멘테이션 유닛은 블록의 세그먼트가 블록과 제 3 블록 사이의 제 2 경계에 인접한 픽셀을 디블로킹하기 위한 디블로킹 필터 및/또는 디블로킹 필터의 선택을 적용할지를 판단하는데 필요한 블록의 모든 픽셀을 포함하도록 세그먼트로의 블록의 분할을 수행하며, 제 2 경계는 제 1 경계에 수직이다.
첨부한 도면은 본 발명의 몇몇 실시예를 예시하기 위해 명세서의 일부에 통합되고 명세서의 일부를 형성한다. 이러한 도면은 상세한 설명과 함께 본 발명의 원리를 설명하는 역할을 한다. 도면은 본 발명이 제조되고 이용되는 방법의 바람직하고 대안적인 예를 예시할 뿐이고, 본 발명을 예시되고 설명된 실시예만으로 제한하는 것으로 해석되지 않아야 한다. 동일한 참조 번호가 동일한 요소를 나타내는 첨부한 도면에 도시된 바와 같이 추가의 특징 및 이점은 본 발명의 다양한 실시예의 다음의 보다 특정한 설명으로부터 명백해질 것이다.
도 1은 영상 부호화기의 일례를 예시하는 블록도이다.
도 2는 영상 복호화기의 일례를 예시하는 블록도이다.
도 3은 영상 부호화기의 일례를 예시하는 다른 블록도이다.
도 4a는 수평 디블로킹 필터의 적용을 예시하는 개략도이다.
도 4b는 수직 디블로킹 필터의 적용을 예시하는 개략도이다.
도 5는 디블로킹 및 디블로킹 필터의 선택을 적용할지의 여부의 결정을 예시하는 개략도이다.
도 6a는 강한 필터에 의해 수행되는 디블로킹 연산(operation)을 예시하는 개략도이다.
도 6b는 약한 필터에 의해 수행되는 디블로킹 연산을 예시하는 개략도이다.
도 7은 8 행/열의 예시적인 블록으로부터 연속적으로 취해지는 디블로킹 결정의 시퀀스를 예시하는 흐름도이다.
도 8은 도 7의 흐름도에서 결정의 제 1 종(kind)을 수행하는데 이용되는 픽셀의 샘플을 예시하는 개략도이다.
도 9는 도 7의 흐름도에서 결정의 제 2 종을 수행하기 위해 사용되는 픽셀 샘플을 예시하는 개략도이다.
도 10은 수직 에지의 수평 필터링의 경우에 대한 도 7의 흐름도에서 결정의 제 3 종을 수행하는데 이용되는 픽셀 샘플을 예시하는 개략도이다.
도 11은 수직 에지에 대한 수평 디블로킹 필터링을 수행하는데 이용되는 픽셀 샘플을 예시하는 개략도이다.
도 12는 수평 에지의 수직 필터링의 경우에 대한 도 7의 흐름도에서 결정의 제 3 종을 수행하는데 이용되는 샘플 픽셀을 예시하는 개략도이다.
도 13은 수평 에지에 대한 수직 디블로킹 필터링을 수행하는데 이용되는 샘플 픽셀을 예시하는 개략도이다.
도 14는 수직 에지의 수평 디블로킹에 의해 수정될 수 있는 샘플의 예시도이다.
도 15는 수직 에지의 수평 디블로킹에 의해 수정된 샘플의 예시도이다.
도 16은 수평 또는 수직 디블로킹에 의해 수정된 샘플의 예시도이다.
도 17a-17d는 수평 및 수직 필터링에 대한 도 7의 흐름도의 결정의 제 1 및 2 종의 병렬 수행에서 발생하는 문제, 및 본 발명에 따라 문제를 극복하는 기본적인 사상을 예시하는 개략도이다.
도 18은 본 발명에 따른 디블로킹의 종속성(dependencies)이 8 × 8 샘플로 제한되는 것을 예시하는 방식도이다.
도 19a, 19b는 본 발명의 실시예에 따라 디블로킹 필터를 적용할지의 여부에 대한 결정의 특정 예를 예시하는 개략도이다.
도 20a, 20b는 본 발명의 실시예에 따라 적절한 디블로킹 필터를 선택하기 위한 결정의 예시적인 솔루션을 예시하는 개략도이다.
도 21a, 21b는 본 발명의 실시예에 따라 적절한 디블로킹 필터를 선택하기 위한 결정의 대안적 예시적인 솔루션을 예시하는 개략도이다.
도 22a, 22b는 디블로킹 필터를 적용할지의 여부에 대한 결정을 수행할 때에 발생하는 메모리 액세스 문제를 예시하는 개략적인 블록도이다.
도 23a, 23b는 도 22a 및 22b에 예시된 메모리 액세스 문제이 솔루션을 예시하는 개략도이다.
도 24는 콘텐츠 분배 서비스를 구현하기 위한 시스템을 제공하는 콘텐츠의 전체 구성을 도시한다.
도 25은 디지털 방송 시스템의 전체 구성을 도시한다.
도 26은 텔레비젼의 구성의 일례를 예시하는 블록도를 도시한다.
도 27은 광 디스크인 기록 매체로부터 정보를 판독하고 이러한 정보를 기록 매체 기록하는 정보 재생/기록 유닛의 구성의 일례를 예시하는 블록도를 도시한다.
도 28은 광 디스크인 기록 매체의 구성의 일례를 도시한다.
도 29a는 셀룰러 전화의 일례를 도시한다.
도 29b는 셀룰러 전화의 구성의 일례를 도시하는 블록도이다.
도 30은 다중화된 데이터의 구조를 예시한다.
도 31은 각 스트림이 다중화된 데이터로 다중화되는 방법을 개략적으로 도시한다.
도 32는 비디오 스트림이 더욱 상세히 PES 패킷의 스트림에 저장되는 방법을 도시한다.
도 33은 다중화된 데이터의 TS 패킷 및 소스 패킷의 구조를 도시한다.
도 34는 PMT의 데이터 구조를 도시한다.
도 35는 다중화된 데이터 정보의 내부 구조를 도시한다.
도 36은 스트림 속성 정보의 내부 구조를 도시한다.
도 37은 영상 데이터를 식별하기 위한 단계를 도시한다.
도 38은 각 실시예에 따라 동영상 부호화 방법 및 동영상 복호화 방법을 구현하기 위한 집적 회로의 구성의 일례를 도시한다.
도 39는 구동 주파수 사이에서 스위칭하기 위한 구성을 도시한다.
도 40은 영상 데이터를 식별하고, 구동 주파수 사이에서 스위칭하는 단계를 도시한다.
도 41은 영상 데이터 표준이 구동 주파수와 관련된 룩업 테이블의 일례를 도시한다.
도 42a는 신호 처리부의 모듈을 공유하기 위한 구성의 일례를 도시한 다이어그램이다.
도 42b는 신호 처리부의 모듈을 공유하기 위한 구성의 다른 예를 도시한 다이어그램이다.
본 발명의 기본적인 문제는 통상의 결정 기술이 아래에 상세히 설명되는 바와 같이 원하는 순서로 모든 결정 및 실제 필터링 처리를 수행하기 위해 과도한 메모리 용량을 필요로 하는 관찰에 기초한다. 본 발명에 따르면, 메모리 비용을 감소시키기 위해, 결정 처리를 수행하기 위한 블록의 세그멘테이션은 MIC 메모리 요구 사항을 최소화하기 위해 수행된다. 추가의 특정 양태에 따르면, 전체 계산 복잡성의 감소에 대해 더 다루어진다.
도 4는 도 1, 2 및 3의 설명에 제각기 언급된 디블로킹 필터(150, 250, 350a 및 350b)의 적용의 일례를 도시한다. 이러한 디블로킹 필터는 필터링되는지의 여부를 블록 경계에서 각 샘플에 대해 결정할 수 있다. 필터링되면, 저역 통과 필터가 적용된다. 이러한 결정의 목표는 블록 경계에서의 큰 신호 변화가 위의 배경 기술 섹션에서 설명된 바와 같이 블록별 처리에 적용된 양자화로부터 생성하는 샘플만을 필터링하기 위한 것이다. 이러한 필터링의 결과는 블록 경계에서의 평활화된 신호이다. 평활화된 신호는 블로킹 아티팩트보다 시청자에 덜 성가시다. 블록 경계에서 큰 신호 변화가 부호화될 원래의 신호에 속하는 이러한 샘플은 고주파를 유지하여 시각적 선명도를 유지하기 위해 필터링되지 않아야 한다. 잘못된 결정의 경우에, 화상은 불필요하게 평활화되거나 고르지 않게 된다.
도 4a는 (수평 디블로킹 필터로 필터링하거나 필터링하지 않도록) 수직 경계에 대한 결정을 예시하고, 도 4b는 (수직 디블로킹 필터로 필터링하거나 필터링하지 않도록) 수평 경계에 대한 결정을 예시한다. 특히, 도 4a는 복호화될 현재 블록(340) 및 이미 복호화된 이웃 블록(310, 320 및 330)을 도시한다. 한 라인에서의 픽셀(360)에 대해 결정이 수행된다. 마찬가지로, 도 4b는 동일한 현재 블록(340) 및 열에서의 픽셀(370)에 대해 수행된 결정을 도시한다.
H.264/MPEG-4 AVC와 유사하게, 디블로킹 필터를 적용할지에 대한 판단은 다음과 같이 수행될 수 있다. 또한 도 5에 도시된 바와 같이 6개의 픽셀(360), 즉 왼쪽 이웃 블록 A(330)에 속하는 제 1의 3개의 픽셀(p2, p1, p0), 및 현재 블록 B(340)에 속하는 다음의 3개의 픽셀(q0, q1 및 q2)의 라인이 취해진다. 라인(410)은 블록 A 및 B 사이의 경계를 예시한다. 픽셀(p0 및 q0)은 서로 직접 인접하여 위치되는 제각기 왼쪽 이웃 A 및 현재 블록 B의 픽셀이다. 픽셀(p0 및 q0)은 예를 들어 다음의 조건이 충족될 때 필터링된 디블로킹에 의해 필터링된다:
Figure pat00005
Figure pat00006
및
Figure pat00007
일반적으로.
Figure pat00008
이다. 이러한 조건은 p0 및 q0 사이의 차가 블로킹 아티팩트에서 기인하는지를 검출하는 것을 목표로 한다. 이것은 블록 A 및 B의 각각 내 및 이들 사이의 제 1 유도 함수의 평가에 상응한다.
위의 3개의 조건 이외에, 또한 다음과 같은 조건이 충족될 경우에 픽셀(p1)이 필터링된다:
Figure pat00009
예를 들어, 위의 제 1의 3개의 조건 이외에, 또한 다음과 같은 조건이 충족될 경우에는 픽셀(q1)이 필터링된다:
Figure pat00010
이러한 조건은 제각기 제 1 블록 내의 제 1 유도 함수 및 제 2 블록 내의 제 1 유도 함수에 상응한다. 위의 조건에서, QP는 적용된 양자화의 양을 나타내는 양자화 파라미터를 나타내고,
Figure pat00011
는 스칼라 상수이다. 특히,
Figure pat00012
는 다음과 같이 각각의 제 1 및 2 블록 A 및 B에 적용된 양자화 파라미터 QPA 및 QPB에 기초하여 유도된 양자화 파라미터가다:
Figure pat00013
여기서 ">>n"은 n 비트(위의 공식에서는: 1 비트)만큼 오른쪽 시프트를 나타낸다.
위의 조건은 블록 내의 제 1 유도 함수의 평가에 상응한다. 결정은 선택된 라인 또는 블록의 선택된 라인에 대해서만 수행될 수 있지만, 픽셀의 필터링은 이에 따라 모든 라인(360)에 대해 수행된다. HEVC에 따라 결정에 관련된 라인(430)의 예(420)는 도 5에 도시된다. 라인(430)에 기초하여, 전체 블록을 필터링할지에 대한 결정이 실행된다.
HEVC에서의 디블로킹 필터링의 다른 예는 http://wftp3.itu.int/av-arch/jctvc-site/하에 자유롭게 이용 가능한 JTC-VC, ITU-T SG16 WP3 및 ISO/IEC JTC1/SC29/WG11의 JCTVC-E603 문서, 섹션 8.6.1에서 발견될 수 있다.
따라서, HEVC에서, 두 라인(430)은 디블로킹 필터링이 적용되어야 하는지와 방법을 결정하는데 이용된다. 이러한 결정 단계는 이러한 사양을 통해 제 1 결정 단계(D1)로 분류된다. 예(420)는 수평 블로킹 필터링을 위해 (인덱스 2를 가진) 제 3 라인 및 (인덱스 5를 가진) 제 6 라인의 평가를 추정한다. 특히, 각 블록 내의 제 2 유도 함수가 평가되어 다음과 같은 측정치 dp 및 dq를 획득한다:
Figure pat00014
픽셀 p는 블록 A에 속하고, 픽셀 q는 블록 B에 속한다. p 또는 q 후의 제 1 수는 열 인덱스를 나타내고, 첨자의 다음 수는 블록 내에서 행 번호를 나타낸다. 예(420)에 예시된 모든 8개의 라인에 대한 디블로킹은 다음의 조건이 충족될 때에 가능해진다:
Figure pat00015
위의 조건이 충족되지 않으면, 디블로킹이 적용되지 않는다. 디블로킹이 가능해지는 경우에, 디블로킹에 사용되는 필터는 본 명세서에서 제 2 결정 단계(D2)로 분류되는 후속 결정 단계에서 결정된다. 이러한 결정은 블록 A와 B 사이의 제 1 유도 함수의 평가에 기초한다. 특히, i가 0과 7 사이의 정수인 각 라인 i에 대해, 강한 또는 약한 저역 통과 필터가 적용되어야 하는 여부가 판단된다. 강한 필터는 다음의 조건이 충족될 경우에 선택된다.
Figure pat00016
HEVC 모델에 따라, "강한 필터"는
Figure pat00017
를 이용하여 샘플
Figure pat00018
을 필터링하는 반면에, "약한 필터"는
Figure pat00019
를 이용하여 샘플
Figure pat00020
을 필터링한다. 위의 조건에서, 파라미터 β 및 tc는 화상 등의 슬라이스에 설정될 수 있는 양자화 파라미터 QPe의 두 함수이다. β 및 tc의 값은 일반적으로 룩업 테이블을 이용한 QP에 기초하여 유도된다.
도 6은 (HEVC 소프트웨어 모델 HM4.0에서 구현되는) H264/MPEG-4 AVC 표준에 따라 강한 필터 연산 및 약한 필터 연산에 대한 예시적인 솔루션을 더욱 상세히 설명한다.
도 6a에서, 왼쪽 도면은 강한 필터에서 수직 에지를 수평으로 필터링하기 위해 이용된 샘플을 도시한다. 도 6a의 오른쪽 도면은 필터에 의해 수정된 샘플을 도시한다. 도면에서 알 수 있는 바와 같이, 주어진 예에서 참조 번호(610)로 나타내는 경계의 양측에 가장 인접한 4 픽셀에 상응하는 샘플은 필터링을 위해 이용된다. 실제로, 도 6a의 왼쪽 도면에서 620으로 나타내는 양쪽에서 경계에 가까운 3개의 픽셀만이 수정된다. 실제로, 필터링은 다음 식에 따라 수행된다.
Figure pat00021
Figure pat00022
함수
Figure pat00023
는 다음과 같이 정의된다:
Figure pat00024
이에 의해,
Figure pat00025
은 x가 가질 수 있는 최대 값이다. k 비트 샘플을 가진 PCM 부호화의 경우에, 최대 값은
Figure pat00026
이다. 예를 들면, 8 비트 샘플을 가진 PCM 부호화의 경우에, 최대 값은
Figure pat00027
이다. 10 비트 샘플을 가진 PCM 부호화의 경우에, 최대 값은
Figure pat00028
이다.
위의 식으로부터 알 수 있는 바와 같이, 픽셀이 (필터 수 뒤에 프라임 '으로 나타내는(prime‘ after the filter number)) 필터에 의해 수정되는 각 수식에 사용되는 각 라인(단일 라인 인덱스 i = 0, 1, 2, 3, 4, 5, 6 또는 7만)에 대해 개별적으로 필터링이 수행된다. 수정된 픽셀이 제각기 p3i 및 q3i에 대해 계산되지 않지만, p3i 및 q3i가 각각의 계산식의 오른쪽 측면에서 생성한다는 것을 제각기 p2'i 및 q2'i에 대한 식으로부터 알 수 있다.
도 6b로부터 알 수 있는 바와 같이, 양측으로부터 경계에 가장 가까운 3개의 픽셀은 약한 필터(왼쪽 기법의 샘플(630))에 의해 필터링하는데 이용된다. 실제로, 경계에 가장 가까운 두 이웃만이 수정된다(도 6b의 오른쪽의 샘플(640)). 약한 필터링을 위한 계산 처리는 실질적으로 강한 필터링의 경우의 계산과 다르며, 추가의 결정을 포함한다. 첫째로, 판별 값(discrimination value) Δ는 결정이 기초하는 식에 따라 계산된다.
Figure pat00029
그 다음, 제 3 결정 단계(D3)에서, 적어도 필터링을 수행할지가 판단된다. 제 3 결정에 따르면, 조건
Figure pat00030
이 충족될 경우에 필터링은 픽셀 샘플(640)에만 적용된다.
조건이 충족되는 경우, 양측의 경계에 가장 가까운 픽셀은 식에 따라 필터링된다.
Figure pat00031
, 여기서
Figure pat00032
함수
Figure pat00033
는 위와 같이 정의된다. 함수
Figure pat00034
는 다음과 같이 정의된다:
Figure pat00035
샘플(p0 및 q0)을 필터링한 후, 경계의 관점에서 다음으로 가장 가까운 픽셀 샘플(p1i 및 q1i)을 또한 필터링할지에 대한 제 4 결정(D4)이 수행된다. 제 4 결정(D4)은 경계의 양쪽, 즉 도 6b의 블록 A에 속하는 픽셀(p1i) 및 도 6b의 블록 B에 속하는 픽셀(q1i)에 대해 개별적으로 수행된다.
픽셀(p1i)에 대한 제 4 결정은 위에 도입된 파라미터(dp)에 기초한다. 조건
Figure pat00036
이 충족되면, 필터링은
Figure pat00037
에 따라 수행되며,
Figure pat00038
블록 B의 픽셀(qi)에 대한 결정(D4)은 조건
Figure pat00039
이 충족되는 경우에 수행된다. 필터링은
Figure pat00040
에 따라 수행되며,
Figure pat00041
상술한 것에서, 파라미터(tc2)는
Figure pat00042
에 따라 정의된다.
수직 에지의 수평 필터링에 대한 예로서 설명되지만, 상술한 필터링 절차는 제각기 수평 방향과 수직 방향을 교환하고 행과 열을 교환함으로써 수평 에지의 수직 필터링에 동등하게 적용할 수 있다는 것이 주목된다. 더욱이, 명세서에서, 협정(convention)이 적용되며, 이에 따라 용어 "라인"은 열 또는 행 중 하나를 의미한다.
도 7은 8 × 8 블록, 즉 필터링될 8개의 라인을 가진 블록의 특정 경우에 대한 결정 단계(D1, D2, D3 및 D4)의 시퀀스를 예시하는 전체 흐름도이다.
도 7로부터 알 수 있는 바와 같이, 단계(S10)에서, 디블로킹 필터링이 적용 되었는지의 여부가 모든 8개의 라인에 대한 단일 결정에서 판단된다. 디블로킹을 적용하지 않도록 결정이 행해지면(필터 OFF), 처리는 종료한다. 디블로킹이 적용되면(필터 ON), 필터링 처리는 다음의 단계(S20j 내지 S45j)의 각각에 대한(첨자 j, j = 1, 2, ... , 8로 나타낸) 라인의 각각에 대해 개별적으로 수행된다. 단순성을 위해, 다음의 설명에서, 각각의 첨자 j는 생략되었다. 첫째로, 단계(S20)에서, 강한 또는 약한 필터를 적용할지가 각각의 라인 j대해 결정된다(결정 D2). 다음의 단계(S35)에서, 강한 필터를 적용하기로 결정되면, 도 6a를 참조하여 상술한 바와 같이 강한 필터가 적용된다. 반대의 경우에, 약한 필터를 적용하기로 결정될 때, 처리는 추가의 결정 단계(S30)로 진행하며, 결정 D3는 개개의 라인 j에 대해 수행된다. 결정 D3에서 필터링을 적용하지 않기로 결정되면, 처리는 종료한다. 반대의 경우에, 도 6b를 참조하여 상술한 바와 같이, 경계에 가장 가까운 각각의 라인 j의 픽셀(p0 및 q0)의 필터링은 단계(S38)에서 수행된다. 그 다음, 단계(S40)에서, 또한 (경계에 다음으로 가장 가까운) p1 및 q1이 필터링되어야 하는지가 추가로 결정된다. 필터링되지 않으면, 처리는 종료한다. 결정이 긍정적이면, 처리는 단계(S45)로 진행하며, 수정된 픽셀(p1' 및 q1')은 계산된다. 단계(S30, S38, S40 및 S45)의 처리의 상세 사항은 도 6b와 관련하여 본 예에 따라 설명된다.
도 8은 예로서 결정 D1(즉 두 블록 사이의 특정 경계에 적어도 디블로킹을 적용할지에 대한 결정)을 수행하는데 이용되는 픽셀 샘플을 도시한다. 도면은 블록의 두 행을 보여준다. 각 행에서, 이미 복호화된 이전의 블록(810), 복호화될 현재 블록(820) 및 복호화될 다음 블록(830)이 예시된다. 결정 D1이 디블로킹되지 않은 화상 블록에서 수행되므로, 예시된 샘플은 도 3의 신호(S')에 상응한다.
상술한 바와 같이, 필터링될 에지에 수직인 필터링 방향의 제 3 및 6 라인(2 및 5로 분류됨)은 결정 D1에 사용된다. 특히, 샘플(860a)은 현재 블록(820)과 블록(820) 위의 수직 블록 사이의 경계를 필터링하는지를 판단하기 위한 결정 D1을 수행하는데 사용되는 2개의 열을 포함한다. 샘플(860b)은 현재 블록(820)과 다음 블록(830) 사이의 수직 에지를 수평으로 필터링하는지의 여부에 대한 결정 D1을 수행하는데 사용되는 2개의 행을 예시한다. 마찬가지로, 샘플(860c)은 이전의 블록(810)과 현재 블럭(820) 사이의 경계에 대한 결정 D1을 수행하는데 사용되는 2개의 행을 예시한다. 상술한 바와 같이, 샘플링된 라인의 각각의 결정을 수행하기 위해, 3개의 픽셀이 필요하고, 경계의 각 측면에서 카운트된다.
도 9는 결정 D2를 수행하는데 이용되는 디블로킹되지 않은 신호 S'의 모든 샘플 픽셀의 개요를 제공한다. 이러한 결정이 라인 개별적으로(line-individually) 수행되므로, 결정이 취해지는 각각의 경계에 수직인 모든 라인의 픽셀은 도 9에 예시된 샘플(960)에 포함된다. 상술한 바와 같이, 결정 D2는 평가될 양쪽에 대한 경계에 인접한 제1의 4개의 픽셀을 필요로 한다. 샘플(960)은 도 8이 결정 D1을 수행하는데 이용되는 샘플을 예시하는 동일한 경계에 대한 결정 D2를 수행하는데 이용되는 샘플을 보여준다.
도 10에서, 수직 에지의 수평 필터링, 즉 제각기 현재 블록(820) 및 이전의 블록(810) 및 다음 블록(830) 사이의 경계에 대한 결정 D3을 수행하는데 사용되는 샘플(1060)이 예시된다. 상술한 바와 같이, 결정은 각 라인에 대해 개별적으로 수행되지만, 경계 다음의 각 측면에서 두 픽셀만이 결정을 위해 사용된다.
도 11은 수직 에지에 대한 수평 디블로킹 필터링을 수행하는데 이용되는 샘플(1160)을 예시한다. 이것으로부터 알 수 있는 바와 같이, 도 10과는 대조적으로, 경계의 양측에서의 4개의 픽셀의 "깊이"는 필터링 자체를 위해 필요하다.
도 12는 수평 경계의 수직 필터링을 위한 결정 D3을 수행하는데 이용되는 샘플(1260)을 예시한다. 상기 결정이 수직 에지의 수평 디블로킹을 수행한 후에만 수행되므로, 이러한 샘플은 도 3의 수평 디블로킹된 신호 S"로부터 선택된다. 도 12의 블록과 상술한 도면에 예시된 블록 사이의 차를 시각화하기 위해, 아포스트로피(apostrophe)는 각 블록의 참조 번호에 추가되었다. 따라서, 도 12에서 이전, 현재 및 다음 블록은 제각기 810', 820' 및 830'으로 나타내었다.
도 13은 수평 에지에 대한 실제 수직 디블로킹 필터링을 수행하는데 이용되는 샘플(1360)을 예시한다. 따라서, 도 11이 도 10과 다른 것과 동일한 방식으로 도 13은 도 12와 다르다. 특히, 블록 경계에서 카운트된 4개의 픽셀은 경계의 양측에서 샘플링된다.
다음의 도면, 도 14 내지 도 16은 (결정을 위해 이용되고 필터링을 수행하기 위해 이용되는 픽셀 샘플과는 대조적으로) 수정될 수 있는 픽셀 샘플을 예시한다. 상술한 예에서와 같이, 8 × 8 샘플(즉, 8 행 및 8 열, 또는 각 방향에서의 8개의 라인)의 블록이 예시된다. 그러나, 상기 블록의 크기는 일례일뿐이다.
특히, 도 14는 수직 에지의 수평 디블로킹에 의해 수정될 수 있는 샘플의 예시를 제공한다. 블록에 대해 디블로킹되는 경계에 평행한 8개의 라인의 픽셀(도면에서 "8 샘플"로 나타냄)에서, 경계의 양쪽에서의 최대 3개의 라인이 수정된다. 결과로서, 경계에 가까운 6개의 샘플의 시퀀스가 수정된다. 이러한 샘플은 도 14에서 음영 처리된다. 결과적으로, 전체적인 8 × 8 블록에서, 수정될 블록 사이의 2개의 샘플은 각 블록에서 변경되지 않는다.
도 15는 수직 에지의 수평 디블로킹에 의해 수정된 샘플을 예시한다. 결과적으로, 도 15는 기본적으로 도 14에 상응하며, 그러나, 음영 처리부는 90°만큼 회전되었다.
도 16은 수평 또는 수직 디블로킹에 의해 수정된 샘플의 전체 예시를 제공한다. 따라서, 도 16은 도 14 및 도 15의 오버레이에 상응한다.
위의 설명에 기초하여, 본 발명에 대한 기본적인 문제가 이제 도 17a 및 도 17b에 기초하여 예에 의해 상세히 설명될 것이다. 상기 문제를 해결하는 전체적인 사상은 도 17c에 예시될 것이다.
블록 크기 및 결과적으로 저장된 라인 및 결정을 수행하는데 이용되는 라인의 수는 예에 의해서만 다음의 상세한 설명에 주어진다는 것이 주목된다. 본 발명은 8 × 8 블록으로 제한되지 않으며, 결과적으로 샘플 픽처의 수는 아래에 상세히 설명된 것으로 제한되지 않는다. 다른 블록 크기, 및 결과적으로 저장되고 선택될 샘플의 상이한 수는 첨부된 청구 범위에 의해 정의된 바와 같이 본 발명의 프레임워크 내에서 가능하다. 또한, 본 발명은 먼저 본 명세서에서 상세히 설명되고 도 3에 예시되는 수행될 수평 디블로킹의 예로 제한되지 않는다. 수평 디블로킹 전에 수직 디블로킹을 수행하는 반대 경우에 대한 본 발명의 유사한 적용은 간단하다.
도 17a는 기본적으로 도 9에 상응한다. 게다가, 참조 번호(1770)는 현재 블록(820) 위의 블록과 현재 블록(820) 사이의 수직 경계의 결정 D2(강한 또는 약한 필터)를 수행하는데 필요한 4개의 라인의 샘플을 나타낸다.
상술한 바와 같이, 결정 D1 및 D2는 디블로킹되지 않은 샘플에서 수행되어야 한다. 그래서, 이러한 결정은 도 3의 디블로킹되지 않은 신호 S'가 여전히 이용 가능하는 한, 즉 필터(350a)의 수평 에지의 수직 필터링이 실제로 시작하기 전에 수행되어야 한다. 다시 말하면, 필터링(특히: 도 3의 흐름도에 따라 먼저 수행될 수직 에지의 수평 필터링)은 특히 수평 에지의 수직 필터링을 위한 결정 D1 및 D2에 의해 지연된다. 결과적으로, 4개의 라인의 샘플은 도 17a에서 번호(1770)로 나타내며, 수직 필터링을 위한 결정 D2를 수행하는데 필요한 디블로킹되지 않은 신호의 픽처 폭에 상응하는 길이의 각각은 수직 경계에서 지연된 수평 필터링을 개시하는 순간에 이용할 수 있다.
하드웨어 구현은 다음과 같이 달성될 수 있다: 디블로킹되지 않은 샘플은 라인 메모리에 저장되고, 결정 D1 및 D2는 후속하여 저장된 디블로킹되지 않은 샘플을 이용하여 수직 에지의 수평 필터링 및 현재 블록에 대한 수평 에지의 수직 필터링을 위해 수행된다. 그 다음, 수직 에지의 지연된 수평 필터링은 4개의 저장된 라인을 포함하는 영역에 대해 수행된다.
그러나, 이러한 지연된 수평 필터링의 경우, 이전에 수행된 상응하는 온/오프 결정 D1의 결과가 필요하다. 결과적으로, 상기 결정의 결과는 저장되거나 재계산될 필요가 있다. 상기 결과가 저장되지 않을 경우에, 상술한 통상의 방식에 따른재계산은 저장된 라인(1770)에 속하지 않는 라인으로부터 샘플 픽셀을 필요로 한다. 즉, 결정 D1의 결정 결과의 재계산을 위해, 도 5에서 샘플(430), 즉 (도 5에서 첨자 2 및 5를 가진) 제 3 및 6 라인의 픽셀에 상응하는 도 17b에 도시된 샘플 픽셀(1760)이 필요하다. (도 5에서 첨자 5를 가진) 제 6 라인이 어쨌든 저장된 라인에 속하지만, 이것은 (도 5에서 첨자 2를 가진) 제 3 라인에 대한 경우가 아니다.
따라서, 지연된 수평 필터링에 대해 이전에 취해진 결정 D1의 결정 결과 또는 추가적인 라인(도 17b에서 라인(1760)의 상부 라인)으로부터의 픽셀 데이터 중 하나는 추가적으로 저장되어야 한다. 그러나, 라인 메모리가 매우 고가이므로, 후자의 대안은 높은 비용과 관련되어 있다.
대안적으로, 수직 필터링의 지연은 추가적인 라인 메모리의 사용에 의해 회피될 수 있다. 즉, 2개의 라인 메모리가 있으면, 이 중 하나는 디블로킹되지 않은 신호를 유지하고, 다른 하나는 수평 디블로킹된 신호를 유지하며, 수직 필터링을 위한 결정 D1 및 D2는 연기될 수 있다. 그러나, 라인 메모리가 매우 고가이므로, 상기 대안은 더욱 불리하다.
그래서, 상술한 통상의 방식에서, 문제는 결정 D1의 결정 결과 또는 저장된 라인(여기서는 4개의 라인(1770)) 내에 포함되는 추가적인 라인 중 하나가 지연된 필터 연산을 위해 저장되어야 한다는 것이다.
본 발명은 상술한 저장 문제에 의해 유발된 통상의 접근 방식의 결점을 극복하는 것을 목표로 한다.
본 발명에 따르면, 각각의 블록(본 예에서: 8개의 라인(행/열)의 블록)은 적어도 2개의 세그먼트로 분리된다. 세그멘테이션은 (수평 에지의 수직 필터링을 위한 각각의 결정을 수행하는데 필요한) 저장된 라인(1770)에만 기초하고, 다른 라인으로부터는 독립적으로 수직 에지의 수평 필터링을 위한 모든 결정(D1: 온/오프 및 D2: 강한/약한)을 수행할 수 있도록 하는 방식으로 수행된다.
상기 사상은 도 17c에 예시되어 있다. 즉, 세그멘테이션에 의해 수직 에지의 지연된 수평 필터링을 위한 결정 D1은 도 17c의 대시(dash) 박스(1760a)에 포함된 디블로킹되지 않은 신호 S'의 이러한 샘플에만 기초하여 결정이 행해지는 방식으로 수정되어야 한다. 쉽게 알 수 있는 바와 같이, 이러한 모든 픽셀은 저장된 라인(1770)에 속한다.
특히, 본 발명의 솔루션은 도 17d를 참조하여 설명된다. 즉, 수평 필터링에 관련된 블록에서, 세그멘테이션은 수평 세그멘테이션 라인(즉, 디블로킹될 경계에 수직인 라인)을 따라 블록을 분할함으로써 수행된다. 단순성을 위해, 도 17d에서, 세그멘테이션은 블록의 상부 행에만 예시된다. 대시 세그멘테이션 라인(1700)은 각 블록을 수직 방향의 2개의 세그먼트(측면)로 분할한다. 더욱이, 결정 D1을 행하는 방식은 각각의 다른 측으로부터의 샘플이 세그먼트의 하나의 영역 내의 수직 에지의 수평 디블로킹을 위한 결정 D1을 행하는데 필요하지 않는 방식으로 수정된다.
다시 말하면, 결정 D1은 전체적으로 더 이상 블록에 대해 행해지지 않지만, 개별적으로 각 세그먼트(측면)에 대해서는 취해진다. 측면 1에서 결정을 행하기 위해, 측면 1로부터의 샘플(특히: 번호(17601)로 나타낸 샘플)만이 이용된다. 측면 2의 세그먼트의 영역에 대한 결정을 행하기 위해서는, 측면 2의 샘플(특히: 번호(17602)로 나타낸 샘플)만이 이용된다.
반대로, 측면 1에 위치된 샘플은 측면 2에서 수직 에지의 수평 필터링을 수행하는데 필요한 결정에 이용되지 않으며, 측면 2의 샘플은 측면 1에서 수직 에지의 수평 필터링을 수행하는데 필요한 결정에 이용되지 않는다.
특히, 결과적으로, 측면 2에 대한 결정은 어떤 저장되지 않은 라인에 관계없이 저장된 라인(1770)에 기초하여 행해질 수 있다. 따라서, 이전에 결정된 결과를 저장하는 것도 고가의 라인 메모리에 추가적인 라인을 저장하는 것도 필요하지 않다.
측면 1에 관해, 별도의 결정은 각각의 라인이 도 17의 블록의 다른 행과 (도 17에 도시되지 않은) 위의 다음 블록 사이의 경계에 대해 수직 디블로킹 결정으로부터 저장되는 시간에 행해질 수 있다.
본 발명에 따른 결정 방식의 중요한 이점은 블록의 크기를 가진 영역에 대한 디블로킹의 종속성을 제한하는 것이다. 결과로서, 결정을 위한 샘플 영역(블록)이 적절하게 선택되면, 이러한 영역은 서로 평행하게 디블로킹될 수 있다. 결정을 위한 샘플 영역(블록)은 일반적으로 디블로킹이 적용되는 경계에 대한 블록과 다르다는 것이 주목되어야 한다.
상기 유리한 기술적 효과는 (8 × 8 블록의 예에 대해) 도 18에 예시된다.
도 18은 일반적으로 도 17d에 기초하고, 6개의 8×8 블록을 도시하며, 이의 블록 경계는 디블로킹되어야 한다. 더욱이, 도 18에서, 8×8 영역(1800)은 대시 사각형에 의해 강조되었다. 상기 영역(1800) 내에서, 수직 에지(1810)의 수평 디블로킹을 위한 결정에 필요한 샘플은(예를 들어, 작은 대시 직사각형에 의해 도 17d에서 샘플(17602)과 동일한 방식으로) 예시된다. 게다가, 영역(1800) 내에서 수평 에지(1820)의 수직 디블로킹 필터링을 위한 각각의 샘플은 강조된다(수직 방향에 따른 작은 대시 직사각형).
도 18로부터 알 수 있는 바와 같이, 모든 결정은 상기 영역 외부의 어떤 샘플을 참조할 필요 없이 8×8 블록(1800)에 대해 행해질 수 있다. 따라서, 8×8 영역(블록)(1800)(및 수평 및/또는 수직 방향으로 8 픽셀의 배수만큼 시프트된 각각의 블록)은 병렬로 디블로킹 필터링에 의해 처리될 수 있는 적절한 결정 블록이다.
이러한 이점은 통상의 결정 및 필터링 방식으로 달성될 수 없다. 예를 들면, 도 8로부터 알 수 있는 바와 같이, 이전의 방식에서는 디블로킹 결정을 위한 샘플이 상기 동일한 영역으로 제한되는 8×8 영역(블록)이 없어, 디블로킹 필터링 결정이 상기 영역 내에서 독립적으로 행해질 수 있다. 따라서, 병렬화는 통상의 방식에 의해 방지된다.
두 4개의 라인 세그먼트로 분할된 8개의 라인 블록으로부터 결정 D1(디블로킹 필터 온/오프)을 수행하기 위한 예시적인 솔루션의 더욱 특정한 설명은 도 19를 참조하여 아래에 설명될 것이다. 도 19a는 측면 1에서 4개의 라인 세그먼트에 대한 ON/OFF 결정을 예시한다. 도 19a로부터 알 수 있는 바와 같이, (첨자 0을 가진) 제 1 라인 및 (첨자 3을 가진) 제 4 라인만에 기초하여 결정이 행해진다. 특히, 다음과 같은 파라미터가 계산된다:
Figure pat00043
및
Figure pat00044
이러한 필터는 다음과 같은 조건이 충족될 경우에 가능해진다:
Figure pat00045
도 19b는 샘플(17602)에 기초하여 측면 2에 대해 행한 각각의 결정을 예시한다. 각각의 계산은 다음과 같다:
Figure pat00046
및
Figure pat00047
Figure pat00048
이러한 필터는 조건이 충족될 경우에 가능해진다:
Figure pat00049
위의 상세 사항으로부터 알 수 있는 바와 같이, 블록 세그멘테이션에 기초하여 결정 D1의 수정은 전체적인 계산 비용을 약간 증가시킨다. 즉, 20번의 연산을 필요로 하는 8개 라인의 블록에 대한 통상의 단일 온/오프 결정 대신에, 온/오프 결정은 4개의 라인에 대해 두번 행해져야 해 40번의 연산을 필요로 한다. 따라서, 결정 D1만을 행하는데 필요한 연산의 수는 두 배가 되었다.
그래서, 본 발명 내에서 또한 결정 D2, 즉 증가된 계산 비용을 보상하기 위해 강한 또는 약한 필터가 적용되는데 적합한지에 대한 결정의 구현을 추가로 수정하는 것이 바람직하다.
도 20은 본 발명에 따라 세그멘테이션에 기초하여 수정된 결정 D2에 대한 제 1 특정 솔루션을 예시한다. 상술한 바와 같이, 통상의 예에서, 결정 D2는 개별적으로 각 라인에 대해 행해진다. 대조적으로, 본 발명에 따르면, 개개의 결정은 세그먼트 당 라인의 서브세트에 대해서만 행해진다. 세그먼트의 서브세트에 대한 개개의 결정에 기초하여, 필터의 단일 결정은 세그먼트의 모든 라인에 대해 행해진다.
특히, 도 20a는 측면 1에 대한 제 1 특정 예에 따라 수정된 결정 D2를 도시한다. 결정은 도 20a에서 번호(19601)로 나타내는 (첨자 0을 가진) 제 1 라인 및 (첨자 3을 가진) 제 4 라인에 기초한다. 첨자 0 및 3을 가진 두 라인의 각각에 대해, 강한 필터와 약한 필터 사이의 결정이 (바람직하게는 상술한 통상의 방식으로) 수행된다. 두 라인에 대해 강한 필터가 선택되면, 모두 4개의 라인(0, 1, 2, 3)은 강하게 필터링된다. 그렇지 않으면, 약한 필터가 선택된다.
측면 2에서의 각각의 연산 방식은 도 20b에 예시되어 있다. 측면 2에 대한 결정 D2는 참조 번호(19602)로 나타낸 첨자 4 및 7을 가진 두 라인에 기초한다. 두 라인(4 및 7)의 각각에 대해, 강한 필터와 약한 필터 사이의 결정은 수행된다. 두 라인에 대해 강한 필터가 선택되면, 모두 4개의 라인(4, 5, 6, 7)은 강하게 필터링된다. 그렇지 않으면, 약한 필터가 선택된다.
시뮬레이션은 본 발명의 설명된 실시예에 따라 부호화 효율이 상술한 통상의 HM 4.0 방식에 대하여 약간 증가되는 것을 나타낸다.
도 19 및 도 20을 참조하여 상술한 본 발명의 실시예의 부호화 효율은 일반적으로 ISO 및 ITU의 표준화 활동에 이용되는 부호화 조건에 기초하여 평가되었으며, 문서 JCTVC-E700(http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=2454)를 참조한다. 본 발명은 동일한 평균 제곱 양자화 오차에서 약 0.15 %의 평균 비트 속도 감소에 이르게 한다.
더욱이, 두 결정 D1 및 D2의 수정에 기초하여, 전체적인 계산 비용의 감소가 또한 달성될 수 있다. 즉, 상술한 통상의 방식에 따라, 다음과 같은 연산의 전체 수가 필요하다:
Figure pat00050
8 라인에 대한 온/오프 결정: 20 연산
Figure pat00051
8 강한/약한 결정: 96 연산
Figure pat00052
계산의 합계: 116 연산
본 발명의 예시된 실시예에 따르면, 연산의 전체 수는 다음과 같다:
Figure pat00053
4 라인에 대한 2번 온/오프 결정: 40 연산
Figure pat00054
4 강한/약한 결정: 48 연산
Figure pat00055
계산의 합계: 96 연산
결과적으로, 본 발명은 계산의 전체 수를 대략 20 %만큼 감소시킬 수 있다.
수정된 결정 D2의 제 2 예시적인 솔루션은 상술한 제 1 예와 유사하다. 제 1 예에서와 동일한 방식으로, 두 라인 0 및 3의 각각에 대한 제 1 측면에서, 강한 필터와 약한 필터 사이의 결정은 수행된다. 두 라인에 대해 약한 필터가 선택되면, 모두 4개의 라인(0, 1, 2, 3)은 약하게 필터링된다. 그렇지 않으면, 강한 필터가 선택된다.
동일한 방식으로, 측면 2에서,두 라인(4 및 7)의 각각에 대해, 강한 필터와 약한 필터 사이의 결정은 수행된다. 두 라인에 대해 약한 필터가 선택되면, 모두 4개의 라인(4, 5, 6, 7)은 약하게 필터링된다. 그렇지 않으면, 강한 필터가 선택된다.
따라서, 제 2 예시된 예는 두 선택된 라인에 대한 개개의 결정 사이의 불일치의 경우의 제 2 예에 따라 강한 필터가 선택되지만, 불일치의 경우의 제 1 예에 따라서는 항상 약한 필터가 선택된다는 점에서 제 2 예시된 예는 제 1 예와 다르다. 약한 필터의 계산 복잡도가 일반적으로 강한 필터에 대해서보다 낮으므로, 제 1 예는 계산 비용면에서 추가로 감소시킬 수 있다.
제 3 예에 따르면, 수정된 결정 D2는 또한 도 20a 및 도 20b에 예시되는 선택된 라인에 기초하여 수행된다. 그러나, 제 3 예에 따르면, 결정 D2는 결정 D3과 조합된다. 즉, 선택된 라인의 각각에 대해, 강한 필터, 약한 필터와 무필터(no filter) 사이의 조합된 결정이 수행된다. 각각의 결정은 룩업 테이블에 기초하여 행해진다.
특히, 측면 1에서, 두 라인(0 및 3)의 각각에 대해, 강한 필터, 약한 필터와 무필터 사이의 결정이 수행된다. 두 결정 결과는 다음의 룩업 테이블에 의해 모두 4개의 라인(0, 1, 2, 3)에 대해 결정하기 위해 이용된다.
Figure pat00056
측면 2에서, 두 라인(4 및 7)의 각각에 대해, 강한 필터, 약한 필터와 무필터 사이의 결정이 수행된다. 두 결정 결과는 다음의 룩업 테이블에 의해 모두 4개의 라인(4, 5, 6, 7)에 대해 결정하기 위해 이용된다.
Figure pat00057
위의 테이블로부터 알 수 있는 바와 같이, 두 라인에 대한 결정이 다를 경우에, 저복잡도의 하나가 항상 선택된다. 이에 의해, 계산 비용이 추가로 절약된다.
도 21을 참조하여 예시된 제 4 예는 일반적으로 제 3 예와 유사하다. 도 21로부터 알 수 있는 바와 같이, 측면 1에서 (첨자 1 및 2를 가진) 제 2 및 3 라인이 개개의 결정을 위해 선택된다. 측면 2에서는 (첨자 5 및 6을 가진) 제 6 및 7 라인이 선택된다. 상응하는 룩업 테이블은 아래에 나타낸다:
Figure pat00058
및
Figure pat00059
개개의 라인에 기초하기 보다는 세그먼트에 기초하여 수행되는 수정된 결정 D2의 특정 솔루션은 위에 주어진 4개의 예로 제한되지 않는다는 것이 이해되어야 한다. 추가의 수정 뿐만 아니라 이러한 예의 개개의 요소의 조합은 첨부된 청구 범위에 의해 정의된 바와 같이 본 발명의 범위 내에서 가능하다. 위의 예에서, 결정 D2는 두 라인의 샘플에 기초하였다. 그러나, 본 발명은 선택에 이용되는 상기 라인의 수로 제한되지 않는다. 필터 선택은 단일 라인에만 기초할 수 있거나, 디블로킹될 세그먼트의 각각의 쌍의 라인의 전체 수보다 적은 라인의 어떤 다른 수에 기초할 수 있다.
다음에는, 온/오프 결정 D1을 행할 시에 발생하는 제 1 메모리 액세스 문제가 도 22 및 도 23에 대하여 설명되고 다루어진다. 도 22는 수직 에지의 수평 디블로킹을 위해 결정 D1을 행하는 통상의 HEVC 접근 방식을 예시한다.
도 22a의 상부 방식에 나타낸 바와 같이, 제 1 단계에서, 라인 2는 판독되고, 관련된 결정 값 dp2 및 dq2은 계산된다. 제 2 단계에서, 라인 5는 판독되고, 관련된 결정 값 dp5 및 dq5은 계산된다.
제 3 단계에서, 결정 값
Figure pat00060
은 계산되고, 온/오프 결정 D1은 모두 8개의 라인에 대해 수행된다. 그 후,, 강한/약한 필터 결정은 라인 5에 대해 수행되고, 디블로킹 및 블로킹 결과의 기록은 라인 5에 대해 수행된다.
그 다음의 제 4 단계에서, 나머지 라인 0, 1, 2, 3, 4, 6 및 7의 각각에 대해, 각각의 라인은 판독되고, 강한/약한 필터링은 결정되고, 디블로킹은 수행되며, 결과는 다시 기록된다. 결과적으로, 8개의 라인의 디블록킹에 대한 다음과 같은 문제가 발생하며, 라인 2 또는 라인 5 중 하나는 두번: 결정 D1에 대해 한 번 및 디블로킹에 대해 한번 판독될 필요가 있다. 전체로서, 블록 당 8 라인만이 있을지라도 9 라인 판독 연산이 수행될 필요가 있다.
상기 문제는 도 23을 참조하여 예시된 바와 같이 수정된 디블로킹 방식으로 유리하게 해결될 수 있다. 제 1 단계에서, 라인 2(2362)가 판독되고, 관련된 결정 값 db2 및 du2은 계산된다. 수정된 결정 값
Figure pat00061
이 계산되고, 이러한 라인에 유효한 온/오프 결정 D1은 기준 d2 < β에 기초한다. 그 다음, 강한/약한 필터 D2 결정은 수행되고, 그것은 디블로킹되며, 결과는 다시 기록된다. 제 2 단계에서, 라인 5(2365)는 동일한 방식으로 판독되며, 관련된 결정 값 db5 및 du5은 계산된다. 수정된 결정 값
Figure pat00062
은 계산되고, 온/오프 결정 D1은 이러한 라인에 유효한 기준 d5 < β에 기초하여 수행된다. 강한/약한 필터 결정 D2는 수행되고, 결과를 디블로킹하고 다시 기록하는 것은 라인 5(2365)에 대해 개별적으로 수행된다.
그 다음, 결정 값
Figure pat00063
은 계산되고, 가능/불가능(enable/disable) 결정 d < β은 도 23b에서 참조 번호(2360)로 예시된 바와 같이 나머지 라인 0, 1, 3, 4, 6 및 7에 대해 수행된다. 그 다음의 제 4 단계에서, 나머지 라인 0, 1, 3, 4, 6 및 7에 대해 픽셀 샘플은 판독되고, 강한/약한 필터 결정은 수행되어, 디블로킹이 실행되고 결과가 다시 기록된다.
메모리 액세스 문제를 해결하기 위해 개선된 디블로킹의 수정된 예에 따르면, 단계 1, 2 및 4는 상술한 바와 같이 수행된다. 상술한 단계 3은 나머지 라인에 대한 일반적인 결정 값 d이 계산되지 않는 것으로 수정된다. 대조적으로, 나머지 라인 0, 1, 3, 4, 6, 7에 대한 단계 3의 온/오프 결정은 결정
Figure pat00064
에 기초하여 수행된다.
더욱 일반적으로 말하면, 결정 D1에 대한 수정된 결정 방식은 결정 D1이 전체 블록에 대해 행해지지 않지만, 이러한 라인에 대해 별도로(개별적으로) 행해지는 방식으로 수행되며, 이의 픽셀 샘플은 결정 기준(본 예에서: 라인 2 및 5)을 계산하고 적용하는데 이용된다. 그 후, 결정은 나머지 라인에 대해 행해진다.
결정 D1이 개별적으로 행해지는 라인의 각각에 대한 결정 방식은 또한 이용된 픽셀 샘플이 분리되는 방식으로 수정되어야 하며, 즉 특정 라인에 대한 개개의 결정 D1은 상기 라인으로부터의 샘플 픽셀에 기초하여서만 행해진다. 블록의 나머지 라인에 대한 결정 방식은 도 4 및 도 5를 참조하여 상술한 바와 같은 통상의 방식일 수 있거나, 또한 수정될 수 있다. 나머지 라인에 대한 결정은 개개의 결정이 행해지는 이러한 모든 라인의 픽셀 샘플에 기초할 수 있다.
수정된 결정 D1의 두 버전에 의해 다음과 같은 이점이 달성된다: 첫째로, 각 라인은 한 번만 판독될 필요가 있고, 결과적으로 블록 당 라인의 수(본 경우에서: 8)와 동일한 라인 판독 연산의 수만이 수행되어야 한다. 더욱이, 보다 정확한 결정은 결정이 개별적으로 수행되는 라인(본 경우에서: 라인 2 및 5)에 대해 달성된다.
각 실시예에서 설명된 처리는 각 실시예에서 설명된 동영상 부호화 방법(화상 부호화 방법) 및 동영상 복호화 방법(화상 복호화 방법)의 구성을 구현하기 위한 프로그램을 기록 매체에 기록함으로써 독립된 컴퓨터 시스템에서 간단히 구현될 수 있다. 기록 매체는 자기 디스크, 광 디스크, 자기 광 디스크, IC 카드 및 반도체 메모리와 같이 프로그램이 기록될 수 있는 어떤 기록 매체일 수 있다.
이하, 각 실시예에서 설명된 동영상 부호화 방법(화상 부호화 방법) 및 동영상 복호화 방법(화상 복호화 방법)과 이를 이용하는 시스템에 대한 응용이 설명될 것이다. 시스템은 화상 부호화 방법을 이용하는 화상 부호화 장치 및 화상 복호화 방법을 이용하는 화상 복호화 장치를 포함하는 화상 부호화 및 복호화 장치를 가진 특징을 갖는다. 시스템의 다른 구성은 경우에 따라 적절하게 변경될 수 있다.
(실시예 A)
도 24는 콘텐츠 분배 서비스를 구현하기 위한 콘텐츠 제공 시스템(ex100)의 전체 구성을 도시한다. 통신 서비스를 제공하기 위한 영역은 원하는 크기의 셀로 분할되며, 고정된 무선국인 기지국(ex106, ex107, ex108, ex109 및 ex110)은 각 셀내에 배치된다.
콘텐츠 제공 시스템(ex100)은 인터넷(ex101), 인터넷 서비스 제공자(ex102), 전화 네트워크(ex104) 뿐만 아니라 제각기 기지국(ex106 내지 ex110)을 통해 컴퓨터(ex111), 개인 휴대 정보 단말기(PDA)(ex112), 카메라(ex113), 휴대 전화(ex114) 및 게임 머신(ex115)과 같은 장치에 연결된다.
그러나, 콘텐츠 제공 시스템(ex100)의 구성은 도 24에 도시된 구성으로 제한되지 않으며, 어떤 요소가 연결되어 있는 조합이 수용 가능하다. 게다가, 각 장치는 고정된 무선국인 기지국(ex106 내지 ex110)을 통하기 보다는 전화 네트워크(ex104)에 직접 연결될 수 있다. 더욱이, 장치는 근거리 무선 통신 등을 통해 서로 상호 연결될 수 있다.
디지털 영상 카메라와 같은 카메라(ex113)는 영상을 캡처할 수 있다. 디지털 카메라와 같은 카메라(ex116)는 정지 화상 및 영상을 캡처할 수 있다. 더욱이, 휴대 전화(ex114)은 GSM(Global System for Mobile Communications)(등록된 상표), CDMA(Code Division Multiple Access), W-CDMA(Wideband-Code Division Multiple Access), LTE(Long Term Evolution), 및 HSPA(High Speed Packet Access)와 같은 표준 중 어느 하나를 충족하는 것일 수 있다, 대안적으로, 휴대 전화(ex114)은 PHS(Personal Handyphone System) 일 수 있다.
콘텐츠 제공 시스템(ex100)에서, 스트리밍 서버(ex103)는 전화 네트워크(ex104) 및 기지국(ex109)을 통해 카메라(ex113) 등에 연결되어, 라이브 쇼(live show) 등의 화상의 분배를 가능하게 한다. 이러한 분배에서, 카메라(ex113)를 이용하여 사용자에 의해 캡처된 콘텐츠(예를 들어, 음악 라이브 쇼의 영상)는 각 실시예에서 상술한 바와 같이 부호화되며(즉, 카메라는 본 발명의 양태에 따른 화상 부호화 장치의 역할을 한다), 부호화된 콘텐츠는 스트리밍 서버(ex103)로 전송된다. 한편, 스트리밍 서버(ex103)는 요구 시에 클라이언트로의 전송된 콘텐츠 데이터의 스트리밍 분배를 실행한다. 클라이언트는 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 및 게임 머신(ex115)을 포함하며, 이는 상술한 부호화된 데이터를 복호화할 수 있다. 분배된 데이터를 수신한 각 장치는 부호화된 데이터를 복호화하고 재생한다(즉, 본 발명의 양태에 따른 화상 복호화 장치의 역할을 한다).
캡처된 데이터는 카메라(ex113) 또는 데이터를 전송하는 스트리밍 서버(ex103)에 의해 부호화될 수 있거나, 부호화 프로세스는 카메라(ex113)와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 마찬가지로, 분배된 데이터는 클라이언트 또는 스트리밍 서버(ex103)에 의해 복호화될 수 있거나, 복호화 프로세스는 클라이언트와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 더욱이, 카메라(ex113) 뿐만 아니라 카메라(ex116)에 의해 캡처되는 정지 화상 및 영상의 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)로 전송될 수 있다. 부호화 프로세스는 카메라(ex116), 컴퓨터(ex111) 또는 스트리밍 서버(ex103)에 의해 수행될 수 있거나, 그들 사이에서 공유될 수 있다.
더욱이, 부호화 및 복호화 프로세스는 일반적으로 각각의 컴퓨터(ex111) 및 장치에 포함된 LSI(ex500)에 의해 수행될 수 있다. LSI(ex500)는 단일의 칩 또는 복수의 칩으로 구성될 수 있다. 부호화 및 복호화 영상을 위한 소프트웨어는 컴퓨터(ex111) 등에 의해 판독 가능한 (CD-ROM, 플렉시블 디스크 및 하드 디스크와 같은) 어떤 타입의 기록 매체로 통합될 수 있고, 부호화 및 복호화 프로세스는 소프트웨어를 이용하여 수행될 수 있다. 더욱이, 휴대 전화(ex114)이 카메라를 장착하면, 카메라에 의해 획득된 영상 데이터는 전송될 수 있다. 영상 데이터는 휴대 전화(ex114)에 포함된 LSI(ex500)에 의해 부호화된 데이터이다.
더욱이, 스트리밍 서버(ex103)는 서버 및 컴퓨터로 구성될 수 있고, 데이터를 분산시켜 분산된 데이터를 처리할 수 있고, 데이터를 기록하거나 분배할 수 있다.
상술한 바와 같이, 클라이언트는 콘텐츠 제공 시스템(ex100)에서 부호화된 데이터를 수신하여 재생할 수 있다. 다시 말하면, 클라이언트는 사용자에 의해 전송된 정보를 수신하여 복호화하고, 콘텐츠 제공 시스템(ex100)에서 복호화된 데이터를 실시간으로 재생할 수 있음으로써, 어떤 특정 권리 및 장비를 갖지 않은 사용자가 개인 방송을 구현할 수 있도록 한다.
콘텐츠 제공 시스템(ex100)의 예를 제외하고, 각 실시예에서 설명된 동영상 부호화 장치(화상 부호화 장치) 및 동영상 복호화 장치(화상 복호화 장치) 중 적어도 하나는 도 25에 도시된 디지털 방송 시스템(ex200)에서 구현될 수 있다. 특히, 방송국(ex201)은 음성 데이터 등을 영상 데이터로 다중화함으로써 획득되는 다중화된 데이터를 무선 전파를 통해 방송 위성(ex202)으로 통신하거나 전송한다. 영상 데이터는 각 실시예에서 설명된 동영상 부호화 방법에 의해 부호화된 데이터(즉, 본 발명의 양태에 따른 화상 부호화 장치에 의해 부호화된 데이터)이다. 다중화된 데이터를 수신할 시에, 방송 위성(ex202)은 방송을 위한 무선 전파를 전송한다. 그 후, 위성 방송 수신 기능을 가진 가정용 안테나(ex204)는 무선 전파를 수신한다. 그 다음, 텔레비전(수신기)(ex300) 및 셋톱 박스(STB)(ex217)와 같은 장치는 수신된 다중화된 데이터를 복호화하여, 복호화된 데이터를 재생한다(즉, 본 발명의 양태에 따른 화상 복호화 장치의 역할을 한다).
더욱이, 판독기/기록기(ex218)(i)는 DVD 및 BD와 같은 기록 매체(ex215) 상에 기록된 다중화된 데이터를 판독하여 복호화하거나, (i) 기록 매체(ex215)에서 영상 신호를 부호화하며, 어떤 경우에는, 부호화된 데이터 상에서 음성 신호를 다중화함으로써 획득된 데이터를 기록한다. 판독기/기록기(ex218)는 각 실시예에서 도시된 바와 같은 동영상 복호화 장치 또는 동영상 부호화 장치를 포함할 수 있다. 이 경우에, 재생된 영상 신호는 모니터(ex219)에 표시되고, 다중화된 데이터가 기록되는 기록 매체(ex215)를 이용하여 다른 장치 또는 시스템에 의해 재생될 수 있다. 또한, 텔레비전(ex300)의 모니터(ex219)에 영상 신호를 표시하기 위해 케이블 텔레비전용 케이블(ex203) 또는 위성 및/또는 지상파 방송용 안테나(ex204)에 연결된 셋톱 박스(ex217)에서 동영상 복호화 장치를 구현하는 것이 가능하다. 동영상 복호화 장치는 셋톱 박스에서가 아니라 텔레비전(ex300)에서 구현될 수 있다. 도 26은 각 실시예에서 설명된 동영상 부호화 방법 및 동영상 복호화 방법을 이용하는 텔레비전(수신기)(ex300)을 도시한다. 텔레비전(ex300)은 방송을 수신하는 안테나(ex204) 또는 케이블(ex203)을 통해 음성 데이터를 영상 데이터에 다중화함으로써 획득되는 다중화된 데이터를 획득하거나 제공하는 튜너(ex301); 수신된 다중화된 데이터를 복조하거나 데이터를 외부에 공급되는 다중화된 데이터로 변조하는 변조/복조 유닛(ex302); 및 변조된 다중화된 데이터를 영상 데이터 및 음성 데이터를 역 다중화하거나, 신호 처리 유닛(ex306)에 의해 부호화된 영상 데이터 및 음성 데이터를 데이터로 다중화하는 다중화/역다중화 유닛(ex303)을 포함한다.
텔레비전(ex300)은 추가로 (본 발명의 양태에 따른 화상 부호화 장치 및 화상 복호화 장치로서 역할을 하는) 제각기 음성 데이터 및 영상 데이터를 복호화하고 음성 데이터 및 영상 데이터를 부호화하는 음성 신호 처리 유닛(ex304) 및 영상 신호 처리 유닛(ex305)을 포함하는 신호 처리 유닛(ex306); 및 복호화된 음성 신호를 제공하는 스피커(ex307), 및 디스플레이와 같이 복호화된 영상 신호를 표시하는 디스플레이 유닛(ex308)을 포함하는 출력 유닛(ex309)을 포함한다. 더욱이, 텔레비전(ex300)은 사용자 조작의 입력을 수신하는 조작 입력 유닛(ex312)을 포함하는 인터페이스 유닛(ex317)을 포함한다. 더욱이, 텔레비전(ex300)은 텔레비전(ex300)의 전체의 각 구성 요소를 제어하는 제어 유닛(ex310), 및 전력을 각 요소에 공급하는 전력 공급 회로 유닛(ex311)을 포함한다. 조작 입력 유닛(ex312) 이외에, 인터페이스 유닛(ex317)은 판독기/기록기(ex218)와 같이 외부 장치에 연결되는 브리지(ex313); SD 카드와 같이 기록 매체(ex216)의 부착을 가능하게 하기 위한 슬롯 유닛(ex314); 하드 디스크와 같이 외부 기록 매체에 연결되는 드라이버(ex315); 및 전화 네트워크에 접속되는 모뎀(ex316)을 포함할 수 있다. 여기서, 기록 매체(ex216)는 저장을 위한 비휘발성/휘발성 반도체 메모리 요소를 이용하여 정보를 전기적으로 기록할 수 있다. 텔레비전(ex300)의 구성 요소는 동기 버스를 통해 서로 연결된다.
먼저, 텔레비전(ex300)이 안테나(ex204) 등을 통해 외부로부터 획득되는 다중화된 데이터를 복호화하고, 복호화된 데이터를 재생하는 구성이 설명될 것이다. 텔레비전(ex300)에서, 원격 제어기(ex300) 등을 통한 사용자의 조작 시에, 다중화/역다중화 유닛(ex303)은 CPU를 포함하는 제어 유닛(ex310)의 제어 하에 변조/복조 유닛(ex302)에 의해 복조되는 다중화된 데이터를 역 다중화한다. 더욱이, 음성 신호 처리 유닛(ex304)은 역 다중화된 음성 데이터를 복호화하고, 영상 신호 처리 유닛(ex305)은 텔레비전(ex300)에서 각 실시예에 설명된 복호화 방법을 이용하여 역 다중화된 영상 데이터를 복호화한다. 출력 유닛(ex309)은 제각기 복호화된 영상 신호 및 음성 신호를 외부에 제공한다. 출력 유닛(ex309)이 영상 신호 및 음성 신호를 제공할 때, 신호가 서로 동기하여 재생되도록 신호는 일시적으로 버퍼(ex318 및 ex319) 등에 저장될 수 있다. 더욱이, 텔레비전(ex300)은 방송 등을 통하지 않고 자기 디스크, 광 디스크 및 SD 카드와 같은 기록 매체(ex215 및 ex216)로부터 다중화된 데이터를 판독할 수 있다. 그 다음, 텔레비전(ex300)이 음성 신호 및 영상 신호를 부호화하고, 데이터를 외부로 전송하거나 데이터를 기록 매체에 기록하는 구성이 설명될 것이다. 텔레비전(ex300)에서, 원격 제어기(ex220) 등을 통한 사용자의 조작 시에, 음성 신호 처리 유닛(ex304)은 음성 신호를 부호화하고, 영상 신호 처리 유닛(ex305)은 각 실시예에 설명된 부호화 방법을 이용하여 제어 유닛(ex310)의 제어하에 영상 신호를 부호화한다. 다중화/역다중화 유닛(ex303)은 부호화된 영상 신호 및 음성 신호를 다중화하고, 생성된 신호를 외부에 제공한다. 다중화/역다중화 유닛(ex303)이 영상 신호 및 음성 신호를 다중화할 때, 신호가 서로 동기하여 재생되도록 신호는 일시적으로 버퍼(ex320 및 ex321) 등에 저장될 수 있다. 여기서, 버퍼(ex318, ex319, ex320 및 ex321)는 예시된 바와 같이 복수일 수 있거나, 적어도 하나의 버퍼는 텔레비전(ex300)에서 공유될 수 있다. 더욱이, 시스템 오버플로우(overflow) 및 언더플로우(underflow)가 예를 들어 변조/복조 유닛(ex302)과 다중화/역다중화 유닛(ex303) 사이에서 회피될 수 있도록 데이터는 버퍼에 저장될 수 있다.
더욱이, 텔레비전(ex300)은 방송 또는 기록 매체로부터 음성 및 영상 데이터를 획득하기 위한 구성 외에 마이크 또는 카메라로부터 AV 입력을 수신하기 위한 구성을 포함할 수 있고, 획득된 데이터를 부호화할 수 있다. 텔레비전(ex300)이 설명에서 외부 데이터를 부호화하고, 다중화하여 제공할 수 있을지라도, 그것은 단지 외부 데이터를 수신하고, 복호화하여 제공할 수는 있지만, 외부 데이터를 부호화하고, 다중화하여 제공할 수는 없다.
더욱이, 판독기/기록기(ex218)가 기록 매체로부터 다중화된 데이터를 판독하거나 다중화된 데이터를 기록 매체에 기록할 때, 텔레비전(ex300) 및 판독기/기록기(ex218) 중 하나는 다중화된 데이터를 복호화하거나 부호화할 수 있고, 텔레비전(ex300) 및 판독기/기록기(ex218)는 복호화 또는 부호화를 공유할 수 있다.
일례로서, 도 27은 데이터가 광 디스크로부터 판독되거나 광 디스크에 기록될 때 정보 재생/기록 유닛(ex400)의 구성을 도시한다. 정보 재생/기록 유닛(ex400)은 아래에 설명되는 구성 요소(ex401, ex402, ex403, ex404, ex405, ex406 및 ex407)를 포함한다. 광 헤드(ex401)는 정보를 기록하기 위해 광 디스크인 기록 매체(ex215)의 기록 표면에 레이저 스폿(laser spot)을 조사하고, 정보를 판독하기 위해 기록 매체(ex215)의 기록 표면으로부터 반사된 광을 검출한다. 변조 기록 유닛(ex402)은 광 헤드(ex401)에 포함된 반도체 레이저를 전기적으로 구동하고, 기록된 데이터에 따라 레이저 광을 변조한다. 재생 복조 유닛(ex403)은 광 헤드(ex401)에 포함된 광 검출기를 이용하여 기록 표면으로부터 반사된 광을 전기적으로 검출함으로써 획득된 재생 신호를 증폭하고, 필요한 정보를 재생하기 위해 기록 매체(ex215) 상에 기록된 신호 성분을 분리함으로써 재생 신호를 복조한다. 버퍼(ex404)는 기록 매체(ex215)에 기록되는 정보 및 기록 매체(ex215)로부터 재생된 정보를 일시적으로 보유한다. 디스크 모터(ex405)는 기록 매체(ex215)를 회전시킨다. 서보 제어 유닛(ex406)은 레이저 스폿을 추종하기 위해 디스크 모터(ex405)의 회전 구동을 제어하면서 광 헤드(ex401)를 미리 정해진 정보 트랙으로 이동시킨다. 시스템 제어 유닛(ex407)은 전체적으로 정보 재생/기록 유닛(ex400)을 제어한다. 판독 및 기록 프로세스는 버퍼(ex404) 내에 저장된 다양한 정보를 이용하고, 필요에 따라 새로운 정보를 생성하여 추가하는 시스템 제어 유닛(ex407)에 의해 구현될 수 있고, 변조 기록 유닛(ex402), 재생 복조 유닛(ex403) 및 서보 제어 유닛(ex406)에 의해서도 구현될 수 있으며, 이러한 유닛은 조정된 방식으로 동작되면서 광 헤드(ex401)를 통해 정보를 기록하고 재생한다. 시스템 제어 유닛(ex407)은 예를 들어 마이크로프로세서를 포함하고, 컴퓨터가 판독 및 기록을 위한 프로그램을 실행하도록 함으로써 처리를 실행한다.
광 헤드(ex401)가 설명에서 레이저 스폿을 조사하지만, 그것은 근접장 광(near field light)을 이용하여 고밀도 기록을 수행할 수 있다. 도 28은 광 디스크인 기록 매체(ex215)를 도시한다. 기록 매체(ex215)의 기록 표면 상에는, 안내 홈은 나선형으로 형성되고, 정보 트랙(ex230)은 사전에 안내 홈의 형상의 변화에 따라 디스크 상의 절대 위치를 나타내는 어드레스 정보를 기록한다. 어드레스 정보는 데이터 기록을 위한 유닛인 기록 블록(ex231)의 위치를 결정하기 위한 정보를 포함한다. 데이터를 기록하고 재생하는 장치에서 정보 트랙(ex230)을 재생하고 어드레스 정보를 판독하는 것은 기록 블록의 위치를 결정하도록 할 수 있다. 더욱이, 기록 매체(ex215)는 데이터 기록 영역(ex233), 내주 영역(ex232) 및 외주 영역(ex234)을 포함한다. 데이터 기록 영역(ex233)은 사용자 데이터를 기록하는데 사용하기 위한 영역이다. 제각기 데이터 기록 영역(ex233)의 내부 및 외부인 내주 영역(ex232) 및 외주 영역(ex234)은 사용자 데이터를 기록하는 것을 제외한 특정 용도를 위한 것이다. 정보 재생/기록 유닛(400)은 기록 매체(ex215)의 데이터 기록 영역(ex233)으로부터 및 이러한 영역(ex233)에 부호화된 음성, 부호화된 영상 데이터, 또는 부호화된 음성 및 영상 데이터를 다중화함으로써 획득된 다중화된 데이터를 판독 및 기록한다.
DVD 및 BD와 같은 층을 가진 광 디스크가 설명에서 일례로서 설명되지만, 광디스크는 이러한 것으로 제한되지 않고, 다층 구조를 가진 광 디스크일 수 있으며, 표면과 다른 부분에 기록될 수 있다. 더욱이, 광 디스크는 광 디스크의 동일한 부분에서 서로 다른 파장을 가진 색의 광을 이용한 정보의 기록과 같은 다차원 기록/재생, 및 다양한 각도로부터 서로 다른 층을 가진 정보의 기록을 위한 구조를 가질 수 있다.
더욱이, 안테나(ex205)를 가진 자동차(ex210)는 위성(ex202) 등으로부터 데이터를 수신할 수 있고, 디지털 방송 시스템(ex200)에서 자동차(ex210)에 설정된 자동차 내비게이션 시스템(ex211)과 같은 표시 장치에서 영상을 재생할 수 있다. 여기서, 자동차 내비게이션 시스템(ex211)의 구성은 예를 들어 도 26에 도시된 구성으로부터의 GPS 수신 유닛을 포함하는 구성일 것이다. 이는 컴퓨터(ex111), 휴대 전화(ex114) 등의 구성에도 마찬가지일 것이다.
도 29a는 실시예에서 설명된 동영상 부호화 방법 및 동영상 복호화 방법을 이용하는 휴대 전화(ex114)을 도시한다. 휴대 전화(ex114)은 기지국(ex110)을 통해 무선 전파를 송수신하기 위한 안테나(ex350); 동영상 및 정지 영상을 캡처할 수 있는 카메라 유닛(ex365); 및 카메라 유닛(ex365)에 의해 캡처되거나 안테나(ex350)에 의해 수신되는 복호화된 영상와 같은 데이터를 표시하는 액정 디스플레이와 같은 디스플레이 유닛(ex358)을 포함한다. 휴대 전화(ex114)은 추가로 조작키 유닛(ex366); 음성의 출력을 위한 스피커와 같은 음성 출력 유닛(ex357); 음성의 입력을 위한 마이크와 같은 음성 입력 유닛(ex356); 캡처된 영상 또는 정지 영상, 기록된 음성, 수신된 영상의 부호화 또는 복호화된 데이터, 정지 영상, 이메일 등을 저장하기 위한 메모리 유닛(ex367); 및 메모리 유닛(ex367)과 동일한 방식으로 데이터를 저장하는 기록 매체에 대한 인터페이스부인 슬롯 유닛(ex364)을 포함하는 주요 본체부를 포함한다.
그 다음, 휴대 전화(ex114)의 구성의 일례는 도 29b를 참조하여 설명될 것이다. 휴대 전화(ex114)에서, 디스플레이 유닛(ex358) 뿐만 아니라 조작키 유닛(ex366)을 포함하는 주요 본체의 전체 각 유닛을 제어하도록 설계된 주요 제어 유닛(ex360)은 동기 버스(ex370)를 통해 전력 공급 회로 유닛(ex361), 조작 입력 제어 유닛(ex362), 영상 신호 처리 유닛(ex355), 카메라 인터페이스 유닛(ex363), 액정 디스플레이(LCD) 제어 유닛(ex359), 변조/복조 유닛(ex352), 다중화/역다중화 유닛(ex353), 음성 신호 처리 유닛(ex354), 슬롯 유닛(ex364) 및 메모리 유닛(ex367)에 상호 연결된다.
통화 종료 키 또는 전력 키가 사용자의 조작에 의해 턴온되면, 전력 공급 회로 유닛(ex361)은 휴대 전화(ex114)를 활성화하기 위해 배터리 팩으로부터의 전력을 각각의 부에 공급한다.
휴대 전화(ex114)에서, 음성 신호 처리 유닛(ex354)은 음성 대화 모드에서 음성 입력 유닛(ex356)에 의해 수집된 음성 신호를 CPU, ROM 및 RAM을 포함하는 주요 제어 유닛(ex360)의 제어 하에 디지털 음성 신호로 변환한다. 그 후, 변조/복조 유닛(ex352)은 디지털 음성 신호에서 확산 스펙트럼 처리를 수행하고, 송수신 유닛(ex351)은 안테나(ex350)를 통해 생성된 데이터를 전송하기 위해 데이터에 대한 디지털-아날로그 변환 및 주파수 변환을 수행한다. 또한, 휴대 전화(ex114)에서, 송수신 유닛(ex351)은 음성 대화 모드에서 안테나(ex350)에 의해 수신된 데이터를 증폭하여, 데이터에 대한 주파수 변환 및 아날로그-디지털 변환을 수행한다. 그리고 나서, 변조/복조 유닛(ex352)은 데이터에 대한 역 확산 스펙트럼 처리를 수행하고, 음성 신호 처리 유닛(ex354)은 그것을 아날로그 음성 신호로 변환하여 이들을 음성 출력 유닛(ex357)를 통해 출력한다.
더욱이, 데이터 통신 모드에서의 이메일이 전송되면, 주요 본체의 조작키 유닛(ex366) 등을 조작함으로써 입력된 이메일의 텍스트 데이터는 조작 입력 제어 유닛(ex362)을 통해 주요 제어 유닛(ex360)으로 송출된다. 주요 제어 유닛(ex360)은 변조/복조 유닛(ex352)이 텍스트 데이터에 대한 확산 스펙트럼 처리를 수행하도록 하며, 송수신 유닛(ex351)은 안테나(ex350)를 통해 데이터를 기지국(ex110)으로 전송하기 위해 생성된 데이터에 대한 디지털-아날로그 변환 및 주파수 변환을 수행한다. 이메일이 수신되면, 이메일을 전송하기 위해 대략 역처리하는 처리는 수신된 데이터에 대해 수행되고, 생성된 데이터는 디스플레이 유닛(ex358)에 제공된다.
데이터 통신 모드에서 영상, 정지 영상, 또는 영상 및 음성이 전송되면, 영상 신호 처리 유닛(ex355)은 각 실시예에서 보여준 동영상 부호화 방법을 이용하여 카메라 유닛(ex365)으로부터 공급된 영상 신호를 압축하여 부호화하고(즉, 본 발명의 양태에 따른 화상 부호화 장치의 역할을 한다), 부호화된 영상 신호를 다중화/역다중화 유닛(ex353)으로 전송한다. 이에 반해, 카메라 유닛(ex365)이 영상, 정지 영상 등을 캡처할 동안, 음성 신호 처리 유닛(ex354)은 음성 입력 유닛(ex356)에 의해 수집된 음성 신호를 부호화하여, 부호화된 음성 신호를 다중화/역다중화 유닛(ex353)으로 전송한다.
다중화/역다중화 유닛(ex353)은 미리 정해진 방법을 이용하여 영상 신호 처리 유닛(ex355)으로부터 공급된 부호화된 영상 데이터 및 음성 신호 처리 유닛(ex354)으로부터 공급된 부호화된 음성 데이터를 다중화한다. 그 후, 변조/복조 유닛(변조/복조 회로부)(ex352)은 다중화된 데이터에 대한 확산 스펙트럼 처리를 수행하고, 송수신 유닛(ex351)은 안테나(ex350)를 통해 생성된 데이터를 전송하기 위해 데이터에 대한 디지털-아날로그 변환 및 주파수 변환을 수행한다
데이터 통신 모드에서 웹 페이지 등에 링크되는 영상 파일의 데이터를 수신하거나, 안테나(ex350)를 통해 수신되는 다중화된 데이터를 복호화하기 위해 영상 및/또는 음성이 부착된 이메일을 수신할 때, 다중화/역다중화 유닛(ex353)은 다중화된 데이터를 영상 데이터 비트 스트림 및 음성 데이터 비트 스트림으로 역 다중화하여, 동기 버스(ex370)를 통해 부호화된 영상 데이터를 영상 신호 처리 유닛(ex355)에 공급하고, 부호화된 음성 데이터를 음성 신호 처리 유닛(ex354)에 공급한다. 영상 신호 처리 유닛(ex355)은 각 실시예에서 보여준 동영상 부호화 방법에 상응하는 동영상 복호화 방법을 이용하여 영상 신호를 복호화하고(즉, 본 발명의 양태에 따른 화상 복호화 장치의 역할을 한다), 그 후, 디스플레이 유닛(ex358)은 예를 들어 LCD 제어 유닛(ex359)을 통해 웹 페이지에 링크된 영상 파일에 포함된 영상 및 정지 영상을 표시한다. 더욱이, 음성 신호 처리 유닛(ex354)은 음성 신호를 복호화하고, 음성 출력 유닛(ex357)은 음성을 제공한다.
더욱이, 텔레비전(ex300)과 유사하게, 휴대 전화(ex114)과 같은 단말기는 아마도 (i) 부호화 장치 및 복호화 장치의 둘 다를 포함하는 송수신 단말기 뿐만 아니라, (ⅱ) 부호화 장치 만을 포함하는 송신 단말기, 및 (ⅲ) 복호화 장치 만을 포함하는 수신 단말기를 포함하는 3 타입의 구현 구성을 갖는다. 디지털 방송 시스템(ex200)이 설명에서 음성 데이터를 영상 데이터에 다중화함으로써 획득되는 다중화된 데이터를 수신하고 송신하지만, 다중화된 데이터는 음성 데이터가 아니라 영상에 관련된 문자 데이터를 영상 데이터에 다중화함으로써 획득되는 데이터일 수 있고, 다중화된 데이터가 아니라 영상 데이터 자체일 수 있다.
이와 같이, 각 실시예에서의 동영상 부호화 방법 및 동영상 복호화 방법은 설명된 어떤 장치 및 시스템에 이용될 수 있다. 따라서, 각 실시예에서 설명된 이점이 획득될 수 있다.
더욱이, 본 발명은 실시예로 제한되지 않고, 다양한 수정 및 변형이 본 발명의 범위를 벗어나지 않고 가능하다.
(실시예 B)
영상 데이터는 (i) 각 실시예에서 보여준 동영상 부호화 방법 또는 동영상 부호화 장치, 및 (ⅱ) MPEG-2, MPEG-4 AVC 및 VC-1과 같은 서로 다른 표준에 따른 동영상 부호화 방법 또는 동영상 부호화 장치 사이에서 필요에 따라 전환함으로써 생성될 수 있다.
여기서, 서로 다른 표준에 따르는 복수의 영상 데이터가 생성되어 복호화될 때, 복호화 방법은 서로 다른 표준에 따르도록 선택될 필요가 있다. 그러나, 복호화될 복수의 영상 데이터의 각각이 어떤 표준에 따르는지 감지될 수 없으므로, 적절한 복호화 방법이 선택될 수 없는 문제가 있다.
이러한 문제를 해결하기 위해, 음성 데이터 등을 영상 데이터에 다중화함으로써 획득되는 다중화된 데이터는 영상 데이터가 어떤 표준에 따르는지를 나타내는 식별 정보를 포함하는 구조를 갖는다. 동영상 부호화 방법으로 생성되고, 각 실시예에서 보여준 동영상 부호화 장치에 의해 생성되는 영상 데이터를 포함하는 다중화된 데이터의 특정 구조가 아래에 설명될 것이다. 다중화된 데이터는 MPEG-2 Transport Stream 포맷의 디지털 스트림이다.
도 30은 다중화된 데이터의 구조를 도시한다. 도 30에 도시된 바와 같이, 다중화된 데이터는 비디오 스트림, 오디오 스트림, 프레젠테이션 그래픽스 스트림(PG) 및 인터랙티브 그래픽스 스트림 중 적어도 하나를 다중화함으로써 획득될 수 있다. 비디오 스트림은 영화의 주영상 및 부영상을 나타내고, 오디오 스트림(IG)은 주음성 부분 및 주음성 부분과 혼합되는 부음성 부분을 나타내며, 프레젠테이션 그래픽스 스트림은 영화의 자막을 나타낸다. 여기서, 주영상은 스크린에 표시되는 보통의 영상이고, 부영상은 주영상의 보다 작은 윈도우에 표시되는 영상이다. 더욱이, 인터랙티브 그래픽스 스트림은 스크린에 GUI 구성 요소를 배치함으로써 생성되는 인터랙티브 스크린(interactive screen)을 나타낸다. 비디오 스트림은 동영상 부호화 방법으로 부호화되거나 각 실시예에서 보여준 동영상 부호화 장치에 의해 부호화되며, 또는 동영상 부호화 방법으로 부호화되거나 MPEG-2, MPEG-4 AVC 및 VC-1과 같이 기존의 표준에 따른 동영상 부호화 장치에 의해 부호화된다. 오디오 스트림은 Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD 및 선형 PCM과 같은 표준에 따라 부호화된다.
다중화된 데이터에 포함된 각 스트림은 PID에 의해 식별된다. 예를 들면, 0x1011은 영화의 영상에 이용되는 비디오 스트림에 할당되고, 0x1100 내지 0x111F는 프레젠테이션 그래픽스 스트림에 할당되고, 0x1400 내지 0x141F는 인터랙티브 그래픽스 스트림에 할당되고, 0x1B00 내지 0x1B1F는 영화의 부영상에 이용되는 비디오 스트림에 할당되며, 0x1A00 내지 0x1A1F는 주음성와 혼합되는 부음성에 이용되는 오디오 스트림에 할당된다.
도 31은 데이터가 다중화되는 방법을 개략적으로 도시한다. 첫째로, 영상 프레임으로 구성된 비디오 스트림(ex235) 및 음성 프레임으로 구성된 오디오 스트림(ex238)은 PES 패킷(ex236)의 스트림 및 PES 패킷(ex239)의 스트림으로 변환되고, 추가로 제각기 TS 패킷(ex237) 및 TS 패킷(ex240)으로 변환된다. 마찬가지로, 프레젠테이션 그래픽스 스트림(ex241)의 데이터 및 인터랙티브 그래픽스 스트림(ex244)의 데이터는 PES 패킷(ex242)의 스트림 및 PES 패킷(ex245)의 스트림으로 변환되고, 추가로 제각기 TS 패킷(ex243) 및 TS 패킷(ex246)으로 변환된다. 이러한 TS 패킷은 다중화된 데이터(ex247)를 획득하는 스트림으로 다중화된다.
도 32는 비디오 스트림이 PES 패킷의 스트림에 저장되는 방법을 더욱 상세히 도시한다. 도 32에서 제 1 바(bar)는 비디오 스트림에서의 영상 프레임 스트림을 나타낸다. 제 2 바는 PES 패킷의 스트림을 나타낸다. 도 32에서 yy1, yy2, yy3 및 yy4로 표시된 화살표로 나타낸 바와 같이, 비디오 스트림은 픽처를 I 픽처, B 픽처 및 P 픽처으로 분할되고, 이의 각각은 영상 프레젠테이션 유닛이며, 이러한 픽처는 각 PES 패킷의 페이로드에 저장된다. PES 패킷의 각각은 PES 헤더를 가지며, PES 헤더는 픽처의 디스플레이 시간을 나타내는 PTS(Presentation Time-Stamp), 및 픽처의 복호화 시간을 나타내는 DTS(Decoding Time-Stamp)를 저장한다.
도 33은 최종으로 다중화된 데이터에 기록되는 TS 패킷의 포맷을 예시한다. TS 패킷의 각각은 스트림을 식별하기 위한 PID 및 데이터를 저장하기 위한 184 바이트 TS 페이로드와 같은 정보를 가진 4 바이트 TS 헤더를 포함 하는 188 바이트의 고정된 길이 패킷이다. PES 패킷은 제각기 TS 페이로드에 분할되어 저장된다. BD ROM이 이용될 때, TS 패킷의 각각에는 4 바이트 TP_Extra_Header가 주어져, 192 바이트의 소스 패킷을 생성한다. 소스 패킷은 다중화된 데이터에 기록된다. TP_Extra_Header는 Arrival_Time_Stamp(ATS)와 같은 정보를 저장한다. ATS는 TS 패킷의 각각이 PID 필터로 전송되어야 하는 전송 개시 시간을 나타낸다. 소스 패킷은 도 33의 하부에 도시된 바와 같이 다중화된 데이터에 배열된다. 다중화된 데이터의 선두(head)에서 증가하는 수는 소스 패킷 수(SPN)라고 한다.
다중화된 데이터에 포함된 TS 패킷의 각각은 음성, 영상, 자막 등의 스트림 뿐만 아니라, PAT(Program Association Table), PMT(Program Map Table) 및 PCR(Program Clock Reference)도 포함한다. PAT는 다중화된 데이터에 사용된 PMT의 PID가 나타내는 것을 보여주고, PAT 자체의 PID는 0으로 등록된다. PMT는 다중화된 데이터에 포함되는 영상, 음성, 자막 등의 스트림의 PID, 및 PID에 상응하는 스트림의 속성 정보를 저장한다. PMT는 또한 다중화된 데이터에 관한 다양한 디스크립터(descriptor)를 갖는다. 디스크립터는 다중화된 데이터의 복사가 허용되는지의 여부를 나타내는 복사 제어 정보와 같은 정보를 갖는다. PCR은 PCR 패킷이 ATS의 시간 축인 ATC(Arrival Time Clock)와 PTS 및 DTS의 시간 축인 STC(System Time Clock) 사이의 동기화를 달성하기 위해 복호화기로 전송될 때를 나타내는 ATS에 상응하는 STC 시간 정보를 저장한다.
도 34는 PMT의 데이터 구조를 상세히 도시한다. PMT 헤더는 PMT의 최상부에 배치된다. PMT 헤더는 PMT 등에 포함된 데이터의 길이를 설명한다. 다중화된 데이터에 관한 복수의 디스크립터는 PMT 헤더 뒤에 배치된다. 복사 제어 정보와 같은 정보는 이러한 디스크립터에 설명되어 있다. 디스크립터 뒤에, 다중화된 데이터에 포함된 스트림에 관한 스트림 정보의 복수의 조각(piece)이 배치된다. 스트림 정보의 각 조각은 (프레임 속도 또는 종횡비와 같은) 스트림, 스트림 PID 및 스트림 속성 정보의 압축 코덱을 식별하기 위한 스트림 타입과 같은 정보를 설명하는 각각의 스트림 디스크립터를 포함한다. 스트림 디스크립터의 수는 다중화된 데이터의 스트림의 수와 동일하다.
다중화된 데이터가 기록 매체 등에 기록될 때, 그것은 다중화된 데이터 정보 파일과 함께 기록된다.
도 35에 도시된 바와 같이 다중화된 데이터 정보 파일의 각각은 다중화된 데이터의 관리 정보이다. 다중화된 데이터 정보 파일은 다중화된 데이터와 일대일 상응하고, 각 파일은 다중화된 데이터 정보, 스트림 속성 정보 및 엔트리 맵을 포함한다.
도 35에 도시된 바와 같이, 다중화된 데이터 정보는 시스템 속도, 재생 개시 시간 및 재생 종료 시간을 포함한다. 시스템 속도는 나중에 설명되는 시스템 타겟 복호화기가 다중화된 데이터를 PID 필터로 전송하는 최대 전송 속도를 나타낸다. 다중화된 데이터에 포함된 ATS의 간격은 시스템 속도보다 높지 않도록 설정된다. 재생 개시 시간은 다중화된 데이터의 선두에서의 영상 프레임의 PTS를 나타낸다. 하나의 프레임의 구간은 다중화된 데이터의 끝에서의 영상 프레임의 PTS에 추가되고, PTS는 재생 종료 시간으로 설정된다.
도 36에 도시된 바와 같이, 속성 정보의 조각은 다중화된 데이터에 포함된 각 스트림의 각 PID에 대한 스트림 속성 정보에 등록된다. 속성 정보의 각 조각은 상응하는 스트림이 비디오 스트림, 오디오 스트림, 프레젠테이션 그래픽스 스트림 또는 인터랙티브 그래픽스 스트림인지에 따라 서로 다른 정보를 갖는다. 비디오 스트림 속성 정보의 각 조각은 무슨 종류의 압축 코덱이 비디오 스트림을 압축하기 위해 사용되는지, 해상도, 종횡비, 및 비디오 스트림에 포함되는 픽처 데이터의 조각의 프레임 속도를 포함하는 정보를 반송한다. 오디오 스트림 속성 정보의 각 조각은 무슨 종류의 압축 코덱이 오디오 스트림을 압축하기 위해 사용되는지, 얼마나 많은 채널이 오디오 스트림에 포함되는지, 어떤 언어를 오디오 스트림이 지원하는지, 및 샘플링 주파수가 얼마나 높은지를 포함하는 정보를 반송한다. 비디오 스트림 속성 정보 및 오디오 스트림 속성 정보는 플레이어의 정보를 재생하기 전에 복호화기의 초기화를 위해 이용된다.
본 실시예에서, 사용되는 다중화된 데이터는 PMT에 포함된 스트림 타입이다. 더욱이, 다중화된 데이터가 기록 매체에 기록될 때, 다중화된 데이터 정보에 포함된 비디오 스트림 속성 정보가 이용된다. 특히, 각 실시예에서 설명된 동영상 부호화 방법 또는 동영상 부호화 장치는 각 실시예의 동영상 부호화 방법 또는 동영상 부호화 장치에 의해 생성된 영상 데이터를 나타내는 고유 정보를 PMT에 포함된 스트림 타입 또는 비디오 스트림 속성 정보에 할당하는 단계 또는 부를 포함한다. 이러한 구성으로, 각 실시예에서 설명된 동영상 부호화 방법 또는 동영상 부호화 장치에 의해 생성된 영상 데이터는 다른 표준에 따르는 영상 데이터와 구별될 수 있다.
더욱이, 도 37은 본 실시예에 따른 동영상 복호화 방법의 단계를 도시한다. 단계(exS100)에서, PMT에 포함된 스트림 타입 또는 다중화된 데이터 정보에 포함된 비디오 스트림 속성 정보는 다중화된 데이터로부터 획득된다. 그 다음, 단계(exS101)에서, 스트림 타입 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예의 동영상 부호화 방법 또는 동영상 부호화 장치에 의해 생성되는 것을 나타내는지의 여부가 결정된다. 단계(exS102)에서, 스트림 타입 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예의 동영상 부호화 방법 또는 동영상 부호화 장치에 의해 생성되는 것을 나타내는 것으로 결정될 때, 복호화는 각 실시예의 동영상 복호화 방법에 의해 수행된다. 더욱이, 단계(exS103)에서, 스트림 타입 또는 비디오 스트림 속성 정보가 MPEG-2, MPEG-4 AVC 및 VC-1와 같은 기존의 표준에 대한 순응을 나타내면, 복호화는 통상의 표준에 따라 동영상 복호화 방법에 의해 수행된다.
이와 같이, 스트림 타입 또는 비디오 스트림 속성 정보에 새로운 고유의 값을 할당하는 것은 각 실시예에서 설명되는 동영상 복호화 방법 또는 동영상 복호화 장치가 복호화를 수행할 수 있는지의 여부의 결정을 가능하게 한다. 서로 다른 표준에 따르는 다중화된 데이터가 입력되는 경우에도, 적절한 복호화 방법 또는 장치가 선택될 수 있다. 따라서, 어떤 에러 없이 정보를 복호화할 수 있게 된다. 더욱이, 본 실시예에서 동영상 부호화 방법 또는 장치, 또는 동영상 복호화 방법 또는 장치는 상술한 장치 및 시스템에 이용될 수 있다.
(실시예 C)
각 실시예에서 동영상 부호화 방법, 동영상 부호화 장치, 동영상 복호화 방법, 및 동영상 복호화 장치는 전형적으로 집적 회로 또는 LSI(Large Scale Integrated) 회로의 형태로 달성된다. LSI의 일례로서, 도 38은 하나의 칩으로 형성되는 LSI(ex500)의 구성을 도시한다. LSI(ex500)는 아래에 설명되는 요소(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 및 ex509)를 포함하며, 요소는 버스(ex510)를 통해 서로 연결된다. 전력 공급 회로 유닛(ex505)은 전력 공급 회로 유닛(ex505)이 턴온될 때 각 요소에 전력을 공급함으로써 활성화된다.
예를 들면, 부호화가 수행될 때, LSI(ex500)는 CPU(ex502), 메모리 제어기(ex503), 스트림 제어기(ex504) 및 구동 주파수 제어 유닛(ex512)을 포함하는 제어 유닛(ex501)의 제어 하에 AV IO(ex509)를 통해 마이크(ex117), 카메라(ex113) 등으로부터 AV 신호를 수신한다. 수신된 AV 신호는 SDRAM과 같은 외부 메모리(ex511) 내에 일시적으로 저장된다. 제어 유닛(ex501)의 제어 하에, 저장된 데이터는 신호 처리 유닛(ex507)으로 전송되는 처리량 및 속도에 따른 데이터 부분으로 분할된다. 그 후, 신호 처리 유닛(ex507)은 음성 신호 및/또는 영상 신호를 부호화한다. 여기서, 영상 신호의 부호화는 각 실시예에서 설명된 부호화가다. 더욱이, 신호 처리 유닛(ex507)은 때때로 부호화된 음성 데이터 및 부호화된 영상 데이터를 다중화하고, 스트림 IO(ex506)는 다중화된 데이터를 외부에 제공한다. 제공되는 다중화된 데이터는 기지국(ex107)으로 전송되거나, 기록 매체(ex215)에 기록된다. 데이터 세트가 다중화되면, 데이터는 데이터 세트가 서로 동기화되도록 버퍼(ex508) 내에 일시적으로 저장되어야 한다.
메모리(ex511)가 LSI(ex500)의 외부의 요소이지만, 그것은 LSI(ex500) 내에 포함될 수 있다. 버퍼(ex508)는 하나의 버퍼로 제한되지 않고, 복수의 버퍼로 구성될 수 있다. 더욱이, LSI(ex500)는 하나의 칩 또는 복수의 칩으로 만들어질 수 있다.
더욱이, 제어 유닛(ex501)이 CPU(ex502), 메모리 제어기(ex503), 스트림 제어기(ex504), 구동 주파수 제어 유닛(ex512)을 포함하지만, 제어 유닛(ex501)의 구성은 이에 제한되지 않는다. 예를 들면, 신호 처리 유닛(ex507)은 추가로 CPU를 포함할 수 있다. 신호 처리 유닛(ex507)에 다른 CPU를 포함함으로써, 처리 속도가 향상될 수 있다. 더욱이, 다른 예로서, CPU(ex502)는 신호 처리 유닛(ex507)의 역할을 하거나 신호 처리 유닛(ex507)의 일부일 수 있고, 예를 들어, 음성 신호 처리부를 포함할 수 있다. 이러한 경우에, 제어 유닛(ex501)은 신호 처리 유닛(ex507), 또는 신호 처리 유닛(ex507)의 일부를 포함하는 CPU(ex502)를 포함한다.
여기에 사용된 이름은 LSI이지만, 또한 집적도에 따라 IC, 시스템 LSI, 수퍼 LSI 또는 울트라 LSI라고 할 수 있다.
더욱이, 집적을 달성하는 방법은 LSI로 제한되지 않으며, 특수 회로 또는 범용 프로세서 등이 또한 집적을 달성할 수 있다. LSI, 또는 LSI의 연결 또는 구성의 재구성을 허용하는 재구성 가능한 프로세서를 제조한 후에 프로그래밍될 수 있는 FPGA(Field Programmable Gate Array)는 동일한 목적을 위해 이용될 수 있다.
향후, 반도체 기술의 진보로, 아주 새로운 기술이 LSI를 대체할 수 있다. 기능적인 블록은 이러한 기술을 이용하여 통합될 수 있다. 가능성은 본 발명이 생명 공학에 적용된다는 것이다.
(실시예 D)
동영상 부호화 방법으로 생성되거나 각 실시예에서 설명된 동영상 부호화 장치에 의해 생성되는 영상 데이터가 MPEG-2, MPEG-4 AVC 및 VC-1과 같은 기존의 표준에 따르는 영상 데이터가 복호화될 때에 비해, 동영상 부호화 방법으로 생성되거나 각 실시예에서 설명된 동영상 부호화 장치에 의해 생성되는 영상 데이터가 복호화될 때, 처리량은 아마도 증가한다. 따라서, LSI(ex500)는 기존의 표준에 따른 영상 데이터가 복호화될 때 이용되는 CPU(ex502) 보다 높은 구동 주파수로 설정될 필요가 있다. 그러나, 구동 주파수가 높게 설정되면, 전력 소비가 증가하는 문제가 있다.
이러한 문제를 해결하기 위해, 텔레비전(ex300) 및 LSI(ex500)와 같은 동영상 복호화 장치는 어떤 표준에 영상 데이터가 따르는지를 결정하고, 결정된 표준에 따른 구동 주파수 사이에서 스위칭하도록 구성된다. 도 39는 본 실시예의 구성(ex800)을 도시한다. 구동 주파수 스위칭 유닛(ex803)은 영상 데이터가 각 실시예에서 설명된 동영상 부호화 방법 또는 동영상 부호화 장치에 의해 생성될 때에 구동 주파수를 더욱 높은 구동 주파수로 설정한다. 그 후, 구동 주파수 스위칭 유닛(ex803)은 영상 데이터를 복호화하기 위해 각 실시예에서 설명된 동영상 복호화 방법을 실행하는 복호화 처리 유닛(ex801)에 지시한다. 영상 데이터가 기존의 표준에 따르면, 구동 주파수 스위칭 유닛(ex803)은 각 실시예에서 설명된 동영상 부호화 방법 또는 동영상 부호화 장치에 의해 생성된 영상 데이터의 구동 주파수보다 더 낮은 구동 주파수로 구동 주파수를 설정한다. 그 후, 구동 주파수 스위칭 유닛(ex803)은 영상 데이터를 복호화하기 위해 기존의 표준에 따르는 복호화 처리 유닛(ex802)에 지시한다.
특히, 구동 주파수 스위칭 유닛(ex803)은 도 38에서의 CPU(ex502) 및 구동 주파수 제어 유닛(ex512)을 포함한다. 여기서, 각 실시예에서 설명된 동영상 복호화 방법을 실행하는 복호화 처리 유닛(ex801) 및 기존의 표준에 따르는 복호화 처리 유닛(ex802)의 각각은 도 38의 신호 처리 유닛(ex507)에 상응한다. CPU(ex502)는 어떤 표준에 영상 데이터가 따르는지를 결정한다. 그 후, 구동 주파수 제어 유닛(ex512)은 CPU(ex502)로부터의 신호에 기초하여 구동 주파수를 결정한다. 더욱이, 신호 처리 유닛(ex507)은 CPU(ex502)로부터의 신호에 기초하여 영상 데이터를 복호화한다. 예를 들면, 실시예 B에서 설명된 식별 정보는 아마도 영상 데이터를 식별하기 위해 사용된다. 식별 정보는 실시예 B에서 설명된 것으로 제한되지 않으며, 정보가 어떤 표준에 영상 데이터가 따르는지를 나타내는 한 임의의 정보일 수 있다. 예를 들면, 영상 데이터가 따르는 어떤 표준이 영상 데이터가 텔레비전 또는 디스크 등에 사용된다는 것을 결정하기 위한 외부 신호에 기초하여 결정될 수 있을 때, 이러한 결정은 이러한 외부 신호에 기초하여 행해질 수 있다. 더욱이, CPU(ex502)는 예를 들어 영상 데이터의 표준이 도 41에 도시된 바와 같이 구동 주파수와 관련되는 룩업 테이블에 기초하여 구동 주파수를 선택한다. 구동 주파수는 버퍼(ex508) 및 LSI의 내부 메모리에 룩업 테이블을 저장함으로써 CPU(ex502)에 의해 룩업 테이블을 참조하여 선택될 수 있다.
도 40은 본 실시예에서의 방법을 실행하기 위한 단계를 도시한다. 먼저, 단계(exS200)에서, 신호 처리 유닛(ex507)은 다중화된 데이터로부터 식별 정보를 획득한다. 그 다음, 단계(exS201)에서, CPU(ex502)는 영상 데이터가 식별 정보에 기초하여 각 실시예에서 설명된 부호화 방법 및 부호화 장치에 의해 생성되는지의 여부를 결정한다. 단계(exS202)에서, 영상 데이터가 각 실시예에서 설명된 동영상 부호화 방법 및 동영상 부호화 장치에 의해 생성될 때, CPU(ex502)는 구동 주파수를 더 높은 구동 주파수로 설정하기 위한 신호를 구동 주파수 제어 유닛(ex512)으로 전송한다. 그 후, 구동 주파수 제어 유닛(ex512)은 구동 주파수를 더 높은 구동 주파수로 설정한다. 한편, 단계(exS203)에서, 식별 정보는 영상 데이터가 MPEG-2, MPEG-4 AVC 및 VC-1과 같은 기존의 표준에 따른다는 것을 나타낼 때, CPU(ex502)는 구동 주파수를 더 낮은 구동 주파수로 설정하기 위한 신호를 구동 주파수 제어 유닛(ex512)으로 전송한다. 그 후, 구동 주파수 제어 유닛(ex512)은 영상 데이터가 각 실시예에서 설명된 동영상 부호화 방법 및 동영상 부호화 장치에 의해 생성되는 경우에서보다 구동 주파수를 더 낮은 구동 주파수로 설정한다.
더욱이, 구동 주파수의 스위칭과 함께, 전력 절약 효과는 LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가되는 전압을 변경함으로써 향상될 수 있다. 예를 들면, 구동 주파수가 더욱 낮게 설정되면, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가되는 전압은 아마도 구동 주파수가 더욱 높게 설정되는 경우에서보다 더 낮은 전압으로 설정된다.
더욱이, 복호화를 위한 처리량이 큰 경우, 구동 주파수는 더욱 높게 설정될 수 있고, 복호화를 위한 처리량이 작은 경우에는 구동 주파수가 구동 주파수를 설정하는 방법으로 더 낮게 설정될 수 있다. 따라서, 설정 방법은 상술한 것으로 제한되지 않는다. 예를 들면, MPEG-4 AVC에 따라 영상 데이터를 복호화하기 위한 처리량은 각 실시예에서 설명된 동영상 부호화 방법 및 동영상 부호화 장치에 의해 생성된 영상 데이터를 복호화하기 위한 처리량보다 크면, 구동 주파수는 아마도 상술한 설정에 대한 역순으로 설정된다.
더욱이, 구동 주파수를 설정하는 방법은 낮은 구동 주파수를 설정하는 방법으로 제한되지 않는다. 예를 들면, 식별 정보는 영상 데이터가 각 실시예에서 설명된 동영상 부호화 방법 및 동영상 부호화 장치에 의해 생성되는 것을 나타내는 경우, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가되는 전압은 아마도 더 높게 설정된다. 식별 정보는 영상 데이터가 MPEG-2, MPEG-4 AVC 및 VC-1과 같은 기존의 표준에 따른다는 것을 나타내면, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 인가되는 전압은 아마도 더 낮게 설정된다. 다른 예로서, 식별 정보는 영상 데이터가 각 실시예에서 설명된 동영상 부호화 방법 및 동영상 부호화 장치에 의해 생성되는 것을 나타내는 경우, CPU(ex502)의 구동은 아마도 중단되지 않아야 한다. 식별 정보는 영상 데이터가 MPEG-2, MPEG-4 AVC 및 VC-1과 같은 기존의 표준에 따른다는 것을 나타내면, CPU(ex502)의 구동은 CPU(ex502)가 여분의 처리 용량을 가지기 때문에 주어진 시간에 아마도 중단된다. CPU(ex502)가 여분의 처리 용량을 가진 경우에 식별 정보는 영상 데이터가 각 실시예에서 설명된 동영상 부호화 방법 및 동영상 부호화 장치에 의해 생성되는 것을 나타낼 때에도, CPU(ex502)의 구동은 주어진 시간에 아마도 중단된다. 이러한 경우에, 중단 시간은 식별 정보가 영상 데이터가 MPEG-2, MPEG-4 AVC 및 VC-1과 같은 기존의 표준에 따른다는 것을 나타내는 경우에서보다 아마도 더 짧게 설정된다.
따라서, 전력 절약 효과는 영상 데이터가 따르는 표준에 따른 구동 주파수 사이의 스위칭에 의해 향상될 수 있다. 더욱이, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치가 배터리를 이용하여 구동되면, 배터리 수명은 이러한 전력 절약 효과로 연장될 수 있다.
(실시예 E)
서로 다른 표준에 따르는 복수의 영상 데이터가 텔레비전 및 휴대 전화과 같은 장치 및 시스템에 제공되는 경우가 있다. 서로 다른 표준에 따르는 복수의 영상 데이터를 복호화할 수 있도록 하기 위해, LSI(ex500)의 신호 처리 유닛(ex507)은 서로 다른 표준에 따를 필요가 있다. 그러나, 각각의 규격에 대응하는 신호 처리 유닛(ex507)를 개별적으로 이용하면, LSI(ex500)의 회로 규모가 커지고 또한, 비용이 증가한다는 과제가 생긴다.
문제를 해결하기 위해, 착상되는 것은 각 실시예에서 설명된 동영상 복호화 방법을 구현하기 위한 복호화 처리부, 및 MPEG-2, MPEG-4 AVC 및 VC-1과 같은 기존의 표준에 따르는 복호화 처리부가 부분적으로 공유되는 구성이다. 예를 들면, 각 실시예에서 설명된 동영상 복호화 방법, 및 MPEG-4 AVC에 따르는 동영상 복호화 방법은 부분적 공동으로 엔트로피 부호화, 역 양자화, 디블로킹 필터링 및 움직임 보상 예측과 같은 처리의 상세 사항을 갖는다. 공유되는 처리의 상세 사항은 아마도 MPEG-4 AVC에 따르는 복호화 처리 유닛(ex902)의 사용을 포함한다. 이에 반해, 전용 복호화 처리 유닛(ex901)은 아마도 본 발명의 양태에 고유한 다른 처리를 위해 사용된다. 본 발명의 양태가 특히 역 양자화를 특징으로 하므로, 예를 들어, 전용 복호화 처리 유닛(ex901)은 역 양자화를 위해 사용된다. 그렇지 않으면, 복호화 처리부는 아마도 엔트로피 디블로킹, 디블로킹 필터링 및 움직임 보상 중 하나 또는 모든 처리를 위해 공유된다. 각 실시예에 설명된 동영상 복호화 방법을 구현하기 위한 복호화 처리부는 공유되는 처리를 위해 공유될 수 있고, 전용 복호화 처리부는 MPEG-4 AVC의 처리에 고유한 처리를 위해 사용될 수 있다.
더욱이, 도 42b의 ex1000은 처리가 부분적으로 공유되는 다른 예를 보여준다. 이러한 예는 본 발명의 양태에 고유한 처리를 지원하는 전용 복호화 처리 유닛(ex1001), 다른 기존의 표준에 고유한 처리를 지원하는 전용 복호화 처리 유닛(ex1002), 및 본 발명의 양태에 따른 동영상 복호화 방법과 기존의 동영상 복호화 방법 사이에서 공유되는 처리를 지원하는 전용 처리 유닛(ex1003)을 포함하는 구성을 이용한다. 여기서, 전용 복호화 처리 유닛(ex1001 및 ex1002)은 제각기 본 발명의 양태에 따른 처리 및 기존의 표준의 처리를 위해 반드시 전문화되지 않고, 일반적인 처리를 구현할 수 있는 것일 수 있다. 더욱이, 본 실시예의 구성은 LSI(ex500)에 의해 구현될 수 있다.
이와 같이, LSI의 회로의 규모를 축소하고, 비용을 감소시키는 것은 본 발명의 양태에 따른 동영상 복호화 방법과 기존의 표준에 따른 동영상 복호화 방법 사이에서 공유되는 처리를 위한 복호화 처리부를 공유함으로써 가능하다.
요약하면, 본 발명은 이점으로 화상 또는 영상 신호의 블록별 부호화 및 복호화를 위해 적용될 수 있는 디블로킹 필터링에 관한 것이다. 특히, 본 발명은 블록에 대한 디블로킹 필터링을 적용하거나 스킵(skip)하고 디블로킹 필터를 선택할지에 대한 자동화된 결정으로 개선된 메모리 관리에 관한 것이다. 이러한 결정은 메모리 사용이 최적화되는 방식으로 블록의 세그멘테이션에 기초하여 수행된다. 바람직하게는, 적절한 디블로킹 필터의 선택은 계산 비용을 감소시키기 위해 개선된다.

Claims (3)

  1. 부호화가 끝난 화상을 블록마다 복호하는 복호 방법으로서,
    상기 부호화가 끝난 화상으로부터 재구성 화상을 복호하는 단계와,
    상기 재구성 화상에 포함되는 재구성 블록에 대해 디블로킹 필터 처리를 실행하는 단계를 포함하고,
    상기 디블로킹 필터 처리에 있어서,
    제1 경계에 의해 구별되는 제1 블록과 제2 블록에 있어서, 상기 제1 블록은 당해 제1 경계에 수직인 라인을 따라서 적어도 제1 세그먼트, 제2 세그먼트를 포함하는 복수의 세그먼트로 분할되고, 상기 제2 블록은 당해 제1 경계에 수직인 라인을 따라서 적어도 제1 세그먼트, 제2 세그먼트를 포함하는 복수의 세그먼트로 분할되고,
    인접하는 상기 제1 블록의 제1 세그먼트 및 상기 제2 블록의 제1 세그먼트의 각각에 포함되는 인접 화소에 디블로킹 필터를 적용할지 여부를 판단하고,
    상기 디블로킹 필터의 타입을 복수의 타입으로부터 선택하고,
    상기 판단에 이용되는 샘플 화소는, 상기 제1 블록의 제1 세그먼트와 상기 제2 블록의 제1 세그먼트 내 각각에 포함되는 샘플 화소에만 포함되고,
    상기 선택에서는, 상기 제1 경계에 수직인 샘플 화소의 라인마다 상기 디블로킹 필터의 타입이 선택되고,
    라인마다 행해지는 상기 선택에서는, 대상 라인 이외의 라인의 샘플 화소를 사용하지 않고, 상기 대상 라인에 포함되는 샘플 화소를 사용함으로써 상기 디블로킹 필터의 타입이 선택되는, 복호 방법.
  2. 부호화가 끝난 화상을 블록마다 복호하는 복호 장치로서,
    상기 부호화가 끝난 화상으로부터 재구성 화상을 복호하는 복호부와,
    상기 재구성 화상에 포함되는 재구성 블록에 대해 디블로킹 필터 처리를 실행하는 필터 처리부를 구비하고,
    상기 디블로킹 필터 처리에 있어서,
    제1 경계에 의해 구별되는 제1 블록과 제2 블록에 있어서, 상기 제1 블록은 당해 제1 경계에 수직인 라인을 따라서 적어도 제1 세그먼트, 제2 세그먼트를 포함하는 복수의 세그먼트로 분할되고, 상기 제2 블록은 당해 제1 경계에 수직인 라인을 따라서 적어도 제1 세그먼트, 제2 세그먼트를 포함하는 복수의 세그먼트로 분할되고,
    인접하는 상기 제1 블록의 제1 세그먼트 및 상기 제2 블록의 제1 세그먼트의 각각에 포함되는 인접 화소에 디블로킹 필터를 적용할지 여부를 판단하고,
    상기 디블로킹 필터의 타입을 복수의 타입으로부터 선택하고,
    상기 판단에 이용되는 샘플 화소는, 상기 제1 블록의 제1 세그먼트와 상기 제2 블록의 제1 세그먼트 내 각각에 포함되는 샘플 화소에만 포함되고,
    상기 선택에서는, 상기 제1 경계에 수직인 샘플 화소의 라인마다 상기 디블로킹 필터의 타입이 선택되고,
    라인마다 행해지는 상기 선택에서는, 대상 라인 이외의 라인의 샘플 화소를 사용하지 않고, 상기 대상 라인에 포함되는 샘플 화소를 사용함으로써 상기 디블로킹 필터의 타입이 선택되는, 복호 장치.
  3. 부호화가 끝난 화상을 블록마다 복호하는 복호 장치로서,
    프로세서와, 메모리를 구비하고,
    상기 프로세서는, 상기 메모리를 이용하여,
    상기 부호화가 끝난 화상으로부터 재구성 화상을 복호하고,
    상기 재구성 화상에 포함되는 재구성 블록에 대해 디블로킹 필터 처리를 실행하고,
    상기 디블로킹 필터 처리에 있어서,
    제1 경계에 의해 구별되는 제1 블록과 제2 블록에 있어서, 상기 제1 블록은 당해 제1 경계에 수직인 라인을 따라서 적어도 제1 세그먼트, 제2 세그먼트를 포함하는 복수의 세그먼트로 분할되고, 상기 제2 블록은 당해 제1 경계에 수직인 라인을 따라서 적어도 제1 세그먼트, 제2 세그먼트를 포함하는 복수의 세그먼트로 분할되고,
    인접하는 상기 제1 블록의 제1 세그먼트 및 상기 제2 블록의 제1 세그먼트의 각각에 포함되는 인접 화소에 디블로킹 필터를 적용할지 여부를 판단하고,
    상기 디블로킹 필터의 타입을 복수의 타입으로부터 선택하고,
    상기 판단에 이용되는 샘플 화소는, 상기 제1 블록의 제1 세그먼트와 상기 제2 블록의 제1 세그먼트 내 각각에 포함되는 샘플 화소에만 포함되고,
    상기 선택에서는, 상기 제1 경계에 수직인 샘플 화소의 라인마다 상기 디블로킹 필터의 타입이 선택되고,
    라인마다 행해지는 상기 선택에서는, 대상 라인 이외의 라인의 샘플 화소를 사용하지 않고, 상기 대상 라인에 포함되는 샘플 화소를 사용함으로써 상기 디블로킹 필터의 타입이 선택되는, 복호 장치.
KR1020177025106A 2011-09-09 2012-09-06 저복잡도 디블로킹 필터 결정 KR102039544B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161532793P 2011-09-09 2011-09-09
US61/532,793 2011-09-09
PCT/EP2012/067433 WO2013034649A1 (en) 2011-09-09 2012-09-06 Low complex deblocking filter decisions

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147000441A Division KR102039076B1 (ko) 2011-09-09 2012-09-06 저복잡도 디블로킹 필터 결정

Publications (2)

Publication Number Publication Date
KR20170106494A true KR20170106494A (ko) 2017-09-20
KR102039544B1 KR102039544B1 (ko) 2019-11-01

Family

ID=47008496

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177025106A KR102039544B1 (ko) 2011-09-09 2012-09-06 저복잡도 디블로킹 필터 결정
KR1020147000441A KR102039076B1 (ko) 2011-09-09 2012-09-06 저복잡도 디블로킹 필터 결정

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147000441A KR102039076B1 (ko) 2011-09-09 2012-09-06 저복잡도 디블로킹 필터 결정

Country Status (13)

Country Link
US (9) US9143778B2 (ko)
EP (2) EP3306921B1 (ko)
JP (5) JP2014526818A (ko)
KR (2) KR102039544B1 (ko)
CN (3) CN107172427B (ko)
BR (1) BR112014004920B8 (ko)
CA (1) CA2841246C (ko)
ES (2) ES2835801T3 (ko)
MX (1) MX2014002529A (ko)
MY (1) MY167341A (ko)
PL (2) PL3306921T3 (ko)
TW (1) TWI514852B (ko)
WO (1) WO2013034649A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5884313B2 (ja) 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6037064B2 (ja) * 2011-01-18 2016-11-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
MY167341A (en) 2011-09-09 2018-08-16 Sun Patent Trust Low complex deblocking filter decisions
US9554128B2 (en) * 2011-09-13 2017-01-24 Hfi Innovation Inc. Method and apparatus for reduction of deblocking filter
CN104284199B (zh) * 2013-07-11 2019-02-01 Nxp股份有限公司 用降低复杂度的去块效应操作进行视频解码方法和装置
CN105745931B (zh) * 2013-11-24 2019-06-25 Lg电子株式会社 使用自适应采样编码和解码视频信号的方法和装置
US9838712B2 (en) 2014-03-17 2017-12-05 Hfi Innovation Inc. Method of signaling for depth-based block partitioning
CN104935940B (zh) * 2014-03-17 2018-02-16 寰发股份有限公司 基于深度的块分割的信号传递方法
KR102298599B1 (ko) 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
KR102294016B1 (ko) * 2014-12-05 2021-08-25 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
JP6396782B2 (ja) * 2014-12-11 2018-09-26 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
KR102508723B1 (ko) 2016-08-21 2023-03-14 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
JP6657475B2 (ja) * 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN117956195A (zh) * 2018-01-08 2024-04-30 三星电子株式会社 编码方法及其设备以及解码方法及其设备
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
EP3707897A4 (en) * 2018-03-09 2021-02-03 MediaTek Inc. RECONSTRUCTED PROJECTION BASED FRAME UNLOCKING PROCESS USING A 360 DEGREE VIRTUAL REALITY PROJECTION LAYOUT
EP3782371A4 (en) * 2018-03-30 2021-12-22 Sharp Kabushiki Kaisha SYSTEMS AND PROCEDURES FOR THE APPLICATION OF UNBLOCKING FILTERS ON RECONSTRUCTED VIDEO DATA
WO2020001566A1 (en) 2018-06-28 2020-01-02 Huawei Technologies Co., Ltd. In-loop deblocking filter apparatus and method for video coding
CA3113538A1 (en) 2018-09-24 2020-04-02 Huawei Technologies Co., Ltd. Image processing device and method for performing quality optimized deblocking
JP7418152B2 (ja) * 2018-12-17 2024-01-19 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
EP3895433A4 (en) 2019-01-10 2022-02-23 Huawei Technologies Co., Ltd. UNBLOCK FILTER FOR SUBPARTITION BOUNDARIES CAUSED BY INTRA-SUBPARTITION ENCODING TOOL
WO2020175146A1 (ja) * 2019-02-27 2020-09-03 ソニー株式会社 画像処理装置及び画像処理方法
CN111445427B (zh) * 2020-05-20 2022-03-25 青岛信芯微电子科技股份有限公司 视频图像处理方法以及显示设备
CN111862996B (zh) * 2020-07-14 2024-03-08 北京百瑞互联技术股份有限公司 一种音频编解码器均衡负载的方法、系统、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504773A (ja) * 2003-09-07 2007-03-01 マイクロソフト コーポレーション 映像コーデックにおけるスライス層
US20080117980A1 (en) * 2006-11-16 2008-05-22 Ching-Yu Hung Deblocking Filters
JP2011160359A (ja) * 2010-02-03 2011-08-18 Sharp Corp ブロックノイズ量予測装置、ブロックノイズ量予測方法、画像処理装置、プログラム、及び、記録媒体

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796875A (en) * 1996-08-13 1998-08-18 Sony Electronics, Inc. Selective de-blocking filter for DCT compressed images
FI103003B (fi) * 1997-06-13 1999-03-31 Nokia Corp Suodatusmenetelmä, suodatin ja kannettava päätelaite
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US6529635B1 (en) * 1997-12-15 2003-03-04 Intel Corporation Shape-based image compression/decompression using pattern matching
US6529638B1 (en) * 1999-02-01 2003-03-04 Sharp Laboratories Of America, Inc. Block boundary artifact reduction for block-based image compression
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7054503B2 (en) * 2001-02-23 2006-05-30 Seiko Epson Corporation Image processing system, image processing method, and image processing program
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
KR100804902B1 (ko) * 2001-09-12 2008-02-20 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
KR100973909B1 (ko) * 2001-11-29 2010-08-03 파나소닉 주식회사 코딩 왜곡 제거 반도체
EP2320661B8 (en) * 2001-11-29 2015-09-02 Godo Kaisha IP Bridge 1 Coding distortion removal method
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US8090028B2 (en) * 2004-05-21 2012-01-03 Broadcom Corporation Video deblocking memory utilization
US7680351B2 (en) * 2004-05-21 2010-03-16 Broadcom Corporation Video deblocking method and apparatus
CN1870757B (zh) * 2004-05-21 2010-11-10 美国博通公司 多标准视频解码器
US20050281339A1 (en) * 2004-06-22 2005-12-22 Samsung Electronics Co., Ltd. Filtering method of audio-visual codec and filtering apparatus
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
US7778480B2 (en) * 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
JP4270125B2 (ja) * 2004-12-16 2009-05-27 ソニー株式会社 データ処理装置、画像処理装置、それらの方法およびプログラム
US7725691B2 (en) * 2005-01-28 2010-05-25 Analog Devices, Inc. Method and apparatus for accelerating processing of a non-sequential instruction stream on a processor with multiple compute units
CN1870752A (zh) * 2005-05-23 2006-11-29 其乐达科技股份有限公司 应用于视频编码/解码的解块滤波方法及其装置
US8537903B2 (en) * 2005-09-23 2013-09-17 Entropic Communications, Inc. De-blocking and de-ringing systems and methods
CN100484249C (zh) * 2005-09-25 2009-04-29 海信集团有限公司 视频帧间编码基于边缘方向的帧内预测方法
US8577168B2 (en) * 2006-12-28 2013-11-05 Vidyo, Inc. System and method for in-loop deblocking in scalable video coding
US7877430B2 (en) * 2007-03-26 2011-01-25 Analog Devices, Inc. Method and apparatus for accelerating processing of adaptive finite impulse response filtering
US20090080517A1 (en) * 2007-09-21 2009-03-26 Yu-Ling Ko Method and Related Device for Reducing Blocking Artifacts in Video Streams
CN101453651B (zh) * 2007-11-30 2012-02-01 华为技术有限公司 一种去块滤波方法和装置
US20110002395A1 (en) 2008-03-31 2011-01-06 Nec Corporation Deblocking filtering processor and deblocking filtering method
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
JPWO2010001911A1 (ja) * 2008-07-03 2011-12-22 シャープ株式会社 フィルタ装置
CN101635849B (zh) * 2008-07-24 2011-11-16 青岛海信信芯科技有限公司 一种环路滤波方法及环路滤波器
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
JPWO2010035403A1 (ja) * 2008-09-25 2012-02-16 パナソニック株式会社 フィルタ装置およびフィルタ方法
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP5087016B2 (ja) * 2009-01-19 2012-11-28 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
CN101651829A (zh) * 2009-06-29 2010-02-17 北京中星微电子有限公司 一种环路滤波的方法、装置及一种移动多媒体终端芯片
JP5183664B2 (ja) * 2009-10-29 2013-04-17 財團法人工業技術研究院 ビデオ圧縮のためのデブロッキング装置及び方法
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
CN106791877B (zh) * 2010-12-07 2020-02-28 索尼公司 图像处理设备和图像处理方法
JP5884313B2 (ja) * 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
EP2679006B1 (en) * 2011-02-25 2017-10-11 Sun Patent Trust Efficient decisions for deblocking
MY167341A (en) * 2011-09-09 2018-08-16 Sun Patent Trust Low complex deblocking filter decisions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504773A (ja) * 2003-09-07 2007-03-01 マイクロソフト コーポレーション 映像コーデックにおけるスライス層
US20080117980A1 (en) * 2006-11-16 2008-05-22 Ching-Yu Hung Deblocking Filters
JP2011160359A (ja) * 2010-02-03 2011-08-18 Sharp Corp ブロックノイズ量予測装置、ブロックノイズ量予測方法、画像処理装置、プログラム、及び、記録媒体

Also Published As

Publication number Publication date
BR112014004920B1 (pt) 2022-06-07
JP2021177640A (ja) 2021-11-11
CA2841246A1 (en) 2013-03-14
BR112014004920B8 (pt) 2022-09-27
CN107172427B (zh) 2021-01-05
WO2013034649A1 (en) 2013-03-14
PL3306921T3 (pl) 2021-05-04
EP2754295A1 (en) 2014-07-16
US20220086504A1 (en) 2022-03-17
CN103765889B (zh) 2017-05-24
US9402088B2 (en) 2016-07-26
CN107172427A (zh) 2017-09-15
US20170208346A1 (en) 2017-07-20
KR20140071316A (ko) 2014-06-11
MX2014002529A (es) 2014-05-13
TWI514852B (zh) 2015-12-21
US10237578B2 (en) 2019-03-19
TW201325246A (zh) 2013-06-16
KR102039544B1 (ko) 2019-11-01
ES2835801T3 (es) 2021-06-23
JP2014526818A (ja) 2014-10-06
JP6620995B2 (ja) 2019-12-18
CN107197254A (zh) 2017-09-22
US20150304687A1 (en) 2015-10-22
CN103765889A (zh) 2014-04-30
JP2023166602A (ja) 2023-11-21
US20190158886A1 (en) 2019-05-23
EP2754295B1 (en) 2018-01-24
ES2664721T3 (es) 2018-04-23
US20210120274A1 (en) 2021-04-22
US9948958B2 (en) 2018-04-17
BR112014004920A2 (pt) 2019-04-02
US20140185689A1 (en) 2014-07-03
US9143778B2 (en) 2015-09-22
PL2754295T3 (pl) 2018-07-31
JP7361285B2 (ja) 2023-10-16
JP2017216690A (ja) 2017-12-07
CN107197254B (zh) 2020-03-03
US10897634B2 (en) 2021-01-19
EP3306921B1 (en) 2020-11-04
US11218736B2 (en) 2022-01-04
CA2841246C (en) 2019-09-24
MY167341A (en) 2018-08-16
US20160301951A1 (en) 2016-10-13
US20180262781A1 (en) 2018-09-13
KR102039076B1 (ko) 2019-10-31
EP3306921A1 (en) 2018-04-11
US10779010B2 (en) 2020-09-15
JP2020022207A (ja) 2020-02-06
US20200359056A1 (en) 2020-11-12
US9648354B2 (en) 2017-05-09

Similar Documents

Publication Publication Date Title
JP7246008B2 (ja) 復号装置および符号化装置
JP7361285B2 (ja) 符号化方法および符号化装置
JP6233790B2 (ja) フィルタリング方法およびフィルタリング装置
EP2774362B1 (en) Quantization parameter for blocks coded in the pcm mode
KR101863397B1 (ko) 디블로킹을 위한 효율적인 결정
KR20130051950A (ko) 주변 블록의 통계로부터 추론되는 인트라 예측을 위한 필터링 모드
KR20140094496A (ko) 펄스 코드 변조 모드에서 부호화된 블록의 필터링

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant