KR101174179B1 - 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술 - Google Patents

블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술 Download PDF

Info

Publication number
KR101174179B1
KR101174179B1 KR1020077011418A KR20077011418A KR101174179B1 KR 101174179 B1 KR101174179 B1 KR 101174179B1 KR 1020077011418 A KR1020077011418 A KR 1020077011418A KR 20077011418 A KR20077011418 A KR 20077011418A KR 101174179 B1 KR101174179 B1 KR 101174179B1
Authority
KR
South Korea
Prior art keywords
film grain
block
setting
film
reducing
Prior art date
Application number
KR1020077011418A
Other languages
English (en)
Other versions
KR20070084390A (ko
Inventor
크리스티나 고밀라
조안 래치
제프리 알렌 쿠퍼
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20070084390A publication Critical patent/KR20070084390A/ko
Application granted granted Critical
Publication of KR101174179B1 publication Critical patent/KR101174179B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/87—Producing a motion picture film from a television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

시뮬레이팅된 필름 그레인 블록의 블록현상의 감소는, 적응적 다운스케일링 또는 적응적 디블로킹 필터링 중 하나를 이용하여, 필름 그레인 사이즈, 강도 및 텍스처와 같은 적어도 하나의 필름 그레인 블록 파라미터에 따라서 블록 에지에서 픽셀의 강도를 조정함으로써 달성될 수 있다. 이러한 적응적 다운스케일링 또는 적응적 디블로킹 필터링을 수행함으로써, 영향을 덜 받는 영역에서 필름 그레인 블록 픽셀이 변형되지 않게 하여, 낮은 계산 비용으로 개선된 성능을 달성한다.
Figure R1020077011418
필름 그레인, 블록현상, 디블로킹, 다운스케일링, 블록 파라미터, 시뮬레이팅

Description

블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한 기술{TECHNIQUE FOR ADAPTIVE DE-BLOCKING OF BLOCK-BASED FILM GRAIN PATTERNS}
본 발명은, 2004년 10월 21일에 출원된 미국 가출원 제60/620,702호에 대해 U.S.C. 119(e) 하에서 우선권 주장하고, 상기 출원의 내용은 본 명세서에서 참조된다.
본 발명은 시뮬레이팅된(simulated) 필름 그레인을 필터링하는 기술에 관한 것이다.
동영상 필름은, 필름 베이스 상에 박층으로 코팅되고 감광유제(emulsion)에 분산된 할로겐화은(silver-halide) 결정을 포함한다. 이러한 결정의 노출 및 현상은 불연속적인 은 미립자로 구성된 사진 화상을 형성한다. 컬러 네거티브(color negative)에서, 은은 현상 후에 화학적으로 제거되고, 은 결정이 형성하는 사이트(site)에서 미소한 색소 얼룩이 발생한다. 이러한 색소의 작은 얼룩 입자는 통상적으로 컬러 필름의 '그레인(grain)'으로 지칭된다. 그레인은 최종 화상에서 랜덤하게 분포되며, 이는 은 결정이 원(original) 감광유제에서 랜덤하게 형성되기 때문이다. 균일하게 노출된 영역에서, 일부 결정은 노출 후에 현상되지만, 다른 결정은 노출 후에 현상되지 않는다.
그레인은 크기 및 형태가 변한다. 필름이 더 빨라지면(즉, 감광도(light sensitivity)가 더 커지면), 은 덩어리가 더 크게 형성되고, 색소의 얼룩이 더 크게 생성되며, 이것이 더 진행하면, 은 덩어리 및 색소의 얼룩은 임의의 패턴으로 함께 모이는 경향이 있다. 그레인 패턴은 일반적으로 '입도(granularity)'로 공지되어 있다. 육안으로는, 0.0002mm 내지 약 0.002mm의 범위에서 변하는 개별 그레인을 구별할 수 없다. 대신에, 눈은 얼룩으로 지칭되는 그레인의 그룹을 식별할 수 있다. 시청자는 이러한 얼룩의 그룹을 필름 그레인으로서 식별한다. 화상 해상도가 커질수록, 필름 그레인은 더 많이 지각된다. 필름 그레인은 영화관 및 고선명 화상에서는 명확하게 눈에 띄게 되는 반면, SDTV에서는 그 중요성이 점진적으로 사라지고 있으며, 더 작은 포맷에서는 감지할 수 없게 된다.
동영상 필름은 일반적으로, 사진 필름의 노출 및 현상의 물리적 프로세스로부터, 또는 화상의 후속 편집으로부터 나오는 화상-의존 노이즈를 포함한다. 사진 필름은, 사진 유제(photographic emulsion)의 물리적 입도로부터 얻어지는 텍스처(texture) 또는 특성 의사 랜덤(quasi-random) 패턴을 포함한다. 택일적으로, 사진 필름과 컴퓨터-제조된 화상을 혼합(blend)하기 위해, 컴퓨터-제조된 화상에 대해 유사 패턴이 시뮬레이팅될 수 있다. 두 경우 모두, 화상-의존 노이즈는 그레인으로 지칭된다. 적당한 그레인 텍스처는 다수의 경우 동영상에서 바람직한 특성을 제공한다. 일부 경우에, 필름 그레인은, 2-차원 영상의 정확한 인지를 용이하게 하는 시각적 단서(visual cue)를 제공한다. 필름 그레인은 종종 단일 필름내에서 변화하여, 시간 기준, 관점, 등의 다양한 단서를 제공한다. 동화상 산업에 있 어서 그레인 텍스처를 제어하기 위한 다수의 다른 기술 및 기교가 사용된다. 따라서, 동화상 산업에 있어서, 화상 처리 및 전달 체인(chain) 전반에 걸쳐 화상의 입상 표현(grainy appearance)을 유지하는 것이 요구되고 있다.
상업적으로 사용가능한 다수의 제품은 필름 그레인을 시뮬레이팅할 수 있는 기능을 가지며, 종종 컴퓨터-제조된 오브젝트를 자연 씬(scene)과 혼합하기 위한 기능을 갖는다. 뉴욕 로체스터(Rochester) 주재의 Eastman Kodak사로부터 입수가능한 Cineon®은, 그레인 시뮬레이션을 구현하기 위한 제1 디지털 필름 애플리케이션들 중 하나이며, 다수의 그레인 형태에 대한 매우 실제적인 결과를 생성한다. 그러나, Cineon® 애플리케이션은 다수의 고속 필름에 대해 우수한 성능을 제공하지 못하며, 이는 이 애플리케이션이 그레인 크기가 크게 설정된 경우에 있어서 눈에 띄는 사선 줄무늬를 만들어 내기 때문이다. 또한, Cineon® 애플리케이션은, 예를 들어, 화상이 복사되거나 디지털적으로 처리되는 경우와 같이, 화상을 사전 처리하려고 하는 경우, 적당한 정도로 그레인을 시뮬레이팅하지 못한다.
필름 그레인을 시뮬레이팅하는 다른 상업적 제품은, Visual Infinity사로부터 입수가능한 Grain Surgery™이고, 이는 Adobe® After Effects®의 플러그-인(plug-in)으로서 사용된다. Grain Surgery™ 제품은 일 세트의 난수를 필터링함으로써 합성 그레인을 생성하는 것으로 보인다. 이러한 접근법은 계산 복잡도가 높다는 단점을 갖는다.
이러한 종래의 기법들에서는 어떤 것도, 압축된 비디오에서 필름 그레인을 복원하는 문제를 해결하지 못했다. 필름 그레인은, 통상적으로 비디오 시퀀스에 있어서 리던던시(redundancy)의 장점을 갖는 종래의 공간적 및 시간적 방법들을 이용해서 압축될 수 없는 고 주파수 의사 랜덤 현상을 구성한다. MPEG-2 또는 ITU-T Rec. H.264｜ISO/IEC 14496-10 압축 기술을 이용해서 필름-생성(film-originated) 화상을 처리하려고 시도하는 경우 보통, 압축 정도가 수용하기 어려울 정도로 낮게 되거나, 또는 그레인 텍스처가 완전히 손실되게 된다.
출원인들의 연구 결과로서, 현재, 화상에 후속적으로 부가하기 위한 필름 그레인 샘플의 다수의 블록을 결합시킴으로써 그레인을 시뮬레이팅하는 기술이 존재한다. 이러한 기술은 다른 블록들에 대해 독립적인 각 블록을 생성한다. 이러한 필름 그레인의 블록을 결합할 때, 아티팩트(artifact)가 발생할 수 있다. 아티팩트를 줄이기 위한 일 종래 기술은, 각 블록의 에지(edge)를 따라 시뮬레이팅된 그레인의 강도를 감소시키도록 한다. 강도의 감소는 그레인 품질을 떨어뜨리는 것으로 쉽게 구현될 수 있다. 아티팩트를 줄이는 다른 접근법으로서, 각 필름 그레인 블록에 디블로킹(deblocking) 필터를 적용시키는 것이 있다. 디블로킹 필터의 적용이 그레인의 품질에는 영향을 덜 미치지만, 이러한 필터의 구현은 계산 복잡도를 증가시킨다.
따라서, 더 우수한 품질(즉, 아티팩트의 감소)을 달성하면서 낮은 계산 비용을 유지하는, 필름 그레인 블록을 디블로킹하기 위한 기술이 요구된다.
간략하게, 본 발명의 원리에 따라서, 적어도 하나의 필름 그레인 블록을 디블로킹하는 방법이 제공된다. 이 방법은 먼저 블록의 필름 그레인의 특성과 관련된 적어도 하나의 파라미터를 설정하는 것으로 시작한다. 그 다음, 무결절(seamless)의 화상보다, 개별 블록으로서의 필름 그레인에서 나타나는 현상인 필름 그레인 블록현상(blockiness)이 상기 적어도 하나의 파라미터에 따라 감소된다.
도 1은, 본 발명의 원리에 따른 기술을 실행하기에 유용한 필름 그레인 처리 체인에서 송신기 및 수신기의 결합을 개략적으로 나타내는 블록도를 도시한다.
도 2는, 본 발명의 원리에 따른 예시적 제1 실시예에 따라 블록 에지를 다운스케일링(downscale)함으로써 필름 그레인 블록현상을 감소시키는 방법을 구성하는 순서도를 도시한다.
도 3A 및 3B는, 도 2의 방법에 따라서 블록 에지를 다운스케일링하기 전 및 후의 필름 그레인 블록을 도시한다.
도 4는, 본 발명의 원리에 따른 예시적 제2 실시예에 따라 적응적(adaptive) 디블로킹을 행함으로써 필름 그레인 블록현상을 감소시키는 방법을 구성하는 순서도를 도시한다.
도 5A 및 5B는, 도 4의 방법에 따른 디블로킹 필터링 전 및 후의 인접한 필름 그레인 블록의 쌍들을 도시한다.
시뮬레이팅된 필름 그레인을 디블로킹하기 위한 본 발명의 원리에 따른 기술을 이해하기 위해서, 필름 그레인 시뮬레이션에 대한 간략한 개요가 유용하게 제공될 것이다. 도 1은 송신기(10)의 개략적 블록도를 도시하고, 이 송신기(10)는 입 력 비디오 신호를 수신한 다음, 그 출력으로서 압축된 비디오 스트림을 생성한다. 또한, 송신기(10)는 또한 (만약 있다면) 샘플에 제공된 필름 그레인을 나타내는 정보를 생성한다. 실제로, 송신기(10)는, 케이블 텔레비젼 시스템, 또는 도 1에는 1개만 도시되었지만, 하나 이상의 하류(downstream) 수신기(11)에 압축된 비디오를 분배하는 이러한 다른 시스템의 헤드엔드(head-end) 어레이의 일부를 포함할 수 있다. 송신기(10)는 DVD와 같은 매체를 제공하는 인코더의 형태를 취할 수도 있다. 수신기(11)는 코딩된 비디오 스트림을 디코딩하고, 필름 그레인 정보 및 디코딩된 비디오에 따라서 필름 그레인을 시뮬레이팅하여, 시뮬레이팅된 필름 그레인을 갖는 출력 비디오 스트림을 제공하며, 필름 그레인 정보 및 디코딩된 비디오는 모두 송신기(10)로부터 수신되거나, DVD의 경우 매체 자체로부터 바로 수신된다. 수신기(11)는 셋탑 박스(set-top box)의 형태를 취하거나, 또는 압축된 비디오를 디코딩하고, 그 비디오내의 필름 그레인을 시뮬레이팅하도록 작용하는 그러한 다른 메카니즘을 취할 수 있다.
필름 그레인의 전체 관리는, 송신기(10)(즉, 인코더)가 입력 비디오내에 필름 그레인에 관한 정보를 제공할 것을 요구한다. 즉, 송신기(10)는 필름 그레인을 "모델(model)링한다". 또한, 수신기(11)(즉, 디코더)는, 송신기(10)로부터 수신된 필름 그레인 정보에 따라 필름 그레인을 시뮬레이팅한다. 송신기(10)는, 비디오 코딩 처리 동안 필름 그레인을 유지하는 것이 어려울 때, 수신기(11)가 비디오 신호내의 필름 그레인을 시뮬레이팅할 수 있도록 함으로써 압축된 비디오의 품질을 향상시킨다.
도 1에 도시된 실시예에서, 송신기(10)는, ITU-T Rec. H.264｜ISO/IEC 14496-10 비디오 압축 표준과 같은 공지된 비디오 압축 기술을 이용해서 입력 비디오 스트림을 인코딩하는 비디오 인코더(12)를 포함한다. 선택적으로, 도 1에서 점선으로 도시된 필터 등의 형태를 갖는 필름 그레인 리무버(14)는 인코더(12)의 상류(upstream)에 존재하여, 인코딩 전에 입력 비디오 스트림의 임의의 필름 그레인을 제거할 수 있다. 입력 비디오가 만약 존재하는 필름 그레인을 거의 포함하지 않으면, 필름 그레인 리무버(14)가 존재할 필요는 없다.
필름 그레인 모델러(modeler)(16)는, 필름 그레인 리무버(14)(존재시에)의 출력 신호 뿐만 아니라 입력 비디오 스트림을 받아 들인다. 이러한 입력 정보를 사용하여, 필름 그레인 모델러(16)는 입력 비디오 신호의 필름 그레인을 설정한다. 필름 그레인 모델러(16)는, 가장 간단한 형태로서, 상이한 필름 스탁(stock)들에 대한 필름 그레인 모델들을 포함하는 조사표(look up table)를 포함할 수 있다. 입력 비디오 신호내의 정보는, 비디오 신호로의 변환 전에 화상을 기록하기 위해 처음에 사용되는 특정 필름 스탁을 지정하고, 이에 따라, 필름 그레인 모델러(16)는 이러한 필름 스탁에 대한 적절한 필름 그레인 모델을 선택할 수 있게 된다. 택일적으로, 필름 그레인 모델러(16)는 프로세서 또는 전용 논리 회로를 포함할 수 있으며, 이 논리 회로는 하나 이상의 알고리즘을 실행시켜, 입력 비디오를 샘플링하고 존재하는 필름 그레인 패턴을 결정한다.
수신기(11)는 일반적으로, 송신기(10)로부터 수신된 압축된 비디오 스트림을 디코딩하도록 작용하는 비디오 디코더(18)를 포함한다. 디코더(18)의 구조는, 송 신기(10)내의 인코더(12)에 의해 수행되는 압축 형태에 따를 것이다. 따라서, 예를 들어, ITU-T Rec. H.264｜ISO/IEC 14496-10 비디오 압축 표준을 사용하여 출력 비디오를 압축하는 인코더(12)를 송신기(10)내에서 사용하는 경우, H.264-종속 디코더(18)가 필요하게 된다. 수신기(11)내에서, 필름 그레인 시뮬레이터(20)는 필름 그레인 모델러(16)로부터 필름 그레인 정보를 수신한다. 필름 그레인 시뮬레이터(20)는 프로그램된 프로세서의 형태를 취할 수 있거나, 또는 결합기(combiner)를 통해 디코딩된 비디오 스트림과 필름 그레인을 결합시키기 위해 필름 그레인을 시뮬레이팅하는 능력을 갖는 전용 논리 회로의 형태를 취할 수 있다.
필름 그레인 시뮬레이션의 목적은, 원 필름 콘텐츠의 형상(look)을 시뮬레이팅하는 필름 그레인 샘플을 합성하기 위한 것이다. 상술한 바와 같이, 필름 그레인 모델링은 도 1의 송신기(10)에서 행해지는 반면, 필름 그레인 시뮬레이션은 수신기(11)에서 행해진다. 구체적으로, 필름 그레인 시뮬레이션은, 디코딩된 비디오 스트림의 출력 전의 송신기(10)로부터의 입력 비디오 스트림을 디코딩하는 것에 따라 수신기(11)에서 행해진다. 수신기(11)에서 행해지는 디코딩 처리는 필름 그레인이 부가된 화상을 사용하지 않도록 한다는 것을 주지해야 한다. 오히려, 필름 그레인 시뮬레이션이, 디스플레이를 위해 디코딩된 화상에 시뮬레이팅된 필름 그레인을 합성하기 위한 후-처리(post-processing) 방법을 구성한다. 이 때문에, ITU-T Rec. H.264｜ISO/IEC 14496-10 비디오 압축 표준은 필름 그레인 시뮬레이션 처리에 관한 어떠한 상세도 포함하지 않는다. 그러나, 필름 그레인 시뮬레이션은 입력 비디오 신호의 그레인 패턴에 관한 정보를 요구하며, 이 정보는 일반적으로, ITU-T Rec. H.264｜ISO/IEC 14496-10 비디오 압축 표준을 이 압축 표준의 개정 1(고화질 영상 확장(Fidelity Range Extension))에 의해 지정되는 바와 같이 사용할 때 SEI(Supplemental Enhancement Information) 메시지로 송신된다.
필름 그레인 시뮬레이터(20)는 상이한 방식으로 필름 그레인을 시뮬레이팅할 수 있다. 예를 들어, 필름 그레인 시뮬레이터(20)는, 화상에 부가하기 위한 필름 그레인의 복수의 사전-계산된 블록을 포함하는 데이터베이스(예를 들어, 조사표(LUT;look up table))를 사용함으로써 필름 그레인을 시뮬레이팅할 수 있다. 데이터베이스내의 필름 그레인 블록을 사전-계산하기 위한 일반적인 방법은 가우스(Gaussian) 의사 랜덤 넘버 발생기(미도시됨)를 사용하는 것이다. 택일적으로, 필름 그레인 시뮬레이터(20)는 각 필름 블록을 필요에 따라 계산할 수 있고, 일반적으로 이를 위해 가우스 의사 랜덤 넘버 발생기를 사용한다.
상술한 방식으로 다수의 개별 필름 그레인 블록들을 결합하는 것에 의한 필름 그레인 시뮬레이션은 아티팩트를 유도할 수 있고, 특히, 무결절 방식의 합병보다, 필름 그레인의 블록이 분리되어 보이게 되는 블록현상으로서 공지된 조건을 유도할 수 있다. 블록현상을 감소시키는 일 종래 기술은, 각 블록의 에지를 따라 시뮬레이팅된 그레인의 강도를 감소시키는 단계를 포함한다. 다른 종래 기술은 각 필름 그레인 블록에 디블로킹 필터를 적용시킨다. 이러한 종래의 접근법은 둘 다 후술하는 바와 같은 단점을 초래한다.
종래 기술에 의한 블록 에지에서의 픽셀 값들의 다운스케일링
블록현상을 감소시키는 종래 일 접근법은, 각 블록의 에지에서 필름 그레인 샘플을 다운스케일링하는 것에 따른다. 종래에, 필름 그레인 샘플의 값을 2로 나눔으로써 얻어지는, 각 필름 그레인 블록의 상측 및 하측 에지의 이러한 다운스케일링은 다음과 같다.
Figure 112007036788238-pct00001
여기에서, N은 블록 사이즈(이 예에서는 제곱)이고, blockm[x][y]는 블록 m의 위치 (x,y)에서의 필름 그레인 샘플이다. 이러한 방식의 다운스케일링은, 필름 그레인 샘플이 널 평균(null average)을 갖고, 포지티브(positive) 및 네거티브(negative) 값들 사이에 동일하게 분포되기 때문에, 바람직한 감쇠를 제공한다. 좌측 및 우측 에지의 스케일링은 유사한 방식으로 수행될 수 있다.
Figure 112007036788238-pct00002
이러한 접근법은, 필름 그레인 특성을 고려하지 않으면서 N×N 필름 그레인 블록의 중요 백분율을 변경하는 단점을 초래한다. 예를 들어, 8×8 필름 그레인 블록에 대해, 4개의 모든 에지가 스케일링되면, 샘플들의 거의 반이 강도가 감소되는 한편, 수직(또는 수평) 에지만이 스케일링되면, 샘플들의 1/4이 영향을 받게 된 다. 16×16 필름 그레인 블록에 대해서는, 4번째 및 8번째 샘플이 각각 영향을 받는다. 일반적으로, 블록이 더 커지면, 스케일링된 필름 그레인 샘플의 백분율은 더 작아지게 되지만, 16×16을 넘는 블록 사이즈는 통상적으로 소비자 제품에서 사용하기에는 너무 크다고 검증되었다.
개선된 다운스케일링 기술
본 발명의 원리에 따라서, 블록내의 필름 그레인의 적어도 하나의 특성에 따라서, 각 필름 그레인 블록의 에지에 인가되는 다운스케일링 팩터(factor)의 강도를 변화시킴으로써 아티팩트의 감소가 개선된다. 도 2는, 이러한 필름 그레인 블록 에지 다운스케일링을 수행하는 단계를 구성하는 순서도를 도시한다. 도 2의 예시적 실시예에서, 블록내의 필름 그레인의 사이즈는 에지 스케일링의 강도를 제어하는 파라미터로서 작용한다. 구체적으로, 에지 스케일링의 강도는 블록내의 그레인의 사이즈에 비례해서 변할 것이다. 필름 그레인 블록의 하나 이상의 다른 특성은, 필름 그레인 사이즈에 부가하여, 또는 필름 그레인 사이즈를 대신하여 에지 스케일링의 강도에 영향을 줄 수 있다.
도 2의 방법은, 시스템 초기화가 행해지는 동안 개시 단계(단계 100)를 실행하는 것으로 시작되지만, 이러한 초기화는 모든 환경하에서 필수적으로 행해지는 것은 아니다. 단계 100에 후속하여, 에지 스케일링을 제어하는 필름 그레인 블록의 적어도 하나의 특성의 획득을 개시하는 단계 102가 수행된다. 상술한 바와 같이, 예시적 실시예에서, 필름 그레인 사이즈는 에지 스케일링을 제어하는 특성으로서 작용한다. 일반적으로, 필름 그레인 사이즈는 에지 스케일링을 제어하는 우수 한 특성으로 작용하며, 이는, 무결절 화상을 생성하기 위해 필름 그레인의 블록을 모자이크(mosaic)함으로써 발생하는 블록현상이, 그레인 사이즈가 작을수록 에지에 의해 영향을 받는 형태들이 더 작아져서, 더욱 눈에 띄지 않게 되기 때문이다. 일반적으로, 필름 그레인 사이즈는, 수신기(11)에 의해 수신된 SEI 메시지로 전달되는 필름 그레인에 관한 파라미터 중 하나를 구성하고, 수신기(11)는 후술하는 방식으로 블록현상을 감소하는 것 뿐만 아니라 시뮬레이션도 수행한다.
단계 102에 후속하여, 에지를 다운스케일링하기 위한 스케일링 팩터의 선택을 개시하는 단계 104가 수행된다. 스케일링 팩터 선택 처리의 이해를 돕기 위해서, sh(m)은 블록 m에 대한 그레인의 수평 사이즈를 나타내는 파라미터를 구성하고, sv(m)은 블록 m에 대한 그레인의 수직 사이즈를 나타내는 파라미터를 구성한다. 다음으로, 수평(상측 및 하측) 에지의 스케일링은 다음과 같이 공식화된다.
Figure 112007036788238-pct00003
여기에서,
Figure 112007036788238-pct00004
는, 필름 그레인 시뮬레이션 처리에 의해 얻어지는 각각의 수직 필름 그레인 사이즈에 대한 스케일링 팩터를 제공하는 조사표(LUT)(미도시됨)로부터 얻어진다. 유사하게, 수직 블록 에지(좌측 및 우측)의 스케일링은 다음과 같이 공식화된다.
Figure 112007036788238-pct00005
여기에서,
Figure 112007036788238-pct00006
는, 각각의 수평 필름 그레인 사이즈에 대한 스케일링 팩터를 제공하는 조사표(LUT)로부터 얻어진다.
정수 계산을 이용하여 모든 연산을 수행하기 위해서, 스케일 팩터는 다음과 같이 정의될 수 있다.
Figure 112007036788238-pct00007
다음으로, 필름 그레인 블록m으로부터 주어진 샘플은 다음 [수학식 6]을 이용해서 스케일링될 수 있다.
Figure 112007036788238-pct00008
스케일 팩터를 적어도 하나의 필름 그레인 특성의 함수로 만드는 것은, 시각적 품질의 측면에서 더욱 우수한 품질을 달성한다. 예시적 실시예에서, 스케일 팩터는 그레인 강도의 함수로서 표현될 수 있다. 다른 실시예에서, 스케일 팩터는, 다음 [수학식 7]에 의해 수학적으로 표현되는 바와 같이, 작은 사이즈에서 큰 사이즈로 선형으로 커지는 필름 그레인 사이즈에 직접 비례할 수 있다.
Figure 112007036788238-pct00009
여기에서, s는 범위 [0,ns]내에 있고, ns는 최대 필름 그레인이다.
상술한 방법의 가능한 일 확장에서는, 현(current) 필름 그레인 블록의 특성에 따라 상이한 로우(row) 또는 컬럼(column)에 대해 상이한 스케일링 팩터를 사용하도록 한다. 다른 가능한 확장에서는, (스케일링되는 에지를 통해) 현 블록 및 이웃 블록 모두에 대해 필름 그레인 특성을 고려하여, 스케일링 팩터 및 스케일링되는 로우 또는 컬럼의 수를 결정하도록 한다. 이웃 블록으로부터의 필름 그레인 특성을 고려하는 경우에도, 현 블록의 필름 그레인 샘플만이 스케일링된다. 이는, 계산 비용을 매우 적게 유지하는 것을 돕는다.
실제로, 도 1의 필름 그레인 시뮬레이터(20)는 도 2의 단계 100 내지 108을 수행할 것이다. 논의된 바와 같이, 필름 그레인 시뮬레이터(20)는 일반적으로, 프로그램된 프로세서, 프로그램가능한 게이트 어레이, 전용 논리 회로, 또는 상기 방법을 수행하거나 수행할 수 있는 임의의 조합의 형태를 취한다.
도 3A 및 3B는, 본 발명의 원리에 따른 기술에 따라서 블록의 좌측 에지를 다운스케일링하기 전 및 후의 예시적 8×8-픽셀 필름 그레인 블록을 도시한다. 도 3A의 필름 그레인 블록은, 블록의 상부 좌측 코너에서 원점 (0,0)을 가지며, 블록의 다른 영역보다, 블록의 상부 좌측 및 우측 정점(vertex) (0,2) 및 (4,2), 및 하부 좌측 및 우측 정점 (0,4) 및 (4,4)의 경계내(bounded) 영역에서 더 큰 사이즈의 그레인을 갖는다. 본 발명의 원리에 따라서 블록의 좌측 에지를 다운스케일링할 때, 좌표 (0,2) 및 (0,4) 사이의 좌측 에지를 따라 놓여진 픽셀은 그 에지를 따라 다른 영역의 픽셀보다 더 큰 강도로 스케일링될 것이다. 이러한 픽셀이 블록내의 영역에서 더 큰 사이즈의 그레인에 놓이기 때문에, 이와 같은 더 큰 강도의 스케일링이 수행된다.
블록 에지에 걸친 디블로킹
상술한 바와 같이, 블록현상을 감소하기 위한 다른 종래 기술은, 필름 그레인 블록의 에지에 걸쳐 디블로킹 필터를 적용하는 것과 관련된다. 이러한 접근법은, 각각의 사전에 계산된 필름 그레인 블록에서 라인마다 적어도 하나의 픽셀에 액세스해야 하기 때문에, 계산 복잡도가 크게 되게 한다. 종래의 디블로킹 필터에서는, 수평 변이(transition)가 다운스케일링으로 감소된 인접 블록들 간의 수직 에지를 디블로킹하기 위해 N-탭(N-tap) 필터를 사용해 왔다. 8×8 블록m의 좌측 에지가 8×8 블록n의 우측 에지에 인접하게 놓인 것으로 가정하고, 다음 [수학식 8]에 따라 계수
Figure 112007036788238-pct00010
와 N-탭 필터를 사용하여 디블로킹이 수행된다.
Figure 112007036788238-pct00011
필터 계수 Ci는 N-탭 필터를 선택함으로써 결정된 상수값을 구성한다. 구체적으로, 종래 기술에서는, 상기 [수학식 8]이 다음 결과를 얻게 되는 계수 (1,2,1)를 갖는 3-탭 필터를 사용해 왔다.
Figure 112007036788238-pct00012
본 발명의 원리에 따른 적응적 디블로킹 필터링
종래의 디블로킹 필터는, 블록내의 필름 그레인 패턴과 관계없이 동일한 강도로 모든 블록 변이를 작게 하였다. 이는, 작은 패턴들이 큰 패턴들보다 더 적은 가시적 블로킹 아티팩트를 만들어 낸다는 실험적 결과로 인해, 성능을 제한하게 된다.
본 발명의 원리에 따른 디블로킹 기술은, 다운스케일링을 위한 상술한 방식 과 유사한 방식으로 필름 그레인의 특성에 따라서 디블로킹 필터의 강도를 변경함으로써 이러한 단점을 해결한다. 도 4는, 적응적 디블로킹 필터링을 수행하기 위해 본 발명의 원리에 따른 예시적 실시예에 따른 방법의 단계들을 구성하는 순서도를 도시한다. 도 4의 방법은, 초기화가 행해지는 동안 단계 200을 실행하는 것으로 시작되지만, 이러한 초기화는 필수적으로 행해지는 것은 아니다. 그 후, 현 필름 그레인 블록m의 적어도 하나의 특성의 획득을 개시하는 단계 202, 및 직전 필름 그레인 블록n의 동일한 특성의 획득을 개시하는 단계 204가 각각 수행된다. 도 4의 순서도는 단계 202 및 204가 동시에 수행되는 것으로 도시하지만, 이들 단계는 순차적으로 수행될 수도 있다.
필터 유형의 선택을 수행하는 단계 206이 단계 202 및 204에 후속한다. 예시적 실시예에서, 선택된 필터는, 수직 에지를 디블로킹하기 위해 3-탭 필터를 포함한다. 이러한 필터는 다음 [수학식 10]에 따라 공식화될 수 있다.
Figure 112007036788238-pct00013
여기에서, 계수 C-1, C0, 및 C1의 값은, 이들 값을, 파라미터 smn에 의해 표시되는 양 블록들의 필름 그레인의 사이즈에 대해 적응시킨 조사표(LUT)(미도시됨)를 통해 얻어질 것이다.
예시적 실시예에서, 에지의 양 측에서의 필름 그레인 패턴들 간의 사이즈의 차가 클수록, 필터의 강도가 세진다고 가정한다. 수평 에지를 디블로킹하는 경우에 대한 상기 [수학식 10]의 확장은 간단하다.
실제로, 도 1의 필름 그레인 시뮬레이터(20)는 도 2의 단계 200 내지 212를 수행할 것이다. 논의된 바와 같이, 필름 그레인 시뮬레이터(20)는 일반적으로, 프로그램된 프로세서, 프로그램가능한 게이트 어레이, 전용 논리 회로, 또는 상기 방법을 수행하거나 수행할 수 있는 임의의 조합의 형태를 취한다.
도 5A 및 5B는, 본 발명의 원리에 따른 기술에 따라서 적응적 디블로킹 필터링을 행하기 전 및 후의 인접한 8×8-픽셀 필름 그레인 블록의 예시적 쌍을 도시한다. 도 5A 및 5B의 극좌(leftmost) 블록인 블록n은, 블록의 상부 좌측 코너에서 원점 (0,0)을 가지며, 블록의 다른 영역보다, 블록의 상부 좌측 및 우측 정점 (4,3) 및 (7,3), 및 하부 좌측 및 우측 정점 (4,7) 및 (7,7)의 경계내 그레인 블록에서 더 작은 그레인 사이즈의 영역을 갖는다. 도 5A 및 5B의 극우(rightmost) 블록인 블록m은, 블록의 다른 영역보다, 블록의 상부 좌측 및 우측 정점 (0,2) 및 (4,2), 및 하부 좌측 및 우측 정점 (0,4) 및 (4,4)의 경계내 영역에서 더 큰 사이즈의 그레인을 갖는다.
도 5B에 도시된 바와 같이, 본 발명의 원리에 따른 기술에 따른 적응적 디블로킹에 후속하여, 블록n 및 블록m의 좌측 및 우측 에지에 따른 일부 픽셀들은 각각 상이한 강도를 가질 것이다. 구체적으로, 블록n의 우측 에지를 따라 (7,2)에 위치한 픽셀, 및 블록m의 좌측 에지를 따라 (0,2)에 위치한 픽셀은 각각, 대응하는 블록의 동일한 에지의 위 및 아래에 놓여진 다른 픽셀들보다 더 큰 강도를 갖는다. 이러한 픽셀의 주변으로부터 블록m의 큰 그레인 영역까지 강도가 더 커지게 된다. 마찬가지로, 블록m의 좌측 에지에 놓인 픽셀 (0,5), (0,6) 및 (0,7) 뿐만 아니라, 블록n의 우측 에지에 놓인 픽셀 (5,7), (6,7) 및 (7,7)은 모두 적응적 디블로킹 필터링에 후속하여 더 작은 강도를 갖는다. 적응적 디블로킹 필터링에 후속하는 이들 픽셀의 강도는, 이들 픽셀의 주변으로부터 블록n의 더 작은 그레인 사이즈 영역까지 감소된다.
본 발명의 원리에 따른 적응적 디블로킹 방법은, 필터링의 강도가 필터 방정식의 하나 이상의 파라미터에 따르는, 임의의 다른 형태의 디블로킹 필터를 쉽게 사용할 수 있도록 한다. 필터 강도를 변경하는 것으로부터 발생하는 복잡도의 증가는, LUT를 사용하여 적응될 수 있기 때문에, 낮게 유지될 수 있다. LUT를 사용함으로써 추가의 계산이 필요하지 않게 된다.
큰 복잡도를 수용할 수 있는 애플리케이션에 대해, 본 발명의 원리에 따른 방법은, 그레인 사이즈 이외의 또는 그레인 사이즈에 부가되는, 블록내의 필름 그레인의 특성에 따라 필터 강도를 변경할 수 있다. 예를 들어, 도 2 및 4에 관련하여 기술된 적응적 다운스케일링 및 적응적 디블로킹 필터링 기술은 각각, 그레인 사이즈에 더하여, 또는 그레인 사이즈 대신에 필름 그레인 강도 및/또는 텍스처(texture)를 사용할 수 있도록 한다. 일반적으로, 필터 유형 및 강도는 모두 필름 그레인 특성에 따라 변할 수 있다. 추가 메모리가 필요한 경우 뿐만 아니라, 더 복잡한 필터와 연관된 연산의 수가 증가하면 복잡도가 더 높아지게 된다.
가장 복잡하고 가장 성능이 우수한 애플리케이션에 대해, 본 발명의 원리에 따른 디블로킹 필터링은, 필름 그레인의 특성 및 그레인을 수용할 화상의 특성 모두를 고려할 수 있다. 예시적 실시예에서, 디블로킹 강도는 화상 휘도에 비례해서 변할 수 있고, 이는 필름 그레인(및 이에 따른, 필름 그레인 블록들 간의 변이)이 화상의 더 밝은 영역에서 더욱 가시적으로 나타나기 때문이다. 다른 예시적 실시예에서, 디블로킹 강도는 화상 텍스처의 특성에 비례해서 변할 수 있어, 텍스처가 미세할수록 디블로킹의 강도는 약해진다.
도 2와 관련하여 설명된 적응적 다운스케일링 기술에 비하여, 도 4의 적응적 디블로킹 필터링 기술은, 디블로킹 필터링이 블록 에지의 양 측에서 필름 그레인 특성 및 픽셀 값을 고려하여 감쇠를 수행하기 때문에, 더 우수한 성능을 제공한다. 도 3B 및 5B는 양 기술들 간의 성능의 차를 나타낸다. 스케일링으로부터 나온(도 3B) 및 디블로킹으로부터 나온(도 3B) 블록m의 극좌 컬럼의 결과를 비교함으로써, 큰 그레인 영역에 인접하게 놓인 픽셀은, 이웃하는 블록n의 영향으로 인해, 다운스케일링에 비해 디블로킹 후에 상이한 값을 취하게 된다.
시뮬레이팅된 필름 그레인의 블록현상을 감소시키기 위한 기술이 상술되었 다.

Claims (22)

  1. 적어도 하나의 필름 그레인 블록의 블록현상(blockiness)을 감소시키는 방법으로서,
    상기 블록내의 필름 그레인의 특성에 적어도 부분적으로 관련된 적어도 하나의 파라미터를 설정하는 단계; 및
    상기 적어도 하나의 파라미터에 따라 상기 블록의 에지들에서 픽셀들의 강도들을 조정함으로써 상기 필름 그레인 블록현상을 감소시키는 단계
    를 포함하는 필름 그레인 블록의 블록현상 감소 방법.
  2. 제1항에 있어서,
    상기 필름 그레인 블록현상을 감소시키는 단계는, 적어도 하나의 에지를 따라 상기 필름 그레인 블록을 다운스케일링(downscaling)하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  3. 제2항에 있어서,
    모든 에지를 따라 상기 필름 그레인 블록을 다운스케일링하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  4. 제1항에 있어서,
    상기 필름 그레인 블록현상을 감소시키는 단계는, 적어도 하나의 에지에 걸쳐 상기 필름 그레인 블록을 디블로킹 필터링(deblocking filtering)하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  5. 제4항에 있어서,
    상기 필름 그레인 블록현상을 감소시키는 단계는, 모든 에지에 걸쳐 상기 필름 그레인 블록을 디블로킹 필터링하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 단계는, 필름 그레인 사이즈를 설정하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 단계는, 필름 그레인 강도를 설정하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 단계는, 필름 그레인 텍스처(texture)를 설정하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  9. 제1항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 단계는, 필름 그레인 사이즈, 강도 및 텍스처 중 적어도 하나를 설정하고, 또한 적어도 하나의 화상 특성을 설정하는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  10. 제1항에 있어서,
    상기 블록내의 상이한 로우(row)들에서 상기 필름 그레인 블록현상을 상이하게 감소시키는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  11. 제1항에 있어서,
    상기 블록내의 상이한 컬럼(column)들에서 상기 필름 그레인 블록현상을 상이하게 감소시키는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  12. 제1항에 있어서,
    인접 블록의 적어도 하나의 특성에 따라서 적어도 부분적으로 상기 필름 그레인 블록현상을 감소시키는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  13. 제1항에 있어서,
    상기 그레인을 수용하는 화상의 적어도 하나의 특성에 따라서 적어도 부분적으로 상기 필름 그레인 블록현상을 감소시키는 단계를 더 포함하는, 필름 그레인 블록의 블록현상 감소 방법.
  14. 적어도 하나의 필름 그레인 블록의 블록현상을 감소시키는 장치로서,
    상기 블록내의 상기 필름 그레인의 특성에 관련된 적어도 하나의 파라미터를 설정하는 수단; 및
    상기 적어도 하나의 파라미터에 따라 상기 블록의 에지들에서 픽셀들의 강도들을 조정함으로써 상기 필름 그레인 블록현상을 감소시키는 수단
    을 포함하는 필름 그레인 블록의 블록현상 감소 장치.
  15. 제14항에 있어서,
    상기 필름 그레인 블록현상을 감소시키는 수단은, 적어도 하나의 에지를 따라 상기 필름 그레인 블록을 다운스케일링하는 수단을 더 포함하는, 필름 그레인 블록의 블록현상 감소 장치.
  16. 제15항에 있어서,
    상기 필름 그레인 블록을 다운스케일링하는 수단은 모든 블록 에지를 따라 다운스케일링을 행하는, 필름 그레인 블록의 블록현상 감소 장치.
  17. 제14항에 있어서,
    상기 필름 그레인 블록현상을 감소시키는 수단은, 적어도 하나의 에지에 걸쳐 상기 필름 그레인 블록을 디블로킹 필터링하는 수단을 더 포함하는, 필름 그레인 블록의 블록현상 감소 장치.
  18. 제17항에 있어서,
    상기 디블로킹 필터링 수단은, 모든 에지에 걸쳐 상기 필름 그레인 블록을 디블로킹 필터링하는, 필름 그레인 블록의 블록현상 감소 장치.
  19. 제14항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 수단은, 필름 그레인 사이즈를 설정하는 수단을 더 포함하는, 필름 그레인 블록의 블록현상 감소 장치.
  20. 제14항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 수단은, 필름 그레인 강도를 설정하는 수단을 더 포함하는, 필름 그레인 블록의 블록현상 감소 장치.
  21. 제14항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 수단은, 필름 그레인 텍스처를 설 정하는 수단을 더 포함하는, 필름 그레인 블록의 블록현상 감소 장치.
  22. 제14항에 있어서,
    상기 적어도 하나의 파라미터를 설정하는 수단은, 필름 그레인 사이즈, 강도 및 텍스처 중 적어도 하나를 설정하고, 또한 적어도 하나의 화상 특성을 설정하는 수단을 더 포함하는, 필름 그레인 블록의 블록현상 감소 장치.
KR1020077011418A 2004-10-21 2005-10-17 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술 KR101174179B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US62070204P 2004-10-21 2004-10-21
US60/620,702 2004-10-21

Publications (2)

Publication Number Publication Date
KR20070084390A KR20070084390A (ko) 2007-08-24
KR101174179B1 true KR101174179B1 (ko) 2012-08-16

Family

ID=35874366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077011418A KR101174179B1 (ko) 2004-10-21 2005-10-17 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술

Country Status (7)

Country Link
US (1) US7738722B2 (ko)
EP (1) EP1803303B1 (ko)
JP (1) JP4920592B2 (ko)
KR (1) KR101174179B1 (ko)
CN (1) CN101095356B (ko)
CA (1) CA2584027C (ko)
WO (1) WO2006047138A2 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899113B2 (en) * 2003-04-10 2011-03-01 Thomson Licensing Technique for simulating film grain on encoded video
JP2005100100A (ja) * 2003-09-25 2005-04-14 Toyota Motor Corp 車輪情報処理装置および車輪情報処理方法
MXPA06004097A (es) * 2003-10-14 2006-06-27 Thomson Licensing Tecnica para la adicion de ruido reconfortante de bit exacto.
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
EP1803094B1 (en) 2004-10-18 2020-02-19 InterDigital VC Holdings, Inc. Film grain simulation method
GB0424339D0 (en) * 2004-11-03 2004-12-08 Astrazeneca Ab Combination therapy
CN101057503A (zh) 2004-11-12 2007-10-17 汤姆森特许公司 用于视频重放系统的正常播放和特技模式播放的胶片颗粒模拟
CA2587118C (en) 2004-11-16 2014-12-30 Thomson Licensing Film grain sei message insertion for bit-accurate simulation in a video system
PL1812904T3 (pl) 2004-11-16 2012-07-31 Thomson Licensing Sposób symulacji ziarna błony filmowej na podstawie wstępnie obliczonych współczynników transformacji
PL1812905T3 (pl) * 2004-11-17 2019-10-31 Interdigital Vc Holdings Inc Sposób symulacji ziarna filmu o dokładności bitowej na podstawie wstępnie obliczonych przekształconych współczynników
CN101061724A (zh) * 2004-11-22 2007-10-24 汤姆森许可贸易公司 用于胶片颗粒仿真的胶片颗粒高速缓存分摊方法、装置和系统
US8023567B2 (en) * 2004-11-24 2011-09-20 Thomson Licensing Film grain simulation technique for use in media playback devices
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8254462B2 (en) * 2005-01-28 2012-08-28 Broadcom Corporation Method and system for block noise reduction
US8213500B2 (en) 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
US8189946B2 (en) * 2007-01-24 2012-05-29 Canon Kabushiki Kaisha Image processing apparatus and method thereof for detecting and removing noise in decoded images
JP2008219163A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報符号化方法、情報再生方法、及び情報記憶媒体
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
WO2010065060A1 (en) 2008-11-25 2010-06-10 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
JP5361524B2 (ja) 2009-05-11 2013-12-04 キヤノン株式会社 パターン認識システム及びパターン認識方法
JP2011223302A (ja) 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
JP2012044535A (ja) * 2010-08-20 2012-03-01 Toshiba Corp 動画像符号化装置及び動画像符号化方法
JP5484310B2 (ja) * 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
CN104303504B (zh) * 2012-01-18 2019-04-16 卢卡·罗萨托 稳定信息和瞬时/随机信息的不同编码和解码
JP6082304B2 (ja) * 2012-04-17 2017-02-15 キヤノン株式会社 画像処理装置及びその処理方法
EP3503555B1 (en) 2017-12-21 2020-07-22 Axis AB A method and a controller for adding comfort noise to a video sequence
CN111711825B (zh) * 2020-06-23 2024-04-30 腾讯科技（深圳）有限公司 视频编解码中的去块效应滤波方法、装置、设备及介质
CN112381744B (zh) * 2020-10-27 2022-10-11 杭州微帧信息科技有限公司 一种av1合成胶片颗粒自适应前处理的方法
CA3156314A1 (en) * 2021-04-19 2022-10-19 Comcast Cable Communications, Llc Methods, systems, and apparatuses for adaptive processing of video content with film grain
CN117615146B (zh) * 2023-11-13 2024-08-16 书行科技(北京)有限公司 视频处理方法及装置、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020034337A1 (en) 2000-05-23 2002-03-21 Shekter Jonathan Martin System for manipulating noise in digital images
WO2004066634A1 (en) 2003-01-20 2004-08-05 Koninklijke Philips Electronics N.V. Video coding

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935816A (en) * 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
US4998167A (en) * 1989-11-14 1991-03-05 Jaqua Douglas A High resolution translation of images
US5140414A (en) * 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5687011A (en) * 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
US5374954A (en) * 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5457491A (en) * 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5335013A (en) * 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
US5471572A (en) * 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
US5475425B1 (en) 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US5831673A (en) * 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
WO1996013006A1 (en) * 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
US5629769A (en) * 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
PL181416B1 (pl) * 1995-09-12 2001-07-31 Philips Electronics Nv i modelowego kodowania sygnalów obrazu oraz sposób i urzadzenie do mieszanego, konturowego i modelowego dekodowania sygnalów obrazu PL
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
GB9607633D0 (en) * 1996-04-12 1996-06-12 Discreet Logic Inc Grain matching of composite image in image
US6370192B1 (en) * 1997-11-20 2002-04-09 Hitachi America, Ltd. Methods and apparatus for decoding different portions of a video image at different resolutions
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
US6667815B1 (en) * 1998-09-30 2003-12-23 Fuji Photo Film Co., Ltd. Method and apparatus for processing images
US6724942B1 (en) * 1999-05-24 2004-04-20 Fuji Photo Film Co., Ltd. Image processing method and system
US6317216B1 (en) 1999-12-13 2001-11-13 Brown University Research Foundation Optical method for the determination of grain orientation in films
WO2001077871A1 (en) 2000-04-07 2001-10-18 Demografx Enhanced temporal and resolution layering in advanced television
US6940993B2 (en) * 2000-12-13 2005-09-06 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7899113B2 (en) * 2003-04-10 2011-03-01 Thomson Licensing Technique for simulating film grain on encoded video
US20040208389A1 (en) * 2003-04-15 2004-10-21 Silicon Integrated Systems Corp. Digital picture processing method
CA2526016C (en) 2003-05-15 2015-11-17 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
ZA200602349B (en) * 2003-09-23 2007-10-31 Thomson Licensing Technique for simulating film grain using frequency filtering
WO2005034518A1 (en) * 2003-09-23 2005-04-14 Thomson Licensing S.A. Method for simulating film grain by mosaicing pre-computed samples
MXPA06004097A (es) * 2003-10-14 2006-06-27 Thomson Licensing Tecnica para la adicion de ruido reconfortante de bit exacto.
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
PL1812905T3 (pl) * 2004-11-17 2019-10-31 Interdigital Vc Holdings Inc Sposób symulacji ziarna filmu o dokładności bitowej na podstawie wstępnie obliczonych przekształconych współczynników
CN101061724A (zh) * 2004-11-22 2007-10-24 汤姆森许可贸易公司 用于胶片颗粒仿真的胶片颗粒高速缓存分摊方法、装置和系统
KR101166948B1 (ko) * 2004-11-23 2012-07-19 톰슨 라이센싱 낮은 복잡도의 필름 그레인 시뮬레이션 기법
US8023567B2 (en) * 2004-11-24 2011-09-20 Thomson Licensing Film grain simulation technique for use in media playback devices
JP4914026B2 (ja) * 2005-05-17 2012-04-11 キヤノン株式会社 画像処理装置及び画像処理方法
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020034337A1 (en) 2000-05-23 2002-03-21 Shekter Jonathan Martin System for manipulating noise in digital images
WO2004066634A1 (en) 2003-01-20 2004-08-05 Koninklijke Philips Electronics N.V. Video coding

Also Published As

Publication number Publication date
US20060140278A1 (en) 2006-06-29
WO2006047138A2 (en) 2006-05-04
CA2584027C (en) 2014-12-30
WO2006047138A3 (en) 2006-08-03
CN101095356B (zh) 2013-06-19
CA2584027A1 (en) 2006-05-04
EP1803303A2 (en) 2007-07-04
EP1803303B1 (en) 2019-12-04
KR20070084390A (ko) 2007-08-24
US7738722B2 (en) 2010-06-15
CN101095356A (zh) 2007-12-26
JP2008518510A (ja) 2008-05-29
JP4920592B2 (ja) 2012-04-18

Similar Documents

Publication Publication Date Title
KR101174179B1 (ko) 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술
AU2004241535B2 (en) Method and apparatus for representing image granularity by one or more parameters
US8447127B2 (en) Film grain simulation method
AU2004306091A1 (en) Technique for simulating film grain using frequency filtering
US8150206B2 (en) Method and apparatus for representing image granularity by one or more parameters

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20070518

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20100903

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120208

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120726

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120808

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120808

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150716

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160720

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160720

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170719

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180718

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20190809

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20190809

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20200729

Start annual number: 9

End annual number: 9

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220519