KR20060118524A - 필름 그레인 패턴의 데이터베이스를 이용하는 필름 그레인시뮬레이션 기법 - Google Patents

필름 그레인 패턴의 데이터베이스를 이용하는 필름 그레인시뮬레이션 기법 Download PDF

Info

Publication number
KR20060118524A
KR20060118524A KR1020067010849A KR20067010849A KR20060118524A KR 20060118524 A KR20060118524 A KR 20060118524A KR 1020067010849 A KR1020067010849 A KR 1020067010849A KR 20067010849 A KR20067010849 A KR 20067010849A KR 20060118524 A KR20060118524 A KR 20060118524A
Authority
KR
South Korea
Prior art keywords
film grain
block
values
pixels
film
Prior art date
Application number
KR1020067010849A
Other languages
English (en)
Other versions
KR101180184B1 (ko
Inventor
제프리 알렌 쿠퍼
질 맥도날드 보이세
알렉산드로스 토라피스
크리스티나 고밀라
조안 르라츠
펭 인
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20060118524A publication Critical patent/KR20060118524A/ko
Application granted granted Critical
Publication of KR101180184B1 publication Critical patent/KR101180184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Sampling And Sample Adjustment (AREA)

Abstract

영상 블록 내 개별 픽셀은 영상 블록의 루마 특성에 따라 이전에 확립된 필름 그레인 블록의 풀(18)로부터 랜덤하게 선택되는 필름 그레인 블록의 필름 그레인과 혼합된다. 혼합 이전에, 선택된 필름 그레인 블록은 디블로킹 필터(28)에 의해 디블로킹된다. 혼합 이후에, 클리퍼(32)는 표시 이전의 개별 픽셀을 클리핑한다. 필름 그레인 블록의 풀(18)은, 영상 블록을 수반하는 필름 그레인 정보 메시지의 적어도 하나의 파라미터에 따라 일련의 필름 그레인 패턴을 스케일링함으로써 생성한다.
영상 블록, 픽셀, 필름 그레인, 루마, 디블로킹

Description

필름 그레인 패턴의 데이터베이스를 이용하는 필름 그레인 시뮬레이션 기법{TECHNIQUE FOR FILM GRAIN SIMULATION USING A DATABASE OF FILM GRAIN PATTERNS}
관련 출원의 상호 참조
본 출원은 2003년 12월 5일자로 출원한 미국 가출원 번호 제60/527,895호에 대한 U.S.C 119(e)하에서의 우선권을 주장하며, 그 출원의 내용은 본 명세서에 포함한다.
본 발명은 영상에 필름 그레인(film grain)을 시뮬레이션하기 위한 기법에 관한 것이다.
영화 필름은, 필름 베이스(film base) 위에 얇은 층으로 코팅된 감광 유제에 분산되는 할로겐화은 결정(silver-halide crystal)을 포함한다. 이러한 결정을 노광 및 현상하여 은의 불연속적인 미립자로 구성되는 광학 영상을 형성한다. 컬러 네거티브(color negative)에서는, 필름 스톡(film stock)의 현상 동안 은의 화학적인 제거 이후에 은 결정 형성 장소에 염료의 작은 블롭(blob)이 발생한다. 이러한 염료의 작은 알맹이는 컬러 필름에서의 '그레인(grain)'이라고 공통으로 부른다. 은 결정은 본래의 감광 유제상에 랜덤하게 형성되기 때문에, 그레인은 그 결과적인 영상에 랜덤하게 분포하는 것처럼 보인다. 균일하게 노출되는 영역 내에서는, 일부 결정은 노광 후 현상되는 반면, 다른 결정은 현상되지 않는다.
그레인은 크기 및 모양이 다양하다. 필름이 고감도일수록, 형성되는 은의 클럼프(clump) 및 생성되는 염료의 블롭은 더 커지고, 서로 랜덤한 패턴으로 그룹화되는 경향이 더 커진다. 용어 "입상(granularity)"은 통상적으로 그레인 패턴을 나타낸다. 육안으로는 0.0002㎜∼약 0.002㎜로 다양한 개개의 그레인을 구별할 수 없다. 대신, 육안으로는 그레인의 그룹을 구별하고, 이를 블롭으로 간주한다. 뷰어는 이러한 블롭의 그룹을 필름 그레인으로서 식별한다. 영상 해상력이 커짐에 따라, 필름 그레인의 인지도 높아진다. 필름 그레인은 영화 및 HD(High Definition) 영상에서 뚜렷하게 눈에 띄는 반면, 필름 그레인은 SD(Standard Definition)에서는 그 중요성을 점차 잃어가고, 더 작은 포맷에서는 인지할 수 없게 된다.
영화 필름은, 광학 필름을 노광 및 현상하는 물리적 처리 또는 영상의 편집으로부터 발생하는 영상 종속형 잡음(image-dependent noise)을 통상적으로 포함한다. 광학 필름은 특유의 준-랜덤(quasi-random) 패턴, 또는 사진 유제의 물리적 입상으로부터 발생하는 조직(texture)을 지닌다. 대안으로, 컴퓨터 생성 영상(computed-generated image)을 광학 필름과 혼합하기 위하여, 유사한 패턴의 시뮬레이션이 컴퓨터 생성 영상에서 발생할 수 있다. 두 경우 모두, 영상 종속형 잡음은 "필름 그레인"을 명시한다. 매우 흔히, 적당한 그레인 조직은 동화상에 원하는 특징을 제공한다. 몇몇 예에서, 필름 그레인은 2차원 화상을 정확하게 인지할 수 있게 하는 시각 신호(visual cue)를 제공한다. 필름 그레인은 시간 기준, 시각 포인트 등에 관한 다양한 정보를 제공하는 단일 필름 내에서 자주 변한다. 영화 산업에서는 그레인 조직을 제어하기 위한 많은 다른 기술적 및 예술적 요구가 존재한다. 그러므로 영상 처리 및 전달 과정 동안 영상의 선명하지 않은 외형을 보존하는 것은 영화 산업에서의 필수조건이 되었다.
몇몇 상업적으로 이용가능한 제품은, 흔히 컴퓨터 생성 물체(computer-generated object)를 자연스러운 장면에 혼합하기 위하여, 필름 그레인을 시뮬레이션할 수 있다. 그레인 시뮬레이션을 구현하는 최초의 디지털 필름 애플리케이션 중 하나인 Eastman Kodak Co, Rochester New York의 Cineon
Figure 112006039190574-PCT00001
은 많은 그레인 타입에 대해 매우 현실적인 결과를 제공한다. 그러나 그 애플리케이션이 높은 그레인 크기 세팅에 대해 제공하는 눈에 띄는 대각선 줄무늬 때문에, Cineon
Figure 112006039190574-PCT00002
애플리케이션은 많은 고속 필름에 대해서는 양호한 성능을 제공하지 못한다. 또한, 영상이 종래의 프로세싱에 관련될 때, 예를 들어 영상이 복사 또는 디지털 처리될 때, Cineon
Figure 112006039190574-PCT00003
애플리케이션은 그레인을 적당한 충실도(fidelity)로 시뮬레이션하지 못한다.
필름 그레인을 시뮬레이션하는 또 다른 상업적인 제품은 Visual Infinity Inc.,의 Grain Surgery TM이고, 이는 Adobe
Figure 112006039190574-PCT00004
After Effects
Figure 112006039190574-PCT00005
의 플러그-인으로서 사용한다. Grain Surgery TM 제품은 일련의 난수(random number)를 필터링함으로써 합성 그레인을 생성하는 것처럼 보인다. 이 접근법은 높은 계산 복잡도의 단점이 있다.
따라서, 필요한 메모리 대역폭 및 계산 노력을 줄이고, 셋톱 박스와 같은 비용에 민감한 대용량 디바이스에서 필름 그레인 시뮬레이션을 가능하게 하는 효율적인 필름 그레인 시뮬레이션 기법이 필요하다.
<발명의 개요>
간략하게 설명하면, 본 발명의 양상에 따르면, 필름 그레인을 갖는 M×N 픽셀의 블록을 생성하고 영상 블록의 픽셀과 혼합하기 위한 방법을 제공하는데, 여기서 N 및 M은 0보다 큰 정수이다. 본 방법은, 필름 그레인 블록에 나타나는 필름 그레인의 속성을 지정하는 적어도 하나의 파라미터를 포함하는 필름 그레인 정보를 수신 시에 시작된다. (전송되지 않은 그러한 파라미터는 디폴트값으로 설정된다. 특정 실시예에서, 디폴트값은 H.2641AVC 표준에서 지정된 바와 같이 유도될 수 있다.) M×N 픽셀의 필름 그레인 블록은 필름 그레인을 포함하는 이전에 확립된 블록의 데이터베이스로부터 유사 난수 및 필름 그레인 패턴의 특성을 기술하는 일련의 컷 주파수(cut frequency)의 함수로서 선택한다. 선택된 필름 그레인 블록 내의 모든 픽셀 값은 수신된 필름 그레인 정보 내의 파라미터에 따라 스케일링된다. 다음으로, 필름 그레인의 생성된 블록은 필름 그레인 블록의 풀의 일부분이 되고, 그 풀로부터 영상 블록 내의 픽셀과 혼합하기 위한 블록을 선택하여, 영상 블록에 필름 그레인을 시뮬레이션한다.
본 발명의 다른 양상에 따르면, 픽셀의 영상 블록에 필름 그레인을 시뮬레이션하기 위한 방법을 제공한다. 본 방법은 사전확립된 필름 그레인 값의 풀로부터 필름 그레인의 블록을 선택 시에 시작된다. 필름 그레인의 블록은, 영상 블록의 루마 평균값에 대응하는 루마 강도 인터벌에 대한 풀로부터의 그러한 블록 중에서 난수에 따라 랜덤하게 선택한다. 선택된 필름 그레인 블록은 디블로킹한다. 디블로킹된 필름 그레인 블록의 적어도 일부분은 필름 그레인을 시뮬레이션하는 영상 블록의 개별 픽셀과 혼합하고, 혼합된 픽셀은 표시 등과 같은 출력 이전에 클리핑한다.
도 1은 필름 그레인 시뮬레이션용 사전확립된 필름 그레인 블록을 생성하기 위한 장치의 블록 구조도를 도시한다.
도 2는 도 1의 장치에 의해 생성되는 사전확립된 필름 그레인 블록을 이용하여 픽셀 대 픽셀 기반에 필름 그레인을 시뮬레이션하기 위한 본 원리에 따른 장치의 블록 구조도를 도시한다.
도입
본 원리에 따르면, 필름 그레인 시뮬레이션은 시뮬레이션된 그레인이 혼합되는 영상과 함께 전송되는 필름 그레인 정보에 따라 발생한다. 실제로, 전송되는 영상은 잘 알려진 다양한 압축 기법 중 하나, 예컨대 H.264 압축 기법을 통해 통상적으로 전송 이전에 압축(인코딩)한다. H.264 압축 기법을 사용하여 압축한 영상을 전송함과 함께, 필름 그레인 정보는 통상적으로 SEI(Supplemental Enhancement Information) 메시지를 통해 전송한다. H.264 표준을 보급하기 위한 표준 단체가 최근에 채택한 기고문에 따르면, 이제, SEI 메시지는 서로 다른 필름 그레인 속성 을 지정하는 다양한 파라미터를 포함할 수 있다.
필름 그레인 SEI 메시지 파라미터에 대한 제약
본 원리에 따른 방법은 H.264 권고에 의해 허용되는 파라미터의 수 및 그 파라미터의 가능한 값의 범위에 대해 일부 제약을 부과한다. 표 1은 그러한 파라미터의 리스트를 제공하는데, 그러한 파라미터의 의미론적인 해설 및 본 원리에 따라 부과되는 제약을 포함한다.
필름 그레인 파라미터 해설 & 제약
model_id 이 파라미터는 시뮬레이션 모델을 지정한다. 이는, 필름 그레인 시뮬레이션 모델을 주파수 필터링으로서 식별할 때 0이 된다.
separate_colour_description_present_flag 이 파라미터는, 파라미터가 평가되는 색 공간은 비디오 시퀀스(여기서, 필름 그레인 SEI 메시지는 내장됨)가 인코드되는 색 공간과는 다른지 여부를 지정한다. 이는, 인코드된 시퀀스와 동일한 필름 그레인에 대한 색 공간을 식별할 때 0이 된다.
blending_mode_id 이 파라미터는 시뮬레이션된 필름 그레인을 디코드된 영상과 혼합하는 데 사용하는 혼합 모드를 식별한다. 이는, 추가 혼합 모드에 대응할 때 0이 된다.
log2_scale_factor 이 파라미터는 SEI 메시지 내 필름 그레인 파라미터를 나타내는 데 사용하는 로그 스케일 팩터를 식별한다. 이는, 필름 그레인 시뮬레이션은 16비트 산술을 이용하여 수행할 수 있다는 점을 보증하는 범위 [0,4] 내에 존재하게 된다.
comp_model_present_flag[1] 이 파라미터는 YCbCr 색 공간 내 Cb 색 성분에 대한 필름 그레인 파라미터의 전송을 가능하게 한다. 이는, 채도에서의 필름 그레인 시뮬레이션이 지원되지 않기 때문에 0이 된다.
comp_model_present_flag[2] 이 파라미터는 YCbCr 색 공간 내 Cr 색 성분에 대한 필름 그레인 파라미터의 전송을 가능하게 한다. 이는, 채도에서의 필름 그레인 시뮬레이션이 지원되지 않기 때문에 0이 된다.
num_intensity_intervals_minus1[0] 이 파라미터는, 파라미터의 특정 세트가 평가되는 강도 인터벌의 수를 정의한다. 이는 범위 [0,7] 내에 존재하게 된다.
intensity_interval_lower_bound[0][i+1], intensity_interval_upper_bound[0][i] 이러한 파라미터는 서로 다른 필름 그레인 파라미터가 정의되는 루마 강도 레벨의 경계를 정의한다. 인터벌 i+1의 하부 경계는, 다세대의 필름 그레인이 허용되지 않기 때문에, 인터벌 i의 상부 경계보다 더 커야한다.
num_model_values_minus1[0] 이 파라미터는 필름 그레인이 모델화되는 각 강도 인터벌에 대해 제공되는 모델 값의 수를 지정한다. 이는, 색 상관이 허용되지 않기 때문에, 범위 [0,2] 내에 존재하게 된다.
comp_model_value[0][i][0] 이 파라미터는 필름 그레인이 모델화되는 각 휘도 강도 인터벌에 대한 필름 그레인 강도를 나타낸다. 이는, 필름 그레인 시뮬레이션은 16비트 산술을 이용하여 수행할 수 있다는 점을 보증하는 범위 [0,255] 내에 존재하게 된다.
본 원리에 따르면, 파라미터 comp_model_value[0][i][1] 및 comp_model_value[0][i][2]는 서로 다른 값을 가질 수 있다. 그러나 표 2에 열거한 바와 같이, 수많은 제한된 서로 다른 쌍(comp_model_value[0][i][1], comp_model_value[0][i][2])만은 허용한다.
comp_model_value[0][i][1] comp_model_value[0][i][2]
4 3
6 4
7 5
8 6
10 7
11 8
13 9
14 10
15 11
15 12
15 13
15 14
15 15
필름 그레인 SEI 메시지의 모든 다른 파라미터는 표준 사양에 대한 제약이 없다.
필름 그레인 시뮬레이션의 비트 정밀한 구현
본 원리에 따른 필름 그레인 시뮬레이션은 2단계의 프로세스로 나타낸다. 먼저, 도 1에 대해 상세하게 기술하는 바와 같이, SEI 메시지 수신 이후 I 화상 수신 이전의 초기화 동안 필름 그레인 블록의 풀(pool)이 생성된다. 필름 그레인 블록의 풀로부터 값의 특정 블록이 선택된다. 그 후, 도 2에 대해 기술하는 바와 같이, 선택된 블록의 부분은 각각 디코드된 화상의 각 휘도 픽셀에 부가된다.
도 1은 필름 그레인 시뮬레이션용 필름 그레인 블록의 풀을 생성하기 위한 본 원리의 예시적인 실시예에 따른 장치(10)를 도시한다. 필름 그레인 정보를 포함한 필름 그레인 SEI 메시지의 수신 시, 초기화 프로세스는 8개의 상이한 루마 강도 인터벌(luma intensity interval) 각각에 대해 4,096(512×8) 필름 그레인 픽셀 값의 풀을 생성한다. 루마 강도 인터벌의 수는 1 + SEI 메시지 필드 num_intensity_interval_minus1[0]에 의해 나타낸다. 필름 그레인 샘플은 가장 낮은 루마 강도 인터벌과 함께 생성되기 시작한다.
필름 그레인 잡음의 비트 정밀한 시뮬레이션은, 지정된 균일한 유사-난수 생성기 다항식을 이용하고, 필름 그레인 패턴의 지정된 데이터베이스(12)를 이용함으로써 통상적으로 발생한다. 실제로, 필름 그레인 패턴의 데이터베이스(12)는 필름 그레인의 4,096(512×8) 값의 26세트(둥근 그레인을 갖는 13세트 및 긴 그레인을 갖는 13세트)를 포함한다. 그 값은 2의 보수 형태로 저장되고, [-127,127] 범위에 이른다. 각 세트에 대한 값의 리스트는 사전정의할 수 있고, 시스템에 의해 액세스 가능한 영구적인 저장부에 저장할 수 있으며, 또는 시스템 초기화 또는 리셋 시 비트 정밀한 방법을 이용하여 생성할 수 있다.
데이터베이스(12)에 저장된 필름 그레인 패턴은 선택 블록(14)에서의 선택과, 스케일링 블록(16)에서의 스케일링을 통해 필름 그레인 블록의 풀(18)을 얻는다. 필름 그레인 패턴 데이터베이스(12)의 액세스, 블록(16)에 의한 값의 스케일링 및 풀(18) 블록에서의 스케일링된 값의 저장은 다음의 루틴에 따라 발생한다.
for(i=0..4,095)
v=comp_model_value[0][s][0]*database[m][n][i]
pool[s][i]=(((v+2log2 _scale_factor-1)>>log2_scale_factor)+32)>>6
여기서, n은 comp_model_value[0][s][2]-3과 동일하고, m은 num _ param _ minus1 [0]이 1인 경우에는 0과 동일하고, 1이 아닌 경우에는 1과 동일하며, 팩터 6은 데이터베이스에 저장된 필름 그레인 값을 스케일링한다. 이 프로세스는 1 + SEI 메시지 필드 num _intensity_intervals_ minus1 [0]에 의해 표시되는 횟수만큼 수행된다.
픽셀 표시 이전의 블록 및 픽셀 동작
도 2는 블록 및 픽셀 레벨에서 필름 그레인을 디코드된 화상에 부가하는 데 필요한 동작을 수행하기 위한 장치(20)를 도시한다. 루마 평균화 블록(22)은 디코드된 영상의 각 8×8 블록을 처리하고, SEI 메시지 intensity_interval_lower_bound[0][i] 및 intensity_interval_upper_bound[0][i] 파라미터에 대한 비교를 위하여 루마 픽셀 값의 평균을 계산하여 블록에 대한 정확한 루마 강도 인터벌을 결정한다. 균일한 난수 생성기(24)는 원시 다항식 모듈 2 연산자 x18+x5+x2+x1+1을 이용하여 선택기 블록(26)으로의 입력용 난수를 생성한다. 선택기 블록(26)은 필름 그레인 풀(18)에 액세스하여, 난수 및 루마 강도 값에 따라 필름 그레인 블록을 선택한다.
난수 생성기(24)가 필름 그레인 블록 선택을 위한 난수를 생성하는 방식을 이해하기 위하여, x(i,e)는 초기 시드(initial seed) e로 시작하는 시퀀스 x의 ith 심벌을 나타낸다고 하자. (시드는 각 필름 그레인 SEI 메시지의 수신 시 1로 설정된다.) 필름 그레인의 현재 8×8 블록에 대한 오프셋은 다음과 같이 생성한다.
previous_offset=offset
offset=(x(i,1)%4,088)>>2
offset^=(index==previous_offset)
offset<<=2
여기서, 오프셋은 풀의 생성 후 0으로 초기화된다. 오프셋 계산 후, 필름 그레인의 8×8 블록은 다음과 같이 풀로부터 추출된다.
for(i=0..7,j=0..7)
block[i][j]=pool[s][offset+1+j*4096]
난수 생성기(24)로부터의 난수 및 블록(22)으로부터의 평균 휘도 값에 따라 선택기 블록이 선택한 필름 그레인 블록은, 혼합 이전의 디블로킹 필터(deblocking filter)(28)에 의해 블록의 좌우 열(column)에 있는 픽셀의 디블로킹이 이루어진다. 그 후, 덧셈기(30)는 디블로킹된 필름 그레인 블록의 대응 값을 대응하는 디코드된 픽셀에 부가하고, 클리퍼(clipper)(32)는 디스플레이(도시하지 않음)상에 표시 또는 그 다음 기록을 위한 필름 그레인과 혼합되는 루마 픽셀을 생성하는 범위 [0,255] 내의 결과를 클리핑한다. 필름 그레인 잡음은 루마 픽셀에 단지 부가된다는 점을 알아야 한다.
디블로킹 필터(28)
기술한 바와 같이, 디블로킹 필터는 혼합(blending) 전에 필름 그레인 블록을 디블로킹하여, 작은 크기의 변형의 결과인 블로킹 산물(blocking artifact)을 제거한다. 예시적인 실시예에서, 디블로킹 필터(28)는 8×8 블록 좌우 에지에 접하는 모든 픽셀에 적용하는 3-탭 필터를 포함한다. 2개의 인접한 8×8 블록에 속하는 픽셀의 행(row)이 주어지면, 블록 간의 변화는 픽셀 b와 c 사이에 존재한다.
Figure 112006039190574-PCT00006
그 필터는 다음과 같이 적용한다.
b'=(a+(b<<1)+c)>>2
c'=(b+(c<<1)+d)>>2
여기서, b' 및 c'은 본래의 픽셀 b 및 c의 값을 각각 대체한다. 좌우 블록 에지의 디블로킹은 표시 시간에 모든 블록마다 이루어진다.
필름 그레인 시뮬레이션을 위한 상술한 방법은 DVD 플레이어(또는 플레이어/리코더)와 같은 콘텐츠 복제 디바이스 또는 셋톱 박스 등과 같은 콘텐츠 전달 메커니즘에 의해 용이하게 실행될 수 있다. DVD 플레이어 또는 DVD 플레이어/리코더와 같은 콘텐츠 복제 디바이스의 경우, 콘텐츠 매체(예컨대, DVD)는 콘텐츠 자체(즉, 압축된 비디오)와 함께 필름 그레인 정보를 저장하고 있어, 콘텐츠 복제 디바이스로 하여금 상술한 방식으로 필름 그레인을 시뮬레이션하게 한다. 따라서, 예를 들어 DVD는 통상적으로 압축된 매크로블록의 형태인 영상 정보뿐만 아니라, DVD 플레이어 또는 플레이어/리코더로 하여금 표시용 압축해제된 비디오와 필름 그레인을 혼합하게 하는 필름 그레인 정보 둘 다를 지닌다.
지금까지 영상에서의 필름 그레인 시뮬레이션 기법을 기술하였다. 유용하게도, 필름 그레인 시뮬레이션 기법은 파라미터 num_model_values_minus1[0]에 대한 허용 값뿐만 아니라, 파라미터 comp_model_value[0][i][1] 및 comp_model_value[0][i][2]에 대한 허용 값으로 인하여 긴 필름 그레인을 시뮬레이션할 수 있다. 더욱이, 본 원리의 필름 그레인 시뮬레이션 기법에 따르면, 샘플의 데이터베이스(12)로부터 필름 그레인 샘플 중 하나의 세트를 선택함으로써, DCT(Discrete Cosine Transform) 및 인버스 DCT를 수행할 필요가 없다.

Claims (17)

  1. 필름 그레인을 갖는 M×N 픽셀의 블록을 생성하고 영상과 혼합하여 필름 그레인을 시뮬레이션하기 위한 방법으로서,
    N 및 M은 0보다 큰 정수이고,
    영상 블록에 나타나는 필름 그레인의 속성을 지정하는 적어도 하나의 파라미터를 포함하는 필름 그레인 정보를 수신하는 단계,
    사전확립된 디폴트값에 기초하여 미전송된 파라미터를 유도하는 단계,
    필름 그레인을 포함하는 이전에 확립된 일련의 블록 중에서 M×N 픽셀의 필름 그레인 블록을 유사 난수 및 상기 필름 그레인의 특성을 기술하는 적어도 하나의 파라미터의 함수로서 선택하는 단계,
    상기 필름 그레인의 특성을 기술하는 적어도 하나의 파라미터가 나타내는 블록 내 모든 픽셀 값을 스케일링하는 단계, 및
    생성된 필름 그레인의 블록을 필름 그레인 블록의 풀에 저장하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 선택 단계는 4096개 값 각각의 사전설정된 수의 세트 중에서 선택하는 단계를 더 포함하는 방법.
  3. 제2항에 있어서,
    값의 사전설정된 수의 세트 각각은 512×8 행렬로서 배열되는 방법.
  4. 제3항에 있어서,
    값의 사전설정된 수의 세트는 2의 보수 형태로 저장되고, [-127,127] 범위인 방법.
  5. 제1항에 있어서,
    상기 필름 그레인 블록의 풀로부터 필름 그레인 블록을 유사 난수 및 입력되는 영상의 루마 특성에 따라 선택하는 단계,
    상기 선택된 필름 그레인 블록의 대향하는 에지를 디블로킹하는 단계,
    상기 디블로킹된 선택된 필름 그레인 블록의 적어도 일부분을 상기 영상 블록 내 각 픽셀과 혼합하는 단계, 및
    필름 그레인과 혼합된 영상 블록 픽셀을 클리핑하는 단계
    를 더 포함하는 방법.
  6. 픽셀의 영상 블록에 필름 그레인을 시뮬레이션하기 위한 방법으로서,
    상기 영상 블록의 루마 특성에 대응하는 루마 값에 대한 사전확립된 필름 그레인 블록의 풀로부터 필름 그레인의 블록을 랜덤하게 선택하는 단계,
    상기 선택된 필름 그레인 블록을 디블로킹하는 단계,
    상기 디블로킹된 필름 그레인 블록의 적어도 일부분을 상기 영상 블록의 각 픽셀과 혼합하여 필름 그레인을 시뮬레이션하는 단계, 및
    상기 혼합된 픽셀을 출력 이전에 클리핑하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    상기 사전확립된 필름 그레인 블록의 풀은,
    상기 영상 블록에 나타나는 필름 그레인의 속성을 지정하는 적어도 하나의 파라미터를 포함하는 필름 그레인 정보를 수신하는 단계,
    필름 그레인을 포함하는 이전에 확립된 일련의 블록 중에서 M×N 픽셀의 필름 그레인 블록을 유사 난수의 함수로서 선택하는 단계,
    상기 수신된 필름 그레인 정보 내의 파라미터가 나타내는 블록 내 모든 픽셀 값을 스케일링하는 단계, 및
    생성된 필름 그레인의 블록을 필름 그레인 블록의 풀에 저장하는 단계
    에 의해 생성하는 방법.
  8. 제7항에 있어서,
    상기 선택 단계는 4096개 값 각각의 사전설정된 수의 세트 중에서 선택하는 단계를 더 포함하는 방법.
  9. 제8항에 있어서,
    값의 사전설정된 수의 세트 각각은 512×8 행렬로서 배열되는 방법.
  10. 제8항에 있어서,
    값의 사전설정된 수의 세트는 2의 보수 형태로 저장되고, [-127,127] 범위인 방법.
  11. 청구항 7의 방법에 따라 필름 그레인과 혼합하기 위한 비디오 데이터를 포함하는 데이터 캐리어.
  12. 제11항에 있어서,
    상기 데이터 캐리어는 DVD를 포함하는 데이터 캐리어.
  13. M×N 픽셀의 블록을 생성하기 위한 장치로서,
    M 및 N은 정수이고,
    필름 그레인을 포함하는 이전에 확립된 일련의 M×N 픽셀 블록을 저장하기 위한 제1 저장부,
    제1 저장부로부터 M×N 픽셀의 필름 그레인 블록을 유사 난수의 함수로서 선택하기 위한 선택기,
    상기 선택된 필름 그레인 블록 내 모든 픽셀 값을 스케일링 블록에 의해 수 신된 필름 그레인 정보의 적어도 하나의 파라미터에 따라 스케일링하기 위한 스케일링 블록, 및
    상기 스케일링된 필름 그레인 블록을 저장하기 위한 제2 저장부
    를 포함하는 장치.
  14. 제13항에 있어서,
    상기 제1 저장부는 4096개 값 각각의 사전설정된 수의 세트를 저장하는 장치.
  15. 제13항에 있어서,
    값의 사전설정된 수의 세트 각각은 512×8 행렬로서 배열되는 장치.
  16. 제15항에 있어서,
    값의 사전설정된 수의 세트는 2의 보수 형태로 저장되고, [-127,127] 범위인 장치.
  17. 픽셀의 영상 블록에 필름 그레인을 시뮬레이션하기 위한 장치로서,
    이전에 확립된 필름 그레인 값의 풀,
    상기 영상 블록의 루마 특성에 대응하는 루마 값에 대한 사전확립된 필름 그레인 블록의 풀로부터 필름 그레인의 블록을 랜덤하게 선택하기 위한 선택기,
    상기 선택된 필름 그레인 블록을 디블로킹하기 위한 디블로킹 필터,
    상기 디블로킹된 필름 그레인 블록의 적어도 일부분을 필름 그레인을 상기 영상 블록의 각 픽셀과 혼합하여 시뮬레이션하기 위한 덧셈기, 및
    상기 혼합된 픽셀을 출력 이전에 클리핑하기 위한 클리퍼
    를 포함하는 장치.
KR1020067010849A 2003-12-05 2004-12-01 필름 그레인 패턴의 데이터베이스를 이용하는 필름 그레인시뮬레이션 기법 KR101180184B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US52789503P 2003-12-05 2003-12-05
US60/527,895 2003-12-05
PCT/US2004/041164 WO2005057936A1 (en) 2003-12-05 2004-12-01 Technique for film grain simulation using a database of film grain patterns

Publications (2)

Publication Number Publication Date
KR20060118524A true KR20060118524A (ko) 2006-11-23
KR101180184B1 KR101180184B1 (ko) 2012-09-05

Family

ID=34676788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067010849A KR101180184B1 (ko) 2003-12-05 2004-12-01 필름 그레인 패턴의 데이터베이스를 이용하는 필름 그레인시뮬레이션 기법

Country Status (10)

Country Link
US (1) US20070117291A1 (ko)
EP (1) EP1690423B1 (ko)
JP (2) JP2007513434A (ko)
KR (1) KR101180184B1 (ko)
CN (1) CN1890978B (ko)
AU (1) AU2004298261B2 (ko)
BR (1) BRPI0417216B1 (ko)
RU (1) RU2346330C2 (ko)
WO (1) WO2005057936A1 (ko)
ZA (1) ZA200604413B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101047544B1 (ko) * 2010-01-25 2011-07-07 엠텍비젼 주식회사 카메라 기능을 구비한 휴대형 장치 및 그 이미지 처리 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1676445B1 (en) * 2003-09-23 2019-09-04 InterDigital VC Holdings, Inc. Method for simulating film grain by mosaicing pre-computed samples
JP2005100100A (ja) * 2003-09-25 2005-04-14 Toyota Motor Corp 車輪情報処理装置および車輪情報処理方法
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
RU2367020C2 (ru) * 2004-03-19 2009-09-10 Конинклейке Филипс Электроникс Н.В. Введение и выделение начального числа, связанного с телевизионным сигналом для создания псевдослучайного шума
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
ZA200703153B (en) * 2004-10-18 2008-08-27 Thomson Licensing Film grain simulation method
CA2587117C (en) * 2004-11-17 2014-02-11 Thomson Licensing Bit-accurate film grain simulation method based on pre-computed transformed coefficients
US8483288B2 (en) * 2004-11-22 2013-07-09 Thomson Licensing Methods, apparatus and system for film grain cache splitting for film grain simulation
DE602005015249D1 (de) 2004-11-23 2009-08-13 Thomson Licensing Filmkörnigkeitssimulationstechnik mit geringer komplexität
BRPI0518258A2 (pt) * 2004-11-24 2008-11-11 Thomson Licensing tÉcnica de simulaÇço de granulaÇço de filme para uso nos dispositivos de reproduÇço de mÍdia
EP1670255A1 (en) * 2004-12-08 2006-06-14 Koninklijke Philips Electronics N.V. Electronic image processing method and device with linked random generators
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
US7684626B1 (en) * 2005-12-01 2010-03-23 Maxim Integrated Products Method and apparatus for image decoder post-processing using image pre-processing and image encoding information
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
US8334912B2 (en) * 2008-09-03 2012-12-18 Olympus Imaging Corp. Image processing apparatus, imaging apparatus, image processing method, and computer readable recording medium storing image processing program
US20100110287A1 (en) * 2008-10-31 2010-05-06 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method and apparatus for modeling film grain noise
CN101778300B (zh) * 2008-12-05 2012-05-30 香港应用科技研究院有限公司 模拟胶片颗粒噪声的方法和装置
JP5484310B2 (ja) * 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5595257B2 (ja) * 2010-12-24 2014-09-24 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
CN114945944A (zh) * 2019-12-19 2022-08-26 杜比实验室特许公司 用于数字图像的噪声合成

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01156069A (ja) * 1987-12-14 1989-06-19 Canon Inc 画像処理装置
FR2641832B1 (fr) * 1989-01-13 1991-04-12 Melchior Jean Accouplement pour la transmission de couples alternes
US4935816A (en) * 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
AU642540B2 (en) * 1990-09-19 1993-10-21 Philips Electronics N.V. Record carrier on which a main data file and a control file have been recorded, method of and device for recording the main data file and the control file, and device for reading the record carrier
US5140414A (en) * 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5687011A (en) * 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
US5374954A (en) * 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5457491A (en) * 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5335013A (en) * 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
US5471572A (en) * 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
US5475425B1 (en) * 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US5831673A (en) 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
WO1996013006A1 (en) * 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
US5629769A (en) * 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
JPH0962718A (ja) * 1995-08-23 1997-03-07 Sony Corp シミュレーション装置およびシミュレーション方法
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
JPH09307861A (ja) * 1996-05-17 1997-11-28 Sony Corp 信号処理方法及び信号処理装置
JP2000013585A (ja) * 1998-06-19 2000-01-14 Sony Corp 付加情報の重畳装置、付加情報の重畳方法、画像情報記録装置および画像情報記録方法
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP2001357095A (ja) * 2000-06-12 2001-12-26 Fujitsu Ltd 半導体装置設計支援装置
US6987586B2 (en) * 2001-03-02 2006-01-17 Eastman Kodak Company Method of digital processing for digital cinema projection of tone scale and color
US20030206662A1 (en) * 2002-05-03 2003-11-06 Avinash Gopal B. Method and apparatus for improving perceived digital image quality
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
BRPI0518258A2 (pt) * 2004-11-24 2008-11-11 Thomson Licensing tÉcnica de simulaÇço de granulaÇço de filme para uso nos dispositivos de reproduÇço de mÍdia

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101047544B1 (ko) * 2010-01-25 2011-07-07 엠텍비젼 주식회사 카메라 기능을 구비한 휴대형 장치 및 그 이미지 처리 방법

Also Published As

Publication number Publication date
US20070117291A1 (en) 2007-05-24
BRPI0417216A (pt) 2007-02-21
ZA200604413B (en) 2007-10-31
AU2004298261B2 (en) 2010-02-25
JP5876691B2 (ja) 2016-03-02
CN1890978B (zh) 2013-06-26
JP2007513434A (ja) 2007-05-24
JP2012059267A (ja) 2012-03-22
BRPI0417216B1 (pt) 2018-12-26
CN1890978A (zh) 2007-01-03
RU2006123942A (ru) 2008-01-10
KR101180184B1 (ko) 2012-09-05
EP1690423B1 (en) 2020-03-18
WO2005057936A1 (en) 2005-06-23
AU2004298261A1 (en) 2005-06-23
EP1690423A1 (en) 2006-08-16
RU2346330C2 (ru) 2009-02-10

Similar Documents

Publication Publication Date Title
KR101180184B1 (ko) 필름 그레인 패턴의 데이터베이스를 이용하는 필름 그레인시뮬레이션 기법
KR100989897B1 (ko) 비트-정확한 필름 그레인 시뮬레이션을 위한 방법 및 장치
KR101096916B1 (ko) 필름 그레인 시뮬레이션 방법
KR101274644B1 (ko) 매체 재생 디바이스에서 사용하기 위한 필름 그레인시뮬레이션 기술
KR101166948B1 (ko) 낮은 복잡도의 필름 그레인 시뮬레이션 기법
EP3457359B1 (en) Method and apparatus for representing image granularity by one or more parameters
KR101169826B1 (ko) 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법
EP1809043A1 (en) Technique for film grain simulation using a database of film grain patterns
MXPA06006308A (en) Technique for film grain simulation using a database of film grain patterns

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 8