KR20070084287A - 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법 - Google Patents

사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법 Download PDF

Info

Publication number
KR20070084287A
KR20070084287A KR20077011147A KR20077011147A KR20070084287A KR 20070084287 A KR20070084287 A KR 20070084287A KR 20077011147 A KR20077011147 A KR 20077011147A KR 20077011147 A KR20077011147 A KR 20077011147A KR 20070084287 A KR20070084287 A KR 20070084287A
Authority
KR
South Korea
Prior art keywords
bit
film grain
transform
accuracy
grain pattern
Prior art date
Application number
KR20077011147A
Other languages
English (en)
Other versions
KR101169826B1 (ko
Inventor
조안 래치
크리스티나 고밀라
제프리 알렌 쿠퍼
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20070084287A publication Critical patent/KR20070084287A/ko
Application granted granted Critical
Publication of KR101169826B1 publication Critical patent/KR101169826B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Detection And Correction Of Errors (AREA)
  • Investigating And Analyzing Materials By Characteristic Methods (AREA)

Abstract

비트-어큐리트 필름 그레인 패턴의 생성은 먼저 비트-어큐리트 변환 계수 세트를 설정함으로써 행해진다. 이 비트-어큐리트 변환 계수 세트는 주파수 필터링 및 후속하는 비트-어큐리트 역변환되어 필름 그레인 패턴을 발생시킨다.
필름 그레인 패턴, 주파수 필터링, 변환 계수, 가우스 난수 이미지, 이산 코사인 변환

Description

사전계산된 변환 계수들에 기초한 비트-어큐리트 필름 그레인 시뮬레이션 방법{BIT-ACCURATE FILM GRAIN SIMULATION METHOD BASED ON PRE-COMPUTED TRANSFORMED COEFFICIENTS}
관련 출원에 대한 상호 참조
본 출원은 15 U.S.C. 119(e)에 의거해 2004년 11월 17일자로 출원된 미국 가특허 출원 제60/628,837호의 우선권을 주장하며, 상기 출원의 개시 내용은 본 명세서에 참조결합되어 있다.
본 발명은 전반적으로 이미지에서의 필름 그레인(film grain)을 시뮬레이션하는 방안에 관한 것이다.
동화상 필름은 필름 베이스 상의 박막에 코팅된 에멀젼에 분산되어 있는 실버 핼라이드 크리스털(silver-halide crystal)을 포함한다. 이러한 크리스털의 노출 및 현상은 개별의 미세한 실버 입자들로 구성된 사진 이미지를 형성한다. 컬러 네거티브에서는, 이 실버가 현상 후에 화학적 제거과정을 거치며, 실버 크리스털이 형성하는 지점에 미세한 염료 얼룩이 발생한다. 이러한 미세 염료 얼룩이 컬러 필름에서의 '그레인'으로 통상 지칭된다. 그레인은 원 에멀젼 상의 실버 크리스털의 임의 형성으로 인해 최종 이미지상에 무작위로 분포되어 있다. 균일하게 노출된 영역내에서, 어떤 크리스털은 노출 후에 현상되지만, 다른 크리스털은 현상되지 않는다.
그레인은 크기 및 모양에서 가변적이다. 필름이 고속일수록, 형성된 실버 덩어리 및 생성된 염료 얼룩이 크며, 이들은 임의 패턴으로 더 쉽게 그룹화하는 경향이 있다. 그레인 패턴은 일반적으로 '입도(granularity)'라고 알려져 있다. 0.0002mm로부터 약 0.002mm로 변하는 개별 그레인을 육안으로 식별할 수는 없다. 대신에, 얼룩으로 지칭되는 그레인들의 그룹을 눈으로 볼 수 있다. 보는 사람은 이러한 얼룩 덩어리를 필름 그레인으로 식별한다. 이미지 해상도가 높아짐에 따라, 필름 그레인의 인지력도 높아진다. 필름 그레인은 영화 및 고해상도 이미지에서는 확실히 두드러지지만, SDTV에서는 점차 그 중요성을 상실하고 있으며, 더 작은 포맷에서는 인지할 수 없다.
동화상 필름은 일반적으로 사진 필름의 노출 및 현상의 물리적 처리 또는 그 이미지의 후속 편집 중 어느 하나에서 기인하는 이미지-의존형 잡음을 포함한다. 사진 필름은 그 사진 에멀젼의 물리적 입도로부터 기인하는 특징적인 의사 임의 패턴(quasi-random pattern) 또는 텍스처를 갖는다. 이와 달리, 유사한 패턴이 계산-생성된 이미지를 사진 필름과 혼합하기 위해 그 계산-생성된 이미지에 대해 시뮬레이션될 수 있다. 이 두 경우에, 이러한 이미지-의존형 잡음이 그레인으로 지칭된다. 아주 흔히, 적당한 그레인 텍스처가 동화상에서 바람직한 특성을 제공한다. 몇몇 경우에, 필름 그레인은 2차원 화상의 올바른 인지를 용이하게 하는 시각적 단서(visual cue)를 제공한다. 필름 그레인은 흔히 하나의 필름 내에서 변하여 시간 기준, 관점 등에 관한 다양한 실마리를 제공한다. 동화상 산업에서는 그레인 텍스처를 제어하기 위한 그 밖의 많은 기술적 및 예술적 이용들이 있다. 따라서, 이미지 처리 및 전송시 이미지의 그레인 외관을 유지하는 것이 동화상 산업에서 요구되고 있다.
여러 상업적으로 이용가능한 제품은 흔히 컴퓨터-생성 오브젝트를 자연 풍경에 혼합하기 위한 필름 그레인 시뮬레이션 능력을 가지고 있다. 그레인 시뮬레이션을 구현하는 제1의 디지털 필름 애플리케이션들 중 하나인 뉴욕 로체스터 소재의 Eastman Kodak사의 Cineon®은 많은 그레인 타입에 대해 매우 현실적인 결과를 제공한다. 그러나, Cineon® 애플리케이션은 큰 크기의 그레인 세팅에 대해 그 애플리케이션이 제공하는 감지가능한 대각 스트립으로 인해 많은 고속 필름에 대해서는 양호한 성능을 제공하지는 못한다. 또한, Cineon® 애플리케이션은, 예를 들어 이미지가 복사되거나 디지털 처리될 때와 같이, 그 이미지가 사전 처리될 때에는 그레인을 적절히 시뮬레이션하지 못한다.
필름 그레인을 시뮬레이션하는 다른 상업용 제품에는 Adobe®AfterEffects®의 플러그 인으로 이용되는 Visual Infinity사의 Grain SurgeryTM이 있다. Grain SurgeryTM 제품은 난수 세트를 필터링함으로써 합성 그레인을 생성하고 있다. 이 방안은 계산이 매우 복잡하다는 단점이 있다.
이러한 종래의 방안들 중 어떠한 방안도 압축 영상에서의 필름 그레인을 복원하는 문제를 해결하지 못한다. 필름 그레인은 영상 시퀀스에서의 중복성을 이용 하는 종래의 공간/시간 방법을 통해서는 일반적으로 압축을 행할 수 없는 고주파수 의사 임의 현상(high frequency quasi-random phenomenon)을 낳는다. MPEG-2 또는 ITU-T Rec.H.264｜ISO/IEC 14496-10 압축 기법을 이용하여 필름-기원 이미지를 처리하는 시도는 대개 수용할 수 없을 정도로 압축률이 낮거나 그레인 텍스처를 완전히 손실하게 하는 결과를 가져온다.
따라서, 필름 그레인을 시뮬레이션하는 방안으로, 특히 비교적 복잡하지 않은 방안이 필요하다.
발명의 개요
본 발명의 원리에 따르면, 필름 그레인 패턴을 시뮬레이션하는 방법이 제공된다. 이 방법은 비트-어큐리트 변환 계수 세트(a set of bit-accurate transformed coefficients)를 획득하는 것으로 시작한다. 그 후에, 비트-어큐리트 변환 계수 세트가 필터링된다. 이어서, 필터링된 비트-어큐리트 변환 계수 세트는 비트-어큐리트 역변환되어 필름 그레인 패턴을 발생시킨다.
도 1은 본 발명의 방법을 실시하는데 유용한 필름 그레인 프로세싱 체인에서의 송신기 및 수신기의 조합을 나타내는 개략적인 블록도.
도 2는 가우스 난수 발생기를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.
도 3은 가우스 난수 룩업 테이블을 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.
도 4는 하나의 가우스 잡음 이미지를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.
도 5는 하나의 가우스 잡음 이미지의 사전계산된 이산 코사인 변환(DCT) 계수 세트를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.
도 6은 복수의 가우스 잡음 이미지의 사전계산된 DCT 계수를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.
필름 그레인 시뮬레이션을 간단히 살펴보는 것이 비트-어큐리트 필름 그레인 패턴을 생성하는 본 발명의 원리를 이해하는데 유용할 것이다. 도 1은 입력 영상 신호를 수신하여 그 출력부에서 압축된 영상 스트림을 생성하는 송신기(10)의 개략적인 블록도를 보여주고 있다. 송신기(10)는 샘플에 존재할 수 있는 필름 그레인을 나타내는 정보를 또한 생성한다. 실제로, 송신기(10)는 케이블 텔레비전 시스템의 헤드-엔드 어레이의 일부, 또는 압축된 영상을 하나 이상의 다운스트림 수신기(11)(도 1에는 하나만이 도시되어 있음)로 분산시키는 그 밖의 이러한 시스템을 포함할 수 있다. 또한, 송신기(10)는 DVD와 같은 미디어를 제공하는 인코더 형태를 띨 수도 있다. 수신기(11)는 코딩된 영상 스트림을 디코딩하고, 송신기(10)로부터 수신되거나 DVD 등의 경우에는 미디어 자체로부터 직접 수신되는 필름 그레인 정보 및 디코딩된 영상에 따라 필름 그레인을 시뮬레이션하여 시뮬레이션된 필름 그레인을 갖는 출력 영상 스트림을 생성한다. 수신기(11)는 압축된 영상을 디코딩하고, 그 영상에서의 필름 그레인을 시뮬레이션하는 셋톱 박스 또는 그 밖의 이러한 메커니즘 형태를 띨 수도 있다.
필름 그레인의 전반적인 관리는 송신기(10)(즉, 인코더)가 입력 영상에서의 필름 그레인에 관한 정보를 제공하는 것을 필요로 한다. 다시 말해, 송신기(10)는 필름 그레인을 "모델링"한다. 또한, 수신기(11)(즉, 디코더)는 송신기(10)로부터 수신되는 필름 그레인 정보에 따라 필름 그레인을 시뮬레이션한다. 송신기(10)는 영상 코딩 프로세스 동안 필름 그레인을 유지하는데 어려움이 있을 때에는 수신기(11)가 영상 신호에서의 필름 그레인을 시뮬레이션하게 함으로써 압축된 영상의 질을 개선한다.
도 1에 도시된 실시예에서, 송신기(10)는 ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준과 같은 잘 알려진 영상 압축 기법들 중 하나를 이용하여 영상 스트림을 인코딩하는 영상 인코더(12)를 포함한다. 선택적으로, 도 1에서 파선으로 도시되어 있는 필터 등과 같은 형태의 필름 그레인 제거기(14)가 인코더(12)의 업스트림에 존재해 인코딩에 앞서 입력되는 영상 스트림에서의 임의의 필름 그레인을 제거할 수 있다. 입력되는 영상이 어떠한 필름 그레인도 포함하고 있지 않다면, 필름 그레인 제거기가 필요치 않을 것이다.
필름 그레인 모델러(16)는 (존재하는 경우에) 필름 그레인 제거기(14)의 출력 신호뿐만 아니라 입력 영상 스트림을 수신한다. 이러한 입력 정보를 이용하여, 필름 그레인 모델러(16)는 입력되는 영상 신호에서의 필름 그레인을 설정한다. 가장 간단한 형태로, 필름 그레인 모델러(16)는 상이한 미사용 필름(film stock)에 대한 필름 그레인 모델을 함유하는 룩업 테이블을 포함할 수 있다. 입력되는 영상 신호에서의 정보는 영상 신호로의 전환에 앞서 그 이미지를 기록하는데 원래 이용되는 특정한 미사용 필름을 지정할 수도 있어, 필름 그레인 모델러(16)가 이러한 미사용 필름에 대해 적절한 필름 그레인 모델을 선택하게 할 수 있다. 이와 달리, 필름 그레인 모델러(16)는 하나 이상의 알고리즘을 실행해 입력 영상을 샘플링하고, 존재하는 필름 그레인 패턴을 결정하는 프로세서 또는 전용 로직 회로를 포함할 수 있다.
수신기(11)는 송신기(10)로부터 수신되는 압축된 영상 스트림을 디코딩하는 영상 디코더(18)를 전형적으로 포함한다. 디코더(18)의 구조는 송신기(10) 내에서 인코더(12)에 의해 수행되는 압축 타입에 좌우될 것이다. 따라서, 예를 들어, ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준을 이용해 출력 영상을 압축하는 인코더(12)의 송신기(10) 내에서의 이용은 H.264-순응 디코더(18)에 대한 필요성을 제기할 것이다. 수신기(11) 내에서, 필름 그레인 시뮬레이터(20)는 필름 그레인 모델러(16)로부터 필름 그레인 정보를 수신한다. 필름 그레인 시뮬레이터(20)는 결합기(22)를 통한 디코딩된 영상 스트림과의 결합을 위해 필름 그레인을 시뮬레이션하는 성능을 갖춘 프로그램된 프로세서 또는 전용 로직 회로의 형태를 띨 수 있다.
필름 그레인 시뮬레이션은 원 필름 컨텐츠의 룩을 시뮬레이션하는 필름 그레인 샘플을 합성하는 것을 목표로 한다. 앞서 설명한 바와 같이, 필름 그레인 모델링은 도 1의 송신기(10)에서 행해지는 반면에, 필름 그레인 시뮬레이션은 수신기(11)에서 행해진다. 특히, 필름 그레인 시뮬레이션은 디코딩된 영상 스트림 출력의 송신기(10) 업스트림으로부터의 입력 영상 스트림을 디코딩하는 것과 함께 수신기(11)에서 행해진다. 수신기(11)에서 행해지는 디코딩 프로세스가 추가된 필름 그레인을 갖는 이미지를 이용하지 않는다는 점에 유의하기 바란다. 필름 그레인 시뮬레이션은 디코딩된 이미지에서의 시뮬레이션된 필름 그레인을 표시를 위해 합성하는 후-처리 방법을 구성한다. 이런 이유로, ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준은 필름 그레인 시뮬레이션 프로세스에 관한 어떠한 사양도 포함하지 않는다. 그러나, 필름 그레인 시뮬레이션은 입력되는 영상 신호에서의 그레인 패턴에 관한 정보를 필요로 하고, 이 정보는 ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준을 이용할 때에 그 압축 표준의 Amendment 1(고화질 영상 확장(Fidelity Range Extension))에 의해 지정되는 것과 같이 일반적으로 SEI(Supplemental Enhancement Information) 메시지로 전송된다.
본 발명의 원리에 따르면, HD DVD 시스템에서 필름 그레인 시뮬레이션용으로 데이터베이스에 저장하는 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 여러 구현예가 본 명세서에 개시되어 있다. 이러한 필름 그레인 패턴 데이터베이스는 전술한 바와 같이 H.264｜MPEG-4 AVC 표준에 따른 필름 그레인 SEI 메시지에서의 파라미터에 따라 필름 그레인 시뮬레이션을 가능하게 한다. 보다 구체적으로, 기존의 또는 장래의 HD DVD 사양을 구현하는 장치 및 시스템은 이러한 필름 그레인 패턴 데이터베이스를 이용하여 각기 상이한 주파수 모델 파라미터에 의해 특징지워지는 상이한 필름 그레인 타입의 샘플들을 저장할 수 있다.
상세히 후술하는 바와 같이, 비트-어큐리트 필름 그레인 패턴을 생성하는 본 발명의 방법은 수신기(11) 내에서 여러 상이한 방식으로 구현 가능하게 하는 기본 전략을 이용한다. 비트-어큐리트 필름 그레인 패턴을 생성하는 기본 전략은 N x N 크기(N은 정수임)의 정수형 변환 계수 세트, 전형적으로 이산 코사인 변환(DCT) 계수(필수적이지는 않음)를 설정함으로써 시작된다. "이미지"란 용어는 이러한 정수형 변환 계수 세트를 때때로 지칭할 것이다. 정수형 변환 계수 세트 또는 이미지를 설정하는 단계는 여러 상이한 방식으로 행해질 수 있다. 예컨대, 설정 단계는 후술하는 바와 같이 정수형 변환 계수의 데이터베이스에 액세스하는 도 1의 수신기(11)에서의 프로세서 또는 이산 로직 회로를 수반할 수 있다. 이와 달리, 수신기(11)에서의 프로세서 또는 이산 로직 회로는 이러한 수들의 데이터베이스를 판독하거나 이들을 직접 생성함으로써 가우스 난수 세트 또는 이미지를 설정할 수 있다. 그 후에, 정수형 DCT가 가우스 난수 이미지에 대해 행해져 정수형 DCT 계수 세트를 발생시킨다.
비트-어큐리트 필름 그레인 패턴을 생성하는 기본 프로세스에서의 다음 단계는 원하는 필름 그레인 크기 및 모양에 따라 정수형 변환 계수를 주파수 필터링하는 것을 수반한다. 예컨대, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 fHL, fVL, fHH 및 fVH를 이용하여 행해질 수 있다. 주파수 필터링에 이어, 정수형 변환 계수는 역변환되어 데이터베이스에서의 후속 저장을 위한 비트-어큐리트 필름 그레인 패턴을 생성한다. 어떤 경우에는, 계수들의 역변환에 이어 스케일링이 행해질 수도 있다.
실제로, 본 발명의 필름 그레인 패턴 생성 방법은 정수형 DCT 및 역 DCT 동작을 이용하므로, 검증 및 테스트 목적에 유용한 비트 어큐러시를 보장한다. 하지만, 후술하는 바와 같이 기본 전략의 다른 구현들은 서로간에 비트 어큐러시를 반드시 제공하지는 않는다. 특정한 구현을 선택하는 것은 메모리 요건과 계산 비용간의 절충에 좌우될 것이다.
도 2는 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제1 구현예를 도시하고 있다. 도 2의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(100)의 실행시에 개시된다. 다음 단계(101)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이러한 루프로의 진입시, 단계(102)에서는, 가우스 임의값의 이미지를 생성한다. 실제로, 가우스 임의 이미지는 N x N 크기의 값을 갖는다. 도 2의 방법에서, 가우스 임의값의 이미지 생성은 가우스 난수 발생기(103)를 통해 이러한 값들을 생성함으로써 행해진다.
단계(102) 동안에 생성된 가우스 임의값의 이미지는, 다른 비트-어큐리트 변환 기법이 존재하지만, 일반적으로 단계(104) 동안에 정수형 이산 코사인 변환(DCT) 동작에 의해 비트 어큐리트 변환된다. 이어서, 단계(102) 동안에 설정된 정수형 DCT 계수들은 단계(106) 동안에 주파수 필터링된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 fHL, fVL, fHH 및 fVH를 이용하여 행해진다. 다음 단계(108)에서는, 주파수 필터링된 변환 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 비트-어큐리트 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 단계(108)에 이어, 역 변환된 계수 블록의 스케일링이 비트-어큐리트 필름 그레인 패턴의 강도를 변화시키는데 유용할 것이다.
단계(108)에 이어, 단계(110)에서는, 정수형 IDCT 변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 비트-어큐리트 필름 그레인이 데이터베이스(111)에 저장된다. 단계(102 - 110)는 단계(101)에서 시작된 루프의 실행 동안에 반복된다. 이 루프는 모든 가능한 필름 그레인의 크기 및 모양에 대해 계속된 후, 단계(112) 동안에 루프 실행은 종료되고, 본 방법은 단계(114)에서 종료된다.
비트 어큐러시를 달성하기 위해, 도 2의 방법은 비트-어큐리트 난수 발생기, 및 비트-어큐리트 DCT와 역 DCT 변환 동작을 필요로 한다. 본 방법의 상이한 구현예들 중 비트 어큐러시를 달성하기 위해서는 비트-어큐리트 가우스 난수 발생기의 이용을 필요로 한다. 모든 구현예가 동일한 발생기를 이용하는 한 어떤 특정한 가우스 난수 발생기가 이용되느냐는 그렇게 중요하지 않다. 예컨대, "Numerical Recipes in C: The Art of Scientific Computing"(ISBN 0-521-41108-5) 간행물에 개시되어 있는 박스-뮬러 변환(Box-Muller transformation) 기초 비트-어큐리트 가우스 발생기의 정수 근사치를 이용할 수 있다.
비트-어큐리트 가우스 난수 발생기에 추가하여, 이산 코사인 변환의 비트-어큐리트 구현은 전체 시스템에 대한 비트 어큐러시를 제공할 필요가 있다. 본 명세서에 개시된 실시예들은 DCT의 정수 근사치를 이용한다. 정수형 변환에 의해 얻어진 결과가 플로팅 포인트 DCT에 의해 얻어진 결과에 상당히 가깝다면, 임의의 정수 근사치의 이용이 가능하다. 이 요건은, 변환된 도메인에서 행해진 필터링이 주파수 필터링을 구성한다는 것을 보장한다.
개시된 실시예에서, DCT의 정수형 버전은 이 DCT의 플로팅 포인트 버전을 스케일링함으로써 발생한다. N x N DCT 매트릭스는 다음과 같이 계산될 수 있다.
Figure 112007036102115-PCT00001
여기서, C(i,j)는 j행과 i열에서의 변환 매트릭스의 계수를 나타낸다.
이어서, 정수형 매트릭스가 다음과 같이 계산된다.
Figure 112007036102115-PCT00002
여기서, round(x)는 x의 가장 가까운 정수 근사치로 복귀하고, scaling_factor는 양의 정수값이다. 스케일링 인자의 값은 그 변환을 계산하는데 필요한 비트 수(스케일링 인자가 작을수록, 필요한 비트들이 적다)뿐만 아니라 DCT의 정수 근사치의 질(스케일링 인자가 클수록, 더 양호한 근사치)을 결정한다.
DCT의 정수 근사치가 규정되었다면, DCT 변환은 다음과 같이 계산된다.
Figure 112007036102115-PCT00003
여기서, CintT는 변환 매트릭스의 전치 버전(transposed version)을 나타낸다. 유사하게, 역변환이 다음과 같이 계산된다.
Figure 112007036102115-PCT00004
8 x 8 DCT가 이용되는 특정한 실시예에서는, 정수 근사치가 다음과 같을 것이다.
Figure 112007036102115-PCT00005
여기서, 스케일링 인자는 16이다.
도 3은 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제2 구현예를 보여주고 있다. 도 3의 방법은, 초기화(이러한 초기화가 반 드시 행해질 필요는 없음)가 행해지는 시작 단계(200)의 실행시에 개시된다. 다음 단계(201)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이러한 루프로의 진입시, 단계(202)에서는, 가우스 임의값 세트 또는 이미지를 생성한다. 실제로, 가우스 임의 이미지는 N x N 크기의 값을 갖는다. 가우스 임의값의 이미지 생성은, 도 3의 방법의 수행 동안에, 가우스 난수 룩업 테이블(LUT : 203)로부터의 가우스 임의값 세트를 판독함으로써 행해진다.
단계(202) 동안에 얻어진 가우스 임의값의 이미지는, 다른 비트-어큐리트 변환 기법이 존재하지만, 일반적으로 단계(204) 동안에 정수형 이산 코사인 변환(DCT) 동작에 의해 비트 어큐리트 변환된다. 이어서, 단계(202) 동안에 설정된 정수형 변환 계수들은 단계(206) 동안에 주파수 필터링된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 fHL, fVL, fHH 및 fVH를 이용하여 행해진다. 다음 단계(208)에서는, 주파수 필터링된 변환 계수 블록이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 비트-어큐리트 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 주파수 필터링된 역변환 계수 블록의 스케일링이 유용할 것이다.
그 후, 단계(210)에서는, 정수형 역변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 필름 그레인 패턴이 데이터베이스(211)에 저장된다. 단계(201)에서 시작된 루프 내의 단계(202 - 210)는 모든 가능한 필름 그레인의 크기 및 모 양에 대해 반복된 후, 단계(212) 동안에 루프 실행은 종료되고, 본 방법은 단계(214)에서 종료된다. 이런 식으로, 데이터베이스(211)는 영상 신호에서의 필름 그레인을 시뮬레이션할 때 장래 이용을 위해 복수의 필름 그레인 패턴을 저장한다.
도 2의 방법에 비해, 도 3의 필름 그레인 시뮬레이션 방법은 가우스 난수 발생기를 이용하지 않는다. 대신에, 도 3의 방법은 사전계산된 가우스 임의값을 포함하는 룩업 테이블(203)을 이용한다. 이 방안은 구현에 필요한 필수 하드웨어를 단순화시킨다.
도 4는 본 발명의 원리에 따라 비트 어큐리트 필름 그레인 패턴을 생성하는 방법의 제3 구현예를 보여주고 있다. 도 4의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(300)의 실행시에 개시된다. 다음으로, 단계(302)에서는, 가우스 임의값 세트 또는 이미지를 생성한다. 실제로, 가우스 임의 이미지는 N x N 크기의 값을 갖는다. 가우스 임의값의 이미지 생성은, 도 4의 방법에서, 가우스 난수 룩업 테이블(LUT : 303)로부터의 가우스 임의값 세트를 판독함으로써 행해진다. 가우스 난수 LUT(303)를 생성하는데 이용되는 방법은 비트 어큐러시를 필요로 하지 않는다. 필름 그레인 패턴 데이터베이스 생성의 모든 구현예들이 동일한 LUT를 이용하는 한, 그 결과는 비트 어큐러시를 보장한다. 그러나, 비트 어큐리트 방법을 이용해 이러한 LUT를 생성할 때, LUT 생성은 이 LUT의 영구 저장의 필요성을 피해 필름 그레인 패턴 데이터베이스 생성 프로세스의 초기에 행해질 수 있다. 하나의 변환(단계 304)이 전체의 필름 그레인 패턴 데이터베이스의 생성에 대해 계산될 필요가 있다면, 데이터베이스에 저장된 필름 그레인 패턴의 임의성은 앞서 설명한 구현예(도 2 및 도 4)에서 얻어진 결과에 비해 줄어든다. 하지만, 도 4에 도시된 제3 구현예는 계산 필요성이 더 낮아, 하드웨어 및/또는 실시간 구현에 유용하다. 단계(302) 동안에 생성된 가우스 임의값의 이미지는, 다른 비트-어큐리트 변환 기법이 존재하지만, 일반적으로 단계(304) 동안에 정수형 이산 코사인 변환(DCT) 동작에 의해 비트 어큐리트 변환된다. 단계(304)에 이어, 단계(305)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이 루프 내의 제1 단계인 단계(306)에서는, 단계(304) 동안에 설정된 정수형 DCT 계수의 주파수 필터링이 시작된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 fHL, fVL, fHH 및 fVH를 이용하여 행해진다. 단계(306)에 이어, 단계(308)에서는, 주파수 필터링된 정수형 DCT 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 비트-어큐리트 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 단계(308)에 이어, 역변환된 계수들로부터 생성된 필름 그레인 패턴의 스케일링이 유용할 것이다. 그 후, 단계(310)에서는, 필름 그레인 패턴이 데이터베이스(311)에 저장된다.
단계(305)에서 시작된 루프 내의 단계(306 - 310)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 행해진 후, 단계(312) 동안에 루프 실행은 종료되고, 본 방법은 단계(314)에서 종료된다. 이런 식으로, 데이터베이스(311)는 모든 필름 그 레인의 크기 및 모양에 대한 필름 그레인 패턴을 저장한다.
도 5는 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제4 구현예를 보여주고 있다. 도 5의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(400)의 실행시에 개시된다. 다음으로, 단계(402)에서는, DCT 계수 세트 또는 이미지가 가우스 임의값의 이미지로부터 생성되는 룩업 테이블(403)로부터 판독된다. 실제로, LUT(403)로부터 판독되는 DCT 계수들의 이미지는 N x N 크기를 갖는다. 따라서, 앞서 설명한 도 2 내지 도 4의 구현예와는 달리, 도 5의 필름 그레인 시뮬레이션 방법은, LUT(403)로부터 판독되는 값이 LUT로의 로딩 이전에 이미 이러한 변환을 경험했기 때문에, 개별의 정수형 DCT 동작을 행할 필요가 없다.
단계(402)에 이어, 단계(405)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이 루프 내의 제1 단계인 단계(406)에서는, 단계(402) 동안에 얻어진 정수형 DCT 계수의 주파수 필터링이 시작된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 fHL, fVL, fHH 및 fVH를 이용하여 행해진다. 단계(406)에 이어, 단계(408)에서는, 주파수 필터링된 정수형 DCT 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 단계(408)에 이어, 역변환된 계수 블록의 스케일링이 유용할 것이다. 그 후, 단계(410)에서는, 정수형 IDCT 변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 필름 그레인 패턴이 데이터베이스(411)에 저장된다.
단계(405)에서 시작된 루프 내의 단계(406 - 410)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복된 후, 단계(412) 동안에 루프 실행은 종료되며, 본 방법은 단계(414)에서 종료된다. 이런 식으로, 데이터베이스(411)는 모든 필름 그레인의 크기 및 모양에 대한 필름 그레인 패턴을 저장한다.
도 5의 방법은 하나의 사전계산된 변환 계수 블록을 이용하여 데이터베이스(411)의 필름 그레인 패턴을 생성한다. 도 2 내지 도 4와 관련하여 앞서 설명한 구현예에 비해, 도 5의 구현예는 정수형 DCT 변환을 행하는 단계를 없애, 계산 비용을 줄인다.
도 6은 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제5 구현예를 보여주고 있다. 도 6의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(500)의 실행시에 개시된다. 다음으로, 단계(501)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 개시한다. 이 루프 내의 제1 단계인 단계(502)에서는, 룩업 테이블(LUT : 503)로부터 정수형 DCT 계수 세트의 이미지의 판독이 시작된다. 실제로는, DCT 계수들의 이미지가 N x N 크기를 갖는다. 도 5의 구현예와 같이, 도 6의 구현예는 정수형 DCT 계수 세트를 LUT(503)로부터 획득함으로써 정수형 변환 계수들의 이미지를 설정한다. 실제로, LUT(503) 내의 값들은 후에 정수형 DCT되는 가우스 임의값들의 이미지로부터 기원한다. 따라서, 앞서 설명한 도 2 내지 도 4의 구현예들과는 다르지만, 도 5의 구현예와는 같은 도 6의 구현예는, 룩업 테이블(503)로부터 판독되는 값이 이 테이블에서의 로딩 이전에 이미 이러한 변환을 경험했기 때문에, 개별의 정수형 DCT를 행할 필요가 없다.
단계(502)에 이어, 단계(506)에서는, 정수형 DCT 계수들이 주파수 필터링된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 fHL, fVL, fHH 및 fVH를 이용하여 행해진다. 단계(506)에 이어, 단계(508)에서는, 주파수 필터링된 정수형 DCT 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 필름 그레인 블록을 발생시킨다. 어떤 환경하에서는, 단계(508)에 이어, 역변환된 계수 블록의 스케일링이 유용할 것이다. 그 후, 단계(510)에서는, 정수형 IDCT 변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 필름 그레인 블록이 데이터베이스(511)에 저장된다.
단계(501)에서 시작된 루프 내의 단계(502 - 510)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복된 후, 단계(512) 동안에 루프 실행은 종료되며, 본 방법은 단계(514)에서 종료된다. 이런 식으로, 데이터베이스(511)는 모든 필름 그레인의 크기 및 모양에 대한 필름 그레인 패턴을 저장한다.
도 6에 관해 설명한 필름 그레인 패턴 생성의 구현예는, 도 2 및 도 3의 구현예와 같이, 상이한 정수형 DCT 계수 세트를 이용한다. 상이한 정수형 DCT 계수 세트를 이용하는 것은 하나의 정수형 변환 계수 블록을 이용하는 도 1, 도 4 및 도 5의 구현예에 비해 더 풍부한 필름 블록 패턴의 데이터베이스 생성을 가능하게 한다. 도 1, 도 4 및 도 5에 관해 설명한 구현예들이 저장 및 계산 요건을 감소시키지만, 이러한 구현예들은 성능면에서 떨어지는데, 이는 동일한 잡음 패턴이 모든 필름 그레인 패턴을 생성하는 기준으로 작용하기 때문이다.
이상, 영상 신호에서의 필름 그레인을 시뮬레이션하기 위해 적어도 하나의 필름 그레인 패턴, 및 바람직하게는 복수의 필름 그레인 패턴을 생성하는 방안의 여러 상이한 구현예들에 대해 설명하였다.

Claims (18)

  1. 필름 그레인 패턴을 생성하는 방법으로서,
    (a)비트-어큐리트 변환 계수 세트를 설정하는 단계;
    (b)상기 비트-어큐리트 변환 계수 세트를 주파수 필터링하는 단계; 및
    (c)필름 그레인 패턴을 생성하기 위해 상기 주파수 필터링된 변화 계수에 대해 비트-어큐리트 역변환을 행하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
  2. 제1항에 있어서,
    상기 단계 (a) 내지 (c)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복되는 필름 그레인 패턴 생성 방법.
  3. 제1항에 있어서,
    상기 필름 그레인 패턴을 데이터베이스에 저장하는 단계(d)를 더 포함하는 필름 그레인 패턴 생성 방법.
  4. 제3항에 있어서,
    상기 단계 (a) 내지 (d)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복되는 필름 그레인 패턴 생성 방법.
  5. 제1항에 있어서,
    상기 필름 그레인 패턴을 스케일링하는 단계를 더 포함하는 필름 그레인 패턴 생성 방법.
  6. 제1항에 있어서,
    상기 비트-어큐리트 변환 계수 세트를 설정하는 단계는 데이터베이스로부터 정수형 이산 코사인 변환 계수 세트를 판독하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
  7. 제1항에 있어서,
    상기 비트-어큐리트 변환 계수 세트를 설정하는 단계는 모든 가능한 필름 그레인의 크기 및 모양에 대해 데이터베이스로부터 정수형 이산 코사인 변환 계수 세트를 판독하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
  8. 제1항에 있어서,
    상기 비트-어큐리트 변환 계수 세트를 설정하는 단계는,
    가우스 난수 이미지를 생성하는 단계; 및
    상기 가우스 난수 이미지에 대해 정수형 이산 코사인 변환을 행하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
  9. 제1항에 있어서,
    상기 비트-어큐리트 변환 계수 세트를 설정하는 단계는,
    (i)가우스 난수 이미지를 생성하는 단계;
    (ii)상기 가우스 난수 이미지에 대해 정수형 이산 코사인 변환을 행하는 단계; 및
    (iii)모든 가능한 필름 그레인의 크기 및 모양에 대해 상기 단계 (i) 및 (ii)를 반복하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
  10. 제1항에 있어서,
    상기 주파수 필터링 단계는 원하는 필름 그레인 패턴을 특징지우는 2차원에서의 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 fHL, fVL, fHH 및 fVH를 이용하는 필름 그레인 패턴 생성 방법.
  11. 제1항에 있어서,
    상기 주파수 필터링된 변화 계수에 대해 비트-어큐리트 역변환을 행하는 단계는 정수형 역 이산 코사인 변환을 행하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
  12. 프로세서 및 전용 로직 회로 중 하나를 포함하는 필름 그레인 패턴 생성 장 치로서,
    (a)비트-어큐리트 변환 계수 세트를 설정하고,
    (b)상기 비트-어큐리트 변환 계수 세트를 주파수 필터링하며,
    (c)필름 그레인 패턴을 생성하기 위해 상기 주파수 필터링된 변화 계수에 대해 비트-어큐리트 변환을 행하는 필름 그레인 패턴 생성 장치.
  13. 제12항에 있어서,
    상기 필름 그레인 패턴을 저장하기 위한 제1 메모리를 더 포함하는 필름 그레인 패턴 생성 장치.
  14. 제12항에 있어서,
    적어도 하나의 정수형 이산 코사인 변환 계수 세트를 저장하기 위한 제2 메모리를 더 포함하는 필름 그레인 패턴 생성 장치.
  15. 제13항에 있어서,
    복수의 정수형 이산 코사인 변환 계수 세트를 저장하기 위한 제2 메모리를 더 포함하는 필름 그레인 패턴 생성 장치.
  16. 제12항에 있어서,
    가우스 난수 이미지를 생성하는 가우스 난수 발생기; 및
    상기 비트-어큐리트 변환 계수 세트를 생성하기 위해 상기 가우스 난수 이미지에 대해 정수형 이산 코사인 변환을 행하는 수단을 더 포함하는 필름 그레인 패턴 생성 장치.
  17. 제12항에 있어서,
    가우스 난수 이미지를 저장하기 위한 제2 메모리; 및
    상기 비트-어큐리트 변환 계수 세트를 생성하기 위해 상기 가우스 난수 이미지에 대해 정수형 이산 코사인 변환을 행하는 수단을 더 포함하는 필름 그레인 패턴 생성 장치.
  18. 비트-어큐리트 변환 계수 세트를 설정하는 수단;
    상기 비트-어큐리트 변환 계수 세트를 주파수 필터링하는 수단; 및
    필름 그레인 패턴을 생성하기 위해 상기 주파수 필터링된 변환 계수에 대해 비트-어큐리트 변환을 행하는 수단을 포함하는 필름 그레인 패턴 생성 장치.
KR20077011147A 2004-11-17 2005-10-26 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법 KR101169826B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US62883704P 2004-11-17 2004-11-17
US60/628,837 2004-11-17
PCT/US2005/038802 WO2006055208A1 (en) 2004-11-17 2005-10-26 Bit-accurate film grain simulation method based on pre-computed transformed coefficients

Publications (2)

Publication Number Publication Date
KR20070084287A true KR20070084287A (ko) 2007-08-24
KR101169826B1 KR101169826B1 (ko) 2012-08-03

Family

ID=35789153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20077011147A KR101169826B1 (ko) 2004-11-17 2005-10-26 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법

Country Status (18)

Country Link
US (1) US9098916B2 (ko)
EP (1) EP1812905B1 (ko)
JP (1) JP4965454B2 (ko)
KR (1) KR101169826B1 (ko)
CN (1) CN101057258A (ko)
AU (1) AU2005306936B2 (ko)
BR (1) BRPI0517759B1 (ko)
CA (1) CA2587117C (ko)
ES (1) ES2739452T3 (ko)
HU (1) HUE044545T2 (ko)
MX (1) MX2007005651A (ko)
MY (1) MY140149A (ko)
PL (1) PL1812905T3 (ko)
PT (1) PT1812905T (ko)
RU (1) RU2372659C2 (ko)
TR (1) TR201911138T4 (ko)
WO (1) WO2006055208A1 (ko)
ZA (1) ZA200703946B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101174179B1 (ko) * 2004-10-21 2012-08-16 톰슨 라이센싱 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술
CA2587437C (en) 2004-11-22 2015-01-13 Thomson Licensing Methods, apparatus and system for film grain cache splitting for film grain simulation
WO2007149085A1 (en) * 2006-06-21 2007-12-27 Thomson Licensing Automatic film grain adjustment
US8213500B2 (en) 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
JP5251584B2 (ja) * 2009-02-18 2013-07-31 日本電気株式会社 アナログ音声用チェンジオーバ装置及びそれに用いる現用予備切り替え方法
KR102497153B1 (ko) * 2012-01-18 2023-02-07 브이-노바 인터내셔널 리미티드 안정성 정보 및 트랜션트/확률적 정보의 구별되는 인코딩 및 디코딩
US11765372B1 (en) * 2021-06-21 2023-09-19 Amazon Technologies, Inc. Efficient coefficient film grain synthesis for codecs without film grain synthesis
CN117751575A (zh) 2021-07-01 2024-03-22 交互数字Ce专利控股有限公司 用于估计胶片颗粒参数的方法或装置

Family Cites Families (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US629180A (en) * 1898-11-21 1899-07-18 Decatur Car Wheel And Mfg Company Journal-box.
US4897775A (en) 1986-06-16 1990-01-30 Robert F. Frijouf Control circuit for resonant converters
US5040211A (en) 1988-10-13 1991-08-13 Massachusetts Institute Of Technology Reliable television transmission through analog channels
US5028280A (en) 1988-12-15 1991-07-02 Matsushita Electric Industrial Co., Ltd. Soft magnetic alloy films having a modulated nitrogen content
US4935816A (en) * 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
US4998167A (en) 1989-11-14 1991-03-05 Jaqua Douglas A High resolution translation of images
US5262248A (en) 1989-11-17 1993-11-16 Matsushita Electric Industrial Co., Ltd. Soft magnetic alloy films
AU642540B2 (en) 1990-09-19 1993-10-21 Philips Electronics N.V. Record carrier on which a main data file and a control file have been recorded, method of and device for recording the main data file and the control file, and device for reading the record carrier
US5386255A (en) 1990-09-28 1995-01-31 Digital Theater Systems, L.P. Motion picture digital sound system and method with primary sound storage edit capability
US5751398A (en) * 1990-09-28 1998-05-12 Digital Theater System, Inc. Motion picture digital sound system and method
RU2088962C1 (ru) 1990-09-28 1997-08-27 Диджитал Тиатер Системз, Л.П. Звуковая кинопленка, звуковая система для кинофильма на пленке, способ получения аналоговой фонограммы и цифрового идентификатора, положения на кинопленке, способ получения звукового сигнала кинопленки и способ считывания последовательных цифровых данных из цифрового запоминающего устройства
US5457491A (en) * 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5374954A (en) * 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5140414A (en) * 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5687011A (en) * 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
US5216556A (en) 1991-04-26 1993-06-01 Digital Equipment Corporation Method for optimized tape tension adjustment for a tape drive
DE69215760T2 (de) 1991-06-10 1998-02-05 Eastman Kodak Co Kreuzkorrelationsausrichtsystem für einen Bildsensor
US5526446A (en) 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
US5285402A (en) 1991-11-22 1994-02-08 Intel Corporation Multiplyless discrete cosine transform
FR2685594B1 (fr) 1991-12-19 1994-01-28 Alcatel Telspace Dispositif de recuperation de rythme pour installation de reception utilisant l'egalisation auto-adaptative a sur-echantillonnage associee a la demodulation differentiellement coherente.
US5335013A (en) 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
US5283164A (en) 1992-06-19 1994-02-01 Eastman Kodak Company Color film with closely matched acutance between different color records
US6327304B1 (en) * 1993-05-12 2001-12-04 The Duck Corporation Apparatus and method to digitally compress video signals
US5471572A (en) * 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
JPH0757117A (ja) 1993-07-09 1995-03-03 Silicon Graphics Inc テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム
DE69431226T2 (de) * 1993-09-28 2003-04-17 Canon Kk Bildwiedergabegerät
US5461596A (en) 1993-10-26 1995-10-24 Eastman Kodak Company Portfolio photo CD visual/audio display system
US5475425B1 (en) 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US5831673A (en) 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
JP3187661B2 (ja) 1994-07-21 2001-07-11 新東工業株式会社 帯電緩和用構造体の製造方法およびその構造体
WO1996013006A1 (en) * 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
RU2139637C1 (ru) 1994-12-06 1999-10-10 Цфб Центрум Фюр Нойе Бильдгештальтунг Гмбх Способ и устройство для передачи изображения
JPH08163594A (ja) * 1994-12-12 1996-06-21 Sony Corp 動画像復号化方法及び動画像復号化装置
US5550815A (en) 1994-12-30 1996-08-27 Lucent Technologies Inc. Apparatus and method for reducing data losses in a growable packet switch
US5706361A (en) 1995-01-26 1998-01-06 Autodesk, Inc. Video seed fill over time
US5742892A (en) 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US5629769A (en) * 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
AU711488B2 (en) 1995-09-12 1999-10-14 Koninklijke Philips Electronics N.V. Hybrid waveform and model-based encoding and decoding of image signals
US5817447A (en) 1995-11-08 1998-10-06 Eastman Kodak Company Laser film printer with reduced fringing
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3297293B2 (ja) 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
GB9607633D0 (en) * 1996-04-12 1996-06-12 Discreet Logic Inc Grain matching of composite image in image
GB2312124B (en) 1996-04-12 1998-05-13 Discreet Logic Inc Processing image data
US5845017A (en) 1996-12-17 1998-12-01 Eastman Kodak Company Digital image processing method for degraining of film images using distance weighted averaging of target pixel code values
FR2757587B1 (fr) 1996-12-23 1999-02-26 Valeo Amortisseur de torsion perfectionne et dispositif amortisseur equipe d'un tel amortisseur de torsion
EP0967806A4 (en) 1997-03-12 2010-12-22 Panasonic Corp ENCODING METHOD, ENCODER AND RECORDING MEDIUM, DECODING METHOD, DECODER AND RECORDING MEDIUM
US6067125A (en) 1997-05-15 2000-05-23 Minerva Systems Structure and method for film grain noise reduction
US20020171649A1 (en) * 1997-07-01 2002-11-21 Fogg Chad Edward Computer system controller having internal memory and external memory control
US6370192B1 (en) 1997-11-20 2002-04-09 Hitachi America, Ltd. Methods and apparatus for decoding different portions of a video image at different resolutions
JP3367407B2 (ja) * 1997-12-25 2003-01-14 富士ゼロックス株式会社 画像出力装置、画像処理装置、画像出力方法、画像処理方法、および記録媒体
JPH11250246A (ja) 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
US6285711B1 (en) 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
JP3001502B2 (ja) 1998-05-20 2000-01-24 九州日本電気通信システム株式会社 Ａｔｍスイッチモジュール、ａｔｍスイッチ容量拡張方法、およびａｔｍルーティング情報設定方法
US6650327B1 (en) * 1998-06-16 2003-11-18 Silicon Graphics, Inc. Display system having floating point rasterization and floating point framebuffering
US6233647B1 (en) 1998-07-07 2001-05-15 Silicon Graphics, Inc. Hashed direct-mapped texture cache
US6219838B1 (en) 1998-08-24 2001-04-17 Sharewave, Inc. Dithering logic for the display of video information
US6266429B1 (en) 1998-09-23 2001-07-24 Philips Electronics North America Corporation Method for confirming the integrity of an image transmitted with a loss
US6667815B1 (en) * 1998-09-30 2003-12-23 Fuji Photo Film Co., Ltd. Method and apparatus for processing images
US6496221B1 (en) * 1998-11-02 2002-12-17 The United States Of America As Represented By The Secretary Of Commerce In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel
US6963668B2 (en) 1998-11-13 2005-11-08 Lightsurf Technologies, Inc. Method and system for fast image correction
US6724942B1 (en) * 1999-05-24 2004-04-20 Fuji Photo Film Co., Ltd. Image processing method and system
US6559849B1 (en) * 1999-07-30 2003-05-06 Lucas Digital Ltd. Animation of linear items
US6317216B1 (en) 1999-12-13 2001-11-13 Brown University Research Foundation Optical method for the determination of grain orientation in films
US6990251B2 (en) * 2000-02-03 2006-01-24 Eastman Kodak Company Method, system, and software for signal processing using sheep and shepherd artifacts
US20020016103A1 (en) * 2000-02-23 2002-02-07 Ralph Behnke Unlocking aid
WO2001074064A1 (en) 2000-03-28 2001-10-04 Koninklijke Philips Electronics N.V. Updating transmitter data stored in a preset channel memory
CA2406459C (en) 2000-04-07 2006-06-06 Demografx Enhanced temporal and resolution layering in advanced television
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP2001357095A (ja) 2000-06-12 2001-12-26 Fujitsu Ltd 半導体装置設計支援装置
JP2001357090A (ja) 2000-06-13 2001-12-26 Hitachi Ltd 論理合成方法及び論理合成装置
US7286565B1 (en) 2000-06-28 2007-10-23 Alcatel-Lucent Canada Inc. Method and apparatus for packet reassembly in a communication switch
US6868190B1 (en) 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US6995793B1 (en) 2000-11-14 2006-02-07 Eastman Kodak Company Video tap for a digital motion camera that simulates the look of post processing
US6839152B2 (en) * 2000-12-06 2005-01-04 Xerox Corporation Adaptive filtering method and apparatus for descreening scanned halftoned image representations
US6940993B2 (en) 2000-12-13 2005-09-06 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
US6859815B2 (en) 2000-12-19 2005-02-22 Koninklijke Philips Electronics N.V. Approximate inverse discrete cosine transform for scalable computation complexity video and still image decoding
US7069208B2 (en) 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US7092016B2 (en) * 2001-02-09 2006-08-15 Eastman Kodak Company Method and system for motion image digital processing
US6987586B2 (en) 2001-03-02 2006-01-17 Eastman Kodak Company Method of digital processing for digital cinema projection of tone scale and color
JP2004531925A (ja) 2001-03-05 2004-10-14 インタービデオインコーポレイテッド 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法
GB2374748A (en) 2001-04-20 2002-10-23 Discreet Logic Inc Image data editing for transitions between sequences
AU2002316262A1 (en) * 2001-06-15 2003-01-02 Massachusetts Institute Of Technology Adaptive mean estimation and normalization of data
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
US6760036B2 (en) * 2001-06-27 2004-07-06 Evans & Sutherland Computer Corporation Extended precision visual system
JP2004521581A (ja) 2001-07-06 2004-07-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 制御されるベクトル統計を備える動き推定及び動き補償
JP3963086B2 (ja) 2001-07-13 2007-08-22 株式会社島津製作所 断層再構成ソフトウエアとその記録媒体と断層撮影装置
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
WO2003019949A2 (en) * 2001-08-24 2003-03-06 Koninklijke Philips Electronics N.V. Adding fields of a video frame
GB2382289B (en) 2001-09-28 2005-07-06 Canon Kk Method and apparatus for generating models of individuals
JP2003163853A (ja) 2001-11-29 2003-06-06 Sanyo Electric Co Ltd ディジタル放送受信装置
JP2003179923A (ja) 2001-12-12 2003-06-27 Nec Corp 動画像圧縮符号化信号の復号システム及び復号方法，復号用プログラム
JP3977661B2 (ja) 2002-02-26 2007-09-19 株式会社メガチップス フィルタ係数変換方法、フィルタ係数変換装置
DE60332328D1 (de) * 2002-03-13 2010-06-10 Imax Corp Systeme und verfahren für ein digitales remastering oder anderweitiges modifizieren von beweglichen bildern oder anderen bildsequenzdaten
US7174047B2 (en) 2002-03-29 2007-02-06 Matsushita Electric Industrial Co., Ltd. Single-instruction multiple-data (SIMD)-based algorithms for processing video data
US20030206662A1 (en) * 2002-05-03 2003-11-06 Avinash Gopal B. Method and apparatus for improving perceived digital image quality
US7065255B2 (en) * 2002-05-06 2006-06-20 Eastman Kodak Company Method and apparatus for enhancing digital images utilizing non-image data
US7064755B2 (en) 2002-05-24 2006-06-20 Silicon Graphics, Inc. System and method for implementing shadows using pre-computed textures
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
JP2004120057A (ja) 2002-09-24 2004-04-15 Sharp Corp 放送受信装置
JP2004135169A (ja) 2002-10-11 2004-04-30 Fujitsu Ten Ltd デジタル放送受信装置
US7106907B2 (en) 2002-10-18 2006-09-12 Mitsubishi Electric Research Laboratories, Inc Adaptive error-resilient video encoding using multiple description motion compensation
US7227901B2 (en) 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US20040179610A1 (en) 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
CN1283505C (zh) 2003-03-10 2006-11-08 袁为国 机动车加速、制动组合踏板
WO2004095829A1 (en) 2003-04-10 2004-11-04 Thomson Licensing S.A. Technique for simulating film grain on encoded video
ZA200509227B (en) * 2003-05-15 2007-05-30 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
RU2332715C2 (ru) * 2003-08-29 2008-08-27 Томсон Лайсенсинг Способ и устройство для моделирования зернистых структур пленки в частотной области
EP1511320A1 (en) 2003-09-01 2005-03-02 Matsushita Electric Industrial Co., Ltd. Film grain encoding
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
WO2005034518A1 (en) * 2003-09-23 2005-04-14 Thomson Licensing S.A. Method for simulating film grain by mosaicing pre-computed samples
EP1676446B1 (en) * 2003-09-23 2011-04-20 Thomson Licensing Video comfort noise addition technique
RU2342703C2 (ru) * 2003-09-23 2008-12-27 Томсон Лайсенсинг Методика имитации зернистости пленки с помощью частотной фильтрации
BRPI0415404B1 (pt) * 2003-10-14 2018-07-17 Thomson Licensing técnica para a adição de um ruído de conforto de bits exatos
US7680356B2 (en) * 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
US7362911B1 (en) * 2003-11-13 2008-04-22 Pixim, Inc. Removal of stationary noise pattern from digital images
RU2346330C2 (ru) * 2003-12-05 2009-02-10 Томсон Лайсенсинг Методика имитации зернистости пленки с помощью базы данных узоров зернистости пленки
RU2367020C2 (ru) 2004-03-19 2009-09-10 Конинклейке Филипс Электроникс Н.В. Введение и выделение начального числа, связанного с телевизионным сигналом для создания псевдослучайного шума
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
WO2006022705A1 (en) 2004-08-10 2006-03-02 Thomson Licensing Apparatus and method for indicating the detected degree of motion in video
CN101044511A (zh) * 2004-10-18 2007-09-26 汤姆森特许公司 胶片颗粒模拟的方法、装置及系统
CN101044510B (zh) * 2004-10-18 2012-01-04 汤姆森特许公司 胶片颗粒模拟方法
US7400784B2 (en) 2004-10-19 2008-07-15 Institut National De L'audiovisuel-Ina Search of similar features representing objects in a large reference database
KR101174179B1 (ko) * 2004-10-21 2012-08-16 톰슨 라이센싱 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술
US7738561B2 (en) 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
CA2587201C (en) * 2004-11-16 2015-10-13 Cristina Gomila Film grain simulation method based on pre-computed transform coefficients
US8472526B2 (en) 2004-11-23 2013-06-25 Thomson Licensing Low-complexity film grain simulation technique
US7653132B2 (en) 2004-12-21 2010-01-26 Stmicroelectronics, Inc. Method and system for fast implementation of subpixel interpolation
US8013888B2 (en) 2005-02-14 2011-09-06 Broadcom Corporation Method and system for implementing film grain insertion
US7432986B2 (en) * 2005-02-16 2008-10-07 Lsi Corporation Method and apparatus for masking of video artifacts and/or insertion of film grain in a video decoder
JP4914026B2 (ja) * 2005-05-17 2012-04-11 キヤノン株式会社 画像処理装置及び画像処理方法
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition
SI2084174T1 (sl) 2006-10-10 2013-10-30 Gilead Pharmasset Llc Priprava nukleozidov ribofuranozil pririmidinov
JP4097681B1 (ja) 2007-02-01 2008-06-11 日本航空電子工業株式会社 コネクタ

Also Published As

Publication number Publication date
EP1812905A1 (en) 2007-08-01
AU2005306936A1 (en) 2006-05-26
MX2007005651A (es) 2007-06-05
KR101169826B1 (ko) 2012-08-03
RU2007122487A (ru) 2008-12-27
HUE044545T2 (hu) 2019-10-28
CN101057258A (zh) 2007-10-17
JP2008521345A (ja) 2008-06-19
RU2372659C2 (ru) 2009-11-10
US20070269125A1 (en) 2007-11-22
WO2006055208A1 (en) 2006-05-26
AU2005306936B2 (en) 2011-02-10
ZA200703946B (en) 2008-08-27
CA2587117C (en) 2014-02-11
CA2587117A1 (en) 2006-05-26
BRPI0517759A (pt) 2008-10-21
BRPI0517759B1 (pt) 2017-09-12
TR201911138T4 (tr) 2019-08-21
PL1812905T3 (pl) 2019-10-31
PT1812905T (pt) 2019-08-06
EP1812905B1 (en) 2019-07-03
MY140149A (en) 2009-11-30
US9098916B2 (en) 2015-08-04
ES2739452T3 (es) 2020-01-31
JP4965454B2 (ja) 2012-07-04

Similar Documents

Publication Publication Date Title
KR101170584B1 (ko) 사전계산된 변환 계수에 기반한 필름 그레인 시뮬레이션방법
KR101166948B1 (ko) 낮은 복잡도의 필름 그레인 시뮬레이션 기법
KR101169826B1 (ko) 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법
JP2010206808A (ja) １つ又は複数のパラメータによって画像粒状性を表す方法及び装置
KR20070088632A (ko) 매체 재생 디바이스에서 사용하기 위한 필름 그레인시뮬레이션 기술
EP1803094A1 (en) Film grain simulation method
US10715834B2 (en) Film grain simulation based on pre-computed transform coefficients

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160616

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 8