RU2342703C2 - Методика имитации зернистости пленки с помощью частотной фильтрации - Google Patents

Методика имитации зернистости пленки с помощью частотной фильтрации Download PDF

Info

Publication number
RU2342703C2
RU2342703C2 RU2006113613/09A RU2006113613A RU2342703C2 RU 2342703 C2 RU2342703 C2 RU 2342703C2 RU 2006113613/09 A RU2006113613/09 A RU 2006113613/09A RU 2006113613 A RU2006113613 A RU 2006113613A RU 2342703 C2 RU2342703 C2 RU 2342703C2
Authority
RU
Russia
Prior art keywords
film
film grain
image
noise
graininess
Prior art date
Application number
RU2006113613/09A
Other languages
English (en)
Other versions
RU2006113613A (ru
Inventor
Хоан ЛАЧ (US)
Хоан ЛАЧ
Джилл МакДональд БОЙС (US)
Джилл МакДональд БОЙС
Александрос ТОУРАПИС (US)
Александрос ТОУРАПИС
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2006113613A publication Critical patent/RU2006113613A/ru
Application granted granted Critical
Publication of RU2342703C2 publication Critical patent/RU2342703C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Circuits (AREA)

Abstract

Изобретение относится к способу имитации зернистости пленки при последующем декодировании закодированных изображений. Техническим результатом является повышение эффективности имитации зернистости пленки. Указанный технический результат достигается тем, что имитация зернистости пленки в изображении осуществляться посредством сжатия видеоизображения, последующей передачи сжатого видео вместе с сообщением, содержащим, по меньшей мере, один параметр, указывающий исходную зернистость пленки, декодеру, и восстановления исходного зернистого вида изображений посредством имитации декодером зернистости пленки на основе содержимого сообщения зернистости пленки. Один или более параметров информации зернистости пленки подвергается масштабированию в соответствии с целевым размером блока пикселов в изображении, принимая во внимание отношения Mt/Mo и Nt/No, причем каждое отношение округляют до ближайшего целого, где Мо×No представляет исходный размер блока, a Nt×Mt представляет целевой размер блока. 3 н. и 13 з.п. ф-лы, 6 ил.

Description

Перекрестная ссылка на родственные заявки
Данная заявка испрашивает приоритет на основе Предварительной заявки США на получение патента номер 60/505260, поданной 23 сентября 2003 года, идеи которой включены в данный документ.
Область техники
Это изобретение относится к методике имитации зернистости пленки при последующем декодировании закодированных изображений.
Уровень техники
Кинопленки содержат галогенидосеребряные микрокристаллы, распределенные в эмульсии, которая нанесена тонкими слоями на основу пленки. Экспонирование и проявление этих кристаллов формирует фотографическое изображение, состоящее из отдельных крошечных частиц серебра. В цветных негативах крошечные пятна красителей появляются в местах, где серебряные кристаллы формируют последующее химическое удаление серебра при проявлении неэкспонированной пленки. Эти небольшие пятнышки красителей, как правило, имеют метку "зернистость" на цветной пленке. Зернистость проявляется случайно распределенной на результирующем изображении из-за случайного формирования кристаллов серебра на исходной эмульсии. В рамках равномерно экспонированной области некоторые кристаллы проявляются после экспонирования, тогда как другие не проявляются.
Зернистость варьируется по размеру и форме. Чем более чувствительной является пленка, тем больше сформированные скопления серебра и образованные пятна красителей и тем больше они стремятся сгруппироваться в случайные узоры. Термин "зернистость" типично ссылается на зернистую структуру. Невооруженный глаз не может различать отдельные зерна, которые варьируются от 0,0002 мм до порядка 0,002 мм. Вместо этого глаз различает группы зерен, указываемые ссылками как пятна. Зритель идентифицирует эти группы пятен как зернистость пленки. По мере того как разрешения изображения увеличивается, восприятие зернистости пленки становится более высоким. Зернистость пленки становится явно заметной в фильмах и изображениях высокой четкости, тогда как зернистость пленки постепенно теряет важность в телевидении со стандартным разрешением (SDTV) и становится незаметной в форматах меньшего размера.
Кинопленка типично содержит зависимый от изображений шум, возникающий либо вследствие физического экспонирования и проявления фотопленки, либо вследствие последующего редактирования изображений. Фотопленка обладает характерным квазислучайным узором, или текстурой, возникающей из физической зернистости фотоэмульсии. Альтернативно имитация аналогичного узора может осуществляться в сгенерированных вычислительными средствами изображениях, чтобы смешивать их с фотопленкой. В обоих случаях зависимый от изображений шум носит обозначение "зернистость пленки". Достаточно часто умеренно зернистая текстура представляет собой желательный признак в киноизображениях. В некоторых случаях зернистость пленки обеспечивает визуальные подсказки, которые облегчают правильное восприятие двумерных изображений. Зернистость пленки часто отличается в пределах одной пленки, чтобы предоставить различные ключи в отношении привязки ко времени, точки зрения и т.д. В кинопромышленности существуют многие другие технические и художественные требования по управлению текстурой зернистости. Поэтому сохранение зернистого вида изображений по всей цепочке обработки и доставки изображений стало обязательным в кинопромышленности.
Некоторые коммерческие продукты поддерживают возможность имитации зернистости пленки, часто для смешения сгенерированного вычислительными средствами объекта с натуральной сценой. Cineon® от компании Eastman Kodak Co, Rochester New York, одно из первых цифровых приложений для работы с пленками, чтобы реализовывать имитацию зернистости, формирует очень реалистичные результаты для многих типов зернистости. Тем не менее, приложение Cineon® не обеспечивает оптимальной производительности для многих высокоскоростных пленок из-за заметных диагональных полос, которые формирует приложение для параметров высокой зернистости. Дополнительно, приложение Cineon® не может имитировать зернистость с адекватной точностью, когда изображения подвергаются предварительной обработке, например, когда изображения копируются или подвергаются цифровой обработке.
Другой коммерческий продукт, который имитирует зернистость пленки, - это Grain Surgery™ от компании Visual Infinity Inc., который используется в качестве подключаемого модуля программы Adobe® After Effects®. Продукт Grain Surgery™, как считается, генерирует синтетическую зернистость посредством фильтрации набора случайных чисел. Этот подход имеет недостаток в виде высокой вычислительной сложности.
Имитация зернистости пленки продолжает оставаться темой для исследований. За последнее время в стандарт сжатия видеоизображений H.264 внесены изменения, чтобы применять стандартное сообщение дополнительной информации расширения (SEI), задающее параметры имитации зернистости пленки. Применение сообщения SEI зернистости пленки конкретного формата значительно облегчает создание декодеров для имитации зернистости пленки с помощью методики, недавно раскрытой заявителем в данной заявке для имитации зернистости пленки. Методика, разработанная авторами, имитирует зернистость пленки посредством (1) начального отфильтровывания зернистости из изображений до сжатия и последующей (2) передачи сжатого видео вместе с сообщением, содержащим информацию об исходной зернистости, декодеру, и (3) восстановления исходного зернистого вида изображений посредством имитации декодером зернистости пленки на основе содержимого сообщения SEI. Эта методика обеспечивает значительную экономию в объеме передаваемых данных для высококачественных приложений, требующих сохранения зернистости пленки. Тем не менее, методика увеличивает сложность декодера, поскольку генерирование зернистости пленки требует создания изображения зернистости пленки посредством осуществления действия с блоками пикселов 16×16 и последующей распаковки краев блоков 16×16 изображения зернистости пленки.
Таким образом, существует потребность в методике имитации зернистости пленки, которая преодолевает вышеуказанные недостатки за счет обеспечения большей эффективности.
Краткая сущность изобретения
Вкратце, в соответствии с предпочтительным вариантом осуществления представленных принципов, предусмотрен способ имитации зернистости пленки. Способ начинается с приема информации изображения и информации зернистости пленки, которая включает в себя, по меньшей мере, один параметр из набора возможных параметров, заблаговременно задающих различные атрибуты зернистости пленки в изображении. С помощью модели зернистости пленки осуществляется имитации зернистости в соответствии с, по меньшей мере, одним параметром, который масштабируется в соответствии с целевым размером блоков пикселов в изображении. Имитированная зернистость пленки затем встраивается в изображение.
Масштабирование информации зернистости пленки в соответствии с целевым размером блоков пикселов позволяет использовать произвольные размеры блоков, что дает возможность применять традиционные аппаратные элементы, чтобы выполнять основанные на блоках операции, ассоциативно связанные с имитацией зернистости.
Краткое описание чертежей
Фиг.1 иллюстрирует блок-схему системы имитации зернистости пленки.
Фиг.2 иллюстрирует схему последовательности операций, которая показывает этапы способа, посредством которого система, представленная на фиг.1, генерирует информацию зернистости пленки в соответствии с первым аспектом настоящих принципов.
Фиг.3 иллюстрирует схему последовательности операций, которая показывает этапы способа, посредством которого система, представленная на фиг.1, генерирует информацию зернистости пленки в соответствии со вторым из настоящих принципов.
Фиг.4 иллюстрирует пример блока пикселов 8×8, масштабированного в соответствии с настоящими принципами.
Фиг.5A иллюстрирует пример блока пикселов 8×8, у которого только вертикальные края подвергаются масштабированию.
Фиг.5B иллюстрирует пример блока пикселов 8×8, у которого только горизонтальные края подвергаются масштабированию.
Подробное описание изобретения
Фиг.1 иллюстрирует блок-схему системы 10 имитации зернистости пленки в изображении. Система 10 содержит первый блок 12 для генерирования информации зернистости пленки из входного изображения 104 и из, по меньшей мере, одного параметра зернистости пленки, реализованного в сообщении зернистости пленки, такого как сообщение 106 SEI. Блок 12 генератора зернистости пленки генерирует информацию зернистости пленки из этой входной информации с помощью одного из способов, представленных на фиг.2 и 3, подробнее описанных ниже. Информация зернистости пленки, сгенерированная блоком 12 генератора зернистости пленки, подвергается распаковке посредством фильтра 14 распаковки блоков зернистости пленки перед приемом в блоке 16 смешения. Блок 16 смешения смешивает отфильтрованную информацию зернистости пленки с входным изображением, чтобы получить выходное изображение, содержащее зернистость пленки.
Фиг.2 иллюстрирует схему последовательности операций, показывающую этапы способа в соответствии с первым аспектом настоящих принципов генерирования зернистости пленки. Как описано подробнее ниже, способ, представленный на фиг.2 работает, чтобы генерировать зернистость пленки из гауссова шума, масштабированного до частотной фильтрации. Способ генерирования зернистости пленки фиг.2 начинается с выполнения этапа 100, в ходе которого системные переменные подвергаются инициализации. После этапа 100 выполняется извлечение последовательных блоков пикселов N×M из входного изображения 104, при этом N и M - это целые числа больше нуля.
После этапа 102 выполняется этап 105, и генератор шума (не показан) в рамках блока 12 генератора зернистости пленки фиг.1 генерирует случайный (гауссовый) шум в соответствии с, по меньшей мере, одним из параметров зернистости пленки, содержащихся в сообщении 106 SEI, которое прилагается к входному изображению, как масштабированное нижеописанным способом. Адаптированные к стандарту сжатия H.264, параметры зернистости пленки в сообщении 106 SEI задаются в качестве предикатов в блоке пикселов 16×16. Этот размер блока не всегда обеспечивает максимальное удобство в отношении эффективности реализации.
В соответствии с настоящими принципами, параметры зернистости пленки в сообщении SEI подвергаются масштабированию в ходе этапа 107, чтобы разрешить имитацию зернистости пленки с размерами блоков, отличными от 16×16 пикселов. На практике сообщение SEI задает различные параметры пленки, в том числе два набора частот отсечки, а именно горизонтальных и вертикальных низких частот отсечки и горизонтальных и вертикальных высоких частот отсечки. Чтобы понять способ, которым параметры SEI, в частности горизонтальные и вертикальные высокие и низкие частоты отсечки, подвергаются масштабированию, пусть Ns×Ms представляет исходный размер блока (т.е. 16×16 пикселов), а Nt×Mt представляет целевой размер блока, с которым работают новые масштабированные параметры. Горизонтальные и вертикальные высокие частоты отсечки подвергаются масштабированию следующим образом:
Figure 00000003
Figure 00000004
при этом функция f ceil(x) возвращает наименьшее целое число, большее или равное x, f t HH - новая высокая горизонтальная частота отсечки, а f t HV - новая высокая вертикальная частота отсечки для использования с целевым размером блока. Это масштабирование составляет эквивалент разделения исходной частоты на отношение размеров блоков и округления в большую сторону до ближайшего целого. Аналогично, горизонтальные и вертикальные низкие частоты отсечки подвергаются масштабированию следующим образом:
Figure 00000005
Figure 00000006
где floor(x) возвращает наибольшее целое число, меньшее или равное x, f t LH - это новая низкая горизонтальная частота отсечки, а f t LV - это новая низкая вертикальная частота отсечки, которая должна быть использована с целевым размером блока. Это масштабирование составляет эквивалент разделения исходной частоты на отношение размеров блоков и округления в меньшую сторону до ближайшего целого.
Вышеописанное округление обеспечивает наиболее подобную зернистость пленки в целевом размере блока в сравнении с зернистостью пленки, возникающей в результате использования исходных значений частоты отсечки, задаваемых в блоках 16×16 пикселов. Тем не менее, любой тип округления (по минимальному уровню, по максимальному уровню или по ближайшему целому) позволяет также масштабировать горизонтальные и вертикальные частоты отсечки.
В проиллюстрированном варианте осуществления исходные блоки имеют размер 16×16 пикселов, а целевые блоки - 8×8 пикселов. При этом масштабирование высоких частот отсечки может осуществляться следующим образом:
Figure 00000007
где f t H представляет новую высокую частоту отсечки. Уравнение (5) позволяет масштабировать горизонтальные и вертикальные высокие частоты отсечки, поскольку исходные и целевые блоки возводятся в квадрат. Масштабирование низких частот отсечки выполняется как:
Figure 00000008
где f t L представляет новую низкую частоту отсечки. Аналогично, уравнение (6) позволяет масштабировать горизонтальные и вертикальные низкие частоты отсечки.
Параметры сообщения SEI могут подвергаться масштабированию до любого требуемого размера блока, обеспечивая эффективную реализацию ранее описанных алгоритмов имитации зернистости пленки. В проиллюстрированном варианте осуществления масштабирование значений параметра зернистости пленки до блоков пикселов 8×8 позволяет повторное использование многих существующих интегральных схем для выполнения аппаратно ускоренных операций дискретного косинусного преобразования (ДКП, DCT), обратного дискретного косинусного преобразования (ОДКП, IDCT) и других основанных на блоках операций.
В ходе этапа 108 случайный шум подвергается масштабированию, чтобы изменить значения пикселов блока пикселов N×M, который уже имеет окончательный размер (например, 8×8), чтобы устранить/уменьшить сложность процесса распаковки блоков. Масштабирование, которое выполняется в ходе этапа 108, принимает форму изменения дисперсии шума относительно значения (масштабированного), заданного в сообщении SEI. Предположим, что для данного блока B случайный шум, сгенерированный в ходе этапа 105, имеет среднее значение μ и дисперсию σ2. При условии функции масштабирования SB, заданной для каждого пиксела блока B, масштабированное значение пиксела имеет следующее отношение:
Figure 00000009
где B(i, j) представляет пиксел с координатами (i, j) блока B. Следует отметить, что уравнение (7) применяется только к тем пикселам, где S(i,j) не равно 1.
Масштабирование шума, которое выполняется на этапе 108, устраняет необходимость в фильтре распаковки блоков, чтобы уменьшить помехи блокирования. Использование масштабирования шума, чтобы уменьшать эти помехи, применяет принцип, что помехи блокирования возникают в результате некоррелированных пикселов по краям блоков. Чтобы уменьшить эти помехи, корреляция по краям блоков должна быть увеличена, что эквивалентно уменьшению величины шума на краях блоков.
После этапа 108 масштабированный случайный шум подвергается дискретному косинусному преобразованию в ходе этапа 110. Далее коэффициенты подвергаются частотной фильтрации на этапе 112 согласно соответствующему параметру фильтрации в сообщении 106 SEI. Обратное дискретное косинусное преобразование (ОДКП) выполняется на этапе 114. В ходе этапа 116 осуществляется проверка, чтобы определить, остались ли несчитанные дополнительные блоки пикселов N×M. Если дополнительных блоков не осталось, результирующий шум формирует изображение 118 зернистости пленки, и процесс завершается на этапе 120. В противном случае, этап 102 и последующие этапы проходят повторное выполнение до тех пор, пока не останется более несчитанных блоков N×M из входного изображения 104.
Фиг.3 иллюстрирует схему последовательности операций, показывающую этапы способа в соответствии со вторым аспектом настоящих принципов генерирования зернистости пленки. Способ генерирования зернистости пленки фиг.3 включает в себя множество таких же шагов, что и способ фиг.2, и аналогичные номера позиций на фиг.3 ссылаются на аналогичные этапы. Способ генерирования зернистости пленки, представленной на фиг.3, отличается от способа, представленного на фиг.2, в отношении очередности выполнения масштабирования шума. Как описано, способ генерирования пленки фиг.2 выполняет масштабирование шума на этапе 108 в качестве вступления к частотной фильтрации, которая осуществляется на этапе 112. Наоборот, способ генерирования зернистой пленки, представленной на фиг.3, выполняет масштабирование шума на этапе 115 в результате обратного дискретного косинусного преобразования, которое осуществляется на этапе 114 после частотной фильтрации, выполненной на этапе 112. Операция масштабирования, применяемая к каждому пикселу фильтрованного случайного шума на этапе 115 фиг.4, выполняется эквивалентным способом, заданным уравнением (7).
Задание функции масштабирования может выполняться априори или может выполняться автоматически на основе параметров сообщения 106 SEI и размера блока. Функция масштабирования также может адаптироваться к различным наборам параметров, задаваемых в сообщении SEI.
В проиллюстрированном варианте осуществления функция масштабирования уменьшает величину шума по краям блоков (чтобы избежать артефактов блокирования), в то же время увеличивая величину шума в блоке, чтобы сохранять одну и ту же общую величину шума. При условии разграничения масштабирования на блоки пикселов 8×8 функция масштабирования позволяет достичь результата, показанного на фиг.4 для блока 200 пикселов. Самая темная серая область 202 по краю блока 200 пикселов представляет уменьшение шума (S(i,j) < 1), тогда как самая светлая серая область 204 внутри блока представляет увеличение шума (S(i,j) > 1). Средняя по току серая область 206 представляет отсутствие изменения интенсивности шума (S(i,j) = 1).
Применение функции масштабирования является компромиссом между сохранением вида зернистости пленки (поскольку параметры сообщения SEI изменяются) и уменьшением сложности декодера (т.е. избежанием распаковки блоков). В случаях, когда не все края блоков в равной степени значимы, функция масштабирования позволяет вносить изменения только в определенные края. На ЭЛТ-дисплеях, к примеру, помехи по вертикальным краям гораздо более заметны, чем по горизонтальным краям. При этом меньшая интенсивность шума должна применяться только по вертикальным краям 302 блока 300 пикселов, как показано на фиг.5A. В определенных случаях функция масштабирования позволяет вносить изменения только в горизонтальные края 402 блока 400 пикселов, как проиллюстрировано на фиг.5B.
Выше описана методика имитации зернистости пленки при последующем декодировании закодированных изображений посредством масштабирования параметров зернистости пленки, уменьшающего сложность.

Claims (16)

1. Способ имитации зернистости пленки, содержащий этапы, на которых принимают информацию изображения; принимают информацию зернистости пленки, которая включает в себя по меньшей мере один параметр, заблаговременно задающий по меньшей мере один атрибут зернистости пленки в изображении; и масштабируют упомянутый по меньшей мере один параметр, принимая во внимание отношения Mt/Mo и Nt/No, причем каждое отношение округляют до ближайшего целого, где Мо×No представляет исходный размер блока, a Nt×Mt представляет целевой размер блока, имитируют зернистость пленки в соответствии с по меньшей мере одним масштабированным параметром.
2. Способ по п.1, дополнительно содержащий этап, в котором смешивают имитированную зернистость пленки с изображением.
3. Способ по п.1, в котором: этап, на котором принимают информацию изображения, дополнительно содержит этап, на котором принимают изображение, поток битов которого сжат в соответствии с заранее определенным стандартом сжатия; и этап, на котором принимают информацию зернистости пленки, дополнительно содержит этап, на котором принимают дополнительные данные, вложенные в поток битов изображения.
4. Способ по п.2, в котором: этап, на котором принимают информацию изображения, дополнительно содержит этап, на котором принимают изображение, поток битов которого сжат в соответствии со стандартом сжатия Н.264; и этап, на котором принимают информацию зернистости пленки, дополнительно содержит этап, на котором принимают сообщение SEI.
5. Способ по п.1, в котором этап, на котором имитируют зернистость пленки, содержит этапы, на которых: генерируют случайный шум в соответствии с, по меньшей мере, одним параметром зернистости пленки; масштабируют шум, изменяя значения пикселов в блоках пикселов, заблаговременно масштабированных до целевого размера блоков; подвергают частотной фильтрации шум после масштабирования.
6. Способ по п.1, в котором этап, на котором имитируют зернистость пленки, содержит этапы, на которых: генерируют случайный шум в соответствии с, по меньшей мере, одним параметром зернистости пленки; подвергают частотной фильтрации шум; и масштабируют шум, подвергнутый частотной фильтрации, изменяя значения пикселов в блоках пикселов, заблаговременно масштабированных до целевого размера блоков.
7. Способ по п.2, в котором информация зернистости пленки содержит горизонтальные и вертикальные высокие и низкие частоты отсечки для масштабирования посредством целевого размера блоков пикселов.
8. Способ по п.5, в котором шум подвергается масштабированию, чтобы уменьшить интенсивность шума в первую очередь по одному из вертикальных краев и горизонтальных краев.
9. Способ имитации зернистости пленки, содержащий этапы, на которых:
(a) принимают информацию изображения, представляющую изображение, в котором зернистость пленки была, по меньшей мере, ослаблена;
(b) принимают информацию зернистости пленки, которая включает в себя, по меньшей мере, один параметр из набора допустимых параметров, заблаговременно задающих различные атрибуты зернистости пленки в изображении;
(c) масштабируют информацию зернистости пленки принимая во внимание отношения Mt/Mo и Nt/No, причем каждое отношение округляют до ближайшего целого, где Мо×No представляет исходный размер блока, a Nt×Mt представляет целевой размер блока;
(d) считывают следующий из блоков пикселов изображения;
(e) генерируют случайный шум для следующего блока пикселов в соответствии с по меньшей мере одним параметром;
(f) масштабируют случайный шум, изменяя значения пикселов в блоках пикселов, заблаговременно масштабированных до целевого размера блоков;
(g) выполняют основанное на блоках преобразование масштабированного шума, чтобы получить набор коэффициентов;
(h) подвергают коэффициенты частотной фильтрации; и
(i) выполняют обратное, основанное на блоках преобразование коэффициента, подвергнутого частотной фильтрации, чтобы получить блок изображений зернистости пленки.
10. Способ по п.9, в котором этапы (d)-(i) повторяются до тех пор, пока все блоки пикселов в изображении не будут считаны.
11. Способ по п.9, в котором этап, на котором выполняют основанное на блоках преобразование, дополнительно содержит этап, на котором выполняют дискретное косинусное преобразование.
12. Способ по п.11, в котором этап, на котором выполняют обратное, основанное на блоках преобразование, дополнительно содержит этап, на котором выполняют обратное дискретное косинусное преобразование.
13. Способ имитации зернистости пленки, содержащий этапы, на которых:
(a) принимают информацию изображения, представляющую изображение, в котором зернистость пленки была по меньшей мере ослаблена;
(b) принимают информацию зернистости пленки, которая включает в себя по меньшей мере один параметр из набора допустимых параметров, заблаговременно задающих различные атрибуты зернистости пленки в изображении;
(c) масштабируют информацию зернистости пленки принимая во внимание отношения Mt/Mo и Nt/No, причем каждое отношение округляют до ближайшего целого, где М0×N0 представляет исходный размер блока, a Nt×Mt представляет целевой размер блока;
(d) считывают следующий из блоков пикселов изображения;
(e) генерируют случайный шум для следующего блока пикселов в соответствии с по меньшей мере одним параметром;
(f) выполняют основанное на блоках преобразование масштабированного шума, чтобы получить набор коэффициентов;
(g) подвергают коэффициенты частотной фильтрации; и
(h) выполняют обратное основанное на блоках преобразование коэффициента, подвергнутого частотной фильтрации, чтобы получить блок изображений зернистости пленки; и
(i) масштабируют шум, изменяя значения пикселов в блоках пикселов, заблаговременно масштабированных до целевого размера блоков.
14. Способ по п.13, в котором этапы (d)-(i) повторяются до тех пор, пока все блоки пикселов в изображении не будут считаны.
15. Способ по п.13, в котором этап, на котором выполняют основанное на блоках преобразование, дополнительно содержит этап, на котором выполняют дискретное косинусное преобразование.
16. Способ по п.13, в котором этап, на котором выполняют обратное, основанное на блоках преобразование, дополнительно содержит этап, на котором выполняют обратное дискретное косинусное преобразование.
RU2006113613/09A 2003-09-23 2004-09-22 Методика имитации зернистости пленки с помощью частотной фильтрации RU2342703C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US50526003P 2003-09-23 2003-09-23
US60/505,260 2003-09-23

Publications (2)

Publication Number Publication Date
RU2006113613A RU2006113613A (ru) 2006-08-27
RU2342703C2 true RU2342703C2 (ru) 2008-12-27

Family

ID=34392999

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2006113613/09A RU2342703C2 (ru) 2003-09-23 2004-09-22 Методика имитации зернистости пленки с помощью частотной фильтрации

Country Status (12)

Country Link
US (1) US7889939B2 (ru)
EP (1) EP1676447A1 (ru)
JP (2) JP4931587B2 (ru)
KR (1) KR101114743B1 (ru)
CN (1) CN1857005B (ru)
AU (2) AU2004306091B2 (ru)
BR (1) BRPI0414647A (ru)
CA (1) CA2538832C (ru)
HK (1) HK1093642A1 (ru)
RU (1) RU2342703C2 (ru)
WO (1) WO2005032143A1 (ru)
ZA (1) ZA200602349B (ru)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA200601707B (en) * 2003-08-29 2008-09-25 Thomson Licensing Sa Method and apparatus for modeling film grain patterns in the frequency domain
US7945106B2 (en) * 2003-09-23 2011-05-17 Thomson Licensing Method for simulating film grain by mosaicing pre-computer samples
JP4931587B2 (ja) * 2003-09-23 2012-05-16 トムソン ライセンシング 周波数フィルタリングを用いてフィルムグレインをシミュレートする手法
JP2005100100A (ja) * 2003-09-25 2005-04-14 Toyota Motor Corp 車輪情報処理装置および車輪情報処理方法
EP1673943A1 (en) * 2003-10-14 2006-06-28 Thomson Licensing, S.A. Technique for bit-accurate comfort noise addition
JP4066367B2 (ja) * 2003-11-28 2008-03-26 ノーリツ鋼機株式会社 画像ノイズ除去方法
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
JP4543873B2 (ja) 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
US20060082649A1 (en) 2004-10-18 2006-04-20 Cristina Gomila Film grain simulation method
KR101174179B1 (ko) * 2004-10-21 2012-08-16 톰슨 라이센싱 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술
EP2202982A3 (en) 2004-11-12 2012-10-10 Thomson Licensing Film grain simulation for normal play and trick mode play for video playback systems
KR101229942B1 (ko) 2004-11-16 2013-02-06 톰슨 라이센싱 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 ｓｅｉ 메시지 삽입
PL1812904T3 (pl) 2004-11-16 2012-07-31 Thomson Licensing Sposób symulacji ziarna błony filmowej na podstawie wstępnie obliczonych współczynników transformacji
PL1812905T3 (pl) * 2004-11-17 2019-10-31 Interdigital Vc Holdings Inc Sposób symulacji ziarna filmu o dokładności bitowej na podstawie wstępnie obliczonych przekształconych współczynników
BRPI0518037A (pt) 2004-11-22 2008-10-28 Thomson Licensing métodos, aparelho e sistema para dividir cache de granulação de pelìcula para simulação de granulação de pelìcula
KR101166948B1 (ko) * 2004-11-23 2012-07-19 톰슨 라이센싱 낮은 복잡도의 필름 그레인 시뮬레이션 기법
AU2005309719B2 (en) * 2004-11-24 2010-07-01 Interdigital Vc Holdings, Inc. Film grain simulation technique for use in media playback devices
EP1670255A1 (en) * 2004-12-08 2006-06-14 Koninklijke Philips Electronics N.V. Electronic image processing method and device with linked random generators
WO2006075304A2 (en) * 2005-01-12 2006-07-20 Koninklijke Philips Electronics N.V. Depth perception
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition
JP2007235227A (ja) * 2006-02-27 2007-09-13 Toshiba Corp 映像再生装置、および映像再生方法
JP4881999B2 (ja) * 2006-06-21 2012-02-22 トムソン ライセンシング 自動フィルムグレイン調整
US7742652B2 (en) 2006-12-21 2010-06-22 Sharp Laboratories Of America, Inc. Methods and systems for image noise processing
US8213500B2 (en) 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
US20090328093A1 (en) * 2008-06-30 2009-12-31 At&T Intellectual Property I, L.P. Multimedia Content Filtering
CN102377929B (zh) * 2008-09-03 2015-01-28 奥林巴斯映像株式会社 图像处理装置、摄像装置以及图像处理方法
WO2011088321A1 (en) * 2010-01-15 2011-07-21 Marvell World Trade, Ltd Use of film grain to mask compression artifacts
JP5484310B2 (ja) 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
CN102324091A (zh) * 2011-09-08 2012-01-18 深圳市万兴软件有限公司 一种图像加噪方法和装置
KR101979634B1 (ko) 2012-12-13 2019-05-20 삼성전자주식회사 화질 개선을 위한 영상 처리 장치 및 그 방법
US9438821B1 (en) 2014-04-11 2016-09-06 Suny Behar Parker Method for applying multi-layered film grain and texture mapping to a digital video image
CN112525102B (zh) * 2020-12-09 2021-07-23 吉林大学 基于电流变液的汽车形貌测量系统噪声模拟仪
WO2024012810A1 (en) * 2022-07-11 2024-01-18 Interdigital Ce Patent Holdings, Sas Film grain synthesis using encoding information
CN116708876B (zh) * 2023-05-06 2024-05-14 神力视界(深圳)文化科技有限公司 视频流处理、展示方法、计算机可读存储介质及电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935816A (en) 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
RU2088962C1 (ru) 1990-09-28 1997-08-27 Диджитал Тиатер Системз, Л.П. Звуковая кинопленка, звуковая система для кинофильма на пленке, способ получения аналоговой фонограммы и цифрового идентификатора, положения на кинопленке, способ получения звукового сигнала кинопленки и способ считывания последовательных цифровых данных из цифрового запоминающего устройства
US5140414A (en) 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5687011A (en) 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
US5374954A (en) 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5457491A (en) 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5335013A (en) 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
US5471572A (en) 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
US5831673A (en) 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
US5475425B1 (en) 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
WO1996013006A1 (en) 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
JPH08163594A (ja) * 1994-12-12 1996-06-21 Sony Corp 動画像復号化方法及び動画像復号化装置
US5629769A (en) 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
GB9613865D0 (en) 1996-07-02 1996-09-04 Crosfield Electronics Ltd Method and apparatus for generating a digital representation of an image
US6317216B1 (en) 1999-12-13 2001-11-13 Brown University Research Foundation Optical method for the determination of grain orientation in films
AU2001251386A1 (en) 2000-04-07 2001-10-23 Demografx Enhanced temporal and resolution layering in advanced television
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
US6940993B2 (en) * 2000-12-13 2005-09-06 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
US7092016B2 (en) * 2001-02-09 2006-08-15 Eastman Kodak Company Method and system for motion image digital processing
WO2004095829A1 (en) * 2003-04-10 2004-11-04 Thomson Licensing S.A. Technique for simulating film grain on encoded video
RU2005139131A (ru) 2003-05-15 2006-06-10 Томсон Лайсенсинг (Fr) Способ и устройство для представления зернистости изображения посредством одного или нескольких параметров
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
ZA200601707B (en) * 2003-08-29 2008-09-25 Thomson Licensing Sa Method and apparatus for modeling film grain patterns in the frequency domain
JP4931587B2 (ja) * 2003-09-23 2012-05-16 トムソン ライセンシング 周波数フィルタリングを用いてフィルムグレインをシミュレートする手法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTINA GOMILA, SEI message for film grain encoding: syntax and results, JVT OF ISO IEC MPEG AND ITU-T VCEG JVT-I013 REVISION 2, SAN DIEGO, 2 September 2003, c.c.1-11. *
M. SCHLOCKERMANN, Film grain coding in H.264/AVC, JVT OF ISO IEC MPEG AND ITU-T VCEG JVT-I034D2, *

Also Published As

Publication number Publication date
WO2005032143A1 (en) 2005-04-07
JP4931587B2 (ja) 2012-05-16
AU2010202973A1 (en) 2010-08-05
CA2538832C (en) 2013-02-12
WO2005032143A9 (en) 2005-10-13
KR20070029624A (ko) 2007-03-14
US20070036452A1 (en) 2007-02-15
CN1857005A (zh) 2006-11-01
BRPI0414647A (pt) 2006-11-14
JP2007507172A (ja) 2007-03-22
JP2012100322A (ja) 2012-05-24
AU2004306091A1 (en) 2005-04-07
HK1093642A1 (en) 2007-03-02
KR101114743B1 (ko) 2012-03-13
US7889939B2 (en) 2011-02-15
CA2538832A1 (en) 2005-04-07
RU2006113613A (ru) 2006-08-27
ZA200602349B (en) 2007-10-31
AU2010202973B2 (en) 2011-05-12
CN1857005B (zh) 2010-04-28
EP1676447A1 (en) 2006-07-05
AU2004306091B2 (en) 2010-08-12

Similar Documents

Publication Publication Date Title
RU2342703C2 (ru) Методика имитации зернистости пленки с помощью частотной фильтрации
RU2377651C2 (ru) Методика имитации зернистости пленки с низкой сложностью
US7738722B2 (en) Technique for adaptive de-blocking of block-based film grain patterns
EP1627360B1 (en) Method and apparatus for representing image granularity by one or more parameters
US8150206B2 (en) Method and apparatus for representing image granularity by one or more parameters
MXPA06003285A (en) Technique for simulating film grain using frequency filtering
EP1809043A1 (en) Technique for film grain simulation using a database of film grain patterns

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20191111