RU2717346C2 - Коррекция плохих пикселей в устройстве захвата инфракрасных изображений - Google Patents

Коррекция плохих пикселей в устройстве захвата инфракрасных изображений Download PDF

Info

Publication number
RU2717346C2
RU2717346C2 RU2018100398A RU2018100398A RU2717346C2 RU 2717346 C2 RU2717346 C2 RU 2717346C2 RU 2018100398 A RU2018100398 A RU 2018100398A RU 2018100398 A RU2018100398 A RU 2018100398A RU 2717346 C2 RU2717346 C2 RU 2717346C2
Authority
RU
Russia
Prior art keywords
pixel
pixels
values
spurious
input image
Prior art date
Application number
RU2018100398A
Other languages
English (en)
Other versions
RU2018100398A3 (ru
RU2018100398A (ru
Inventor
Амори САРАГАГЛИА
Ален ДЮРАН
Original Assignee
Юлис
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Юлис filed Critical Юлис
Publication of RU2018100398A publication Critical patent/RU2018100398A/ru
Publication of RU2018100398A3 publication Critical patent/RU2018100398A3/ru
Application granted granted Critical
Publication of RU2717346C2 publication Critical patent/RU2717346C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

Изобретение относится к устройствам захвата изображений в инфракрасном спектре. Техническим результатом является выполнение коррекции паразитных пикселей матрицы пикселей в чувствительном к инфракрасному излучению устройстве захвата изображения. Результат достигается тем, что осуществляют прием первого входного изображения (RAW) и коррекцию первого входного изображения путем применения значений усиления и смещения; обнаружение в скорректированном первом входном изображении по меньшей мере одного паразитного пикселя и добавление упомянутого по меньшей мере одного паразитного пикселя к списку паразитных пикселей (LSPUR); прием второго входного изображения (RAW) и коррекцию второго входного изображения путем применения значений усиления и смещения; и вычисление значений коррекции усиления и смещения (sOff, sGain) для упомянутого по меньшей мере одного паразитного пикселя на основе первого и второго скорректированных входных изображений. 3 н. и 13 з.п. ф-лы, 10 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее раскрытие относится к области техники устройств захвата изображений в инфракрасном спектре, и конкретно, к способу и устройству для осуществления коррекции паразитных пикселей в изображении, захваченном матрицей пикселей, чувствительной к инфракрасному излучению.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Устройства захвата инфракрасных (ИК) изображений, такие как микроболометры или охлаждаемые устройства захвата ИК-изображений, содержат матрицу чувствительных к ИК-излучению детекторов, образующих матрицу пикселей. Для осуществления коррекции пространственной неоднородности между пикселями такой матрицы пикселей обычно применяется коррекция смещения и усиления к каждому сигналу пикселя (или "значению пикселя") захваченного изображения до того, как его отображают. Значения смещения и усиления генерируются в ходе заводской предварительной калибровки устройства с использованием однородных излучающих источников (черных тел) при регулируемых температурах и сохраняются устройством захвата изображений. Такая пространственная неоднородность изменяется не только во времени, но также и в зависимости от температуры оптических, механических и электронных частей устройства захвата изображений, и, следовательно, внутренний механический затвор часто используется в устройстве захвата изображений, чтобы содействовать коррекции изображения. Это включает в себя захват изображения периодически, тогда как затвор закрыт, чтобы получить опорное изображение для относительно однородной сцены, каковое затем может использоваться для калибровки.
Общеизвестно, что после процесса изготовления таких устройств захвата инфракрасных изображений один или несколько пикселей в матрице пикселей указываются являющимися нерабочими в конце фазы первоначальной калибровки изготовителем. В области техники такие пиксели общеизвестны как "плохие пиксели" и они идентифицированы в карте работоспособности, сохраняемой устройством захвата изображений. На значения пикселей, генерируемые по плохим пикселям, обычно нельзя полагаться, и, следовательно, их значения пикселей заменяют значением, сгенерированным на основе соседних пикселей в изображении.
Кроме того, было установлено, что в течение срока службы таких устройств захвата изображений поведение сигнала одного или нескольких первоначально рабочих пикселей может более не описываться удовлетворительно их параметрами первоначальной калибровки. Это может возникать из-за различных физических модификаций или даже механического повреждения, вызванного малыми внутренними движущимися частицами, оставленными или освобожденными, в блоке датчиков, например. Эти пиксели будут именоваться в документе паразитными пикселями. Такие пиксели не приводятся в списке в первоначальной карте работоспособности, и они могут снижать качество изображения.
В отношении оснащенных затвором устройств захвата изображений, французская заявка на патент, опубликованная как документ FR3009388, раскрывает способ идентификации таких паразитных пикселей в течение любого периода закрытия затвора, предоставляя средство для повторяющегося обновления карты работоспособности.
Однако, имеются несколько недостатков использования затвора, такие как добавочные вес и стоимость, и хрупкость этого компонента. Кроме того, для некоторых применений использование затвора является неприемлемым из-за времени, которое теряется, пока затвор закрыт, и имеет место калибровка. В течение этого периода калибровки нельзя получать какое-либо изображение сцены.
В беззатворном устройстве захвате изображений имеется техническая трудность идентификации таких паразитных пикселей из сцены изображения, особенно если значения пикселей находятся в текстурированной зоне захваченного изображения.
При допущении, что паразитные пиксели могут быть идентифицированы, такие паразитные пиксели можно просто добавлять к списку плохих пикселей. Однако если устройство захвата изображений принимает, например, многократную ударную нагрузку в течение своего срока службы, в той точке, где плотность паразитных пикселей в изображении может более не оставаться незначительной, результатом будет ухудшение качества изображения.
Таким образом, в области техники имеется потребность, в частности для беззатворного захвата инфракрасных изображений, в устройстве и способе обнаружения паразитных пикселей, по меньшей мере, чтобы обновлять карту работоспособности, но также и повторно калибровать конкретные паразитные пиксели, которые становятся некорректно калиброванными.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Цель вариантов осуществления по настоящему описанию состоит в том, чтобы по меньшей мере частично разрешить одну или несколько потребностей известного уровня техники.
Согласно одному аспекту предложен способ выполнения коррекции паразитных пикселей матрицы пикселей устройства захвата изображений, чувствительного к инфракрасному излучению, содержащий: прием устройством обработки в устройстве захвата изображений первого входного изображения, захваченного матрицей пикселей, и выполнение коррекции первого входного изображения путем применения значений усиления и смещения к значениям пикселей для пикселей в первом входном изображении; обнаружение в скорректированном первом входном изображении по меньшей мере одного паразитного пикселя и добавление по меньшей мере одного паразитного пикселя к списку паразитных пикселей; прием устройством обработки второго входного изображения, захваченного матрицей пикселей, и выполнение коррекции второго входного изображения путем применения значений усиления и смещения к значениям пикселей для пикселей во втором входном изображении; и вычисление значений коррекции усиления и смещения для по меньшей мере одного паразитного пикселя на основе первого и второго скорректированных входных изображений. Например, выполнение коррекции первого и второго входных изображений содержит коррекцию значений пикселей для пикселей в одинаковых позициях в первом и втором входных изображениях.
Согласно одному варианту осуществления, способ дополнительно содержит подтверждение значений коррекции усиления и смещения путем применения их для корректировки значений по меньшей мере одного паразитного пикселя в третьем входном изображении, захваченном матрицей пикселей, и обнаружения, обнаруживается ли все еще по меньшей мере один паразитный пиксель как паразитный пиксель в третьем изображении.
Согласно одному варианту осуществления, третье входное изображение захватывается при температуре матрицы пикселей, отличной от температуры каждого изображения из первого и второго входных изображений.
Согласно одному варианту осуществления способ дополнительно содержит, до вычисления упомянутых значений коррекции усиления и смещения, добавление по меньшей мере одного обнаруженного паразитного пикселя к списку плохих пикселей и удаление по меньшей мере одного обнаруженного паразитного пикселя из списка плохих пикселей, если значения коррекции усиления и смещения подтверждаются в ходе этапа подтверждения.
Согласно одному варианту осуществления, матрица пикселей содержит столбцы пикселей, каждый столбец ассоциирован с соответствующим опорным пикселем, и при этом выполнение коррекции первого и второго входных изображений содержит: определение, на основе входного изображения и вектора столбцовой компоненты, представляющего столбцовый разброс, вводимый опорными пикселями матрицы пикселей, первого масштабного коэффициента путем оценивания уровня упомянутого столбцового разброса, присутствующего во входном изображении; генерирование значений смещения столбца на основе произведения первого масштабного коэффициента на значения вектора столбцовой компоненты; определение, на основе входного изображения и матрицы двумерной (2D) дисперсии, представляющей 2D дисперсию, вводимую матрицей пикселей, второго масштабного коэффициента путем оценивания уровня упомянутой 2D дисперсии, присутствующей во входном изображении; генерирование значений смещения пикселей на основе произведения второго масштабного коэффициента на значения матрицы 2D дисперсии; и генерирование скорректированного изображения путем применения значений смещения столбца и пикселя.
Согласно одному варианту осуществления, скорректированное изображение генерируют на основе уравнения:
Figure 00000001
где
Figure 00000002
является входным изображением,
Figure 00000003
и
Figure 00000004
являются масштабными коэффициентами,
Figure 00000005
является значением коррекции усиления,
Figure 00000006
является значением усиления,
Figure 00000007
и
Figure 00000008
являются значениями смещений,
Figure 00000009
является матрицей, содержащей в каждой из ее строк столбцовый вектор
Figure 00000010
,
Figure 00000011
является опорной матрицей дисперсии.
Согласно одному варианту осуществления, вычисление значений коррекции усиления и смещения для по меньшей мере одного паразитного пикселя на основе первого и второго скорректированных входных изображений содержит: оценивание, на основе соседних пикселей в первом входном изображении, первого ожидаемого значения пикселя для каждого пикселя из по меньшей мере одного паразитного пикселя; оценивание на основе соседних пикселей во втором входном изображении, второго ожидаемого значения пикселя для каждого пикселя из по меньшей мере одного паразитного пикселя; и вычисление значений коррекции усиления и смещения на основе оцененных первого и второго ожидаемых значений пикселя.
Согласно одному варианту осуществления, обнаружение по меньшей мере одного паразитного пикселя содержит: вычисление оценочного показателя для множества целевых пикселей, включающего по меньшей мере некоторые из пикселей первого входного изображения, оценочный показатель для каждого целевого пикселя генерируется на основе
Figure 00000012
связанных соседних пикселей входного изображения в окне
Figure 00000013
×
Figure 00000013
пикселей вокруг целевого пикселя,
Figure 00000013
является нечетным целым числом 3 или более, и
Figure 00000012
является целым числом между 2 и 5, причем каждый из связанных соседних пикселей совместно использует граничную или угловую точку, по меньшей мере, с другим пикселем из связанных соседних пикселей и/или с целевым пикселем, и при этом по меньшей мере один из связанных соседних пикселей совместно использует граничную или угловую точку с целевым пикселем; и обнаружение, что по меньшей мере один из пикселей является паразитным пикселем, на основе вычисленных оценочных показателей.
Согласно одному варианту осуществления обнаружение по меньшей мере одного паразитного пикселя содержит сравнение по меньшей мере некоторых из оценочных показателей с пороговым значением.
Согласно одному варианту осуществления сравнение по меньшей мере некоторых из оценочных показателей с пороговым значением включает в себя сравнение подмножества оценочных показателей с пороговым значением, подмножество содержит множество наивысших оценочных показателей, и при этом пороговое значение вычисляют на основе следующего уравнения:
Figure 00000014
где
Figure 00000015
является параметром, равным по меньшей мере 1,0, и
Figure 00000016
и
Figure 00000017
являются соответственно первым и третьим квартилями подмножества.
Согласно одному варианту осуществления, по меньшей мере некоторые оценочные показатели выбирают, применяя дополнительный порог к вычисленным оценочным показателям.
Согласно одному варианту осуществления, дополнительный порог вычисляют на основе допущения, что значения пикселей в изображении имеют распределение вероятностей на основе распределения Лапласа.
Согласно одному варианту осуществления, дополнительный порог вычисляют на основе следующего уравнения:
Figure 00000018
где
Figure 00000019
является оценкой параметра экспоненциального распределения
Figure 00000020
, соответствующего абсолютному значению вычисленных оценочных показателей.
Согласно дополнительному аспекту, обеспечивается читаемый компьютером носитель данных, хранящий командыдля выполнения вышеуказанного способа при исполнении устройством обработки.
Согласно дополнительному аспекту, обеспечивается устройство обработки изображений, содержащее: память, хранящую значения смещения и усиления и список паразитных пикселей; устройство обработки, выполненное с возможностью: принимать первое входное изображение, захваченное матрицей пикселей устройства захвата изображений, чувствительного к инфракрасному излучению, и корректировать первое входное изображение путем применения значений усиления и смещения к пикселям в первом входном изображении; обнаруживать в скорректированном первом входном изображении по меньшей мере один паразитный пиксель и добавлять по меньшей мере один паразитный пиксель к списку паразитных пикселей; принимать второе входное изображение, захваченное матрицей пикселей, и корректировать второе входное изображение путем применения значений усиления и смещения к значениям пикселей для пикселей во втором входном изображении; и
вычислять значения коррекции усиления и смещения для по меньшей мере одного паразитного пикселя, на основе первого и второго скорректированных входных изображений.
Согласно одному варианту осуществления, устройство обработки дополнительно выполнено с возможностью подтверждать значения коррекции усиления и смещения путем применения их для корректировки значений по меньшей мере одного паразитного пикселя в третьем входном изображении, захваченном матрицей пикселей, и обнаружения, обнаруживается ли все еще по меньшей мере один паразитный пиксель как паразитный пиксель в третьем изображении.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Предшествующие и другие признаки и преимущества станут очевидными из последующего подробного описания вариантов осуществления, данных в качестве иллюстрации, а не ограничения, со ссылкой на сопроводительные чертежи, на которых:
Фигура 1 схематично иллюстрирует устройство захвата изображений согласно примерному варианту осуществления;
Фигура 2 схематично иллюстрирует блок обработки изображений в устройстве захвата изображений по Фиг.1 более подробно согласно примерному варианту осуществления;
Фигура 3 - структурная схема, показывающая операции в способе обнаружения и коррекции паразитных пикселей согласно примерному варианту осуществления настоящего раскрытия;
Фигура 4 - структурная схема, иллюстрирующая операции в способе генерирования значений коррекции смещения и усиления согласно примерному варианту осуществления настоящего раскрытия;
Фигура 5 - структурная схема, иллюстрирующая операции в способе подтверждения значений коррекции смещения и усиления согласно примерному варианту осуществления;
Фигура 6 - структурная схема, иллюстрирующая операции в способе идентификации паразитных пикселей согласно примерному варианту осуществления;
Фигура 7 - структурная схема, иллюстрирующая операции в способе генерирования оценочных показателей пикселей согласно примерному варианту осуществления;
Фигура 8A иллюстрирует пример выбора связанных соседних пикселей согласно примерному варианту осуществления настоящего раскрытия;
Фигура 8B иллюстрирует примеры связанных и несвязанных соседних пикселей согласно примерному варианту осуществления; и
Фигура 8C иллюстрирует пример края и паразитного пикселя согласно примерному варианту осуществления.
Подробное описание СУЩНОСТИ ИЗОБРЕТЕНИЯ
Хотя некоторые из вариантов осуществления в последующем описании описываются в отношении матрицы пикселей типа микроболометра, специалистам в данной области техники будет очевидно, что способы, описанные здесь, могут в равной степени применяться к другим типам устройств захвата ИК изображений, включая охлаждаемые устройства. Кроме того, хотя варианты осуществления описаны здесь в отношении беззатворного устройства захвата ИК изображений, они могут в равной степени применяться к устройству захвата ИК изображений, содержащему механический затвор, и к изображениям, полученным посредством такого устройства.
Фигура 1 иллюстрирует устройство 100 захвата ИК изображений, содержащее матрицу 102 пикселей, чувствительную к ИК-излучению. Например, в некоторых вариантах осуществления матрица пикселей является чувствительной к длинноволновому ИК-излучению, такому как излучение с длиной волны между 7 и 13 мкм. Устройство 100, например, способно получать одиночные изображения, а также последовательности изображений, образующие видео. Устройство 100 является, например, устройством без затвора.
Для простоты иллюстрации на Фиг.1 иллюстрируется матрица 102 пикселей только из 144 пикселей 104, организованных в 12 строк и 12 столбцов. В альтернативных вариантах осуществления матрица 102 пикселей может содержать любое число строк и столбцов пикселей. Обычно, матрица, например, содержит 640 × 480 или 1024 × 768 пикселей.
Каждый столбец пикселей в матрице 102 ассоциируется с соответствующей опорной структурой 106. Хотя функционально не элемент изображения, эта структура будет именоваться в документе "опорным пикселем" по структурной аналогии с формирующими изображение (или активными) пикселями 104. Кроме того выходной блок (OUTPUT) 108 соединен с каждым столбцом матрицы 102 пикселей и с каждым из опорных пикселей 106, и обеспечивает необработанное изображение
Figure 00000002
.
Схема (CTRL) 110 управления, например, обеспечивает управляющие сигналы на матрицу пикселей, на опорные пиксели 106 и на выходной блок 108. Необработанное изображение
Figure 00000002
, например, обеспечивается на блок 112 обработки изображений (IMAGE PROCESSING), который применяет смещения и усиления к пикселям изображения, чтобы создать скорректированное изображение
Figure 00000021
.
Каждый из пикселей 104, например, содержит болометр. Болометры известны в области техники, и, например, содержат мембрану, взвешенную над подложкой, содержащую слой поглощающего ИК-излучение материала и имеющую характеристику, что их сопротивление изменяется с возрастанием температуры мембраны, связанным с присутствием ИК излучения.
Опорный пиксель 106, ассоциированный с каждым столбцом, например, содержит слепой болометр, который, например, имеет структуру, подобную активным болометрам пикселей 104 матрицы, но визуализируемым нечувствительными к излучению из сцены изображения, например, посредством защитного средства, образуемого отражающим экраном, и/или посредством теплоотвода по конструктивному решению, например, согласно обеспечению высокой теплопроводности для подложки, болометр, например, формируется в прямом контакте с подложкой.
В ходе операции чтения матрицы 102 пикселей, строки пикселей, например, считываются по одной.
Пример матрицы пикселей типа болометра, например, обсуждается более подробно в переуступленном настоящему заявителю патенте США US 7700919, содержание которого тем самым включено по ссылке в мере, разрешенной законом.
Фигура 2 иллюстрирует блок 112 обработки изображений по Фиг.1 более подробно согласно примерному варианту осуществления.
Функции блока 112 обработки изображений, например, реализуются в программном обеспечении, и блок 112 обработки изображений содержит устройство 202 обработки (PROCESSING DEVICE) с наличием одного или нескольких процессоров под управлением команд, хранящихся в памяти 204 для хранения команд (INSTR MEMORY). В альтернативных вариантах осуществления функции блока 112 обработки изображений могут быть реализованы, по меньшей мере частично, специализированными аппаратными средствами. В таком случае устройство 202 обработки, например, содержит ASIC (специализированную интегральную схему) или FPGA (базовый матричный кристалл), и память 204 команд может быть опущена.
Устройство 202 обработки принимает необработанное входное изображение
Figure 00000002
, и генерирует скорректированное изображение
Figure 00000021
, которое, например, предоставляется на дисплей (не проиллюстрирован) устройства захвата изображений. Устройство 202 обработки также соединено с памятью 206 данных (MEMORY), хранящую значения 208 смещения (
Figure 00000022
), значения 210 усиления (
Figure 00000023
), список (
Figure 00000024
) 212 идентифицированных паразитных пикселей и список плохих пикселей (
Figure 00000025
).
Значения смещения, например, представляются вектором
Figure 00000010
, представляющим структурный столбцовый разброс, и матрицей
Figure 00000011
, представляющей нестолбцовую структурную 2D-дисперсию, вводимую матрицей 102 пикселей. Столбцовый разброс, например, преимущественно происходит из-за использования опорного пикселя 106 в каждом столбце, хотя строка опорных пикселей столбца обычно не является совершенно однородной. Нестолбцовая 2D дисперсия, например, преимущественно происходит из-за локальных физических и/или структурных различий между активными болометрами матрицы пикселей, имеющих место, например, из-за дисперсии технологического процесса.
Генерация вектора
Figure 00000010
и матрицы
Figure 00000011
, и коррекция значений пикселей на основе этого вектора и матрицы описываются более подробно в заявке на патент США US 14/695539, поданной 24 апреля 2015, переуступленной настоящему заявителю, содержание которой тем самым включено путем ссылки в мере, разрешенной законом, и во французской заявке на патент FR 14/53917, поданной 30 апреля 2014, и в японской патентной заявке JP 2015-093484, поданной 30 апреля 2015, также от имени настоящего заявителя.
Теперь будет описываться способ, как описан в этих заявках. Считается, что необработанное изображение
Figure 00000002
было захвачено матрицей 102 пикселей по Фиг.1, и что матрица пикселей относится к типу, что каждый столбец матрицы ассоциирован с соответствующим опорным пикселем 106.
Скорректированное изображение
Figure 00000021
, например, генерируется на основе необработанного изображения
Figure 00000002
путем применения следующего уравнения:
Figure 00000026
(1)
где
Figure 00000027
являются координатами пикселей для пикселей 104,
Figure 00000003
и
Figure 00000004
являются масштабными коэффициентами,
Figure 00000005
является значением коррекции усиления,
Figure 00000006
является значением усиления,
Figure 00000007
и
Figure 00000008
являются значениями смещения,
Figure 00000009
является матрицей, содержащей в каждой из своих строк столбцовый вектор
Figure 00000010
,
Figure 00000011
является опорной матрицей дисперсии, и res является остаточной коррекцией, которая, например, используется в некоторых вариантах осуществления для выполнения коррекции каких-либо постолбцовых остатков и/или остатков дисперсии, оставшихся в изображении.
Масштабный коэффициент
Figure 00000003
, например, определяют на основе следующего уравнения:
Figure 00000028
(2)
где T() представляет фильтр верхних частот, применяемый к столбцовому вектору
Figure 00000010
и к входному изображению
Figure 00000002
, и
Figure 00000029
является числом строк в изображении. Другими словами, определение масштабного коэффициента
Figure 00000030
, например, включает в себя применение фильтра верхних частот к необработанному изображению по его строкам, а также к опорному столбцовому вектору; определение постолбцовых средних фильтрованного изображения, приводящее к вектору такой же размерности, что и опорный столбцовый вектор, и затем определения масштабного коэффициента в виде минимизации разностей между двумя столбцовыми векторами, то есть, между постолбцовыми средними фильтрованного изображения и фильтрованным столбцовым вектором.
Масштабный коэффициент
Figure 00000004
, например, определяют на основе следующего уравнения:
Figure 00000031
(3)
где
Figure 00000032
- значение градиента пикселя между смежными пикселями в горизонтальном направлении в изображении, другими словами, по каждой строке, и
Figure 00000033
- значение градиента пикселя между смежными пикселями в вертикальном направлении в изображении, другими словами, по каждому столбцу.
Хотя в последующем коррекция усиления и смещения описана основывающейся на уравнениях 1-3 выше, в альтернативных вариантах осуществления могут использоваться другие способы коррекции.
Фигура 3 является структурной схемой, показывающей операции в способе выполнения обнаружения и коррекции паразитных пикселей согласно примерному варианту осуществления. Этот способ, например, реализуется схемой 112 по Фиг.2 всякий раз, когда захватывается новое изображение.
Паразитные пиксели являются пикселями, для которых смещение и усиление отклонились от своих первоначально калиброванных значений, например, в результате механического удара или повреждения, вызванного малыми внутренними движущимися частицами. Паразитный пиксель может соответствовать добавочному "плохому пикселю", который, например, был разрушен и, следовательно, не может давать применимый сигнал в связи со сценой. Однако изобретатели настоящей заявки и установили, что часто паразитный пиксель все еще может быть способным давать применимый сигнал в связи со сценой, но его значение стало устойчиво постоянно сдвинутым по смещению и усилению относительно первоначально калиброванного значения.
В операции 301 обнаруживают паразитные пиксели в изображении
Figure 00000021
, которое соответствует необработанному изображению
Figure 00000002
, скорректированному на основе значения усиления и смещения. Обнаруженные паразитные пиксели образуют список
Figure 00000024
. Как будет описано более подробно ниже, в одном варианте осуществления паразитные пиксели обнаруживают на основе вычисления расстояния (в терминах значений пикселей) до связанных соседей каждого пикселя в изображении. Однако в альтернативных вариантах осуществления могут применяться другие способы, чтобы идентифицировать паразитные пиксели. Например, один или несколько паразитных пикселей могут быть идентифицированы пользователем вручную. Кроме того, в некоторых вариантах осуществления, изображение
Figure 00000021
может быть однородной сценой, например, если его получают с закрытым затвором устройства захвата изображений, посредством этого содействуя идентификации паразитных пикселей.
В последующей операции 302, значения коррекции смещения и усиления вычисляют для каждого идентифицированного паразитного пикселя. Другими словами, для каждого идентифицированного паразитного пикселя значения коррекции вычисляют, чтобы выполнить коррекцию сохраненных на текущий момент значений смещения и усиления. Это вычисление, например, основывается на по меньшей мере двух захваченных изображениях.
В последующей операции 303, подтверждение этих значений коррекции смещения и усиления, например, выполняется для каждого паразитного пикселя. Подтверждение, например, выполняется при другой температуре фокальной плоскости по отношению к температуре, когда вычислялись значения коррекции смещения и усиления, чтобы верифицировать, что вычисленные коррекции обеспечивают подходящую коррекцию для этих пикселей, если изменяется температура фокальной плоскости. Температура фокальной плоскости соответствует температуре матрицы пикселей. Другими словами, изобретатели заметили, что по меньшей мере часть обнаруженных паразитных пикселей все еще могут постоянно корректироваться, даже если их смещение и усиление сдвинулись, и что качество вычисленных значений коррекции усиления и смещения, полученных для этих паразитных пикселей, например, подтверждается их устойчивостью, хотя температура фокальной плоскости изменилась.
Если в операции 303 значения коррекции усиления и смещения подтверждаются, значения 208, 210 усиления и смещения для паразитных пикселей, например, обновляются в операции 304 значениями коррекции, вычисленными в операции 302.
Альтернативно, если в операции 303 значения коррекции усиления и смещения не подтверждаются, в операции 305 паразитные пиксели добавляются к списку плохих пикселей. Другими словами, паразитные пиксели, для которых коррекции являются нестабильными при изменении температуры фокальной плоскости, классифицируются как добавочные плохие пиксели. У пикселей в списке плохих пикселей, например, их значения пикселей заменяют оценкой пикселей, основанной на одном или нескольких из их соседних пикселей.
В альтернативном варианте осуществления все паразитные пиксели, идентифицированные в операции 301, систематически добавляют к списку плохих пикселей и затем только удаляют из этого списка, если коррекция подтверждается в операции 303.
В некоторых вариантах осуществления, вместо попытки выполнения коррекции пикселей, идентифицированных как паразитные, операции 302, 303 и 304 могут быть опущены, и способ может систематически включать в себя добавление всех обнаруженных паразитных пикселей к списку плохих пикселей в операции 305. Такой подход сбережет расходы на обработку, связанные с операциями 302 и 303. В качестве еще дополнительной альтернативы, некоторые пиксели могут первоначально добавляться к списку плохих пикселей, и если число плохих пикселей превышает пороговый уровень, один или несколько ранее идентифицированных паразитных пикселей, либо один или несколько вновь идентифицированных паразитных пикселей можно скорректировать, используя операции 302 и 303.
Фигура 4 является структурной схемой, иллюстрирующей пример операций для вычисления значений коррекции смещения и усиления в операции 302 по Фиг.3.
В операции 401, например, получают изображение, и значения пикселей по меньшей мере некоторых из пикселей корректируют, используя значения 208, 210 смещения и усиления, например, на основе уравнения 1 выше. Входными данными для способа являются, например, необработанное захваченное изображение
Figure 00000002
, значения
Figure 00000009
и
Figure 00000011
смещения, значения
Figure 00000023
усиления и элементы
Figure 00000003
,
Figure 00000004
и
Figure 00000005
, используемые для коррекции изображения согласно уравнению 1 выше. Также полагают, что список
Figure 00000024
паразитных пикселей был сгенерирован в операции 301 по Фиг.3.
В операции 402, выбирают пиксели
Figure 00000034
списка
Figure 00000024
, для которых частота обнаружения
Figure 00000035
превышает пороговый уровень
Figure 00000036
, и следующие операции способа выполняются только на этих пикселях. Эта операция, например, означает, что алгоритм коррекции применяется только к пикселям, которые многократно обнаруживаются как паразитные пиксели. Например, каждый раз, когда пиксель
Figure 00000034
обнаруживается как паразитный пиксель, частоту обнаружения
Figure 00000035
вычисляют являющейся равной числу раз, которое пиксель был обнаружен как паразитный в предыдущих
Figure 00000037
изображениях, где
Figure 00000037
находится, например, между 2 и 20. Если эта частота выше
Figure 00000036
, равна, например,
Figure 00000038
, то пиксель выбирают. В некоторых вариантах осуществления эту операцию опускают, и последующие операции способа применяются ко всем пикселям в списке
Figure 00000024
.
В операции 403, вычисляют ожидаемое значение
Figure 00000039
пикселя. Например, когда пиксель стал паразитным, его значение
Figure 00000040
, после коррекции усиления и смещения, но которое было идентифицировано как выброс, может быть выражено в виде:
Figure 00000041
(4)
где
Figure 00000042
- значение пикселя для паразитного пикселя матрицы
Figure 00000002
,
Figure 00000043
и
Figure 00000044
являются значениями матриц
Figure 00000009
и
Figure 00000011
, применяемые к пикселю,
Figure 00000045
является значением матрицы
Figure 00000023
, применяемым к пикселю, и
Figure 00000003
,
Figure 00000004
,
Figure 00000005
и res являются такими же, что и для уравнения 1 выше. При условии, что этот пиксель может быть надлежаще скорректирован, существуют значения
Figure 00000046
и
Figure 00000047
коррекции усиления и смещения такие, что:
Figure 00000048
(5)
где
Figure 00000039
- ожидаемое значение пикселя, и является, например, равным или близким значению, которое может быть получено, если значения усиления и смещения были повторно вычислены на основе одного или нескольких новых опорных изображений. При условии, что имеются два неизвестных, чтобы определить значения обоих
Figure 00000046
и
Figure 00000047
, два ожидаемых значения, например, вычисляют, как теперь будет описано.
Величину ожидаемого значения
Figure 00000039
, например, вычисляют на основе его соседних пикселей. Например, применяют алгоритм, обычно используемый для коррекции плохих пикселей, такой как интерполяция, экстраполяция пиксельных данных и/или способ, известный в области техники как восстановление заполнением (Inpainting).
В операции 404, верифицируют, является также доступным или нет, в дополнение к новому значению
Figure 00000039
, предыдущее значение
Figure 00000049
или
Figure 00000050
для пикселя
Figure 00000042
, другими словами является ли пустым множество
Figure 00000051
. Если существует предыдущее значение
Figure 00000049
, это означает, что оно было определено для предыдущего изображения, в котором значения пикселей по меньшей мере некоторых из пикселей, были скорректированы с использованием тех же значений 208, 210 смещения и усиления в качестве применяемых к текущему изображению. Другими словами, позиции пикселей, скорректированных в текущем и предыдущем изображениях, являются, например, теми же. Если множество
Figure 00000051
является пустым и нет предыдущих значений, то в операции 405 значение
Figure 00000039
сохраняется как
Figure 00000049
, и масштабные коэффициенты
Figure 00000003
и
Figure 00000004
и значение
Figure 00000005
коррекции усиления, применяемые к пикселю, сохраняются как значения
Figure 00000052
,
Figure 00000053
,
Figure 00000054
, и значение
Figure 00000042
пикселя также сохраняется как значение
Figure 00000055
. В операции 406, например, выбирают следующий пиксель списка
Figure 00000024
, для которого частота обнаружения
Figure 00000035
больше чем
Figure 00000036
, и способ возвращается к операции 403.
Если, когда выполняется операция 404, уже имеется значение
Figure 00000049
для пикселя, в последующей операции 407, например, определяют, является или нет абсолютная разность между новым значением
Figure 00000039
и предыдущим значением
Figure 00000049
выше порогового значения
Figure 00000056
. В противном случае способ возвращается к операции 406. Если, однако, значения пикселей достаточно разнесены, то следующей операцией является 408.
В операции 408, новое значение
Figure 00000039
сохраняется как
Figure 00000050
, и масштабные коэффициенты
Figure 00000003
и
Figure 00000004
и значение
Figure 00000005
коррекции усиления, применяемые к пикселю, сохраняются как значения
Figure 00000057
,
Figure 00000058
,
Figure 00000059
, и значение
Figure 00000042
пикселя также сохраняется как значение
Figure 00000060
.
В операции 409, значения
Figure 00000061
и
Figure 00000047
коррекции смещения и усиления, например, вычисляют на основе оценок
Figure 00000049
и
Figure 00000050
. Например, значение
Figure 00000047
вычисляют на основе следующего уравнения:
Figure 00000062
(7)
где
Figure 00000063
.
Значение
Figure 00000046
, например, вычисляют на основе следующего уравнения:
Figure 00000064
(8)
Конечно, будет возможным сначала вычислить значение
Figure 00000046
и затем подставить это значение для вычисления значения
Figure 00000047
.
В последующей операции 410, значения
Figure 00000046
и
Figure 00000047
коррекции усиления и смещения, например, сохраняются в списке
Figure 00000024
в ассоциации с пикселем
Figure 00000065
. Способ затем, например, возвращается к операции 406 до тех пор, пока не будут обработаны все пиксели в списке
Figure 00000024
, для которых частота обнаружения
Figure 00000035
больше, чем
Figure 00000036
. Способ затем, например, повторяется, когда захватывается следующее изображение.
Хотя в некоторых вариантах осуществления вычисленные значения
Figure 00000047
и
Figure 00000046
коррекции смещения и усиления могут использоваться, чтобы непосредственно модифицировать значения 208, 210 усиления и смещения, по меньшей мере одна верификация этих значений, например, выполняется, чтобы верифицировать их действительность в присутствии изменения температуры, как будет теперь описано со ссылкой на Фиг.5.
Фигура 5 является структурной схемой, иллюстрирующей пример реализации операции 303 по Фиг.3 для подтверждения значений коррекции усиления и смещения для одного или нескольких пикселей.
В операции 501, изображение захватывается и корректируется с использованием значений 208, 210 смещения и усиления, обеспечивая в качестве входных данных захваченное изображение
Figure 00000002
и значения
Figure 00000009
,
Figure 00000011
смещения, значения
Figure 00000023
усиления, и элементы
Figure 00000003
,
Figure 00000004
и
Figure 00000005
, используемые для выполнения коррекции изображения согласно уравнению 1 выше. Кроме того, например, принимается показание температуры фокальной плоскости. Действительно, как упомянуто выше относительно операции 303 по Фиг.3, подтверждение значений смещения и усиления, например, выполняют при другой температуре фокальной плоскости относительно той, когда вычислялись значения смещения и усиления. Таким образом, показание температуры фокальной плоскости используется, чтобы проверять, изменилась ли температура фокальной плоскости. В примере по Фиг.5 показание температуры дается значением масштабного коэффициента
Figure 00000004
, который изменяется в зависимости от температуры. Изобретатели отметили, что информация о температуре, обеспечиваемая коэффициентом
Figure 00000004
, является достаточно надежной в этом контексте подтверждения новых коррекций паразитных пикселей. Однако, в альтернативных вариантах осуществления, может использоваться значение T температуры, сгенерированное датчиком температуры. Например, матрица пикселей содержит датчик температуры, встроенный в матрицу или находящийся в контакте с ней, чтобы предоставлять температуру фокальной плоскости.
В операции 502, пиксели выбирают, например, из пикселей
Figure 00000034
в списке
Figure 00000024
, для которых частота обнаружения
Figure 00000035
превышает пороговый уровень
Figure 00000036
, и последующие операции способа выполняются только на этих пикселях.
В операции 503 затем определяют, существуют ли значения коррекции усиления и смещения для первого пикселя из пикселей
Figure 00000034
. Если так, следующей операцией является 504, тогда как если нет, следующей операцией является 505, в которой выбирают следующий пиксель в списке, и способ возвращается к операции 503.
В альтернативных вариантах осуществления способ по Фиг.5 может применяться ко всем пикселям
Figure 00000034
в списке, для которых были вычислены значения коррекции смещения и усиления, независимо от частоты обнаружения. Таким образом, операция 502 может быть опущена.
В операции 504 определяют, является ли текущее, зависящее от температуры значение
Figure 00000004
равным или близким какому-либо значению из значений
Figure 00000053
и
Figure 00000058
, ассоциированных с пикселями
Figure 00000055
и
Figure 00000060
, сохраненными в списке
Figure 00000024
в операциях соответственно 405 и 408 способа по Фиг.4. Например, определяют, является ли абсолютная разность между
Figure 00000004
и
Figure 00000053
выше порога
Figure 00000066
, и является ли абсолютная разность между
Figure 00000004
и
Figure 00000058
выше порога
Figure 00000066
. Если любая из этих разностей меньше порогового значения, способ, например, возвращается к операции 505. Если, однако, было существенное изменение температуры (изменение
Figure 00000004
) с момента вычисления значений коррекции усиления и смещения, следующей операцией является 506. Как замечено выше, вместо использования масштабного коэффициента
Figure 00000004
в качестве показания температуры, значение T температуры может быть получено посредством датчика температуры. В таком случае, значения
Figure 00000004
,
Figure 00000053
и
Figure 00000058
будут заменены в операции 504 по Фиг.5 значениями температуры T, T1 и T2 соответственно, где значения T1 и T2 являются значениями температуры, измеренными относительно предыдущих изображений и сохраненными соответственно в операциях 405 и 408 по Фиг.4.
В операции 506, значения коррекции усиления и смещения для пикселя
Figure 00000034
используются в качестве испытательного значения для корректировки значения
Figure 00000042
пикселя, полученное в операции 501 для захваченного изображения, например, путем применения уравнений 1, 2 и 3 выше, со значениями усиления и смещения, модифицированными как в уравнении 5.
В операции 507 затем определяют, является ли модифицированное значение пикселя
Figure 00000034
все еще выбросом, другими словами, идентифицируют ли его все еще как паразитный пиксель. Например, прием, применяемый в операции 301 к обнаруженным паразитным пикселям, применяется к изображению со скорректированным пикселем
Figure 00000034
.
Если это не выброс, значения коррекции считаются подлежащими проверке, поскольку на этапе 504 температура фокальной плоскости оказалась достаточно далекой от ее двух предыдущих значений, и несмотря на такое изменение температуры значение пикселя не является выбросом. Таким образом, в следующей операции 508, новые значения смещения и усиления, скорректированные с использованием значений
Figure 00000067
и
Figure 00000046
коррекции, например, сохраняются в таблицах 208, 210 смещения и усиления, и затем в операции 509 их удаляют из списка
Figure 00000024
паразитных пикселей.
Если, однако, пиксель
Figure 00000034
все еще являет собой выброс, то, например, полагают, что пиксель не может быть скорректирован поправками к значениям усиления и смещения. Пиксель, следовательно, например, добавляют к списку
Figure 00000025
плохих пикселей в операции 510 и затем выполняют операцию 509, чтобы удалить пиксель из списка
Figure 00000024
.
Пример способа для обнаружения паразитных пикселей, реализованный в операции 301 по Фиг.3, теперь будет описан более подробно со ссылкой на фигуры Фиг. 6, 7 и 8.
Фиг.6 является структурной схемой, иллюстрирующей пример операций в способе обнаружения паразитных пикселей в захваченном изображении. Способ, например, реализуется посредством устройства 112 захвата изображений по Фиг.2, и захваченное изображение, например, было скорректировано путем применения значений 208, 210 смещения и усиления.
В операции 601, вычисляют оценочный показатель для каждого пикселя входного изображения на основе расстояния в терминах значений пикселей, вычисленных по отношению к соседним связанным пикселям.
В операции 602, выбросы, например, идентифицируют путем сравнения вычисленных оценочных показателей с первым порогом. Этот этап, например, используется для выбора только подмножества пикселей в качестве потенциальных паразитных пикселей. В некоторых вариантах осуществления этот этап, однако, может быть опущен.
В операции 603, паразитные пиксели, например, идентифицируют на основе выбросов, идентифицированных в операции 602 (или из целого изображения в случае, если операция 602 опущена).
Фигура 7 является структурной схемой, иллюстрирующей пример операций для реализации операции 601 по Фиг.6 для формирования оценочных показателей. Этот способ, например, применяется к каждому пикселю изображения поочередно, например, в порядке растровой развертки, хотя пиксели могут обрабатываться в любом порядке. Операции этого способа будут обсуждаться со ссылкой на Фиг.8A.
Фигура 8A иллюстрирует девять видов 801-809 окна 5×5 пикселей, представляющих примерное применение способа по Фиг.7. Более обобщенно, размер окна может задаваться как
Figure 00000068
, где
Figure 00000013
является нечетным целым числом, равным по меньшей мере 3, и, например, равным по меньшей мере 5. В некоторых вариантах осуществления
Figure 00000013
равно или меньше чем 15. Окно
Figure 00000068
находится вокруг целевого пикселя, для которого должен генерироваться оценочный показатель, другими словами, целевой пиксель, например, является центральным пикселем окна.
Обращаясь снова на Фиг.7, в операции 701 генерируется список связанных соседей пикселя. Связанные соседи являются любыми пикселями, совместно использующими граничную или угловую точку с пикселем, который уже был выбран. Таким образом, для пикселя, который не находится на крае изображения, будет восемь связанных соседей. Первоначально, выбирают только пиксель, для которого должен быть сгенерирован оценочный показатель. Этот пиксель будет именоваться здесь целевым пикселем. Например, как представлено видом 801 по Фиг.8A, оценочный показатель подлежит вычислению для центрального пикселя, затушеванного на фигуре, имеющего значение пикселя 120. Как представлено видом 802, связанными соседями являются восемь пикселей, окружающих центральный пиксель 120.
В операции 702, из числа связанных соседей выбирают пиксель, имеющий значение пикселя с наименьшим расстоянием от значения пикселя до целевого пикселя. Например, расстояние
Figure 00000069
между значениями пикселей
Figure 00000070
и
Figure 00000071
определяется как
Figure 00000072
. Как представлено видом 803 на Фиг.8A, выбирается пиксель, имеющий значение 120, равное значению целевого пикселя.
В операции 703, сосед, выбранный в операции 702, удаляется из списка связанных соседей целевого пикселя, и добавляются новые связанные соседи, которые содержат связанных соседей заново выбранного соседа, идентифицированного в операции 702. Например, как представлено видом 804 на Фиг.8A, три новых пикселя, связанных с заново выбранным пикселем, добавляются к списку.
В операции 704, определяют, были ли выбраны
Figure 00000012
связанных соседа. Число
Figure 00000012
соседей, подлежащих рассмотрению, является, например, фиксированным параметром, который выбирают на основе наивысшего ожидаемого числа связанных паразитных пикселей. Например, для некоторых датчиков изображения может считаться, что паразитные пиксели всегда изолированы друг от друга. В таком случае,
Figure 00000012
может выбираться являющимся равным непосредственно 2. Альтернативно, если считается возможным, что для данного датчика изображения могут быть идентифицированы два связанных паразитных пикселя, например, выбирают более высокое значение
Figure 00000012
, например, равное значению между 3 и 5. В примере по Фиг.8A,
Figure 00000012
равно 4. Если еще не были выбраны
Figure 00000012
соседей, способ возвращается к операции 702, в которой снова выбирают нового связанного соседа. Операции 703 и 704 затем повторяются, пока не будут выбраны
Figure 00000012
соседей, и затем выполняется операция 705. Как представлено в видах 805-809 по Фиг.8A, выбирают блок из четырех соседей целевого пикселя.
Фигура 8B иллюстрирует виды окна
Figure 00000013
×
Figure 00000013
пикселей, и демонстрирует разность между вычислением расстояния на основе просто ближайших соседей в окне, и таковым на основе ближайших связанных соседей. Как представлено видом 810, центральный пиксель являет собой выброс, поскольку разность между его значением и его окружающей окрестностью является высокой.
Вид 811 представляет четырех выбранных соседей в окне, имеющих значения, ближайшие к центральному пикселю, и не связанные с ним. Это вычисление приведет к низкому оценочному показателю, указывающему, что пиксель не является выбросом.
Вид 812 представляет четырех выбранных связанных соседей. В этом случае, выбраны четыре полностью различных пикселя, и оценочные показатели четко указывает, что целевой пиксель является выбросом.
Обращаясь снова на Фиг. 7, в операции 705, оценочный показатель для целевого пикселя вычисляют на основе выбранных связанных соседей. Например, оценочный показатель
Figure 00000073
для целевого пикселя
Figure 00000034
вычисляют на основе следующего уравнения:
Figure 00000074
(9)
где wi является весом, связанным с пикселем, и
Figure 00000075
-
Figure 00000076
являются
Figure 00000012
выбранными связанными соседями.
Вес wi для пикселя
Figure 00000034
, например, определяют, используя следующее уравнение:
Figure 00000077
(10)
где
Figure 00000078
является массивом локальных стандартных отклонений, вычисленных для пикселей в окне
Figure 00000013
×
Figure 00000013
пикселя
Figure 00000034
, отсортированный в упорядоченности по возрастанию, и
Figure 00000079
является параметром, например, установленным в очень низкое значение, такое как 0,0001. Таким образом, вес основывается на стандартных отклонениях поддиапазона пикселей в окне
Figure 00000013
×
Figure 00000013
, поддиапазон выбирается как пиксели между
Figure 00000013
и (
Figure 00000080
-
Figure 00000013
) на основе ранжированных стандартных отклонений пикселей. В альтернативных вариантах осуществления вес может вычисляться на основе стандартного отклонения для другого подмножества пикселей.
В альтернативных вариантах осуществления другой вес может применяться к оценочным показателям, или вес может не применяться к оценочным показателям. Преимущество применения веса на основе локального стандартного отклонения пикселя состоит в том, что может учитываться текстура в зоне пикселя, более высокое взвешивание дается оценочным показателям пикселей в гладких зонах, и более низкое взвешивание - оценочным показателям пикселей в текстурированных зонах, где может ожидаться относительно высокое отклонение.
Фигура 8C иллюстрирует виды 813, 814 двух различных окон
Figure 00000013
×
Figure 00000013
пикселей и демонстрирует преимущество применения к пикселям весового коэффициента на основе локального стандартного отклонения. Оценочный показатель целевого пикселя в обоих видах будет тем же. Однако на виде 813 имеется край, проходящий через целевой пиксель, и таким образом пиксель не следует рассматривать выбросом. На виде 814 изображение является относительно гладким в области целевого пикселя, и целевой пиксель следует рассматривать выбросом. Вес wi, вычисленный для вида 814 на основе локального стандартного отклонения, будет выше веса, вычисленного для вида 813.
Обращаясь снова к способу по Фиг.6, операция 602, например, включает в себя определение порогового оценочного показателя на основе распределения вероятностей для ожидаемых оценочных показателей в изображении. Изобретатели по настоящей заявке установили, что распределение Лапласа особенно хорошо подходит к большинству сцен инфракрасного изображения.
Известно, что если
Figure 00000081
, то
Figure 00000082
является экспоненциальным распределением. Функция плотности вероятности
Figure 00000083
, при
Figure 00000084
, следовательно, имеет вид
Figure 00000020
, где
Figure 00000085
. Ее функцией распределения является
Figure 00000086
. Параметр
Figure 00000087
экспоненты может быть оценен путем оценивания среднего на основе среднего значения выборки и взятия инверсии этого среднего:
Figure 00000088
(11)
где
Figure 00000089
является числом пикселей в изображении.
Обращаясь к порогу
Figure 00000090
, этот порог, например, вычисляют на основе
Figure 00000019
, используя следующее уравнение:
Figure 00000091
(12)
Вместо вычисления порога с использованием этого уравнения, альтернативой будет просто выбор порога, который отфильтровывает некоторую процентную долю оценочных показателей, такую как 95 процентов показателей. Однако, преимущество фильтрации с использованием порога, описанного выше, на основе распределения Лапласа состоит в том, что это устраняет проблемы, вводимые шумом. Действительно, если выбирают фиксированную процентную долю оценочных показателей, то число выбранных пикселей будет одинаковым для того же изображения с шумом и без него. Однако, порог, определенный на основе распределения Лапласа, будет изменяться на основе уровня шума в изображении.
Операция 603 по Фиг.6, например, включает в себя идентификацию паразитных пикселей из числа выбросов, идентифицированных в операции 602. Это, например, достигают путем выбора оценочных показателей выше порогового уровня, вычисленного на основе оценочных показателей для выбросов. Порог
Figure 00000092
, например, определяют, используя следующее уравнение:
Figure 00000014
(13)
где
Figure 00000015
является параметром, например, выбираемым, чтобы находился между 1,0 и 5,0, и, например, равным 1,5, и
Figure 00000016
и
Figure 00000017
являются первым и третьим квартилями для выбросов, идентифицированных в операции 602, соответственно.
В некоторых вариантах осуществления, чтобы избежать паразитных уведомлений, пиксель рассматривают как паразитный пиксель, только если его оценочный показатель превышает порог
Figure 00000092
, и его оценочный показатель выше минимального порога
Figure 00000093
, равного фиксированному значению.
Преимущество вариантов осуществления, описанных здесь, состоит в том, что паразитные пиксели могут быть обнаружены с использованием относительно простого и эффективного способа. Кроме того, способ выполнения коррекции паразитных пикселей означает, что вместо того, чтобы классифицироваться как плохие пиксели, значения пикселей, несущих информацию сцены, из некоторых пикселей можно продолжать использовать, чтобы генерировать пиксели изображения.
С наличием таким образом описанного по меньшей мере одного иллюстративного исполнения, различные изменения, модификации и совершенствования легко придут на ум специалистам в данной области техники.
Например, хотя конкретный пример микроболометра описан в отношении фигур Фиг.1 и 2, специалистам в данной области техники будет очевидно, что способы, описанные здесь, могут применяться к различным другим реализациям микроболометра или к другим типам устройств захвата ИК изображений.
Кроме того, специалистам в данной области техники будет очевидно, что различные операции, описанные в отношении различных вариантов осуществления, в альтернативных вариантах осуществления могут выполняться в других порядках следования без влияния на их эффективность.

Claims (42)

1. Способ выполнения коррекции паразитных пикселей матрицы пикселей чувствительного к инфракрасному излучению устройства захвата изображений, содержащий:
прием устройством обработки в устройстве захвата изображений первого входного изображения, захваченного матрицей пикселей, и коррекцию первого входного изображения путем применения значений усиления и смещения к значениям пикселей в первом входном изображении;
обнаружение в скорректированном первом входном изображении по меньшей мере одного паразитного пикселя и добавление упомянутого по меньшей мере одного паразитного пикселя к списку паразитных пикселей;
прием устройством обработки второго входного изображения, захваченного матрицей пикселей, и коррекцию второго входного изображения путем применения значений усиления и смещения к значениям пикселей во втором входном изображении; и
вычисление значений коррекции усиления и смещения для упомянутого по меньшей мере одного паразитного пикселя на основе первого и второго скорректированных входных изображений.
2. Способ по п.1, дополнительно содержащий подтверждение значений коррекции усиления и смещения путем применения их для корректировки значений упомянутого по меньшей мере одного паразитного пикселя в третьем изображении, захваченном матрицей пикселей, и обнаружение того, обнаруживается ли все еще упомянутый по меньшей мере один паразитный пиксель как паразитный пиксель в третьем входном изображении.
3. Способ по п.2, в котором третье входное изображение захватывают при температуре матрицы пикселей, отличной от температуры каждого из первого и второго входных изображений.
4. Способ по п.2 или 3, дополнительно содержащий, до вычисления упомянутых значений коррекции усиления и смещения, добавление упомянутого по меньшей мере одного обнаруженного паразитного пикселя к списку плохих пикселей и удаление упомянутого по меньшей мере одного обнаруженного паразитного пикселя из списка плохих пикселей, если значения коррекции усиления и смещения подтверждаются в ходе этапа подтверждения.
5. Способ по любому из пп.1-4, в котором матрица пикселей содержит столбцы пикселей, каждый столбец ассоциирован с соответствующим опорным пикселем, и при этом выполнение коррекции первого и второго входных изображений содержит:
определение на основе входного изображения и вектора столбцовой компоненты, представляющего столбцовый разброс, вводимый опорными пикселями матрицы пикселей, первого масштабного коэффициента (α) путем оценивания уровня упомянутого столбцового разброса, присутствующего во входном изображении;
генерирование значений смещения столбца (αVCOL(x)) на основе произведения первого масштабного коэффициента на значения вектора столбцовой компоненты (VCOL);
определение на основе входного изображения и матрицы 2D дисперсии (OFFDISP), представляющей 2D дисперсию, вводимую матрицей пикселей, второго масштабного коэффициента (β) путем оценивания уровня упомянутой 2D дисперсии, присутствующей во входном изображении;
генерирование значений смещения пикселя (βOFFDISP(x,y)) на основе произведения второго масштабного коэффициента на значения матрицы 2D дисперсии (OFFDISP); и
генерирование скорректированного изображения (CORR) путем применения значений смещения столбца и пикселя.
6. Способ по любому из пп.1-5, в котором упомянутое скорректированное изображение (CORR) генерируют на основе уравнения:
Figure 00000094
,
где RAW является входным изображением, α и β являются масштабными коэффициентами, γ является значением коррекции усиления, GAIN(x,y) является значением усиления, OFFCOL(x,y) и OFFDISP(x,y) являются значениями смещения, причем OFFCOL является матрицей, содержащей в каждой из своих строк столбцовый вектор VCOL, а OFFDISP является опорной матрицей дисперсии.
7. Способ по любому из пп.1-6, в котором вычисление значений коррекции усиления и смещения для упомянутого по меньшей мере одного паразитного пикселя на основе первого и второго скорректированных входных изображений содержит:
оценивание на основе соседних пикселей в первом входном изображении первого ожидаемого значения пикселя для каждого из упомянутого по меньшей мере одного паразитного пикселя;
оценивание на основе соседних пикселей во втором входном изображении второго ожидаемого значения пикселя для каждого из упомянутого по меньшей мере одного паразитного пикселя; и
вычисление значений коррекции усиления и смещения на основе оцененных первого и второго ожидаемых значений пикселя.
8. Способ по любому из пп.1-7, в котором обнаружение упомянутого по меньшей мере одного паразитного пикселя содержит:
вычисление оценочного показателя для множества целевых пикселей, включающего по меньшей мере некоторые из пикселей первого входного изображения, причем оценочный показатель для каждого целевого пикселя генерируется на основе k связанных соседних пикселей входного изображения в окне H на H пикселей вокруг целевого пикселя, где H является нечетным целым числом 3 или более, и k является целым числом между 2 и 5, причем каждый из связанных соседних пикселей совместно использует граничную или угловую точку с по меньшей мере одним другим пикселем из связанных соседних пикселей и/или с целевым пикселем, и при этом по меньшей мере один из связанных соседних пикселей совместно использует граничную или угловую точку с целевым пикселем; и
обнаружение того, что по меньшей мере один из пикселей является паразитным пикселем, на основе вычисленных оценочных показателей.
9. Способ по п.8, в котором обнаружение упомянутого по меньшей мере одного паразитного пикселя содержит сравнение по меньшей мере некоторых из оценочных показателей с пороговым значением (thrSPUR).
10. Способ по п.9, в котором сравнение по меньшей мере некоторых из оценочных показателей с пороговым значением включает в себя сравнение подмножества оценочных показателей с пороговым значением, причем подмножество содержит множество наивысших оценочных показателей, и при этом пороговое значение вычисляют на основе следующего уравнения:
Figure 00000095
,
где XEI является параметром, равным по меньшей мере 1,0, и Q1 и Q3 являются соответственно первым и третьим квартилями подмножества.
11. Способ по п.9 или 10, в котором упомянутые по меньшей мере некоторые оценочные показатели выбирают путем применения дополнительного порога (throutlier) к вычисленным оценочным показателям.
12. Способ по п.11, в котором упомянутый дополнительный порог вычисляют на основе допущения, что значения пикселей в изображении имеют распределение вероятностей на основе распределения Лапласа.
13. Способ по п.12, в котором упомянутый дополнительный порог вычисляют на основе следующего уравнения:
Figure 00000096
,
где
Figure 00000097
является оценкой параметра экспоненциального распределения
Figure 00000098
Figure 00000099
, соответствующего абсолютному значению (|S|) вычисленных оценочных показателей.
14. Читаемый компьютером носитель данных, хранящий команды для осуществления способа по любому из пп.1-13 при исполнении устройством обработки.
15. Устройство обработки изображений, содержащее:
память, хранящую значения смещения и усиления и список паразитных пикселей;
устройство обработки, выполненное с возможностью:
принимать первое входное изображение, захваченное матрицей пикселей устройства захвата изображений, чувствительного к инфракрасному излучению, и корректировать первое входное изображение путем применения значений усиления и смещения к значениям пикселей в первом входном изображении;
обнаруживать в скорректированном первом входном изображении по меньшей мере один паразитный пиксель и добавлять упомянутый по меньшей мере один паразитный пиксель к списку паразитных пикселей;
принимать второе входное изображение, захваченное матрицей пикселей, и корректировать второе входное изображение путем применения значений усиления и смещения к значениям пикселей во втором входном изображении; и
вычислять значения коррекции усиления и смещения для упомянутого по меньшей мере одного паразитного пикселя на основе первого и второго скорректированных входных изображений.
16. Устройство обработки по п.15, причем устройство обработки дополнительно выполнено с возможностью подтверждать значения коррекции усиления и смещения путем применения их для корректировки значений упомянутого по меньшей мере одного паразитного пикселя в третьем входном изображении, захваченном матрицей пикселей, и обнаружения того, обнаруживается ли все еще упомянутый по меньшей мере один паразитный пиксель как паразитный пиксель в третьем изображении.
RU2018100398A 2015-06-26 2016-06-10 Коррекция плохих пикселей в устройстве захвата инфракрасных изображений RU2717346C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1555963A FR3038194B1 (fr) 2015-06-26 2015-06-26 Correction de pixels parasites dans un capteur d'image infrarouge
FRFR1555963 2015-06-26
PCT/FR2016/051393 WO2016207506A1 (fr) 2015-06-26 2016-06-10 Correction de pixels parasites dans un capteur d'image infrarouge

Publications (3)

Publication Number Publication Date
RU2018100398A RU2018100398A (ru) 2019-07-26
RU2018100398A3 RU2018100398A3 (ru) 2020-01-20
RU2717346C2 true RU2717346C2 (ru) 2020-03-23

Family

ID=55072758

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018100398A RU2717346C2 (ru) 2015-06-26 2016-06-10 Коррекция плохих пикселей в устройстве захвата инфракрасных изображений

Country Status (10)

Country Link
US (1) US10609313B2 (ru)
EP (1) EP3314888B1 (ru)
JP (1) JP6682562B2 (ru)
KR (1) KR102571973B1 (ru)
CN (1) CN107810630B (ru)
CA (1) CA2990168C (ru)
FR (1) FR3038194B1 (ru)
LT (1) LT3314888T (ru)
RU (1) RU2717346C2 (ru)
WO (1) WO2016207506A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3038195B1 (fr) 2015-06-26 2018-08-31 Ulis Detection de pixels parasites dans un capteur d'image infrarouge
JP2018113614A (ja) * 2017-01-12 2018-07-19 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および撮像方法、電子機器、並びに信号処理装置
KR101918761B1 (ko) * 2018-04-27 2018-11-15 (주)이오시스템 적외선 열상 검출기의 불량 화소 처리 방법 및 장치
FR3082346B1 (fr) * 2018-06-08 2020-10-23 Ulis Dispositif et procede de compensation de chaleur parasite dans une camera infrarouge
FR3140724A1 (fr) 2022-10-07 2024-04-12 Safran Electronics & Defense Detection et correction de pixels defectueux

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060279632A1 (en) * 2005-05-26 2006-12-14 Anderson Shane M Method for fixed pattern noise reduction in infrared imaging cameras
RU2349053C1 (ru) * 2007-07-30 2009-03-10 Федеральное государственное унитарное предприятие "НПО "ОРИОН" Способ коррекции неоднородности матричных фотоприемных устройств с микросканированием
US20090092321A1 (en) * 2007-01-16 2009-04-09 Bae Systems Finformation And Electronic Systems Integration Inc Real-time pixel substitution for thermal imaging systems
US20120019693A1 (en) * 2006-03-24 2012-01-26 Qualcomm Incorporated Method and apparatus for processing bad pixels
WO2012170949A2 (en) * 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
WO2014106278A1 (en) * 2012-12-31 2014-07-03 Flir Systems, Inc. Anomalous pixel detection
RU2530009C1 (ru) * 2010-08-18 2014-10-10 Эппл Инк. Способ и система обработки изображений со сдвоенным датчиком изображений
US20150172576A1 (en) * 2013-12-05 2015-06-18 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Real time dynamic bad pixel restoration method

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1101597A (en) 1964-07-11 1968-01-31 Elcon Ag Improvements in and relating to prefabricated buildings
US5449907A (en) * 1993-10-29 1995-09-12 International Business Machines Corporation Programmable on-focal plane signal processor
US5532484A (en) 1994-09-09 1996-07-02 Texas Instruments Incorporated Defective pixel signal substitution in thermal imaging systems
US5925880A (en) * 1996-08-30 1999-07-20 Raytheon Company Non uniformity compensation for infrared detector arrays
JP4059686B2 (ja) * 2002-02-08 2008-03-12 富士通株式会社 白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサ
US7283164B2 (en) 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
US20040239782A1 (en) * 2003-05-30 2004-12-02 William Equitz System and method for efficient improvement of image quality in cameras
JP4479373B2 (ja) 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
US7634151B2 (en) 2005-06-23 2009-12-15 Hewlett-Packard Development Company, L.P. Imaging systems, articles of manufacture, and imaging methods
GB0625936D0 (en) * 2006-12-28 2007-02-07 Thermoteknix Systems Ltd Correction of non-uniformity of response in sensor arrays
FR2918450B1 (fr) 2007-07-02 2010-05-21 Ulis Dispositif de detection de rayonnement infrarouge a detecteurs bolometriques
JP2009188822A (ja) 2008-02-07 2009-08-20 Olympus Corp 画像処理装置及び画像処理プログラム
US20100141810A1 (en) * 2008-12-04 2010-06-10 Proimage Technology Bad Pixel Detection and Correction
US8519348B2 (en) * 2009-09-08 2013-08-27 Carestream Health, Inc. Image quality monitor for digital radiography system
US8259198B2 (en) 2009-10-20 2012-09-04 Apple Inc. System and method for detecting and correcting defective pixels in an image sensor
US8203116B2 (en) * 2010-10-19 2012-06-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays
KR20120114021A (ko) 2011-04-06 2012-10-16 삼성디스플레이 주식회사 불량 픽셀 보정 방법
US9064308B2 (en) * 2011-04-13 2015-06-23 Raytheon Company System and method for residual analysis of images
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
JP2014022801A (ja) * 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
FR3009388B1 (fr) 2013-07-30 2015-07-17 Ulis Diagnostic de l'etat defectueux d'une matrice de detection bolometrique
JP6092075B2 (ja) 2013-11-14 2017-03-08 住友重機械工業株式会社 射出成形機

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060279632A1 (en) * 2005-05-26 2006-12-14 Anderson Shane M Method for fixed pattern noise reduction in infrared imaging cameras
US20120019693A1 (en) * 2006-03-24 2012-01-26 Qualcomm Incorporated Method and apparatus for processing bad pixels
US20090092321A1 (en) * 2007-01-16 2009-04-09 Bae Systems Finformation And Electronic Systems Integration Inc Real-time pixel substitution for thermal imaging systems
RU2349053C1 (ru) * 2007-07-30 2009-03-10 Федеральное государственное унитарное предприятие "НПО "ОРИОН" Способ коррекции неоднородности матричных фотоприемных устройств с микросканированием
RU2530009C1 (ru) * 2010-08-18 2014-10-10 Эппл Инк. Способ и система обработки изображений со сдвоенным датчиком изображений
WO2012170949A2 (en) * 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
WO2014106278A1 (en) * 2012-12-31 2014-07-03 Flir Systems, Inc. Anomalous pixel detection
US20150172576A1 (en) * 2013-12-05 2015-06-18 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Real time dynamic bad pixel restoration method

Also Published As

Publication number Publication date
KR102571973B1 (ko) 2023-09-05
CN107810630A (zh) 2018-03-16
RU2018100398A3 (ru) 2020-01-20
CN107810630B (zh) 2020-07-24
JP2018525878A (ja) 2018-09-06
RU2018100398A (ru) 2019-07-26
EP3314888A1 (fr) 2018-05-02
JP6682562B2 (ja) 2020-04-15
CA2990168A1 (fr) 2016-12-29
FR3038194A1 (ru) 2016-12-30
LT3314888T (lt) 2019-06-25
CA2990168C (fr) 2024-03-12
EP3314888B1 (fr) 2019-02-06
FR3038194B1 (fr) 2017-08-11
KR20180032552A (ko) 2018-03-30
US10609313B2 (en) 2020-03-31
WO2016207506A1 (fr) 2016-12-29
US20180184028A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
RU2717346C2 (ru) Коррекция плохих пикселей в устройстве захвата инфракрасных изображений
KR102391619B1 (ko) 비-균일성 정정을 위한 적외선 이미지 처리 방법
US7880777B2 (en) Method for fixed pattern noise reduction in infrared imaging cameras
US8203116B2 (en) Scene based non-uniformity correction for infrared detector arrays
WO2014144492A1 (en) Method of shutterless non-uniformity correction for infrared imagers
KR102016713B1 (ko) 고정 패턴 노이즈 감소를 위한 방법 및 이러한 방법의 이용
US20180063454A1 (en) Method and apparatus for correcting fixed pattern noise of an infrared image
RU2705434C2 (ru) Обнаружение плохих пикселей в устройстве получения инфракрасных изображений
US11875484B2 (en) Method and device for removing remanence in an infrared image of a static scene
US11875483B2 (en) Method and device for removing remanence in an infrared image of a changing scene
JP6961477B2 (ja) 撮像装置およびその制御方法
Algamdi et al. An Improved Technique for Blind Pixels' Detection of Infrared Focal Plane Array Detector
Pipa et al. Joint bias and gain nonuniformity correction of infrared videos using tensorial-RLS technique
WO2014174794A1 (ja) 撮像装置、画像補正方法及び、画像補正プログラム