RU2677576C2 - Способ обработки инфракрасных изображений для коррекции неоднородности - Google Patents

Способ обработки инфракрасных изображений для коррекции неоднородности Download PDF

Info

Publication number
RU2677576C2
RU2677576C2 RU2015115885A RU2015115885A RU2677576C2 RU 2677576 C2 RU2677576 C2 RU 2677576C2 RU 2015115885 A RU2015115885 A RU 2015115885A RU 2015115885 A RU2015115885 A RU 2015115885A RU 2677576 C2 RU2677576 C2 RU 2677576C2
Authority
RU
Russia
Prior art keywords
column
image
matrix
pixel
scale factor
Prior art date
Application number
RU2015115885A
Other languages
English (en)
Other versions
RU2015115885A (ru
RU2015115885A3 (ru
Inventor
Амори САРАГАГЛИА
Ален ДЮРАН
Original Assignee
Юлис
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Юлис filed Critical Юлис
Publication of RU2015115885A publication Critical patent/RU2015115885A/ru
Publication of RU2015115885A3 publication Critical patent/RU2015115885A3/ru
Application granted granted Critical
Publication of RU2677576C2 publication Critical patent/RU2677576C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J5/22—Electrical features thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J5/22—Electrical features thereof
    • G01J5/24—Use of specially adapted circuits, e.g. bridge circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • H04N3/08—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector
    • H04N3/09—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector for electromagnetic radiation in the invisible region, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/444—Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)

Abstract

Изобретение относится к области датчиков инфракрасного изображения. Технический результат заключается в повышении эффективности обработки изображений. Технический результат достигается за счет приема, посредством обрабатывающего устройства, входного изображения (I), захваченного посредством матрицы пикселей, чувствительной к инфракрасному излучению; определения, на основе входного изображения и на основе вектора столбцовой компоненты (V), первого коэффициента масштаба (α) посредством оценки уровня столбцового разброса, присутствующего во входном изображении; генерирования значений смещения столбцов (α.V(y)) на основе произведения первого коэффициента масштаба на значения вектора; определения, на основе входного изображения и на основе матрицы 2D вариации (I), второго коэффициента масштаба (β) посредством оценки уровня 2D вариации, присутствующей во входном изображении; генерирования значений смещения пикселей (β.I(x,y)) на основе произведения второго коэффициента масштаба на значения матрицы; и генерирования скорректированного изображения () посредством применения значений смещения столбцов и пикселей. 2 н. и 14 з.п. ф-лы, 7 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее раскрытие относится к области датчиков инфракрасного изображения, и, в частности, к способу и устройству для выполнения коррекций смещения и усиления в изображении, захваченном посредством матрицы пикселей, чувствительных к инфракрасному свету.
УРОВЕНЬ ТЕХНИКИ
В области техники формирования инфракрасных (IR) изображений, выполнение коррекции смещения в захваченных изображениях, без использования затвора или подобного затвору аппаратного средства, представляет большую проблему для неохлаждаемых устройств формирования IR изображений, таких как микроболометры, и также для охлаждаемых устройств формирования IR изображений. Такие устройства формирования изображений содержат матрицу чувствительных к IR детекторов, формирующих матрицу пикселей.
Пространственная неоднородность между пикселями из матрицы пикселей, которая ответственна за смещение, подлежащее коррекции в изображении, изменяется не только во времени, но также как функция температуры. Эта проблематика, в общем, решается с использованием внутреннего механического затвора в устройстве формирования изображений, и включает в себя периодический захват изображения, пока затвор закрыт, чтобы получать опорное изображение относительно однородной сцены, которое может затем использоваться для калибровки. Однако имеется несколько недостатков использования затвора, как, например, дополнительный вес и стоимость, и ломкость этого компонента. Дополнительно, для некоторых применений, использование затвора является неприемлемым вследствие времени, которое теряется, пока затвор закрыт и осуществляется калибровка. В течение этого периода калибровки, никакое изображение сцены не может захватываться.
Как альтернатива использованию затвора были предложены способы обработки изображений для коррекции смещения. Однако существующие способы являются сложными и/или не осуществляют адекватную коррекцию изображения. Имеется, таким образом, необходимость в данной области техники в улучшенном способе коррекции смещения в инфракрасном изображении.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Является целью вариантов осуществления настоящего изобретения, по меньшей мере, частично решить одну или более потребностей в предшествующем уровне техники.
Согласно одному аспекту, обеспечивается способ обработки изображений, содержащий: прием, посредством обрабатывающего устройства, входного изображения, захваченного посредством матрицы пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем; определение, на основе входного изображения и на основе вектора столбцовой компоненты, представляющего столбцовый разброс, вводимый опорными пикселями, первого коэффициента масштаба посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении; генерирование значений смещения столбцов на основе произведения первого коэффициента масштаба на значения упомянутого вектора; определение, на основе входного изображения и на основе матрицы 2D вариации, представляющей 2D вариацию, вводимую матрицей пикселей, второго коэффициента масштаба посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении; генерирование значения смещения пикселей на основе произведения второго коэффициента масштаба на значения упомянутой матрицы; и генерирование скорректированного изображения посредством применения упомянутых значений смещения столбцов и пикселей.
Согласно одному варианту осуществления, способ дополнительно содержит генерирование частично скорректированного изображения на основе значений смещения столбцов, при этом второй коэффициент масштаба генерируется на основе частично скорректированного изображения.
Согласно одному варианту осуществления, столбцовый вектор и матрица вариации определяются на основе опорного изображения, представляющего смещения, вводимые матрицей пикселей и ассоциированными опорными пикселями.
Согласно одному варианту осуществления, скорректированное изображение генерируется на основе уравнения:
Figure 00000001
Figure 00000002
, где
Figure 00000003
является входным изображением,
Figure 00000004
является первым коэффициентом масштаба,
Figure 00000005
является матрицей, содержащей в каждой из ее строк столбцовый вектор,
Figure 00000006
является вторым коэффициентом масштаба, и
Figure 00000007
является матрицей вариации.
Согласно одному варианту осуществления, столбцовый вектор представляет разность между первым столбцовым вектором на основе первого опорного изображения, взятого при первой окружающей температуре, и вторым столбцовым вектором на основе второго опорного изображения, взятого при второй окружающей температуре; матрица вариации представляет разность между первой матрицей вариации на основе первого опорного изображения и второй матрицей вариации на основе второго опорного изображения.
Согласно одному варианту осуществления, скорректированное изображение генерируется на основе уравнения:
Figure 00000008
Figure 00000009
, где
Figure 00000010
является входным изображением,
Figure 00000011
является первым коэффициентом масштаба,
Figure 00000012
является матрицей, содержащей в каждой из ее строк первый столбцовый вектор,
Figure 00000013
является матрицей, равной
Figure 00000014
, где
Figure 00000015
является матрицей, содержащей в каждой из ее строк второй столбцовый вектор,
Figure 00000016
является вторым коэффициентом масштаба,
Figure 00000017
является первой матрицей вариации и
Figure 00000018
является матрицей, равной
Figure 00000019
, где
Figure 00000020
является второй матрицей вариации.
Согласно одному варианту осуществления, способ дополнительно содержит определение на основе скорректированного изображения, по меньшей мере, одного значения смещения столбцового остатка.
Согласно одному варианту осуществления, определение упомянутого, по меньшей мере, одного значения смещения столбцового остатка содержит: определение весов, ассоциированных с, по меньшей мере, некоторыми из пикселей из скорректированного изображения, при этом веса генерируются на основе оценки однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей; вычисление, для каждого из упомянутых, по меньшей мере, некоторых пикселей, разности по отношению к значению пикселя в соответствующей строке смежного столбца; и применение весов к разностям и суммирование взвешенных разностей, чтобы генерировать упомянутое, по меньшей мере, одно значение смещения столбцового остатка.
Согласно одному варианту осуществления, оценка однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей основывается на значении градиента и на значении горизонтальной дисперсии, вычисленных для каждой окрестности.
Согласно одному варианту осуществления, определение первого коэффициента масштаба содержит: применение высокочастотного фильтра вдоль строк изображения; применение высокочастотного фильтра к столбцовому вектору; и определение столбцовых средних фильтрованного изображения, при этом первый коэффициент масштаба определяется на основе минимизации разностей между столбцовыми средними фильтрованного изображения и фильтрованными значениями столбцового вектора.
Согласно одному варианту осуществления, первый коэффициент масштаба
Figure 00000021
определяется на основе следующего уравнения:
Figure 00000022
где T() представляет высокочастотный фильтр, примененный к столбцовому вектору VCOL и к строкам входного изображения
Figure 00000023
.
Согласно одному варианту осуществления, определение второго коэффициента масштаба содержит: определение, для каждого пикселя входного изображения и для каждого элемента матрицы вариации, значения градиента на основе, по меньшей мере, одного смежного пикселя, при этом второй коэффициент масштаба определяется на основе минимизации разности между градиентами входного изображения и градиентами матрицы вариации.
Согласно одному варианту осуществления, второй коэффициент
Figure 00000024
масштаба определяется на основе следующего уравнения:
Figure 00000025
где
Figure 00000026
является входным изображением,
Figure 00000027
является матрицей вариации,
Figure 00000028
является значением градиента пикселя между смежными пикселями в направлении строк во входном изображении, и
Figure 00000029
является значением градиента пикселя в направлении столбцов во входном изображении.
Согласно одному варианту осуществления, значения смещения столбцов и пикселей применяются к дополнительному входному изображению.
Согласно одному варианту осуществления, способ дополнительно содержит определение значения коррекции усиления
Figure 00000030
посредством решения следующей задачи минимизации:
Figure 00000031
,
где var является дисперсией,
Figure 00000032
является скорректированным изображением, и Gain является матрицей усиления.
Согласно дополнительному аспекту, обеспечивается устройство обработки изображений, содержащее: память, хранящую столбцовый вектор и матрицу вариации; обрабатывающее устройство, выполненное с возможностью: принимать входное изображение, захваченное посредством матрицы пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем; определять, на основе входного изображения и на основе столбцового вектора, представляющего столбцовый разброс, вводимый опорными пикселями, первый коэффициент масштаба посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении; генерировать значения смещения столбцов на основе произведения первого коэффициента масштаба на значения упомянутого вектора; определять, на основе входного изображения и на основе матрицы вариации, представляющей 2D вариацию, вводимую матрицей пикселей, второй коэффициент масштаба посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении, генерировать значения смещения пикселей на основе произведения второго коэффициента масштаба на значения упомянутой матрицы; и генерировать скорректированное изображение посредством применения значений смещения столбцов и пикселей.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеупомянутые и другие признаки и преимущества станут ясными из последующего подробного описания вариантов осуществления, данного в качестве иллюстрации и не ограничения, со ссылкой на сопровождающие чертежи, на которых:
Фиг. 1 схематически иллюстрирует устройство формирования изображений согласно одному иллюстративному варианту осуществления;
Фиг. 2 схематически иллюстрирует часть матрицы пикселей устройства формирования изображений из фиг. 1 более подробно согласно одному иллюстративному варианту осуществления;
Фиг. 3 схематически иллюстрирует блок обработки изображений устройства формирования изображений из фиг. 1 более подробно согласно одному иллюстративному варианту осуществления;
Фиг. 4 - это диаграмма последовательности операций, показывающая операции в способе обработки изображений согласно одному иллюстративному варианту осуществления;
Фиг. 5 - это диаграмма последовательности операций, иллюстрирующая операции в способе обработки изображения согласно одному дополнительному иллюстративному варианту осуществления;
Фиг. 6 - это диаграмма последовательности операций, иллюстрирующая операции в способе удаления столбцовых остатков согласно одному иллюстративному варианту осуществления; и
Фиг. 7 - это диаграмма последовательности операций, иллюстрирующая операции из фиг. 6 более подробно согласно одному иллюстративному варианту осуществления.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
В то время как некоторые из вариантов осуществления в последующем описании описаны по отношению к матрице пикселей типа микроболометра, специалистам в данной области техники должно быть ясно, что способы, здесь описанные, могут равным образом применяться к другим типам устройств формирования IR изображений, включающим в себя охлаждаемые устройства.
Фиг. 1 иллюстрирует устройство 100 формирования IR изображений, содержащее матрицу 102 пикселей, чувствительную к IR свету. Например, в некоторых вариантах осуществления матрица пикселей является чувствительной к длинноволновому IR свету, такому как свет с длиной волны между 7 и 13 μm.
Для легкости иллюстрации, на фиг. 1 проиллюстрирована матрица 102 пикселей, состоящая только из 144 пикселей 104, расположенных в 12 строках и 12 столбцах. В альтернативных вариантах осуществления матрица 102 пикселей может содержать любое количество строк и столбцов пикселей. Обычно, матрица, например, содержит 640 на 480, или 1024 на 768 пикселей.
Каждый столбец пикселей матрицы 102 ассоциирован с соответствующей опорной структурой 106. Хотя функционально не является элементом картинки, эта структура будет упоминаться здесь как "опорный пиксель" по структурной аналогии с пикселями 104 формирования изображений (или активными). Дополнительно, выходной блок 108 соединен с каждым столбцом матрицы 102 пикселей и с каждым из опорных пикселей 106, и обеспечивает исходное изображение IB.
Схема 110 управления, например, обеспечивает сигналы управления в матрицу пикселей, в опорные пиксели 106, и в выходной блок 108. Исходное изображение IB, например, обеспечивается в блок 112 обработки изображений, который применяет смещения и усиления к пикселям изображения, чтобы вырабатывать скорректированное изображение IC.
Фиг. 2 иллюстрирует два столбца C1 и C2 матрицы 102 пикселей и их ассоциированные опорные пиксели и выходные схемы более подробно согласно одному примеру, в котором устройство формирования изображений является микроболометром.
Каждый столбец пикселей из матрицы 102 пикселей соединен с соответствующей столбцовой линией 202. Например, каждый пиксель 104 содержит переключатель 204, транзистор 206 и болометр 208, соединенные последовательно между соответствующей столбцовой линией 202 и узлом заземления.
Болометры хорошо известны в данной области техники, и, например, содержат мембрану, подвешенную над подложкой, содержащую слой IR абсорбирующего материала и имеющую свойство, что их сопротивление изменяется вследствие повышения температуры мембраны в связи с присутствием IR излучения.
Переключатели 204 пикселей каждой строки, например, управляются посредством общего сигнала выбора. Например, на фиг. 2, первая строка пикселей управляется посредством сигнала S1 управления, и вторая строка пикселей управляется посредством сигнала S2 управления.
Транзисторы 206 являются, например, транзисторами NMOS, принимающими на их вентилях напряжение смещения VFID для управления падением потенциала на активных болометрах, посредством наведения устойчивого напряжения на одном из его концов, при этом другой конец является заземленным.
Опорный пиксель 106, ассоциированный с каждым столбцом, содержит транзистор 210 и слепой болометр 212, соединенный последовательно между соответствующей столбцовой линией 202 и снимающим напряжением VSK. Снимающее напряжение VSK устанавливает наивысший потенциал моста болометра, сформированного посредством активных и опорных пикселей, посредством наведения устойчивого напряжения на одном конце опорного болометра. Транзистор 210 является, например, транзистором PMOS, принимающим на его вентиле напряжение смещения GSK для управления падением потенциала на слепом болометре посредством наведения устойчивого напряжения на другом конце слепого болометра.
Слепые болометры 212, например, имеют структуру аналогичную активным болометрам 208 матрицы пикселей, но выполнены нечувствительными к излучению от сцены изображения, например, посредством использования экрана, сформированного из отражающего барьера и/или посредством использования теплоотвода согласно конструкции, например, посредством обеспечения высокой термической проводимости для подложки, при этом болометр, например, сформирован в прямом контакте с подложкой.
Каждая столбцовая линия 202 дополнительно соединена с выходной схемой, формирующей часть выходного блока 108 из фиг. 1. В примере из фиг. 2, каждая выходная схема содержит емкостный трансимпедансный усилитель (CTIA) 214, при этом его отрицательный входной терминал соединен с соответствующей столбцовой линией 202, и его положительный входной терминал принимает опорное напряжение VBUS. Вывод усилителя 214 обеспечивает выходное напряжение VOUT столбца. Конденсатор 216 и переключатель 218 соединены параллельно друг с другом между отрицательным входным терминалом и выходным терминалом усилителя 214.
В течение операции считывания матрицы 102 пикселей, строки пикселей, например, считываются одна за один раз, посредством активации и деактивации переключателя 218 каждой выходной схемы выходного блока 108, чтобы устанавливать в исходное состояние напряжение на конденсаторе 216, и активации соответствующего сигнала выбора S1, S2, и т.д. строки, подлежащей считыванию. Разность между текущим ICOMP в опорном пикселе и текущим IAC в активном пикселе суммируется посредством конденсатора 216 в течение конечного времени суммирования, чтобы вырабатывать выходное напряжение VOUT, представляющее значение пикселя.
Фиг. 3 иллюстрирует блок 112 обработки изображений из фиг. 1 более подробно согласно одному иллюстративному варианту осуществления.
Функции блока 112 обработки изображений, например, осуществляются в программном обеспечении, и блок 112 обработки изображений содержит обрабатывающее устройство 302, имеющее один или более процессоров, под управлением инструкций, сохраненных в памяти 304 хранения инструкций. В альтернативных вариантах осуществления, функции блока 112 обработки изображений могут осуществляться, по меньшей мере, частично посредством выделенного аппаратного обеспечения. В таком случае, обрабатывающее устройство 302, например, содержит ASIC (специализированную интегральную схему) или FPGA (программируемую пользователем вентильную матрицу), и память 304 хранения инструкций может опускаться.
Обрабатывающее устройство 302 принимает исходное входное изображение IB, и генерирует скорректированное изображение IC, которое, например, обеспечивается в устройство отображения (не показано) устройства формирования изображений. Обрабатывающее устройство 302 также соединено с памятью 306 данных, хранящей вектор VCOL, представляющий структурный столбцовый разброс, вводимый матрицей 102 пикселей, и матрицу IDISP, представляющую 2D нестолбцовую структурную вариацию, вводимую матрицей 102 пикселей. Столбцовый разброс, например, главным образом проистекает из использования опорного пикселя 106 в каждом столбце, тогда как строка столбцовых опорных пикселей, в общем, не является идеально однородной. 2D нестолбцовая вариация, например, главным образом проистекает из локальных физических и/или структурных различий между активными болометрами матрицы пикселей, проистекающими, например, из вариации технологической обработки. Память 306 данных, например, также хранит матрицу усиления, описанную более подробно ниже.
Фиг. 4 - это диаграмма последовательности операций, иллюстрирующая операции в способе обработки изображений согласно одному иллюстративному варианту осуществления. Этот способ, например, осуществляется посредством блока 112 обработки изображений, описанного выше.
Предполагается, что исходное изображение IB захватывается посредством матрицы 102 пикселей из фиг. 1, и что матрица пикселей имеет такой тип, что каждый столбец матрицы ассоциирован с соответствующим опорным пикселем.
Дополнительно, предполагается, что столбцовый вектор VCOL и матрица 2D вариации IDISP являются доступными. Столбцовый вектор VCOL и матрица 2D вариации IDISP, например, генерируются на основе одиночного опорного изображения IREF(x,y), захваченного в течение начальной фазы настройки устройства формирования изображений. Опорное изображение является, например, изображением, которое было захвачено перед источником черное тело или однородной излучающей сценой и при управляемой температуре. Главным образом, чтобы устранить временной шум, опорное изображение, например, получается посредством усреднения множества кадров, как, например, около 50 кадров. Это опорное изображение IREF(x,y), например, используется, чтобы получать структурный столбец и компоненты 2D вариации согласно следующему отношению:
Figure 00000033
где ICOL(x,y) является матрицей, представляющей опорный столбцовый разброс среди столбцов матрицы пикселей, и IDISP(x,y) является матрицей, представляющей опорную 2D вариацию для каждого пикселя из матрицы пикселей.
Матрица ICOL может быть представлена посредством вектора VCOL, который имеет длину, равную количеству n столбцов в изображении. Например, матрица ICOL(x,y) имеет количество m строк, равное количеству строк изображения, и каждая строка содержит вектор VCOL. Генерирование вектора VCOL, например, включает в себя обработку опорного изображения IREF, чтобы извлекать столбцовую компоненту. Она, например, равна, для каждого столбца, среднему значений пикселей столбца. Генерирование матрицы IDISP, например, включает в себя вычитание, из каждого значения пикселя опорного изображения, соответствующего значения столбцового разброса VCOL(x).
В первой операции 401 из фиг. 4, определяется коэффициент масштаба
Figure 00000034
, для исходного изображения IB, представляющий уровень столбцового разброса VCOL в изображении IB. В одном варианте осуществления значение коэффициента масштаба
Figure 00000035
определяется на основе минимизации величины столбцовой компоненты ICOL в изображении IB. Это может быть выражено как следующая функция минимизации:
Figure 00000036
где
Figure 00000037
является аргументом, для которого заданная функция достигает ее минимальное значение. Как показано выше, матрица ICOL(x,y) может быть представлена как вектор VCOL(x), так как она определяет одиночное значение для каждого столбца. Чтобы обеспечивать решение этой задачи минимизации, и также упрощать вычисление, исходное изображение IB также, например, размещается в форме вектора посредством взятия среднего каждого столбца. Дополнительно, в изображении горизонтально применяется высокочастотный фильтр, другими словами, например, в направлении строк, и также к вектору VCOL(x). Задача минимизации затем, например, вычисляется на основе среднего столбцов преобразованного изображения, следующим образом:
Figure 00000038
где T() представляет высокочастотный фильтр, примененный к столбцовому вектору VCOL и к входному изображению IB(x,y), и m является количеством строк в изображении.
Например, фильтр-функция определяется как T(X)=X*hp, другими словами свертка матрицы X с горизонтальным высокочастотным фильтром hp. В одном примере, фильтр-функция hp определяется посредством коэффициентов [0,0456 -0,0288 -0,2956 0,5575 -0,2956 -0,0288 0,0456], применяемых к центральному пикселю внутри локального окна вдоль измерения x. Более широко, фильтр является, например, высокочастотным фильтром, выполненным с возможностью заострять вертикальные границы в изображении, другими словами извлекать столбцовый шум.
Задача минимизации, например, решается на основе следующего прямого решения для коэффициента масштаба
Figure 00000039
:
Figure 00000040
Другими словами, определение коэффициента масштаба
Figure 00000041
, например, включает в себя применение высокочастотного фильтра к исходному изображению вдоль его строк и также к опорному столбцовому вектору; определение столбцовых средних фильтрованного изображения, дающее в результате вектор такого же размера, что и опорный столбцовый вектор, и затем определение коэффициента масштаба в качестве минимизации разностей между упомянутыми двумя столбцовыми векторами, т.е. между столбцовыми средними фильтрованного изображения и фильтрованным столбцовым вектором.
Как будет описываться более подробно ниже, коэффициент масштаба
Figure 00000042
обеспечивает возможность определения значений смещения столбцов
Figure 00000043
.ICOL(x,y) для изображения.
Ссылаясь снова на фиг. 4, в последующей операции 402, определяется коэффициент масштаба
Figure 00000044
, для исходного изображения IB, представляющий уровень вклада компоненты опорной 2D вариации IDISP в изображении.
Чтобы определять коэффициент масштаба
Figure 00000045
, предполагается, что захваченные изображения являются естественными изображениями, например, с естественными статистиками сцен, и что локализованные высокие изменения между пикселями, т.е. изменения между пикселем и его окрестностью, являются результатом фиксированной 2D вариации. Значение коэффициента масштаба
Figure 00000046
, например, определяется так, чтобы уменьшать влияние этой вариации по всему изображению. Принятый подход предназначен, например, чтобы минимизировать полную вариацию (TV) в изображении, на основе следующего уравнения:
Figure 00000047
где
Figure 00000048
является значением градиента пикселя. В качестве хорошей аппроксимации задачи минимизации, она, например, трактуется как минимизация для:
Figure 00000049
Такая задача минимизации, например, решается на основе следующего прямого решения для коэффициента масштаба
Figure 00000050
:
Figure 00000051
где
Figure 00000052
является значением градиента пикселя между смежными пикселями в горизонтальном направлении в изображении, другими словами вдоль каждой строки, и
Figure 00000053
является значением градиента пикселя между смежными пикселями в вертикальном направлении в изображении, другими словами вдоль каждого столбца.
Операция 402, поэтому, включает в себя определение, для каждого пикселя из исходного входного изображения и для каждого элемента матрицы опорной 2D вариации, значения градиента на основе, по меньшей мере, одного смежного пикселя; и определение коэффициента масштаба
Figure 00000054
на основе минимизации разности между градиентами исходного входного изображения и градиентами матрицы опорной 2D вариации.
В этом примере, коэффициент масштаба
Figure 00000055
определяется на основе исходного изображения IB. Однако в альтернативных вариантах осуществления, коэффициент масштаба
Figure 00000056
может определяться на основе изображения после того, как столбцовые смещения
Figure 00000057
.ICOL(x,y) были удалены. Прямое решение для коэффициента масштаба
Figure 00000058
, таким образом, становится:
Figure 00000059
где ICC является изображением, в котором каждый пиксель (x,y) был скорректирован, например, на основе следующего уравнения:
Figure 00000060
где ICOL(x,y) является матрицей, содержащей, в каждой из ее строк, столбцовый вектор VCOL(x).
В некоторых вариантах осуществления, в вычислении операции 402, учитываются только значения градиентов пикселей, которые находятся ниже верхнего порога. В самом деле, например, предполагается, что очень высокие градиенты соответствуют границам, относящимся к сцене в изображении. Например, этот верхний порог выбирается так, чтобы быть приблизительно равным произведению трех на наивысшее значение градиента, вычисленное для матрицы опорной вариации IDISP.
В последующей операции 403, скорректированное изображение
Figure 00000061
генерируется на основе значений смещения столбцов, равных
Figure 00000062
.ICOL(x,y), и значений смещения пикселей, равных
Figure 00000063
.IDISP(x,y). Например, скорректированное изображение вычисляется как:
Figure 00000064
В варианте осуществления, описанном выше, скорректированное изображение основывается на компонентах ICOL и IDISP, взятых из одиночного опорного изображения IREF. В альтернативных вариантах осуществления, чтобы увеличивать точность опорной коррекции, захватываются два опорных изображения, например, при разных температурах T0 и T1 детектора соответственно, вместо одиночного опорного изображения, и устройство, например, сохраняет в памяти 306 из фиг. 3 первый набор компонент
Figure 00000065
и
Figure 00000066
на основе опорного изображения, взятого при T0, и второй набор компонент
Figure 00000067
и
Figure 00000068
на основе опорного изображения, взятого при T1. В таком случае, значения скаляров
Figure 00000069
и
Figure 00000070
, например, определяются с использованием этих компонент посредством вычитания напрямую первой компоненты из входного изображения IB(x,y) и, например, посредством вычисления
Figure 00000071
и
Figure 00000072
таким же образом, как описано по отношению к операциям 401 и 402, но на основе структурной столбцовой компоненты
Figure 00000073
и компоненты 2D вариации
Figure 00000074
. Скорректированное изображение
Figure 00000075
затем, например, определяется как:
Figure 00000076
В некоторых вариантах осуществления, операции 401 по 403 могут обеспечивать достаточную коррекцию смещения, в этом случае скорректированное изображение
Figure 00000077
обеспечивает изображение IC на выходе блока 112 обработки изображений из фиг. 1. В альтернативных вариантах осуществления, дополнительная операция 404 и/или дополнительная операция 405, например, впоследствии выполняются, чтобы генерировать конечное изображение IC.
В операции 404, коррекция усиления, например, применяется к изображению посредством вычисления коэффициента коррекции изображения
Figure 00000078
из скорректированного изображения
Figure 00000079
до вычитания его из этого изображения и умножения каждого значения пикселя результата на матрицу усиления. Например, это значение коррекции усиления получается посредством решения следующей задачи минимизации:
Figure 00000080
Прямое решение для коэффициента коррекции изображения
Figure 00000078
, таким образом, становится:
Figure 00000081
где
Figure 00000082
является средним матрицы X, и Gain является матрицей усиления, которая, например, хранится в памяти 306 вместе с вектором VCOL и матрицей IDISP. Такая матрица усиления, например, определяется, как обычно для специалистов в данной области техники, из разности между двумя опорными изображениями, захваченными перед однородным источником, как, например, источником черное тело, при двух разных температурах.
Затем генерируется скорректированное изображение
Figure 00000083
на основе умножения скорректированного изображения на усиление. Например, скорректированное изображение
Figure 00000084
вычисляется как:
Figure 00000085
В операции 405, остатки смещения, такие как столбцовые остатки и/или остатки вариации, оставшиеся в изображении, например, удаляются.
Фиг. 5 - это диаграмма последовательности операций, иллюстрирующая операции в способе коррекции смещения в изображении согласно одному дополнительному иллюстративному варианту осуществления.
Как представлено посредством блока обработки (Вычисление
Figure 00000086
) 502, входное изображение IB и столбцовый вектор VCOL, например, используются, чтобы генерировать коэффициент масштаба
Figure 00000087
. Вектор VCOL затем умножается на коэффициент масштаба
Figure 00000088
, чтобы генерировать значения смещения столбцов
Figure 00000089
.VCOL(y). Эти значения смещения затем вычитаются из исходного изображения IB, чтобы обеспечивать скорректированное изображение ICC столбцового разброса.
Как представлено посредством блока обработки (Вычисление
Figure 00000090
) 504, скорректированное изображение ICC столбцового разброса и матрица вариации IDISP, например, используются, чтобы генерировать коэффициент масштаба
Figure 00000091
. Матрица IDISP затем умножается на коэффициент масштаба
Figure 00000092
, чтобы генерировать значения смещения пикселей
Figure 00000093
.IDISP(x,y). Эти значения смещения затем вычитаются из изображения ICC, чтобы генерировать скорректированное изображение
Figure 00000094
.
Дополнительно, значения смещения
Figure 00000095
.VCOL(y) и
Figure 00000096
.IDISP(x,y), например, складываются вместе, чтобы обеспечивать значения смещения опорного изображения (значения смещения RI) 506.
В то время как на фиг. 5 не проиллюстрировано, коррекция усиления, как описано выше по отношению к операции 404 из фиг. 4, необязательно затем применяется к скорректированному изображению
Figure 00000097
, и коэффициент коррекции изображения
Figure 00000098
применяется к изображению.
Как представлено посредством блока 508 обработки, коррекция столбцовых остатков затем, например, выполняется на основе скорректированного изображения
Figure 00000099
, чтобы генерировать значения коррекции столбцовых остатков (значения смещения CR) 510, и изображение ICR со скорректированными столбцовыми остатками. В самом деле, некоторые смещения, ассоциированные со столбцовой схемой каждого столбца могут все еще присутствовать в изображении, потенциально ведя к видимым вертикальным полосам в изображении. Коррекция столбцовых остатков, например, выполняется, чтобы удалять эти столбцовые артефакты.
Как представлено посредством блока 512, обработки коррекция остатков 2D вариации затем, например, выполняется на основе изображения ICR со скорректированными столбцовыми остатками, чтобы генерировать значения смещения остатков 2D вариации (значения смещения DR) 514. Коррекция остатков вариации, например, достигается с использованием сохраняющего границы и уменьшающего шум сглаживающего фильтра, такого как фильтр анизотропной диффузии.
В примере из фиг. 5, значения смещения 506, 510 и 514 складываются вместе, чтобы обеспечивать сложенные значения смещения SOV(x,y), подлежащие применению к изображению. Эти значения смещения SOV(x,y) затем вычитаются из исходного изображения IB. Однако преимущество определения сложенных значений смещения SOV(x,y) состоит в том, что эти смещения могут применяться к другому изображению, нежели изображению, использованному, чтобы сгенерировать их. Например, в случае, когда исходное изображение IB является кадром видеопоследовательности, которая захватывается посредством устройства формирования изображений, значения смещения SOV(x,y), например, вычитаются из последующего изображения в последовательности. Это ведет к уменьшению во временной задержке между исходным изображением, которое захватываться, и скорректированным изображением, становящимся доступным.
В альтернативных вариантах осуществления, смещения 506 опорного изображения применяются к текущему или последующему исходному изображению, коррекция усиления выполняется над результирующим изображением
Figure 00000100
, и значения остатков смещения столбцов и вариации, например, затем применяются к скорректированному посредством усиления изображению.
Коррекция столбцовых остатков, выполняемая в операции 508 из фиг. 5, теперь будет описываться более подробно со ссылкой на диаграммы последовательности операций из фиг. 6 и 7.
Фиг. 6 - это диаграмма последовательности операций, иллюстрирующая операции в способе вычисления смещений столбцовых остатков, подлежащих применению к изображению, например, к скорректированному изображению IC, проистекающему из обработки, описанной выше. Эти операции, например, осуществляются посредством блока 112 обработки изображений из фиг. 3, описанной выше.
В первой операции 601, вычисляются веса wx,y для каждого пикселя каждого столбца изображения, на основе оценки однородности в локальной зоне изображения, определенной посредством окрестности пикселя. Чем более высокой является однородность, тем более высоким является вес, ассоциированный с пикселем, так как более вероятно, что различие между столбцами происходит из-за структурного (фиксированного) столбцового остатка. Например, вычисление, для каждого пикселя, основывается на 9 на 3 окрестности пикселей, включающих в себя рассматриваемый пиксель, другими словами на прямоугольной зоне, определенной посредством вплоть до четырех пикселей на левой стороне и правой стороне рассматриваемого пикселя и вплоть до одного пикселя выше и ниже рассматриваемого пикселя. Однородность оценивается, например, посредством вычисления локального градиента и локальной горизонтальной дисперсии для окрестности каждого пикселя. В некоторых вариантах осуществления, веса вычисляются на основе изображения после того, как столбцы были отфильтрованы вертикально посредством низкочастотного фильтра, как будет описано более подробно ниже.
В последующей операции 602, средняя разность между каждым столбцом и следующим взвешивается посредством соответствующего веса, давая для каждого столбца соответствующее значение смещения столбца к столбцу
Figure 00000101
. Например, вектор смещения столбца к столбцу
Figure 00000102
определяется на основе следующего уравнения:
Figure 00000103
где wx,y являются весами, вычисленными в операции 601 выше, Ix+1,y является значением пикселя в положении y следующего столбца x+1 и Ix,y является значением пикселя в положении y текущего столбца x. Другими словами, каждое значение смещения столбца к столбцу
Figure 00000104
определяется как среднее взвешенных разностей между значениями пикселей столбца x и столбца x+1. Последнее значение смещения столбца строки, например, устанавливается на 0.
В качестве дополнительной операции, так как смещение столбца к столбцу представляет только прямое смещение между столбцом и следующим столбцом, каждый член вектора смещения, например, суммируется назад, т.е. начиная с последнего, но одного члена, каждое значение смещения столбца добавляется накопительным образом к предшествующему значению до тех пор, когда будет достигнут первый член, чтобы обеспечивать конечный член смещения столбца OffCol(x) следующим образом:
OffCol(n)=0, и OffCol(x-1)=OffCol(x)+
Figure 00000105
Эти значения смещения, например, обеспечивают значения смещения столбцовых остатков, помеченные 510 на фиг. 5, которые, например, складываются с другими смещениями, чтобы обеспечивать сложенные значения смещения SOV(x,y), подлежащие вычитанию из исходного изображения IB или из последующего исходного изображения. Альтернативно, в последующей операции 603, значения смещения применяются к изображению
Figure 00000106
, уже скорректированному на основе компонент столбцового разброса и 2D вариации VCOL, IDISP, чтобы генерировать чистое изображение ICR. Дополнительно, как представлено посредством пунктирной стрелки на фиг. 6, в некоторых вариантах осуществления операции 601 и 602 повторяются один или более раз на основе сгенерированного чистого изображения, чтобы удалять даже больше структурных столбцовых остатков.
Фиг. 7 - это диаграмма последовательности операций, иллюстрирующая операции из фиг. 6 более подробно согласно одному иллюстративному варианту осуществления.
Как проиллюстрировано, операция 601 из фиг. 6 вычисления весов на основе однородности зоны, в которой представлен пиксель, например, включает в себя подоперации 701 по 704.
Операция 701 включает в себя применение низкочастотного фильтра вертикально вдоль столбцов изображения. Применение такого низкочастотного фильтра, например, уменьшает влияние шума фиксированного шаблона (FPN), присущего датчикам изображений. Эта операция фильтрации является необязательной. Фильтр является, например, гауссовским фильтром, определенным с использованием размера ядра wG и его стандартного отклонения
Figure 00000107
. В одном примере, фильтр имеет размер ядра wG, равный 9, и стандартное отклонение, равное 2.
Операция 702 включает в себя вычисление значения локального градиента
Figure 00000108
и значения локальной горизонтальной дисперсии
Figure 00000109
для каждого пикселя из изображения.
Локальный градиент
Figure 00000110
, например, определяется на основе следующего уравнения:
Figure 00000111
где Gx и Gy являются операторами Собеля по x и y соответственно, и I является изображением, например, после фильтрации в операции 701.
Локальная горизонтальная дисперсия
Figure 00000112
, например, определяется на основе следующего уравнения:
Figure 00000113
где
Figure 00000114
является горизонтальной окрестностью пикселя, который рассматривается,
Figure 00000115
является средним значений пикселей в горизонтальной окрестности и I(f) является соответствующим значением пикселя внутри горизонтальной окрестности. Горизонтальная окрестность
Figure 00000116
, например, имеет размер 2*wV+1 из трех или более пикселей и, например, вплоть до 9 пикселей, и может, в общем, определяться как:
Figure 00000117
В операции 703, горизонтальное морфологическое расширение, например, выполняется над каждым из значений локальной горизонтальной дисперсии и локального градиента, например, на основе следующих уравнений:
Figure 00000118
где
Figure 00000119
для заданного пикселя x, например, равняется
Figure 00000120
, и
Figure 00000121
является горизонтальной окрестностью пикселей для пикселя x. Окрестность
Figure 00000122
, например, имеет размер 2*wD+1 из трех или более пикселей, и может, в общем, определяться как:
Figure 00000123
Горизонтальное морфологическое расширение имеет эффект уменьшения влияния размытости на вычисление весов (обычно вызываемой оптической аберрацией) в присутствии высоко контрастных вертикальных структур в сцене, посредством расширения на горизонтально соседние пиксели влияния зон с высокими значениями горизонтального градиента и/или высокими значениями дисперсии.
В операции 704, значения
Figure 00000124
и
Figure 00000125
, например, нормализуются для каждого столбца, так что, для одного столбца, их сумма равняется 1. Например, эти нормализации вычисляются на основе следующих уравнений:
Figure 00000126
Веса wx,y затем, например, определяются посредством линейной комбинации этих нормализованных значений
Figure 00000127
и
Figure 00000128
, давая оценку однородности в локальной зоне изображения, определенного посредством окрестности пикселя. В некоторых вариантах осуществления, градиенту и значениям дисперсии может даваться равное влияние, в этом случае веса wx,y, например, определяются посредством следующего уравнения:
Figure 00000129
Альтернативно, разное влияние может назначаться градиентам и значениям дисперсии, посредством применения скаляра к каждому значению. Например, веса определяются посредством следующего уравнения:
Figure 00000130
где a и b являются скалярами, и, например, a+b=1. Например, выбирая b большим, чем a, таким как в пять или более раз больше, может применяться влияние горизонтальной дисперсии.
Ссылаясь снова на фиг. 7, веса wx,y формируют весовое преобразование 705. В некоторых вариантах осуществления, вес вычисляется для каждого пикселя изображения, в то время как в других вариантах осуществления операции 701 по 704 могут быть выполнены с возможностью обеспечивать веса только для некоторых пикселей, например, пикселей каждой второй, третьей или четвертой строки изображения, чтобы уменьшать время вычисления.
Последующая операция является операцией 602 из фиг. 6, в которой смещения столбца к столбцу
Figure 00000131
, например, определяются на основе вышеуказанного уравнения:
Figure 00000132
Члены
Figure 00000133
являются прямыми разностями между столбцом x и столбцом x+1, и они, например, вычисляются в операции 706 из фиг. 7, на основе изображения
Figure 00000134
. В некоторых вариантах осуществления, только прямые разности, которые находятся ниже некоторого порога, учитываются в вычислении среднего для заданного столбца. В самом деле, значения выше некоторого порога могут рассматриваться как представляющие вертикальную границу в сцене изображения, которая не должна удаляться. Порог, например, выбирается, чтобы быть незначительно больше, чем максимальная ожидаемая столбцовая разность между одним столбцом и следующим. Значения смещения OffCol(x) затем, например, вычисляются посредством суммирования значений
Figure 00000135
, как объяснено выше.
Как упомянуто выше, значения смещения вектора OffCol(x) могут, например, вычитаться из изображения
Figure 00000136
в операции 603, чтобы генерировать чистое изображение ICR, в котором столбцовые артефакты были удалены из изображения, или они могут добавляться к другому смещению, как представлено на фиг. 5.
Преимущество способов коррекции смещения, как здесь описано, состоит в том, что они не требуют использования механического затвора, и было установлено, что они являются очень эффективными.
В частности, настоящие изобретатели установили, что, в матрицах пикселей типа, здесь описанного, изменения пикселей и опорных пикселей вследствие температуры следуют уравнению Аррениуса, при этом энергия активации является, по существу, одной и той же для всех пикселей, и, по существу, одной и той же для всех опорных пикселей, что означает, что вариация между пикселями может рассматриваться как полностью, или, по меньшей мере, по существу, содержащаяся в пределах постоянных предварительных коэффициентов уравнения Аррениуса, описывающего каждый пиксель. Поэтому, посредством разложения смещений, вводимых матрицей пикселей, на 1D и 2D компоненты и вывода коэффициентов масштаба
Figure 00000137
и
Figure 00000138
, чтобы представлять эти компоненты, эффективная коррекция смещения может достигаться без использования механического затвора.
Таким образом, после описания, по меньшей мере, одного иллюстративного варианта осуществления, различные изменения, модификации и улучшения должны непосредственно быть ясными для специалистов в данной области техники.
Например, в то время как конкретный пример микроболометра был описан по отношению к фиг. 2, специалистам в данной области техники должно быть ясно, что способы, здесь описанные, могут применяться к различным другим вариантам осуществления микроболометра, или к другим типам устройств формирования IR изображений.
Дополнительно, специалисту в данной области техники должно быть ясно, что различные операции, описанные по отношению к различным вариантам осуществления, могут выполняться, в альтернативных вариантах осуществления, в разных порядках без влияния на их эффективность. Например, порядок, в котором определяются коэффициенты масштаба
Figure 00000139
и
Figure 00000140
, может изменяться.

Claims (49)

1. Способ обработки изображений, содержащий:
прием, посредством обрабатывающего устройства (302), входного изображения (IB), захваченного посредством матрицы (102) пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов (C1, C2) пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем (106);
определение, на основе входного изображения и на основе вектора столбцовой компоненты (VCOL), представляющего собой столбцовый разброс, вводимый опорными пикселями (106), первого коэффициента масштаба (
Figure 00000141
) посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении;
генерирование значений смещения столбцов (
Figure 00000142
.VCOL(x)) на основе произведения первого коэффициента масштаба на значения упомянутого вектора;
определение, на основе входного изображения и на основе матрицы 2D вариации (IDISP), представляющей собой 2D вариацию, вводимую матрицей пикселей, второго коэффициента масштаба (
Figure 00000143
) посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении;
генерирование значений смещения пикселей (
Figure 00000144
.IDISP(x,y)) на основе произведения второго коэффициента масштаба на значения упомянутой матрицы; и
генерирование скорректированного изображения (
Figure 00000145
) посредством применения упомянутых значений смещения столбцов и пикселей.
2. Способ по п. 1, дополнительно содержащий генерирование частично скорректированного изображения (ICC) на основе упомянутых значений смещения столбцов, при этом упомянутый второй коэффициент масштаба генерируется на основе упомянутого частично скорректированного изображения.
3. Способ по п. 1, в котором упомянутый столбцовый вектор (VCOL) и матрица вариации (IDISP) определяются на основе опорного изображения (IREF), представляющего собой смещения, вводимые матрицей пикселей и ассоциированными опорными пикселями.
4. Способ по п. 1, в котором упомянутое скорректированное изображение (
Figure 00000146
) генерируется на основе уравнения:
Figure 00000147
,
где IB(x,y) является входным изображением,
Figure 00000148
является первым коэффициентом масштаба, ICOL(x,y) является матрицей, содержащей в каждой из ее строк столбцовый вектор,
Figure 00000149
является вторым коэффициентом масштаба, и IDISP(x,y) является матрицей вариации.
5. Способ по п. 1, в котором:
столбцовый вектор (VCOL) представляет собой разность между первым столбцовым вектором (
Figure 00000150
) на основе первого опорного изображения, взятого при первой окружающей температуре (T0), и вторым столбцовым вектором (
Figure 00000151
) на основе второго опорного изображения, взятого при второй окружающей температуре (T1);
матрица вариации (IDISP) представляет собой разность между первой матрицей вариации (
Figure 00000152
) на основе упомянутого первого опорного изображения и второй матрицей вариации (
Figure 00000153
) на основе упомянутого второго опорного изображения.
6. Способ по п. 5, в котором упомянутое скорректированное изображение (
Figure 00000154
) генерируется на основе уравнения:
Figure 00000155
,
где IB(x,y) является входным изображением,
Figure 00000156
является первым коэффициентом масштаба,
Figure 00000157
является матрицей, содержащей в каждой из ее строк первый столбцовый вектор,
Figure 00000158
является матрицей, равной
Figure 00000159
, где
Figure 00000160
является матрицей, содержащей в каждой из ее строк второй столбцовый вектор,
Figure 00000161
является вторым коэффициентом масштаба,
Figure 00000162
является первой матрицей вариации, и
Figure 00000163
является матрицей, равной
Figure 00000164
, где
Figure 00000165
является второй матрицей вариации.
7. Способ по п. 1, дополнительно содержащий определение, на основе упомянутого скорректированного изображения (
Figure 00000166
), по меньшей мере, одного значения (510) смещения столбцового остатка.
8. Способ по п. 7, в котором определение упомянутого, по меньшей мере, одного значения смещения столбцового остатка содержит:
определение весов (wx,y), ассоциированных с, по меньшей мере, некоторыми из пикселей упомянутого скорректированного изображения, при этом веса генерируются на основе оценки однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей;
вычисление, для каждого из упомянутых, по меньшей мере, некоторых пикселей, разности по отношению к значению пикселя в соответствующей строке смежного столбца; и
применение весов к упомянутым разностям и суммирование взвешенных разностей, чтобы генерировать упомянутое, по меньшей мере, одно значение смещения столбцового остатка.
9. Способ по п. 8, в котором оценка однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей основывается на значении градиента (
Figure 00000167
) и на значении горизонтальной дисперсии (
Figure 00000168
), вычисленных для каждой окрестности.
10. Способ по п. 1, в котором определение первого коэффициента масштаба содержит:
применение высокочастотного фильтра вдоль строк изображения;
применение упомянутого высокочастотного фильтра к столбцовому вектору; и
определение столбцовых средних фильтрованного изображения, при этом первый коэффициент масштаба определяется на основе минимизации разностей между столбцовыми средними фильтрованного изображения и фильтрованными значениями столбцового вектора.
11. Способ по п. 1, в котором первый коэффициент масштаба
Figure 00000169
определяется на основе следующего уравнения:
Figure 00000170
,
где T( ) представляет собой высокочастотный фильтр, примененный к столбцовому вектору VCOL и к строкам входного изображения IB(x,y).
12. Способ по п. 1, в котором определение второго коэффициента масштаба содержит:
определение, для каждого пикселя входного изображения и для каждого элемента матрицы вариации, значения градиента на основе, по меньшей мере, одного смежного пикселя, при этом второй коэффициент масштаба определяется на основе минимизации разности между градиентами входного изображения и градиентами матрицы вариации.
13. Способ по п. 1, в котором второй коэффициент масштаба
Figure 00000171
определяется на основе следующего уравнения:
Figure 00000172
,
где IB является входным изображением, IDISP является матрицей вариации,
Figure 00000173
является значением градиента пикселя между смежными пикселями в направлении строк во входном изображении, и
Figure 00000174
является значением градиента пикселя в направлении столбцов во входном изображении.
14. Способ по п. 1, в котором упомянутые значения смещения столбцов и пикселей применяются к дополнительному входному изображению.
15. Способ по п. 1, дополнительно содержащий определение значения коррекции усиления (
Figure 00000175
) посредством решения следующей задачи минимизации:
Figure 00000176
,
где var является дисперсией,
Figure 00000177
является скорректированным изображением, и Gain является матрицей усиления.
16. Устройство обработки изображений, содержащее:
память (306), хранящую столбцовый вектор (VCOL) и матрицу вариации (IDISP);
обрабатывающее устройство (302), выполненное с возможностью:
принимать входное изображение (IB), захваченное посредством матрицы (102) пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов (C1, C2) пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем (106);
определять, на основе входного изображения и на основе столбцового вектора, представляющего собой столбцовый разброс, вводимый опорными пикселями, первый коэффициент масштаба (
Figure 00000178
) посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении;
генерировать значения смещения столбцов (
Figure 00000179
.VCOL(x)) на основе произведения первого коэффициента масштаба на значения упомянутого вектора;
определять, на основе входного изображения и на основе матрицы вариации, представляющей собой 2D вариацию, вводимую матрицей пикселей, второй коэффициент масштаба (
Figure 00000180
) посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении;
генерировать значения смещения пикселей (
Figure 00000181
.IDISP(x,y)) на основе произведения второго коэффициента масштаба на значения упомянутой матрицы и
генерировать скорректированное изображение (
Figure 00000182
) посредством применения упомянутых значений смещения столбцов и пикселей.
RU2015115885A 2014-04-30 2015-04-27 Способ обработки инфракрасных изображений для коррекции неоднородности RU2677576C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1453917 2014-04-30
FR1453917A FR3020735B1 (fr) 2014-04-30 2014-04-30 Procede de traitement d'une image infrarouge pour une correction des non uniformites

Publications (3)

Publication Number Publication Date
RU2015115885A RU2015115885A (ru) 2016-11-20
RU2015115885A3 RU2015115885A3 (ru) 2018-11-01
RU2677576C2 true RU2677576C2 (ru) 2019-01-17

Family

ID=51659717

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015115885A RU2677576C2 (ru) 2014-04-30 2015-04-27 Способ обработки инфракрасных изображений для коррекции неоднородности

Country Status (8)

Country Link
US (1) US10015425B2 (ru)
EP (1) EP2940991B1 (ru)
JP (1) JP6887597B2 (ru)
KR (1) KR102391619B1 (ru)
CN (1) CN105049752B (ru)
CA (1) CA2889654C (ru)
FR (1) FR3020735B1 (ru)
RU (1) RU2677576C2 (ru)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353135B (zh) * 2015-10-29 2020-07-21 富士胶片株式会社 红外线摄像装置及基于红外线摄像装置的信号校正方法
CN106855435B (zh) * 2016-11-15 2019-04-09 北京空间机电研究所 长波线阵红外相机星上非均匀性实时校正方法
CN108665422B (zh) * 2017-08-30 2022-05-10 西安电子科技大学 傅里叶域内逆向感知的单帧红外非均匀性检测方法
US10672164B2 (en) * 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
US10803557B2 (en) * 2017-12-26 2020-10-13 Xidian University Non-uniformity correction method for infrared image based on guided filtering and high-pass filtering
KR102110399B1 (ko) * 2018-06-19 2020-05-13 전주대학교 산학협력단 검사 대상체의 내부 또는 표면 결함을 측정하기 위한 적외선 열화상 보정 방법
FR3083901B1 (fr) 2018-07-10 2021-10-08 Schneider Electric Ind Sas Methode de traitement d'une image
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
FR3088512B1 (fr) 2018-11-09 2020-10-30 Schneider Electric Ind Sas Procede de traitement d'une image
CN109767403B (zh) * 2019-01-23 2022-12-16 西安科技大学 一种基于场景的红外焦平面阵列条状噪声消除方法
CN111080561A (zh) * 2019-11-08 2020-04-28 上海航天控制技术研究所 一种时域高通滤波方法
CN111008944B (zh) * 2019-12-25 2023-07-14 武汉高德红外股份有限公司 一种红外焦平面探测器不稳定像元查找方法及系统
FR3111699A1 (fr) 2020-06-23 2021-12-24 Schneider Electric Industries Sas Procede de traitement d’une image brute collectee par un detecteur a bolometres et dispositif associe
JP2022022530A (ja) * 2020-06-25 2022-02-07 シャープ株式会社 カメラ、画像処理方法、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112150377B (zh) * 2020-08-27 2024-03-29 北京空间机电研究所 一种红外图像非均匀性校正系数解析解交替迭代优化方法
CN112393807B (zh) * 2020-11-23 2021-11-23 昆明物理研究所 红外图像处理方法、装置、系统以及计算机可读存储介质
FR3118558B1 (fr) * 2020-12-24 2023-03-03 Safran Electronics & Defense Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés
CN114441050B (zh) * 2022-01-26 2024-10-01 西安应用光学研究所 一种基于旋转挡片的热像仪实时非均匀性校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2452992C1 (ru) * 2008-05-22 2012-06-10 МАТРИКС ЭЛЕКТРОНИК МЕЖЕРИНГ ПРОПЕРТИЗ, ЭлЭлСи Стереоскопическая измерительная система и способ
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US20130314546A1 (en) * 2011-02-25 2013-11-28 Photonis Netherlands B.V. Acquiring and displaying images in real-time
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
EP2693742A1 (en) * 2011-03-30 2014-02-05 Sony Corporation A/d converter, solid-state imaging device and drive method, as well as electronic apparatus

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471240A (en) * 1993-11-15 1995-11-28 Hughes Aircraft Company Nonuniformity correction of an imaging sensor using region-based correction terms
JP3024532B2 (ja) * 1995-12-15 2000-03-21 日本電気株式会社 熱型赤外線撮像装置
JP3226859B2 (ja) * 1997-11-17 2001-11-05 日本電気株式会社 撮像装置
JP3149919B2 (ja) * 1997-12-03 2001-03-26 日本電気株式会社 固体撮像素子及びこれを用いた読み出し回路
US7015960B2 (en) * 2003-03-18 2006-03-21 Candela Microsystems, Inc. Image sensor that uses a temperature sensor to compensate for dark current
JP4396425B2 (ja) * 2004-07-07 2010-01-13 ソニー株式会社 固体撮像装置及び信号処理方法
GB0625936D0 (en) * 2006-12-28 2007-02-07 Thermoteknix Systems Ltd Correction of non-uniformity of response in sensor arrays
JP4991435B2 (ja) * 2007-08-02 2012-08-01 キヤノン株式会社 撮像装置
US8655614B2 (en) * 2007-11-30 2014-02-18 The Boeing Company Position only fit, POF, algorithm for blur spot target tracking and discrimination
US8086073B2 (en) * 2008-02-07 2011-12-27 Seiko Epson Corporation Non-uniform image resizer
US7995859B2 (en) * 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
US8094215B2 (en) * 2008-10-02 2012-01-10 Altasens, Inc. Digital column gain mismatch correction for 4T CMOS imaging systems-on-chip
JP5640316B2 (ja) * 2009-02-24 2014-12-17 株式会社ニコン 撮像装置
US9237284B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Systems and methods for processing infrared images
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
JP5871496B2 (ja) * 2011-06-24 2016-03-01 キヤノン株式会社 撮像装置及びその駆動方法
CN102385701B (zh) * 2011-10-14 2013-09-18 华中科技大学 扫描型红外成像系统的非均匀校正方法
FR2987210B1 (fr) * 2012-02-22 2014-02-21 Ulis Procede de correction de la derive d'un detecteur de rayonnement infrarouge comportant une matrice de bolometres resistifs d'imagerie et dispositif mettant en oeuvre un tel procede
JP6045220B2 (ja) * 2012-06-27 2016-12-14 キヤノン株式会社 撮像素子および撮像装置
CN102779332A (zh) * 2012-07-09 2012-11-14 中国人民解放军国防科学技术大学 时域卡尔曼滤波修正的非线性拟合红外非均匀校正方法
WO2014018948A2 (en) * 2012-07-26 2014-01-30 Olive Medical Corporation Camera system with minimal area monolithic cmos image sensor
CN102855610B (zh) * 2012-08-03 2015-11-04 南京理工大学 采用参数正确性因子的红外图像非均匀性校正方法
CN103076096A (zh) * 2013-01-07 2013-05-01 南京理工大学 基于中值直方图均衡的红外非均匀性校正算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2452992C1 (ru) * 2008-05-22 2012-06-10 МАТРИКС ЭЛЕКТРОНИК МЕЖЕРИНГ ПРОПЕРТИЗ, ЭлЭлСи Стереоскопическая измерительная система и способ
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US20130314546A1 (en) * 2011-02-25 2013-11-28 Photonis Netherlands B.V. Acquiring and displaying images in real-time
EP2693742A1 (en) * 2011-03-30 2014-02-05 Sony Corporation A/d converter, solid-state imaging device and drive method, as well as electronic apparatus
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking

Also Published As

Publication number Publication date
CN105049752B (zh) 2019-09-27
JP2015212695A (ja) 2015-11-26
FR3020735B1 (fr) 2017-09-15
EP2940991B1 (fr) 2017-09-27
EP2940991A1 (fr) 2015-11-04
US10015425B2 (en) 2018-07-03
RU2015115885A (ru) 2016-11-20
JP6887597B2 (ja) 2021-06-16
CA2889654A1 (fr) 2015-10-30
CA2889654C (fr) 2022-11-29
US20150319387A1 (en) 2015-11-05
FR3020735A1 (ru) 2015-11-06
RU2015115885A3 (ru) 2018-11-01
KR20150125609A (ko) 2015-11-09
CN105049752A (zh) 2015-11-11
KR102391619B1 (ko) 2022-04-27

Similar Documents

Publication Publication Date Title
RU2677576C2 (ru) Способ обработки инфракрасных изображений для коррекции неоднородности
Konnik et al. High-level numerical simulations of noise in CCD and CMOS photosensors: review and tutorial
TW425816B (en) Improved dark frame subtraction
Zuo et al. Improved interframe registration based nonuniformity correction for focal plane arrays
KR100946536B1 (ko) 광학적으로 검은 픽셀 및 결합된 픽셀을 모두 사용하여이미저에서 블랙 레벨을 설정하는 방법 및 장치
EP2923187B1 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
WO2007086063A2 (en) Non-uniformity correction of images generated by focal plane arrays of photodetectors
Zuo et al. A two-frame approach for scene-based nonuniformity correction in array sensors
Liu et al. Interframe phase-correlated registration scene-based nonuniformity correction technology
Ratliff et al. Algebraic scene-based nonuniformity correction in focal plane arrays
Hu et al. Non-uniformity correction of infrared focal plane array in point target surveillance systems
WO2014085699A1 (en) Infrared imager with integrated metal layers
Guadagnoli et al. Thermal imager non-uniformity sources modeling
San Martin et al. Statistical recursive filtering for offset nonuniformity estimation in infrared focal-plane-array sensors
Orżanowski Modified two-point calibration algorithm for infrared focal plane arrays
Liu et al. A registration based nonuniformity correction algorithm for infrared line scanner
Krupiński et al. Non-uniformity correction with temperature influence compensation in microbolometer detector
Catarius et al. Static scene statistical algorithm for nonuniformity correction in focal-plane arrays
JP7143558B2 (ja) 赤外線撮像装置及びそれに用いられるプログラム
US10397504B2 (en) Correcting lag in imaging devices
Dunlap et al. Correction of dark current in consumer cameras
Rossi et al. A technique for ghosting artifacts removal in scene-based methods for non-uniformity correction in IR systems
Zapata et al. An experimental validation of the Gauss-Markov model for nonuniformity noise in infrared focal plane array sensors
CN113767419A (zh) 用于去除静态场景的红外图像中的余辉的方法和设备
CN113785324A (zh) 用于去除变化场景的红外图像中的余辉的方法和设备