RU2817046C1 - Способ компенсации геометрического шума матричного фотоприемника, инвариантный к времени экспозиции - Google Patents

Abstract

Изобретение относится к способу компенсации геометрического шума матричного фотоприемника. Технический результат заключается в повышении точности компенсации геометрического шума матричного фотоприемника в процессе двухточечной коррекции при смене времени экспозиции. В способе производится учет изменения не только аддитивной, но и учет изменения мультипликативной составляющей ГШ за счет дополнительного запоминания в цифровой форме значений яркости элементов эталонного изображения Y_2max, получаемого на этапе калибровки при максимальном времени экспозиции t_max и высоком уровне равномерной облученности фотоприемника, и определения коэффициентов компенсации мультипликативной составляющей K_max для максимального времени экспозиции t_max. В свою очередь, используя значения коэффициентов компенсации мультипликативной составляющей K_min и K_max для границ диапазона [t_min; t_max] в заявляемом способе, в отличие от способа-прототипа, за счет дополнительной линейной интерполяции по формуле K=aK_max+(1-a)K_min вычисляются значения коэффициентов компенсации мультипликативной составляющей K для устанавливаемых времен экспозиции t. Указанные операции позволяют учесть изменения не только аддитивной, но и мультипликативной составляющей ГШ, происходящие при смене времени t экспозиции фотоприемника в пределах t_min≤t≤t_max. 3 ил.

Description

Изобретение относится к области прикладного телевидения, использующего регистрацию отраженного или излученного потока излучения в инфракрасном (ИК) диапазоне спектра.

Геометрический шум (ГШ) или в английской аббревиатуре FPN-шум (fixed pattern noise) является для конкретного фотоприемника детерминированной помехой, имеющей две составляющих: аддитивную и мультипликативную. Аддитивная составляющая обусловлена неравномерностью термогенерации носителей заряда в элементах матричного фотоприемника. Мультипликативная составляющая обусловлена неоднородностью чувствительности элементов матричного фотоприемника.

Математическая модель, описывающая сигнал с ГШ, представляет собой линейное уравнение с постоянными коэффициентами. В матричной форме записи эта модель имеет следующий вид: Y=KX+B, где Y - матрица выходных значений сигнала яркости матричного фотоприемника с ГШ, В - матрица аддитивной составляющей ГШ, характеризующая для каждого элемента неравномерность термогенерации, X - матрица значений сигнала яркости от элементов матричного фотоприемника без ГШ, а K - матрица коэффициентов, характеризующих неравномерность чувствительности для каждого из этих элементов. При этом KX - мультипликативная составляющая ГШ.

С ГШ обычно борются компенсационным методом, заключающимся в вычитании предварительно запомненных значений аддитивной составляющей В и умножением (или делением) на предварительно рассчитанные коэффициенты K компенсации мультипликативной составляющей.

Указанная выше математическая модель используется в известном способе компенсации ГШ, описанном, в частности, на с. 16-23 литературы Л.И. Хромов, Н.В. Лебедев, А.К. Цыцулин, А.Н. Куликов «Твердотельное телевидение. Телевизионные системы с переменными параметрами на ПЗС и микропроцессорах». М., «Радио и связь», 1986г. Данный способ предусматривает предварительную калибровку матричного фотоприемника видимого диапазона спектра, во время которой производят поочередное перекрытие потока излучения и равномерное облучение фотоприемника. Получаемые при этом значения в матрице сигнала яркости изображений Y₁ для перекрытого потока излучения и Y₂ для равномерно облученного фотоприемника запоминают. Затем рассчитывают для каждого элемента изображения коэффициенты K, характеризующие относительную чувствительность элементов фотоприемника по формуле K=Y₂/m ₂, где m ₂ средняя яркость изображения Y₂. При информативном облучении фотоприемника производят компенсацию ГШ в получаемых при этом цифровых значениях Y, формируя выходные значения яркости X по формуле X=(Y-B)/K, причем, B=Y₁. Недостатком данного способа является его низкая точность при работе в увеличенном динамическом диапазоне изменения сигнала.

Известен способ компенсации геометрического шума матричного фотоприемника, описанный на с. 3, 4 статьи авторов Брондз Д.С., Харитонова Е.Н., «Коррекция геометрического шума МФПУ с помощью аппроксимации методом наименьших квадратов передаточных характеристик матрицы полиномом Т-порядка» // Журнал радиоэлектроники, 2008, №11. С. 1-29.

Данный способ предусматривает нахождение коэффициентов K из системы уравнений: Y₁=KX₁+B и Y₂=KX₂+B. При этом Х₁ и Х₂ - исходные значения сигнала яркости от элементов матричного фотоприемника без ГШ при равномерном низком и высоком уровне облученности элементов фотоприемной матрицы, соответствующие средним значениям яркости m ₁ и m ₂ изображений Y₁ и Y₂. Из рассмотренной выше системы уравнений следуют значения K=(Y₂-Y₁)/(m ₂-m ₁) и B=(m ₂Y₁-m ₁Y₂)/(m ₂-m ₁) для каждого элемента фотоприемника. На практике обычно используют приближенное значение B=Y₁, поскольку для низкого уровня облученности фотоприемника при m ₁→0 B→Y₁. Сущность данного способа заключается в предварительной калибровке матричного фотоприемника, выполняемой путем поочередного равномерного его облучения от источников с низким и высоким уровнем излучения. Получаемые при этом цифровые значения сигнала яркости кадров изображений Y₁ для низкого и Y₂ для высокого уровня облученности фотоприемника запоминают и рассчитывают средние значения яркости m ₁ и m ₂ для изображений Y₁ и Y₂, соответственно. Далее для каждого элемента матричного фотоприемника рассчитывают значения матрицы коэффициентов K по формуле K=(Y₂-Y₁)/(m ₂-m ₁). При информативном облучении фотоприемника производят компенсацию ГШ по формуле X=(Y-Y₁)/K+m ₁. Добавление значения m ₁ при этом обеспечивает восстановление средней яркости изображения, теряемой при вычитании значений Y₁. Данный способ в литературе известен, как двухточечная коррекция.

Недостатком данного способа является низкая точность компенсации ГШ фотоприемника при времени экспозиции (накопления), заданного во время информативной засветки, отличном от времени экспозиции, использованном в процессе калибровки. Низкая точность обусловлена тем, что, например, при увеличении времени t экспозиции фотоприемника в процессе его информативного облучения в пределах рабочего диапазона экспозиций t _min ≤t≤t _max относительно минимального времени экспозиции t_min, использованного в процессе калибровки, возникает ошибка компенсации ГШ. Ошибка компенсации ГШ в свою очередь объясняется тем, что величина ГШ прямо пропорциональна времени накопления. На изображении ошибка компенсации проявляется в виде помехи - зернистой структуры. При этом, чем больше задаваемое время накопления t, тем больше ошибка компенсации и заметнее помеха.

Наиболее близким по технической сущности к заявляемому способу является способ компенсации геометрического шума матричного фотоприемника (см. патент РФ №2711723, G06T 5/00, G06T 7/80, H04N5/357 от 29.10.2019) - прототип.

Данный способ заключается в следующем. Производят предварительную калибровку фотоприемника путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения при минимальном времени экспозиции фотоприемника t _min . Полученные при этом значения сигнала яркости изображения Y_{1 min} для низкого уровня облучения и изображения Y_{2 min} для высокого уровня облучения запоминают в цифровой форме и вычисляют средние значение m _{1 min} и m _{2 min} сигнала яркости изображений Y_{1 min} и Y_{2 min} , соответственно. На этапе калибровки дополнительно задают максимальное время экспозиции t _max при низком уровне равномерной облученности фотоприемника. Получаемые при этом значения сигнала яркости изображения Y_{1 max} запоминают в цифровой форме и вычисляют их среднее значение m _{1 max} . Непосредственно перед информативной засветкой для заданного в пределах t _min ≤t≤t _max времени t экспозиции фотоприемника вычисляют коэффициент a=(t-t _min )/(t _max -t _min ), а также формируют матрицу эталонного изображения по формуле Y₀=aY_{1 max} +(1-a)Y_{1 min} и определяют его среднюю яркость m ₀, а также коэффициенты K для каждого элемента матричного фотоприемника по формуле K=(Y_{2 min} -Y_{1 min} )/(m _{2 min} -m _{1 min} ), принимая при этом значения Y_{1 min} =Y₀.

Во время информативной засветки формирование выходных цифровых значений яркости X производят по формуле X=(Y-Y₀)/K+m ₀.

Таким образом, идея способа-прототипа заключается в учете изменения аддитивной составляющей ГШ при смене времени экспозиции. Максимальное изменение аддитивной составляющей ГШ фиксируется при максимальном времени экспозиции t _max в эталонном изображении Y_{1 max} . Промежуточные значения изменений аддитивной составляющей ГШ линейно интерполируются по формуле Y₀=aY_{1 max} +(1-a)Y_{1 min} при вычислении матрицы эталонного изображения по формуле Y₀, используемого при формировании выходного изображения X.

Однако помимо аддитивной составляющей в ГШ имеется мультипликативная составляющая, которая также как и аддитивная составляющая, изменяется при изменении экспозиции, что не учитывается в способе-прототипе. Отсутствие учета мультипликативной составляющей ведет к недостаточной точности компенсации ГШ при смене экспозиции, что особенно сильно сказывается при увеличении диапазона времени [t _min ;t _max ]. В результате способ-прототип оказывается работоспособен в весьма небольшом диапазоне времен экспозиции.

Задачей изобретения является повышение точности компенсации геометрического шума матричного фотоприемника в процессе двухточечной коррекции при смене времени экспозиции.

Технический результат заявляемого технического решения выражен в повышении точности компенсации геометрического шума матричного фотоприемника в процессе двухточечной коррекции при смене времени экспозиции.

Технический результат достигается тем, что в отличие от известного способа компенсации геометрического шума матричного фотоприемника, заключающегося в предварительной калибровке фотоприемника путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения при минимальном времени экспозиции фотоприемника t _min и запоминании в цифровой форме полученных при этом значений сигналов яркости изображения Y_{1 min} для низкого уровня облучения и изображения Y_{2 min} для высокого уровня облучения, вычислении средних значений m _{1 min} и m _{2 min} сигналов яркости изображений Y_{1 min} и Y_{2 min} , вычислении коэффициентов K для каждого элемента матричного фотоприемника по формуле K _min =(Y_{2 min} -Y_{1 min} )/(m _{2 min} -m _{1 min} ), задании на этапе калибровки максимального времени экспозиции t _max при низком уровне равномерной облученности фотоприемника, запоминании в цифровой форме получаемых при этом значений сигнала яркости изображения Y_{1 max} и вычислении их среднего значения m _{1 max} , вычислении непосредственно перед информативной засветкой коэффициента a=(t-t _min )/(t _max -t _min ) для заданного в пределах t _min ≤t≤t _max времени t экспозиции фотоприемника, вычислении матрицы эталонного изображения по формуле Y₀=aY_{1 max} +(1-a)Y_{1 min} и определении его средней яркости m ₀, формировании во время информативной засветки выходных цифровых значений яркости X в соответствии с выражением X=(Y-Y₀)/K+m ₀, в процессе калибровки при максимальном времени экспозиции t _max устанавливают высокий уровень равномерной облученности фотоприемника, запоминают в цифровой форме значения яркости элементов изображения Y_{2 max} и определяют их среднее значение m _{2 max ,} рассчитывают матрицу коэффициентов компенсации K _max по формуле K _max =(Y_{2 max} -Y_{1 max} )/(m _{2 max} -m _{1 max} ), а значения матрицы K при формировании выходных цифровых значений яркости X вычисляют по формуле K=aK _max +(1-a)K _min .

Принцип работы заявляемого способа заключается в том, что в отличие от способа-прототипа производится учет изменения не только аддитивной, но и учет изменения мультипликативной составляющей ГШ. Это достигается за счет дополнительного запоминания в цифровой форме значений яркости элементов эталонного изображения Y_{2 max} , получаемого на этапе калибровки при максимальном времени экспозиции t _max и высоком уровне равномерной облученности фотоприемника, и определения коэффициентов компенсации мультипликативной составляющей K _max для максимального времени экспозиции t _max . В свою очередь, используя значения коэффициентов компенсации мультипликативной составляющей K _{m in} и K _max для границ диапазона [t _min ;t _max ] в заявляемом способе, в отличие от способа-прототипа, за счет дополнительной линейной интерполяции по формуле K=aK _max +(1-a)K _min вычисляются значения коэффициентов компенсации мультипликативной составляющей K для устанавливаемых времен экспозиции t. Указанные операции позволяют учесть изменения не только аддитивной, но и мультипликативной составляющей ГШ, происходящие при смене времени t экспозиции фотоприемника в пределах t _min ≤t≤t _max , что обеспечивает повышение точности компенсации ГШ по отношению к способу-прототипу. Кроме этого, достигается расширение возможного диапазона экспозиции [t _min ;t _max ], при котором обеспечивается качественная компенсация ГШ, по сравнению со способом-прототипом.

Для достижения указанного выше технического результата предложен способ, включающий предварительную калибровку фотоприемника при минимальном времени экспозиции t _min путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y_{1 min} и Y_{2 min} для низкого и для высокого уровня облучения, соответственно, а также предварительную калибровку фотоприемника при максимальном времени экспозиции t _{m ax} путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y_{1 max} и Y_{2 max} для низкого и для высокого уровня облучения, соответственно, вычисление средних значений m _{1 min} , m _{2 min} , m _{1 max} и m _{2 m ax} яркости элементов изображений Y_{1 min} , Y_{2 min} , Y_{1 max} и Y_{2 max} , соответственно, вычисление для каждого элемента изображения матриц коэффициентов компенсации K _min и K _max по формулам K _min =(Y_{2 min} -Y_{1 min} )/(m _{2 min} -m _{1 min} ) и K _max =(Y_{2 max} -Y_{1 max} )/(m _{2 max} -m _{1 max} ), вычисление непосредственно перед информативной засветкой коэффициента a=(t-t _min )/(t _max -t _min ) для устанавливаемого в пределах t _min ≤t≤t _max времени t экспозиции фотоприемника, вычисление матрицы эталонного изображения для компенсации аддитивной составляющей Y₀=aY_{1 max} +(1-a)Y_{1 min} и его средней яркости m ₀, вычисление матрицы коэффициентов для компенсации мультипликативной составляющей K=aK _max +(1-a)K _min , получение в процессе информативного облучения значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X в соответствии с выражением X=(Y-Y₀)/K+m ₀.

На фиг. 1 приведен пример структурной схемы устройства для реализации заявляемого способа, где:

1 - объектив;

2 - инфракрасная камера (ИК-камера);

3 - устройство видеозаписи;

4 - компьютер.

Изображения для низкого и высокого уровня облучения фотоприемников в процессе калибровки фотоприемника могут быть получены, например, путем последовательной съемки матричной ИК-камерой изображений излучателя по модели абсолютно черного тела (АЧТ) при его низкой и высокой температуре. Фиксация изображений в компьютере может осуществляться через стандартное устройство видеозаписи, например, типа BeholdTV, подключаемое к USB-порту компьютера. Результирующее изображение может быть получено, например, путем программирования в среде стандартного пакета MATLAB или путем создания специализированной программы, например, в среде С++.

Устройство содержит объектив 1, оптически связанный с матричной ИК-камерой 2, последовательно подключенной к устройству 3 видеозаписи и компьютеру 4.

Способ осуществляется следующим образом.

Поток излучения, проходит через объектив 1 на фотоприемник ИК-камеры 2. Время экспозиции t в пределах t _min ≤t≤t _max задается в ИК-камере. Значения t, t _min и t _max вводятся в компьютер в ручном режиме. Калибровка камеры осуществляется при t=t _min и при t=t _max с использованием излучателя, формирующего равномерный фон при низкой и высокой температуре по модели абсолютно черного тела (АЧТ). Получаемые в процессе калибровки изображения Y_{1 min} для t _min и Y_{1 max} для t _max при низкой температуре АЧТ, а также Y_{2 min} для t _min и Y_{2 max} для t _max при высокой температуре АЧТ последовательно преобразуются ИК-камерой 2 в электрический сигнал, который в свою очередь преобразуется в цифровую форму стандартным устройством 3 видеозаписи и последовательно вводится в компьютер 4.

Введенные в компьютер исходные цифровые значения яркости элементов изображений Y_{1 min} , Y_{1 max} , Y_{2 min} , Y_{2 max} , а также значения t, t _min и t _max обрабатываются программным путем. При этом вычисляются средние значения m _{1 min} , m _{1 max} , m _{2 min} , m _{2 max} яркости элементов в кадрах изображений Y_{1 min} , Y_{1 max} , Y_{2 min} , Y_{2 max} , а также рассчитываются матрицы коэффициентов компенсации по формулам K _min =(Y_{2 min} -Y_{1 min} )/(m _{2 min} -m _{1 min} ) и K _max =(Y_{2 max} -Y_{1 max} )/(m _{2 max} -m _{1 max} ). Кроме этого определяют значение коэффициента а в соответствии с выражением a=(t-t _min )/(t _max -t _min ) для устанавливаемого времени экспозиции и вычисляют интерполированные значения аддитивной составляющей ГШ в виде матрицы Y₀=aY_{1 max} +(1-a)Y_{1 min} и определяют ее среднее значение m ₀, а также вычисляют интерполированные значения коэффициентов компенсации K=aK _max +(1-a)K _min мультипликативной составляющей. В процессе информативной засветки фотоприемника получают исходное изображение Y, содержащее аддитивную и мультипликативную составляющие геометрического шума. С использованием полученных интерполированных значений Y₀ и K производят двухточечную коррекцию исходного изображения Y, получая выходное изображение X в соответствии с выражением X=(Y-Y₀)/K+m ₀.

Выходные цифровые значения яркости элементов откорректированного изображения X отображаются на экране дисплея компьютера. Таким образом, для реализации данного способа могут быть применены известные материалы и технические средства.

На фиг. 2 показаны профилограммы яркости выделенной строки изображения, полученного при облучении фотоприемника от АЧТ с температурой 20С и обработанного методом двухточечной коррекции без учета времени экспозиции (профилограммы 1), а также обработанного по способу-прототипу с учетом времени экспозиции (профилограммы 2).

На фиг. 3 показаны профилограммы яркости выделенной строки изображения, полученного при облучении фотоприемника от АЧТ с температурой 20С и обработанного методом двухточечной коррекции без учета времени экспозиции (профилограммы 1), а также обработанного по заявляемому способу с учетом времени экспозиции (профилограммы 2).

По горизонтальной оси графиков показаны номера элементов строки изображения, по вертикальной оси графиков показаны значения яркости в относительных единицах при 16-разрядном их кодировании. При этом калибровка производилась для низкого уровня облученности с температурой 10С и высокого уровня облученности с температурой 50С. Диапазон времени экспозиции задавался в пределах t _min =2мс и t _max =10мс. Информативная засветка производилась при t=9мс. Как видно из представленных графиков, с увеличением времени экспозиции при информативной засветке по отношению к времени экспозиции, использованному при калибровке, заявляемый способ обеспечивает существенное уменьшение уровня геометрического шума по сравнению со способом-прототипом, что позволяет в свою очередь существенно расширить диапазон используемых значений времени экспозиции. Так, например, компьютерное моделирование в среде MATLAB показывает, что если способ-прототип обеспечивает эффективную компенсацию ГШ в малом диапазоне времени экспозиции, не превышающем 2-5мс, то заявляемый способ обеспечивает не менее чем двукратное увеличение этого диапазона, а именно: до 2-10мс, при котором способ-прототип, как видно из графиков на фиг. 2, оказывается неэффективным.

Claims (1)

1. Способ компенсации геометрического шума матричного фотоприемника, инвариантный к времени экспозиции, включающий его предварительную калибровку при минимальном времени экспозиции фотоприемника t _min путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y_{1 min} и Y_{2 min} для низкого и для высокого уровня облучения соответственно, задание на этапе калибровки максимального времени экспозиции t _max при низком уровне равномерной облученности фотоприемника и запоминание в цифровой форме получаемых при этом значений яркости элементов изображения Y_{1 max} , вычисление средних значений m _{1 min} , m _{2 min} и m _{1 max} яркости элементов изображений Y_{1 min} , Y_{2 min} и Y_{1 max} соответственно, вычисление для каждого элемента изображения матрицы коэффициентов компенсации K _min по формуле K _min =(Y_{2 min} -Y_{1 min} )/(m _{2 min} -m _{1 min} ), вычисление непосредственно перед информативной засветкой коэффициента a=(t-t _min )/(t _max -t _min ) для устанавливаемого в пределах t _min ≤t≤t _max времени t экспозиции фотоприемника, вычисление матрицы эталонного изображения Y₀=aY_{1 max} +(1-a)Y_{1 min} и его средней яркости m ₀, получение в процессе информативного облучения значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X по формуле X=(Y-Y₀)/K+m ₀, отличающийся тем, что в процессе калибровки при максимальном времени экспозиции t _max устанавливают высокий уровень равномерной облученности фотоприемника, запоминают в цифровой форме значений яркости элементов изображения Y_{2 max} и определяют их среднее значение m _{2 max} , рассчитывают матрицу коэффициентов компенсации K _max по формуле K _max =(Y _{2 max} -Y_{1 max} )/(m _{2 max} -m _{1 max} ), а значения матрицы K при формировании выходных цифровых значений яркости X вычисляют по формуле K=aK _max +(1-a)K _min .