RU2657015C2 - Устройство захвата изображений, система захвата изображений и способ захвата изображений - Google Patents

Устройство захвата изображений, система захвата изображений и способ захвата изображений Download PDF

Info

Publication number
RU2657015C2
RU2657015C2 RU2016115562A RU2016115562A RU2657015C2 RU 2657015 C2 RU2657015 C2 RU 2657015C2 RU 2016115562 A RU2016115562 A RU 2016115562A RU 2016115562 A RU2016115562 A RU 2016115562A RU 2657015 C2 RU2657015 C2 RU 2657015C2
Authority
RU
Russia
Prior art keywords
image
frequency response
filter
inverse
unit
Prior art date
Application number
RU2016115562A
Other languages
English (en)
Other versions
RU2016115562A (ru
Inventor
Риосуке КАСАХАРА
Original Assignee
Рикох Компани, Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013202576A priority Critical patent/JP6318520B2/ja
Priority to JP2013-202576 priority
Application filed by Рикох Компани, Лимитед filed Critical Рикох Компани, Лимитед
Priority to PCT/JP2014/076480 priority patent/WO2015046625A1/en
Publication of RU2016115562A publication Critical patent/RU2016115562A/ru
Application granted granted Critical
Publication of RU2657015C2 publication Critical patent/RU2657015C2/ru

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/006Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/3575Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double or triple sampling
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

Изобретение относится к устройствам захвата изображений. Техническим результатом является обеспечение устройства захвата изображений, которое восстанавливает размытость, которая является оптической аберрацией, в то же время подавляя шум. Результат достигается тем, что устройство захвата изображений включает в себя оптическую систему, которая обеспечивает аберрацию для падающего света; узел захвата изображений, который преобразует свет, который прошел через оптическую систему, в пикселы и захватывает изображение; и блок обратного преобразования, который получает первый фильтр обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения, захваченного посредством блока захвата изображений, и выполняет первый процесс обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования. 3 н. и 14 з.п. ф-лы, 16 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству захвата изображений, системе захвата изображений и способу захвата изображений.
Уровень техники
В последние годы, оцифровка развилась значительно также в области устройств захвата изображений за счет развития оцифровки информации. Особенно, в устройствах захвата изображений, представленных цифровыми камерами, что касается поверхности захвата изображений, традиционная пленка заменяется твердотельным узлом захвата изображений. CCD-датчик (узел с зарядовой связью), CMOS-датчик (комплементарный металл-оксидный полупроводник) или т.п. используется в качестве твердотельного узла захвата изображений (далее в данном документе просто называемого "узлом захвата изображений").
Таким образом, устройство захвата изображений, использующее узел захвата изображений, получает свет от субъекта через оптическую систему, извлекает свет, преобразуя его в электрические сигналы посредством твердотельного узла захвата изображений. Примеры такого устройства захвата изображений включают в себя видеокамеру, считыватель штрихкодов, мобильный телефон, переносной информационный терминал (PDA: персональный цифровой помощник) и промышленную камеру, в дополнение к цифровой камере.
Вышеупомянутое устройство захвата изображений включает в себя то, что называется камерой с расширенной глубиной резкости (EDoF: расширенная глубина резкости), которая расширяет глубину резкости с помощью оптической системы. Глубина резкости указывает диапазон расстояний в направлении оптической оси линзы, в которой приемлемо расценивать субъект на расстоянии от линзы камеры как находящийся в фокусе.
Конкретное описание предоставляется для пояснения расширения глубины резкости посредством оптической системы. Линза и фазовая пластина, которые включены в оптическую систему, функционируют, чтобы обеспечивать аберрацию и добавлять функцию рассеяния точки (PSF: функция рассеяния точки) свету субъекта, падающему на узел захвата изображений. Например, линза обеспечивает сферическую аберрацию, в качестве аберрации, свету субъекта, падающему на узел захвата изображений. Оптическая система вынуждает изображение, захватываемое посредством узла захвата изображений, размываться посредством аберрации, но делает размытость постоянной в широкой глубине резкости. Следовательно, изображение, размытое посредством оптической системы, нуждается в корректировке таким образом, чтобы получать предварительно определенное значение MTF (модуляционная передаточная функция). MTF указывает оцифрованное значение, изображающее степень точности, чтобы воспроизводить контраст субъекта, другими словами, воспроизводимость контраста. В этом случае, процесс обратного преобразования функции рассеяния точки выполняется по изображению, размытому посредством оптической системы, чтобы восстанавливать изображение в изображение высокого разрешения. Процесс обратного преобразования реализуется посредством корректировки размытости изображения посредством выполнения процесса фильтрации с помощью фильтра обратного преобразования по информации каждого пиксела, формирующего изображение, размытое посредством оптической системы (далее в данном документе просто называемого пикселом).
Кроме того, изображение, захваченное посредством узла захвата изображений, как правило, включает в себя шум. Соответственно, требуется также процесс снижения шума. В качестве устройства, которое снижает шум такого захваченного изображения и корректирует размытость для восстановления, предлагается устройство, включающее в себя блок обработки шума, который формирует изображение с обработанным шумом, выполняя обработку шума для снижения шума по входному изображению, и блок обработки восстановления, который выполняет процесс восстановления для уменьшения размытости по изображению с обработанным шумом (патентная литература 1). Блок обработки шума конфигурируется, чтобы выполнять обработку шума на основе характеристик процесса восстановления.
Однако, устройство, описанное в патентном документе 1, имеет проблему в том, что устройство предотвращает ухудшение изображения вследствие того, что влияние блока обработки шума усиливается, и не может фундаментально предотвращать усиление шума. Кроме того, разрешение и количество шума находятся в компромиссном соотношении. Следовательно, также существует проблема в том, что, если разрешение линзы в значительной степени компенсируется, количество шума увеличивается.
Ввиду вышеизложенного, существует необходимость предоставлять устройство захвата изображений, систему захвата изображений и способ захвата изображений, которые восстанавливают размытость, которая является оптической аберрацией, в то же время подавляя шум.
Сущность изобретения
Устройство захвата изображений включает в себя: оптическую систему, которая обеспечивает аберрацию для падающего света; узел захвата изображений, который преобразует свет, который прошел через оптическую систему, в пикселы и захватывает изображение; и блок обратного преобразования, который получает первый фильтр обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения, захваченного посредством блока захвата изображений, и выполняет первый процесс обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования.
Краткое описание чертежей
Фиг. 1 - это схема, иллюстрирующая пример полной конфигурации системы захвата изображений согласно первому варианту осуществления.
Фиг. 2 - это схема, иллюстрирующая пример конфигурации устройства обработки информации первого варианта осуществления.
Фиг. 3 - это схема, иллюстрирующая пример конфигурации устройства захвата изображений согласно первому варианту осуществления.
Фиг. 4 - это схема, иллюстрирующая пример конфигурации блока обработки изображений устройства захвата изображений согласно первому варианту осуществления.
Фиг. 5 - это схема, иллюстрирующая пример изображения, обнаруженного посредством узла захвата изображений.
Фиг. 6 - это схема, иллюстрирующая пример конфигурации блока буферизации изображений блока обработки изображений.
Фиг. 7 - это временная диаграмма, иллюстрирующая операцию ввода пикселов, выведенных из узла захвата изображений, в блок буферизации изображений.
Фиг. 8 - это схема, объясняющая, что спектры мощности различаются между областями обнаруженного изображения.
Фиг. 9 - это схема, объясняющая спектр мощности и оптимальный фильтр во всем обнаруженном изображении.
Фиг. 10 - это схема, объясняющая спектр мощности и оптимальный фильтр в области плоского фрагмента обнаруженного изображения.
Фиг. 11 - это схема, объясняющая спектр мощности и оптимальный фильтр в области текстурного фрагмента обнаруженного изображения.
Фиг. 12 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений первого варианта осуществления.
Фиг. 13 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений второго варианта осуществления.
Фиг. 14 - это схема, иллюстрирующая пример конфигурации фильтра обратного преобразования.
Фиг. 15 - это схема, объясняющая выполнение процесса фильтрации по изображению посредством фильтра обратного преобразования.
Фиг. 16 - это схема, объясняющая операцию сканирования целевого частичного изображения, намеченного для процесса фильтрации фильтра обратного преобразования в изображении.
Описание вариантов осуществления
Далее в данном документе предоставляется подробное описание вариантов осуществления устройства захвата изображений, системы захвата изображений и способа захвата изображений согласно настоящему изобретению, со ссылкой на чертежи. Кроме того, настоящее изобретение не ограничивается последующими вариантами осуществления, и компоненты в последующих вариантах осуществления включают в себя компонент, который может быть легко понят специалистами в области техники, является практически таким же компонентом и является тем, что находится в диапазоне так называемых эквивалентов. Кроме того, различные допущения, замены и изменения компонентов могут быть выполнены в диапазоне, в котором они не отступают от духа последующих вариантов осуществления.
(Первый вариант осуществления)
<Полная конфигурация системы захвата изображений>
Фиг. 1 - это схема, иллюстрирующая пример полной конфигурации системы захвата изображений согласно первому варианту осуществления. Конфигурация системы 500 захвата изображений варианта осуществления описывается со ссылкой на фиг. 1.
Как иллюстрировано на фиг. 1, система 500 захвата изображений варианта осуществления включает в себя устройство 1 захвата изображений и PC 2. Устройство 1 захвата изображений и PC 2 соединяются посредством кабеля 3 связи, такого как Ethernet- кабель (зарегистрированная торговая марка), таким образом, чтобы иметь возможность связываться друг с другом.
Устройство 1 захвата изображений преобразует свет, испускаемый от субъекта 4, в электрические сигналы, чтобы захватывать изображение субъекта 4, выполняет различные процессы обработки информации о захваченном изображении (далее в данном документе просто называемом изображением) и передает обработанное изображение в PC 2 через кабель 3 связи. PC 2 выполняет предварительно определенный процесс по изображению, принятому от устройства 1 захвата изображений.
Например, устройство 1 захвата изображений захватывает изображение штрих-кода, присоединенного к изделию, переносимому по производственной линии, и передает изображение штрих-кода в PC 2. PC 2 считывает информацию о штрихкоде из принятого изображения и анализирует информацию.
Как иллюстрировано на фиг. 1, система 500 захвата изображений является системой в способе проводной связи, в которой устройство 1 захвата изображений и PC 2 обмениваются данными через кабель 3 связи, но не ограничивается этим. Например, устройство 1 захвата изображений и PC 2 могут быть способны обмениваться данными друг с другом способом беспроводной связи, таким как Wi-Fi (зарегистрированная торговая марка) (беспроводная достоверность).
Кроме того, если система 500 захвата изображений используется на производственной линии, PC 2 может быть сконфигурирован, чтобы соединяться с PLC (программируемый логический контроллер) и/или т.п. таким образом, чтобы иметь возможность обмениваться данными. В этом случае, примеры операций системы 500 захвата изображений включают в себя следующую операцию. Устройство 1 захвата изображений захватывает изображение штрихкода, присоединенного к изделию, переносимому по производственной линии, и передает изображение штрих-кода в PC 2. PC 2 определяет номер изделия для изделия, переносимого по производственной линии, из принятого изображения штрих-кода. Если определенный номер изделия не совпадает с номером изделия, заданным на производственной линии, PC 2 передает, в PLC, сигнал, указывающий, что изделие, для которого номер изделия был определен, является изделием, имеющим другой номер изделия. При приеме, от PC 2, сигнала, указывающего, что изделие является изделием, имеющим другой номер изделия, PLC убирает изделие с производственной линии или управляет работой производственной линии, чтобы включать предупреждающую лампу и останавливать производственную линию.
<Конфигурация устройства обработки информации>
Фиг. 2 - это схема, иллюстрирующая пример конфигурации устройства обработки информации первого варианта осуществления. Конфигурация PC 2, который является примером устройства обработки информации, описывается со ссылкой на фиг. 2.
Как иллюстрировано на фиг. 2, PC 2, который является примером устройства обработки информации, включает в себя блок 21 связи, операционный блок 22, блок 23 отображения, блок 24 хранения, внешнее запоминающее устройство 25 и блок 26 управления. Вышеупомянутые блоки соединяются посредством шины 27 и могут передавать и принимать данные к и от друг друга.
Блок 21 связи является устройством, которое связывается с устройством 1 захвата изображений через кабель 3 связи. Блок 21 связи реализуется посредством устройства связи, такого как NIC (карта сетевого интерфейса). Протокол связи блока 21 связи реализуется, например, посредством TCP (протокола управления передачей)/IP (протокола Интернета) или UDP (протокола пользовательских дейтаграмм)/IP.
Операционный блок 22 является устройством, которое предоставляет возможность пользователю выполнять операции ввода, чтобы инструктировать блоку 26 управления выполнять предварительно определенный процесс. Операционный блок 22 реализуется посредством функции операции ввода, например, мыши, клавиатуры, числовой кнопочной панели, сенсорной панели или сенсорного экрана.
Блок 23 отображения является устройством, которое отображает изображение приложения, которое выполняется посредством блока 26 управления, и т.п. Блок 23 отображения реализуется, например, посредством CRT-дисплея (катодно-лучевая трубка), жидкокристаллического дисплея, плазменного дисплея или органического EL-дисплея (электролюминесцентного).
Блок 24 хранения является устройством, в котором различные программы, выполняемые в PC 2, данные, используемые для различных процессов, выполняемых в PC, и т.п. хранятся. Блок 24 хранения реализуется посредством запоминающих устройств, таких как ROM (постоянное запоминающее устройство) и RAM (оперативное запоминающее устройство).
Внешнее запоминающее устройство 25 является запоминающим устройством, в котором изображение, программа, данные шрифта и т.п. накапливаются и сохраняются. Внешнее запоминающее устройство 25 реализуется посредством запоминающего устройства, такого как HDD (накопитель на жестком диске), SSD (твердотельный накопитель), оптический диск или магнитно-оптический диск (MO: магнитно-оптический диск).
Блок 26 управления является устройством, которое управляет работой каждого блока PC 2. Блок 26 управления реализуется, например, посредством CPU (центрального процессора) и ASIC (специализированной интегральной микросхемы).
<Конфигурация устройства захвата изображений>
Фиг. 3 - это схема, иллюстрирующая пример конфигурации устройства захвата изображений согласно первому варианту осуществления. Конфигурация устройства 1 захвата изображений варианта осуществления описывается со ссылкой на фиг. 3.
Как иллюстрировано на фиг. 3, устройство 1 захвата изображений включает в себя блок 11 линзы, узел 12 захвата изображений, блок 14 обработки изображений и блок 15 связи.
Блок 11 линзы является блоком, который концентрирует свет, испускаемый от субъекта 4, и фокусирует изображение на узле 12 захвата изображений. Блок 11 линзы реализуется посредством оптической системы, включающей в себя одну или более линз. Блок 11 линз включает в себя фазовую пластину 11a и диафрагму 11b. Субъект 4, например, является человеком, объектом, который должен наблюдаться, штрихкодом, двухмерным кодом или строкой символов.
Фазовая пластина 11a имеет функцию обеспечения аберрации для света, падающего на блок 11 линзы. Как следствие, фазовая пластина 11a обеспечивает эффект добавления функции рассеяния точки свету, падающему на узел 12 захвата изображений, и вынуждает изображение, захватываемое посредством узла 12 захвата изображений, размываться, но делает размытость постоянной в широкой глубине резкости.
Диафрагма 11b является элементом, который автоматически регулирует количество света, падающего на блок 11 линзы, и размещается поблизости от фазовой пластины 11a.
Узел 12 захвата изображений является твердотельным узлом захвата изображений, который преобразует свет от субъекта, падающий на блок 11 линзы, в электрические сигналы, чтобы захватывать изображение субъекта 4, и формирует изображение. Узел 12 захвата изображений выводит пикселы, составляющие изображение, захваченное посредством блоков обнаружения, составляющих твердотельный узел захвата изображений. Узел 12 захвата изображений реализуется, например, посредством CCD-датчика или CMOS-датчика.
Блок 14 обработки изображений является узлом, который формирует изображение, по которому процесс фильтрации был выполнен, из изображения, выведенного из узла 12 захвата изображений.
Блок 15 связи является узлом, который связывается с PC 2 через кабель 3 связи. Блок 15 связи передает, например, изображение, выводимое из блока 14 обработки изображений, в PC 2. Блок 15 связи реализуется, например, посредством узла связи, такого как NIC. Протокол связи блока 15 связи реализуется, например, посредством TCP/IP или UDP/IP.
<Конфигурация блока обработки изображений>
Фиг. 4 - это схема, иллюстрирующая пример конфигурации блока обработки изображений устройства захвата изображений согласно первому варианту осуществления. Фиг. 5 - это схема, иллюстрирующая пример изображения, обнаруженного посредством узла захвата изображений. Конфигурация блока 14 обработки изображений устройства 1 захвата изображений варианта осуществления описывается со ссылкой на фиг. 4.
Как описано выше, узел 12 захвата изображений является твердотельным узлом захвата изображений, который преобразует свет от субъекта, падающий на блок 11 линзы, в электрические сигналы, чтобы захватывать изображение субъекта 4, и формирует изображение. Далее в данном документе предоставляется описание, предполагающее, что узел 12 захвата изображений формирует и выводит VGA-изображение. В частности, предоставляется описание, предполагающее, что узел 12 захвата изображений обнаруживает обнаруженное изображение 101, которое является изображением, состоящим из пикселов, размещенных в матрице 640×480, с 640 обнаруживающими элементами в X-направлении и 480 обнаруживающими элементами в Y-направлении, как иллюстрировано на фиг. 5.
Размер изображения, обнаруженного посредством узла 12 захвата изображений, устанавливается, чтобы быть VGA-изображением 640×480, но не ограничивается этим. Не говоря уже о том, что размер изображения может быть различным.
Как иллюстрировано на фиг. 4, блок 14 обработки изображений варианта осуществления включает в себя блок 141 буферизации изображений и блок 143 обработки фильтра.
Блок 141 буферизации изображений является узлом, в который пикселы, выводимые из узла 12 захвата изображения, вводятся, в свою очередь, и который буферизует их. Конкретная конфигурация и работа блока 141 буферизации изображения описываются ниже на фиг. 6 и 7.
Блок 143 обработки фильтра выполняет предварительно определенный процесс фильтрации по пикселам, выводимым из блока 141 буферизации изображения, с помощью схемы фильтра, обсуждаемой ниже. В варианте осуществления предоставляется описание, берущее в качестве примера фильтра, используемого для процесса фильтрации, фильтр обратного преобразования для выполнения процесса обратного преобразования корректировки размытости локально (на попиксельной основе), по размытому изображению, к которому функция рассеяния точки была предоставлена посредством действия фазовой пластины 11a. Конкретная конфигурация и работа блока 143 обработки фильтра описываются ниже на фиг. 12.
<Конфигурация и работа блока буферизации изображений>
Фиг. 6 - это схема, иллюстрирующая пример конфигурации блока буферизации изображений блока обработки изображений. Фиг. 7 - это временная диаграмма, иллюстрирующая операцию ввода пикселов, выводимых из узла захвата изображений, в буфер буферизации изображений. Конфигурация и работа блока 141 буферизации изображений блока 14 обработки изображений описывается со ссылкой на фиг. 6 и 7.
Как иллюстрировано на фиг. 6, блок 141 буферизации изображений включает в себя регистры 1411a-1411d и буферы 1412a-1412d строк. Пикселы, выводимые из узла 12 захвата изображений, вводятся в блок 141 буферизации изображений из секции 1410 ввода, и блок 141 буферизации изображений выводит буферизованные пикселы из секций 1413a-1413e вывода. На примере 640×480 пикселов изображения, обнаруженного посредством узла 12 захвата изображения, пиксел в X-м столбце в X-направлении и в Y-ой строке в Y-направлении, как предполагается, является пикселом (X, Y).
Как иллюстрировано на фиг. 6, входная сторона регистра 1411a соединяется с секцией 1410 ввода и секцией 1413a вывода. Выходные стороны регистров 1411a-1411d соединяются с входными сторонами буферов 1412a-1412d строк, соответственно. Выходные стороны буферов 1412a-1412c строк соединяются с входными сторонами регистров 1411b-1411d, соответственно. Выходные стороны буферов 1412a-1412d строк соединяются с секциями 1413b-1413e вывода, соответственно.
Далее, операция вывода изображения, обнаруженного посредством узла 12 захвата изображений, описывается со ссылкой на фиг. 7. Устройство 12 захвата изображений выводит пикселы, включенные в каждую горизонтальную строку, во время сканирования обнаруженных пикселов в единицах одной горизонтальной строки в X-направлении. В частности, узел 12 захвата изображений выводит пикселы, включенные в первую горизонтальную строку, в Y-направлении по очереди с первого пиксела по 640-й пиксел в X-направлении. Узел 12 захвата изображений выполняет вышеописанную операцию, чтобы выводить пикселы, включенные в горизонтальные строки, вплоть до 480-й горизонтальной строки в Y-направлении.
Вышеописанная операция описывается на основе временной диаграммы, иллюстрированной на фиг. 7. Как иллюстрировано на фиг. 7, узел 12 захвата изображений выводит пикселы одного кадра, т.е., одного изображения, когда сигнал действительного кадра включен. В узле 12 захвата изображений сигнал L1 действительной строки, указывающий разрешение выводить пикселы в первой горизонтальной строке в Y-направлении, включается после прохождения начального периода A кадра, после того как сигнал действительного кадра был включен. Узел 12 захвата изображений сканирует первую горизонтальную строку в Y-направлении в течение периода T действительных данных, когда сигнал L1 действительной строки включен, и, по очереди, выводит с первого по 640-й пикселы в X-направлении, включенные в первую горизонтальную строку (пикселы (1, 1)-(640, 1)). После того как пикселы в первой горизонтальной строке в Y-направлении выводятся посредством узла 12 захвата изображений, сигнал L1 действительной строки выключается.
В узле 12 захвата изображений сигнал L2 действительной строки, указывающий разрешение выводить пикселы во второй горизонтальной строке в Y-направлении, включается после прохождения периода B гашения обратного хода строчной развертки, после того как сигнал L1 действительной строки был выключен. Узел 12 захвата изображений сканирует вторую горизонтальную строку в Y-направлении в течение периода T действительных данных, когда сигнал L2 действительной строки включен, и, по очереди, выводит с первого по 640-й пикселы в X-направлении, включенные во вторую горизонтальную строку (пикселы (1, 2)-(640, 2)). После того как пикселы во второй горизонтальной строке в Y-направлении выводятся посредством узла 12 захвата изображений, сигнал L2 действительной строки выключается.
Узел 12 захвата изображений выполняет вышеописанную операцию до вывода с первого по 640-й пикселов в X-направлении, включенных в 480-ю горизонтальную строку в Y-направлении (пикселы (1, 480)-(640, 480)) в течение периода T действительных данных, когда сигнал L480 действительной строки включен. В узле 12 захвата изображения сигнал действительного кадра выключается после прохождения периода C окончания кадра, после того как сигнал L480 действительной строки был выключен. С вышеописанными операциями вывод пикселов одного кадра посредством узла 12 захвата изображений заканчивается. Кроме того, в узле 12 захвата изображений, после прохождения периода D гашения обратного хода кадровой развертки, после того как сигнал действительного кадра был выключен, сигнал действительного кадра включается снова, и вывод пикселов следующего кадра начинается.
Далее, предоставляется описание процесса буферизации пикселов, выводимых из узла 12 захвата изображений, в блоке 141 буферизации изображений, со ссылкой на фиг. 6. Пикселы, выводимые из узла 12 захвата изображений, вводятся в блок 141 буферизации изображений из секции 1410 ввода. В частности, на примере первой горизонтальной строки в Y-направлении, сначала, блок 141 буферизации изображений выводит, из секции 1413a вывода, пиксел (1, 1), введенный из узла 12 захвата изображений, и сохраняет пиксел (1, 1) в регистре 1411a.
Блок 141 буферизации изображений сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения буфера 1412a строки в следующий момент. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (2, 1), введенный следом из узла 12 захвата изображения, и сохраняет пиксел (2, 1) в регистре 1411a.
В следующий момент блок 141 буферизации изображений сдвигает пиксел, сохраненный в области 1a хранения, в область 2a хранения буфера 1412a строки, чтобы сохранять его там, и сохраняет пиксел, сохраненный в регистре 1411a, в область 1a хранения. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (3, 1), введенный следом из узла 12 захвата изображений, и сохраняет пиксел (3, 1) в регистре 1411a.
Блок 141 буферизации изображений повторяет вышеописанные операции, чтобы выводить, из секции 1413a вывода, пикселы первой горизонтальной строки в Y-направлении, введенные из узла 12 захвата изображений. В то же время, блок 141 буферизации изображений сохраняет с первого по 639-й пикселы первой горизонтальной строки в Y-направлении в областях 639a-1a хранения буфера 1412a строки, соответственно, и 640-й пиксел в регистре 1411a.
Далее, блок 141 буферизации изображений сдвигает пикселы, сохраненные в областях 1a-639a хранения буфера 1412a строки, в области 2a-640a хранения, чтобы сохранять их там, и сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения. Блок 141 буферизации изображений выводит пиксел (1, 1), сохраненный в области 640a хранения, из секции 1413b вывода и сохраняет пиксел (1, 1) в регистре 1411b. На примере второй горизонтальной строки в Y-направлении, блок 141 буферизации изображений выводит, из секции 1413a вывода, пиксел (1, 2), введенный из узла 12 захвата изображений, и сохраняет пиксел (1, 2) в регистре 1411a. Другими словами, блок 141 буферизации изображений выводит пикселы (1, 1) и (1, 2), которые являются пикселами, имеющими то же значение в X-направлении, из секций 1413b и 1413a вывода, соответственно.
Блок 141 буферизации изображений сохраняет пиксел, сохраненный в регистре 1411b, в области 1b хранения буфера 1412ab строки в следующий момент. Блок 141 буферизации изображений сдвигает пикселы, сохраненные в областях 1a-639a хранения буфера 1412a строки, в области 2a-640a хранения, чтобы сохранять их там, и сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения. Блок 141 буферизации изображений выводит пиксел (2, 1), сохраненный в области 640a хранения, из секции 1413b вывода и сохраняет пиксел (2, 1) в регистре 1411b. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (2, 2), введенный следом из узла 12 захвата изображения, и сохраняет пиксел (2, 2) в регистре 1411a.
В следующий момент блок 141 буферизации изображений сдвигает пиксел, сохраненный в области 1b хранения, в область 2b хранения буфера 1412b строки, чтобы сохранять его там, и сохраняет пиксел, сохраненный в регистре 1411b, в область 1b хранения. Блок 141 буферизации изображений сдвигает пикселы, сохраненные в областях 1a-639a хранения буфера 1412a строки, в области 2a-640a хранения, чтобы сохранять их там, и сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения. Блок 141 буферизации изображений выводит пиксел (3, 1), сохраненный в области 640a хранения, из секции 1413b вывода и сохраняет пиксел (3, 1) в регистре 1411b. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (3, 2), введенный следом из узла 12 захвата изображения, и сохраняет пиксел (3, 2) в регистре 1411a.
Блок 141 буферизации повторяет вышеописанные операции, чтобы выводить пикселы, имеющие одинаковое значение в X-направлении среди пикселов в первой и второй горизонтальных строках в Y-направлении, введенные из узла 12 захвата изображений, из секций 1413a и 1413b вывода, в один и тот же момент. В то же самое время, блок 141 буферизации изображений сохраняет с первого по 639-й пикселы в первой горизонтальной строке в Y-направлении в областях 639a-1b хранения буфера 1412b строки, соответственно, и 640-е пикселы в регистре 1411b. Кроме того, блок 141 буферизации изображений сохраняет с первого по 639-й пикселы во второй горизонтальной строке в Y-направлении в областях 639a-1a хранения буфера 1412a строки, соответственно, а 640-й пиксел в регистре 1411a.
Как и в вышеописанных операциях, блок 141 буферизации изображений буферизует пикселы в каждой горизонтальной строке, введенные из узла 12 захвата изображений, в буферах 1412a-1412d строк. В то же самое время, блок 141 буферизации изображений выводит пикселы, имеющие одинаковое значение в X-направлении, другими словами, пикселы (X, Y-4), (X, Y-3), (X, Y-2), (X, Y-1) и (X, Y) из секций 1413a-1413e вывода, соответственно, в один и тот же момент.
Фиг. 6 иллюстрирует пример конфигурации блока 141 буферизации изображений. Блок 141 буферизации изображений не ограничивается этой конфигурацией, а просто должен иметь конфигурацию, которая достигает эффекта, аналогичного вышеупомянутому процессу буферизации блока 141 буферизации изображений.
<Получение частотной характеристики R фильтра обратного преобразования>
Далее предоставляется описание способа получения частотной характеристики фильтра обратного преобразования, используемого для процесса обратного преобразования для восстановления таким образом, чтобы собирать, в одну точку, пятно, размытое посредством блока 11 линзы, который является оптической системой, в предварительно определенной фокусной позиции. Двухмерный линейный фильтр, который также является FIR- фильтром (конечная импульсная характеристика), подходит для получения вышеупомянутой частотной характеристики.
Прежде всего, модель влияния оптической системы на изображение, захваченное посредством узла 12 захвата изображений, выражается посредством уравнения операции двухмерного свертывания (операции свертывания), изображенной в последующем уравнении (1).
Figure 00000001
Здесь, imagecaptured является пикселом двухмерного захваченного изображения, обнаруженного посредством оптической системы, imageideal является пикселом идеального изображения, представляющего сам субъект 4, и h указывает PSF оптической системы.
Далее в данном документе обсуждается происхождение частотной характеристики фильтра обратного преобразования, минимизирующего среднеквадратическую ошибку, для ошибок между каждым пикселом изображения после процесса обратного преобразования и каждым пикселом идеального изображения, рассматривается влияние шума, добавляемого в систему обработки изображений (узел 12 захвата изображений и блок 14 обработки изображений). Среднеквадратическая ошибка выражается следующим уравнением (2).
Figure 00000002
Здесь, E[] указывает ожидаемое значение (среднее значение), n указывает местоположение на изображении, и
Figure 00000003
указывает пиксел изображения, полученный посредством выполнения процесса обратного преобразования по
Figure 00000004
. Должно учитываться, что
Figure 00000005
содержит шум.
Из теоремы Парсеваля, где общая сумма всей энергии, удерживаемой формой волны x(n) относительно всей области n, равна общей сумме преобразования Фурье
Figure 00000006
энергии формы волны x(n) относительно всех частотных составляющих, уравнение (2) выражается следующим уравнением (3) в качестве среднеквадратической ошибки в частотной области.
Figure 00000007
Здесь,
Figure 00000008
указывает частотную характеристику для
Figure 00000009
,
Figure 00000010
указывает частотную характеристику для
Figure 00000011
, а
Figure 00000012
указывает пространственную частоту.
При условии, что частотной характеристикой фильтра обратного преобразования является
Figure 00000013
, частотная характеристика
Figure 00000014
, дающая минимальное значение следующего уравнения (4), признана оптимальным фильтром обратного преобразования.
Figure 00000015
Здесь,
Figure 00000016
является частотной характеристикой
Figure 00000017
.
В уравнении (4), когда выражается, что
Figure 00000018
Figure 00000019
, и
Figure 00000020
, и дифференцируя уравнение (4) по R*, чтобы получать минимальное значение уравнения (4), может быть получено следующее уравнение (5).
Figure 00000021
Здесь,
Figure 00000022
является спектром мощности захваченного изображения, включающего в себя шум, а
Figure 00000023
является взаимным спектром мощности захваченного изображения, включающего в себя шум, и идеального изображения.
При условии, что самая правая сторона уравнения (5) равна 0, чтобы получать минимальное значение уравнения (4), может быть получено следующее уравнение (6).
Figure 00000024
Следующее уравнение (7) может быть получено из уравнения (6).
Figure 00000025
Фильтр обратного преобразования на основе частотной характеристики
Figure 00000026
, изображенной в уравнении (7), является оптимальным фильтром, который минимизирует среднеквадратическую ошибку, изображенную в вышеупомянутом уравнении (2).
Здесь, когда предполагается, что частотной характеристикой шума является
Figure 00000027
, и частотной характеристикой для h, которая является PSF оптической системы, является
Figure 00000028
, и изображая вышеупомянутое уравнение (1) в частотном пространстве, оно изображается посредством следующего уравнения (8).
Figure 00000029
При условии, что частотная характеристика
Figure 00000030
шума и частотная характеристика
Figure 00000031
не являются коррелированными, тогда
Figure 00000032
. Следовательно, если уравнение (8) подставляется в числитель с правой стороны вышеупомянутого уравнения (7), может быть получено следующее уравнение (9).
Figure 00000033
Аналогично, при условии, что частотная характеристика
Figure 00000034
шума и частотная характеристика
Figure 00000035
не являются коррелированными, тогда
Figure 00000036
и
Figure 00000032
. Следовательно, если уравнение (8) подставляется в знаменатель с правой стороны вышеупомянутого уравнения (7), может быть получено следующее уравнение (10).
Figure 00000037
Частотная характеристика
Figure 00000038
, изображенная в следующем уравнении (11), может быть получена из вышеупомянутых уравнений (7), (9) и (10).
Figure 00000039
Фильтр обратного преобразования на основе частотной характеристики
Figure 00000040
, изображенной в уравнении (11), является оптимальным фильтром, который минимизирует среднеквадратическую ошибку, изображенную в вышеупомянутом уравнении (2), когда шум системы обработки изображений принимается во внимание. Здесь,
Figure 00000041
является средним значением спектра мощности идеального изображения,
Figure 00000042
является средним значением спектра мощности шума, а
Figure 00000043
является спектром мощности частотной характеристики оптической системы.
Кроме того, если частотная характеристика
Figure 00000044
, изображенная в вышеупомянутом уравнении (11), применяется, когда квадратическая ошибка между каждым пикселом изображения после процесса обратного преобразования и каждым пикселом идеального изображения интегрируется в частотной области, может быть получено следующее уравнение (12) среднеквадратической ошибки MSE (среднеквадратическая ошибка).
Figure 00000045
В вычислении вышеописанного уравнения (12) отсутствие корреляции между частотной характеристикой
Figure 00000046
шума и частотной характеристикой
Figure 00000047
используется, как описано выше. Первый член на самой правой стороне уравнения (12) указывает величину ошибки, которая может не быть восстановлена, изображения после процесса обратного преобразования. Второй член указывает величину ошибки по шуму.
Частотная характеристика
Figure 00000048
оптической системы принимается так, что интеграл уравнения (12) имеет минимальное значение. Соответственно, представляется возможным получать комбинацию оптической системы и фильтра обратного преобразования, которые минимизируют среднеквадратическую ошибку в частотной области, изображенной в вышеупомянутом уравнении (4). Кроме того, представляется возможным получать комбинацию оптической системы и фильтра обратного преобразования, которые минимизируют среднеквадратическую ошибку в фактическом пространстве, изображенном в вышеупомянутом уравнении (2), на основе теоремы Парсеваля.
<Рассмотрение частотной характеристики R' локального фильтра обратного преобразования>
Фиг. 8 - это схема, объясняющая, что спектры мощности различаются между областями обнаруженного изображения. Фиг. 9 - это схема, объясняющая спектр мощности и оптимальный фильтр во всем обнаруженном изображении. Фиг. 10 - это схема, объясняющая спектр мощности и оптимальный фильтр в области плоского фрагмента обнаруженного изображения. Фиг. 11 - это схема, объясняющая спектр мощности и оптимальный фильтр в области текстурного фрагмента обнаруженного изображения. Предоставляется описание частотной характеристики
Figure 00000049
локального фильтра обратного преобразования, со ссылкой на фиг. 8-11.
Предположим, что частотная характеристика
Figure 00000050
в уравнении (11) для получения вышеупомянутой частотной характеристики
Figure 00000051
фильтра обратного преобразования известна. Другими словами, можно сказать, она должна быть частотной характеристикой всего идеального изображения. Однако, как иллюстрировано на фиг. 8, обнаруженное изображение 101, которое является изображением, фактически захваченным посредством узла 12 захвата фактического изображения, содержит текстурный фрагмент 101a и плоский фрагмент, отличный от текстурного фрагмента 101a. В вышеупомянутом описании было предоставлено описание операции выполнения процесса фильтрации с помощью частотной характеристики
Figure 00000052
фильтра обратного преобразования, иллюстрированной на фиг. 9(b), посредством которой MSE, изображенная в вышеупомянутом уравнении (12), минимизируется на основе известной частотной характеристики
Figure 00000053
всего идеального изображения, иллюстрированной на фиг. 9(a). Когда процесс фильтрации выполняется на основе частотной характеристики
Figure 00000054
, MSE, изображенная в вышеупомянутом уравнении (12), может надежно быть минимизирована во всем обнаруженном изображении 101. Однако, например, в области 102, которая является плоским фрагментом в обнаруженном изображении 101, область пространственной частоты
Figure 00000055
части без спектра также усиливается, так что ненужный шум увеличивается.
Как иллюстрировано на фиг. 10(a), предположим, что частотной характеристикой локальной области, соответствующей области 102 в идеальном изображении, является
Figure 00000056
. Частотная характеристика
Figure 00000057
локального фильтра обратного преобразования, который усиливает только область пространственной частоты
Figure 00000058
, где спектр частотной характеристики
Figure 00000059
существует (область низких частот) и обеспечивает минимальную MSE в области 102, является возможной (см. фиг. 10(b)).
Кроме того, как иллюстрировано на фиг. 11(a), спектр частотной характеристики
Figure 00000060
локальной области, соответствующей области 103 в идеальном изображении, существует вплоть до области высоких частот пространственной частоты
Figure 00000061
, в области 103, включающей в себя текстурный фрагмент 101a. Следовательно, рассматривая частотную характеристику
Figure 00000062
области 103, является возможной частотная характеристика
Figure 00000063
локального фильтра обратного преобразования, который выполняет усиление вплоть до области высоких частот и обеспечивает минимальную MSE в области 103 (см. фиг. 11(b)).
Получая частотную характеристику
Figure 00000064
, которая применяет фильтр обратного преобразования, который локально получается в качестве процесса фильтрации изображения таким образом, представляется возможным пресекать усиление шума и улучшать воспроизводимость текстуры изображения. Далее в данном документе предоставляется описание частотной характеристики
Figure 00000065
локального фильтра обратного преобразования и частотной характеристики
Figure 00000066
, которая получается, чтобы упрощать вычисление процесса фильтрации с помощью частотной характеристики
Figure 00000067
.
Прежде всего, когда частотная характеристика
Figure 00000068
в уравнении, чтобы получать частотную характеристику
Figure 00000069
, изображенную в вышеупомянутом уравнении (11), заменяется частотной характеристикой
Figure 00000070
локальной области идеального изображения, может быть получена частотная характеристика
Figure 00000071
, изображенная в следующем уравнении (13), которая обеспечивает минимальную MSE локальной области.
Figure 00000072
Получая частотную характеристику
Figure 00000073
для каждого обнаруженного изображения и каждой локальной области (каждого пиксела) обнаруженного изображения, представляется возможным получать минимальную MSE локальной области и пресекать увеличение шума по сравнению с выполнением процесса фильтрации посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000074
, общей для всего обнаруженного изображения. Локальная область, где частотная характеристика
Figure 00000075
получается, не ограничивается каждым пикселем, а может быть каждой предварительно определенной группой пикселов (предварительно определенной частью) обнаруженного изображения.
Здесь, частотная характеристика
Figure 00000076
в уравнении (13) не может быть получена непосредственно из обнаруженного изображения. Соответственно, вышеупомянутое уравнение (8) используется, чтобы определять среднее значение
Figure 00000077
локального спектра мощности идеального изображения как в следующем уравнении (14).
Figure 00000078
Здесь,
Figure 00000079
является частотной характеристикой локальной области (пиксела) обнаруженного изображения. Аппроксимация из соотношения
Figure 00000080
выполняется в уравнении (14). Другими словами, составляющие шума захваченного изображения, как предполагается, значительно меньше пиксела. Кроме того, среднее значение
Figure 00000081
более корректно выражается посредством следующего уравнения (15), когда используется частотная характеристика
Figure 00000082
фильтра обратного преобразования, который обеспечивает частотной характеристике
Figure 00000083
минимальную MSE относительно частотной характеристики
Figure 00000084
.
Figure 00000085
Далее, модель шума рассматривается как следующая: шум захваченного изображения определяется как в последующем уравнении (16), примем во внимание, что шум захваченного изображения включает в себя шум, имеющий постоянную амплитуду независимо от пиксела, и шум, имеющий амплитуду, пропорциональную пикселу.
Figure 00000086
Здесь, k является константой пропорциональности шума, имеющего амплитуду, пропорциональную пикселу обнаруженного изображения, а c является составляющей шума, имеющей постоянную амплитуду, которая не зависит от пикселов обнаруженного изображения. Когда уравнение (16) преобразуется в частотную область, по теореме Парсеваля предоставляется следующее уравнение (17).
Figure 00000087
Когда вышеупомянутые уравнения (15) и (16) подставляются в уравнение (13), может быть получено следующее уравнение (18).
Figure 00000088
Здесь, k и c могут быть получены посредством анализа обнаруженного изображения градационной испытательной таблицы, и с помощью их значений может быть получена частотная характеристика
Figure 00000089
локального фильтра обратного преобразования, которая обеспечивает минимальную MSE.
В фактической реализации схемы представляется возможным реализовывать вышеупомянутый локальный фильтр обратного преобразования, непосредственно вычисляя частотную характеристику
Figure 00000090
локального фильтра обратного преобразования на попиксельной основе, но вычислительная нагрузка получения локального фильтра обратного преобразования является тяжелой. Соответственно, используется следующий способ, чтобы уменьшать вычислительную нагрузку. В последующем, составляющая
Figure 00000091
, которая является шумом, имеющим амплитуду, пропорциональную пикселу обнаруженного изображения, изображенная в уравнении (16), опускается. Однако, тот же результат может быть получен посредством добавления того же члена к спектру мощности
Figure 00000092
шума в полученном уравнении.
Сначала, уравнение (13) преобразуется как в следующем уравнении (19).
Figure 00000093
При условии, что отношение частотной характеристики
Figure 00000094
локального фильтра обратного преобразования к частотной характеристике
Figure 00000095
фильтра обратного преобразования будет
Figure 00000096
.
Figure 00000097
выражается посредством следующего уравнения (20).
Figure 00000098
Рассмотрим получение частотной характеристики
Figure 00000099
локального фильтра обратного преобразования из частотной характеристики
Figure 00000100
, которая была получена заранее, и
Figure 00000101
, изображенного в уравнении (20), частотная характеристика
Figure 00000102
может быть получена посредством следующего уравнения (21).
Figure 00000103
Другими словами, управляя фильтром на основе характеристики
Figure 00000104
(далее в данном документе называемым корректирующим фильтром) последовательно с фильтром обратного преобразования на основе частотной характеристики
Figure 00000105
, которая была получена заранее, процесс фильтрации, эквивалентный локальному фильтру обратного преобразования, основанному на частотной характеристике
Figure 00000106
, может быть выполнен.
Figure 00000107
определяется, как изображено в последующем уравнении (22), чтобы упрощать уравнение.
Figure 00000108
Когда уравнение (22) подставляется в вышеупомянутое уравнение (20), частотная характеристика
Figure 00000109
корректирующего фильтра может быть получена посредством следующего уравнения (23).
Figure 00000110
Предположим, что шум является большим, и составляет
Figure 00000111
и
Figure 00000112
. Уравнение (23) может быть упрощено и выражено как в следующем уравнении (24).
Figure 00000113
Кроме того, предположим, что типичный спектр субъекта является равномерным распределением и равен
Figure 00000114
, уравнение (24) дополнительно упрощается и выражается как в следующем уравнении (25).
Figure 00000115
Рассмотрим случай, когда
Figure 00000111
и
Figure 00000112
не поддерживаются на практике, также представляется возможным вводить константу пропорциональности t, как изображено в следующем уравнении (26), и выражать частотную характеристику
Figure 00000116
.
Figure 00000117
Кроме того, среднее значение
Figure 00000118
локального спектра мощности идеального изображения в уравнениях (23)-(26) для вычисления частотной характеристики
Figure 00000119
корректирующего фильтра может быть получено посредством вышеупомянутого уравнения (15).
Как описано выше, частотная характеристика
Figure 00000120
локального фильтра обратного преобразования может быть получена умножением частотной характеристики
Figure 00000121
фильтра обратного преобразования, которая была получена заранее, и частотной характеристики
Figure 00000122
корректирующего фильтра, вычисленной посредством уравнений (23)-(26). Соответственно, вычислительная нагрузка может быть снижена.
<Конфигурация и работа блока обработки фильтра>
Фиг. 12 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений первого варианта осуществления. Конфигурация и работа блока 143 обработки фильтра блока 14 обработки изображений описывается со ссылкой на фиг. 12.
Как иллюстрировано на фиг. 12, блок 143 обработки фильтра включает в себя FT-блок 1431 (преобразование Фурье), умножители 1432_1-1432_50, блок 1433 вычисления K, умножители 1434_1-1434_50 и IFT (обратное преобразование Фурье) блок 1435.
Например, 5х5 пикселов вводятся в FT-блок 1431, и FT-блок 1431 выполняет преобразование Фурье для преобразования в частотную область. Как следствие, FT-блок 1431 преобразует 5х5 пикселов, т.е., 25 частей данных, в 25 комплексных чисел и выводит 25 частей данных фактической части и 25 частей данных мнимой части (совокупно выраженные как X'1-X'50).
Каждый из умножителей 1432_1-1432_50 умножает две части входных данных и выводит результат. То же применяется к умножителям 1434_1-1434_50.
Блок 1433 вычисления K выводит частотную характеристику
Figure 00000123
корректирующего фильтра из умноженного значения входной частотной характеристики
Figure 00000124
и
Figure 00000125
на основе любого из вышеупомянутых уравнений (15) и (23)-(26). Блок 1433 вычисления K может быть сконфигурирован, чтобы обращаться к поисковой таблице, в которой значение частотной характеристики
Figure 00000126
и умноженное значение частотной характеристики
Figure 00000127
и
Figure 00000128
, т.е., частотная характеристика
Figure 00000129
, ассоциируются, и получать частотную характеристику
Figure 00000130
.
IFT-блок 1435 выполняет обратное преобразование Фурье, которое преобразует помноженные значения (значения в частотной области), выводимые из умножителей 1434_1-1434_50, в значение в реальном пространстве и выводит 1х1 пиксел. Пиксел, выводимый из IFT-блока 1435, соответствует пикселу, полученному посредством выполнения процесса фильтрации посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000131
по 5х5 пикселов обнаруженного изображения.
Далее, описывается ход последовательности операций блока 143 обработки фильтра. Сначала, изображение (обнаруженное изображение), захваченное посредством узла 12 захвата изображений, буферизуется посредством блока 141 буферизации изображений, как описано выше. Пять пикселов выводятся из блока 141 буферизации изображений. Следовательно, 5х5 пикселов, как предполагается, должны быть введены в FT-блок 1431 блока 143 обработки фильтра как единое целое из блока 141 буферизации изображений. FT-блок 1431 выполняет преобразование Фурье на основе введенных 5х5 пикселов для преобразования в частотную область, преобразует их в 25 комплексных чисел и выводит данные X'1-X'50, которые являются 25 частями данных фактической части и 25 частями данных мнимой части.
Далее, данные X'1, выведенные из FT-блока 1431, и коэффициент R1 фильтра, соответствующий данным X'1 и полученный из частотной характеристики
Figure 00000132
фильтра обратного преобразования, вводятся в умножитель 1432_1. Умножитель 1432_1 умножает данные X'1 и коэффициент R1 фильтра и выводит помноженное значение
Figure 00000133
. Аналогично, данные X'2-X'50, выведенные из FT-блока 1431 и коэффициентов R2-R50 фильтра, вводятся в умножители 1432_2-1432_50, и умножители 1432_2-1432_50 выводят свои помноженные значения
Figure 00000134
-
Figure 00000135
.
Далее, блок 1433 вычисления K вычисляет коэффициенты K1-K50 фильтра, которые являются коэффициентами корректирующего фильтра на основе частотной характеристики
Figure 00000136
, из входных помноженных значений
Figure 00000137
-
Figure 00000138
, соответственно, на основе любого из вышеупомянутых уравнений (15) и (23)-(26).
Далее, умножитель 1434_1 умножает помноженное значение
Figure 00000139
, выведенное из умножителя 1432_1, и коэффициент K1 фильтра, выведенный из блока 1433 вычисления K, и выводит данные
Figure 00000140
. Аналогично, умножители 1434_2-1434_50 умножают помноженные значения
Figure 00000141
-
Figure 00000138
, выведенные из умножителей 1432_2-1432_50, и коэффициенты K2-K50 фильтра, выведенные из блока 1433 вычисления K, и выводят данные
Figure 00000142
Figure 00000143
-
Figure 00000144
, соответственно.
IFT-блок 1435 затем выполняет обратное преобразование Фурье, которое преобразует данные
Figure 00000145
-
Figure 00000146
Figure 00000147
, выведенные из умножителей 1434_1-1434_50, соответственно, в значение в реальном пространстве, и выводят 1х1 пиксел. Как описано выше, пиксел, выведенный из IFT-блока 1435, соответствует пикселу, полученному посредством выполнения процесса фильтрации по пикселам 5х5 частичного изображения для обнаруженного изображения, с помощью фильтра обратного преобразования на основе частотной характеристики
Figure 00000148
, соответствующей пикселу в центре 5х5 пикселов.
Как описано выше, частотная характеристика
Figure 00000149
фильтра обратного преобразования получается для каждого обнаруженного изображения, захваченного посредством узла 12 захвата изображений, и каждой локальной области (каждого пиксела) обнаруженного изображения. Процесс фильтрации выполняется для каждой локальной области (каждого пиксела) посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000150
. Соответственно, минимальная MSE (среднеквадратическая ошибка) может быть получена для каждой локальной области, и увеличение шума может быть пресечено по сравнению с тем, когда выполняется процесс фильтрации посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000151
, общей для всего обнаруженного изображения.
Кроме того, частотная характеристика
Figure 00000152
локального фильтра обратного преобразования определяется как
Figure 00000153
, как изображено в вышеупомянутом уравнении (21). Схема фильтра конфигурируется посредством разделения процесса фильтра обратного преобразования на основе частотной характеристики
Figure 00000154
и процесса корректирующего фильтра на основе частотной характеристики
Figure 00000155
. Кроме того, схема, получающая частотную характеристику
Figure 00000156
, конфигурируется на основе формул, изображенных в вышеупомянутых уравнениях (23)-(26).
Следовательно, представляется возможным уменьшать вычислительную нагрузку и упрощать схему фильтра, которая должна быть реализована, по сравнению со случаем, когда частотная характеристика
Figure 00000157
получается непосредственно на попиксельной основе.
Как описано на фиг. 6 и 12, блок 141 буферизации изображений выводит пять пикселов. 5х5 пикселов вводятся в блок 143 обработки фильтра, и блок 143 обработки фильтра выполняет процесс фильтрации с 5х5 отводами. Однако, число отводов не ограничивается этим. Другими словами, число отводов процесса фильтрации может различаться, например, 3х3, 11х11 или 21х21. В этом случае число отводов фильтра должно быть нечетным числом, так что существует центральный пиксел в группе пикселов, введенной в блок 143 обработки фильтра, намеченных для процесса обратного преобразования посредством фильтра.
(Второй вариант осуществления)
Описываются система захвата изображений и устройство захвата изображений согласно второму варианту осуществления, фокусируясь на моментах, отличных от конфигураций и операций системы захвата изображений и устройства захвата изображений согласно первому варианту осуществления.
Конфигурация системы захвата изображений согласно варианту осуществления является аналогичной конфигурации системы 500 захвата изображений согласно первому варианту осуществления, иллюстрированной на фиг. 1. Кроме того, конфигурация PC варианта осуществления является аналогичной конфигурации, иллюстрированной на фиг. 2. Кроме того, конфигурация устройства захвата изображений варианта осуществления является аналогичной конфигурации, иллюстрированной на фиг. 3. Однако, в варианте осуществления, блок 143 обработки фильтра блока 14 обработки изображений, иллюстрированный на фиг. 4, заменяется блоком 143a обработки фильтра, описанным ниже и иллюстрированным на фиг. 13.
<Конфигурация и работа блока обработки фильтра>
Фиг. 13 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений второго варианта осуществления. Фиг. 14 - это схема, иллюстрирующая пример конфигурации фильтра обратного преобразования. Фиг. 15 - это схема, объясняющая выполнение процесса фильтрации по изображению посредством фильтра обратного преобразования. Фиг. 16 - это схема, объясняющая операцию сканирования целевого частичного изображения, намеченного для процесса фильтрации фильтра обратного преобразования в изображении. Конфигурация и работа блока 143a обработки фильтра блока 14 обработки изображений описываются со ссылкой на фиг. 13-16.
Как иллюстрировано на фиг. 13, блок 143a обработки фильтра включает в себя блок 1436 обработки обратного фильтра, DCT-блок 1431a (Discrete Cosine Transform: дискретное косинусное преобразование), блок 1433a вычисления K, блоки 1437_1-1437_9 битового сокращения, умножители 1434a_1-1434a_9 и IDCT-блок 1435a (Inverse Discrete Cosine Transform: обратное дискретное косинусное преобразование).
Например, 5х5 пикселов вводятся в блок 1436 обработки обратного фильтра, и блок 1436 обработки обратного фильтра выполняет процесс фильтрации (процесс обратного преобразования) посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000158
, полученной посредством вышеупомянутого уравнения (11).
Например, 3х3 пиксела вводятся в DCT-блок 1431a, и DCT-блок 1431a выполняет дискретное косинусное преобразование, чтобы преобразовывать их в частотную область, для изображения, по которому процесс фильтрации был выполнен посредством блока 1436 обработки обратного фильтра. Как следствие, DCT-блок 1431a преобразует 3х3 пиксела, т.е., девять частей данных в девять значений в частотной области, и выводит их. 3х3 пиксела, вводимые в DCT-блок 1431a, являются пикселами, по которым процесс фильтрации был выполнен посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000159
блоком 1436 обработки обратного фильтра. Соответственно, в варианте осуществления, девять значений частотной области, выводимые посредством DCT-блока 1431a, обозначаются как помноженные значения
Figure 00000160
-
Figure 00000161
.
Блок 1433a вычисления K выводит частотную характеристику
Figure 00000162
корректирующего фильтра из помноженного значения входной частотной характеристики
Figure 00000163
и
Figure 00000164
на основе любого из вышеупомянутых уравнений (15) и (23)-(26). В частности, блок 1433a вычисления K вычисляет коэффициенты K1-K9 фильтра, которые являются коэффициентами корректирующего фильтра на основе частотной характеристики
Figure 00000165
, из помноженных значений
Figure 00000166
-
Figure 00000161
, соответственно, на основе любого из вышеупомянутых уравнений (15) и (23)-(26). Блок 1433a вычисления K может быть сконфигурирован, чтобы получать частотную характеристику
Figure 00000167
, обращаясь к поисковой таблице, в которой значение частотной характеристики
Figure 00000168
и значения частотной характеристики
Figure 00000169
и
Figure 00000170
ассоциированы.
Блоки 1437_1-1437_9 битового сокращения уменьшают скорости передачи битов дискретизации для коэффициентов K1-K9 фильтра, соответственно, выводимых из блока 1433a вычисления K. Это обусловлено тем, что коэффициенты K1-K9 фильтра едва ли имеют влияние на ухудшение изображения, даже если скорости передачи битов дискретизации уменьшаются, и процесс фильтрации посредством корректирующего фильтра выполняется. Следовательно, скорости передачи битов дискретизации коэффициентов K1-K9 фильтра уменьшаются посредством блоков 1437_1-1437_9 битового сокращения, и соответственно вычислительная нагрузка посредством находящихся ниже по потоку умножителей 1434a_1-1434a_9 может быть уменьшена.
Каждый из умножителей 1434a_1-1434a_9 умножает две части входных данных и выводит результат.
IDCT-блок 1435a выполняет обратное дискретное косинусное преобразование, которое преобразует помноженные значения (значения в частотной области), выводимые из умножителей 1434a_1-1434a_9, в значение в реальном пространстве и выводит 1х1 пиксел. Пиксел, выводимый из IDCT-блока 1435a, соответствует пикселу, полученному посредством выполнения процесса фильтрации по 5х5 пикселов обнаруженного изображения посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000171
.
Далее, описывается ход последовательности операций блока 143a обработки фильтра. Сначала, изображение (обнаруженное изображение), захваченное посредством узла 12 захвата изображений, буферизуется посредством блока 141 буферизации изображений, как описано выше. Пять пикселов выводятся из блока 141 буферизации изображений. Следовательно, 5х5 пикселов, как предполагается, должны быть введены в блок 1436 обработки обратного фильтра блока 143a обработки фильтра как единое целое из блока 141 буферизации изображений. Описание предоставляется в деталях для операции процесса фильтрации посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000172
в блоке 1436 обработки обратного фильтра, со ссылкой на фиг. 14-16.
Как иллюстрировано на фиг. 14, фильтр, используемый для процесса обратного преобразования, является фильтром 121 обратного преобразования, который является линейным фильтром, имеющим 5х5 отводов, сконфигурированных посредством коэффициентов фильтра a11-a15, a21-a25, a31-a35, a41-a45 и a51-a55. Кроме того, часть изображения, намеченного для процесса обратного преобразования посредством фильтра 121 обратного преобразования, как предполагается, является целевым частичным изображением 131, иллюстрированным на фиг. 15. Целевое частичное изображение 131 является 5х5 частичным изображением, включающим в себя пикселы A11-A15, A21-A25, A31-A35, A41-A45 и A51-A55.
Как иллюстрировано на фиг. 15, процесс фильтрации посредством фильтра обратного преобразования находит значения, полученные посредством выполнения операции свертки по целевому частичному изображению 131 посредством фильтра 121 обратного преобразования, другими словами, вычисленное значение, выраженное в уравнении (27). Вычисленное значение операции свертки является значением, полученным посредством выполнения процесса обратного преобразования по центральным данным, которые являются пикселом, расположенным в центре целевого частичного изображения 131. Другими словами, вычисленное значение свертки является пикселом в местоположении, соответствующем центральным данным изображения перед процессом обратного преобразования, в изображении после процесса обратного преобразования.
Далее, с точки зрения процесса обратного преобразования блока 1436 обработки обратного фильтра, основные принципы операции выполнения процесса обратного преобразования во время сканирования горизонтальной строки в X-направлении в изображении 105 описываются со ссылкой на фиг. 16. Фиг. 16(a) иллюстрирует состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселу (1, 1) в изображении 105 посредством фильтра 121 обратного преобразования. Как иллюстрировано на фиг. 16(a), целевое частичное изображение 131a, имеющее пиксел (1, 1) в качестве центральных данных и пикселы части, перекрывающейся с изображением 105, требуются, чтобы выполнять операцию свертки с пикселом (1, 1) в качестве центральных данных 135a. Другими словами, пикселы, соответствующие пикселам A33-A35, A43-A45 и A53-A55 целевого частичного изображения 131, иллюстрированного на фиг. 15, требуются в целевом частичном изображении 131a.
С этой целью пикселы, соответствующие пикселам A33-A35, A43-A45 и A53-A55, должны быть выведены из секций 1413a-1413c вывода блока 141 буферизации изображений. В целевом частичном изображении 131a, пикселы в части, которая не перекрывается с изображением 105, предположительно обрабатываются как "0".
В вышеописанном состоянии блок 1436 обработки фильтра выполняет операцию свертки по целевому частичному изображению 131a посредством фильтра 121 обратного преобразования аналогично операции свертки, иллюстрированной на фиг. 15. Блок 1436 обработки обратного фильтра выводит значение, полученное посредством выполнения операции свертки для пиксела (1, 1), который является центральными данными 135a целевого частичного изображения 131a для изображения 105, в качестве пиксела (1, 1) изображения после процесса обратного преобразования.
Далее, как иллюстрировано на фиг. 16(b), блок 1436 обработки обратного фильтра изменяет целевой пиксел операции свертки, сдвигаясь на единицу в X-направлении, и выполняет процесс обратного преобразования по пикселу (2, 1), который является центральными данными 135b целевого частичного изображения 131b. Блок 1436 обработки обратного фильтра затем повторяет операцию свертки, в то же время сдвигаясь по горизонтальной строке в X-направлении, и выполняет процесс обратного преобразования по пикселу (640, 1), который является последним пикселом в горизонтальной строке в X-направлении, как иллюстрировано на фиг. 16(c). Как иллюстрировано на фиг. 16(c), пиксел (640, 1) является центральными данными 135c целевого частичного изображения 131c.
Как описано выше, блок 1436 обработки обратного фильтра повторяет операцию свертки, в то же время сдвигаясь по горизонтальной строке в X-направлении. Когда процесс обратного преобразования по последнему пикселу в горизонтальной строке заканчивается, блок 1436 обработки обратного фильтра аналогично выполняет процесс обратного преобразования по следующей горизонтальной строке в Y-направлении.
Фиг. 16(d)-16(f) иллюстрируют состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселам в четвертой горизонтальной строке в Y-направлении в изображении 105. Фиг. 16(d) иллюстрирует состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселу (1, 4) в изображении 105 посредством фильтра 121 обратного преобразования. Как иллюстрировано на фиг. 16(d), целевое частичное изображение 131d, имеющее пиксел (1, 4) в качестве центральных данных, и пикселы в части, которая перекрывается с изображением 105, требуются, чтобы выполнять операцию свертки с пикселом (1, 4) в качестве центральных данных 135d. В целевом частичном изображении 131d пикселы в части, которая не перекрывается с изображением 105, предположительно обрабатываются как "0", как в вышеприведенном описании.
Фиг. 16(e) иллюстрирует состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселу (5, 4) в изображении 105 посредством фильтра 121 обратного преобразования. Как иллюстрировано на фиг. 16(e), все целевое частичное изображение 131e, имеющее пиксел (5, 4) в качестве центральных данных 135e, перекрывается с изображением 105, и, соответственно, блок 1436 обработки обратного фильтра может выполнять процесс обратного преобразования с использованием всех пикселов, включенных в целевое частичное изображение 131e.
Блок 1436 обработки обратного фильтра затем повторяет операцию свертки, в то же время сдвигаясь по горизонтальной строке в X-направлении, и выполняет процесс обратного преобразования по пикселу (640, 4), который является последним пикселом в горизонтальной строке в X-направлении, как иллюстрировано на фиг. 16(f). Как иллюстрировано на фиг. 16(f), пиксел (640, 4) является центральными данными 135f целевого частичного изображения 131f.
Как описано выше, пикселы в части, которая не перекрывается с изображением 105, устанавливаются в "0" в целевом частичном изображении для изображения 105, целевое частичное изображение намечается для операции свертки посредством фильтра 121 обратного преобразования, но не ограничиваются этим. Например, в качестве пикселов в части целевого частичного изображения, которая не перекрывается с изображением 105, пикселы случая складывающихся поверх пикселов в части целевого частичного изображения, которая перекрывается с изображением 105 относительно центральных данных целевого частичного изображения в качестве точки отсчета, могут быть использованы.
В частности, предоставляется описание, берущее целевое частичное изображение 131a на фиг. 16(a) в качестве примера. Предположим, что названия пикселов целевого частичного изображения 131a аналогичны названиям пикселов целевого частичного изображения 131, иллюстрированного на фиг. 15. В этом случае, пикселы в части, которая не перекрывает изображение 105 целевого частичного изображения 131a, являются пикселами A11-A15, A21-A25, A31, A32, A41, A42, A51 и A52. Кроме того, пикселы в части, которая перекрывает изображение 105 целевого частичного изображения 131a, являются пикселами A33-A35, A43-A45 и A53-A55.
В это время, для пикселов A31, A32, A41, A42, A51 и A52 значения пикселов A35, A34, A45, A44, A55 и A54, соответственно, могут быть использованы посредством складывания поверх пикселов в части, которая перекрывает изображение 105 целевого частично изображения 131a относительно центральных данных в качестве ориентира. Кроме того, для пикселов A13-A15 и A23-A25 значения пикселов A53-A55 и A43-A45, соответственно, могут быть использования посредством складывания поверх пикселов в части, которая перекрывается с изображением 105 целевого частичного изображения 131a относительно центральных данных в качестве ориентира. Для пикселов A11, A12, A21 и A22, значения пикселов в точечно симметричном позиционном соотношении между пикселами в части, которая перекрывается с изображением 105 целевого частичного изображения 131a относительно центральных данных в качестве точки отсчета, другими словами, A55, A54, A45 и A44 могут быть использованы. В таком способе, который описан выше, каждый пиксел целевого частичного изображения может быть определен.
Далее, на примере изображения, по которому процесс фильтрации был выполнен посредством блока 1436 обработки обратного фильтра, как описано выше, 3х3 пиксела вводятся в DCT-блок 1431a, DCT-блок 1431a выполняет дискретное косинусное преобразование, чтобы преобразовывать их в частотную область, и выводит помноженные значения
Figure 00000173
-
Figure 00000174
, которые являются девятью значениями в частотной области. Таким образом, в то время как число частей выходных данных после преобразования в частотную область посредством FT-блока 1431, иллюстрированного на фиг. 12 в первом варианте осуществления, является удвоенным числом частей входных данных, число частей выходных данных является таким же, что и число частей входных данных в преобразовании в частотную область посредством DCT-блока 1431a. Следовательно, схема после DCT-блока 1431a может быть упрощена. Естественно, FT-блок и IFT-блок могут быть использованы аналогично блокам, иллюстрированным в первом варианте осуществления, вместо DCT-блока 1431a и IDCT-блока 1435a.
Далее, блок 1433a вычисления K вычисляет коэффициенты K1 по K9 фильтра, которые являются коэффициентами корректирующего фильтра на основе частотной характеристики
Figure 00000175
, из входных помноженных значений
Figure 00000173
-
Figure 00000176
, соответственно, на основе любого из вышеупомянутых уравнений (15) и (23)-(26).
Далее, блоки 1437_1-1437_9 битового сокращения уменьшают скорости передачи битов дискретизации для коэффициентов K1-K9 фильтра, соответственно, выводимых из блока 1433 вычисления K, и выводят коэффициенты K1-K9 фильтра, соответственно, имеющие уменьшенные скорости передачи битов дискретизации.
Далее, умножители 1434a_1-1434a_9 умножают помноженные значения
Figure 00000177
-
Figure 00000178
, выводимые из DCT-блока 1431a, и коэффициенты K1-K9 фильтра, выводимые из блоков 1437_1-1437_9 битового сокращения, соответственно, и выводят данные
Figure 00000179
-
Figure 00000180
, соответственно.
IDCT-блок 1435a затем выполняет обратное дискретное косинусное преобразование, которое преобразует данные
Figure 00000181
-
Figure 00000180
, выводимые из умножителей 1434a_1-1434a_9, соответственно, в значение в реальном пространстве и выводит 1х1 пиксел. Как описано выше, пиксел, выведенный из IDCT-блока 1435a, соответствует пикселу, полученному посредством выполнения процесса фильтрации по пикселам 5х5 частичного изображения для обнаруженного изображения, с помощью фильтра обратного преобразования на основе частотной характеристики
Figure 00000182
, соответствующей пикселу в центре 5х5 пикселов.
Как описано выше, с помощью конфигурации, иллюстрированной на фиг. 13 в качестве конфигурации блока 143a обработки фильтра блока 14 обработки изображений, может быть получен результат аналогичный результату первого варианта осуществления.
Кроме того, в блоке 143a обработки фильтра, иллюстрированном на фиг. 13, после того как процесс фильтрации выполняется по 5х5 пикселам обнаруженного изображения посредством фильтра обратного преобразования на основе частотной характеристики
Figure 00000183
посредством блока 1436 обработки обратного фильтра, процесс фильтрации посредством корректирующего фильтра после DCT-блока 1431a выполняется по 3х3 пикселам, полученным посредством уменьшения числа пикселов из отфильтрованного изображения. Другими словами, число отводов корректирующего фильтра устанавливается, чтобы быть меньше числа отводов фильтра обратного преобразования на основе частотной характеристики
Figure 00000184
. Это обусловлено тем, что, даже если число частей данных, вводимых в блок 1433a вычисления K, уменьшается, чтобы вычислять коэффициенты фильтра для корректирующего фильтра посредством блока 1433a вычисления K, практически не существует какого-либо влияния на ухудшение изображения. Следовательно, схема фильтра, которая должна быть реализована, может быть дополнительно упрощена.
Скорости передачи битов дискретизации для коэффициентов фильтров, выводимых посредством блока 1433a вычисления K, уменьшаются посредством блоков 1437_1-1437_9 битового сокращения. Однако, это не является обязательным. Не является обязательным предоставление блоков 1437_1-1437_9 битового сокращения. Кроме того, также представляется возможным применять блоки битового сокращения к блоку 143 обработки фильтра первого варианта осуществления и помещать их после блока 1433 вычисления K в блоке 143 обработки фильтра.
Вариант осуществления может восстанавливать размытость, которая является оптической аберрацией, в то же время пресекая шум.
Хотя изобретение описано относительно конкретных вариантов осуществления для полной и понятной сущности, прилагаемая формула изобретения не должна быть ограниченной таким образом, а должна рассматриваться как осуществляющая все модификации и альтернативные структуры, которые могут быть очевидными специалистам в данной области изобретения в рамках базовых методик, изложенных в данном документе.
Список номеров ссылок
1 Устройство захвата изображений
2 PC
3 Кабель связи
4 Субъект
11 Блок линзы
11a Фазовая пластина
11b Диафрагма
12 Узел захвата изображений
14 Блок обработки изображений
15 Блок связи
21 Блок связи
22 Операционный блок
23 Блок отображения
24 Блок хранения
25 Внешнее запоминающее устройство
26 Блок управления
27 Шина
101 Обнаруженное изображение
101a Текстурный фрагмент
102, 103 Область
105 Изображение
121 Фильтр обратного преобразования
131, 131a-131f Целевое частичное изображение
135a-135f Центральные данные
141 Блок буферизации изображений
143, 143a Блок обработки фильтра
500 Система захвата изображений
1410 Блок ввода
1411a-1411d Регистр
1412a-1412d Буфер строки
1413a-1413e Секция вывода
1431 FT-блок
1431a DCT-блок
1432_1-1432_50 Умножитель
1433, 1433a Блок вычисления K
1434_1-1434_50 Умножитель
1434a_1-1434a_9 Умножитель
1435 IFT-блок
1435a IDCT-блок
1436 Блок обработки обратного фильтра
1437_1-1437_9 Блок битового сокращения
A Период начала кадра
B Период гашения обратного хода строчной развертки
C Период окончания кадра
D Период гашения обратного хода кадровой развертки
T Период действительных данных
Список библиографических ссылок
Патентные документы
1. Патентный документ 1. Японская выложенная патентная заявка № 2012-54795.

Claims (50)

1. Устройство захвата изображений, содержащее:
оптическую систему, которая обеспечивает аберрацию падающего света;
блок захвата изображений, который преобразует свет, который прошел через оптическую систему, в пикселы и захватывает изображение; и
блок обратного преобразования, выполненный с возможностью вычисления частотной характеристики первого фильтра обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения, захваченного посредством блока захвата изображений с использованием частотной характеристики локальной части идеального изображения, причем локальная часть соответствует предварительно определенной части, и выполнения первого процесса обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования.
2. Устройство захвата изображений по п. 1, в котором первый фильтр обратного преобразования является фильтром, полученным на основе аберрации оптической системы и частотной характеристики пиксела в каждой предварительно определенной части захваченного изображения.
3. Устройство захвата изображений по п. 2, в котором первый фильтр обратного преобразования является фильтром, который минимизирует среднеквадратическую ошибку между частотной характеристикой пиксела каждой предварительно определенной части идеального изображения субъекта и частотной характеристикой пиксела каждой предварительно определенной части выходного изображения, по которому первый процесс обратного преобразования был выполнен посредством блока обратного преобразования.
4. Устройство захвата изображений по п. 2 или 3, в котором первый фильтр обратного преобразования является фильтром для восстановления аберрации для каждого захваченного изображения и для каждого пиксела захваченного изображения как предварительно определенной части захваченного изображения.
5. Устройство захвата изображений по любому из пп. 1-3, в котором частотная характеристика R' первого фильтра обратного преобразования вычисляется посредством следующего уравнения (1):
Figure 00000185
(R': частотная характеристика первого фильтра обратного преобразования,
S': частотная характеристика каждой локальной части идеального изображения,
W: частотная характеристика шума,
H: частотная характеристика функции рассеяния точки оптической системы и
Figure 00000186
: пространственная частота).
6. Устройство захвата изображений по любому из пп. 1-3, в котором частотная характеристика первого фильтра обратного преобразования является произведением частотной характеристики второго фильтра обратного преобразования для восстановления аберрации для всего захваченного изображения и частотной характеристики корректирующего фильтра для корректировки частотной характеристики второго фильтра обратного преобразования.
7. Устройство захвата изображений по п. 6, в котором частотная характеристика K корректирующего фильтра вычисляется посредством следующего уравнения (2):
Figure 00000187
(K: частотная характеристика корректирующего фильтра,
S: частотная характеристика всего идеального изображения,
S': частотная характеристика каждой локальной части идеального изображения,
W: частотная характеристика шума,
H: частотная характеристика функции рассеяния точки оптической системы и
Figure 00000188
: пространственная частота).
8. Устройство захвата изображений по п. 6, в котором частотная характеристика K корректирующего фильтра вычисляется посредством следующего уравнения (3):
Figure 00000189
(K: частотная характеристика корректирующего фильтра,
S: частотная характеристика всего идеального изображения,
S': частотная характеристика каждой локальной части идеального изображения и
Figure 00000188
: пространственная частота).
9. Устройство захвата изображений по п. 6, в котором частотная характеристика K корректирующего фильтра вычисляется посредством следующего уравнения (4):
Figure 00000190
(K: частотная характеристика корректирующего фильтра,
t: константа пропорциональности,
S': частотная характеристика каждой локальной части идеального изображения и
Figure 00000191
: пространственная частота).
10. Устройство захвата изображений по п. 6, в котором идеальное изображение является изображением, по которому второй фильтр обратного преобразования для восстановления аберрации для всего захваченного изображения функционирует по захваченному изображению.
11. Устройство захвата изображений по п. 6, в котором частотная характеристика корректирующего фильтра получается из поисковой таблицы, в которой частотная характеристика корректирующего фильтра ассоциируется с частотной характеристикой пиксела каждой предварительно определенной части идеального изображения.
12. Устройство захвата изображений по п. 6, в котором процесс фильтрации посредством корректирующего фильтра включает в себя процесс выполнения дискретного косинусного преобразования по данным, по которым первый процесс обратного преобразования был выполнен.
13. Устройство захвата изображений по п. 6, в котором число отводов корректирующего фильтра меньше числа отводов второго фильтра обратного преобразования.
14. Устройство захвата изображений по п. 6, в котором блок обратного преобразования выполняет второй процесс обратного преобразования на основе второго фильтра обратного преобразования посредством вычисления значений в реальном пространстве.
15. Устройство захвата изображений по п. 6, в котором блок обратного преобразования выполняет второй процесс обратного преобразования на основе второго фильтра обратного преобразования посредством вычисления значений в частотной области.
16. Система захвата изображений, содержащая:
устройство захвата изображений по любому из пп. 1-15 и
устройство обработки информации, включающее в себя
блок связи, который принимает от устройства захвата изображений выходное изображение, по которому первый процесс обратного преобразования был выполнен, и
блок отображения, который отображает выходное изображение.
17. Способ захвата изображений, содержащий этапы, на которых:
обеспечивают аберрацию падающего света;
преобразуют свет, которому аберрация была обеспечена, в пикселы, захватывают изображение и
рассчитывают частотную характеристику первого фильтра обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения с использованием частотной характеристики локальной части идеального изображения, причем локальная часть соответствует предварительно определенной части, и выполняют первый процесс обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования.
RU2016115562A 2013-09-27 2014-09-26 Устройство захвата изображений, система захвата изображений и способ захвата изображений RU2657015C2 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013202576A JP6318520B2 (ja) 2013-09-27 2013-09-27 撮像装置、撮像システムおよび撮像方法
JP2013-202576 2013-09-27
PCT/JP2014/076480 WO2015046625A1 (en) 2013-09-27 2014-09-26 Image capturing apparatus, image capturing system, and image capturing method

Publications (2)

Publication Number Publication Date
RU2016115562A RU2016115562A (ru) 2017-11-01
RU2657015C2 true RU2657015C2 (ru) 2018-06-08

Family

ID=52743744

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016115562A RU2657015C2 (ru) 2013-09-27 2014-09-26 Устройство захвата изображений, система захвата изображений и способ захвата изображений

Country Status (7)

Country Link
US (1) US10187565B2 (ru)
EP (1) EP3050291B1 (ru)
JP (1) JP6318520B2 (ru)
KR (1) KR101773311B1 (ru)
CN (1) CN105594193B (ru)
RU (1) RU2657015C2 (ru)
WO (1) WO2015046625A1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170324914A1 (en) * 2016-05-09 2017-11-09 Gopro, Inc. Correcting disturbance in a pixel signal introduced by signal filtering in a digital camera

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080193034A1 (en) * 2007-02-08 2008-08-14 Yu Wang Deconvolution method using neighboring-pixel-optical-transfer-function in fourier domain
US20090128669A1 (en) * 2006-02-07 2009-05-21 Yi-Ren Ng Correction of optical aberrations
US20110043666A1 (en) * 2009-08-19 2011-02-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program storage medium
JP2011071930A (ja) * 2009-09-28 2011-04-07 Kyocera Corp 画像処理装置、撮像装置、画像処理方法、並びにプログラム
JP2011198016A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 画像処理装置
US20120070096A1 (en) * 2010-04-23 2012-03-22 Ichiro Oyama Imaging apparatus and image restoration method
US20130010160A1 (en) * 2011-01-31 2013-01-10 Takashi Kawamura Image restoration device, imaging apparatus, and image restoration method
US20130010158A1 (en) * 2011-07-04 2013-01-10 Canon Kabushiki Kaisha Image processing apparatus and image pickup apparatus
RU2479037C2 (ru) * 2008-08-26 2013-04-10 Сони Корпорейшн Устройство и способ обработки изображения, обучающееся устройство и способ обучения и программа

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62198974A (en) 1986-02-27 1987-09-02 Canon Inc Image correcting device
JP3902806B2 (ja) * 1996-01-26 2007-04-11 キヤノン株式会社 ビデオカメラ
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
EP1584067A2 (en) 2003-01-16 2005-10-12 D-blur Technologies LTD. C/o Yossi Haimov CPA Camera with image enhancement functions
US7657110B2 (en) * 2003-01-21 2010-02-02 Sharp Laboratories Of America, Inc. Image compression using a color visual model
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7616841B2 (en) * 2005-06-17 2009-11-10 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems
JP2009260545A (ja) 2008-04-15 2009-11-05 Nikon Corp 電子カメラ
JP5213688B2 (ja) 2008-12-19 2013-06-19 三洋電機株式会社 撮像装置
US8111319B2 (en) * 2009-01-16 2012-02-07 Ricoh Co., Ltd. Imaging system using enhanced spherical aberration and specifically sized FIR filters
JP5448715B2 (ja) * 2009-10-22 2014-03-19 キヤノン株式会社 撮像装置及びその制御方法
JP5327113B2 (ja) * 2010-03-19 2013-10-30 沖電気工業株式会社 情報提供サーバ、及び、当該情報提供サーバを実現するプログラム
JP5672527B2 (ja) 2010-09-01 2015-02-18 パナソニックIpマネジメント株式会社 画像処理装置及び画像処理方法
US8861852B2 (en) * 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus
US8867857B2 (en) * 2011-12-28 2014-10-21 Samsung Electronics Co., Ltd. Method for restoration of blurred barcode images
US9185437B2 (en) * 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data
JP6236908B2 (ja) 2013-06-21 2017-11-29 株式会社リコー 撮像装置、撮像システムおよび撮像方法
JP2015165610A (ja) * 2014-02-28 2015-09-17 株式会社リコー 撮像装置、撮像システムおよび撮像方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128669A1 (en) * 2006-02-07 2009-05-21 Yi-Ren Ng Correction of optical aberrations
US20080193034A1 (en) * 2007-02-08 2008-08-14 Yu Wang Deconvolution method using neighboring-pixel-optical-transfer-function in fourier domain
RU2479037C2 (ru) * 2008-08-26 2013-04-10 Сони Корпорейшн Устройство и способ обработки изображения, обучающееся устройство и способ обучения и программа
US20110043666A1 (en) * 2009-08-19 2011-02-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program storage medium
JP2011071930A (ja) * 2009-09-28 2011-04-07 Kyocera Corp 画像処理装置、撮像装置、画像処理方法、並びにプログラム
JP2011198016A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 画像処理装置
US20120070096A1 (en) * 2010-04-23 2012-03-22 Ichiro Oyama Imaging apparatus and image restoration method
US20130010160A1 (en) * 2011-01-31 2013-01-10 Takashi Kawamura Image restoration device, imaging apparatus, and image restoration method
US20130010158A1 (en) * 2011-07-04 2013-01-10 Canon Kabushiki Kaisha Image processing apparatus and image pickup apparatus

Also Published As

Publication number Publication date
KR101773311B1 (ko) 2017-08-31
EP3050291B1 (en) 2019-06-12
EP3050291A1 (en) 2016-08-03
JP2015070435A (ja) 2015-04-13
CN105594193B (zh) 2019-07-26
CN105594193A (zh) 2016-05-18
US10187565B2 (en) 2019-01-22
KR20160045882A (ko) 2016-04-27
EP3050291A4 (en) 2016-08-03
US20160219216A1 (en) 2016-07-28
WO2015046625A1 (en) 2015-04-02
RU2016115562A (ru) 2017-11-01
JP6318520B2 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
JP2015165610A (ja) 撮像装置、撮像システムおよび撮像方法
US9418406B2 (en) Anisotropy in resolution spatial filter image processing apparatus, and information processing method
WO2014050190A1 (ja) 画像処理装置、撮像装置、コンピュータ及びプログラム
US9892495B2 (en) Image processing device, imaging device, image processing method, and image processing program
US9866750B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP6236908B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP2015219754A (ja) 撮像装置および撮像方法
RU2657015C2 (ru) Устройство захвата изображений, система захвата изображений и способ захвата изображений
CN108141530B (zh) 图像处理装置、图像处理方法及介质
JP6291795B2 (ja) 撮像システムおよび撮像方法
JP2015211401A (ja) 撮像装置および撮像方法
JP6314641B2 (ja) 撮像装置および撮像方法
JP2015216544A (ja) 撮像装置および撮像方法
JP2015005881A (ja) 画像処理装置、撮像装置および撮像システム
JP2015070529A (ja) 画像処理装置、撮像装置および画像処理方法
JP2016005080A (ja) 撮像装置、撮像システムおよび撮像方法
JP2015211357A (ja) 撮像装置および撮像方法
JP2007336524A (ja) 画像処理装置、画像処理プログラム、および撮像装置
JP5418258B2 (ja) 撮像装置および画像処理方法
JP2011114537A (ja) 画像処理装置