RU2570349C1 - Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений - Google Patents

Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений Download PDF

Info

Publication number
RU2570349C1
RU2570349C1 RU2014126378/07A RU2014126378A RU2570349C1 RU 2570349 C1 RU2570349 C1 RU 2570349C1 RU 2014126378/07 A RU2014126378/07 A RU 2014126378/07A RU 2014126378 A RU2014126378 A RU 2014126378A RU 2570349 C1 RU2570349 C1 RU 2570349C1
Authority
RU
Russia
Prior art keywords
image
pixel
image pickup
plane
defective pixel
Prior art date
Application number
RU2014126378/07A
Other languages
English (en)
Inventor
Хидеки ИКЕДО
Original Assignee
Кэнон Кабусики Кайся
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Кэнон Кабусики Кайся filed Critical Кэнон Кабусики Кайся
Application granted granted Critical
Publication of RU2570349C1 publication Critical patent/RU2570349C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

Изобретение относится к устройствам съемки изображений. Техническим результатом является возможность выполнять обработку коррекции в отношении дефектного пикселя, над сигналом съемки изображения, полученным таким образом, чтобы включать в себя информацию о направленном распространении света. Результат достигается тем, что устройство обработки изображений обрабатывает сигнал изображения, полученный от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива. Устройство включает в себя: блок установки положения фокуса, в котором формируется перефокусированное изображение; и блок корректировки сигнала изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя. Устройство определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании установленного положения фокуса и информации о направленном распространении света изображения объекта. 4 н. и 5 з.п. ф-лы, 14 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к устройству обработки изображений, применяемому в устройстве съемки изображений, использующем элемент съемки изображений, имеющий матрицу микролинз, и более конкретно к устройству обработки изображений для выполнения мер коррекции дефектных пикселей, и устройству съемки изображений, включающему в себя перечисленное.
УРОВЕНЬ ТЕХНИКИ
В последние годы были предложены камеры, которые могут восстанавливать изображение в любом положении фокуса, установленном пользователями, по данным изображения, полученным таким образом, что они включают в себя информацию о направленном распространении света в дополнение к распределению интенсивности света. Например, NPL 1 предлагает камеру светового поля, реализующую вышеописанную функцию с использованием способа, называемого «фотографирование светового поля». NPL 1 применяет оптическую систему, имеющую конфигурацию, где матрица микролинз располагается между фотографическим объективом и элементом съемки изображений, чтобы обеспечивать возможность свету, прошедшему через разные области зрачка фотографического объектива, сходиться на соответствующих микролинзах. Блок пикселей, включающий в себя множество пикселей, назначается одной микролинзе. Свет, собранный посредством микролинзы, фотоэлектрически преобразуется посредством различных пикселей, включенных в соответствующий блок, в зависимости от направления прибытия. Сигнал изображения, соответствующий лучу света, сфокусированного на плоскости синтетического изображения (плоскости перефокусировки) и падающего на каждую микролинзу, извлекается из таким образом полученного сигнала изображения, тем самым обеспечивая возможность восстанавливать изображение в любом положении фокуса.
В твердотельных элементах съемки изображений, таких как датчик изображений CCD и датчик изображений CMOS, дефектный пиксель может возникать вследствие дефекта кристалла, локально существующего в подложке полупроводника. Никакой корректный вывод фотоэлектрического преобразования не может получаться от такого дефектного пикселя. Соответственно, требуется корректировать сигнал съемки изображения от дефектного пикселя.
Стандартные способы для корректировки сигнала съемки изображения от дефектного пикселя представляют собой, например, способ замены значения пикселя дефектного пикселя на значение пикселя от пикселя, смежного с дефектным пикселем, и способ замены значения пикселя для дефектного пикселя на среднее значение пикселей, смежных с дефектным пикселем.
СПИСОК ЦИТИРОВАННЫХ ИСТОЧНИКОВ
НЕПАТЕНТНАЯ ЛИТЕРАТУРА
NPL1: Ren. Ng, и семь других авторов, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ЗАДАЧА
В камере светового поля, как описано в NPL 1, лучи света, сфокусированные на плоскости перефокусировки, принимаются соответственно посредством множества пикселей. Чем более положение плоскости перефокусировки отдалено от матрицы микролинз, тем дальше положения, в которых лучи света принимаются посредством соответствующих пикселей, отделены друг от друга.
Таким образом, существует проблема того, что обычный способ корректировки значения пикселя дефектного пикселя с использованием значений пикселей смежных пикселей в элементе фотоэлектрического преобразования не может подходящим образом корректировать значение пикселя дефектного пикселя.
РЕШЕНИЕ ЗАДАЧИ
Настоящее изобретение было создано с учетом вышеописанной ситуации и обеспечивает устройство обработки изображений, выполненное с возможностью всегда выполнять соответствующую обработку коррекции в отношении дефектного пикселя, над сигналом съемки изображения, полученным таким образом, чтобы включать в себя информацию о направленном распространении света.
Согласно настоящему изобретению, устройство обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива, включает в себя: блок установки положения плоскости синтетического изображения, устанавливающий положение плоскости синтетического изображения, на которой изображение объекта восстанавливается с использованием сигнала изображения, полученного от элемента съемки изображений; и блок коррекции, корректирующий сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений, при этом блок коррекции определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленной посредством блока установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.
ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
Настоящее изобретение может выполнять соответствующую коррекцию дефектных пикселей на захваченном изображении для формирования перефокусированного изображения.
Дополнительные признаки настоящего изобретения станут очевидны из нижеследующего описания иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 является общей блок-схемой устройства съемки изображений согласно одному варианту осуществления настоящего изобретения.
Фиг. 2 является принципиальной схемой конфигураций матрицы пикселей и матрицы микролинз элемента съемки изображений согласно варианту осуществления настоящего изобретения.
Фиг. 3 является принципиальной схемой конфигураций фотографического объектива, матрицы микролинз и матрицы пикселей согласно варианту осуществления настоящего изобретения.
Фиг. 4A и 4B являются схемами, иллюстрирующими отношение соответствия между областями разделения зрачка фотографического объектива, микролинз и матрицы пикселей.
Фиг. 5 является схемой, иллюстрирующей позиционное отношение между лучом света, проходящим через некоторый пиксель на плоскости перефокусировки, областью разделения зрачка фотографического объектива и микролинзой.
Фиг. 6 является блок-схемой блока обработки изображений устройства съемки изображений согласно варианту осуществления настоящего изобретения.
Фиг. 7 является блок-схемой последовательности операций обработки коррекции дефектов согласно варианту осуществления настоящего изобретения.
Фиг. 8 является схемой, иллюстрирующей отношение между лучом света, который выходит из области разделения зрачка фотографического объектива и затем падает на микролинзу, и положением прохождения на плоскости перефокусировки.
Фиг. 9A и 9B являются принципиальными схемами лучей света, излученных из соответствующих областей разделения зрачка фотографического объектива, проходящих через матрицу микролинз, и падающих на соответствующие пиксели элемента съемки изображений.
Фиг. 10A и 10B являются схемами, иллюстрирующими примеры дефектного пикселя и пикселей, выбранных в качестве пикселей для его коррекции.
Фиг. 11 является схемой, иллюстрирующей примеры весовых коэффициентов согласно положениям в матрице пикселей.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Предпочтительные варианты осуществления настоящего изобретения будут подробно описаны с обращением к сопровождающим чертежам.
ПРИМЕР 1
Фиг. 1 является блок-схемой всего устройства съемки изображений первого варианта осуществления настоящего изобретения. На этой схеме свет изображения объекта, прошедший через фотографический объектив 101, формирует изображение, расположенное рядом с положением фокуса фотографического объектива 101. Матрица 102 микролинз включает в себя множество микролинз 113. Оптическая система съемки изображений включает в себя матрицу 102 микролинз и фотографический объектив. Матрица 102 микролинз расположена смежно с положением фокуса фотографического объектива 101. Свет, проходящий через разные области зрачка фотографического объектива 101, падает на матрицу 102 микролинз, и выходит оттуда отдельно для каждой области разделения зрачка. Свет, разделенный посредством матрицы 102 микролинз, падает на элемент 103 съемки изображений. Элемент 103 съемки изображений выполнен посредством, например, любого из датчика изображений CCD и датчика изображений CMOS, и располагается вокруг положения фокуса матрицы 102 микролинз.
Аналоговый входной блок (AFE) 104 выполняет регулировку опорного уровня (обработку фиксации) и обработку аналого-цифрового преобразования над сигналом изображения от элемента 103 съемки изображений. Цифровой входной блок (DFE) 105 выполняет цифровую обработку коррекции, такую как точный сдвиг опорного уровня, над сигналом цифрового изображения, выведенным из AFE 104. Блок 106 обработки изображений применяет предписанную обработку изображения к сигналу цифрового изображения из DFE 105 и формирует и выводит данные изображения. Блок хранения 107 включает в себя энергонезависимую память для хранения информации дефектных пикселей (координат). Блок 108 управления управляет всем устройством съемки изображений централизованным способом, включает в себя хорошо известное CPU, и загружает и выполняет программу, сохраненную в памяти, не проиллюстрировано, тем самым, управляя операциями соответствующих компонентов и различными обработками. Операционный блок 109 сконфигурирован с возможностью электрического приема операции операционного элемента в цифровой камере. Пользователь может устанавливать любое положение плоскости перефокусировки (синтетического изображения) для формирования перефокусированного изображения, с использованием операционного блока 109 (блока установки положения плоскости синтетического изображения). Положение этой плоскости перефокусировки может автоматически устанавливаться посредством блока 108 управления с использованием параметров камеры.
Блок 110 отображения отображает изображение. Носитель 111 записи может быть любым из карты памяти и жесткого диска. Схема формирования сигналов синхронизации (TG) 112 формирует различные сигналы синхронизации для управления элементом 103 съемки изображений.
Как проиллюстрировано на фиг. 6, блок 106 обработки изображений этого варианта осуществления включает в себя блок 601 коррекции дефектов и блок 602 восстановления. Блок 601 коррекции дефектов выполняет обработку коррекции над дефектным пикселем данных изображения. Настоящее изобретение характеризуется блоком коррекции дефектов. Подробности будут описаны ниже. Блок 602 восстановления на фиг. 6 выполняет операционную обработку с использованием способа, называемого «фотографирование светового поля», тем самым восстанавливая изображение в установленном положении фокуса (плоскости перефокусировки) по данным изображения. Подробности блока 602 восстановления будут описаны позже.
Ниже будут описаны конфигурации фотографического объектива 101, матрицы 102 микролинз и элемента 103 съемки изображений, включенных в устройство съемки изображений этого варианта осуществления.
Фиг. 2 является принципиальной схемой для описания конфигураций элемента 103 съемки изображений и матрицы 102 микролинз. Эта схема является принципиальной схемой, иллюстрирующей отношение компоновки между элементом 103 съемки изображений и матрицей 102 микролинз, если смотреть с направления оптической оси Z на фиг. 1. Одна микролинза 113 располагается таким образом, чтобы соответствовать множеству пикселей 201 (ниже просто называемым пикселями). Пиксели 201 за одной микролинзой объединено определяются как матрица 200 пикселей. В этом варианте осуществления матрица 200 пикселей включает в себя 25 пикселей 201 в пяти строках и пяти столбцах.
Фиг. 3 является принципиальной схемой ситуации, в которой луч света, излученный из фотографического объектива 101, проходит через одну микролинзу 113 и принимается элементом 103 съемки изображений, если смотреть с направления, перпендикулярного к оптической оси Z. Свет изображения объекта, излученный от каждой из областей a1-a5 зрачка фотографического объектива, проходит через микролинзу 113, и фокусируется на светочувствительных поверхностях соответствующих пикселей p1-p5, расположенных за микролинзой 113. То есть лучи света, выходящие из разных областей p1-p5 разделения зрачка, проходят через одну микролинзу 113 и фотоэлектрически преобразуются посредством разных пикселей, тем самым получая информацию о направленном распространении света изображения объекта.
Фиг. 4A является принципиальной схемой апертуры фотографического объектива при просмотре из направления оптической оси Z. Фиг. 4B является принципиальной схемой одной микролинзы 113 и матрицы 200 пикселей, расположенной за микролинзой 113, если смотреть с направления оптической оси Z. Как проиллюстрировано на фиг. 4A, когда область зрачка фотографического объектива 101 разделяется на области в количестве, равном количеству пикселей, включенных в матрицу пикселей под одной микролинзой, свет из одной области разделения зрачка фотографического объектива фокусируется на одном пикселе. Здесь, предполагается, что F - числа фотографического объектива 101 и микролинзы 113 по существу совпадают друг с другом.
Отношение соответствия между областями разделения зрачка a11-a55 фотографического объектива 101, проиллюстрированными на фиг. 4A, и пикселями p11-p55, проиллюстрированными на фиг. 4B, имеет точечную симметрию при просмотре с направления оптической оси Z. Соответственно, свет, излученный из области разделения зрачка a11 фотографического объектива 101, фокусируется на пикселе p11, включенном в матрицу 200 пикселей за микролинзой 113. Подобным образом, свет, излученный из области разделения зрачка a11 и проходящий через другую микролинзу 113, также фокусируется на пикселе p11 в матрице 200 пикселей за этой микролинзой.
Ниже будет описана обработка восстановления. Эта обработка выполняется над изображением на произвольно установленной плоскости синтетического изображения (плоскости перефокусировки) в сигнале съемки изображения, полученном системой съемки изображений, включающей в себя фотографический объектив 101, матрицу 102 микролинз и элемент 103 съемки изображений. Обработка восстановления выполняется под управлением посредством блока 108 управления на основании программы управления в блоке 602 восстановления, проиллюстрированном на фиг. 6, с использованием способа, называемого «фотографирование светового поля».
Фиг. 5 является принципиальной схемой, иллюстрирующей то, из какой области разделения зрачка фотографического объектива 101 выходит луч света, прошедший через пиксель на произвольно установленной плоскости перефокусировки, и в какую микролинзу 113 луч падает, если смотреть с направления, перпендикулярного к оптической оси Z. Эта схема предполагает, что координатами положения области разделения зрачка на плоскости фотографического объектива являются (u, v), координатами положения пикселя на плоскости перефокусировки являются (x, y), и координатами положения микролинзы на плоскости матрицы микролинз являются (x', y'). Эта схема также предполагает, что расстояние от плоскости фотографического объектива до плоскости матрицы микролинз равняется F, и расстояние от плоскости фотографического объектива до плоскости перефокусировки равняется F. Коэффициент перефокусировки α предназначен для определения положения плоскости перефокусировки, и может произвольно устанавливаться пользователем
Figure 00000001
. Фиг. 5 иллюстрирует только направления u, x и x', но направления v, y и y', перпендикулярные к ним, пропущены. Как проиллюстрировано на фиг. 5, луч света, прошедший через координаты (u, v) и координаты (x, y), достигает координаты (x', y') на матрице микролинз. Координаты (x', y') могут представляться как уравнение (1).
Figure 00000002
При условии, что вывод пикселя, принявшего луч света, равняется L(x', y', u, v), вывод E(x, y), полученный для координат (x, y) на плоскости перефокусировки, получается посредством интегрирования L(x', y', u, v) по области зрачка фотографического объектива. Соответственно, вывод представляется как уравнение (2).
Figure 00000003
(2)
В уравнении (1), коэффициент перефокусировки  определяется пользователем. Соответственно, предоставление (x, y) и (u, v) определяет положение (x', y') микролинзы, на которую луч света попадает. Затем, пиксель, соответствующий положению (u, v), может узнаваться из матрицы 200 пикселей, соответствующей микролинзе. Вывод пикселя равняется L(x', y', u, v). Вывод получается на всех областях разделения зрачка. Полученный вывод пикселя суммируется (интегрируется) согласно уравнению (2), тем самым, вычисляется E(x, y).
При условии, что (u, v) являются репрезентативными координатами на областях разделения зрачка фотографического объектива (дискретное значение), интегрирование уравнения (2) может вычисляться посредством простого суммирования ().
Как описано выше, выполняется операционная обработка уравнения (2), тем самым обеспечивая возможность восстанавливать изображение в произвольном положении фокуса.
Ниже будет описана операция коррекции дефектов в блоке 601 коррекции дефектов, которая характеризует настоящее изобретение. Эта операция выполняется под управлением блока 108 управления согласно программе, сохраненной в системе.
Фиг. 7 является блок-схемой последовательности операций обработки коррекции дефектов в блоке 601 коррекции дефектов. При определении, является ли пиксель дефектным пикселем или нет, по отношению к сигналу изображения, полученному от каждого пикселя элемента 103 съемки изображений, блок 601 коррекции дефектов корректирует сигнал изображения, когда пиксель является дефектным пикселем. Предполагается, что определяется, является ли сигнал изображения, введенный в блок 601 коррекции дефектов, сигналом изображения от дефектного пикселя или сигналом изображения от нормального пикселя, на основании информации координат дефектного пикселя, предварительно сохраненной в памяти заранее, например.
На этапе S701, получается коэффициент перефокусировки α на основании положения плоскости синтетического изображения, установленной посредством операционного блока 109.
На этапе S702, определяется, является ли пиксель во введенных данных изображения дефектным пикселем или нормальным пикселем. Если пиксель является дефектным пикселем, обработка переходит на этап S703. Если пиксель является нормальным пикселем, обработка переходит на этап S706.
На этапе S703, выбирается пиксель, используемый для формирования значения коррекции, для создания значения коррекции пикселя, определенного как дефектный пиксель. Сначала, определяются координаты на плоскости перефокусировки изображения, подлежащего восстановлению, посредством использования дефектного пикселя. Вычисляют координаты других пикселей, используемых для восстановления изображения на полученных координатах на плоскости перефокусировки. Пиксели, используемые для формирования значения коррекции, выбираются из числа упомянутых пикселей.
На этапе S704, значение коррекции для корректировки дефектного пикселя формируется с использованием сигнала изображения от пикселей для формирования значения коррекции, которые были выбраны на S703. В этом варианте осуществления, значением коррекции является среднее арифметическое пикселей, используемых для формирования значения коррекции. Однако настоящий вариант осуществления не ограничен этим. Согласно положению в матрице 200 пикселей выбранных пикселей для формирования значения коррекции, значением коррекции может быть взвешенное среднее значение, использующее весовой коэффициент, как проиллюстрировано на фиг. 11. Фиг. 11 является примером весовых коэффициентов, соответствующих матрице 200 пикселей, проиллюстрированной на фиг. 4B. На фиг. 4B, если весовые коэффициенты пикселей (например, p11, p15, p51 и p55) в матрице 200 пикселей, соответствующей области, иной, нежели эффективная область зрачка фотографического объектива, установлены малыми, влияние шума может уменьшаться, когда формируется значение коррекции.
На этапе S705, коррекция выполняется посредством замены вывода дефектного пикселя на значение коррекции, вычисленное на S704.
На этапе S706, определяется, подверглись ли уже все пиксели обработкам на S702-705. Если обработки еще не выполнены над всеми пикселями, обработка возвращается на S702, и определяется, является ли следующий пиксель дефектным пикселем или нет. Если следующий пиксель является конечным пикселем, операция коррекции дефектов заканчивается.
Далее, будет подробно описан способ выбора пикселей, используемых для создания значения коррекции на этапе S703. Здесь, описание осуществляется при предположении, что пиксель, соответствующий области разделения зрачка (uk, pk) фотографического объектива среди пикселей, включенных в матрицу 200 пикселей, соответствующую микролинзе с координатами (xk', yk') в матрице микролинз, является дефектным пикселем.
Положение на плоскости синтетического изображения, через которое проходит луч света, излученный из области разделения зрачка (uk, pk) плоскости фотографического объектива и входящий в микролинзу с координатами (xk', yk') на плоскости матрицы микролинз, и который фокусируется на дефектном пикселе, является положением (xk, yk). Сначала, вычисляются координаты (xk, yk).
Фиг. 8 является принципиальной схемой для иллюстрации того, через какие координаты на плоскости перефокусировки проходит луч света, излученный из области разделения зрачка (uk, pk) плоскости фотографического объектива и падающий на микролинзы с координатами (xk', yk') на плоскости матрицы микролинз. Как и фиг. 5, эта схема иллюстрирует только направления u, x и x', но пропускает вертикальные направления v, y и y'.
Как можно видеть из фиг. 8, координаты (xk, yk) на плоскости перефокусировки, через которые проходит луч света, могут представляться посредством уравнения (3).
Figure 00000004
(3)
Соответственно, пиксели, принимающие лучи света, проходящие через идентичное положение (xk, yk) на плоскости перефокусировки, представленное посредством уравнения (3), должны объединяться вместе с дефектным пикселем, когда изображение восстанавливается. При условии, что эти выводы пикселей представлены посредством L(x', y', u, v), L(x', y', u, v) может быть представлено посредством уравнения (4) с использованием уравнения (1).
Figure 00000005
(4)
Здесь, репрезентативные координаты (u, v) находятся на областях разделения зрачка, иных, нежели область разделения зрачка (uk, vk), через которую луч входит в дефектный пиксель. То есть интегрирование уравнения (2) может вычисляться посредством простого суммирования.
Например, значение коррекции создается из среднего значения четырех пикселей, расположенных рядом, т.е. выше, ниже, справа и слева от дефектного пикселя в элементе съемки изображений среди пикселей, используемых для восстановления изображения вместе с дефектным пикселем. В этом случае, значение коррекции вычисляется по четырем выводам пикселей, полученным посредством подстановки (uk+d, vk), (uk-d, vk), (uk, vk+d), (uk, vk-d) соответственно в (u, v) в уравнении (4).
Обозначение d обозначает расстояние между репрезентативными координатами смежных областей разделения зрачка фотографического объектива. Здесь, при предположении, что расстояние F вычисляется от фотографического объектива 101 до матрицы 102 микролинз, расстояние f вычисляется от матрицы микролинз до элемента 103 съемки изображений, шаг пикселя элемента съемки изображений равняется s, и F- числа фотографического объектива и микролинзы являются равными, d может выражаться как уравнение (5).
Figure 00000006
(5)
В случае, когда плоскость перефокусировки установлена на плоскости матрицы микролинз, т.е. случае, когда α=1, уравнение (3) не работает. В этом случае, изображение фотографического объектива формируется посредством микролинзы на соответствующей матрице пикселей. Пиксель, смежный с дефектным пикселем в матрице пикселей, может выбираться в качестве пикселей для коррекции в соответствии со способом вычисления значения коррекции.
Фиг. 9A, 9B, 10A и 10B иллюстрируют примеры пикселей для создания значения коррекции, выбираемых согласно вышеописанному способу.
Фиг. 9A и 9B являются принципиальными схемами, иллюстрирующими ситуацию, в которой лучи света, излученные из соответствующих областей разделения зрачка фотографического объектива 101, проходят через матрицу 102 микролинз и падают на соответствующие пиксели элемента 103 съемки изображений. Фиг. 10A и 10B являются принципиальными схемами, иллюстрирующими элемент 103 съемки изображений и матрицу 102 микролинз, когда осуществляется просмотр упомянутого элемента и матрицы с направления оптической оси.
Фиг. 9A иллюстрирует луч света, когда плоскость перефокусировки установлена на положение, идентичное положению матрицы микролинз (=1). В этом случае, пиксели, используемые для формирования сигнала пикселя восстановленного изображения с координатами (x, y) на плоскости перефокусировки, являются пикселями, показанными как пиксели A, B и C на фиг. 10A. Когда плоскость перефокусировки установлена на матрице микролинз, все пиксели, подлежащие использованию для восстановления некоторых координат, являются пикселями в одной и той же матрице пикселей. Когда пиксель B является дефектным пикселем на фиг. 10A и 10B, пиксели для создания значения коррекции дефектного пикселя B, являются четырьмя пикселями C, смежными с дефектным пикселем B. Затем, коррекция выполняется посредством замены вывода дефектного пикселя B на среднее четырех пикселей C.
Тем временем, луч света в случае, когда плоскость перефокусировки установлена на стороне фотографического объектива по отношению к матрице микролинз (0<<1), является таким, как проиллюстрировано на фиг. 9B. В этом случае, пиксели, используемые для формирования сигнала пикселя восстановленного изображения с координатами (x, y) на плоскости перефокусировки, являются пикселями в дальних положениях, как показано как пиксели A, B и C на фиг. 10B, например. Здесь, когда пиксель B является дефектным пикселем, пиксели, подлежащие использованию для создания значения коррекции дефектного пикселя B, являются четырьмя пикселями C рядом с дефектным пикселем B среди пикселей, используемых для восстановления изображения. Затем, коррекция выполняется посредством замены вывода дефектного пикселя B на среднее значение четырех пикселей C.
Как показано на фиг. 9A, 9B, 10A и 10B, даже в случае коррекции дефектного пикселя в идентичном положении, пиксели, подлежащие использованию для корректировки дефектного пикселя, являются разными согласно положению на установленной плоскости синтетического изображения. Настоящее изобретение обеспечивает возможность выполнения подходящей коррекции над дефектным пикселем согласно такой ситуации.
Конфигурация может применяться для случая, где обработка коррекции дефектов выполняется в блоке 602 восстановления. То есть обработка восстановления, представленная уравнением (2), последовательно выполняется в блоке 602 восстановления. Если дефект находится в пикселях, используемых для восстановления изображения, значение коррекции может создаваться из значения пикселя, представленного посредством уравнения (4).
Как описано выше, сначала в этом варианте осуществления получает информацию о том, какие координаты на плоскости перефокусировки используются для восстановления дефектного пикселя. Вычисляются координаты других пикселей, используемых для восстановления изображения на координатах полученной плоскости перефокусировки. Значение коррекции создается из выходных значений пикселей вычисленных координат. Таким образом, дефектный пиксель может подходящим образом корректироваться по отношению к взятому изображению для восстановления перефокусированного изображения.
Управление посредством блока 108 управления системы может выполняться посредством одной единицы аппаратного обеспечения или может разделяться среди множества единиц аппаратного обеспечения для управления всем устройством. В вышеописанном варианте осуществления, настоящее изобретение было описано как иллюстрирующее устройство съемки изображений. Однако является очевидным, что настоящее изобретение является применимым к обработкам над сигналом изображения, обеспеченным из носителя записи в обрабатывающем устройстве, таком как PC.
ДРУГИЕ ПРИМЕРЫ
Аспекты настоящего изобретения также могут быть реализованы посредством компьютера системы или устройства (или устройств, таких как CPU или MPU), которые считывают и выполняют программу, сохраненную на запоминающем устройстве, для выполнения функций вышеописанного варианта (вариантов) осуществления, и посредством способа, этапы которого выполняются компьютером системы или устройства посредством, например, считывания и выполнения программы, сохраненной на запоминающем устройстве, чтобы выполнять функции вышеописанного варианта (вариантов) осуществления. Для этой цели программа вводится в компьютер, например, посредством сети или с носителей записи различных видов, служащих в качестве запоминающего устройства (например, машиночитаемого носителя).
Хотя настоящее изобретение было описано со ссылкой на иллюстративные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения должен быть интерпретирован наиболее широко таким образом, чтобы он охватывал все такие модификации и эквивалентные структуры и функции.
По настоящей заявке испрашивается приоритет на основании заявки на патент Японии № 2011-262007, поданной 30 ноября 2011 г., которая настоящим в полном объеме включена в настоящий документ путем ссылки.

Claims (9)

1. Устройство обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива, содержащее:
блок установки положения плоскости синтетического изображения, который устанавливает положение плоскости синтетического изображения, на которой восстанавливается изображение объекта с использованием сигнала изображения, полученного от элемента съемки изображений; и
блок коррекции, который корректирует сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений, при этом блок коррекции определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленной посредством блока установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.
2. Устройство обработки изображений по п. 1, в котором блок коррекции выбирает другой пиксель из пикселей, принимающих свет изображения объекта, включающий в себя информацию о направлении распространения, в положении, идентичном положению на плоскости синтетического изображения, через которое проходит свет изображения объекта, падающий на дефектный пиксель, и
формирует значение коррекции сигнала изображения дефектного пикселя с использованием сигнала пикселя выбранного пикселя.
3. Устройство обработки изображений по п. 2, в котором выбранный пиксель является пикселем, на который падает свет изображения объекта, приходящий из области разделения зрачка, смежной с областью разделения зрачка, из которой свет объекта падает на дефектный пиксель, среди света изображения объекта, включающего в себя информацию о направлении распространения, в положении, идентичном положению на плоскости синтетического изображения, через которое проходит свет изображения объекта, падающий на дефектный пиксель.
4. Устройство обработки изображений по любому из пп. 1-3, в котором блок коррекции формирует значение коррекции сигнала изображения дефектного пикселя посредством среднего арифметического сигналов изображения других пикселей.
5. Устройство обработки изображений по любому из пп. 1-3, в котором блок коррекции формирует значение коррекции сигнала изображения дефектного пикселя посредством взвешенного среднего с использованием взвешивания сигнала изображения пикселей в соответствии с положением области разделения зрачка.
6. Способ управления устройством обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта,
соответствующего области разделения зрачка фотографического объектива, содержащий этапы, на которых:
устанавливают положение плоскости синтетического изображения, на которой изображение объекта восстанавливается с использованием сигнала изображения, полученного от элемента съемки изображений; и
корректируют сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений,
при этом корректировка включает в себя этап, на котором определяют другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленного посредством установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.
7. Машиночитаемый запоминающий носитель, на котором сохранена программа, содержащая программный код, побуждающий компьютер выполнять способ управления устройством обработки изображений по п. 6.
8. Устройство съемки изображений, содержащее:
оптическую систему съемки изображений, выполненную с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива;
элемент съемки изображений, который фотоэлектрически преобразует свет изображения объекта, сфокусированный
посредством оптической системы съемки изображений, для вывода сигнала изображения; и
устройство обработки изображений по любому из пп. 1-5.
9. Устройство съемки изображений по п. 8, в котором оптическая система съемки изображений содержит матрицу микролинз, соответствующую области разделения зрачка, между фотографическим объективом и элементом съемки изображений, и соответствующие пиксели, включенные в матрицу пикселей элемента съемки изображений, соответствующего каждой микролинзе, соответствуют соответствующим областям разделения зрачка в фотографическом объективе.
RU2014126378/07A 2011-11-30 2012-11-16 Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений RU2570349C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011262007A JP5913934B2 (ja) 2011-11-30 2011-11-30 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
JP2011-262007 2011-11-30
PCT/JP2012/080411 WO2013080899A1 (en) 2011-11-30 2012-11-16 Image processing apparatus, image processing method and program, and image pickup apparatus including image processing apparatus

Publications (1)

Publication Number Publication Date
RU2570349C1 true RU2570349C1 (ru) 2015-12-10

Family

ID=48535356

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014126378/07A RU2570349C1 (ru) 2011-11-30 2012-11-16 Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений

Country Status (9)

Country Link
US (2) US9191595B2 (ru)
JP (1) JP5913934B2 (ru)
KR (1) KR101627087B1 (ru)
CN (1) CN103828344B (ru)
BR (1) BR112014000674A2 (ru)
DE (1) DE112012003264B4 (ru)
GB (1) GB2512223B (ru)
RU (1) RU2570349C1 (ru)
WO (1) WO2013080899A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438503B2 (en) 2016-06-30 2022-09-06 Interdigital Ce Patent Holdings, Inc. Plenoptic sub aperture view shuffling with improved resolution

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6238657B2 (ja) 2013-09-12 2017-11-29 キヤノン株式会社 画像処理装置及びその制御方法
JP2015080125A (ja) * 2013-10-18 2015-04-23 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6506506B2 (ja) * 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
JP6585890B2 (ja) * 2014-09-30 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
TWI538515B (zh) * 2014-10-31 2016-06-11 晶相光電股份有限公司 影像感測裝置與缺陷像素檢測與補償方法
EP3026884A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Plenoptic camera comprising a light emitting device
JP2016127389A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
EP3144887A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
KR20180053719A (ko) 2015-09-17 2018-05-23 톰슨 라이센싱 광학 취득 시스템에 의해 캡처된 이미지를 인코딩하기 위한 장치 및 방법
EP3145168A1 (en) 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
JP2018098663A (ja) * 2016-12-14 2018-06-21 キヤノン株式会社 画像処理装置、方法及びプログラム
JP2018157371A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 撮像装置及び欠陥画素の補正方法
JP6872956B2 (ja) 2017-04-13 2021-05-19 キヤノン株式会社 撮像システム及び撮像システムの制御方法
US11089251B2 (en) 2018-07-12 2021-08-10 Canon Kabushiki Kaisha Image sensor and image capturing apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0917358A1 (en) * 1997-11-05 1999-05-19 STMicroelectronics, Inc. Pixel correction system and method for CMOS imagers
US6737625B2 (en) * 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
WO2007036055A1 (en) * 2005-09-30 2007-04-05 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
US7522200B2 (en) * 1998-05-20 2009-04-21 Omnivision Technologies, Inc. On-chip dead pixel correction in a CMOS imaging sensor
US7733392B2 (en) * 2003-06-26 2010-06-08 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
JP2010252105A (ja) * 2009-04-16 2010-11-04 Sony Corp 撮像装置
RU2412554C1 (ru) * 2010-01-25 2011-02-20 Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН) Способ компенсации дефектных фоточувствительных элементов многоэлементного фотоприемника

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
JP2002359783A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 撮像装置及び画素欠陥補正方法
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
DE10209552A1 (de) * 2002-03-04 2003-10-02 Plettac Ag Verfahren und Vorrichtung zur Kompensation defekter Pixel eines CCD-Sensors
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
CN101426085B (zh) * 2004-10-01 2012-10-03 小利兰·斯坦福大学托管委员会 成像装置及其方法
KR101134208B1 (ko) * 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
EP1941314A4 (en) * 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
JP5137380B2 (ja) * 2006-11-07 2013-02-06 キヤノン株式会社 ぶれ補正装置及び方法
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP2010057067A (ja) * 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
JP5230456B2 (ja) * 2009-01-09 2013-07-10 キヤノン株式会社 画像処理装置および画像処理方法
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US8928969B2 (en) * 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
JP6071333B2 (ja) * 2012-08-27 2017-02-01 キヤノン株式会社 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0917358A1 (en) * 1997-11-05 1999-05-19 STMicroelectronics, Inc. Pixel correction system and method for CMOS imagers
US7522200B2 (en) * 1998-05-20 2009-04-21 Omnivision Technologies, Inc. On-chip dead pixel correction in a CMOS imaging sensor
US6737625B2 (en) * 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
US7733392B2 (en) * 2003-06-26 2010-06-08 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
WO2007036055A1 (en) * 2005-09-30 2007-04-05 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
JP2010252105A (ja) * 2009-04-16 2010-11-04 Sony Corp 撮像装置
RU2412554C1 (ru) * 2010-01-25 2011-02-20 Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН) Способ компенсации дефектных фоточувствительных элементов многоэлементного фотоприемника

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438503B2 (en) 2016-06-30 2022-09-06 Interdigital Ce Patent Holdings, Inc. Plenoptic sub aperture view shuffling with improved resolution

Also Published As

Publication number Publication date
WO2013080899A1 (en) 2013-06-06
US9191595B2 (en) 2015-11-17
US20160014357A1 (en) 2016-01-14
CN103828344A (zh) 2014-05-28
JP2013115717A (ja) 2013-06-10
US20140192237A1 (en) 2014-07-10
KR20140097465A (ko) 2014-08-06
JP5913934B2 (ja) 2016-05-11
GB2512223B (en) 2018-03-14
GB2512223A (en) 2014-09-24
DE112012003264B4 (de) 2021-06-17
KR101627087B1 (ko) 2016-06-03
GB201410755D0 (en) 2014-07-30
US9560297B2 (en) 2017-01-31
CN103828344B (zh) 2017-02-15
DE112012003264T5 (de) 2014-05-08
BR112014000674A2 (pt) 2017-02-14

Similar Documents

Publication Publication Date Title
RU2570349C1 (ru) Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
US8749697B2 (en) Image capturing apparatus and control method thereof
US20150381869A1 (en) Image processing methods for image sensors with phase detection pixels
US9762787B2 (en) Image pickup apparatus having auto-focusing function and its control method
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
US9253424B2 (en) Image processing apparatus and control method thereof
US9967451B2 (en) Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
US20180270409A1 (en) Image pickup apparatus and image pickup system
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
JP2009031682A (ja) 撮像システム及び画像信号処理プログラム
US20170257583A1 (en) Image processing device and control method thereof
JP2023041751A (ja) 撮像装置及び信号処理装置
JPWO2019078334A1 (ja) 撮像素子、画像処理装置、画像処理方法、および、プログラム
WO2015132831A1 (ja) 撮像装置
JPWO2019078333A1 (ja) 撮像装置、露出制御方法、プログラム、及び、撮像素子
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
US11252361B2 (en) Imaging element, imaging device, and information processing method with image restoration pixels and unidirectional pixel
US9596402B2 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
CN113596431B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP6765829B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
WO2018181611A1 (ja) 電子機器
JP2015128226A (ja) 撮像装置、その制御方法及びプログラム
WO2018181613A1 (ja) 電子機器
JP2014217035A5 (ru)