RU2551649C2 - Устройство формирования цветного изображения - Google Patents

Устройство формирования цветного изображения Download PDF

Info

Publication number
RU2551649C2
RU2551649C2 RU2013138394/07A RU2013138394A RU2551649C2 RU 2551649 C2 RU2551649 C2 RU 2551649C2 RU 2013138394/07 A RU2013138394/07 A RU 2013138394/07A RU 2013138394 A RU2013138394 A RU 2013138394A RU 2551649 C2 RU2551649 C2 RU 2551649C2
Authority
RU
Russia
Prior art keywords
filters
pixel
pixels
color
mosaic
Prior art date
Application number
RU2013138394/07A
Other languages
English (en)
Other versions
RU2013138394A (ru
Inventor
Сейдзи ТАНАКА
Original Assignee
Фуджифилм Корпорэйшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фуджифилм Корпорэйшн filed Critical Фуджифилм Корпорэйшн
Publication of RU2013138394A publication Critical patent/RU2013138394A/ru
Application granted granted Critical
Publication of RU2551649C2 publication Critical patent/RU2551649C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133509Filters, e.g. light shielding masks
    • G02F1/133514Colour filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Optical Filters (AREA)

Abstract

Изобретение относится к устройству формирования цветного изображения, которое подавляет формирование цветного муара (цветовых комбинационных искажений). Техническим результатом является подавление формирования ложного цвета высокочастотного сегмента посредством простой обработки изображения. Указанный технический результат достигается тем, что используется одноплатный элемент формирования цветного изображения, включающий: цветовые фильтры, имеющие матрицу цветовых фильтров, где цветовые фильтры всех цветов RGB периодически размещены на каждой линии в горизонтальном и вертикальном направлениях; фильтры взвешенного среднего, включающие в себя коэффициенты фильтра с равными пропорциями сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях, используются для расчета средневзвешенных значений каждого цвета значений пикселей у пикселей в мозаичном изображении, выдаваемом из элемента формирования цветного изображения. При расчете значения пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего значение пикселя целевого пикселя интерполируется на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений для оценки значения пикселя иного цвета. 12 з.п. ф-лы, 12 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к устройству формирования цветного изображения, а более точно, к устройству формирования цветного изображения, которое подавляет формирование цветного муара (цветовых комбинационных искажений).
УРОВЕНЬ ТЕХНИКИ
В устройстве формирования цветного изображения, включающем в себя одноплатный элемент формирования цветного изображения, выходное изображение из элемента формирования цветного изображения является изображением RAW (мозаичным изображением). Поэтому многоканальное изображение получается посредством обработки интерполяции пикселя отсутствующего цвета из окружающих пикселей (обработки устранения мозаичности). В этом случае существует проблема в характеристиках воспроизведения высокочастотного сигнала изображения.
Матрица Байера основных цветов в качестве цветовой матрицы, наиболее широко используемой в одноплатном элементе формирования цветного изображения, включает в себя пиксели зеленого цвета (G), размещенные в форме галочки, и красного цвета (R) и синего цвета (B), размещенные последовательно в линию. Поэтому есть проблема низкочастотного окрашивания (цветного муара), вызванная сверткой высокочастотных сигналов, превышающих полосы воспроизведения цветов, и вызванная уходом фаз цветов.
Например, черно-белая вертикально полосатая структура (высокочастотное изображение), как показано на фиг.10(A), попадает на элемент формирования изображения в матрице Байера, показанной на фиг. 10(B), и структура сортируется по цветовым матрицам Байера для сравнения цветов. Как показано на фиг. с 10(C) по 10(E), R формирует светлое и плоское цветное изображение, B формирует темное и плоское цветное изображение, а G формирует светлое и темное мозаичное цветное изображение. Хотя нет разницы плотности (перепада уровней) между RGB относительно исходного черно-белого изображения, изображение окрашивается в зависимости от цветовой матрицы и частоты входного сигнала.
В устройстве формирования цветного изображения, использующем одноплатный элемент формирования цветного изображения, оптический фильтр нижних частот, сформированный анизотропным веществом, таким как хрусталь, обычно размещен на передней стороне элемента формирования цветного изображения для предотвращения оптического уменьшения высокочастотной волны. Однако, хотя окрашивание, вызванное сверткой высокочастотного сигнала, может быть уменьшено этим способом, есть проблема, что соответственно уменьшается разрешение.
Для решения проблемы предложен элемент формирования цветного изображения, при этом матрица цветовых фильтров элемента формирования цветного изображения является трехцветной матрицей со случайным распределением, удовлетворяющей матричным ограничениям, при которых произвольный целевой пиксель является смежным с тремя цветами, в том числе цветом целевого пикселя на четырех сторонах целевого пикселя (PTL 1).
Также предложен датчик изображения матрицы цветовых фильтров, при этом датчик изображения включает в себя множество фильтров с разной спектральной чувствительностью, и первый и второй фильтры из числа множества фильтров поочередно размещены в первом предварительно определенном периоде в одном из диагональных направлений решетки пикселей датчика изображения и поочередно размещены во втором предварительно определенном периоде в ином диагональном направлении (PTL 2).
Более того, также предложено устройство формирования изображения, включающее в себя элемент формирования цветного изображения, в котором R и B из числа трех основных цветов RGB размещены в каждых трех пикселях в горизонтальном и вертикальном направлениях, а G размещен между R и B (PTL 3). В элементе формирования цветного изображения, описанном в PTL 3, пиксели G, которые вносят наибольший вклад в получение сигналов яркости, размещены в гораздо большем количестве, чем пиксели RB, на том основании, что разрешение цветоразностных сигналов может быть более низким, чем разрешение сигналов яркости. Это может увеличивать разрешение в горизонтальном и вертикальном направлениях.
БИБЛИОГРАФИЯ
ПАТЕНТНАЯ ЛИТЕРАТУРА
PTL 1
Выложенная заявка на выдачу патента Японии, № 2000-308080
PTL 2
Выложенная заявка на выдачу патента Японии, № 2005-136766
PTL 3
Выложенная заявка на выдачу патента Японии, № 8-23543
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ЗАДАЧА
Трехцветная матрица со случайным распределением, описанная в PTL 1, эффективна для низкочастотного цветного муара, но не эффективна для ложного цвета высокочастотного сегмента.
Между тем, в матрице цветовых фильтров датчика изображения, описанного в PTL 2, фильтры R, G и B размещены периодически на линиях в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. В обработке устранения мозаичности мозаичного изображения, выдаваемого из датчика изображения, включающего в себя матрицу цветовых фильтров, в изобретении, описанном в PTL 2, локальная область предварительно определенного размера изображения извлекается вокруг целевого пикселя, рассчитываются статистические данные, имеющие отношение к профилю распределения цвета у цвета целевого пикселя в локальной области и профилю распределения цвета иного цвета, который должен оцениваться, и профили распределения цвета подвергаются линейной регрессии на основании интенсивности цветов в положении целевого пикселя и статистических данных профилей распределения цвета, чтобы тем самым рассчитывать значение оценки иного цвета в положении целевого пикселя. Расчет статистических данных (ковариационных значений), имеющих отношение к профилям распределения цвета, и обработка расчета регрессии необходимы в изобретении, описанном в PTL 2, и существует проблема, что усложняется обработка изображения.
Элемент формирования цветного изображения, описанный в PTL 3, включает в себя линии только с пикселями G в горизонтальном или вертикальном направлении. Поэтому элемент формирования цветного изображения неэффективен для ложного цвета высокочастотного сегмента в горизонтальном или вертикальном направлении.
Настоящее изобретение было сделано ввиду этих обстоятельств, и цель настоящего изобретения состоит в том, чтобы предложить устройство формирования цветного изображения, которое может подавлять формирование ложного цвета высокочастотного сегмента посредством простой обработки изображения.
РЕШЕНИЕ ЗАДАЧИ
Для решения задачи изобретение согласно аспекту настоящего изобретения включает в себя Устройство формирования цветного изображения, включающее в себя: одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры, размещенные на множестве пикселей, сформированных фотоэлектрическими преобразователями, размещенными в горизонтальном и вертикальном направлениях, цветовые фильтры имеют матрицу цветовых фильтров, где все цвета размещены периодически на каждой линии в горизонтальном и вертикальном направлениях; блок получения изображения, который получает мозаичное изображение с элемента формирования цветного изображения; фильтры взвешенного среднего с предварительно определенными коэффициентами фильтра, при этом соотношение между цветами пикселей и коэффициентами фильтра в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлено так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны; блок расчета взвешенного среднего, который рассчитывает средневзвешенные значения каждого цвета на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего; блок обработки устранения мозаичности, который рассчитывает значение пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего и который интерполирует значение пикселя целевого пикселя на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями цвета и иного цвета целевого пикселя для расчета значения пикселя иного цвета; и блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду со сдвигом локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, блоком целевых пикселей обработки устранения мозаичности.
Согласно устройству формирования цветного изображения по аспекту настоящего изобретения используется одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры всех цветов в матрице цветовых фильтров, периодически размещенной на линиях в горизонтальном и вертикальном направлениях. Поэтому коэффициенты фильтра для цветов пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, могут быть установлены так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны.
Пропорции сумм каждого цвета равны на любой линии в горизонтальном и вертикальном направлениях в коэффициентах фильтра у фильтров взвешенного среднего. Поэтому независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, соотношение между цветами в результате применения коэффициентов фильтра не является меняющимся, и окрашивание, обусловленное сверткой высокочастотной волны, не возникает. Более точно, средневзвешенные значения каждого цвета, рассчитанные на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселя у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, указывают точные цвета в локальной области независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях в локальной области. Поэтому при расчете значения пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего значение пикселя целевого пикселя может интерполироваться на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений для оценки значения пикселя иного цвета.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовую матричную структуру, включающую в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени вносит вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторых цветов, иных чем первый цвет, базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях, и пропорция количества пикселей первого цвета, соответствующего первым фильтрам, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны. Более точно, даже если пропорция количества пикселей первого цвета, соответствующего первому фильтру, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны, пропорции сумм коэффициентов фильтра каждого цвета равны на любой линии в горизонтальном и вертикальном направлениях в коэффициентах фильтра у фильтров взвешенного среднего. Поэтому соотношение между цветами в результате применения коэффициентов фильтра не является меняющимся, и окрашивание, обусловленное сверткой высокочастотной волны, не возникает.
Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения пропорция количества пикселей первого цвета, соответствующего первым фильтрам, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам. Пропорция количества пикселей первого цвета, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам. Поэтому может подавляться псевдонимизация, и превосходна воспроизводимость высокочастотных волн.
Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, фильтры взвешенного среднего являются фильтрами, взвешенными для увеличения коэффициентов фильтра в центральном сегменте. Как результат могут точно получаться цвета в положениях пикселя целевых пикселей обработки устранения мозаичности.
Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, фильтры взвешенного среднего имеют коэффициенты фильтра, которые горизонтально симметричны, вертикально симметричны и центрально симметричны. Как результат при расчете взвешенных средних каждого цвета посредством извлечения локальной области и мозаичного изображения, одни и те же фильтры взвешенного среднего могут использоваться, даже если извлеченная локальная область смещена.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, при этом, когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и B, соответствующих фильтрам R, фильтрам G и фильтрам B, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно, если целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и B пикселей у пикселей R и B в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf) и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и B пикселей у пикселей G и B в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf) и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем B и значением пикселя является B, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf) и R=B×(Rf/Bf).
Отношение средневзвешенных значений (Rf, Gf, Bf) каждого цвета в локальной области указывает отношение (цветовое отношение) RGB исходных цветов в положении пикселя целевого пикселя в локальной области. Значение пикселя в положении целевого пикселя может интерполироваться на основании цветового отношения для точной оценки значения пикселя иного цвета.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, при этом, когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и B, соответствующих фильтрам R, фильтрам G и фильтрам B, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно, если целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и B пикселей у пикселей R и B в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf) и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и B пикселей у пикселей G и B в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf) и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем B и значением пикселя является B, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf) и R=B+(Rf-Bf).
Перепад между средневзвешенными значениями (Rf, Gf, Bf) каждого цвета в локальной области указывает перепад (цветовой контраст) между RGB исходных цветов в положении пикселя целевого пикселя в локальной области. Значение пикселя в положении целевого пикселя может интерполироваться на основании цветового контраста для точной оценки значения пикселя иного цвета.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселей, первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры B, размещенные вертикально через фильтр G в центре, и фильтры R, размещенные горизонтально через фильтр G в центре; и вторую матрицу, соответствующую 3×3 пикселей, вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, размещенные вертикально через фильтр G в центре, и фильтры B, размещенные горизонтально через фильтр G в центре, при этом первая и вторая матрицы размещены поочередно в горизонтальном и вертикальном направлениях, фильтры взвешенного среднего имеют размер ядра 9×9, и блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду с последовательным сдвигом фильтра взвешенного среднего для установки одной из первой и второй матрицы по центру.
Первая и вторая матрицы включают в себя вертикально и горизонтально симметричные цветовые фильтры, и только фильтры R и B переключаются между первой и второй матрицами. Поэтому в обработке наряду со сдвигом фильтров взвешенного среднего на 3×3 пикселей пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях могут быть равны без изменения коэффициентов фильтра у фильтров взвешенного среднего.
ПОЛОЖИТЕЛЬНЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ
Согласно настоящему изобретению коэффициенты фильтра для цветов пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлены так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны, и средневзвешенные значения каждого цвета рассчитываются на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего. Поэтому цветовое отношение или цветовой контраст средневзвешенных значений каждого цвета в локальной области указывает цветовое отношение или цветовой контраст исходных цветов в положении пикселя целевого пикселя локальной области. Как результат значение пикселя иного цвета может точно оцениваться посредством интерполяции значения пикселя целевого пикселя на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений.
Цветовое отношение или цветовой контраст средневзвешенных значений каждого цвета в локальной области не меняется независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях в локальной области. Поэтому ложное определение цвета не происходит, и может подавляться формирование ложного цвета в высокочастотном сегменте. Значение пикселя иного цвета может оцениваться посредством простого расчета взвешенного среднего и интерполяции.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - структурная схема, показывающая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.
Фиг. 2 - схема, показывающая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения по первому варианту осуществления.
Фиг. 3 - схема, показывающая базовую матричную структуру, включенную в матрицу цветовых фильтров элемента формирования цветного изображения по первому варианту осуществления.
Фиг. 4 - схема, показывающая состояние, в котором базовая матричная структура 6×6 пикселей, включенная в матрицу цветовых фильтров элемента формирования цветного изображения по первому варианту осуществления, поделена на матрицы A и матрицы B 3×3 пикселей, а матрицы A и матрицы B упорядочены.
Фиг. 5 - схема, показывающая фильтры взвешенного среднего, используемые для элемента формирования цветного изображения по первому варианту осуществления.
Фиг. 6A - схема, показывающая изображение, когда вводится вертикально полосатая высокочастотная волна.
Фиг. 6B - схема, используемая для пояснения, что нет ухода цвета в цветах средневзвешенных значений, применяемых с фильтрами взвешенного среднего, когда вводится вертикально полосатая высокочастотная волна.
Фиг. 7 - схема, показывающая второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего, примененных к настоящему изобретению.
Фиг. 8 - схема, показывающая третий вариант осуществления элемента формирования цветного изображения, используемого для настоящего изобретения.
Фиг. 9A - схема, показывающая третий вариант осуществления фильтров взвешенного среднего, используемых для элемента формирования цветного изображения по третьему варианту осуществления.
Фиг. 9B - схема, показывающая фильтры взвешенного среднего, применяемые, когда локальная область 6×6 пикселей, показанная на фиг. 9A, перемещается на два пикселя в горизонтальном направлении.
Фиг. 10 - схема, используемая для пояснения проблемы традиционного элемента формирования цветного изображения с цветовыми фильтрами в матрице Байера.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
В дальнейшем предпочтительные варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению будут подробно описаны со ссылкой на прилагаемые чертежи.
{Общая конфигурация устройства формирования цветного изображения}
Фиг. 1 - структурная схема, показывающая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.
Оптическая система 10 формирования изображения изображает предмет, и оптическое изображение, показывающее изображение предмета, формируется на поверхности приема света элемента 12 формирования цветного изображения (элемента формирования цветного изображения по первому варианту осуществления).
Элемент 12 формирования цветного изображения является одноплатным элементом формирования цветного изображения, включающим в себя: множество пикселей (не показанных), включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях (двухмерной матрице); и цветовые фильтры в предварительно определенной матрице цветовых фильтров на поверхностях приема света пикселей. Матрица цветовых фильтров элемента 12 формирования цветного изображения отличается тем, что включает в себя фильтры всех цветов, красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенные периодически на линиях в горизонтальном и вертикальном направлениях. Подробности будут описаны позже.
Элементы фотоэлектрического преобразования преобразуют изображение предмета, сформированное на элементе 12 формирования цветного изображения, в информационные заряды, соответствующие количествам падающего света. Информационные заряды, накопленные на элементах фотоэлектрического преобразования, последовательно считываются с элемента 12 формирования цветного изображения в качестве сигналов напряжения (сигналов изображения), соответствующих информационным зарядам, на основании импульсов возбуждения, выдаваемых из блока 18 возбуждения согласно команде блока 20 управления. Сигналы изображения, считанные с элемента 12 формирования цветного изображения, являются сигналами R, G и B, показывающими мозаичное изображение R, G и B, соответствующее матрице цветовых фильтров элемента 12 формирования цветного изображения.
Элемент 12 формирования цветного изображения не ограничен элементом формирования цветного изображения на ПЗС (приборах с зарядовой связью, CCD) и может быть другим типом элемента формирования изображения, таким как элемент формирования изображения на КМОП (комплементарных структурах металл-оксид-полупроводник, CMOS).
Сигналы изображения, считанные с элемента 12 формирования цветного изображения, вводятся в блок 14 обработки изображения. Блок 14 обработки изображения включает в себя: схему коррелированной двойной выборки (CDS), которая удаляет сбросной шум, включенный в сигналы изображения; схему АРУ (AGC), которая усиливает сигналы изображения и управляет размером на определенном уровне; и аналого-цифровой (A/D) преобразователь. Блок 14 обработки изображения применяет обработку коррелированной двойной выборки к входным сигналам изображения и усиливает сигналы изображения, а затем выводит данные RAW, которые сформированы посредством преобразования сигналов изображения в цифровые сигналы изображения, в блок 16 обработки изображения.
Блок 16 обработки изображения включает в себя схему коррекции баланса белого, схему коррекции градаций яркости, схему обработки устранения мозаичности согласно настоящему изобретению (схему обработки, которая рассчитывает (преобразует в синхронную систему) всю цветовую информацию RGB пикселей из мозаичного изображения RGB, ассоциативно связанного с матрицей цветовых фильтров одноплатного элемента 12 формирования цветного изображения), схему формирования сигнала яркости/цветоразностного сигнала, схему коррекции контуров, схему цветовой коррекции и тому подобное. Согласно команде из блока 20 управления блок 16 обработки изображения применяет требуемую сигнальную обработку к данным RAW мозаичного изображения, введенным из блока 14 обработки изображения, для формирования данных изображения (данных YUV (модели яркости и цветоразностных сигналов)), в том числе данных яркости (данных Y) и цветоразностных данных (данных Cr, Cb).
Что касается неподвижных изображений, схема обработки сжатием/расширением применяет обработку сжатием, которая совместима со стандартом JPEG, к данным изображения, сформированным блоком 16 обработки изображения. Что касается движущихся изображений, схема обработки сжатием/расширением применяет обработку сжатием, которая совместима со стандартом MPEG2, к данным изображения. Данные изображения записаны на носителе записи (в карте памяти) и выдаются и отображаются на устройстве отображения (не показано), таком как жидкокристаллический монитор.
Подробности обработки посредством схемы обработки устранения мозаичности согласно настоящему изобретению в блоке 16 обработки изображения будут описаны позже.
<Признаки матрицы цветовых фильтров>
Матрица цветовых фильтров элемента 12 формирования цветного изображения имеет следующие признаки (1), (2) и (3).
{Признак (1)}
Фиг. 2 - схема, показывающая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе 12 формирования цветного изображения. Как показано на фиг. 2, матрица цветовых фильтров элемента 12 формирования цветного изображения включает в себя базовую матричную структуру P (структуру, указанную толстой рамкой), сформированную квадратной матричной структурой, соответствующей 6×6 пикселям, и базовая матричная структура P повторно размещена в горизонтальном и вертикальном направлениях. Поэтому матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтров R, фильтров G и фильтров B), размещенные в предварительно определенном цикле.
Таким образом, фильтры R, фильтры G и фильтры B размещены в предварительно определенном цикле. Поэтому обработка устранения мозаичности, и тому подобное у сигналов R, G и B, считанных из элемента 12 формирования цветного изображения, может обрабатываться согласно повторяющейся структуре.
{Признак (2)}
В матрице цветовых фильтров, показанной на фиг. 2, фильтры всех цветов R, G и B размещены на линиях в горизонтальном и вертикальном направлениях.
Фиг. 3 показывает состояние, в котором базовая матричная структура P, показанная на фиг. 2, поделена на четыре набора 3×3 пикселя.
Как показано на фиг. 3, базовая матричная структура P может восприниматься в качестве структуры, включающей в себя матрицы A 3×3 пикселя, окруженные рамкой сплошных линий, и матрицы B 3×3 пикселя, окруженные рамкой прерывистых линий, поочередно размещенные в горизонтальном и вертикальном направлениях, как показано на фиг. 4.
Каждая из матриц A и B включает в себя фильтры G в качестве пикселей яркости, размещенных в четырех углах и центре, и фильтры G размещены на обеих диагоналях. В матрице A фильтры R размещены в горизонтальном направлении, и фильтры B размещены в вертикальном направлении, поперек фильтра G в центре. Между тем в матрице B фильтры B размещены в горизонтальном направлении, и фильтры R размещены в вертикальном направлении, поперек фильтра G в центре. Поэтому, хотя взаимное расположение между фильтрами R и B является противоположным в матрицах A и B, остальная часть компоновки является идентичной.
{Признак (3)}
Базовая матричная структура у матрицы цветовых фильтров, показанной на фиг. 2, центрально симметрична относительно центра (центра четырех фильтров G) базовой матричной структуры. Как показано на фиг. 3, матрицы A и матрицы B в базовой матричной структуре также центрально симметричны относительно фильтров G в центрах.
{Признак (4)}
В базовой матричной структуре матрицы цветовых фильтров, показанной на фиг. 2, количества пикселей у пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G, и B в базовой матричной структуре имеют значения восьми пикселей, двадцати пикселей и восьми пикселей, соответственно. Более точно, отношение количеств пикселей у пикселей RGB имеет значение 2:5:2, и пропорция количества пикселей у пикселей G, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей у каждого из пикселей R и B других цветов.
{Фильтры взвешенного среднего, используемые в схеме обработки устранения мозаичности блока 16 обработки изображения}
Фиг. 5 - схема, показывающая вариант осуществления фильтров взвешенного среднего, используемых в схеме обработки устранения мозаичности блока 16 обработки изображения Фиг. 5, особо показывает коэффициенты фильтра у фильтров взвешенного среднего.
Как показано на фиг. 5, фильтры взвешенного среднего (фильтры взвешенного среднего по первому варианту осуществления) имеют размер ядра 9×9, и устанавливаются коэффициенты фильтра, показанные на фиг. 5.
Более точно, что касается коэффициентов фильтра у фильтров взвешенного среднего, локальная область 9×9 пикселей извлекается из мозаичного изображения, полученного из элемента 12 формирования цветного изображения, так чтобы матрица A находилась в центре. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).
Например, коэффициенты фильтра самой верхней строки имеют значения 0, 2, 1, 1, 4, 1, 1, 2 и 0 на фиг. 5. Может быть признано, что суммы цветов имеют значения R=4, G=0+1+1+1+1+0=4, и B=2+2=4, и суммы находятся в соотношении 4:4:4=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.
Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 3×3, коэффициенты фильтра 3×3 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 3×3 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 3×3 в четыре углах были наименьшими.
Коэффициенты фильтра установлены в фильтрах взвешенного среднего так, чтобы коэффициенты были горизонтально симметричными, вертикально симметричными и центрально симметричными.
Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 9×9 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.
Например, когда вводится вертикально полосатая высокочастотная волна, показанная на фиг. 6A, суммы коэффициентов фильтра каждого цвета имеют значения 32:32:32 (смотрите фиг. 6B), и может быть признано, из цветового отношения, что изображение является черно-белым.
{Обработка устранения мозаичности посредством схемы обработки устранения мозаичности блока 16 обработки изображения}
Будет описан способ применения обработки устранения мозаичности к мозаичному изображению RGB схемой обработки устранения мозаичности блока 16 обработки изображения.
Как показано на фиг. 5, локальная область 9×9 пикселей извлекается из мозаичного изображения, полученного из элемента 12 формирования цветного изображения, так что матрица A находится в центре. Средневзвешенные значения каждого цвета RGB рассчитываются на основании значений пикселя у пикселей в локальной области и коэффициентов фильтра у фильтров взвешенного среднего. Более точно, значения пикселя у пикселей в локальной области умножаются на коэффициенты фильтра у фильтров взвешенного среднего в положениях пикселей. Результаты умножения суммируются цвет за цветом для расчета сумм цветов, и суммы цветов, кроме того, делятся на 64, чтобы рассчитать средневзвешенные значения. Число 64 является суммой коэффициентов фильтров RGB у фильтров взвешенного среднего.
Пропорции (цветовое отношение) средневзвешенных значений RGB рассчитываются из рассчитанных средневзвешенных значений RGB. 3×3 пикселя (пиксели в толстой рамке, показанной на фиг. 5) в центральном сегменте в локальной области 9×9 пикселей установлены в качестве целевых пикселей обработки устранения мозаичности, и значения пикселей в положениях пикселя целевых пикселей интерполируются рассчитанным цветовым отношением для расчета значений пикселей других значений в положениях пикселя.
Более точно, когда рассчитанными средневзвешенными значениями каждого цвета RGB являются Rf, Gf и Bf, целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, значения R и B пикселя в положении целевого пикселя рассчитываются посредством следующих формул.
R=G×(Rf/Gf), B=G×(Bf/Gf) (1)
Подобным образом, когда целевым значением обработки устранения мозаичности является пиксель R, и значением пикселя является R, значения G и B пикселей у пикселей G и B в положении целевого пикселя рассчитываются посредством следующих формул.
G=R×( Gf/Rf), B=R×( Bf/Rf) (2)
Когда целевым пикселем обработки устранения мозаичности является пиксель B и значением пикселя является B, значения G и R пикселей у пикселей G и R в положении целевого пикселя рассчитываются посредством следующих формул.
G=B×(Gf/Bf), R=B×(Rf/Bf) (3)
Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 3×3 пикселя в центральном сегменте в локальной области 9×9 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на 3×3 пикселя.
Если локальная область 9×9 пикселей сдвигается на три пикселя в горизонтальном или вертикальном направлении из состояния, показанного на фиг. 5, матрица B 3×3 пикселя располагается в центральном сегменте локальной области 9×9 пикселей после сдвига (смотрите фиг. 4). Как описано, компоновки фильтров G являются такими же, как в матрицах A и B, и отличны только положения фильтров R и B. Между тем, идентичные значения назначаются коэффициентам фильтра в положениях, соответствующих фильтрам R, и в положениях, соответствующих фильтрам B, в фильтрах взвешенного среднего.
Поэтому, одинаковые фильтры взвешенного среднего могут использоваться, когда обработка устранения мозаичности выполняется наряду со сдвигом локальной области.
Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны. Поэтому если средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего, когда фильтры взвешенного среднего применяются к мозаичному изображению RGB, полученному из элемента 12 формирования цветного изображения, цвета локальной области, основанные на средневзвешенных значениях RGB, могут точно указываться независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях. Обработка устранения мозаичности выполняется на основании цветов из средневзвешенных значений RGB, и формирование ложного цвета может сдерживаться. Как результат, можно не компоновать оптический фильтр нижних частот для сдерживания формирования ложного цвета на оптическом пути от плоскости падения до плоскости формирования изображения оптической системы. Даже если применяется оптический фильтр нижних частот, может применяться фильтр с меньшим эффекта среза высокочастотных составляющих для предотвращения формирования ложного цвета, и потеря разрешения может предотвращаться.
В варианте осуществления значение пикселя в положении пикселя целевого пикселя интерполируется на основании цветового отношения средневзвешенных значений RGB для расчета значений пикселя других цветов в целевом положении. Однако компоновка не ограничена этим, и значение пикселя у целевого пикселя может интерполироваться на основании цветового контраста между средневзвешенными значениями RGB для расчета значений пикселя других цветов.
Более точно, когда средневзвешенными значениями каждого цвета RGB являются Rf, Gf и Bf, целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, значения R и B пикселя в положении целевого пикселя рассчитываются посредством следующих формул.
R=G+(Rf-Gf), B=G+(Bf-Gf) (4)
Подобным образом, когда целевым пикселем обработки устранения мозаичности является пиксель R, и значением пикселя является R, значения G и B пикселей у пикселей G и B в положении целевого пикселя рассчитываются посредством следующих формул.
G=R+(Gf-Rf), B=R+(Bf-Rf) (5)
Когда целевым пикселем обработки устранения мозаичности является пиксель B и значением пикселя является B, значения G и R пикселей у пикселей G и R в положении целевого пикселя рассчитываются посредством следующих формул.
G=B+(Gf-Bf), R=B+(Rf-Bf) (6)
{Второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего}
Фиг. 7 - схема, показывающая второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего, примененных к настоящему изобретению. Фиг. 7 особо показывает матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения, и коэффициенты фильтра у фильтров взвешенного среднего, используемые для матрицы цветовых фильтров.
Как показано на фиг. 7, в матрице цветовых фильтров элемента формирования цветного изображения по второму варианту осуществления, горизонтальная линя включает в себя RGBRGBRGB..., следующая горизонтальная линия включает в себя GBRGBRGBR..., следующая горизонтальная линия включает в себя BRGBRGBRG..., и это повторяется.
Более точно, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные в предварительно определенном цикле.
Как показано на фиг. 7, матрица цветовых фильтров включает в себя фильтры всех цветов R, G и B, размещенные на линиях в горизонтальном и вертикальном направлениях.
Таким образом, матрица цветовых фильтров элемента формирования цветного изображения по второму варианту осуществления включает в себя такие же признаки, как признаки (1) и (2) матрицы цветовых фильтров элемента 12 формирования изображения в первом варианте осуществления.
Между тем, фильтры взвешенного среднего по второму варианту осуществления, применяемые к элементу формирования цветного изображения, имеют размер ядра 6×6, как показано толстой рамой по фиг. 7, и устанавливаются коэффициенты фильтра, показанные на фиг. 7.
Более точно, для коэффициентов фильтра у фильтров взвешенного среднего по второму варианту осуществления, локальная область 6×6 пикселей извлекается из мозаичного изображения, полученного из элемента формирования цветного изображения по второму варианту осуществления. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).
Например, коэффициенты фильтра самой верхней строки имеют значения 0, 1, 2, 2, 1 и 0 на фиг. 7. Может быть признано, что суммы цветов имеют значения R=0+2=2, G=1+1=2, и B=2+0=2, и суммы находятся в соотношении 2:2:2=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.
Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 2×2, коэффициенты фильтра 2×2 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 2×2 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 2×2 в четырех углах были наименьшими.
Коэффициенты фильтра установлены в фильтрах взвешенного среднего так, чтобы коэффициенты были горизонтально симметричными, вертикально симметричными и центрально симметричными.
Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.
Как в первом варианте осуществления, средневзвешенные значения RGB рассчитываются на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, и коэффициентов фильтра у фильтров взвешенного среднего. Значения пикселя целевых пикселей 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей могут интерполироваться на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями RGB для расчета других цветов.
Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 2×2 пикселя в центральном сегменте в локальной области 6×6 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на два пикселя в горизонтальном или вертикальном направлении. В этом случае могут использоваться те же самые фильтры взвешенного среднего.
{Третий вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего}
Фиг. 8 - схема, показывающая третий вариант осуществления элемента формирования цветного изображения, используемого для настоящего изобретения. Фиг. 8 особо показывает матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Фиг. 9 показывает коэффициенты фильтра у фильтров взвешенного среднего, применяемых к элементу формирования цветного изображения.
Как показано на фиг. 8, матрица цветовых фильтров элемента формирования цветного изображения по третьему варианту осуществления включает в себя базовую матричную структуру (структуру, указанную толстой рамкой), сформированную квадратной матричной структурой, соответствующей 4×4 пикселям, и базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях. Поэтому матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтров R, фильтров G и фильтров B), размещенные в предварительно определенном цикле.
Матрица цветовых фильтров включает в себя фильтры всех цветов R, G и B, размещенные на линиях горизонтального и вертикального направлений.
Базовая матричная структура у матрицы цветовых фильтров центрально симметрична относительно центра базовой матричной структуры.
Более того, в базовой матричной структуре матрицы цветовых фильтров, показанной на фиг. 8, количества пикселей у пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G, и B в базовой матричной структуре, имеют значения четырех пикселей, восьми пикселей и четырех пикселей, соответственно. Более точно, отношение количеств пикселей у пикселей RGB имеет значение 1:2:1, и пропорция количества пикселей у пикселей G, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей у каждого из пикселей R и B других цветов.
Таким образом, матрица цветовых фильтров элемента формирования цветного изображения по третьему варианту осуществления имеет такие же признаки, как признаки (1), (2), (3) и (4) матрицы цветовых фильтров элемента 12 формирования изображения по первому варианту осуществления.
Между тем, фильтры взвешенного среднего по третьему варианту осуществления, применяемые к элементу формирования цветного изображения, имеют размер ядра 6×6, как показано толстыми рамками 9A и 9B, и устанавливаются коэффициенты фильтра, показанные на фиг. 9A и 9B.
Более точно, для коэффициентов фильтра у фильтров взвешенного среднего по третьему варианту осуществления, локальная область 6×6 пикселей извлекается из мозаичного изображения, полученного из элемента формирования цветного изображения по третьему варианту осуществления. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).
Например, коэффициенты фильтра самой верхней строки имеют значения 2, 1, 2, 4, 2 и 1 на фиг. 9A. Может быть признано, что суммы цветов имеют значения R=4, G=1+2+1=4, и B=2+2=4, и суммы находятся в соотношении 4:4:4=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.
Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 2×2, коэффициенты фильтра 2×2 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 2×2 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 2×2 в четыре углах были наименьшими.
Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.
Как в первом варианте осуществления, средневзвешенные значения RGB рассчитываются на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, и коэффициентов фильтра у фильтров взвешенного среднего. Значения пикселя целевых пикселей 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей могут интерполироваться на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями RGB для расчета других цветов.
Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 2×2 пикселя в центральном сегменте в локальной области 6×6 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на два пикселя в горизонтальном или вертикальном направлении. В этом случае могут использоваться другие фильтры взвешенного среднего.
Более точно, когда есть пиксели G на верхнем левом и нижнем правом из 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, как показано на фиг. 9A, используются фильтры взвешенного среднего с коэффициентами фильтра, показанными на фиг. 9A. Когда локальная область, извлеченная из мозаичного изображения, сдвинута на два пикселя в горизонтальном направлении, как показано на фиг. 9B, и есть пиксели G на верхнем правом и нижнем левом из 2×2 пикселей в центральном сегменте локальной области, используются фильтры взвешенного среднего с коэффициентами фильтра, показанными на фиг. 9B.
{Прочее}
Хотя устройство формирования цветного изображения, включающее в себя элемент формирования цветного изображения с цветовыми фильтрами трех основных цветов RGB было описано в вариантах осуществления, настоящее изобретение не ограничено этим. Настоящее изобретение также может применяться к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех цветов, включающих в себя три основных цвета RGB и еще один цвет (например, изумрудный цвет (E)).
Настоящее изобретение также может быть применено к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех дополнительных цветов, в том числе G в дополнение к C (голубому цвету), M (пурпурному цвету) и Y (желтому цвету), которые являются дополнительными цветами основных цветов RGB.
Очевидно, что настоящее изобретение не ограничено вариантами осуществления и различные модификации могут быть произведены, не выходя из сущности настоящего изобретения.
СПИСОК ОБОЗНАЧЕНИЙ ССЫЛОК
10 оптическая система формирования изображения,
12 элемент формирования цветного изображения,
14 блок обработки изображения,
16 блок обработки изображения,
18 блок возбуждения,
20 блок управления

Claims (13)

1. Устройство формирования цветного изображения, содержащее:
одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры, размещенные на множестве пикселей, сформированных фотоэлектрическими преобразователями, размещенными в горизонтальном и вертикальном направлениях, причем цветовые фильтры имеют матрицу цветовых фильтров, где все цвета размещены периодически на каждой линии в горизонтальном и вертикальном направлениях;
блок получения изображения, который получает мозаичное изображение с элемента формирования цветного изображения;
фильтры взвешенного среднего с предварительно определенными коэффициентами фильтра, при этом соотношение между цветами пикселей и коэффициентами фильтра в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлено так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны;
блок расчета взвешенного среднего, который рассчитывает средневзвешенные значения каждого цвета на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего;
блок обработки устранения мозаичности, который рассчитывает значение пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего, и который интерполирует значение пикселя целевого пикселя на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями цвета и иного цвета целевого пикселя для расчета значения пикселя иного цвета; и
блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности при сдвиге локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, блоком целевых пикселей обработки устранения мозаичности,
причем матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовую матричную структуру, включающую в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени вносит вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторых цветов, иных чем первый цвет, базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях, и
пропорция количества пикселей первого цвета, соответствующего первым фильтрам, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны.
2. Устройство формирования цветного изображения по п.1, в котором
пропорция количества пикселей первого цвета, соответствующего первым фильтрам, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам.
3. Устройство формирования цветного изображения по п.1, в котором фильтры взвешенного среднего являются фильтрами, взвешенными для увеличения коэффициентов фильтра в центральном сегменте.
4. Устройство формирования цветного изображения по п.1, в котором фильтры взвешенного среднего имеют коэффициенты фильтра, которые горизонтально симметричны, вертикально симметричны и центрально симметричны.
5. Устройство формирования цветного изображения по п.1, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
6. Устройство формирования цветного изображения по п.2, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
7. Устройство формирования цветного изображения по п.3, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
8. Устройство формирования цветного изображения по п.4, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R× (Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
9. Устройство формирования цветного изображения по п.1, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
10. Устройство формирования цветного изображения по п.2, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
11. Устройство формирования цветного изображения по п.3, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
12. Устройство формирования цветного изображения по п.4, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул G=B+(Gf-Bf), и R=B+(Rf-Bf).
13. Устройство формирования цветного изображения по любому одному из пп.1-12, в котором цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров,
матрица фильтров включает в себя: первую матрицу, соответствующую 3x3 пикселей, первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры В, размещенные вертикально через фильтр G в центре, и фильтры R, размещенные горизонтально через фильтр G в центре; и вторую матрицу, соответствующую 3x3 пикселей, вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, размещенные вертикально через фильтр G в центре, и фильтры В, размещенные горизонтально через фильтр G в центре, при этом, первая и вторая матрицы размещены поочередно в горизонтальном и вертикальном направлениях,
фильтры взвешенного среднего имеют размер ядра 9x9, и
блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду с последовательным сдвигом фильтра взвешенного среднего для установки одной из первой и второй матрицы по центру.
RU2013138394/07A 2011-02-28 2011-07-29 Устройство формирования цветного изображения RU2551649C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011042514 2011-02-28
JP2011-042514 2011-02-28
JP2011162414 2011-07-25
JP2011-162414 2011-07-25
PCT/JP2011/067419 WO2012117583A1 (ja) 2011-02-28 2011-07-29 カラー撮像装置

Publications (2)

Publication Number Publication Date
RU2013138394A RU2013138394A (ru) 2015-04-20
RU2551649C2 true RU2551649C2 (ru) 2015-05-27

Family

ID=46757537

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013138394/07A RU2551649C2 (ru) 2011-02-28 2011-07-29 Устройство формирования цветного изображения

Country Status (7)

Country Link
US (2) US8531563B2 (ru)
EP (1) EP2683166B1 (ru)
JP (2) JP5054857B1 (ru)
CN (2) CN103974044B (ru)
BR (1) BR112012027306A2 (ru)
RU (1) RU2551649C2 (ru)
WO (1) WO2012117583A1 (ru)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE502005003754D1 (de) 2004-05-25 2008-05-29 Vdo Automotive Ag Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8488031B2 (en) * 2011-01-14 2013-07-16 DigitalOptics Corporation Europe Limited Chromatic noise reduction method and apparatus
BR112012027306A2 (pt) * 2011-02-28 2016-08-02 Fujifilm Corp aparelho de geração de imagem colorida
WO2012120705A1 (ja) * 2011-03-09 2012-09-13 富士フイルム株式会社 カラー撮像素子
JP5378627B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP5519083B2 (ja) * 2011-09-29 2014-06-11 富士フイルム株式会社 画像処理装置、方法、プログラムおよび撮像装置
WO2013099917A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 撮像装置
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP2013201723A (ja) * 2012-03-26 2013-10-03 Hoya Corp 撮像素子用オンチップカラーフィルタ配列
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP6246808B2 (ja) * 2012-08-06 2017-12-13 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH カメラ及び照明を用いたガラス面の雨滴検出
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014034486A1 (ja) 2012-08-27 2014-03-06 富士フイルム株式会社 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US8830395B2 (en) * 2012-12-19 2014-09-09 Marvell World Trade Ltd. Systems and methods for adaptive scaling of digital images
WO2014122804A1 (ja) * 2013-02-05 2014-08-14 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
CN103218790B (zh) * 2013-04-25 2016-01-27 华为技术有限公司 图像滤波的方法和滤波器
US9042643B2 (en) * 2013-06-20 2015-05-26 Himax Imaging Limited Method for demosaicking
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US20150363922A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Super-resolution from handheld camera
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN104296664A (zh) * 2014-09-17 2015-01-21 宁波高新区晓圆科技有限公司 一种在几何尺寸视觉检测中提高检测精度的方法
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
KR102282457B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
KR102224851B1 (ko) 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10349015B2 (en) 2015-06-08 2019-07-09 Trustees Of Dartmouth College Image sensor color filter array pattern
CN104933675B (zh) * 2015-07-02 2017-11-07 浙江大学 一种周期性可控的复杂镶嵌图案生成方法
US10445612B2 (en) * 2015-10-26 2019-10-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
GB2555585A (en) * 2016-10-31 2018-05-09 Nokia Technologies Oy Multiple view colour reconstruction
KR102584523B1 (ko) * 2016-11-16 2023-10-05 한화비전 주식회사 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치
US10783158B2 (en) 2016-12-19 2020-09-22 Datalogic IP Tech, S.r.l. Method and algorithms for auto-identification data mining through dynamic hyperlink search analysis
CN107068731B (zh) * 2017-06-09 2019-11-19 京东方科技集团股份有限公司 像素排列结构、显示面板、显示装置和掩模板
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
CN110830680B (zh) * 2018-08-08 2021-03-16 瑞昱半导体股份有限公司 确定滤波器系数的方法
CN109357687B (zh) * 2018-09-07 2022-07-08 上海集成电路研发中心有限公司 一种cmos图像传感器的缺陷检测方法
CN114641863A (zh) * 2019-05-23 2022-06-17 三星显示有限公司 颜色转换基板和包括该颜色转换基板的显示装置
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
TWI767795B (zh) * 2021-07-20 2022-06-11 國立虎尾科技大學 馬賽克磚影像資料庫之建立方法及其應用方法
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统
US20240015407A1 (en) 2021-12-08 2024-01-11 Dream Chip Technologies Gmbh Method for processing image data of an image sensor and image processor unit and computer program
CN114363486A (zh) * 2021-12-14 2022-04-15 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1793620A1 (en) * 2005-06-21 2007-06-06 Sony Corporation Image processing device and method, imaging device, and computer program
RU2367108C2 (ru) * 2004-07-13 2009-09-10 Сони Корпорейшн Устройство для съемки изображения, интегральная схема элемента съемки изображения и способ обработки результата съемки изображения

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60263592A (ja) * 1984-06-11 1985-12-27 Toshiba Corp 固体撮像装置
JPH05505718A (ja) * 1991-01-25 1993-08-19 イーストマン・コダック・カンパニー フィールドスタガ式色フィルタ図形を用いた固体カラーイメージセンサ
JP2892177B2 (ja) * 1991-05-15 1999-05-17 日本放送協会 カラー固体撮像装置
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JP3503372B2 (ja) * 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
DE69924308T2 (de) * 1998-01-20 2006-03-09 Hewlett-Packard Development Co., L.P., Houston Farbbildaufnahmegerät
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP2001197512A (ja) * 2000-01-14 2001-07-19 Mitsubishi Electric Corp 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
EP1148735A1 (en) * 2000-04-20 2001-10-24 Koninklijke Philips Electronics N.V. Camera with color filter
US6970597B1 (en) * 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4334488B2 (ja) * 2005-02-15 2009-09-30 三菱電機株式会社 画素信号処理装置及び方法
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4977395B2 (ja) * 2006-04-14 2012-07-18 富士フイルム株式会社 画像処理装置及び方法
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
JP4919723B2 (ja) * 2006-07-18 2012-04-18 ウインボンド エレクトロニクス コーポレイション 画像信号のノイズ削減方法及び装置
KR100885786B1 (ko) 2006-09-06 2009-02-26 주식회사 하이닉스반도체 반도체 메모리 소자의 비트라인 형성 방법
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
BR112012027306A2 (pt) * 2011-02-28 2016-08-02 Fujifilm Corp aparelho de geração de imagem colorida

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2367108C2 (ru) * 2004-07-13 2009-09-10 Сони Корпорейшн Устройство для съемки изображения, интегральная схема элемента съемки изображения и способ обработки результата съемки изображения
EP1793620A1 (en) * 2005-06-21 2007-06-06 Sony Corporation Image processing device and method, imaging device, and computer program

Also Published As

Publication number Publication date
US20120293695A1 (en) 2012-11-22
US20130308022A1 (en) 2013-11-21
WO2012117583A1 (ja) 2012-09-07
JP2013048409A (ja) 2013-03-07
JP5872407B2 (ja) 2016-03-01
EP2683166A4 (en) 2015-04-01
CN102870417A (zh) 2013-01-09
RU2013138394A (ru) 2015-04-20
US8704922B2 (en) 2014-04-22
EP2683166B1 (en) 2017-12-13
CN102870417B (zh) 2014-05-14
US8531563B2 (en) 2013-09-10
BR112012027306A2 (pt) 2016-08-02
JPWO2012117583A1 (ja) 2014-07-07
EP2683166A1 (en) 2014-01-08
CN103974044A (zh) 2014-08-06
CN103974044B (zh) 2016-06-08
JP5054857B1 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
RU2551649C2 (ru) Устройство формирования цветного изображения
RU2556022C2 (ru) Устройство формирования цветного изображения
US9431444B2 (en) Single-plate color imaging element including color filters arranged on pixels
US8922683B2 (en) Color imaging element and imaging apparatus
RU2548567C1 (ru) Элемент формирования цветных изображений
US9159758B2 (en) Color imaging element and imaging device
WO2014006931A1 (ja) カラー撮像素子および撮像装置
US9324749B2 (en) Color imaging element and imaging device
CN104412581B (zh) 彩色摄像元件及摄像装置
US9185375B2 (en) Color imaging element and imaging device
US8982253B2 (en) Color imaging element