RU2551649C2 - Устройство формирования цветного изображения - Google Patents
Устройство формирования цветного изображения Download PDFInfo
- Publication number
- RU2551649C2 RU2551649C2 RU2013138394/07A RU2013138394A RU2551649C2 RU 2551649 C2 RU2551649 C2 RU 2551649C2 RU 2013138394/07 A RU2013138394/07 A RU 2013138394/07A RU 2013138394 A RU2013138394 A RU 2013138394A RU 2551649 C2 RU2551649 C2 RU 2551649C2
- Authority
- RU
- Russia
- Prior art keywords
- filters
- pixel
- pixels
- color
- mosaic
- Prior art date
Links
- 239000003086 colorant Substances 0.000 claims abstract description 68
- 230000008030 elimination Effects 0.000 claims abstract description 25
- 238000003379 elimination reaction Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 107
- 230000015572 biosynthetic process Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 7
- 238000004040 coloring Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
- G02F1/1333—Constructional arrangements; Manufacturing methods
- G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
- G02F1/133509—Filters, e.g. light shielding masks
- G02F1/133514—Colour filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Nonlinear Science (AREA)
- General Physics & Mathematics (AREA)
- Crystallography & Structural Chemistry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Optical Filters (AREA)
Abstract
Изобретение относится к устройству формирования цветного изображения, которое подавляет формирование цветного муара (цветовых комбинационных искажений). Техническим результатом является подавление формирования ложного цвета высокочастотного сегмента посредством простой обработки изображения. Указанный технический результат достигается тем, что используется одноплатный элемент формирования цветного изображения, включающий: цветовые фильтры, имеющие матрицу цветовых фильтров, где цветовые фильтры всех цветов RGB периодически размещены на каждой линии в горизонтальном и вертикальном направлениях; фильтры взвешенного среднего, включающие в себя коэффициенты фильтра с равными пропорциями сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях, используются для расчета средневзвешенных значений каждого цвета значений пикселей у пикселей в мозаичном изображении, выдаваемом из элемента формирования цветного изображения. При расчете значения пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего значение пикселя целевого пикселя интерполируется на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений для оценки значения пикселя иного цвета. 12 з.п. ф-лы, 12 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к устройству формирования цветного изображения, а более точно, к устройству формирования цветного изображения, которое подавляет формирование цветного муара (цветовых комбинационных искажений).
УРОВЕНЬ ТЕХНИКИ
В устройстве формирования цветного изображения, включающем в себя одноплатный элемент формирования цветного изображения, выходное изображение из элемента формирования цветного изображения является изображением RAW (мозаичным изображением). Поэтому многоканальное изображение получается посредством обработки интерполяции пикселя отсутствующего цвета из окружающих пикселей (обработки устранения мозаичности). В этом случае существует проблема в характеристиках воспроизведения высокочастотного сигнала изображения.
Матрица Байера основных цветов в качестве цветовой матрицы, наиболее широко используемой в одноплатном элементе формирования цветного изображения, включает в себя пиксели зеленого цвета (G), размещенные в форме галочки, и красного цвета (R) и синего цвета (B), размещенные последовательно в линию. Поэтому есть проблема низкочастотного окрашивания (цветного муара), вызванная сверткой высокочастотных сигналов, превышающих полосы воспроизведения цветов, и вызванная уходом фаз цветов.
Например, черно-белая вертикально полосатая структура (высокочастотное изображение), как показано на фиг.10(A), попадает на элемент формирования изображения в матрице Байера, показанной на фиг. 10(B), и структура сортируется по цветовым матрицам Байера для сравнения цветов. Как показано на фиг. с 10(C) по 10(E), R формирует светлое и плоское цветное изображение, B формирует темное и плоское цветное изображение, а G формирует светлое и темное мозаичное цветное изображение. Хотя нет разницы плотности (перепада уровней) между RGB относительно исходного черно-белого изображения, изображение окрашивается в зависимости от цветовой матрицы и частоты входного сигнала.
В устройстве формирования цветного изображения, использующем одноплатный элемент формирования цветного изображения, оптический фильтр нижних частот, сформированный анизотропным веществом, таким как хрусталь, обычно размещен на передней стороне элемента формирования цветного изображения для предотвращения оптического уменьшения высокочастотной волны. Однако, хотя окрашивание, вызванное сверткой высокочастотного сигнала, может быть уменьшено этим способом, есть проблема, что соответственно уменьшается разрешение.
Для решения проблемы предложен элемент формирования цветного изображения, при этом матрица цветовых фильтров элемента формирования цветного изображения является трехцветной матрицей со случайным распределением, удовлетворяющей матричным ограничениям, при которых произвольный целевой пиксель является смежным с тремя цветами, в том числе цветом целевого пикселя на четырех сторонах целевого пикселя (PTL 1).
Также предложен датчик изображения матрицы цветовых фильтров, при этом датчик изображения включает в себя множество фильтров с разной спектральной чувствительностью, и первый и второй фильтры из числа множества фильтров поочередно размещены в первом предварительно определенном периоде в одном из диагональных направлений решетки пикселей датчика изображения и поочередно размещены во втором предварительно определенном периоде в ином диагональном направлении (PTL 2).
Более того, также предложено устройство формирования изображения, включающее в себя элемент формирования цветного изображения, в котором R и B из числа трех основных цветов RGB размещены в каждых трех пикселях в горизонтальном и вертикальном направлениях, а G размещен между R и B (PTL 3). В элементе формирования цветного изображения, описанном в PTL 3, пиксели G, которые вносят наибольший вклад в получение сигналов яркости, размещены в гораздо большем количестве, чем пиксели RB, на том основании, что разрешение цветоразностных сигналов может быть более низким, чем разрешение сигналов яркости. Это может увеличивать разрешение в горизонтальном и вертикальном направлениях.
БИБЛИОГРАФИЯ
ПАТЕНТНАЯ ЛИТЕРАТУРА
PTL 1
Выложенная заявка на выдачу патента Японии, № 2000-308080
PTL 2
Выложенная заявка на выдачу патента Японии, № 2005-136766
PTL 3
Выложенная заявка на выдачу патента Японии, № 8-23543
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ЗАДАЧА
Трехцветная матрица со случайным распределением, описанная в PTL 1, эффективна для низкочастотного цветного муара, но не эффективна для ложного цвета высокочастотного сегмента.
Между тем, в матрице цветовых фильтров датчика изображения, описанного в PTL 2, фильтры R, G и B размещены периодически на линиях в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. В обработке устранения мозаичности мозаичного изображения, выдаваемого из датчика изображения, включающего в себя матрицу цветовых фильтров, в изобретении, описанном в PTL 2, локальная область предварительно определенного размера изображения извлекается вокруг целевого пикселя, рассчитываются статистические данные, имеющие отношение к профилю распределения цвета у цвета целевого пикселя в локальной области и профилю распределения цвета иного цвета, который должен оцениваться, и профили распределения цвета подвергаются линейной регрессии на основании интенсивности цветов в положении целевого пикселя и статистических данных профилей распределения цвета, чтобы тем самым рассчитывать значение оценки иного цвета в положении целевого пикселя. Расчет статистических данных (ковариационных значений), имеющих отношение к профилям распределения цвета, и обработка расчета регрессии необходимы в изобретении, описанном в PTL 2, и существует проблема, что усложняется обработка изображения.
Элемент формирования цветного изображения, описанный в PTL 3, включает в себя линии только с пикселями G в горизонтальном или вертикальном направлении. Поэтому элемент формирования цветного изображения неэффективен для ложного цвета высокочастотного сегмента в горизонтальном или вертикальном направлении.
Настоящее изобретение было сделано ввиду этих обстоятельств, и цель настоящего изобретения состоит в том, чтобы предложить устройство формирования цветного изображения, которое может подавлять формирование ложного цвета высокочастотного сегмента посредством простой обработки изображения.
РЕШЕНИЕ ЗАДАЧИ
Для решения задачи изобретение согласно аспекту настоящего изобретения включает в себя Устройство формирования цветного изображения, включающее в себя: одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры, размещенные на множестве пикселей, сформированных фотоэлектрическими преобразователями, размещенными в горизонтальном и вертикальном направлениях, цветовые фильтры имеют матрицу цветовых фильтров, где все цвета размещены периодически на каждой линии в горизонтальном и вертикальном направлениях; блок получения изображения, который получает мозаичное изображение с элемента формирования цветного изображения; фильтры взвешенного среднего с предварительно определенными коэффициентами фильтра, при этом соотношение между цветами пикселей и коэффициентами фильтра в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлено так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны; блок расчета взвешенного среднего, который рассчитывает средневзвешенные значения каждого цвета на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего; блок обработки устранения мозаичности, который рассчитывает значение пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего и который интерполирует значение пикселя целевого пикселя на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями цвета и иного цвета целевого пикселя для расчета значения пикселя иного цвета; и блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду со сдвигом локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, блоком целевых пикселей обработки устранения мозаичности.
Согласно устройству формирования цветного изображения по аспекту настоящего изобретения используется одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры всех цветов в матрице цветовых фильтров, периодически размещенной на линиях в горизонтальном и вертикальном направлениях. Поэтому коэффициенты фильтра для цветов пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, могут быть установлены так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны.
Пропорции сумм каждого цвета равны на любой линии в горизонтальном и вертикальном направлениях в коэффициентах фильтра у фильтров взвешенного среднего. Поэтому независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, соотношение между цветами в результате применения коэффициентов фильтра не является меняющимся, и окрашивание, обусловленное сверткой высокочастотной волны, не возникает. Более точно, средневзвешенные значения каждого цвета, рассчитанные на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселя у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, указывают точные цвета в локальной области независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях в локальной области. Поэтому при расчете значения пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего значение пикселя целевого пикселя может интерполироваться на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений для оценки значения пикселя иного цвета.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовую матричную структуру, включающую в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени вносит вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторых цветов, иных чем первый цвет, базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях, и пропорция количества пикселей первого цвета, соответствующего первым фильтрам, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны. Более точно, даже если пропорция количества пикселей первого цвета, соответствующего первому фильтру, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны, пропорции сумм коэффициентов фильтра каждого цвета равны на любой линии в горизонтальном и вертикальном направлениях в коэффициентах фильтра у фильтров взвешенного среднего. Поэтому соотношение между цветами в результате применения коэффициентов фильтра не является меняющимся, и окрашивание, обусловленное сверткой высокочастотной волны, не возникает.
Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения пропорция количества пикселей первого цвета, соответствующего первым фильтрам, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам. Пропорция количества пикселей первого цвета, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам. Поэтому может подавляться псевдонимизация, и превосходна воспроизводимость высокочастотных волн.
Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, фильтры взвешенного среднего являются фильтрами, взвешенными для увеличения коэффициентов фильтра в центральном сегменте. Как результат могут точно получаться цвета в положениях пикселя целевых пикселей обработки устранения мозаичности.
Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, фильтры взвешенного среднего имеют коэффициенты фильтра, которые горизонтально симметричны, вертикально симметричны и центрально симметричны. Как результат при расчете взвешенных средних каждого цвета посредством извлечения локальной области и мозаичного изображения, одни и те же фильтры взвешенного среднего могут использоваться, даже если извлеченная локальная область смещена.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, при этом, когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и B, соответствующих фильтрам R, фильтрам G и фильтрам B, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно, если целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и B пикселей у пикселей R и B в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf) и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и B пикселей у пикселей G и B в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf) и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем B и значением пикселя является B, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf) и R=B×(Rf/Bf).
Отношение средневзвешенных значений (Rf, Gf, Bf) каждого цвета в локальной области указывает отношение (цветовое отношение) RGB исходных цветов в положении пикселя целевого пикселя в локальной области. Значение пикселя в положении целевого пикселя может интерполироваться на основании цветового отношения для точной оценки значения пикселя иного цвета.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, при этом, когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и B, соответствующих фильтрам R, фильтрам G и фильтрам B, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно, если целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и B пикселей у пикселей R и B в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf) и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и B пикселей у пикселей G и B в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf) и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем B и значением пикселя является B, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf) и R=B+(Rf-Bf).
Перепад между средневзвешенными значениями (Rf, Gf, Bf) каждого цвета в локальной области указывает перепад (цветовой контраст) между RGB исходных цветов в положении пикселя целевого пикселя в локальной области. Значение пикселя в положении целевого пикселя может интерполироваться на основании цветового контраста для точной оценки значения пикселя иного цвета.
В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселей, первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры B, размещенные вертикально через фильтр G в центре, и фильтры R, размещенные горизонтально через фильтр G в центре; и вторую матрицу, соответствующую 3×3 пикселей, вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, размещенные вертикально через фильтр G в центре, и фильтры B, размещенные горизонтально через фильтр G в центре, при этом первая и вторая матрицы размещены поочередно в горизонтальном и вертикальном направлениях, фильтры взвешенного среднего имеют размер ядра 9×9, и блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду с последовательным сдвигом фильтра взвешенного среднего для установки одной из первой и второй матрицы по центру.
Первая и вторая матрицы включают в себя вертикально и горизонтально симметричные цветовые фильтры, и только фильтры R и B переключаются между первой и второй матрицами. Поэтому в обработке наряду со сдвигом фильтров взвешенного среднего на 3×3 пикселей пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях могут быть равны без изменения коэффициентов фильтра у фильтров взвешенного среднего.
ПОЛОЖИТЕЛЬНЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ
Согласно настоящему изобретению коэффициенты фильтра для цветов пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлены так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны, и средневзвешенные значения каждого цвета рассчитываются на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего. Поэтому цветовое отношение или цветовой контраст средневзвешенных значений каждого цвета в локальной области указывает цветовое отношение или цветовой контраст исходных цветов в положении пикселя целевого пикселя локальной области. Как результат значение пикселя иного цвета может точно оцениваться посредством интерполяции значения пикселя целевого пикселя на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений.
Цветовое отношение или цветовой контраст средневзвешенных значений каждого цвета в локальной области не меняется независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях в локальной области. Поэтому ложное определение цвета не происходит, и может подавляться формирование ложного цвета в высокочастотном сегменте. Значение пикселя иного цвета может оцениваться посредством простого расчета взвешенного среднего и интерполяции.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - структурная схема, показывающая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.
Фиг. 2 - схема, показывающая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения по первому варианту осуществления.
Фиг. 3 - схема, показывающая базовую матричную структуру, включенную в матрицу цветовых фильтров элемента формирования цветного изображения по первому варианту осуществления.
Фиг. 4 - схема, показывающая состояние, в котором базовая матричная структура 6×6 пикселей, включенная в матрицу цветовых фильтров элемента формирования цветного изображения по первому варианту осуществления, поделена на матрицы A и матрицы B 3×3 пикселей, а матрицы A и матрицы B упорядочены.
Фиг. 5 - схема, показывающая фильтры взвешенного среднего, используемые для элемента формирования цветного изображения по первому варианту осуществления.
Фиг. 6A - схема, показывающая изображение, когда вводится вертикально полосатая высокочастотная волна.
Фиг. 6B - схема, используемая для пояснения, что нет ухода цвета в цветах средневзвешенных значений, применяемых с фильтрами взвешенного среднего, когда вводится вертикально полосатая высокочастотная волна.
Фиг. 7 - схема, показывающая второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего, примененных к настоящему изобретению.
Фиг. 8 - схема, показывающая третий вариант осуществления элемента формирования цветного изображения, используемого для настоящего изобретения.
Фиг. 9A - схема, показывающая третий вариант осуществления фильтров взвешенного среднего, используемых для элемента формирования цветного изображения по третьему варианту осуществления.
Фиг. 9B - схема, показывающая фильтры взвешенного среднего, применяемые, когда локальная область 6×6 пикселей, показанная на фиг. 9A, перемещается на два пикселя в горизонтальном направлении.
Фиг. 10 - схема, используемая для пояснения проблемы традиционного элемента формирования цветного изображения с цветовыми фильтрами в матрице Байера.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
В дальнейшем предпочтительные варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению будут подробно описаны со ссылкой на прилагаемые чертежи.
{Общая конфигурация устройства формирования цветного изображения}
Фиг. 1 - структурная схема, показывающая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.
Оптическая система 10 формирования изображения изображает предмет, и оптическое изображение, показывающее изображение предмета, формируется на поверхности приема света элемента 12 формирования цветного изображения (элемента формирования цветного изображения по первому варианту осуществления).
Элемент 12 формирования цветного изображения является одноплатным элементом формирования цветного изображения, включающим в себя: множество пикселей (не показанных), включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях (двухмерной матрице); и цветовые фильтры в предварительно определенной матрице цветовых фильтров на поверхностях приема света пикселей. Матрица цветовых фильтров элемента 12 формирования цветного изображения отличается тем, что включает в себя фильтры всех цветов, красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенные периодически на линиях в горизонтальном и вертикальном направлениях. Подробности будут описаны позже.
Элементы фотоэлектрического преобразования преобразуют изображение предмета, сформированное на элементе 12 формирования цветного изображения, в информационные заряды, соответствующие количествам падающего света. Информационные заряды, накопленные на элементах фотоэлектрического преобразования, последовательно считываются с элемента 12 формирования цветного изображения в качестве сигналов напряжения (сигналов изображения), соответствующих информационным зарядам, на основании импульсов возбуждения, выдаваемых из блока 18 возбуждения согласно команде блока 20 управления. Сигналы изображения, считанные с элемента 12 формирования цветного изображения, являются сигналами R, G и B, показывающими мозаичное изображение R, G и B, соответствующее матрице цветовых фильтров элемента 12 формирования цветного изображения.
Элемент 12 формирования цветного изображения не ограничен элементом формирования цветного изображения на ПЗС (приборах с зарядовой связью, CCD) и может быть другим типом элемента формирования изображения, таким как элемент формирования изображения на КМОП (комплементарных структурах металл-оксид-полупроводник, CMOS).
Сигналы изображения, считанные с элемента 12 формирования цветного изображения, вводятся в блок 14 обработки изображения. Блок 14 обработки изображения включает в себя: схему коррелированной двойной выборки (CDS), которая удаляет сбросной шум, включенный в сигналы изображения; схему АРУ (AGC), которая усиливает сигналы изображения и управляет размером на определенном уровне; и аналого-цифровой (A/D) преобразователь. Блок 14 обработки изображения применяет обработку коррелированной двойной выборки к входным сигналам изображения и усиливает сигналы изображения, а затем выводит данные RAW, которые сформированы посредством преобразования сигналов изображения в цифровые сигналы изображения, в блок 16 обработки изображения.
Блок 16 обработки изображения включает в себя схему коррекции баланса белого, схему коррекции градаций яркости, схему обработки устранения мозаичности согласно настоящему изобретению (схему обработки, которая рассчитывает (преобразует в синхронную систему) всю цветовую информацию RGB пикселей из мозаичного изображения RGB, ассоциативно связанного с матрицей цветовых фильтров одноплатного элемента 12 формирования цветного изображения), схему формирования сигнала яркости/цветоразностного сигнала, схему коррекции контуров, схему цветовой коррекции и тому подобное. Согласно команде из блока 20 управления блок 16 обработки изображения применяет требуемую сигнальную обработку к данным RAW мозаичного изображения, введенным из блока 14 обработки изображения, для формирования данных изображения (данных YUV (модели яркости и цветоразностных сигналов)), в том числе данных яркости (данных Y) и цветоразностных данных (данных Cr, Cb).
Что касается неподвижных изображений, схема обработки сжатием/расширением применяет обработку сжатием, которая совместима со стандартом JPEG, к данным изображения, сформированным блоком 16 обработки изображения. Что касается движущихся изображений, схема обработки сжатием/расширением применяет обработку сжатием, которая совместима со стандартом MPEG2, к данным изображения. Данные изображения записаны на носителе записи (в карте памяти) и выдаются и отображаются на устройстве отображения (не показано), таком как жидкокристаллический монитор.
Подробности обработки посредством схемы обработки устранения мозаичности согласно настоящему изобретению в блоке 16 обработки изображения будут описаны позже.
<Признаки матрицы цветовых фильтров>
Матрица цветовых фильтров элемента 12 формирования цветного изображения имеет следующие признаки (1), (2) и (3).
{Признак (1)}
Фиг. 2 - схема, показывающая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе 12 формирования цветного изображения. Как показано на фиг. 2, матрица цветовых фильтров элемента 12 формирования цветного изображения включает в себя базовую матричную структуру P (структуру, указанную толстой рамкой), сформированную квадратной матричной структурой, соответствующей 6×6 пикселям, и базовая матричная структура P повторно размещена в горизонтальном и вертикальном направлениях. Поэтому матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтров R, фильтров G и фильтров B), размещенные в предварительно определенном цикле.
Таким образом, фильтры R, фильтры G и фильтры B размещены в предварительно определенном цикле. Поэтому обработка устранения мозаичности, и тому подобное у сигналов R, G и B, считанных из элемента 12 формирования цветного изображения, может обрабатываться согласно повторяющейся структуре.
{Признак (2)}
В матрице цветовых фильтров, показанной на фиг. 2, фильтры всех цветов R, G и B размещены на линиях в горизонтальном и вертикальном направлениях.
Фиг. 3 показывает состояние, в котором базовая матричная структура P, показанная на фиг. 2, поделена на четыре набора 3×3 пикселя.
Как показано на фиг. 3, базовая матричная структура P может восприниматься в качестве структуры, включающей в себя матрицы A 3×3 пикселя, окруженные рамкой сплошных линий, и матрицы B 3×3 пикселя, окруженные рамкой прерывистых линий, поочередно размещенные в горизонтальном и вертикальном направлениях, как показано на фиг. 4.
Каждая из матриц A и B включает в себя фильтры G в качестве пикселей яркости, размещенных в четырех углах и центре, и фильтры G размещены на обеих диагоналях. В матрице A фильтры R размещены в горизонтальном направлении, и фильтры B размещены в вертикальном направлении, поперек фильтра G в центре. Между тем в матрице B фильтры B размещены в горизонтальном направлении, и фильтры R размещены в вертикальном направлении, поперек фильтра G в центре. Поэтому, хотя взаимное расположение между фильтрами R и B является противоположным в матрицах A и B, остальная часть компоновки является идентичной.
{Признак (3)}
Базовая матричная структура у матрицы цветовых фильтров, показанной на фиг. 2, центрально симметрична относительно центра (центра четырех фильтров G) базовой матричной структуры. Как показано на фиг. 3, матрицы A и матрицы B в базовой матричной структуре также центрально симметричны относительно фильтров G в центрах.
{Признак (4)}
В базовой матричной структуре матрицы цветовых фильтров, показанной на фиг. 2, количества пикселей у пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G, и B в базовой матричной структуре имеют значения восьми пикселей, двадцати пикселей и восьми пикселей, соответственно. Более точно, отношение количеств пикселей у пикселей RGB имеет значение 2:5:2, и пропорция количества пикселей у пикселей G, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей у каждого из пикселей R и B других цветов.
{Фильтры взвешенного среднего, используемые в схеме обработки устранения мозаичности блока 16 обработки изображения}
Фиг. 5 - схема, показывающая вариант осуществления фильтров взвешенного среднего, используемых в схеме обработки устранения мозаичности блока 16 обработки изображения Фиг. 5, особо показывает коэффициенты фильтра у фильтров взвешенного среднего.
Как показано на фиг. 5, фильтры взвешенного среднего (фильтры взвешенного среднего по первому варианту осуществления) имеют размер ядра 9×9, и устанавливаются коэффициенты фильтра, показанные на фиг. 5.
Более точно, что касается коэффициентов фильтра у фильтров взвешенного среднего, локальная область 9×9 пикселей извлекается из мозаичного изображения, полученного из элемента 12 формирования цветного изображения, так чтобы матрица A находилась в центре. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).
Например, коэффициенты фильтра самой верхней строки имеют значения 0, 2, 1, 1, 4, 1, 1, 2 и 0 на фиг. 5. Может быть признано, что суммы цветов имеют значения R=4, G=0+1+1+1+1+0=4, и B=2+2=4, и суммы находятся в соотношении 4:4:4=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.
Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 3×3, коэффициенты фильтра 3×3 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 3×3 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 3×3 в четыре углах были наименьшими.
Коэффициенты фильтра установлены в фильтрах взвешенного среднего так, чтобы коэффициенты были горизонтально симметричными, вертикально симметричными и центрально симметричными.
Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 9×9 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.
Например, когда вводится вертикально полосатая высокочастотная волна, показанная на фиг. 6A, суммы коэффициентов фильтра каждого цвета имеют значения 32:32:32 (смотрите фиг. 6B), и может быть признано, из цветового отношения, что изображение является черно-белым.
{Обработка устранения мозаичности посредством схемы обработки устранения мозаичности блока 16 обработки изображения}
Будет описан способ применения обработки устранения мозаичности к мозаичному изображению RGB схемой обработки устранения мозаичности блока 16 обработки изображения.
Как показано на фиг. 5, локальная область 9×9 пикселей извлекается из мозаичного изображения, полученного из элемента 12 формирования цветного изображения, так что матрица A находится в центре. Средневзвешенные значения каждого цвета RGB рассчитываются на основании значений пикселя у пикселей в локальной области и коэффициентов фильтра у фильтров взвешенного среднего. Более точно, значения пикселя у пикселей в локальной области умножаются на коэффициенты фильтра у фильтров взвешенного среднего в положениях пикселей. Результаты умножения суммируются цвет за цветом для расчета сумм цветов, и суммы цветов, кроме того, делятся на 64, чтобы рассчитать средневзвешенные значения. Число 64 является суммой коэффициентов фильтров RGB у фильтров взвешенного среднего.
Пропорции (цветовое отношение) средневзвешенных значений RGB рассчитываются из рассчитанных средневзвешенных значений RGB. 3×3 пикселя (пиксели в толстой рамке, показанной на фиг. 5) в центральном сегменте в локальной области 9×9 пикселей установлены в качестве целевых пикселей обработки устранения мозаичности, и значения пикселей в положениях пикселя целевых пикселей интерполируются рассчитанным цветовым отношением для расчета значений пикселей других значений в положениях пикселя.
Более точно, когда рассчитанными средневзвешенными значениями каждого цвета RGB являются Rf, Gf и Bf, целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, значения R и B пикселя в положении целевого пикселя рассчитываются посредством следующих формул.
R=G×(Rf/Gf), B=G×(Bf/Gf) (1)
Подобным образом, когда целевым значением обработки устранения мозаичности является пиксель R, и значением пикселя является R, значения G и B пикселей у пикселей G и B в положении целевого пикселя рассчитываются посредством следующих формул.
G=R×( Gf/Rf), B=R×( Bf/Rf) (2)
Когда целевым пикселем обработки устранения мозаичности является пиксель B и значением пикселя является B, значения G и R пикселей у пикселей G и R в положении целевого пикселя рассчитываются посредством следующих формул.
G=B×(Gf/Bf), R=B×(Rf/Bf) (3)
Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 3×3 пикселя в центральном сегменте в локальной области 9×9 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на 3×3 пикселя.
Если локальная область 9×9 пикселей сдвигается на три пикселя в горизонтальном или вертикальном направлении из состояния, показанного на фиг. 5, матрица B 3×3 пикселя располагается в центральном сегменте локальной области 9×9 пикселей после сдвига (смотрите фиг. 4). Как описано, компоновки фильтров G являются такими же, как в матрицах A и B, и отличны только положения фильтров R и B. Между тем, идентичные значения назначаются коэффициентам фильтра в положениях, соответствующих фильтрам R, и в положениях, соответствующих фильтрам B, в фильтрах взвешенного среднего.
Поэтому, одинаковые фильтры взвешенного среднего могут использоваться, когда обработка устранения мозаичности выполняется наряду со сдвигом локальной области.
Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны. Поэтому если средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего, когда фильтры взвешенного среднего применяются к мозаичному изображению RGB, полученному из элемента 12 формирования цветного изображения, цвета локальной области, основанные на средневзвешенных значениях RGB, могут точно указываться независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях. Обработка устранения мозаичности выполняется на основании цветов из средневзвешенных значений RGB, и формирование ложного цвета может сдерживаться. Как результат, можно не компоновать оптический фильтр нижних частот для сдерживания формирования ложного цвета на оптическом пути от плоскости падения до плоскости формирования изображения оптической системы. Даже если применяется оптический фильтр нижних частот, может применяться фильтр с меньшим эффекта среза высокочастотных составляющих для предотвращения формирования ложного цвета, и потеря разрешения может предотвращаться.
В варианте осуществления значение пикселя в положении пикселя целевого пикселя интерполируется на основании цветового отношения средневзвешенных значений RGB для расчета значений пикселя других цветов в целевом положении. Однако компоновка не ограничена этим, и значение пикселя у целевого пикселя может интерполироваться на основании цветового контраста между средневзвешенными значениями RGB для расчета значений пикселя других цветов.
Более точно, когда средневзвешенными значениями каждого цвета RGB являются Rf, Gf и Bf, целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, значения R и B пикселя в положении целевого пикселя рассчитываются посредством следующих формул.
R=G+(Rf-Gf), B=G+(Bf-Gf) (4)
Подобным образом, когда целевым пикселем обработки устранения мозаичности является пиксель R, и значением пикселя является R, значения G и B пикселей у пикселей G и B в положении целевого пикселя рассчитываются посредством следующих формул.
G=R+(Gf-Rf), B=R+(Bf-Rf) (5)
Когда целевым пикселем обработки устранения мозаичности является пиксель B и значением пикселя является B, значения G и R пикселей у пикселей G и R в положении целевого пикселя рассчитываются посредством следующих формул.
G=B+(Gf-Bf), R=B+(Rf-Bf) (6)
{Второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего}
Фиг. 7 - схема, показывающая второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего, примененных к настоящему изобретению. Фиг. 7 особо показывает матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения, и коэффициенты фильтра у фильтров взвешенного среднего, используемые для матрицы цветовых фильтров.
Как показано на фиг. 7, в матрице цветовых фильтров элемента формирования цветного изображения по второму варианту осуществления, горизонтальная линя включает в себя RGBRGBRGB..., следующая горизонтальная линия включает в себя GBRGBRGBR..., следующая горизонтальная линия включает в себя BRGBRGBRG..., и это повторяется.
Более точно, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные в предварительно определенном цикле.
Как показано на фиг. 7, матрица цветовых фильтров включает в себя фильтры всех цветов R, G и B, размещенные на линиях в горизонтальном и вертикальном направлениях.
Таким образом, матрица цветовых фильтров элемента формирования цветного изображения по второму варианту осуществления включает в себя такие же признаки, как признаки (1) и (2) матрицы цветовых фильтров элемента 12 формирования изображения в первом варианте осуществления.
Между тем, фильтры взвешенного среднего по второму варианту осуществления, применяемые к элементу формирования цветного изображения, имеют размер ядра 6×6, как показано толстой рамой по фиг. 7, и устанавливаются коэффициенты фильтра, показанные на фиг. 7.
Более точно, для коэффициентов фильтра у фильтров взвешенного среднего по второму варианту осуществления, локальная область 6×6 пикселей извлекается из мозаичного изображения, полученного из элемента формирования цветного изображения по второму варианту осуществления. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).
Например, коэффициенты фильтра самой верхней строки имеют значения 0, 1, 2, 2, 1 и 0 на фиг. 7. Может быть признано, что суммы цветов имеют значения R=0+2=2, G=1+1=2, и B=2+0=2, и суммы находятся в соотношении 2:2:2=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.
Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 2×2, коэффициенты фильтра 2×2 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 2×2 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 2×2 в четырех углах были наименьшими.
Коэффициенты фильтра установлены в фильтрах взвешенного среднего так, чтобы коэффициенты были горизонтально симметричными, вертикально симметричными и центрально симметричными.
Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.
Как в первом варианте осуществления, средневзвешенные значения RGB рассчитываются на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, и коэффициентов фильтра у фильтров взвешенного среднего. Значения пикселя целевых пикселей 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей могут интерполироваться на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями RGB для расчета других цветов.
Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 2×2 пикселя в центральном сегменте в локальной области 6×6 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на два пикселя в горизонтальном или вертикальном направлении. В этом случае могут использоваться те же самые фильтры взвешенного среднего.
{Третий вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего}
Фиг. 8 - схема, показывающая третий вариант осуществления элемента формирования цветного изображения, используемого для настоящего изобретения. Фиг. 8 особо показывает матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Фиг. 9 показывает коэффициенты фильтра у фильтров взвешенного среднего, применяемых к элементу формирования цветного изображения.
Как показано на фиг. 8, матрица цветовых фильтров элемента формирования цветного изображения по третьему варианту осуществления включает в себя базовую матричную структуру (структуру, указанную толстой рамкой), сформированную квадратной матричной структурой, соответствующей 4×4 пикселям, и базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях. Поэтому матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтров R, фильтров G и фильтров B), размещенные в предварительно определенном цикле.
Матрица цветовых фильтров включает в себя фильтры всех цветов R, G и B, размещенные на линиях горизонтального и вертикального направлений.
Базовая матричная структура у матрицы цветовых фильтров центрально симметрична относительно центра базовой матричной структуры.
Более того, в базовой матричной структуре матрицы цветовых фильтров, показанной на фиг. 8, количества пикселей у пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G, и B в базовой матричной структуре, имеют значения четырех пикселей, восьми пикселей и четырех пикселей, соответственно. Более точно, отношение количеств пикселей у пикселей RGB имеет значение 1:2:1, и пропорция количества пикселей у пикселей G, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей у каждого из пикселей R и B других цветов.
Таким образом, матрица цветовых фильтров элемента формирования цветного изображения по третьему варианту осуществления имеет такие же признаки, как признаки (1), (2), (3) и (4) матрицы цветовых фильтров элемента 12 формирования изображения по первому варианту осуществления.
Между тем, фильтры взвешенного среднего по третьему варианту осуществления, применяемые к элементу формирования цветного изображения, имеют размер ядра 6×6, как показано толстыми рамками 9A и 9B, и устанавливаются коэффициенты фильтра, показанные на фиг. 9A и 9B.
Более точно, для коэффициентов фильтра у фильтров взвешенного среднего по третьему варианту осуществления, локальная область 6×6 пикселей извлекается из мозаичного изображения, полученного из элемента формирования цветного изображения по третьему варианту осуществления. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).
Например, коэффициенты фильтра самой верхней строки имеют значения 2, 1, 2, 4, 2 и 1 на фиг. 9A. Может быть признано, что суммы цветов имеют значения R=4, G=1+2+1=4, и B=2+2=4, и суммы находятся в соотношении 4:4:4=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.
Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 2×2, коэффициенты фильтра 2×2 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 2×2 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 2×2 в четыре углах были наименьшими.
Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.
Как в первом варианте осуществления, средневзвешенные значения RGB рассчитываются на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, и коэффициентов фильтра у фильтров взвешенного среднего. Значения пикселя целевых пикселей 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей могут интерполироваться на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями RGB для расчета других цветов.
Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 2×2 пикселя в центральном сегменте в локальной области 6×6 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на два пикселя в горизонтальном или вертикальном направлении. В этом случае могут использоваться другие фильтры взвешенного среднего.
Более точно, когда есть пиксели G на верхнем левом и нижнем правом из 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, как показано на фиг. 9A, используются фильтры взвешенного среднего с коэффициентами фильтра, показанными на фиг. 9A. Когда локальная область, извлеченная из мозаичного изображения, сдвинута на два пикселя в горизонтальном направлении, как показано на фиг. 9B, и есть пиксели G на верхнем правом и нижнем левом из 2×2 пикселей в центральном сегменте локальной области, используются фильтры взвешенного среднего с коэффициентами фильтра, показанными на фиг. 9B.
{Прочее}
Хотя устройство формирования цветного изображения, включающее в себя элемент формирования цветного изображения с цветовыми фильтрами трех основных цветов RGB было описано в вариантах осуществления, настоящее изобретение не ограничено этим. Настоящее изобретение также может применяться к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех цветов, включающих в себя три основных цвета RGB и еще один цвет (например, изумрудный цвет (E)).
Настоящее изобретение также может быть применено к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех дополнительных цветов, в том числе G в дополнение к C (голубому цвету), M (пурпурному цвету) и Y (желтому цвету), которые являются дополнительными цветами основных цветов RGB.
Очевидно, что настоящее изобретение не ограничено вариантами осуществления и различные модификации могут быть произведены, не выходя из сущности настоящего изобретения.
СПИСОК ОБОЗНАЧЕНИЙ ССЫЛОК
10 оптическая система формирования изображения,
12 элемент формирования цветного изображения,
14 блок обработки изображения,
16 блок обработки изображения,
18 блок возбуждения,
20 блок управления
Claims (13)
1. Устройство формирования цветного изображения, содержащее:
одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры, размещенные на множестве пикселей, сформированных фотоэлектрическими преобразователями, размещенными в горизонтальном и вертикальном направлениях, причем цветовые фильтры имеют матрицу цветовых фильтров, где все цвета размещены периодически на каждой линии в горизонтальном и вертикальном направлениях;
блок получения изображения, который получает мозаичное изображение с элемента формирования цветного изображения;
фильтры взвешенного среднего с предварительно определенными коэффициентами фильтра, при этом соотношение между цветами пикселей и коэффициентами фильтра в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлено так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны;
блок расчета взвешенного среднего, который рассчитывает средневзвешенные значения каждого цвета на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего;
блок обработки устранения мозаичности, который рассчитывает значение пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего, и который интерполирует значение пикселя целевого пикселя на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями цвета и иного цвета целевого пикселя для расчета значения пикселя иного цвета; и
блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности при сдвиге локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, блоком целевых пикселей обработки устранения мозаичности,
причем матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовую матричную структуру, включающую в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени вносит вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторых цветов, иных чем первый цвет, базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях, и
пропорция количества пикселей первого цвета, соответствующего первым фильтрам, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны.
одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры, размещенные на множестве пикселей, сформированных фотоэлектрическими преобразователями, размещенными в горизонтальном и вертикальном направлениях, причем цветовые фильтры имеют матрицу цветовых фильтров, где все цвета размещены периодически на каждой линии в горизонтальном и вертикальном направлениях;
блок получения изображения, который получает мозаичное изображение с элемента формирования цветного изображения;
фильтры взвешенного среднего с предварительно определенными коэффициентами фильтра, при этом соотношение между цветами пикселей и коэффициентами фильтра в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлено так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны;
блок расчета взвешенного среднего, который рассчитывает средневзвешенные значения каждого цвета на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего;
блок обработки устранения мозаичности, который рассчитывает значение пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего, и который интерполирует значение пикселя целевого пикселя на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями цвета и иного цвета целевого пикселя для расчета значения пикселя иного цвета; и
блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности при сдвиге локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, блоком целевых пикселей обработки устранения мозаичности,
причем матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовую матричную структуру, включающую в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени вносит вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторых цветов, иных чем первый цвет, базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях, и
пропорция количества пикселей первого цвета, соответствующего первым фильтрам, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны.
2. Устройство формирования цветного изображения по п.1, в котором
пропорция количества пикселей первого цвета, соответствующего первым фильтрам, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам.
пропорция количества пикселей первого цвета, соответствующего первым фильтрам, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам.
3. Устройство формирования цветного изображения по п.1, в котором фильтры взвешенного среднего являются фильтрами, взвешенными для увеличения коэффициентов фильтра в центральном сегменте.
4. Устройство формирования цветного изображения по п.1, в котором фильтры взвешенного среднего имеют коэффициенты фильтра, которые горизонтально симметричны, вертикально симметричны и центрально симметричны.
5. Устройство формирования цветного изображения по п.1, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
6. Устройство формирования цветного изображения по п.2, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
7. Устройство формирования цветного изображения по п.3, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R×(Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
8. Устройство формирования цветного изображения по п.4, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R× (Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G×(Rf/Gf), и B=G×(Bf/Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R×(Gf/Rf), и B=R× (Bf/Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B×(Gf/Bf), и R=B×(Rf/Bf).
9. Устройство формирования цветного изображения по п.1, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
10. Устройство формирования цветного изображения по п.2, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
11. Устройство формирования цветного изображения по п.3, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул
G=B+(Gf-Bf), и R=B+(Rf-Bf).
12. Устройство формирования цветного изображения по п.4, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул G=B+(Gf-Bf), и R=B+(Rf-Bf).
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров, при этом,
когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и В, соответствующие фильтрам R, фильтрам G и фильтрам В, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно,
если целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и В пикселей у пикселей R и В в положении целевого пикселя посредством следующих формул
R=G+(Rf-Gf), и B=G+(Bf-Gf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем R, и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и В пикселей у пикселей G и В в положении целевого пикселя посредством следующих формул
G=R+(Gf-Rf), и B=R+(Bf-Rf), при этом,
если целевой пиксель обработки устранения мозаичности является пикселем В, и значением пикселя является В, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул G=B+(Gf-Bf), и R=B+(Rf-Bf).
13. Устройство формирования цветного изображения по любому одному из пп.1-12, в котором цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (В), размещенным в предварительно определенной матрице цветовых фильтров,
матрица фильтров включает в себя: первую матрицу, соответствующую 3x3 пикселей, первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры В, размещенные вертикально через фильтр G в центре, и фильтры R, размещенные горизонтально через фильтр G в центре; и вторую матрицу, соответствующую 3x3 пикселей, вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, размещенные вертикально через фильтр G в центре, и фильтры В, размещенные горизонтально через фильтр G в центре, при этом, первая и вторая матрицы размещены поочередно в горизонтальном и вертикальном направлениях,
фильтры взвешенного среднего имеют размер ядра 9x9, и
блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду с последовательным сдвигом фильтра взвешенного среднего для установки одной из первой и второй матрицы по центру.
матрица фильтров включает в себя: первую матрицу, соответствующую 3x3 пикселей, первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры В, размещенные вертикально через фильтр G в центре, и фильтры R, размещенные горизонтально через фильтр G в центре; и вторую матрицу, соответствующую 3x3 пикселей, вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, размещенные вертикально через фильтр G в центре, и фильтры В, размещенные горизонтально через фильтр G в центре, при этом, первая и вторая матрицы размещены поочередно в горизонтальном и вертикальном направлениях,
фильтры взвешенного среднего имеют размер ядра 9x9, и
блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду с последовательным сдвигом фильтра взвешенного среднего для установки одной из первой и второй матрицы по центру.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011042514 | 2011-02-28 | ||
JP2011-042514 | 2011-02-28 | ||
JP2011162414 | 2011-07-25 | ||
JP2011-162414 | 2011-07-25 | ||
PCT/JP2011/067419 WO2012117583A1 (ja) | 2011-02-28 | 2011-07-29 | カラー撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2013138394A RU2013138394A (ru) | 2015-04-20 |
RU2551649C2 true RU2551649C2 (ru) | 2015-05-27 |
Family
ID=46757537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013138394/07A RU2551649C2 (ru) | 2011-02-28 | 2011-07-29 | Устройство формирования цветного изображения |
Country Status (7)
Country | Link |
---|---|
US (2) | US8531563B2 (ru) |
EP (1) | EP2683166B1 (ru) |
JP (2) | JP5054857B1 (ru) |
CN (2) | CN103974044B (ru) |
BR (1) | BR112012027306A2 (ru) |
RU (1) | RU2551649C2 (ru) |
WO (1) | WO2012117583A1 (ru) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE502005003754D1 (de) | 2004-05-25 | 2008-05-29 | Vdo Automotive Ag | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8928793B2 (en) | 2010-05-12 | 2015-01-06 | Pelican Imaging Corporation | Imager array interfaces |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US8488031B2 (en) * | 2011-01-14 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Chromatic noise reduction method and apparatus |
BR112012027306A2 (pt) * | 2011-02-28 | 2016-08-02 | Fujifilm Corp | aparelho de geração de imagem colorida |
WO2012120705A1 (ja) * | 2011-03-09 | 2012-09-13 | 富士フイルム株式会社 | カラー撮像素子 |
JP5378627B2 (ja) * | 2011-03-11 | 2013-12-25 | 富士フイルム株式会社 | 撮像装置およびその動作制御方法ならびに撮像システム |
WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
JP5519083B2 (ja) * | 2011-09-29 | 2014-06-11 | 富士フイルム株式会社 | 画像処理装置、方法、プログラムおよび撮像装置 |
WO2013099917A1 (ja) * | 2011-12-28 | 2013-07-04 | 富士フイルム株式会社 | 撮像装置 |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
JP2013201723A (ja) * | 2012-03-26 | 2013-10-03 | Hoya Corp | 撮像素子用オンチップカラーフィルタ配列 |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
CN104508681B (zh) | 2012-06-28 | 2018-10-30 | Fotonation开曼有限公司 | 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
JP6246808B2 (ja) * | 2012-08-06 | 2017-12-13 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | カメラ及び照明を用いたガラス面の雨滴検出 |
CN104662589B (zh) | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
EP2888698A4 (en) | 2012-08-23 | 2016-06-29 | Pelican Imaging Corp | PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE |
WO2014034486A1 (ja) | 2012-08-27 | 2014-03-06 | 富士フイルム株式会社 | 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置 |
WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
WO2014052974A2 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating images from light fields utilizing virtual viewpoints |
WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US8830395B2 (en) * | 2012-12-19 | 2014-09-09 | Marvell World Trade Ltd. | Systems and methods for adaptive scaling of digital images |
WO2014122804A1 (ja) * | 2013-02-05 | 2014-08-14 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
US9374512B2 (en) | 2013-02-24 | 2016-06-21 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
WO2014138695A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for measuring scene information while capturing images using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
CN103218790B (zh) * | 2013-04-25 | 2016-01-27 | 华为技术有限公司 | 图像滤波的方法和滤波器 |
US9042643B2 (en) * | 2013-06-20 | 2015-05-26 | Himax Imaging Limited | Method for demosaicking |
US9667933B2 (en) | 2013-07-01 | 2017-05-30 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
US9692992B2 (en) | 2013-07-01 | 2017-06-27 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
EP3066690A4 (en) | 2013-11-07 | 2017-04-05 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
US20150363922A1 (en) * | 2014-06-12 | 2015-12-17 | Samsung Electronics Co., Ltd. | Super-resolution from handheld camera |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
CN104296664A (zh) * | 2014-09-17 | 2015-01-21 | 宁波高新区晓圆科技有限公司 | 一种在几何尺寸视觉检测中提高检测精度的方法 |
EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
KR102282457B1 (ko) * | 2014-12-05 | 2021-07-28 | 한화테크윈 주식회사 | 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치 |
KR102224851B1 (ko) | 2014-12-11 | 2021-03-08 | 삼성전자주식회사 | 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템 |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
US10349015B2 (en) | 2015-06-08 | 2019-07-09 | Trustees Of Dartmouth College | Image sensor color filter array pattern |
CN104933675B (zh) * | 2015-07-02 | 2017-11-07 | 浙江大学 | 一种周期性可控的复杂镶嵌图案生成方法 |
US10445612B2 (en) * | 2015-10-26 | 2019-10-15 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
GB2555585A (en) * | 2016-10-31 | 2018-05-09 | Nokia Technologies Oy | Multiple view colour reconstruction |
KR102584523B1 (ko) * | 2016-11-16 | 2023-10-05 | 한화비전 주식회사 | 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치 |
US10783158B2 (en) | 2016-12-19 | 2020-09-22 | Datalogic IP Tech, S.r.l. | Method and algorithms for auto-identification data mining through dynamic hyperlink search analysis |
CN107068731B (zh) * | 2017-06-09 | 2019-11-19 | 京东方科技集团股份有限公司 | 像素排列结构、显示面板、显示装置和掩模板 |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
EP3522106A1 (en) * | 2018-01-31 | 2019-08-07 | InterDigital CE Patent Holdings | A filter array enabling easy demosaicing |
CN110830680B (zh) * | 2018-08-08 | 2021-03-16 | 瑞昱半导体股份有限公司 | 确定滤波器系数的方法 |
CN109357687B (zh) * | 2018-09-07 | 2022-07-08 | 上海集成电路研发中心有限公司 | 一种cmos图像传感器的缺陷检测方法 |
CN114641863A (zh) * | 2019-05-23 | 2022-06-17 | 三星显示有限公司 | 颜色转换基板和包括该颜色转换基板的显示装置 |
WO2021055585A1 (en) | 2019-09-17 | 2021-03-25 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
MX2022004163A (es) | 2019-10-07 | 2022-07-19 | Boston Polarimetrics Inc | Sistemas y metodos para la deteccion de estandares de superficie con polarizacion. |
MX2022005289A (es) | 2019-11-30 | 2022-08-08 | Boston Polarimetrics Inc | Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion. |
WO2021154386A1 (en) | 2020-01-29 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
TWI767795B (zh) * | 2021-07-20 | 2022-06-11 | 國立虎尾科技大學 | 馬賽克磚影像資料庫之建立方法及其應用方法 |
CN114466170B (zh) * | 2021-08-27 | 2023-10-31 | 锐芯微电子股份有限公司 | 图像处理方法及系统 |
US20240015407A1 (en) | 2021-12-08 | 2024-01-11 | Dream Chip Technologies Gmbh | Method for processing image data of an image sensor and image processor unit and computer program |
CN114363486A (zh) * | 2021-12-14 | 2022-04-15 | Oppo广东移动通信有限公司 | 图像传感器、摄像模组、电子设备、图像生成方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1793620A1 (en) * | 2005-06-21 | 2007-06-06 | Sony Corporation | Image processing device and method, imaging device, and computer program |
RU2367108C2 (ru) * | 2004-07-13 | 2009-09-10 | Сони Корпорейшн | Устройство для съемки изображения, интегральная схема элемента съемки изображения и способ обработки результата съемки изображения |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60263592A (ja) * | 1984-06-11 | 1985-12-27 | Toshiba Corp | 固体撮像装置 |
JPH05505718A (ja) * | 1991-01-25 | 1993-08-19 | イーストマン・コダック・カンパニー | フィールドスタガ式色フィルタ図形を用いた固体カラーイメージセンサ |
JP2892177B2 (ja) * | 1991-05-15 | 1999-05-17 | 日本放送協会 | カラー固体撮像装置 |
JP2931520B2 (ja) * | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
JPH0823543A (ja) | 1994-07-07 | 1996-01-23 | Canon Inc | 撮像装置 |
JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
JP3935548B2 (ja) * | 1997-02-27 | 2007-06-27 | オリンパス株式会社 | 画像信号処理装置 |
DE69924308T2 (de) * | 1998-01-20 | 2006-03-09 | Hewlett-Packard Development Co., L.P., Houston | Farbbildaufnahmegerät |
JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
JP4487351B2 (ja) * | 1999-07-15 | 2010-06-23 | ソニー株式会社 | 固体撮像素子およびその駆動方法並びにカメラシステム |
JP2001197512A (ja) * | 2000-01-14 | 2001-07-19 | Mitsubishi Electric Corp | 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法 |
EP1148735A1 (en) * | 2000-04-20 | 2001-10-24 | Koninklijke Philips Electronics N.V. | Camera with color filter |
US6970597B1 (en) * | 2001-12-05 | 2005-11-29 | Pixim, Inc. | Method of defining coefficients for use in interpolating pixel values |
EP1439715A1 (en) * | 2003-01-16 | 2004-07-21 | Dialog Semiconductor GmbH | Weighted gradient based colour interpolation for colour filter array |
JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
JP4385282B2 (ja) | 2003-10-31 | 2009-12-16 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP4334488B2 (ja) * | 2005-02-15 | 2009-09-30 | 三菱電機株式会社 | 画素信号処理装置及び方法 |
US8139130B2 (en) * | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
US7821553B2 (en) | 2005-12-30 | 2010-10-26 | International Business Machines Corporation | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
JP4977395B2 (ja) * | 2006-04-14 | 2012-07-18 | 富士フイルム株式会社 | 画像処理装置及び方法 |
JP4662883B2 (ja) | 2006-05-15 | 2011-03-30 | 富士フイルム株式会社 | 二次元カラー固体撮像素子 |
JP4919723B2 (ja) * | 2006-07-18 | 2012-04-18 | ウインボンド エレクトロニクス コーポレイション | 画像信号のノイズ削減方法及び装置 |
KR100885786B1 (ko) | 2006-09-06 | 2009-02-26 | 주식회사 하이닉스반도체 | 반도체 메모리 소자의 비트라인 형성 방법 |
US7769230B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Producing low resolution images |
US7701496B2 (en) | 2006-12-22 | 2010-04-20 | Xerox Corporation | Color filter pattern for color filter arrays including a demosaicking algorithm |
JP4930109B2 (ja) * | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
JP5082528B2 (ja) | 2007-03-23 | 2012-11-28 | ソニー株式会社 | 固体撮像装置及び撮像装置 |
JP2008289090A (ja) * | 2007-05-21 | 2008-11-27 | Toshiba Corp | 撮像信号処理装置 |
JP5272581B2 (ja) * | 2008-08-25 | 2013-08-28 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP5149143B2 (ja) | 2008-12-24 | 2013-02-20 | シャープ株式会社 | 固体撮像素子およびその製造方法、電子情報機器 |
BR112012027306A2 (pt) * | 2011-02-28 | 2016-08-02 | Fujifilm Corp | aparelho de geração de imagem colorida |
-
2011
- 2011-07-29 BR BR112012027306A patent/BR112012027306A2/pt not_active IP Right Cessation
- 2011-07-29 JP JP2012524426A patent/JP5054857B1/ja active Active
- 2011-07-29 CN CN201410160491.6A patent/CN103974044B/zh active Active
- 2011-07-29 EP EP11859802.8A patent/EP2683166B1/en active Active
- 2011-07-29 RU RU2013138394/07A patent/RU2551649C2/ru active
- 2011-07-29 WO PCT/JP2011/067419 patent/WO2012117583A1/ja active Application Filing
- 2011-07-29 CN CN201180022148.XA patent/CN102870417B/zh active Active
-
2012
- 2012-07-26 JP JP2012165733A patent/JP5872407B2/ja active Active
- 2012-07-27 US US13/560,431 patent/US8531563B2/en active Active
-
2013
- 2013-07-25 US US13/951,053 patent/US8704922B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2367108C2 (ru) * | 2004-07-13 | 2009-09-10 | Сони Корпорейшн | Устройство для съемки изображения, интегральная схема элемента съемки изображения и способ обработки результата съемки изображения |
EP1793620A1 (en) * | 2005-06-21 | 2007-06-06 | Sony Corporation | Image processing device and method, imaging device, and computer program |
Also Published As
Publication number | Publication date |
---|---|
US20120293695A1 (en) | 2012-11-22 |
US20130308022A1 (en) | 2013-11-21 |
WO2012117583A1 (ja) | 2012-09-07 |
JP2013048409A (ja) | 2013-03-07 |
JP5872407B2 (ja) | 2016-03-01 |
EP2683166A4 (en) | 2015-04-01 |
CN102870417A (zh) | 2013-01-09 |
RU2013138394A (ru) | 2015-04-20 |
US8704922B2 (en) | 2014-04-22 |
EP2683166B1 (en) | 2017-12-13 |
CN102870417B (zh) | 2014-05-14 |
US8531563B2 (en) | 2013-09-10 |
BR112012027306A2 (pt) | 2016-08-02 |
JPWO2012117583A1 (ja) | 2014-07-07 |
EP2683166A1 (en) | 2014-01-08 |
CN103974044A (zh) | 2014-08-06 |
CN103974044B (zh) | 2016-06-08 |
JP5054857B1 (ja) | 2012-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2551649C2 (ru) | Устройство формирования цветного изображения | |
RU2556022C2 (ru) | Устройство формирования цветного изображения | |
US9431444B2 (en) | Single-plate color imaging element including color filters arranged on pixels | |
US8922683B2 (en) | Color imaging element and imaging apparatus | |
RU2548567C1 (ru) | Элемент формирования цветных изображений | |
US9159758B2 (en) | Color imaging element and imaging device | |
WO2014006931A1 (ja) | カラー撮像素子および撮像装置 | |
US9324749B2 (en) | Color imaging element and imaging device | |
CN104412581B (zh) | 彩色摄像元件及摄像装置 | |
US9185375B2 (en) | Color imaging element and imaging device | |
US8982253B2 (en) | Color imaging element |