RU2548566C1 - Элемент формирования цветного изображения - Google Patents

Элемент формирования цветного изображения Download PDF

Info

Publication number
RU2548566C1
RU2548566C1 RU2013138724/07A RU2013138724A RU2548566C1 RU 2548566 C1 RU2548566 C1 RU 2548566C1 RU 2013138724/07 A RU2013138724/07 A RU 2013138724/07A RU 2013138724 A RU2013138724 A RU 2013138724A RU 2548566 C1 RU2548566 C1 RU 2548566C1
Authority
RU
Russia
Prior art keywords
filters
matrix
color
pixels
horizontal
Prior art date
Application number
RU2013138724/07A
Other languages
English (en)
Other versions
RU2013138724A (ru
Inventor
Кенкити ХАЯСИ
Сейдзи ТАНАКА
Original Assignee
Фуджифилм Корпорэйшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фуджифилм Корпорэйшн filed Critical Фуджифилм Корпорэйшн
Publication of RU2013138724A publication Critical patent/RU2013138724A/ru
Application granted granted Critical
Publication of RU2548566C1 publication Critical patent/RU2548566C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

Изобретение относится к устройствам формирования изображения. Техническим результатом является обеспечение элемента формирования цветного изображения, который может подавлять генерацию ложного цвета и повышать разрешение. Результат достигается тем, что одноплатный элемент формирования цветного изображения включает в себя цветовые фильтры в заранее определенной матрице цветовых фильтров, размещенной на множестве пикселей, образованных элементами фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях. Матрица цветовых фильтров элемента формирования цветного изображения включает в себя заранее определенный базовый шаблон (P) матрицы, включающий в себя фильтры G, соответствующие зеленому цвету (G), который вносит наибольший вклад в получение сигналов яркости, и фильтры R и B, соответствующие красному (R) и синему (B) цветам, отличным от G. Базовый шаблон P матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Фильтры G размещены в каждой линии в горизонтальном, вертикальном и наклонном (С-В, С-З) направлениях матрицы цветовых фильтров, и фильтры R и B размещены в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. Пропорция количества пикселей G, соответствующих фильтрам G, больше пропорций количеств каждого из пикселей R и B, соответствующих фильтрам R и B. 15 з.п. ф-лы, 14 ил.

Description

Область техники
Настоящее изобретение относится к элементу формирования цветного изображения и, в частности, к элементу формирования цветного изображения, который может подавлять генерацию цветного муара (цветовых комбинационных искажений) и повышать разрешение.
Уровень техники
Выходное изображение одноплатного элемента формирования цветного изображения является RAW-изображением (мозаичным изображением). Таким образом, в процессе интерполяции (обработки демозаицирования) пикселя пропущенного цвета из окружающего пикселя получается многоканальное изображение. В этом случае, существует проблема в характеристике воспроизведения высокочастотного сигнала формирования изображения. По сравнению с элементом формирования черно-белого изображения, в изображении, полученном с помощью элемента формирования цветного изображения, часто возникает ступенчатость, и важно расширить полосу воспроизведения для повышения разрешения при одновременном подавлении генерации цветного муара (ложного цвета).
Матрица Байера основных цветов, наиболее широко используемая в качестве цветовой матрицы в одноплатном элементе формирования цветного изображения, включает в себя пиксели зеленого цвета (G), размещенные в шахматном порядке, и пиксели красного (R) и синего (B) цветов, размещенные линия за линией. Таким образом, сигналы G сталкиваются с проблемой точности воспроизведения при генерации высокочастотных сигналов в наклонных направлениях, и сигналы R и B сталкиваются с проблемой точности воспроизведения при генерации высокочастотных сигналов в горизонтальном и вертикальном направлениях.
Черно-белый шаблон вертикальных полосок (высокочастотное изображение), показанный на фиг. 13(A), поступает в элемент формирования изображения в матрице Байера, показанный на фиг. 13(B), и шаблон сортируется по цветным матрицам Байера для сравнения цветов. Как показано на фиг. 13(C)-13(E), R формирует светлое и плоское цветное изображение, B формирует темное и плоское цветное изображение, и G формирует светлое и темное мозаичное цветное изображение. Несмотря на отсутствие разности плотностей (разности уровней) между RGB по отношению к исходному черно-белому изображению, изображение окрашивается в зависимости от цветовой матрицы и входной частоты.
Аналогично, черно-белое наклонное высокочастотное изображение, показанное на фиг. 14(A), поступает на элемент формирования изображения в матрице Байера, показанной на фиг. 14(B), и изображение сортируется по цветовым матрицам Байера для сравнения цветов. Согласно фиг. 14(C)-14(E), R и B формируют светлые и плоские цветные изображения, а G формируют темное и плоское цветное изображение. Предполагая, что значение черного равно 0, и значение белого равно 255, черно-белое наклонное высокочастотное изображение превращается в зеленое, поскольку только G равен 255. Таким образом, наклонное высокочастотное изображение не может верно воспроизводиться в матрице Байера.
В устройстве формирования изображения, использующем одноплатный элемент формирования цветного изображения, оптический фильтр низких частот, образованный анизотропным веществом, например, кристаллом, в общем случае размещается на передней стороне элемента формирования цветного изображения во избежание оптического ослабления высокочастотной волны. Однако, хотя окрашивание, обусловленное складыванием высокочастотного сигнала, можно уменьшать согласно способу, существует проблема соответственного снижения разрешения.
Для решения проблемы предложен элемент формирования цветного изображения, в котором матрица цветовых фильтров элемента формирования цветного изображения является трехцветной случайной матрицей, удовлетворяющей ограничениям, налагаемым на матрицу, в которой произвольный целевой пиксель соседствует с тремя цветами, включающими в себя цвет целевого пикселя на четырех сторонах целевого пикселя (PTL 1).
Также предложен датчик изображения в виде матрицы цветовых фильтров, причем датчик изображения включает в себя множество фильтров, которые отличаются спектральной чувствительностью, и первые и вторые фильтры из множества фильтров попеременно размещены с первым заранее определенным периодом в одном из диагональных направлений пиксельной сетки датчика изображения и попеременно размещены со вторым заранее определенным периодом в другом диагональном направлении (PTL 2).
Также предложена цветовая матрица, в которой в твердотельном элементе формирования цветного изображения трех основных цветов RGB, наборы из трех пикселей, включающие в себя горизонтально размещенные R, G и B, размещены зигзагообразно в вертикальном направлении для выравнивания частот появления RGB, и чтобы произвольные линии (горизонтальные, вертикальные и наклонные линии) в плоскости формирования изображения проходили через все цвета (PTL 3).
Кроме того, предложен элемент формирования цветного изображения, в котором R и B из трех основных цветов RGB размещены через каждые три пикселя в горизонтальном и вертикальном направлениях, и G размещен между R и B (PTL 4).
Библиография
Патентные источники
PTL 1
выложенная японская патентная заявка № 2000-308080
PTL 2
выложенная японская патентная заявка № 2005-136766
PTL 3
выложенная японская патентная заявка № 11-285012
PTL 4
выложенная японская патентная заявка № 8-23543
Сущность изобретения
Техническая задача
В элементе формирования цветного изображения, описанном в PTL 1, матрицы фильтров являются случайными, и каждый случайный шаблон нуждается в оптимизации при обработке демозаицирования (интерполяции) на более поздней стадии. Проблема состоит в трудоемкости обработки демозаицирования. Хотя случайные матрицы эффективны в отношении цветного муара в низкочастотной волне, случайные матрицы не эффективны в отношении ложного цвета на высокочастотном участке.
В датчике изображения, описанном в PTL 2, пиксели G (пиксели яркости) размещены в шахматном порядке. Таким образом, проблема состоит в том, что точность воспроизведения пикселей в области ограниченного разрешения (в частности, в наклонных направлениях) невысока.
Твердотельный элемент формирования цветного изображения, описанный в PTL 3, включает в себя фильтры всех цветов на произвольных линиях и имеет преимущество в возможности подавления генерации ложного цвета. Однако пропорции количеств пикселей RGB равны, и проблема состоит в том, что высокочастотная воспроизводимость ниже, чем в матрице Байера. В матрице Байера, пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, вдвое больше пропорций количеств пикселей R и B.
Между тем, в элементе формирования цветного изображения, описанном в PTL 4, пропорция количества пикселей G по отношению к количествам пикселей R и B больше, чем в матрице Байера, и существуют линии, содержащие только пиксели G в горизонтальном или вертикальном направлении. Таким образом, элемент формирования цветного изображения не эффективен в отношении ложного цвета на высокочастотном участке в горизонтальном или вертикальном направлении.
Настоящее изобретение призвано решить вышеописанные проблемы, и задачей настоящего изобретения является обеспечение элемента формирования цветного изображения, который может подавлять генерацию ложного цвета и повышать разрешение, и который позволяет упростить процесс на более поздней стадии по сравнению с традиционной случайной матрицей.
Решение задачи
Для решения задачи, изобретение согласно аспекту настоящего изобретения предусматривает одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры в заранее определенной матрице цветовых фильтров, размещенной на множестве пикселей, образованных элементами фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях, причем матрица цветовых фильтров включает в себя заранее определенный базовый шаблон матрицы, включающий в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях, один или более первых фильтров размещены в каждой линии в горизонтальном, вертикальном и наклонном (С-В, С-З) направлениях матрицы цветовых фильтров, один или более вторых фильтров размещены в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров в базовом шаблоне матрицы, и пропорция количества пикселей первого цвета, соответствующего первым фильтрам, больше пропорций количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам.
Согласно элементу формирования цветного изображения аспекта настоящего изобретения, первые фильтры, соответствующие первому цвету, который вносит наибольший вклад в получение сигналов яркости, размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров. Таким образом, можно повысить точность воспроизведения обработки демозаицирования в высокочастотной области. Один или более вторых фильтров, соответствующих двум или более вторым цветам, отличным от первого цвета, размещены в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. Таким образом, можно подавлять генерацию цветного муара (ложного цвета) и можно повышать разрешение.
В матрице цветовых фильтров, заранее определенный базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, обработку демозаицирования (интерполяции) на более поздней стадии можно выполнять согласно повторяющемуся шаблону, и обработку на более поздней стадии можно упростить по сравнению с традиционной случайной матрицей.
Пропорция количества пикселей первого цвета, соответствующего первым фильтрам, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различаются. В частности, пропорция количества пикселей первого цвета, который вносит наибольший вклад в получение сигналов яркости, больше пропорций количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам. Таким образом, можно подавлять ступенчатость и обеспечивать хорошую высокочастотную воспроизводимость.
В элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, матрица цветовых фильтров включает в себя участок, где первые фильтры продолжаются для двух или более пикселей в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях.
В результате, направление малого изменения яркости (направление с высокой корреляцией) из горизонтального, вертикального и наклонных (С-В, С-З) направлений можно определить с минимальными пиксельными интервалами.
В элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, матрица цветовых фильтров включает в себя квадратную матрицу, соответствующую 2×2 пикселям, образованным первыми фильтрами. Пиксельные значения 2×2 пикселя можно использовать для определения направления с высокой корреляцией из горизонтального, вертикального и наклонных (С-В, С-З) направлений.
Предпочтительно, в элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, матрица цветовых фильтров в заранее определенном базовом шаблоне матрицы центрально симметрична относительно центра базового шаблона матрицы. В результате, можно уменьшить размер схемы для схемы обработки на более поздней стадии.
Предпочтительно, в элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, заранее определенный базовый шаблон матрицы является шаблоном квадратной матрицы, соответствующим N×N (N - целое число, большее или равное 4 и меньшее или равное 8) пикселей. Когда N меньше 4, условия матрицы цветовых фильтров согласно настоящему изобретению не выполняются. Когда N больше 8, обработка сигнала, например демозаицирование, усложняется, тогда как конкретных положительных результатов не удается добиться за счет увеличения размера базового шаблона матрицы.
Предпочтительно, в элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, заранее определенный базовый шаблон матрицы является шаблоном квадратной матрицы, соответствующим 6×6 пикселям.
Как описано, предпочтительно, чтобы заранее определенный базовый шаблон матрицы является шаблоном квадратной матрицы, соответствующим N×N пикселям, причем N - целое число, большее или равное 4 и меньшее или равное 8. Четное значение N более преимущественно при обработке демозаицирования, чем нечетное. Когда N равно 4, базовый шаблон матрицы не включает в себя участок, где первые фильтры продолжаются для двух или более пикселей в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях, что неблагоприятно для определения направления малого изменения яркости. Когда N равно 8, обработка сигнала является более трудоемкой по сравнению со случаем N, равного 6. Таким образом, наиболее предпочтительно, чтобы N было равно 6 в базовом шаблоне матрицы, т.е. чтобы шаблон квадратной матрицы соответствовал 6×6 пикселям.
Предпочтительно, в элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, матрица цветовых фильтров включает в себя первые фильтры в центре и четырех углах группы 3×3 пикселя, и группа 3×3 пикселя повторяющимся образом размещена в горизонтальном и вертикальном направлениях. Первые фильтры размещены в четырех углах группы 3×3 пикселей. Таким образом, если группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях, матрица цветовых фильтров включает в себя квадратную матрицу, соответствующую 2×2 пикселям первых фильтров. Пиксельные значения 2×2 пикселя можно использовать для определения направления с высокой корреляцией из горизонтального, вертикального и наклонных (С-В, С-З) направлений, и первые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
В элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, вторые фильтры могут размещаться в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров. В результате, можно улучшить воспроизводимость цветов в наклонных направлениях.
В элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, первым цветом является зеленый (G), и вторыми цветами являются красный (R) и синий (B).
Предпочтительно, в элементе формирования цветного изображения согласно другому аспекту настоящего изобретения, заранее определенный базовый шаблон матрицы является шаблоном квадратной матрицы, соответствующим 6×6 пикселям, и матрица цветовых фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры B, вертикально размещенные по обе стороны фильтра G в центре, и фильтры R, горизонтально размещенные по обе стороны фильтра G в центре; и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, вертикально размещенные по обе стороны фильтра G в центре, и фильтры B, горизонтально размещенные по обе стороны фильтра G в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.
Базовый шаблон матрицы включает в себя фильтры G в квадратной матрице, соответствующей 2×2 пикселям, и базовый шаблон матрицы имеет минимальный размер, центрально симметричный относительно центра базового шаблона матрицы. Согласно матрице цветовых фильтров с конфигурацией, существует 2×2 пикселей G в четырех углах 5×5 пикселей при выделении 5×5 пикселей (локальной области мозаичного изображения) вокруг первой или второй матрицы. Пиксельные значения 2×2 пикселей G можно использовать для определения направления корреляции четырех направлений.
Положительные результаты изобретения
Согласно настоящему изобретению, первые фильтры, соответствующие первому цвету, который вносит наибольший вклад в получение сигналов яркости, размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и пропорция количества пикселей первого цвета, соответствующего первым фильтрам больше пропорций количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам двух или более цветов, отличных от первого цвета. Таким образом, можно повысить точность воспроизведения обработки демозаицирования в высокочастотной области и можно подавлять ступенчатость.
Один или более вторых фильтров, соответствующих двум или более вторым цветам, отличным от первого цвета, размещены в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров в базовом шаблоне матрицы. Таким образом, можно подавлять генерацию цветного муара (ложного цвета) для повышения разрешения.
В матрице цветовых фильтров согласно настоящему изобретению, заранее определенный базовый шаблон матрицы повторяется в горизонтальном и вертикальном направлениях. Таким образом, обработку демозаицирования (интерполяции) на более поздней стадии можно выполнять согласно повторяющемуся шаблону, и обработку на более поздней стадии можно упростить по сравнению с традиционной случайной матрицей.
Краткое описание чертежей
Фиг. 1 - схема, демонстрирующая первый вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 2 - схема, демонстрирующая базовый шаблон матрицы, включенный в матрицу цветовых фильтров элемента формирования цветного изображения согласно первому варианту осуществления.
Фиг. 3 - схема, демонстрирующая состояние, в котором базовый шаблон матрицы 6×6 пикселей, включенный в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления, делится на матрицы A и матрицы B 3×3 пикселя, и размещение матриц A и матриц B.
Фиг. 4 - схема, используемая для объяснения способа определения направления корреляции из пиксельных значений пикселей G 2×2 пикселя, включенных в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Фиг. 5 - схема, используемая для объяснения понятия базового шаблона матрицы, включенного в матрицу цветовых фильтров элемента формирования цветного изображения.
Фиг. 6 - схема, демонстрирующая второй вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 7 - схема, демонстрирующая третий вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 8 - схема, демонстрирующая четвертый вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 9 - схема, демонстрирующая пятый вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 10 - схема, демонстрирующая шестой вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 11 - схема, демонстрирующая седьмой вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 12 - схема, демонстрирующая восьмой вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению.
Фиг. 13 - схема, используемая для объяснения проблемы традиционного элемента формирования цветного изображения с цветовыми фильтрами в матрице Байера.
Фиг. 14 - другая схема, используемая для объяснения проблемы традиционного элемента формирования цветного изображения с цветовыми фильтрами в матрице Байера.
Описание вариантов осуществления
Далее, предпочтительные варианты осуществления настоящего изобретения будут подробно описаны со ссылкой на прилагаемые чертежи.
Первый вариант осуществления элемента формирования цветного изображения
На фиг. 1 показана схема, демонстрирующая первый вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 1, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Элемент формирования цветного изображения включает в себя: множество пикселей (не показано), включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях (двухмерную матрицу); и цветовые фильтры в матрице цветовых фильтров, показанной на фиг. 1, размещенные на светоприемных поверхностях пикселей. Один из цветовых фильтров трех основных цветов, красного (R), зеленого (G) и синего (B) размещен на каждом пикселе.
Элемент формирования цветного изображения не ограничивается элементом формирования цветного изображения типа ПЗС (прибором с зарядовой связью) и может относиться к другому типу элемента формирования изображения, например, являться элементом формирования изображения на основе КМОП (комплементарных транзисторов типа металл-окисел-полупроводник).
Признаки матрицы цветовых фильтров
Матрица цветовых фильтров элемента формирования цветного изображения первого варианта осуществления имеет следующие признаки (1), (2), (3), (4) и (5).
Признак (1)
матрица цветовых фильтров, показанная на фиг. 1, включает в себя базовый шаблон P матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующей 6×6 пикселям, и базовый шаблон P матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, матрица цветовых фильтров включает в себя фильтры каждого цвета R, G и B (фильтры R, фильтры G и фильтры B), размещенные с заранее определенным периодом.
Таким образом, фильтры R, фильтры G и фильтры B размещены с заранее определенным периодом. Таким образом, обработка демозаицирования (интерполяции) и пр. сигналов R, G и B, считываемых из элемента формирования цветного изображения, может осуществляться согласно повторяющемуся шаблону.
При выполнении процесса прореживания на основании базового шаблона P матрицы для уменьшения изображения, матрица цветовых фильтров уменьшенного изображения после процесса прореживания может быть идентична матрице цветовых фильтров до процесса прореживания. Таким образом, можно использовать общую схему обработки.
Признак (2)
В матрице цветовых фильтров, показанной на фиг. 1, фильтры G, соответствующие цвету (цвету G согласно варианту осуществления), который вносит наибольший вклад в получение сигналов яркости, размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
Фильтры G, соответствующие пикселям яркости, размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров. Таким образом, точность воспроизведения обработки демозаицирования в высокочастотной области может повышаться вне зависимости от направления высокочастотной волны.
Признак (3)
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанной на фиг. 1, количества пикселей для пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G и B в базовом шаблоне матрицы, составляют восемь пикселей, двадцать пикселей и восемь пикселей, соответственно. Таким образом, отношение количеств пикселей для пикселей RGB составляет 2:5:2, и пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R и B других цветов.
Пропорция количества пикселей G и пропорции количеств каждого из пикселей R или B различны, и, в частности, пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R или B. Таким образом, можно подавлять ступенчатость при обработке демозаицирования, и можно повышать высокочастотную воспроизводимость.
Признак (4)
В матрице цветовых фильтров, показанной на фиг. 1, один или более фильтров R и B, соответствующих двум или более цветам, отличным от цвета G (цветам R и B согласно варианту осуществления) размещены в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров в базовом шаблоне P матрицы.
Фильтры R и B размещены в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. Таким образом, можно подавлять генерацию цветного муара (ложного цвета). В результате, можно не размещать оптический фильтр низких частот для подавления генерации ложного цвета на оптическом пути от плоскости падения до плоскости формирования изображения оптической системы. Даже в случае применения оптического фильтра низких частот, можно применять фильтр с меньшим эффектом срезания высокочастотных составляющих для предотвращения генерации ложного цвета, и можно предотвращать потерю разрешения.
На Фиг. 2 показано состояние, в котором базовый шаблон P матрицы, показанный на фиг. 1, делится на четыре набора 3×3 пикселя.
Как показано на фиг. 2, базовый шаблон P матрицы можно рассматривать как шаблон, включающий в себя матрицы A 3×3 пикселя, окруженные рамкой сплошных линий, и матрицы B 3×3 пикселя, окруженные рамкой пунктирных линий, попеременно размещенные в горизонтальном и вертикальном направлениях.
Каждая из матриц A и B включает в себя фильтры G в качестве пикселей яркости, размещенных в четырех углах и в центре, и фильтры G размещены на обеих диагоналях. В матрице A фильтры R размещены в горизонтальном направлении, и фильтры B размещены в вертикальном направлении, по обе стороны фильтра G в центре. Между тем, в матрице B, фильтры B размещены в горизонтальном направлении, и фильтры R размещены в вертикальном направлении, по обе стороны фильтра G в центре. Таким образом, хотя позиционное соотношение между фильтрами R и B противоположно в матрицах A и B, в остальном, компоновка одинакова.
Матрицы A и B попеременно размещены в горизонтальном и вертикальном направлениях, как показано на фиг. 3, и фильтры G в четырех углах матриц A и B образуют фильтры G квадратных матриц, соответствующих 2×2 пикселям.
Фильтры G в качестве пикселей яркости размещены в четырех углах и в центре группы 3×3 пикселя в матрицах A и B, и 3×3 пикселя попеременно размещены в горизонтальном и вертикальном направлениях с образованием фильтров G в квадратных матрицах, соответствующих 2×2 пикселям. Матрицы удовлетворяют признакам (1), (2) и (3), а также признаку (5), описанному ниже.
Признак (5)
Матрица цветовых фильтров, показанная на фиг. 1, включает в себя квадратные матрицы, соответствующие 2×2 пикселям фильтров G.
Как показано на фиг. 4, 2×2 пикселя фильтров G выделяются для вычисления абсолютных значений разности пиксельных значений пикселей G в горизонтальном направлении, абсолютных значений разности пиксельных значений пикселей G в вертикальном направлении и абсолютных значений разности пиксельных значений пикселей G в наклонных направлениях (направлениях наклона вверх направо и наклона вверх налево). Таким образом, можно определить наличие корреляции в направлении с малым абсолютным значением разности из горизонтального, вертикального и наклонного направлений.
Таким образом, согласно матрице цветовых фильтров, информацию пикселей G с минимальными пиксельными интервалами можно использовать для определения направления с высокой корреляцией из горизонтального, вертикального и наклонного направлений. Результат определения направления можно использовать для процесса интерполяции (обработки демозаицирования) на основании окружающих пикселей.
Когда пиксели матрицы A или B 3×3 пикселя являются целевыми пикселями обработки демозаицирования, как показано на фиг. 3, и 5×5 пикселей (локальной области мозаичного изображения) выделяются вокруг матрицы A или B, существуют пиксели G 2×2 пикселя в четырех углах 5×5 пикселей. Пиксельные значения пикселей G 2×2 пикселя можно использовать для точного определения направления корреляции четырех направлений с использованием информации пикселей G с минимальными пиксельными интервалами.
Признак (6)
Базовый шаблон матрицы для матрицы цветовых фильтров, показанный на фиг. 1, центрально симметричен относительно центра базового шаблона матрицы (центр четырех пикселей G). Как показано на фиг. 2, матрицы A и B в базовом шаблоне матрицы также центрально симметричны относительно фильтра G в центре.
Симметрия позволяет уменьшить размер схемы и упростить схему обработки на более поздней стадии.
В базовом шаблоне P матрицы, обозначенные жирной рамкой, как показано на фиг. 5, матрицы цветовых фильтров первой и третьей линий из линий с первой по шестую в горизонтальном направлении включают в себя GBGGRG, матрица цветовых фильтров второй линии включает в себя RGRBGB, матрицы цветовых фильтров четвертой и шестой линий включают в себя GRGGBG и матрица цветовых фильтров пятой линии включает в себя BGBRGR.
На фиг. 5, предполагая, что базовый шаблон матрицы, полученный сдвигом базового шаблона P матрицы на один пиксель в горизонтальном и вертикальном направлениях, равен P′, и базовый шаблон матрицы, полученный сдвигом базового шаблона P матрицы на два пикселя в горизонтальном и вертикальном направлениях, равен P″, матрица цветовых фильтров остается неизменной, даже если базовые шаблоны матрицы P′ и P″ повторяющимся образом размещены в горизонтальном и вертикальном направлениях.
Таким образом, существует множество базовых шаблонов матрицы, которые могут формировать матрицу цветовых фильтров, показанную на фиг. 5, за счет повторного размещения базового шаблона матрицы в горизонтальном и вертикальном направлениях. В первом варианте осуществления, базовый шаблон P матрицы, в котором базовый шаблон матрицы центрально симметричен, называется для удобства базовым шаблоном матрицы.
Хотя в других вариантах осуществления, описанных ниже, также существует множество базовых шаблонов матрицы для каждой из матриц цветовых фильтров, иллюстративный будем именовать базовым шаблоном матрицы для матрицы цветовых фильтров.
Второй вариант осуществления элемента формирования цветного изображения
На фиг. 6 показана схема, демонстрирующая второй вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 6, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Матрица цветовых фильтров элемента формирования цветного изображения второго варианта осуществления включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующей 4×4 пикселям. Базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях.
Как и в первом варианте осуществления, матрица цветовых фильтров включает в себя фильтры G, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и включает в себя фильтры R и B, размещенные в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров.
Базовый шаблон матрицы центрально симметричен относительно центра базового шаблона матрицы.
Между тем, матрица цветовых фильтров не включает в себя квадратную матрицу, соответствующую 2×2 пикселям фильтров G. Однако матрица цветовых фильтров включает в себя фильтры G, соседствующие друг с другом в горизонтальном направлении, и фильтры G, соседствующие друг с другом в наклонных направлениях (направлениях наклона вверх направо и наклона вверх налево).
В вертикальном направлении существуют фильтры G поперек фильтра R или B. Таким образом, пиксельные значения пикселей G, соответствующих фильтрам G, можно использовать для определения корреляции в вертикальном направлении.
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанной на фиг. 6, количества пикселей для пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G и B в базовом шаблоне матрицы, составляют четыре пикселя, восемь пикселей и четыре пикселя, соответственно. Таким образом, отношение количеств пикселей RGB составляет 1:2:1, и пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R и B других цветов.
Как описано, матрица цветовых фильтров элемента формирования цветного изображения второго варианта осуществления имеет такие же признаки, что и признаки (1), (2), (3), (4) и (6) матрицы цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Третий вариант осуществления элемента формирования цветного изображения
На фиг. 7 показана схема, демонстрирующая третий вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 7, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Матрица цветовых фильтров элемента формирования цветного изображения третьего варианта осуществления включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующей 5×5 пикселям, и базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях.
Как и в первом варианте осуществления, матрица цветовых фильтров включает в себя фильтры G, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и включает в себя фильтры R и фильтры B, размещенные в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров.
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанном на фиг. 7, количества пикселей для пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G и B в базовом шаблоне матрицы, составляют семь пикселей, одиннадцать пикселей и семь пикселей, соответственно. Таким образом, отношение количеств пикселей RGB составляет 7:11:7, и пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R и B других цветов.
Базовый шаблон матрицы не является центрально симметричным, и базовый шаблон матрицы не включает в себя квадратную матрицу, соответствующую 2×2 пикселям, формированным фильтрами G.
Матрица цветовых фильтров элемента формирования цветного изображения третьего варианта осуществления имеет такие же признаки, что и признаки (1), (2), (3) и (4) матрицы цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Четвертый вариант осуществления элемента формирования цветного изображения
На фиг. 8 показана схема, демонстрирующая четвертый вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 8, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Как и в третьем варианте осуществления, матрица цветовых фильтров элемента формирования цветного изображения четвертого варианта осуществления включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующей 5×5 пикселям, и базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях.
Как и в первом варианте осуществления, матрица цветовых фильтров включает в себя фильтры G, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и включает в себя фильтры R и B, размещенные в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров.
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанном на фиг. 8, количества пикселей для пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G и B в базовом шаблоне матрицы, составляют шесть пикселей, тринадцать пикселей и шесть пикселей, соответственно. Таким образом, отношение количеств пикселей RGB составляет 6:13:6, и пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R и B других цветов.
Хотя матрица цветовых фильтров не включает в себя квадратную матрицу, соответствующую 2×2 пикселям фильтров G, матрица цветовых фильтров включает в себя набор из четырех пикселей с фильтрами G, соседствующих друг с другом. Корреляцию в горизонтальном, вертикальном и наклонных направлениях можно определить с минимальными пиксельными интервалами на основании пиксельных значений четырех пикселей. Базовый шаблон матрицы не является центрально симметричным.
Матрица цветовых фильтров элемента формирования цветного изображения четвертого варианта осуществления имеет такие же признаки, что и признаки (1), (2), (3), (4) и (5) матрицы цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Пятый вариант осуществления элемента формирования цветного изображения
На фиг. 9 показана схема, демонстрирующая пятый вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 9, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Как и в третьем варианте осуществления, матрица цветовых фильтров элемента формирования цветного изображения пятого варианта осуществления включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующей 5×5 пикселям, и базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях.
Матрица цветовых фильтров включает в себя фильтры G, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и включает в себя фильтры R и B, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
Таким образом, матрица цветовых фильтров включает в себя все фильтры R, G и B, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров. В результате, можно дополнительно повысить воспроизводимость цветов в наклонных направлениях, и это является признаком, не включенным в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанном на фиг. 9, количества пикселей для пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G и B в базовом шаблоне матрицы, составляют восемь пикселей, девять пикселей и восемь пикселей, соответственно. Таким образом, отношение количеств пикселей RGB составляет 8:9:8, и пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R и B других цветов.
Между тем, матрица цветовых фильтров не включает в себя квадратную матрицу, соответствующую 2×2 пикселям фильтров G, и базовый шаблон матрицы не является центрально симметричным.
Матрица цветовых фильтров элемента формирования цветного изображения пятого варианта осуществления имеет такие же признаки, что и признаки (1), (2), (3) и (4) матрицы цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Шестой вариант осуществления элемента формирования цветного изображения
На фиг. 10 показана схема, демонстрирующая шестой вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 10, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Матрица цветовых фильтров элемента формирования цветного изображения шестого варианта осуществления включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующим 7×7 пикселям, и базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях.
Как и в первом варианте осуществления, матрица цветовых фильтров включает в себя фильтры G, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и включает в себя фильтры R и B, размещенные в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров.
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанном на фиг. 10, количества пикселей для пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G и B в базовом шаблоне матрицы, составляют двенадцать пикселей, двадцать пять пикселей и двенадцать пикселей, соответственно. Таким образом, отношение количеств пикселей RGB составляет 12:25:12, и пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R и B других цветов.
Матрица цветовых фильтров включает в себя квадратную матрицу, соответствующую 2×2 пикселям фильтров G, и базовый шаблон матрицы центрально симметричен относительно центра базового шаблона матрицы.
Матрица цветовых фильтров элемента формирования цветного изображения шестого варианта осуществления имеет такие же признаки, что и признаки (1), (2), (3), (4), (5) и (6) матрицы цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Седьмой вариант осуществления элемента формирования цветного изображения
На фиг. 11 показана схема, демонстрирующая седьмой вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 11, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Матрица цветовых фильтров элемента формирования цветного изображения седьмого варианта осуществления включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующей 8×8 пикселям, и базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях.
Как и в первом варианте осуществления, матрица цветовых фильтров включает в себя фильтры G, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и включает в себя фильтры R и B, размещенные в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров.
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанном на фиг. 11, количества пикселей для пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G и B в базовом шаблоне матрицы, составляют шестнадцать пикселей, тридцать два пикселя и шестнадцать пикселей, соответственно. Таким образом, отношение количеств пикселей RGB составляет 1:2:1, и пропорция количества пикселей G, которые вносят наибольший вклад в получение пикселей яркости, больше пропорций количеств каждого из пикселей R и B других цветов.
Матрица цветовых фильтров включает в себя квадратную матрицу, соответствующую 2×2 пикселям фильтров G, и базовый шаблон матрицы центрально симметричен относительно центра базового шаблона матрицы.
Когда базовый шаблон матрицы делится на четыре набора 4×4 пикселя, диагональные матрицы 4×4 пикселя остаются неизменными, и позиционное соотношение фильтров R и B противоположно в матрицах 4×4 пикселя соседствующих друг с другом в горизонтальном или вертикальном направлении. В остальном, размещение остается без изменения.
Матрица цветовых фильтров элемента формирования цветного изображения седьмого варианта осуществления имеет такие же признаки, что и признаки (1), (2), (3), (4), (5) и (6) матрицы цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Восьмой вариант осуществления элемента формирования цветного изображения
На фиг. 12 показана схема, демонстрирующая восьмой вариант осуществления одноплатного элемента формирования цветного изображения согласно настоящему изобретению. Фиг. 12, в частности, демонстрирует матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Матрицы цветовых фильтров элемента формирования цветного изображения вариантов осуществления с первого по седьмой являются матрицами цветовых фильтров из цветовых фильтров трех основных цветов RGB. Матрица цветовых фильтров элемента формирования цветного изображения восьмого варианта осуществления отличается тем, что матрица является матрицей цветовых фильтров из четырех цветовых фильтров, включающих в себя фильтры E изумрудного цвета (E) помимо фильтров RGB.
Матрица цветовых фильтров элемента формирования цветного изображения восьмого варианта осуществления включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующей 8×8 пикселям, как и в седьмом варианте осуществления, и базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях.
Матрица цветовых фильтров включает в себя фильтры G, размещенные в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров, и включает в себя фильтры R, фильтры B и фильтры E, размещенные в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров.
В базовом шаблоне матрицы для матрицы цветовых фильтров, показанном на фиг. 12, количества пикселей для пикселей R, пикселей G, пикселей B и пикселей E, соответствующих фильтрам R, G, B и E в базовом шаблоне матрицы, составляют шестнадцать пикселей, двадцать четыре пикселя, шестнадцать пикселей и восемь пикселей, соответственно. Таким образом, отношение количеств пикселей RGBE составляет 2:3:2:1, и пропорция количества пикселей G, которые вносят наибольший вклад в получение сигналов яркости, больше пропорций количеств каждого из пикселей R, пикселей B и пикселей E других цветов.
Матрица цветовых фильтров включает в себя квадратную матрицу, соответствующую 2×2 пикселям фильтров G, и базовый шаблон матрицы центрально симметричен относительно центра базового шаблона матрицы.
Матрица цветовых фильтров элемента формирования цветного изображения восьмого варианта осуществления имеет такие же признаки, что и признаки (1), (2), (3), (4), (5) и (6) матрицы цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Прочие
Хотя матрицы цветовых фильтров с цветовыми фильтрами трех основных цветов RGB и матрица цветовых фильтров с цветовыми фильтрами четырех цветов, включающих в себя три основных цвета RGB и другой цвет (например, изумрудный (E)), были описаны согласно вариантам осуществления, типы цветовых фильтров не ограничиваются вариантами осуществления.
Настоящее изобретение также можно применять к матрице цветовых фильтров с цветовыми фильтрами четырех дополнительных цветов, включающих в себя G помимо C (голубого), M (малинового) и Y (желтого), которые являются цветами, дополнительными к основным цветам RGB.
Хотя квадратные базовые шаблоны матрицы, соответствующие N×N (N: целое число, большее или равное 4), повторяющимся образом размещены в горизонтальном и вертикальном направлениях в матрицах цветовых фильтров элемента формирования цветного изображения вариантов осуществления, прямоугольные базовые шаблоны матрицы, соответствующие N×M (N, M: целые числа, большие или равные 4, и N≠M) пикселям, могут повторяющимся образом размещаться в горизонтальном и вертикальном направлениях.
Настоящее изобретение не ограничивается вариантами осуществления, и очевидно, что можно предложить различные изменения, не выходящие за рамки объема настоящего изобретения.

Claims (16)

1. Одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры в заранее определенной матрице цветовых фильтров, размещенной на множестве пикселей, образованных элементами фотоэлектрического преобразования, размещенными в горизонтальном и вертикальном направлениях, в котором
матрица цветовых фильтров включает в себя заранее определенный базовый шаблон матрицы, включающий в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях,
один или более первых фильтров размещены в каждой линии в горизонтальном, вертикальном и наклонном (С-В, С-З) направлениях матрицы цветовых фильтров,
один или более вторых фильтров каждого цвета из упомянутых двух или более вторых цветов размещены в каждой линии в горизонтальном и вертикальном направлениях матрицы цветовых фильтров в базовом шаблоне матрицы, и
пропорция количества пикселей первого цвета, соответствующего первым фильтрам, больше пропорций количеств пикселей каждого цвета из упомянутых вторых цветов, соответствующих вторым фильтрам.
2. Элемент формирования цветного изображения по п. 1, в котором
матрица цветовых фильтров включает в себя участок, где первые фильтры продолжаются для двух или более пикселей в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях.
3. Элемент формирования цветного изображения по п. 1, в котором
матрица цветовых фильтров включает в себя квадратную матрицу, соответствующую 2×2 пикселям, образованным первыми фильтрами.
4. Элемент формирования цветного изображения по п. 1, в котором
матрица цветовых фильтров в заранее определенном базовом шаблоне матрицы центрально симметрична относительно центра базового шаблона матрицы.
5. Элемент формирования цветного изображения по п. 1, в котором
заранее определенный базовый шаблон матрицы является шаблоном квадратной матрицы, соответствующим N×N (N - целое число, большее или равное 4 и меньшее или равное 8) пикселей.
6. Элемент формирования цветного изображения по п. 5, в котором
заранее определенный базовый шаблон матрицы является шаблоном квадратной матрицы, соответствующим 6×6 пикселям.
7. Элемент формирования цветного изображения по п. 1, в котором
матрица цветовых фильтров включает в себя первые фильтры в центре и четырех углах группы 3×3 пикселя, и группа 3×3 пикселя повторяющимся образом размещена в горизонтальном и вертикальном направлениях.
8. Элемент формирования цветного изображения по п. 1, в котором
вторые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
9. Элемент формирования цветного изображения по п. 2, в котором
вторые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
10. Элемент формирования цветного изображения по п. 3, в котором
вторые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
11. Элемент формирования цветного изображения по п. 4, в котором
вторые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
12. Элемент формирования цветного изображения по п. 5, в котором
вторые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
13. Элемент формирования цветного изображения по п. 6, в котором
вторые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
14. Элемент формирования цветного изображения по п. 7, в котором
вторые фильтры размещены в каждой линии в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях матрицы цветовых фильтров.
15. Элемент формирования цветного изображения по любому из пп. 1-14, в котором
первым цветом является зеленый (G), и вторыми цветами являются красный (R) и синий (B).
16. Элемент формирования цветного изображения по п. 15, в котором
заранее определенный базовый шаблон матрицы является шаблоном квадратной матрицы, соответствующим 6×6 пикселям, и
матрица цветовых фильтров включает в себя первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры B, вертикально размещенные по обе стороны фильтра G в центре, и фильтры R, горизонтально размещенные по обе стороны фильтра G в центре, и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, вертикально размещенные по обе стороны фильтра G в центре, и фильтры B, горизонтально размещенные по обе стороны фильтра G в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.
RU2013138724/07A 2011-02-21 2011-07-29 Элемент формирования цветного изображения RU2548566C1 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-034627 2011-02-21
JP2011034627 2011-02-21
JP2011162415 2011-07-25
JP2011-162415 2011-07-25
PCT/JP2011/067418 WO2012114558A1 (ja) 2011-02-21 2011-07-29 カラー撮像素子

Publications (2)

Publication Number Publication Date
RU2013138724A RU2013138724A (ru) 2015-03-27
RU2548566C1 true RU2548566C1 (ru) 2015-04-20

Family

ID=46720364

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013138724/07A RU2548566C1 (ru) 2011-02-21 2011-07-29 Элемент формирования цветного изображения

Country Status (7)

Country Link
US (2) US8456553B2 (ru)
EP (1) EP2680589B1 (ru)
JP (2) JP5054856B1 (ru)
CN (1) CN102884796B (ru)
BR (1) BR112012026632A2 (ru)
RU (1) RU2548566C1 (ru)
WO (1) WO2012114558A1 (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2548566C1 (ru) * 2011-02-21 2015-04-20 Фуджифилм Корпорэйшн Элемент формирования цветного изображения
EP2683167B1 (en) 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device
RU2548567C1 (ru) 2011-03-09 2015-04-20 Фуджифилм Корпорэйшн Элемент формирования цветных изображений
JP5378627B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
JP5539584B2 (ja) * 2011-03-24 2014-07-02 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
WO2013001869A1 (ja) * 2011-06-30 2013-01-03 富士フイルム株式会社 撮像装置及び撮像プログラム
CN104011575B (zh) * 2011-12-27 2016-08-31 富士胶片株式会社 摄像装置及摄像装置的控制方法
EP2800377A4 (en) * 2011-12-28 2015-07-15 Fujifilm Corp IMAGING DEVICE
JP5702892B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5927068B2 (ja) 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子
CN104412580B (zh) * 2012-07-06 2016-04-06 富士胶片株式会社 彩色摄像元件以及摄像装置
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
DE112013003464B4 (de) 2012-07-06 2016-05-19 Fujifilm Corporation Farbbildgebungselement und Bildgebungsvorrichtung
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US8830395B2 (en) * 2012-12-19 2014-09-09 Marvell World Trade Ltd. Systems and methods for adaptive scaling of digital images
WO2014203844A1 (ja) * 2013-06-17 2014-12-24 コニカミノルタ株式会社 画像入力装置
EP2887655A1 (fr) * 2013-12-20 2015-06-24 Swiss Timing Ltd. Filtre couleur adaptatif pour capteur numérique
JP6345851B1 (ja) * 2017-07-26 2018-06-20 株式会社ナックイメージテクノロジー 高速度ビデオカメラ用カラー固体撮像素子
CN112738497A (zh) * 2021-03-30 2021-04-30 北京芯海视界三维科技有限公司 传感设备、图像传感器和人机交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009151903A2 (en) * 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
RU2383967C2 (ru) * 2008-04-10 2010-03-10 Общество с ограниченной ответственностью ООО "Юник Ай Сиз" Фотоприемная матрица цветного изображения
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
US7701496B2 (en) * 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
US7755682B2 (en) * 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59195864A (ja) * 1983-04-20 1984-11-07 Sanyo Electric Co Ltd カラ−撮像装置
JPS60263592A (ja) * 1984-06-11 1985-12-27 Toshiba Corp 固体撮像装置
JP2739586B2 (ja) * 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
EP0522143A1 (en) * 1991-01-25 1993-01-13 Eastman Kodak Company A solid state color image sensor using a field-staggered color filter pattern
JP3268891B2 (ja) 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP3935548B2 (ja) 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
JPH10341447A (ja) * 1997-04-11 1998-12-22 Fuji Photo Film Co Ltd 画像信号処理装置
EP0930789B1 (en) * 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP2002525722A (ja) 1998-09-15 2002-08-13 フェーズ・ワン・アクティーゼルスカブ 画像処理方法とシステム
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US7123299B1 (en) * 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
EP1148735A1 (en) * 2000-04-20 2001-10-24 Koninklijke Philips Electronics N.V. Camera with color filter
JP3972816B2 (ja) 2000-09-07 2007-09-05 株式会社ニコン 画像処理装置および表色系変換方法
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
EP1395063A4 (en) 2001-05-15 2008-06-04 Matsushita Electric Ind Co Ltd FIGURE APPARATUS AND SIGNAL PROCESSING METHOD THEREFOR
US7027091B1 (en) * 2001-09-17 2006-04-11 Pixim, Inc. Detection of color filter array alignment in image sensors
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
EP1650979A1 (en) * 2004-10-21 2006-04-26 STMicroelectronics S.r.l. Method and system for demosaicing artifact removal
JP4253634B2 (ja) 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
JP4840740B2 (ja) 2004-12-01 2011-12-21 株式会社メガチップス 画素補間方法および画像判定方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) * 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP4946581B2 (ja) 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
US20090027527A1 (en) * 2007-07-23 2009-01-29 Visera Technologies Company Limited Color filter arrays and image sensors using the same
US7825965B2 (en) 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US8164042B2 (en) * 2008-11-06 2012-04-24 Visera Technologies Company Limited Color filter arrays and image sensors using the same
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5574615B2 (ja) 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5120441B2 (ja) * 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
RU2548566C1 (ru) * 2011-02-21 2015-04-20 Фуджифилм Корпорэйшн Элемент формирования цветного изображения
EP2683167B1 (en) 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device
CN103828354B (zh) * 2011-09-26 2016-01-06 富士胶片株式会社 彩色摄像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7755682B2 (en) * 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
US7701496B2 (en) * 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
RU2383967C2 (ru) * 2008-04-10 2010-03-10 Общество с ограниченной ответственностью ООО "Юник Ай Сиз" Фотоприемная матрица цветного изображения
WO2009151903A2 (en) * 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers

Also Published As

Publication number Publication date
US9431444B2 (en) 2016-08-30
RU2013138724A (ru) 2015-03-27
EP2680589A1 (en) 2014-01-01
US20130240715A1 (en) 2013-09-19
CN102884796B (zh) 2014-07-09
EP2680589B1 (en) 2015-11-25
US20120293694A1 (en) 2012-11-22
JPWO2012114558A1 (ja) 2014-07-07
CN102884796A (zh) 2013-01-16
EP2680589A4 (en) 2014-09-03
WO2012114558A1 (ja) 2012-08-30
JP5872406B2 (ja) 2016-03-01
US8456553B2 (en) 2013-06-04
BR112012026632A2 (pt) 2016-07-12
JP2013048408A (ja) 2013-03-07
JP5054856B1 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
RU2548566C1 (ru) Элемент формирования цветного изображения
RU2551649C2 (ru) Устройство формирования цветного изображения
US8922683B2 (en) Color imaging element and imaging apparatus
US9313466B2 (en) Color imaging element
JP5345258B2 (ja) カラー撮像素子
US9036061B2 (en) Color imaging apparatus
US8982253B2 (en) Color imaging element
US8743246B2 (en) Color imaging device
US20130293750A1 (en) Image sensing apparatus, method of controlling operation of same and image sensing system
US20150109493A1 (en) Color imaging element and imaging device
US8711257B2 (en) Color imaging device
JPS6351633B2 (ru)