RU2014138087A - Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа - Google Patents

Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа Download PDF

Info

Publication number
RU2014138087A
RU2014138087A RU2014138087A RU2014138087A RU2014138087A RU 2014138087 A RU2014138087 A RU 2014138087A RU 2014138087 A RU2014138087 A RU 2014138087A RU 2014138087 A RU2014138087 A RU 2014138087A RU 2014138087 A RU2014138087 A RU 2014138087A
Authority
RU
Russia
Prior art keywords
pixel
image
signal
rgbw
rgb
Prior art date
Application number
RU2014138087A
Other languages
English (en)
Inventor
Сун КАИДЗУ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2014138087A publication Critical patent/RU2014138087A/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

1. Устройство обработки изображения, содержащее:датчик изображения, который имеет массив RGBW, включающий в себя пиксель RGB, который представляет собой принимающий свет элемент, соответствующий свету с длиной волны каждого цвета RGB, и пиксель W, который представляет собой элемент приема света, принимающий, по существу, весь свет с длиной волны RGB; имодуль обработки изображения, который выполняет обработку изображений путем ввода датчика изображения, сформированного из сигнала пикселя RGBW, выводимого из датчика изображения,в котором датчик изображения имеет периодический массив из модулей композиции, сформированных из каждого пикселя RGBW, и имеет массив, в котором соотношения композиции каждого пикселя RGB в пределах модуля композиции, установлено везде одинаковым, ив котором модуль обработки изображения преобразует массив пикселей изображения датчика, сформированного на основе сигнала пикселя RGBW, и выполняет, по меньшей мере, либо обработку преобразования массива для генерирования изображения массива RGB, или обработку сигналов для генерирования каждого сигнала изображения RGB, в котором все значения пикселя RGB установлены для каждого положения пикселя изображения датчика.2. Устройство обработки изображения по п. 1,в котором модуль обработки изображения преобразует массив пикселей изображения датчика, сформированный сигналом пикселя RGBW, и имеет модуль преобразования массива, который генерирует изображение массива RGB, сформированное из массива Байера, ив котором модуль преобразования массива имеет модуль интерполяции пикселей W, который генерирует сигнал всего изображения пикселей W, путем установки пикселя W в положение пикселя RGB изображения датч

Claims (20)

1. Устройство обработки изображения, содержащее:
датчик изображения, который имеет массив RGBW, включающий в себя пиксель RGB, который представляет собой принимающий свет элемент, соответствующий свету с длиной волны каждого цвета RGB, и пиксель W, который представляет собой элемент приема света, принимающий, по существу, весь свет с длиной волны RGB; и
модуль обработки изображения, который выполняет обработку изображений путем ввода датчика изображения, сформированного из сигнала пикселя RGBW, выводимого из датчика изображения,
в котором датчик изображения имеет периодический массив из модулей композиции, сформированных из каждого пикселя RGBW, и имеет массив, в котором соотношения композиции каждого пикселя RGB в пределах модуля композиции, установлено везде одинаковым, и
в котором модуль обработки изображения преобразует массив пикселей изображения датчика, сформированного на основе сигнала пикселя RGBW, и выполняет, по меньшей мере, либо обработку преобразования массива для генерирования изображения массива RGB, или обработку сигналов для генерирования каждого сигнала изображения RGB, в котором все значения пикселя RGB установлены для каждого положения пикселя изображения датчика.
2. Устройство обработки изображения по п. 1,
в котором модуль обработки изображения преобразует массив пикселей изображения датчика, сформированный сигналом пикселя RGBW, и имеет модуль преобразования массива, который генерирует изображение массива RGB, сформированное из массива Байера, и
в котором модуль преобразования массива имеет модуль интерполяции пикселей W, который генерирует сигнал всего изображения пикселей W, путем установки пикселя W в положение пикселя RGB изображения датчика, модуль генерирования пикселя RGBW, который генерирует RGBW, в соответствии с сигналом низкой частоты, который представляет собой сигнал низкой частоты каждого сигнала пикселя RGBW в каждом положении пикселя датчика изображения, и модуль обработки корреляции, который вводит сигнал всего изображения пикселя W и RGBW, соответствующий сигналу низкой частоты, и который выполняет преобразование массива для составного пикселя изображения датчика, и генерирует изображение RGB массива Байера путем расчета значения пикселя, основанного на оценке, по которой пиксель W и пиксель RGB имеют положительную корреляцию.
3 Устройство обработки изображения по п. 2,
в котором модуль интерполяции пикселя W детектирует направление кромки, путем применения значения пикселя для пикселя W изображения датчика, и определяет значение пикселя W в положении интерполяции пикселя, рассматривая пиксель, присутствующий в направлении детектируемой кромки, как опорный пиксель.
4. Устройство обработки изображения по п. 1,
в котором модуль обработки изображения имеет модуль обработки для устранения мозаичности изображения, который выполняет обработку по устранению мозаичности изображения в изображений датчика, и генерирует каждый сигнал изображения RGB, в котором все значения пикселя RGB установлены для каждого положения пикселя изображения датчика,
в котором модуль обработки для устранения мозаичности изображения имеет модуль интерполяции пикселя W, который генерирует сигнал всего изображения пикселя W путем установки пикселя W в положении пикселя RGB изображения датчика, модуль генерирования пикселя RGBW, который генерирует RGBW, соответствующий сигналу низкой частоты, который представляет собой сигнал низкой частоты каждого сигнала пикселя RGBW в каждом положении пикселя изображения датчика, и модуль обработки корреляции, который вводит сигнал всего изображения пикселя W и сигнал низкой частоты, соответствующий RGBW, и который генерирует каждый сигнал пикселя RGB, в котором все значения пикселя RGB установлены для каждого положения пикселя датчика изображения, путем расчета значения пикселя на основе оценки, в которой пиксель W и пиксель RGB имеют положительную корреляцию.
5. Устройство обработки изображения по п. 4,
в котором модуль интерполяции пикселя W детектирует направление кромки путем применения значения пикселя для пикселя W изображения датчика и определяет значение пикселя W в положении интерполяции пикселя, рассматривая пиксель, присутствующий в направлении детектируемой кромки, как опорный пиксель.
6. Устройство обработки изображения по п. 4,
в котором модуль обработки изображения имеет модуль линейной матричной обработки, который выполняет преобразование значения пикселя, в котором применяют заранее установленную матрицу, для каждого сигнала изображения RGB, генерируемого модулем обработки для устранения мозаичности изображения.
7. Устройство обработки изображения по п. 1,
в котором модуль обработки изображения имеет модуль обработки для устранения мозаичности изображения, который выполняет обработку по устранению мозаичности изображения для изображения датчика, и генерирует каждый сигнал изображения RGBW, в котором все значения пикселя RGB и W установлены для каждого положения пикселя изображения датчика,
в котором модуль обработки для устранения мозаичности изображения имеет модуль интерполяции пикселя W, который генерирует сигнал всего изображения пикселя W, путем установки пикселя W в положения пикселей RGB датчика изображения, модуль генерирования пикселя RGBW, который генерирует RGBW, соответствующий сигналу низкой частоты, который представляет собой сигнал низкой частоты, для каждого сигнала пикселя RGBW, в каждом положении пикселя датчика изображения, и модуль обработки корреляции, который вводит сигнал всего изображения пикселя W и RGBW, соответствующий сигналу низкой частоты, при котором генерируется каждый сигнал пикселя RGB, в котором все значения пикселя RGB устанавливают для каждого положения пикселя датчика изображения, путем расчета значение пикселя на основе оценки, при которой пиксель W и пиксель RGB имеют положительную корреляцию.
8. Устройство обработки изображения по п. 7,
в котором модуль обработки изображения имеет модуль линейной обработки матрицы, который выполняет преобразование значения пикселя, в котором применяется ранее установленная матрица для каждого сигнала изображения RGBW, генерируемого модулем обработки для устранения мозаичности изображения.
9. Устройство обработки изображения по п. 1,
в котором датчик изображения выполнен с возможностью вывода изображения, имеющего добавленное значение пикселя с теми же значениями цветного пикселя, которые расположены рядом друг с другом в наклонном направлении, как и у изображения датчика,
в котором модуль обработки изображения имеет модуль преобразования массива, который преобразует массив пикселей для изображения датчика, выполненный с возможностью иметь добавленное значение пикселя и сформированный из сигнала пикселя RGBW, и который генерирует изображение массива RGB, сформированное из массива Байера, и
в котором модуль преобразования массива имеет модуль генерирования пикселя RGBW, который генерирует RGBW, соответствующий сигналу низкой частоты, который представляет собой сигнал низкой частоты каждого сигнала пикселя RGBW в каждом положении пикселя изображения датчика, и модуль обработки корреляции, который вводит сигнал всего изображения пикселя W, выводимый, как изображение датчика, и RGBW, соответствующий сигналу низкой частоты, и который выполняет преобразование массива для составного пикселя изображения датчика, и генерирует изображение RGB массива Байера путем расчета значения пикселя на основе оценки, в которой пиксель W и пиксель RGB имеют положительную корреляцию.
10. Устройство обработки изображения по п. 1,
в котором датчик изображения выполнен с возможностью вывода изображения, включающего в себя пиксель с длительным периодом экспозиции и пиксель с коротким периодом экспозиции, которые установлены в соответствии с управлением модуля управления, как изображение датчика,
в котором модуль обработки изображения имеет модуль преобразования массива, который генерирует изображение с расширенным динамическим диапазоном (HDR), применяя изображение датчика, включающее в себя пиксель с длительным периодом экспозиции и пиксель с коротким периодом экспозиции, и который генерирует изображение HDR массива RGB, сформированное из массива Байера, путем преобразования массива пикселей, и
в котором модуль преобразования массива имеет модуль интерполяции пикселя W, который генерирует все изображение пикселя W с длительным периодом экспозиции, в котором пиксель W с длительным периодом экспозиции установлен для всех положений пикселя, путем применения сигнала пикселя с длительным периодом экспозиции изображения датчика, и который генерирует все изображение пикселя W с коротким периодом экспозиции, в котором пиксель W с коротким периодом экспозиции устанавливают для всех положений пикселя, путем применения сигнала пикселя с коротким периодом экспозиции датчика изображения, модуль генерирования пикселя RGBW, который генерирует RGBW с длительным периодом экспозиции, соответствующий сигналу низкой частоты, который представляет собой сигнал низкой частоты для каждого сигнала пикселя RGBW пикселя с длительным периодом экспозиции в каждом положении пикселя, путем применения сигнала пикселя с длительным периодом экспозиции изображения датчика, и который генерирует RGBW с коротким периодом экспозиции, соответствующий сигналу низкой частоты, который представляет собой сигнал низкой частоты каждого сигнала пикселя RGBW с коротким периодом экспозиции, в каждом положении пикселя, путем применения сигнала пикселя с коротким периодом экспозиции датчика изображения; модуль обработки композиции HDR, который генерирует сигнал всего изображения пикселя W, как изображение с широким динамическим диапазоном (HDR) и RGBW, соответствующий сигналу низкой частоты, путем ввода всего изображения пикселя W с длительным периодом экспозиции, всего изображения пикселя W с коротким периодом экспозиции, RGBW с длительным периодом экспозиции, соответствующего сигналу низкой частоты, и RGBW с коротким периодом экспозиции, соответствующего сигналу низкой частоты, и модуль обработки корреляции, который вводит сигнал всего изображения пикселя W и RGBW, соответствующий сигналу низкой частоты, как изображение с широким динамическим диапазоном (HDR), генерируемое модулем обработки композиции HDR, и который выполняет преобразование массива для пикселя композиции изображения датчика и генерирует изображение RGB массива Байера путем расчета значения пикселя на основе оценки, по которой пиксель W и пиксель RGB имеют положительную корреляцию.
11. Устройство обработки изображения по п. 10,
в котором модуль обработки состава HDR рассчитывает значение пикселя композиции изображения с широким динамическим диапазоном (HDR), используя обработку смешивания сигнала пикселя с коротким периодом экспозиции и сигнала пикселя с длительным периодом экспозиции, которые получают после регулировки усиления, в соответствии с отношением экспозиции.
12. Устройство обработки изображения по п. 10,
в котором модуль интерполяции пикселя W детектирует направление кромки путем применения сигнала пикселя W с длительным периодом экспозиции изображения датчика, и генерирует все изображение с длительным периодом экспозиции пикселя W с установкой пикселя W с длительным периодом экспозиции для всех положений пикселя, путем определения значения пикселя W в положении пикселя интерполяции, рассматривая пиксель, присутствующий в детектируемом направлении кромки, в качестве опорного пикселя, и
в котором модуль интерполяции пикселя W детектирует направление кромки, применяя сигнал пикселя W с коротким периодом экспозиции изображения датчика, и генерирует все изображение пикселя W с коротким периодом экспозиции, в котором пиксель W с коротким периодом экспозиции установлен для всех положений пикселя, путем определения значения пикселя W в положении пикселя интерполяции, в отношении пикселя, присутствующего в детектированном направлении кромки, в качестве опорного пикселя.
13. Устройство обработки изображения по п. 1,
в котором в датчике изображения два ряда ряд пикселей с длительным периодом экспозиции и ряд пикселя с коротким периодом экспозиции поочередно устанавливают в соответствии с управлением, выполняемым модулем управления,
в котором датчик изображения выполнен с возможностью вывода изображение, которое сформировано из сигнала пикселя с длительным периодом экспозиции, к которому было добавлено значение пикселя со значениями пикселя того же цвета, которые расположены рядом друг с другом в наклонном направлении в ряду пикселей с длительным периодом экспозиции, в единицах по два ряда, и сигнал пикселя с коротким периодом экспозиции, к которому было добавлено значение пикселя для значений пикселя с таким же цветом, которые расположены рядом друг с другом в наклонном направлении в ряду пикселя с коротким периодом экспозиции в единицах по два ряда, как изображение датчика,
в котором модуль обработки изображения имеет модуль преобразования массива, который генерирует изображение с широким динамическим диапазоном (HDR) путем применения изображения датчика, включающего в себя пиксель с длительным периодом экспозиции и пиксель с коротким периодом экспозиции, и который генерирует изображение HDR массива RGB, сформированное в виде массива Байера, путем преобразования матрицы пикселей, и
в котором модуль преобразования массива имеет модуль интерполяции пикселя W, который генерирует все изображение пикселя W с длительным периодом экспозиции, в котором пиксель W с длительным периодом экспозиции установлен для всех положений пикселя, путем применения сигнала пикселя с длительным периодом экспозиции изображения датчика, и который генерирует все изображения пикселя W с коротким периодом экспозиции, в котором пиксель W с коротким периодом экспозиции установлен для всех положений пикселя путем применения сигнала пикселя с коротким периодом экспозиции к изображению датчика, модуль генерирования пикселя RGBW, который генерирует сигнал низкой частоты, соответствующий RGBW с длительным периодом экспозиции, который представляет собой сигнал низкой частоты каждого сигнала пикселя RGBW с длительным периодом экспозиции, применяя сигнал пикселя с длительным периодом экспозиции изображения датчика, и который генерирует RGBW с коротким периодом экспозиции, соответствующий сигналу низкой частоты, который представляет собой сигнал низкой частоты каждого сигнала пикселя RGBW с коротким периодом экспозиции в каждом положении пикселя, путем применения сигнала пикселя с коротким периодом экспозиции изображения датчика, и модуль обработки композиции HDR, который генерирует сигнал всего изображения пикселя W, как изображение с широким динамическим диапазоном (HDR), и RGBW, соответствующий сигналу низкой частоты, путем ввода всего изображения пикселя W с длительным периодом экспозиции, всего изображения пикселя W с коротким периодом экспозиции, RGBW с длительным периодом экспозиции, соответствующего сигналу низкой частоты, и RGBW с коротким периодом экспозиции, соответствующего сигналу низкой частоты, и модуль обработки корреляции, который вводит сигнал всего изображения пикселя W и RGBW, соответствующий сигналу низкой частоты, в качестве изображения (HDR) с широким динамическим диапазоном HDR, генерируемого модулем обработки композиции HDR, и который выполняет преобразование массива для составляющего пикселя изображения датчика и генерирует изображение RGB массива Байера, путем расчета значения пикселя на основе оценки, по которой пиксель W и пиксель RGB имеют положительную корреляцию.
14. Устройство обработки изображения по п. 13,
в котором модуль обработки композиции HDR рассчитывает значение пикселя композиции изображения с широким динамическим диапазоном (HDR), используя обработку смешивания сигнала пикселя с коротким периодом экспозиции и сигнала пикселя с длительным периодом экспозиции, которые были получены после регулировки усиления в соответствии с отношением экспозиции.
15. Устройство обработки изображения по п. 13,
в котором модуль интерполяции пикселя W детектирует направление кромки, путем применения сигнала пикселя W с длительным периодом экспозиции изображения датчика, и генерирует все изображение пикселя W с длительным периодом экспозиции, в котором пиксель W с длительным периодом экспозиции установлен для всех положений пикселя, путем определения значения пикселя W в положении интерполяции пикселя, рассматривая пиксель, присутствующий в детектируемом направлении кромки, в качестве опорного пикселя, и
в котором модуль интерполяции пикселя W детектирует направление кромки, путем применения сигнал пикселя W с коротким периодом экспозиции изображения датчика, и генерирует все изображение пикселя W с коротким периодом экспозиции, в котором пиксель W с коротким периодом экспозиции установлен для всех положений пикселя, путем определения значения пикселя W в положении интерполяции пикселя, рассматривая пиксель, присутствующий в направлении детектируемой кромки, как опорный пиксель.
16. Устройство формирования изображения, содержащее:
массив RGBW, включающий в себя пиксель RGB, который представляет собой элемент приема света, соответствующий длине волны света каждого цвета RGB, и пиксель W, который представляет собой элемент приема света, принимающий, по существу, свет всех длин волн RGB,
в котором датчик изображения имеет периодический массив из композиции модуля, сформированный из каждого пикселя RGBW, и имеет массив, в котором отношения композиции каждого пикселя RGB в пределах композиции модуля выполнены такими же, как у всех.
17. Устройство формирования изображения по п. 16,
в котором устройство формирования изображения имеет периодический массив, в котором пиксели 6×6, пиксели 6×4 или пиксели 6×2 выполнены так, чтобы они составляли композицию модуля, и
в котором отношение композиции каждого пикселя RGBW в пределах композиции модуля составляет 1:1:1:3.
18. Устройство формирования изображения по п. 16,
в котором устройство формирования изображения имеет композицию, в которой каждый пиксель RGBW размещен в каждом столбце и в каждом ряду.
19. Способ обработки изображения, выполняемый в устройстве обработки изображения,
в котором устройство обработки изображения имеет модуль обработки изображения, который имеет периодический массив с композицией модуля, сформированной из каждого пикселя RGBW, включая в себя пиксель RGB, который представляет собой элемент приема света, соответствующий свету с длиной волны каждого из цветов RGB, и пикселя W, который представляет собой элемент приема света, принимающий, по существу, свет всех длин волны RGB, и который выполняет обработку изображений для изображения датчика, которое выводит устройство формирования изображения, имеющее массив, в котором отношение композиции каждого пикселя RGB в пределах композиции модуля выполнено таким же, как у всех, и
в котором модуль обработки изображения преобразует массив пикселей изображения датчика, сформированного из сигнала пикселя RGBW, и выполняет, по меньшей мере, либо обработку преобразования массива для генерирования обработки изображения массива RGBW, или обработку сигналов для генерирования каждого сигнала изображения RGB, в котором все значения пикселя RGB устанавливают для каждого положения пикселя изображения датчика.
20. Программа, которая обеспечивает выполнение обработки изображения устройством обработки изображения,
в которой устройство обработки изображения имеет модуль обработки изображения, который имеет периодический массив из композиции модуля, сформированной каждым пикселем RGBW, включающим в себя пиксель RGB, который представляет собой элемент приема света, соответствующий свету длины волны каждого цвета RGB, и пиксель W, который представляет собой элемент приема света, принимающий, по существу, свет всех длин волн RGB, и который выполняет обработку изображений для изображения датчика, которое представляет собой выход устройства формирования изображения, имеющего массив, в котором отношение композиции каждого из пикселя RGB в пределах композиции модуля выполнено таким же, как у всех, и
в которой модуль обработки изображения преобразует массив пикселей изображения датчика, сформированного из сигнала пикселя RGBW, и выполняет, по меньшей мере, либо обработку преобразования массива для генерирования обработки изображения массива RGBW, или обработку сигналов для генерирования каждого сигнала изображения RGB, в котором все значения пикселя RGB установлены для каждого положения пикселя изображения датчика.
RU2014138087A 2012-03-27 2012-12-26 Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа RU2014138087A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012070538 2012-03-27
JP2012-070538 2012-03-27
PCT/JP2012/083615 WO2013145487A1 (ja) 2012-03-27 2012-12-26 画像処理装置、撮像素子、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
RU2014138087A true RU2014138087A (ru) 2016-04-10

Family

ID=49258816

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014138087A RU2014138087A (ru) 2012-03-27 2012-12-26 Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа

Country Status (9)

Country Link
US (2) US9699429B2 (ru)
EP (1) EP2833635B1 (ru)
JP (1) JP5935876B2 (ru)
CN (1) CN104170376B (ru)
AU (1) AU2012374649A1 (ru)
BR (1) BR112014023256A8 (ru)
IN (1) IN2014DN07842A (ru)
RU (1) RU2014138087A (ru)
WO (1) WO2013145487A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2707714C1 (ru) * 2019-01-28 2019-11-28 федеральное государственное бюджетное образовательное учреждение высшего образования "Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова" Устройство автоматического получения и обработки изображений
RU2712436C1 (ru) * 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
US11301958B2 (en) 2017-10-26 2022-04-12 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and imaging apparatus

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665508B2 (ja) * 2010-11-30 2015-02-04 キヤノン株式会社 画像処理装置及び方法、並びにプログラム及び記憶媒体
US9319647B2 (en) * 2011-12-16 2016-04-19 Honda Motor Co., Ltd. Image processing device
KR101980931B1 (ko) 2012-01-24 2019-05-21 소니 주식회사 화상 처리 장치 및 화상 처리 방법과 기록 매체
RU2014138087A (ru) 2012-03-27 2016-04-10 Сони Корпорейшн Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа
US9288457B2 (en) * 2012-04-24 2016-03-15 Sony Corporation Image processing device, method of processing image, and image processing program including false color correction
JP5927068B2 (ja) * 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
US9742973B2 (en) * 2013-08-08 2017-08-22 Sony Corporation Array camera design with dedicated Bayer camera
JP5968944B2 (ja) * 2014-03-31 2016-08-10 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
CN103905802B (zh) * 2014-04-21 2016-07-13 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
US9520077B2 (en) * 2014-05-29 2016-12-13 Shenzhen China Star Optoelectronics Technology Co., Ltd Four color converter, display apparatus and method for converting three color data to four color data
US10104388B2 (en) * 2014-06-30 2018-10-16 Sony Corporation Video processing system with high dynamic range sensor mechanism and method of operation thereof
JP6568719B2 (ja) * 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
US10110825B2 (en) * 2014-12-18 2018-10-23 Sony Semiconductor Solutions Corporation Imaging apparatus, imaging method, and program
EP3043558B1 (en) 2014-12-21 2022-11-02 Production Resource Group, L.L.C. Large-format display systems having color pixels and white pixels
JP6598797B2 (ja) * 2014-12-26 2019-10-30 キヤノン株式会社 撮像装置の駆動方法、信号処理方法
JP6732726B2 (ja) 2015-02-26 2020-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
JP6673333B2 (ja) * 2015-03-18 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN104732924B (zh) * 2015-03-27 2017-04-19 深圳市华星光电技术有限公司 一种三色数据到四色数据的转换方法及转换系统
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
US9681109B2 (en) 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
WO2020139493A1 (en) * 2018-12-28 2020-07-02 Qualcomm Incorporated Systems and methods for converting non-bayer pattern color filter array image data
KR102329440B1 (ko) 2015-10-01 2021-11-19 에스케이하이닉스 주식회사 칼라 필터 어레이의 변환 방법 및 장치
CN105578080B (zh) * 2015-12-18 2019-02-05 Oppo广东移动通信有限公司 成像方法、成像装置及电子装置
CN105592303B (zh) * 2015-12-18 2018-09-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105430361B (zh) * 2015-12-18 2018-03-20 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105611123B (zh) * 2015-12-18 2017-05-24 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105611125B (zh) * 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578079B (zh) * 2015-12-18 2017-11-17 广东欧珀移动通信有限公司 图像传感器及画质调节方法、成像装置及方法和移动终端
CN105578006B (zh) * 2015-12-18 2018-02-13 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
TWI560495B (en) * 2016-01-28 2016-12-01 Au Optronics Corp Display apparatus and display control method thereof
US9998695B2 (en) 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
CN108702494B (zh) * 2016-03-09 2020-12-04 索尼公司 图像处理装置、成像装置、图像处理方法和存储介质
KR101794726B1 (ko) * 2016-03-25 2017-11-07 연세대학교 산학협력단 영상 컬러 보간 장치 및 방법
US10863158B2 (en) * 2016-05-17 2020-12-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
KR101823256B1 (ko) * 2016-08-11 2018-01-29 삼성전기주식회사 이미지 처리 장치 및 이미지 처리 방법
CN106454288B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454289B (zh) * 2016-11-29 2018-01-23 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106341670B (zh) * 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106454054B (zh) * 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106412407B (zh) * 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
KR101809384B1 (ko) 2016-12-30 2017-12-14 인하대학교 산학협력단 Rwb 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법 및 장치
JP2019004382A (ja) * 2017-06-16 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP6938352B2 (ja) * 2017-12-08 2021-09-22 キヤノン株式会社 撮像装置及び撮像システム
CN114422766B (zh) * 2018-08-03 2024-06-04 杭州海康威视数字技术股份有限公司 一种图像采集设备
JP7150514B2 (ja) * 2018-08-09 2022-10-11 キヤノン株式会社 撮像装置及び撮像方法
JP6596760B1 (ja) * 2018-08-28 2019-10-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR102585654B1 (ko) 2018-12-07 2023-10-10 삼성전자주식회사 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법
US11470286B2 (en) * 2019-07-16 2022-10-11 Mritunjay Singh Image sensors with color, panchromatic and infrared pixels
WO2021033326A1 (ja) * 2019-08-22 2021-02-25 オリンパス株式会社 撮像素子、内視鏡および内視鏡システム
KR20220051240A (ko) * 2019-09-09 2022-04-26 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 캡쳐 방법, 카메라 어셈블리 및 모바일 터미널
EP4036617A4 (en) * 2019-09-26 2022-11-16 Sony Semiconductor Solutions Corporation IMAGING DEVICE
KR20210104462A (ko) 2020-02-17 2021-08-25 삼성전자주식회사 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
CN111405204B (zh) * 2020-03-11 2022-07-26 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111432099B (zh) * 2020-03-30 2021-04-30 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质
CN111491110B (zh) * 2020-04-17 2021-09-17 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
CN111491111B (zh) * 2020-04-20 2021-03-26 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
US11483497B2 (en) * 2020-05-29 2022-10-25 Canon Kabushiki Kaisha Encoding apparatus and method, image capture apparatus, and storage medium
CN111711766B (zh) * 2020-06-17 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN111726549B (zh) * 2020-06-29 2022-08-23 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
CN111741277B (zh) * 2020-07-13 2022-04-29 深圳市汇顶科技股份有限公司 图像处理的方法和图像处理装置
WO2022027469A1 (zh) * 2020-08-06 2022-02-10 深圳市汇顶科技股份有限公司 图像处理方法、装置和存储介质
CN111970461B (zh) * 2020-08-17 2022-03-22 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111899178B (zh) * 2020-08-18 2021-04-16 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112261391B (zh) * 2020-10-26 2022-01-04 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN112351172B (zh) * 2020-10-26 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
WO2022094937A1 (en) * 2020-11-06 2022-05-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electrical device, method of generating image data, and non-transitory computer readable medium
KR20220125103A (ko) 2021-03-04 2022-09-14 삼성전자주식회사 이미지 센서 및 이의 동작 방법
CN113781303B (zh) * 2021-09-01 2024-05-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备
US11778337B2 (en) 2021-11-09 2023-10-03 Samsung Electronics Co., Ltd. Image sensor and method for sensing image
TW202335486A (zh) * 2022-01-12 2023-09-01 日商索尼半導體解決方案公司 固體攝像裝置及電子機器
CN115442573B (zh) * 2022-08-23 2024-05-07 深圳市汇顶科技股份有限公司 图像处理方法、装置和电子设备

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP3368041B2 (ja) * 1994-04-26 2003-01-20 キヤノン株式会社 撮像装置
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP2006253876A (ja) 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US7893976B2 (en) * 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
JP5085140B2 (ja) 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5222625B2 (ja) * 2007-06-01 2013-06-26 富士フイルム株式会社 撮像装置
JP2008306379A (ja) * 2007-06-06 2008-12-18 Toshiba Corp 固体撮像素子
US20090051984A1 (en) * 2007-08-23 2009-02-26 O'brien Michele Image sensor having checkerboard pattern
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
KR101531709B1 (ko) * 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
JP5326943B2 (ja) 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101613973B1 (ko) * 2009-12-24 2016-04-21 삼성전자주식회사 컬러 필터 어레이
KR101652722B1 (ko) * 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
US9417479B2 (en) * 2011-05-13 2016-08-16 Samsung Display Co., Ltd. Method for reducing simultaneous contrast error
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101980931B1 (ko) 2012-01-24 2019-05-21 소니 주식회사 화상 처리 장치 및 화상 처리 방법과 기록 매체
JP2013214272A (ja) 2012-03-08 2013-10-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
RU2014138087A (ru) 2012-03-27 2016-04-10 Сони Корпорейшн Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа
JP2013218487A (ja) 2012-04-06 2013-10-24 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9575304B2 (en) * 2012-06-25 2017-02-21 Huron Technologies International Inc. Pathology slide scanners for fluorescence and brightfield imaging and method of operation
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301958B2 (en) 2017-10-26 2022-04-12 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and imaging apparatus
RU2707714C1 (ru) * 2019-01-28 2019-11-28 федеральное государственное бюджетное образовательное учреждение высшего образования "Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова" Устройство автоматического получения и обработки изображений
RU2712436C1 (ru) * 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
US11481873B2 (en) 2019-08-09 2022-10-25 Samsung Electronics Co., Ltd. Method and apparatus for image processing

Also Published As

Publication number Publication date
CN104170376B (zh) 2016-10-19
EP2833635A1 (en) 2015-02-04
EP2833635B1 (en) 2018-11-07
BR112014023256A8 (pt) 2017-07-25
US20170251188A1 (en) 2017-08-31
JPWO2013145487A1 (ja) 2015-12-10
WO2013145487A1 (ja) 2013-10-03
US10200664B2 (en) 2019-02-05
US9699429B2 (en) 2017-07-04
IN2014DN07842A (ru) 2015-04-24
BR112014023256A2 (ru) 2017-06-20
JP5935876B2 (ja) 2016-06-15
US20150029358A1 (en) 2015-01-29
EP2833635A4 (en) 2015-09-09
AU2012374649A1 (en) 2014-09-11
CN104170376A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
RU2014138087A (ru) Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа
WO2019236626A3 (en) Hdr image generation from single-shot hdr color image sensors
RU2014135151A (ru) Устройство формирования изображения, система формирования изображения и способ для приведения в действие устройства формирования изображения
RU2014133174A (ru) Твердотельное устройство захвата изображений и электронная камера
US11099008B2 (en) Capture device assembly, three-dimensional shape measurement device, and motion detection device
JP2010020016A5 (ru)
JP2017216646A5 (ru)
JP2014206564A5 (ru)
EP4016992A3 (en) Imaging apparatus, imaging device, and image processing apparatus
WO2011089528A3 (en) Methods and apparatus for multi-camera x-ray flat panel detector
JP2014140152A5 (ru)
JP2013110513A5 (ru)
JP2015154474A5 (ru)
EP2797311A3 (en) Solid-state image sensor and camera
JP2016208093A5 (ru)
JP2008026789A5 (ru)
JP2015011127A5 (ru)
JP2014090325A5 (ru)
JP2014219549A5 (ru)
JP2013055640A5 (ru)
JP2016076895A5 (ja) 撮像素子及び撮像装置
JP2017147700A5 (ru)
JP2015103998A5 (ru)
WO2017195993A3 (en) Method and electronic device for verifying light source of images
JP2014116741A5 (ru)

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20151228