RU2678018C2 - Автомобильная система формирования изображения, включающая в себя электронный датчик изображения, имеющий разреженный массив цветных фильтров - Google Patents
Автомобильная система формирования изображения, включающая в себя электронный датчик изображения, имеющий разреженный массив цветных фильтров Download PDFInfo
- Publication number
- RU2678018C2 RU2678018C2 RU2017101529A RU2017101529A RU2678018C2 RU 2678018 C2 RU2678018 C2 RU 2678018C2 RU 2017101529 A RU2017101529 A RU 2017101529A RU 2017101529 A RU2017101529 A RU 2017101529A RU 2678018 C2 RU2678018 C2 RU 2678018C2
- Authority
- RU
- Russia
- Prior art keywords
- lens
- color filters
- imaging system
- image sensor
- sparse array
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 230000010354 integration Effects 0.000 claims description 32
- 230000005611 electricity Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000036211 photosensitivity Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000021391 short chain fatty acids Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Изобретение относится к автомобильной системе формирования изображения. Заявленный автомобиль содержит каркас и автомобильную систему формирования изображения, поддерживаемую каркасом и включающую в себя камеру, включающую в себя объектив и датчик изображения, имеющий разреженный массив цветных фильтров. Причем камера выполнена с возможностью генерации данных изображения на основе света, падающего на датчик, а объектив имеет диафрагменное число выше чем f/2,4. Также автомобильная система формирования изображения включает в себя контроллер, выполненный с возможностью генерации изображения с использованием данных изображения; и устройство отображения, выполненное с возможностью отображения изображения. Технический результат – повышение качества изображения в условиях низкой освещенности. 2 н. и 18 з.п. ф-лы, 3 ил., 2 табл.
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение в общем относится к автомобильной системе формирования изображения. В частности, автомобильная система формирования изображения включает в себя камеру, имеющую объектив и электронный датчик изображения, имеющий разреженный массив цветных фильтров.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
[0002] Камеры, обычно используемые в известных автомобильных системах формирования изображения, включают в себя электронный датчик изображения, например, датчик с активными пикселями (APS), изготовленный с использованием комплементарного металл-оксидного полупроводникового (CMOS) процесса или прибора с зарядовой связью (CCD). Этот известный электронный датчик изображения включает в себя множество светочувствительных пикселей, обычно расположенных в матрице из строк и столбцов. Фигура 1A показывает один примерный электронный датчик 12 изображения известного уровня техники, включающий в себя 144 пикселя 12а, расположенных в матрице 12×12. При работе схема этого известного электронного датчика изображения преобразует свет, падающий на пиксель, в цифровые данные изображения. Контроллер преобразует данные изображения в изображение, отображаемое на устройстве отображения.
[0003] Для получения данных о цвете и обеспечения возможности создания цветных изображений эти известные электронные датчики изображения включают в себя массив цветных фильтров (CFA) Байера. CFA Байера включает в себя красные, зеленые и синие цветные фильтры, расположенные или образованные поверх пикселей (по одному на пиксель) с повторяющимся рисунком. Фигура 1B показывает электронный датчик 12 изображения известного уровня техники, включающий в себя CFA Байера, включающий в себя повторяющуюся мозаику 13 из двух зеленых фильтров 13a, одного красного фильтра 13b и одного синего фильтра 13c. При работе каждый цветной фильтр позволяет свету только определенной длины волны (в данном случае красный, зеленый или синий) попадать на его пиксель, который обеспечивает информацию о цвете электронному датчику изображения. Контроллер использует алгоритм демозаики для воссоздания полноцветного изображения с использованием этой информации о цвете.
[0004] Поскольку каждый цветной фильтр позволяет свету только определенной длины волны попадать на его пиксель, примерно на две трети меньше света попадает на каждый пиксель с фильтром, чем, если бы данный пиксель был без фильтра. Использование CFA Байера, в котором каждый пиксель с фильтром, приводит к значительному снижению светочувствительности. Это, в свою очередь, приводит к цветному изображению более низкого качества по сравнению с монохромным изображением, полученным с использованием электронного датчика изображения без фильтров. Данная проблема усугубляется при использовании в условиях низкой освещенности. Например, цветное изображение может иметь увеличенный шум, наложение, уменьшенное пространственное разрешение и уменьшенную резкость изображения, вызванные сниженной светочувствительностью или технологиями постобработки, используемыми для учета сниженной светочувствительности.
[0005] Следовательно, имеется необходимость новых автомобильных систем формирования изображения, которые позволят решить эти проблемы.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0006] Приложенная формула изобретения определяет настоящую заявку. Описание обобщает аспекты вариантов выполнения и не должно быть использовано для ограничения формулы изобретения. Другие реализации рассматриваются в соответствии с описанными в настоящем документе технологиями, которые будут понятны специалисту в области техники при изучении следующих далее чертежей и подробного описания, и такие реализации находятся в пределах объема охраны настоящей заявки.
[0007] Примерные варианты выполнения обеспечивают автомобиль и автомобильную систему формирования изображения для автомобиля. Согласно одному варианту выполнения автомобиль содержит каркас; и систему формирования изображения, поддерживаемую каркасом и включающую в себя: камеру, включающую в себя объектив и датчик изображения, имеющий разреженный массив цветных фильтров, причем камера выполнена с возможностью генерации данных изображения на основе света, падающего на датчик, объектив имеет диафрагменное число выше, чем f/2,4; контроллер, выполненный с возможностью генерации изображения с использованием данных изображения; и устройство отображения, выполненное с возможностью отображения изображения.
В дополнительном аспекте время интегрирования камеры составляет около 30 миллисекунд или меньше.
В другом дополнительном аспекте диафрагменное число объектива выше, чем f/2,8.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 4×4, и время интегрирования камеры составляет около 30 миллисекунд.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/4.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/2,8, и разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте время интегрирования камеры составляет около 15 миллисекунд или меньше.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте объектив представляет собой объектив типа «рыбий глаз».
В еще одном дополнительном аспекте датчик изображения включает в себя множество пикселей, и разреженный массив цветных фильтров включает в себя повторяющуюся мозаику цветных фильтров, расположенных в рисунке так, что мозаики более плотно сконцентрированы вблизи центра датчика изображения, чем вблизи краев датчика изображения.
[0008] Согласно другому варианту выполнения автомобильная система формирования изображения содержит камеру, включающую в себя объектив и датчик изображения, имеющий разреженный массив цветных фильтров, причем камера выполнена с возможностью генерации данных изображения на основе света, падающего на датчик, объектив имеет диафрагменное число выше, чем f/2,4; контроллер, выполненный с возможностью генерации изображения с использованием данных изображения; и устройство отображения, выполненное с возможностью отображения изображения.
В дополнительном аспекте время интегрирования камеры составляет около 30 миллисекунд или меньше.
В другом дополнительном аспекте диафрагменное число объектива выше, чем f/2,8.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 4×4, и время интегрирования камеры составляет около 30 миллисекунд.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/4.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/2,8, и разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте время интегрирования камеры составляет около 15 миллисекунд или меньше.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте объектив представляет собой объектив типа «рыбий глаз».
В еще одном дополнительном аспекте датчик изображения включает в себя множество пикселей, и разреженный массив цветных фильтров включает в себя повторяющуюся мозаику цветных фильтров, расположенных в рисунке так, что мозаики более плотно сконцентрированы вблизи центра датчика изображения, чем вблизи краев датчика изображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Для лучшего понимания изобретения подробное описание ссылается на варианты выполнения, показанные на следующих далее чертежах. Компоненты на чертежах необязательно выполнены в масштабе, и связанные элементы могут быть опущены так, чтобы подчеркнуть и четко проиллюстрировать новые признаки, описанные в настоящем документе. В дополнение, компоненты системы могут быть расположены различным образом, известным в уровне техники. На чертежах одинаковые ссылочные позиции могут относиться к одинаковым частям на всех различных чертежах, кроме тех случаев, когда указано иное.
[0010] Фигура 1A показывает электронный датчик изображения известного уровня техники.
[0011] Фигура 1B показывает электронный датчик изображения на Фигуре 1A с CFA Байера.
[0012] Фигура 2 представляет собой структурную схему одного примерного варианта выполнения автомобильной системы формирования изображения согласно настоящему изобретению.
[0013] Фигуры 3A, 3B и 3C показывают другие варианты выполнения электронных датчиков изображения, имеющих другие типы разреженных CFA.
ПОДРОБНОЕ ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ВЫПОЛНЕНИЯ
[0014] Хотя автомобильная система формирования изображения согласно настоящему изобретению может быть выполнена в различных формах, чертежи показывают, и настоящее описание описывает некоторые примерные и неограничивающие варианты выполнения автомобильной системы формирования изображения. Настоящее раскрытие представляет собой иллюстративный пример автомобильной системы формирования изображения и не ограничивает автомобильную систему формирования изображения конкретными проиллюстрированными и описанными вариантами выполнения. Не все показанные или описанные компоненты могут быть необходимыми, и некоторые варианты выполнения могут включать в себя дополнительные компоненты, другие компоненты или меньшее число компонентов. Компоновка и тип компонентов могут быть изменены без отклонения от замысла или объема охраны формулы изобретения, изложенных в настоящем документе.
[0015] Различные варианты выполнения автомобильной системы формирования изображения настоящего изобретения (для краткости иногда называемой «система формирования изображения») включают в себя электронный датчик изображения, имеющий разреженный CFA. В зависимости от реализации использование разреженного CFA в отличие от CFA Байера приводит к: (1) улучшенному качеству изображения; и/или (2) снижению стоимости путем использования менее сложного, более дешевого объектива без снижения качества изображения или без какого-либо существенного снижения качества изображения.
1. Компоненты автомобильной системы формирования изображения
[0016] Фигура 2 представляет собой структурную схему одного примерного варианта выполнения автомобильной системы 10 формирования изображения согласно настоящему изобретению. В этом примерном варианте выполнения автомобильная система 10 формирования изображения поддерживается каркасом автомобиля, хотя в других вариантах выполнения транспортное средство может представлять собой любое подходящее транспортное средство (такое как грузовик, плавучее судно или воздушное судно). Автомобильная система 10 формирования изображения включает в себя: камеру 100, контроллер 20 и устройство 30 отображения. Камера 100 и устройство 30 отображения электрически соединены с контроллером 20 так, что контроллер 20 может передавать сигналы и принимать сигналы от этих компонентов (и наоборот).
[0017] Камера 100 может представлять собой любую подходящую камеру, включающую в себя объектив 110 и электронный датчик 120 изображения. Объектив 110 может представлять собой любой подходящий объектив, такой как (но без ограничения) прямолинейный объектив или автомобильный объектив типа «рыбий глаз» (также называемый широкоугольный объектив). Объектив может представлять собой объектив с фиксированной диафрагмой или объектив с переменной диафрагмой. Электронный датчик 120 изображения может представлять собой любой подходящий электронный датчик изображения, такой как APS или CCD, включающий в себя множество пикселей 120a, расположенных в матрице из строк и столбцов. Электронный датчик 120 изображения расположен относительно объектива 110 так, что объектив фокусирует падающий свет на пикселях 120a.
[0018] Электронный датчик изображения включает в себя разреженный CFA (SCFA), который включает в себя меньшее количество цветных фильтров, чем CFA Байера такой же плотности пикселей. При сохранении других факторов постоянными, использование SCFA увеличивает количество света, который попадает на пиксели, по сравнению с CFA Байера.
[0019] Как показано на Фигуре 3 в этом варианте выполнения электронный датчик 120 изображения включает в себя SCFA 3×3, имеющий повторяющуюся мозаику 130 из двух зеленых фильтров 130a, одного красного фильтра 130b и одного синего фильтра 130c. В SCFA 3×3 мозаики 130 расположены в рисунке так, что одна строка или столбец пикселей 120 без фильтров отделяет соседние мозаики 130 друг от друга.
[0020] Фигура 3B показывает другой вариант выполнения электронного датчика 1120 изображения, включающего в себя SCFA 4×4, имеющий повторяющуюся мозаику 1130 из двух зеленых фильтров 1130a, одного красного фильтра 1130b и одного синего фильтра 1130c. В SCFA 4×4 мозаики 1130 расположены в рисунке так, что две строки или два столбца пикселей 1120 без фильтров отделяют соседние мозаики 1130 друг от друга.
[0021] Фигура 3C показывает другой вариант выполнения электронного датчика 2120 изображения, включающего в себя SCFA типа «рыбий глаз», имеющий повторяющуюся мозаику 2130 из двух зеленых фильтров 2130a, одного красного фильтра 2130b и одного синего фильтра 2130c. В SCFA типа «рыбий глаз» мозаики 2130 расположены в рисунке так, что мозаики 2130 расположены близко друг к другу вблизи горизонтального и вертикального центра электронного датчика 2120 изображения и расположены дальше друг от друга при удалении от центра. Это приводит к высокой концентрации мозаик вблизи центра электронного датчика изображения и низкой концентрации мозаик вблизи краев электронного датчика изображения. Это расстояние соответствует уникальному полю обзора объектива типа «рыбий глаз».
[0022] Эти три SCFA являются лишь примерами, и электронный датчик изображения может включать в себя любой подходящий SCFA с любыми подходящими мозаиками, расположенными в любых подходящих рисунках, с любыми подходящими цветными фильтрами и с любым подходящим количеством фильтров, при условии, что некоторые пиксели остаются без фильтра.
[0023] Контроллер 20 включает в себя по меньшей мере один процессор в сообщении с памятью, которая хранит набор команд. Процессор выполнен с возможностью сообщения с памятью, доступа к набору команд и выполнения набора команд для побуждения системы 10 формирования изображения к выполнению любого из способов, процессов и признаков, описанных в настоящем документе.
[0024] Процессор может представлять собой любое подходящее устройство обработки или набор устройств обработки, таких как, но без ограничения: микропроцессор, платформа на основе микроконтроллера, подходящая интегральная схема или одна или более интегральных схем специального назначения (ASIC), выполненных с возможностью выполнения набора команд. Память может представлять собой любое подходящее запоминающее устройство, такое как, но без ограничения: память с произвольным доступом (RAM), которая может включать в себя энергонезависимую RAM, магнитную RAM, сегнетоэлектрическую RAM и любые другие подходящие формы; дисковая память; накопитель на жестких дисках (HDD); твердотельный накопитель (SSD); флэш-память; EPROM; EEPROM; энергонезависимая твердотельная память на основе мемристора; неизменная память; или постоянное запоминающее устройство.
[0025] Устройство 30 отображения может представлять собой любое подходящее устройство отображения, выполненное с возможностью отображения изображений, генерируемых контроллером 20, такое как (но без ограничения) жидкокристаллический дисплей (LCD) или дисплей на органических светоизлучающих диодах (OLED). Устройство 30 отображения может иметь любой подходящий размер и любую подходящую форму и может быть расположено в любом подходящем месте в автомобиле. В одном варианте выполнения устройство отображения является частью информационно-развлекательной системы автомобиля.
2. Функционирование
[0026] Для генерации и отображения изображения с использованием автомобильной системы 10 формирования изображения камера 100 сначала подвергает электронный датчик 120 изображения (и, в частности, пиксели 120a) воздействию падающего света (через объектив 110) в течение периода времени, называемого время интегрирования. Это выполняется путем открытия затвора камеры 100, удерживания затвора открытым в течение времени интегрирования и дальнейшего закрытия затвора. Затвор может быть электронным или механическим. Схема электронного датчика 120 изображения преобразует свет, падающий на пиксели, в цифровые данные изображения и отправляет данные изображения в контроллер 20. Контроллер 20 преобразует данные изображения в изображение (по меньшей мере частично с использованием алгоритма демозаики известного в уровне техники для воссоздания цвета) и отправляет изображение в устройство 30 отображения для отображения.
3. Диафрагменное число и время интегрирования
[0027] Как известно в уровне техники, объектив камеры имеет диафрагменное число (иногда называемое число диафрагмы, фокусное отношение или f-отношение), которое показывает отношение фокусного расстояния объектива к диаметру входного зрачка объектива. Чем меньше диафрагменное число, тем больше отверстие, и тем больше света проходит через объектив, и наоборот. Например, отверстие объектива f/1,4 больше, чем отверстие объектива f/8. Объективы с большими диафрагменными числами (меньшими отверстиями) имеют лучшую глубину фокуса, чем объективы с меньшими диафрагменными числами (большими отверстиями), что предпочтительно для областей, в которых необходимо, чтобы полученные изображения передавали глубину. Объективы с меньшими диафрагменными числами (большими отверстиями) являются более сложными, чем объективы с большими диафрагменными числами (меньшими отверстиями), это означает, что они размещаются в больших корпусах или кожухах, чем объективы с большими диафрагменными числами (меньшими отверстиями).
[0028] Генерация изображения допустимого качества требует установления баланса трех основных факторов: (1) диафрагменного числа объектива, (2) времени интегрирования и (3) типа CFA (если таковой имеется) электронного датчика изображения.
[0029] Приведенная ниже таблица 1 показывает для каждого из множества диафрагменных чисел и для четырех типов CFA (нет, SCFA 4×4, SCFA 3×3 и CFA Байера) процент падающего света, попадающего на пиксели электронного датчика изображения, нормированный на f/2,4 и при условии времени интегрирования 30 миллисекунд.
Диафрагменное число | ||||||||
1,4 | 2 | 2,4 | 2,8 | 4 | 5,6 | 8 | ||
Тип CFA | Нет (Без фильтра) |
280 | 140 | 100 | 70 | 35 | 17,5 | 8,75 |
SCFA 4×4 | 240,8 | 120,4 | 86 | 60,2 | 30,1 | 15,05 | 7,53 | |
SCFA 3×3 | 193,2 | 96,6 | 69 | 48,3 | 24,15 | 12,08 | 6,04 | |
CFA Байера | 99,33 | 46,67 | 33,33 | 23,33 | 11,67 | 5,83 | 2,92 | |
Процент падающего света, попадающего на пиксели (нормированный на f/2,4 и при условии времени интегрирования 30 мс) |
Таблица 1
[0030] Приведенная ниже таблица 2 показывает для каждого из множества времен интегрирования и для четырех типов CFA (нет, SCFA 4×4 SCFA 3×3 и CFA Байера) процент падающего свет, попадающего на пиксели электронного датчика изображения, нормированный на какое-либо конкретное диафрагменное число.
Время интегрирования (мс) | |||||
30 | 15 | 7,5 | 3,25 | ||
Тип CFA | Нет (Без фильтра) |
100 | 50 | 25 | 12,5 |
SCFA 4×4 | 86 | 43 | 21,5 | 10,75 | |
SCFA 3×3 | 69 | 34,5 | 17,25 | 8,63 | |
CFA Байера | 33,33 | 16,67 | 8,33 | 4,17 | |
Процент падающего света, попадающего на пиксели (нормированный на какое-либо диафрагменное число) |
Таблица 2
[0031] Типичные известные автомобильные системы формирования изображения включают в себя электронный датчик изображения с CFA Байера, имеют объектив f/2,4 и используют время интегрирования 30 миллисекунд. Это приводит к тому, что 33,33% падающего света попадает на пиксели электронного датчика изображения.
[0032] Как указано в таблицах 1 и 2, используя электронный датчик изображения с SCFA 3×3 или SCFA 4×4 согласно настоящему изобретению и сохраняя время интегрирования и диафрагменное число постоянными (30 миллисекунд и f/2,4 в данном примерном варианте выполнения), можно повысить качество изображения, генерируемого в итоге контроллером, по сравнению с качеством изображения, генерируемым при использовании CFA Байера. Использование SCFA 3×3 увеличивает процент падающего света, попадающего на пиксели электронного датчика изображения более чем в 2 раза до 69%, а использование SCFA 4×4 увеличивает процент падающего света, попадающего на пиксели электронного датчика изображения более чем в 2,5 раза до 86%. Поскольку время интегрирования и диафрагменное число не изменяются, большее количество света, попадающего на пиксели, будет приводить к изображению лучшего качества. Это также улучшает производительность в условиях низкой освещенности. Поскольку при использовании электронного датчика изображения с SCFA 3×3 или SCFA 4×4 большее количество света попадает на пиксели, автомобильная система формирования изображения может приемлемо работать в условиях низкой освещенности и в некоторых примерах не требует использования автомобильного источника света для обеспечения приемлемого количества внешнего света.
[0033] Как указано в таблице 1, используя электронный датчик изображения с SCFA 3×3 или SCFA 4×4 согласно настоящему изобретению и сохраняя время интегрирования постоянным (30 миллисекунд в данном примерном варианте выполнения), можно использовать более высокое диафрагменное число по сравнению с диафрагменным числом, используемым с CFA Байера, без снижения качества изображения или без какого-либо существенного снижения качества изображения. Например, использование электронного датчика изображения с SCFA 3×3 в сочетании с объективом f/2,8 (на одно диафрагменное число выше, чем для объектива f/2,4, используемого с CFA Байера) приводит к тому, что 48,3% падающего света попадает на пиксели электронного датчика изображения. В этом примере использование менее сложного объектива с более высоким диафрагменным числом приводит к более компактной камере и большему количеству света, попадающему на пиксели, чем для описанных выше типичных автомобильных систем формирования изображения. Поскольку время интегрирования не изменяется, большее количество света, попадающего на пиксели, приводит к изображению более высокого качества. Дополнительно более высокое диафрагменное число обеспечивает большую глубину фокуса и, следовательно, более резкое изображение по всей площади изображения.
[0034] В другом примере использование электронного датчика изображения с SCFA 4×4 в сочетании с объективом f/4 (на два диафрагменных числа выше, чем для объектива f/2,4, используемого с CFA Байера) приводит к тому, что 30,1% падающего света попадает на пиксели электронного датчика изображения. В этом примере, использование менее сложного объектива с более высоким диафрагменным числом приводит к более компактной камере и примерно тому же количеству света, попадающего на пиксели, как и в описанных выше типичных автомобильных системах формирования изображения. Соответственно качество изображения по существу не будет снижено, но может быть использован менее сложный, более дешевый и менее объемный объектив. Дополнительно более высокое диафрагменное число обеспечивает большую глубину фокуса и, следовательно, более резкое изображение по всей площади изображения.
[0035] Как указано в таблице 2, используя электронный датчик изображения с SCFA 3×3 или SCFA 4×4 согласно настоящему изобретению и сохраняя диафрагменное число постоянным (f/2,4 в данном примерном варианте выполнения), можно использовать меньшее время интегрирования по сравнению со временем интегрирования, используемым с CFA Байера, и повысить качество изображения. Например, использование электронного датчика изображения с SCFA 3×3 и временем интегрирования 15 миллисекунд (половина от времени, используемого с CFA Байера) приводит к тому, что 34,5% падающего света попадает на пиксели электронного датчика изображения. В этом примере, уменьшение времени интегрирования приводит к изображению лучшего качества с большей резкостью. Поскольку диафрагменное число не изменяется, большее количество света, попадающего на пиксели, также приводит к изображению более высокого качества.
[0036] В другом примере использование электронного датчика изображения с SCFA 4×4 и временем интегрирования 15 миллисекунд (половина от времени, используемого с CFA Байера) приводит к тому, что 43% падающего света попадает на пиксели электронного датчика изображения. В этом примере уменьшение времени интегрирования приводит к изображению лучшего качества с большей резкостью. Поскольку диафрагменное число не изменяется, большее количество света, попадающего на пиксели, также приводит к изображению более высокого качества.
[0037] В связи с этим следует понимать, что можно выбрать диафрагменное число, время интегрирования и тип SCFA для получения более резкого изображения, улучшенной однородности света по всему изображению (уменьшенного виньетирования), улучшенного воспроизведения цветов, улучшенного отношения сигнала к шуму и улучшенного динамического диапазона и воспроизведения тонов.
[0038] Вышеописанные варианты выполнения и, в частности, любые «предпочтительные» варианты выполнения представляют собой возможные примеры реализаций и изложены только для четкого понимания принципов изобретения. Множество изменений и модификаций может быть выполнено в вышеописанном(ых) варианте(ах) выполнения по существу без отклонения от замысла и принципов описанных здесь технологий. Все такие модификации должны быть включены в пределы объема охраны настоящего изобретения и защищены следующей далее формулой изобретения.
Claims (28)
1. Автомобиль, содержащий:
каркас и
систему формирования изображения, поддерживаемую каркасом и включающую в себя:
камеру, включающую в себя объектив и датчик изображения, имеющий разреженный массив цветных фильтров, причем камера выполнена с возможностью генерации данных изображения на основе света, падающего на датчик, объектив имеет диафрагменное число выше чем f/2,4;
контроллер, выполненный с возможностью генерации изображения с использованием данных изображения; и
устройство отображения, выполненное с возможностью отображения изображения.
2. Автомобиль по п. 1, в котором время интегрирования камеры составляет около 30 миллисекунд или меньше.
3. Автомобиль по п. 1, в котором диафрагменное число объектива выше чем f/2,8.
4. Автомобиль по п. 3, в котором разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 4×4 и время интегрирования камеры составляет около 30 миллисекунд.
5. Автомобиль по п. 4, в котором диафрагменное число объектива составляет f/4.
6. Автомобиль по п. 1, в котором диафрагменное число объектива составляет f/2,8 и разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
7. Автомобиль по п. 1, в котором время интегрирования камеры составляет около 15 миллисекунд или меньше.
8. Автомобиль по п. 7, в котором разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
9. Автомобиль по п. 1, в котором объектив представляет собой объектив типа «рыбий глаз».
10. Автомобиль по п. 9, в котором датчик изображения включает в себя множество пикселей, и разреженный массив цветных фильтров включает в себя повторяющуюся мозаику цветных фильтров, расположенных в рисунке так, что мозаики более плотно сконцентрированы вблизи центра датчика изображения, чем вблизи краев датчика изображения.
11. Автомобильная система формирования изображения, содержащая:
камеру, включающую в себя объектив и датчик изображения, имеющий разреженный массив цветных фильтров, причем камера выполнена с возможностью генерации данных изображения на основе света, падающего на датчик, объектив имеет диафрагменное число выше чем f/2,4;
контроллер, выполненный с возможностью генерации изображения с использованием данных изображения; и
устройство отображения, выполненное с возможностью отображения изображения.
12. Автомобильная система формирования изображения по п. 11, в которой время интегрирования камеры составляет около 30 миллисекунд или меньше.
13. Автомобильная система формирования изображения по п. 11, в которой диафрагменное число объектива выше чем f/2,8.
14. Автомобильная система формирования изображения по п. 13, в которой разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 4×4 и время интегрирования камеры составляет около 30 миллисекунд.
15. Автомобильная система формирования изображения по п. 14, в которой диафрагменное число объектива составляет f/4.
16. Автомобильная система формирования изображения по п. 11, в которой диафрагменное число объектива составляет f/2,8 и разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
17. Автомобильная система формирования изображения по п. 11, в которой время интегрирования камеры составляет около 15 миллисекунд или меньше.
18. Автомобильная система формирования изображения по п. 17, в которой разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
19. Автомобильная система формирования изображения по п. 11, в которой объектив представляет собой объектив типа «рыбий глаз».
20. Автомобильная система формирования изображения по п. 19, в которой датчик изображения включает в себя множество пикселей и разреженный массив цветных фильтров включает в себя повторяющуюся мозаику цветных фильтров, расположенных в рисунке так, что мозаики более плотно сконцентрированы вблизи центра датчика изображения, чем вблизи краев датчика изображения.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/010,698 US9998695B2 (en) | 2016-01-29 | 2016-01-29 | Automotive imaging system including an electronic image sensor having a sparse color filter array |
US15/010,698 | 2016-01-29 |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2017101529A RU2017101529A (ru) | 2018-07-19 |
RU2017101529A3 RU2017101529A3 (ru) | 2018-11-21 |
RU2678018C2 true RU2678018C2 (ru) | 2019-01-22 |
Family
ID=58462882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017101529A RU2678018C2 (ru) | 2016-01-29 | 2017-01-18 | Автомобильная система формирования изображения, включающая в себя электронный датчик изображения, имеющий разреженный массив цветных фильтров |
Country Status (6)
Country | Link |
---|---|
US (1) | US9998695B2 (ru) |
CN (1) | CN107026962B (ru) |
DE (1) | DE102017101517A1 (ru) |
GB (1) | GB2548687A (ru) |
MX (1) | MX2017001357A (ru) |
RU (1) | RU2678018C2 (ru) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10930709B2 (en) | 2017-10-03 | 2021-02-23 | Lockheed Martin Corporation | Stacked transparent pixel structures for image sensors |
CN108122004A (zh) * | 2017-12-19 | 2018-06-05 | 杭州电子科技大学 | 基于Fisher判别稀疏超限学习机的脑电分类方法 |
US10951883B2 (en) | 2018-02-07 | 2021-03-16 | Lockheed Martin Corporation | Distributed multi-screen array for high density display |
US11616941B2 (en) | 2018-02-07 | 2023-03-28 | Lockheed Martin Corporation | Direct camera-to-display system |
US10838250B2 (en) * | 2018-02-07 | 2020-11-17 | Lockheed Martin Corporation | Display assemblies with electronically emulated transparency |
US10652529B2 (en) | 2018-02-07 | 2020-05-12 | Lockheed Martin Corporation | In-layer Signal processing |
US10979699B2 (en) | 2018-02-07 | 2021-04-13 | Lockheed Martin Corporation | Plenoptic cellular imaging system |
US10567724B2 (en) * | 2018-04-10 | 2020-02-18 | GM Global Technology Operations LLC | Dynamic demosaicing of camera pixels |
JP2021533633A (ja) * | 2018-07-31 | 2021-12-02 | スリーエム イノベイティブ プロパティズ カンパニー | 車両支援システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6476865B1 (en) * | 2001-03-07 | 2002-11-05 | Eastman Kodak Company | Sparsely sampled image sensing device with color and luminance photosites |
US20060119738A1 (en) * | 2004-12-07 | 2006-06-08 | Konica Minolta Photo Imaging, Inc. | Image sensor, image capturing apparatus, and image processing method |
WO2008069920A1 (en) * | 2006-12-01 | 2008-06-12 | Eastman Kodak Company | Improved light sensitivity in image sensors |
US7952624B2 (en) * | 2005-09-30 | 2011-05-31 | Panasonic Corporation | Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same |
WO2015045913A1 (ja) * | 2013-09-25 | 2015-04-02 | ソニー株式会社 | 固体撮像装置、撮像装置、および電子機器 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7012643B2 (en) | 2002-05-08 | 2006-03-14 | Ball Aerospace & Technologies Corp. | One chip, low light level color camera |
EP1781018A1 (en) * | 2004-09-10 | 2007-05-02 | Matsushita Electric Industrial Co., Ltd. | Camera and camera system |
US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
US7999870B2 (en) * | 2008-02-01 | 2011-08-16 | Omnivision Technologies, Inc. | Sampling and readout of an image sensor having a sparse color filter array pattern |
US8164669B2 (en) * | 2008-12-19 | 2012-04-24 | Truesense Imaging, Inc. | Charge-coupled device image sensor with efficient binning of same-color pixels |
US20100309340A1 (en) * | 2009-06-03 | 2010-12-09 | Border John N | Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array |
US20110115954A1 (en) | 2009-11-19 | 2011-05-19 | Eastman Kodak Company | Sparse color pixel array with pixel substitutes |
EP2833635B1 (en) | 2012-03-27 | 2018-11-07 | Sony Corporation | Image processing device, image-capturing element, image processing method, and program |
US9105550B2 (en) * | 2013-01-11 | 2015-08-11 | Digimarc Corporation | Next generation imaging methods and systems |
KR102163727B1 (ko) | 2014-04-03 | 2020-10-08 | 삼성전자주식회사 | 광 이용 효율이 향상된 이미지 센서 |
KR102276432B1 (ko) | 2014-04-07 | 2021-07-09 | 삼성전자주식회사 | 색분리 소자 및 상기 색분리 소자를 포함하는 이미지 센서 |
US9906691B2 (en) * | 2015-03-25 | 2018-02-27 | Tripurari Singh | Methods and system for sparse blue sampling |
-
2016
- 2016-01-29 US US15/010,698 patent/US9998695B2/en active Active
-
2017
- 2017-01-18 RU RU2017101529A patent/RU2678018C2/ru active
- 2017-01-22 CN CN201710048746.3A patent/CN107026962B/zh active Active
- 2017-01-26 DE DE102017101517.5A patent/DE102017101517A1/de active Pending
- 2017-01-27 GB GB1701408.5A patent/GB2548687A/en not_active Withdrawn
- 2017-01-30 MX MX2017001357A patent/MX2017001357A/es unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6476865B1 (en) * | 2001-03-07 | 2002-11-05 | Eastman Kodak Company | Sparsely sampled image sensing device with color and luminance photosites |
US20060119738A1 (en) * | 2004-12-07 | 2006-06-08 | Konica Minolta Photo Imaging, Inc. | Image sensor, image capturing apparatus, and image processing method |
US7952624B2 (en) * | 2005-09-30 | 2011-05-31 | Panasonic Corporation | Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same |
WO2008069920A1 (en) * | 2006-12-01 | 2008-06-12 | Eastman Kodak Company | Improved light sensitivity in image sensors |
WO2015045913A1 (ja) * | 2013-09-25 | 2015-04-02 | ソニー株式会社 | 固体撮像装置、撮像装置、および電子機器 |
Also Published As
Publication number | Publication date |
---|---|
CN107026962B (zh) | 2021-03-02 |
CN107026962A (zh) | 2017-08-08 |
RU2017101529A (ru) | 2018-07-19 |
MX2017001357A (es) | 2018-07-30 |
US20170223288A1 (en) | 2017-08-03 |
GB2548687A (en) | 2017-09-27 |
DE102017101517A1 (de) | 2017-08-03 |
US9998695B2 (en) | 2018-06-12 |
RU2017101529A3 (ru) | 2018-11-21 |
GB201701408D0 (en) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2678018C2 (ru) | Автомобильная система формирования изображения, включающая в себя электронный датчик изображения, имеющий разреженный массив цветных фильтров | |
US8730545B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
US8355074B2 (en) | Exposing pixel groups in producing digital images | |
US8203633B2 (en) | Four-channel color filter array pattern | |
US8237831B2 (en) | Four-channel color filter array interpolation | |
JP5784642B2 (ja) | 低解像度画像を用い高解像度画像を生成する方法及び装置 | |
US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
US8452082B2 (en) | Pattern conversion for interpolation | |
WO2013089036A1 (ja) | 撮像装置 | |
US20110121421A1 (en) | Image sensor having nonlinear response | |
JP2007329721A (ja) | 固体撮像装置 | |
CN107547807B (zh) | 用于减少空间闪烁伪影的装置和成像系统 | |
US8736743B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
US8842214B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
US10834339B2 (en) | Imaging apparatus, control method for imaging apparatus, and recording medium | |
US20140022446A1 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
CN204633909U (zh) | 成像器 | |
JP2019161577A (ja) | 撮像装置、画素補正処理回路、及び、画素補正処理方法 | |
KR20110030328A (ko) | 고체 촬상 장치 및 전자 기기 | |
US8804016B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
WO2022149353A1 (ja) | 受光素子、撮像装置及び補正処理方法 | |
WO2021085152A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム | |
US20190109999A1 (en) | Constructing an Image Using More Pixel Data than Pixels in an Image Sensor | |
CN116648925A (zh) | 相机系统、用于hdr合成的方法以及存储用于实现该方法的软件的计算机可用介质 |