RU2397542C2 - Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций - Google Patents

Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций Download PDF

Info

Publication number
RU2397542C2
RU2397542C2 RU2007132891/09A RU2007132891A RU2397542C2 RU 2397542 C2 RU2397542 C2 RU 2397542C2 RU 2007132891/09 A RU2007132891/09 A RU 2007132891/09A RU 2007132891 A RU2007132891 A RU 2007132891A RU 2397542 C2 RU2397542 C2 RU 2397542C2
Authority
RU
Russia
Prior art keywords
exposure
exposures
data
memory
processor
Prior art date
Application number
RU2007132891/09A
Other languages
English (en)
Other versions
RU2007132891A (ru
Inventor
Йохан НИЛЕХН (SE)
Йохан НИЛЕХН
Матс ВЕРНЕРССОН (SE)
Матс ВЕРНЕРССОН
Original Assignee
Сони Эрикссон Мобайл Коммьюникейшнз Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Эрикссон Мобайл Коммьюникейшнз Аб filed Critical Сони Эрикссон Мобайл Коммьюникейшнз Аб
Publication of RU2007132891A publication Critical patent/RU2007132891A/ru
Application granted granted Critical
Publication of RU2397542C2 publication Critical patent/RU2397542C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)
  • Processing Of Color Television Signals (AREA)
  • Projection-Type Copiers In General (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к способу и устройству для создания изображений и, в частности, к способу для создания улучшенного изображения посредством нескольких последовательных экспозиций. Техническим результатом является создание изображений с высоким динамическим диапазоном из множественных экспозиций. Результат достигается тем, что достаточный свет получают путем осуществления ряда первых экспозиций совместно с одной второй экспозицией в быстрой последовательности. Первые экспозиции объединяются для обеспечения достаточной яркости и резкости. Вторая экспозиция предназначена для сбора информации цвета. Первые экспозиции объединяются со второй экспозицией для обеспечения улучшенного изображения. 2 н. и 28 з.п. ф-лы, 3 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к способу для создания изображений и, в частности, к способу для создания улучшенного изображения посредством нескольких последовательных экспозиций. Экспозиции объединяются для создания изображений с улучшенными характеристиками, в особенности, с лучшим цветовым и световым контентом.
Изобретение также относится к устройству, в котором используется упомянутый способ.
Уровень техники
Современные цифровые камеры широко используются и продаются в широком ассортименте, включая высококлассные камеры, имеющие светочувствительные матрицы с высоким разрешением свыше 10 мегапикселей, и более простые камеры, например, входящие в состав сотовых телефонов. В общем случае, существует проблема получения изображений в условиях низкой освещенности. При слишком малой выдержке изображение получается недостаточно светлым (недодержанным). С другой стороны, при слишком большой выдержке, изображение ухудшается вследствие дрожания руки, держащей камеру, или вследствие перемещения объекта.
Общее решение заключается в использовании вспышки или подсветки. Однако часто предпочтительно использовать естественный, имеющийся свет. Кроме того, некоторые более маленькие камеры не приспособлены для работы со вспышкой или не имеет встроенной вспышки. Кроме того, вспышка увеличивает стоимость камеры.
Сущность изобретения
Согласно настоящему изобретению достаточный свет получают путем осуществления ряда первых экспозиций совместно с одной второй экспозицией в быстрой последовательности. Первые экспозиции объединяются для обеспечения достаточной яркости и резкости. Вторая экспозиция предназначена для сбора информации цвета. Первые экспозиции объединяются со второй экспозицией для обеспечения улучшенного изображения.
Согласно первому аспекту изобретение предусматривает способ создания изображения, содержащий этапы, на которых:
экспонируют светочувствительную матрицу в соответствии с последовательностью экспозиций,
из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку,
в котором данные яркости (Y) N первых экспозиций используют для создания резкости в окончательном изображении, и данные цветности (UV) второй экспозиции используют для создания цветового контента в окончательном изображении.
Предпочтительно, данные яркости (Y) N первых экспозиций сохраняют в памяти.
Согласно предпочтительному варианту осуществления количество N первых экспозиций больше 1, и данные яркости самой поздней первой экспозиции добавляют к данным яркости (Y), существующим в памяти.
Предпочтительно, данные яркости (Y) добавляют с коррекцией для повышения резкости.
Согласно предпочтительному варианту осуществления вычисляют вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти, причем вектор смещения используется в ходе добавления при обращении к памяти.
Предпочтительно, данные яркости (Y) оптимизируют для высокого значения яркости.
Предпочтительно, данные яркости (Y) являются взвешенной суммой трех цветовых каналов Красный (R), Зеленый (G) и Синий (B).
Весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (B) могут быть равны (Y=R+G+B).
Предпочтительно, данные цветности (UV) и данные яркости (Y) поступают на процессор изображения для обработки.
Согласно предпочтительному варианту осуществления вторую экспозицию осуществляют в последнюю очередь, и данные цветности (UV) считывают с матрицы и данные яркости (Y) считывают из памяти.
Предпочтительно, количество N первых экспозиций составляет от 2 до 8 (2≤ N ≤8).
Первые экспозиции могут иметь более короткие индивидуальные времена экспозиции, чем вторая экспозиция.
Предпочтительно, сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.
Первые экспозиции можно производить с меньшей диафрагмой, чем для второй экспозиции.
Предпочтительно, сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.
Согласно второму аспекту изобретение предусматривает устройство для создания изображения, содержащее оптическую систему для экспонирования светочувствительной матрицы, средство памяти для хранения данных изображения и процессор, способный обрабатывать данные изображения.
Согласно изобретению оптическая система способна экспонировать светочувствительную матрицу в соответствии с последовательностью экспозиций, из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку, и процессор способен использовать данные яркости (Y) N первых экспозиций для создания резкости в окончательном изображении, и использовать данные цветности (UV) второй экспозиции для создания цветового контента в окончательном изображении.
Предпочтительно, чтобы процессор был способен сохранять данные яркости (Y) N первых экспозиций в памяти.
Согласно предпочтительному варианту осуществления количество N первых экспозиций больше 1, и процессор способен добавлять данные яркости самой поздней первой экспозиции к данным яркости (Y), существующим в памяти.
Предпочтительно, чтобы процессор был способен добавлять данные яркости (Y) с коррекцией для повышения резкости.
Согласно предпочтительному варианту осуществления процессор способен вычислять вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти, и использовать вектор смещения в ходе добавления при обращении к памяти.
Предпочтительно, данные яркости (Y) оптимизируют для высокого значения яркости.
Предпочтительно, чтобы процессор был способен извлекать данные яркости (Y) как взвешенную сумму трех цветовых каналов Красный (R), Зеленый (G) и Синий (B).
Весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (B) могут быть равны (Y=R+G+B).
Предпочтительно, чтобы процессор был способен принимать данные цветности (UV) от матрицы (3) и данные яркости (Y) из памяти.
Согласно предпочтительному варианту осуществления, оптическая система способна осуществлять вторую экспозицию в последнюю очередь, и процессор способен считывать данные цветности (UV) с матрицы и считывать данные яркости (Y) из памяти.
Предпочтительно, что количество N первых экспозиций составляет от 2 до 8 (2≤ N ≤8).
Первые экспозиции могут иметь более короткие индивидуальные времена экспозиции, чем вторая экспозиция.
Предпочтительно, что сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.
Первые экспозиции можно производить с меньшей диафрагмой, чем для второй экспозиции.
Предпочтительно, что сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.
Краткое описание чертежей
Изобретение будет более подробно описано ниже со ссылкой на прилагаемые чертежи, на которых:
фиг.1 - схема соответствующих частей камеры, отвечающей изобретению;
фиг.2 - схема последовательности экспозиций, произведенной согласно способу, отвечающему изобретению, и
фиг.3 - логическая блок-схема предпочтительного варианта осуществления способа, отвечающего изобретению.
Подробное описание предпочтительных вариантов осуществления
Изобретение относится к способу создания изображений и устройству, в котором используется способ, например цифровой камере, мобильному телефону и пр. Как было отмечено во введении, изобретение полезно как в высококлассных, так и в простых камерах, когда нужно получить изображение в условиях низкой освещенности с использованием имеющегося света. В ряде случаев не желательно использовать вспышку, и с более простыми камерами это не всегда возможно.
На фиг.1 показаны соответствующие части камеры, отвечающей изобретению. Камера содержит оптическую систему, включающую в себя объектив 1 и затвор 2. Оптическая система экспонирует светочувствительную матрицу 3 свету. Блок управления, содержащий процессор 4, управляет работой объектива 1 и затвора 2. Затвор 2 может представлять собой механический затвор, или матрица 3 может действовать под управлением электроники для получения нужного времени экспозиции. Процессор 4 осуществляет связь с матрицей 3 и с памятью 5, в которой можно хранить и из которой можно извлекать данные изображения. Процессор 4 способен осуществлять необходимые расчеты для обработки изображения.
Объектив 1, затвор 2 и матрица 3 могут иметь традиционную конструкцию. На рынке уже существуют разнообразные компоненты, отличающиеся качеством и характеристиками. Кроме того, известны процессоры изображения, обрабатывающие данные изображения тем или иным образом. Эти компоненты не будут подробно описаны в данной заявке. Память 5 может представлять собой рабочую область памяти, входящей в состав устройства, или может существовать отдельно, сменную карту памяти, где хранятся рабочие данные, а также окончательные изображения. Процессор и память могут входить в состав камеры или располагаться вне ее или совместно использоваться другими функциями.
Для удобства опишем общий принцип работы светочувствительной матрицы, например матрицы 3. Матрица содержит ряд светочувствительных элементов изображения, так называемых пикселей, обычно от 1 до 10 мегапикселей (миллионов пикселей), распределенных по площади матрицы. Когда свет падает на пиксель, пиксель вырабатывает ток, который интегрируется для получения значения интенсивности света. Чтобы матрица была чувствительна к цвету, каждый пиксель снабжается светофильтром, красным, зеленым или синим, в заранее определенной мозаичной картине по матрице. Каждый пиксель связан с трехкомпонентным значением цвета, выражаемым компонентами R, G или B, путем математической интерполяции и оцифровки своих собственных значений и значений соседних пикселей. Это традиционно осуществляет процессор изображений. Традиционно, формат изображения разделяется путем преобразования на яркостную часть и цветностную часть. Яркостная часть Y - это значение интенсивности света и соответствует черно-белому изображению. Y вычисляется как взвешенная сумма трех цветовых каналов, обычно как Y=0,299R+0,587G+0,114B. Цветностная часть UV состоит из двух компонентов, где U=В-Y и V=R-Y. U и V также можно вычислять непосредственно из значений RGB.
Коэффициенты RGB можно регулировать для достижения правильного баланса цветов, что позволяет добиться правильного баланса белого. Это может зависеть от имеющегося света, например дневного света, света ламп накаливания и т.д., что известно из уровня техники.
Согласно настоящему изобретению используется новая методология для получения достаточного света и цвета в окончательном изображении. Основной принцип проиллюстрирован на фиг.2. Первоначально производят N первых экспозиций в быстрой последовательности. Первые экспозиции производятся с малым временем экспозиции и/или с малой диафрагмой. Малое время экспозиции снижает размывание вследствие движения, а малая диафрагма увеличивает глубину поля. Каждая первая экспозиция является резкой и, в принципе, недодержанной, но все пиксели, экспонируемые свету, вносят вклад в значение яркости Y. Значения яркости с Y1 по YN объединяются для получения достаточной яркости изображения. Значения яркости, предпочтительно, объединяются таким образом, чтобы учесть перемещение изображения между первыми экспозициями и произвести коррекцию. Наконец, матрица экспонируется в соответствии со второй экспозицией. Вторая экспозиция производится с большим временем экспозиции и/или с большой диафрагмой, что обеспечивает большую экспозицию, чем для первых экспозиций. Экспозиция достаточна, чтобы гарантировать, что светочувствительная матрица облучается достаточным количеством света для получения хорошей информации цвета. Предполагается, что вторая экспозиция менее резкая, чем другие вследствие дрожания руки (или уменьшения глубины поля). Однако она будет принимать больше света и содержать больше ценной информации цвета, не улавливаемой первыми экспозициями в последовательности. Данные цвета, предпочтительно, не подвергаются цифровому улучшению. При цифровом улучшении данные цвета могут вносить в изображение большой шум, особенно в синей области. Информация яркости Y и информация цветности UV из экспозиций объединяются друг с другом для формирования окончательного изображения.
Даже, если вторая экспозиция будет смазанной вследствие перемещения, это не приведет к заметному ухудшению окончательного изображения. Известно, что человеческий глаз не чувствителен к размыванию в информации цвета. Человеческое зрение в основном чувствительно к яркостной части Y для восприятия деталей изображения.
До начала выполнения способа, отвечающего изобретению, камера настраивается традиционным образом путем регулировки фокуса объектива, выбора полного времени экспозиции и установки диафрагмы (значения остановки F). Можно использовать различные экспонометрические программы. Пользователь также может выбирать приближение и удаление с помощью оптической системы. Согласно предпочтительному варианту осуществления изобретения количество N первых экспозиций выбирается в соответствии с полным временем экспозиции. N может представлять собой любое количество (включая 1), но, целесообразно, принимает значение от 2 до 8. Первые экспозиции могут иметь одинаковое время экспозиции, или время первой экспозиции может меняться между первыми экспозициями согласно заранее определенной программе. Время второй экспозиции также выбирается согласно полному времени экспозиции. Согласно иллюстративному варианту осуществления суммарное время первых экспозиций примерно равно времени второй экспозиции. При количестве первых экспозиций N=8, одна первая экспозиция будет составлять примерно одну восьмую времени второй экспозиции. Полное время экспозиции это сумма первых экспозиций и второй экспозиции.
Поэтапное описание способа приведено со ссылкой на логическую блок-схему, изображенную на фиг.3.
Этап 101. Делают начальную первую экспозицию.
Этап 102. Как указано выше, вычисляют значения RGB для всех пикселей. Извлекают информацию яркости Y1 из трех цветовых каналов RGB. Все расчеты производит процессор 4. Поскольку интерес представляет только информация яркости, правильный баланс белого не является обязательным. Таким образом, яркость Y можно вычислить как Y=R+B+G с присвоением каждому компоненту весового коэффициента. Обычно это взвешивание оптимизируют для хорошего воспроизведения цветов. Однако весовой коэффициент можно оптимизировать таким образом, чтобы минимизировать шум на результирующем канале Y без учета цветовых свойств. Также можно использовать равные весовые коэффициенты.
Этап 103. Информацию яркости Y1 сохраняют в памяти 5. Заметим, что информацию цветности UV не нужно вычислять вовсе и предпочтительно не сохранять в памяти.
Этап 104. Следующую первую экспозицию n делают спустя короткий интервал времени. Интервал должен быть, конечно, как можно меньше, для минимизации любых перемещений между экспозициями.
Этап 105. Опять же, информацию яркости извлекают из матрицы для получения Yn.
Этап 106. Согласно предпочтительному варианту осуществления информация яркости Yn не сохраняется отдельно в памяти 5. Вместо этого информация яркости Yn добавляется к информации яркости YMem, уже существующей в памяти 5. Таким образом, в памяти 5 хранится только один полный набор данных яркости Y.
Однако изображение, воспринятое матрицей 3, может быть сдвинуто по отношению к предыдущей экспозиции, либо вследствие перемещения самой камеры, либо вследствие перемещения фотографируемого объекта. Для упрощения расчета предполагается, что переместилась сама камера, и что перемещение одинаково для всех пикселей матрицы. Вектор смещения OSV вычисляется для учета перемещения. Вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти 5.
Этап 107. Таким образом, информация яркости Yn добавляется в память 5 к уже существующим данным яркости, и вектор смещения OSV используется для обращения к памяти 5, чтобы все значения пикселей добавлялись в надлежащие места.
Этап 108. Цикл с 104 по 107 повторяется N раз, т.е. n пробегает от 1 до N. Как указано выше, N может быть фиксированным числом или может изменяться в соответствии с нужным временем экспозиции. После N циклов в памяти 5 имеются полные данные яркости Y.
Этап 109. После последовательности из N первых экспозиций производят вторую экспозицию. Этого должно быть достаточно для получения данных цвета от матрицы без необходимости в цифровом улучшении данных цвета.
Этап 110. Значения цветности UV извлекают из значений RGB матрицы 3. Для этого можно сначала вычислить яркость Y, а затем цветность UV или, альтернативно, вычислить цветность UV непосредственно из значений RGB, все с правильным балансом белого. (Баланс белого можно регулировать, как указано выше.) Поскольку существует вероятность размывания этой второй экспозиции, данные яркости Y из этой второй экспозиции не нужно использовать и вычислять, если это не целесообразно с точки зрения программирования для вычисления данных UV через яркость Y.
Этап 111. Значения цветности UV не сохраняются совместно с полными данными яркости Y, существующими на данный момент в памяти 5. Напротив, яркость Y и цветность UV поступают в оперативном режиме на процессор 4 для традиционной обработки изображения. Традиционно, значения цветности UV присваиваются только каждому второму пикселю для экономии объема памяти и мощности процессора.
Значения цветности UV также могут храниться в памяти 5 до подачи совместно с данными яркости Y для дальнейшей обработки изображения. Заметим, что некоторая рабочая область памяти может потребоваться для сохранения самых последних данных яркости Y из первой экспозиции для расчета вектора смещения путем сравнения информации с ранее полученными данными яркости Y, сохраненными в другой области памяти. Эта рабочая область памяти не требуется после получения всех первых экспозиций. Таким образом, ее можно использовать для хранения окончательных значений цветности UV.
Альтернативно, вектор смещения OSV формируется путем сравнения данных яркости Y второй экспозиции с данными яркости YMem, содержащимися в памяти 5. Этот вектор смещения OSV используется при объединении данных цветности UV второй экспозиции с полными данными яркости Y.
Согласно еще одной альтернативе последний вектор смещения OSV, используемый при добавлении самых поздних данных яркости YN в память 5, также используется при объединении данных цветности UV второй экспозиции с полными данными яркости Y. Этот способ предусматривает, что последний вычисленный вектор смещения пригоден для вычисления вектора смещения второй экспозиции. Поскольку глаз менее чувствителен к размыванию в цветностном изображении, этот вектор смещения не критичен.
Вторую экспозицию не обязательно производить в последнюю очередь, ее можно производить до "первых" экспозиций или между ними. Однако в этом случае данные цветности UV нужно сохранять, пока не будет произведена последняя из "первых" экспозиций. Для этого требуется больший объем памяти.
Процессор 4 может осуществлять традиционную обработку изображения, например вычитание уровня черного, регулировку гаммы, регулировку контрастности, коррекцию ошибок для ошибочных пикселей, цифровое повышение резкости, и сжатие JPEG. Эти операции осуществляются над окончательным изображением, созданным согласно настоящему изобретению, и не составляют часть настоящего изобретения. Поэтому они не описаны здесь подробно.
Настоящее изобретение позволяет создавать резкое изображение с правильной экспозицией и информацией цвета даже в условиях низкой освещенности. Изобретение позволяет использовать имеющийся свет, что во многих случаях делает вспышку избыточной. Электронное усиление информации цвета требуется в меньшей степени или вообще не требуется, что обеспечивает ослабление шума в окончательном изображении. Изобретение позволяет создавать резкие изображения, несмотря на продолжительное время экспозиции. Объем изобретения ограничивается только нижеприведенной формулой изобретения.

Claims (30)

1. Способ создания изображения, содержащий этапы, на которых
экспонируют светочувствительную матрицу (3) в соответствии с последовательностью экспозиций,
из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку,
при этом данные яркости (Y) N первых экспозиций используют для создания резкости в окончательном изображении и данные цветности (UV) второй экспозиции используют для создания цветового контента в окончательном изображении.
2. Способ по п.1, в котором данные яркости (Y) N первых экспозиций сохраняют в памяти (5).
3. Способ по п.2, в котором количество N первых экспозиций больше 1, и данные яркости самой поздней первой экспозиции добавляют к данным яркости (Y), существующим в памяти (5).
4. Способ по п.3, в котором данные яркости (Y) добавляют с коррекцией для повышения резкости.
5. Способ по п.4, в котором вычисляют вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти (5), причем вектор смещения используется в ходе добавления при обращении к памяти (5).
6. Способ по любому из пп.1-5, в котором данные яркости (Y) оптимизируют для высокого значения яркости.
7. Способ по п.6, в котором данные яркости (Y) являются взвешенной суммой трех цветовых каналов Красный (R), Зеленый (G) и Синий (В).
8. Способ по любому из пп.1-5, в котором весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (В) равны (Y=R+G+B).
9. Способ по любому из предыдущих пунктов, в котором данные цветности (UV) и данные яркости (Y) поступают на процессор (4) изображения для обработки.
10. Способ по п.9, зависимому от пп.2-8, в котором вторую экспозицию осуществляют в последнюю очередь и данные цветности (UV) считывают с матрицы (3) и данные яркости (Y) считывают из памяти (5).
11. Способ по любому из предыдущих пунктов, в котором количество N первых экспозиций составляет от 2 до 8 (2≤N≤8).
12. Способ по любому из пп.1-11, в котором первые экспозиции имеют более короткие индивидуальные времена экспозиции, чем вторая экспозиция.
13. Способ по п.12, в котором сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.
14. Способ по любому из пп.1-11, в котором первые экспозиции производят с меньшей диафрагмой, чем для второй экспозиции.
15. Способ по п.14, в котором сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.
16. Устройство для создания изображения, содержащее оптическую систему (1, 2) для экспонирования светочувствительной матрицы (3), средство (5) памяти для сохранения данных изображения, и процессор (4), способный обрабатывать данные изображения, отличающееся тем, что оптическая система (1, 2) способна экспонировать светочувствительную матрицу (3) в соответствии с последовательностью экспозиций, из которых количество N являются первыми экспозициями, которые могут быть недодержанными, и из которых одна является второй экспозицией, имеющей сравнительно более длительную выдержку, и тем, что процессор (4) способен использовать данные яркости (Y) N первых экспозиций для создания резкости в окончательном изображении и использовать данные цветности (UV) второй экспозиции для создания цветового контента в окончательном изображении.
17. Устройство по п.16, в котором процессор (4) способен сохранять данные яркости (Y) N первых экспозиций в памяти (5).
18. Устройство по п.17, в котором количество N первых экспозиций больше 1, и процессор (4) способен добавлять данные яркости самой поздней первой экспозиции к данным яркости (Y), существующим в памяти (5).
19. Устройство по п.18, в котором процессор (4) способен добавлять данные яркости (Y) с коррекцией для повышения резкости.
20. Устройство по п.19, в котором процессор (4) способен вычислять вектор смещения, причем вектор смещения выражает разность, обусловленную движением между самой поздней первой экспозицией и содержимым памяти (5), и использовать вектор смещения в ходе добавления при обращении к памяти (5).
21. Устройство по любому из пп.16-20, в котором данные яркости (Y) оптимизируют для высокого значения яркости.
22. Устройство по п.21, в котором процессор (4) способен извлекать данные яркости (Y) как взвешенную сумму трех цветовых каналов Красный (R), Зеленый (G) и Синий (В).
23. Устройство по любому из пп.16-20, в котором весовые коэффициенты трех цветовых каналов Красный (R), Зеленый (G) и Синий (В) равны (Y=R+G+B).
24. Устройство по любому из пп.16-23, в котором процессор (4) способен принимать данные цветности (UV) от матрицы (3) и данные яркости (Y) из памяти (5).
25. Устройство по п.24, зависимому от любого из пп.17-23, в котором оптическая система (1, 2) способна осуществлять вторую экспозицию в последнюю очередь, и процессор (4) способен считывать данные цветности (UV) с матрицы (3) и считывать данные яркости (Y) из памяти (5).
26. Устройство по любому из пп.16-25, в котором количество N первых экспозиций составляет от 2 до 8 (2≤N≤8).
27. Устройство по любому из пп.16-26, в котором первые экспозиции установлены на более короткие индивидуальные времена экспозиции, чем вторая экспозиция.
28. Устройство по п.27, в котором сумма времен экспозиции для N первых экспозиций примерно равна времени экспозиции для второй экспозиции.
29. Устройство по любому из пп.16-26, в котором первые экспозиции установлены на осуществление с меньшей диафрагмой, чем для второй экспозиции.
30. Устройство по п.29, в котором сумма экспозиций для N первых экспозиций примерно равна второй экспозиции.
RU2007132891/09A 2005-02-03 2006-01-31 Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций RU2397542C2 (ru)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP05100748.2 2005-02-03
EP05100748A EP1689164B1 (en) 2005-02-03 2005-02-03 Method and device for creating enhanced picture by means of several consecutive exposures
US65359005P 2005-02-16 2005-02-16
US60/653,590 2005-02-16

Publications (2)

Publication Number Publication Date
RU2007132891A RU2007132891A (ru) 2009-03-10
RU2397542C2 true RU2397542C2 (ru) 2010-08-20

Family

ID=34938633

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2007132891/09A RU2397542C2 (ru) 2005-02-03 2006-01-31 Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций

Country Status (10)

Country Link
US (1) US7916181B2 (ru)
EP (1) EP1689164B1 (ru)
JP (1) JP2008529435A (ru)
CN (1) CN101116324B (ru)
AT (1) ATE381852T1 (ru)
BR (1) BRPI0607206A2 (ru)
DE (1) DE602005003917T2 (ru)
MX (1) MX2007009328A (ru)
RU (1) RU2397542C2 (ru)
WO (1) WO2006082186A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2504108C2 (ru) * 2010-09-02 2014-01-10 Кэнон Кабусики Кайся Устройство для обработки изображения, способ обработки изображения и носитель записи
RU2578799C1 (ru) * 2015-03-13 2016-03-27 Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук Способ получения изображений с увеличенным динамическим диапазоном
RU212327U1 (ru) * 2021-11-18 2022-07-15 Федеральное государственное унитарное предприятие "Центральный научно-исследовательский институт химии и механики" (ФГУП "ЦНИИХМ") Устройство для создания изображения с высоким динамическим диапазоном

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978925B1 (en) 2005-04-16 2011-07-12 Apple Inc. Smoothing and/or locking operations in video editing
US20080170124A1 (en) * 2007-01-12 2008-07-17 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
DE102007045448A1 (de) 2007-09-24 2009-04-02 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
US20090244301A1 (en) * 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture
US8350952B2 (en) 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
CN101873435B (zh) * 2009-04-23 2013-08-14 恩斯迈电子(深圳)有限公司 产生高动态范围图像的方法及其装置
KR101614914B1 (ko) 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
KR101746499B1 (ko) 2010-12-23 2017-06-14 한국전자통신연구원 다이내믹 레인지 삼차원 영상 시스템
US8704943B2 (en) 2011-01-21 2014-04-22 Aptina Imaging Corporation Systems for multi-exposure imaging
CN102169575B (zh) * 2011-04-22 2012-12-05 艾民 一种非基色单色光图像数据的处理方法及其处理装置
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2012173571A1 (en) * 2011-06-17 2012-12-20 Nanyang Technological University A method and system for fusing images
JP5784426B2 (ja) * 2011-09-06 2015-09-24 オリンパス株式会社 撮像装置
KR102038533B1 (ko) 2012-06-14 2019-10-31 한국전자통신연구원 레이저 레이더 시스템 및 목표물 영상 획득 방법
BR112015001381A8 (pt) * 2012-07-26 2019-07-30 Olive Medical Corp sistema e método para imageamento digital em um ambiente com iluminação deficiente
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
US8994876B2 (en) 2012-12-19 2015-03-31 International Business Machines Corporation Photographic exposure via real time broadcast of lighting parameters
US10222824B2 (en) * 2014-05-12 2019-03-05 Intel Corporation Dual display system
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
CN105657244A (zh) * 2015-11-06 2016-06-08 乐视移动智能信息技术（北京）有限公司 防抖拍照方法、装置及移动终端
CN113205518B (zh) * 2021-07-05 2021-09-07 雅安市人民医院 医疗车图像信息处理方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU781740A1 (ru) 1979-01-12 1980-11-23 Одесское специальное конструкторское бюро полиграфического машиностроения Цифровое устройство дл управлени экспозици ми
JPH04324789A (ja) * 1991-04-24 1992-11-13 Konica Corp 固体撮像装置
JP2970472B2 (ja) 1995-06-01 1999-11-02 日本電気株式会社 固体撮像装置
JP2000050160A (ja) * 1998-08-03 2000-02-18 Ricoh Co Ltd 画像合成装置，画像合成方法及び画像合成方法を記憶した記憶媒体
DE19883010B4 (de) * 1998-08-07 2008-06-26 Korea Institute Of Science And Technology Verfahren und Vorrichtung zum Erkennen eines sich bewegenden Objekts in einer Abfolge von Farbvollbildern
CA2347526A1 (en) * 1998-10-19 2000-04-27 Ben-Gurion University Of The Negev Optical imager using a method for adaptive real-time expanding of the dynamic range
JP4284570B2 (ja) 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
US20020135683A1 (en) * 1999-12-20 2002-09-26 Hideo Tamama Digital still camera system and method
JP2002084449A (ja) * 2000-09-08 2002-03-22 Sanyo Electric Co Ltd 固体撮像素子を用いた撮像装置
JP2002232777A (ja) 2001-02-06 2002-08-16 Olympus Optical Co Ltd 撮像システム
JP2003087647A (ja) * 2001-09-10 2003-03-20 Minolta Co Ltd デジタルスチルカメラ
DE60135559D1 (de) * 2001-11-19 2008-10-09 St Microelectronics Srl Verfahren zur Mischung von digitalen Bildern zur Erzeugung eines digitalen Bildes mit erweitertem Dynamikbereich
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP2004357202A (ja) 2003-05-30 2004-12-16 Canon Inc 撮影装置
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BASLER VISION TECHNOLOGIES: BASLER A601 f-HDR USER'S MANUAL, 22.03.2004. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2504108C2 (ru) * 2010-09-02 2014-01-10 Кэнон Кабусики Кайся Устройство для обработки изображения, способ обработки изображения и носитель записи
RU2578799C1 (ru) * 2015-03-13 2016-03-27 Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук Способ получения изображений с увеличенным динамическим диапазоном
RU212327U1 (ru) * 2021-11-18 2022-07-15 Федеральное государственное унитарное предприятие "Центральный научно-исследовательский институт химии и механики" (ФГУП "ЦНИИХМ") Устройство для создания изображения с высоким динамическим диапазоном

Also Published As

Publication number Publication date
MX2007009328A (es) 2007-09-21
CN101116324B (zh) 2011-03-09
CN101116324A (zh) 2008-01-30
US7916181B2 (en) 2011-03-29
WO2006082186A1 (en) 2006-08-10
RU2007132891A (ru) 2009-03-10
US20080316354A1 (en) 2008-12-25
EP1689164A1 (en) 2006-08-09
BRPI0607206A2 (pt) 2010-11-03
EP1689164B1 (en) 2007-12-19
DE602005003917T2 (de) 2008-12-04
JP2008529435A (ja) 2008-07-31
ATE381852T1 (de) 2008-01-15
DE602005003917D1 (de) 2008-01-31

Similar Documents

Publication Publication Date Title
RU2397542C2 (ru) Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций
US10630906B2 (en) Imaging control method, electronic device and computer readable storage medium
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
AU2019326496A1 (en) Method for capturing images at night, apparatus, electronic device, and storage medium
CN110213502B (zh) 图像处理方法、装置、存储介质及电子设备
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN108833804A (zh) 成像方法、装置和电子设备
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
CN108419022A (zh) 控制方法、控制装置、计算机可读存储介质和计算机设备
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US11601600B2 (en) Control method and electronic device
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN110166706A (zh) 图像处理方法、装置、电子设备以及存储介质
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
CN110276730B (zh) 图像处理方法、装置、电子设备
CN115699785A (zh) 一种屏下拍摄控制方法、终端设备及存储介质
JP2007311895A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007221678A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007228221A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP2007293686A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007288245A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2007243556A (ja) 撮像装置、画像処理方法及び画像処理プログラム
KR20220083720A (ko) 서버 장치 및 프로그램
JP2002176584A (ja) 自動露出補正装置及び方法

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20130201