RU2365059C2 - Способ и устройство для создания изображений - Google Patents

Abstract

Изобретение относится к способам и устройствам для создания изображений. Техническим результатом является устранение искажения в результате движения посредством нескольких последовательных экспозиций. Результат достигается тем, что облучают светочувствительный датчик серией экспозиций, причем при каждой экспозиции одновременно облучают весь светочувствительный датчик, и все экспозиции серий объединяют, чтобы образовать законченное изображение. Предпочтительно экспозиции объединяют, используя корректировку для увеличения резкости. Проблема искажения в результате движения в системе стабилизации изображений решена посредством использования кадрового затвора при облучении для каждой экспозиции серий. 2 н. и 14 з.п. ф-лы, 8 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу для создания изображений и, более конкретно, к способу для создания улучшенного изображения посредством нескольких последовательных экспозиций. Экспозиции объединяют, чтобы создать изображение с улучшенными свойствами вследствие общей экспозиции датчика для каждой экспозиции.

Изобретение также относится к устройству, использующему способ.

УРОВЕНЬ ТЕХНИКИ

На сегодняшний день цифровые камеры могут использовать серии экспозиций для получения достаточного освещения, и указанные экспозиции объединяют при помощи программного обеспечения, основанного на стабилизации изображения. Стабилизация изображения уменьшает эффект трясущихся рук при съемке с относительно длительным временем выдержки. Определенное количество оцифрованных изображений, например 8, выполненных с короткой выдержкой, добавляют в память. Когда изображение добавляют к предыдущему изображению или изображениям, оно смещает положение, чтобы компенсировать движение, вызванное тряской рук. Это приводит к увеличению резкости. Тем не менее, если датчик облучают посредством "строчного" затвора, каждое изображение подвергается искажению в результате движения. Вследствие тряски рук искажение в результате движения случайным образом распределяется и не может быть уменьшено посредством стабилизации изображения. Работа "строчного" затвора, известного из уровня техники, более подробно описана ниже со ссылками на фиг.2А и 2В.

В некоторых современных камерах используют кадровые затворы. При использовании кадрового затвора одновременно весь датчик облучают светом. Тем не менее, такой затвор не используют вместе со стабилизацией изображения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В настоящем изобретении проблему искажения в результате движения в системе стабилизации изображения решают посредством использования кадрового затвора при облучении для каждой экспозиции серий. Таким образом, не происходит искажения в результате движения, как при использовании "строчного" затвора, и можно работать со стабилизацией изображения для формирования стабилизированного изображения при достаточной общей накопленной выдержке.

Согласно первому аспекту изобретения предусмотрен способ для создания изображения, содержащий следующие этапы:

облучают светочувствительный датчик серией экспозиций,

причем при каждой экспозиции одновременно облучают весь светочувствительный датчик, и все экспозиции в серии объединяют, чтобы создать законченное изображение.

Предпочтительно экспозиции объединяют, используя корректировку для увеличения резкости.

В предпочтительном варианте осуществления способ для каждой экспозиции содержит следующие этапы:

обнуляют все пиксели светочувствительного датчика при закрытом кадровом затворе;

открывают кадровый затвор;

облучают весь светочувствительный датчик светом при заданном времени выдержки;

закрывают кадровый затвор и

считывают значения пикселей.

Соответственно, все пиксели светочувствительного датчика обнуляют одновременно.

Соответственно, значения пикселей считывают в режиме последовательного просмотра данных.

Во втором аспекте изобретение относится к устройству для создания изображения, содержащему оптическую систему для облучения светочувствительного датчика, механический или электронный кадровый затвор, выполненный с возможностью обеспечения одновременного облучения всего светочувствительного датчика.

Согласно изобретению оптическая система выполнена с возможностью облучения светочувствительного датчика серией экспозиций, так чтобы при каждой экспозиции одновременно облучался весь светочувствительный датчик.

Предпочтительно устройство выполнено с возможностью объединения серий экспозиций, используя корректировку для увеличения резкости.

В предпочтительном варианте осуществления изобретения устройство выполнено с возможностью выполнения следующих этапов для каждой экспозиции:

обнуляют все пиксели светочувствительного датчика при закрытом кадровом затворе;

открывают кадровый затвор;

облучают весь светочувствительный датчик светом при заданном времени выдержки;

закрывают кадровый затвор и

считывают значения пикселей.

Соответственно, устройство выполнено с возможностью одновременного обнуления всех пикселей светочувствительного датчика.

Соответственно, устройство выполнено с возможностью считывания значений пикселей в режиме последовательного просмотра данных.

В одном варианте осуществления датчик является цифровым CMOS-датчиком изображения, а кадровый затвор является механическим затвором.

В другом варианте осуществления кадровый затвор является электронным затвором.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изобретение будет подробно описано ниже со ссылкой на сопроводительные чертежи, в которых:

Фиг.1 является схематичным видом основных частей камеры согласно изобретению;

Фиг.2А и 2В являются схематичными видами, иллюстрирующими экспозицию при «строчном» затворе согласно известному уровню техники;

Фиг.3А-3С являются видами, иллюстрирующими искажение в результате движения при различных ситуациях;

Фиг.4 является диаграммой, иллюстрирующей экспозицию восьми последовательных кадров изображения при «строчном» затворе; и

Фиг.5 является диаграммой, иллюстрирующей экспозицию восьми последовательных кадров изображения при кадровом затворе, работающем согласно настоящему изобретению.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Изобретение относится к способу для создания изображений и устройству, использующему способ, например цифровой камере или устройству, включающему в себя цифровую камеру, такому как мобильный телефон и т.д. Как упомянуто во введении, изобретение полезно, когда требуется создать изображение в условиях плохого освещения, используя доступный свет, когда делают несколько экспозиций и объединяют их, предпочтительно используя стабилизацию изображения.

Фиг.1 иллюстрирует основные части камеры согласно изобретению. Камера содержит оптическую систему, включающую объектив 1 и кадровый затвор 2. Оптическая система облучает светом светочувствительный датчик 3, например цифровой CMOS-датчик изображения. Устройство управления, содержащее процессор 4, управляет работой объектива 1 и затвора 2. Затвор 2 может быть механическим затвором, а также датчиком 3 можно управлять электронным образом, чтобы получить заданную выдержку и режим работы. Процессор 4 взаимодействует с датчиком 3 и с памятью 5, в которой могут быть сохранены данные изображений и из которой данные изображений могут быть извлечены. Процессор 4 выполнен с возможностью выполнения необходимых вычислений для обработки изображений.

Объектив 1, затвор 2 и датчик 3 могут иметь обычную конструкцию. Широкий диапазон составных элементов различного качества и выполнения уже существует на рынке. Также уже известны процессоры изображений, различными способами управляющие данными изображений. Эти составные элементы не будут подробно описаны в настоящей заявке. Память 5 может быть рабочей областью памяти, включенной в устройство, или может находиться на отдельной, съемной карте памяти, хранящей рабочие данные, а также законченные изображения. Процессор и память могут быть встроены в конструкцию камеры или находиться вне конструкции или могут использоваться другими функциональными средствами.

Для удобства будет описан общий принцип работы светочувствительного датчика, такого как датчик 3. Датчик содержит некоторое количество светочувствительных элементов изображения, так называемых пикселей, обычно от 1 до 10 мегапикселей (миллион пикселей), распределенных по области датчика. Когда свет падает на пиксель, пиксель производит ток, который интегрируется для получения значения интенсивности света. Как известно из данной области техники, светочувствительный датчик является чувствительным к цвету посредством цветовых фильтров.

Чтобы получить достаточные освещение и цвет на конечном изображении, в быстрой последовательности делают серии экспозиций. Экспозиции делают или с коротким временем выдержки и/или при небольшой апертуре. Короткое время выдержки уменьшает нерезкость, тогда как небольшая апертура увеличивает глубину поля. Каждая экспозиция является резкой и в принципе недодержанной, но все пиксели, облученные светом, дают вклад в значение интенсивности света. Значения света объединяют для получения достаточной освещенности изображения. Значения света предпочтительно объединяют, используя систему стабилизации изображения, таким образом, учитывая движение изображения между экспозициями, и делают корректировку.

Стандартный цифровой CMOS-датчик изображения имеет так называемый "строчный" затвор. "Строчный" затвор (подобный шторно-щелевому затвору в аналоговой камере) не облучает весь датчик изображения одновременно. Принцип работы проиллюстрирован на фиг.2А. Темный прямоугольник представляет датчик изображения. Только определенное количество строк пикселей одновременно облучаются светом (что проиллюстрировано с помощью белой полосы). Область экспонирования перемещается вдоль датчика до тех пор, пока не будет облучено все изображение. Выдержкой управляют при помощи изменения высоты области экспонирования. Время, которое занимает перемещение области экспонирования вдоль всего датчика, называется временем перемещения или периодом экспонирования, и оно зависит от текущей частоты смены кадров.

Из этой иллюстрации можно понять, что время, которое занимает экспонирование всего кадра, больше, чем эффективная выдержка. Кроме того, следует заметить, что область экспонирования перемещается к верхней части датчика после достижения нижней части. Следовательно, датчик некоторое время объединяет свет для двух последовательных кадров одновременно, как проиллюстрировано на фиг.2В. Когда последние строки (внизу) датчика облучены, первые строки (наверху), принадлежащие следующему кадру изображения, также облучены. Затвор скользит от одного кадра к следующему.

Принцип программного обеспечения, на котором основана стабилизация изображения, состоит в добавлении нескольких "резких" экспозиций, при этом создавая корректировку для тряски рук. Каждая короткая экспозиция является довольно резкой благодаря короткому времени выдержки или небольшой апертуре. Тем не менее, любая тряска камеры приводит к искажению изображения. Эффект, называемый искажением в результате движения, проиллюстрирован на фиг.3А-3С. Искажение в результате движения происходит, когда камера или объект двигаются во время экспозиции изображения. Фиг.3А показывает неискаженное изображение; на Фиг.3В камера сдвинута в горизонтальном направлении; и на Фиг.3С камера сдвинута в вертикальном направлении.

Следует заметить, что форма окружностей на фиг.3А-3С не изменяется при изменении времени выдержки. Короткая выдержка только создает резкость границ. Время перемещения (частота смены кадров) влияет на форму, но не на резкость. Максимальная частота смены кадров для стандартного CMOS-датчика с 3 миллионами пикселей составляет 10 кадров в секунду, что равно времени перемещения в 100 мс. Период в 100 мс достаточно велик, если мы учитываем тряску рук. Тряска рук обычно не является движением в точно определенном направлении, но скорее непредсказуемым движением в различных направлениях, распределенных случайным образом.

Даже если кадры отдельных коротких экспозиций являются резкими, они приведут к нерезкому конечному изображению, так как результаты искажения в результате движения в различных направлениях складываются вместе.

Настоящий изобретатель понял, что проблема искажения в результате движения полностью удаляется, если одновременно облучать светом весь датчик изображения. Этого можно достичь, обеспечивая так называемый кадровый затвор. Кадровый затвор может быть механическим устройством или электронной структурой в конструкции пикселей датчика.

Согласно изобретению предлагается использовать механический кадровый затвор (или возможно электронный затвор) при создании отдельных экспозиций и объединении отдельных экспозиций при помощи предпочтительно программной стабилизации изображения. Затвор следует реализовать таким образом, чтобы он мог быстро открываться и закрываться при создании последовательных коротких экспозиций.

Механические затворы в настоящее время используют в некоторых цифровых камерах, имеющих CMOS-датчики. Затвор может механически блокировать попадание света на датчик. Он используется следующим образом:

1) закрывают затвор,

2) датчик обнуляет все пиксели одновременно или, по меньшей мере, до открытия затвора (общее обнуление),

3) затвор открывают,

4) весь датчик облучают светом при заданном времени выдержки,

5) затвор закрывают,

6) значения пикселей считываются в режиме последовательного просмотра данных, например сканируют, начиная с верхней части датчика по направлению к нижней части. Так как это происходит при закрытом затворе, режим работы не влияет на изображение.

Диаграммы на фиг.4 и 5 показывают экспозицию восьми последовательных кадров изображения. Изобретение не ограничивается каким-либо определенным числом экспозиций.

Фиг.4 показывает эффект "строчного" затвора согласно предыдущему уровню техники. Хотя выдержка является достаточно короткой, чтобы избежать размытия изображения отдельных кадров, длительный период экспонирования полного кадра вызывает искажение в результате движения вследствие тряски рук, которое приводит к нерезкому изображению при объединении отдельных изображений.

Фиг.5 показывает эффект от использования кадрового затвора согласно настоящему изобретению. Выдержка равна периоду экспонирования полного кадра. Можно избежать как размытия изображения, так и искажения в результате движения. Любая тряска рук, которая происходит между экспозициями отдельных кадров, может быть компенсирована при сложении изображений. Общие накопленные выдержки датчика равны на двух диаграммах фиг.4 и 5. Эта диаграмма также объясняет, как затвор может быть синхронизирован с периодами кадра камеры.

Основная проблема в настоящей конфигурации программной стабилизации изображения решена. Вследствие искажения в результате движения происходит значительное ухудшение изображения, если стабилизатор изображения использовать без затвора. Вследствие большой выдержки изображение будет размыто, если кадровый затвор использовать без стабилизатора изображения.

Изобретение объединяет силу двух технологий таким образом, что качество изображения получается лучше, чем при использовании только одной из этих технологий.

Обычно при использовании затвора его открывают только один раз, тогда как изобретение предлагает серию открытий и закрытий, синхронизированных с частотой смены кадров камеры.

Посредством настоящего изобретения возможно создание резкого изображения с правильной экспозицией даже в условиях низкого освещения. Изобретение обеспечивает возможность формирования резких изображений, несмотря на продолжительное время выдержки. Объем изобретения ограничен только изложенной ниже формулой изобретения.

Claims (16)

1. Способ формирования изображения, содержащий этапы, при которых:
облучают светочувствительный датчик (3) серией экспозиций, причем при каждой экспозиции одновременно облучают весь светочувствительный датчик (3), и каждая экспозиция является недодержанной, причем все экспозиции серий объединяют для формирования законченного изображения, отличающийся тем, что для каждой экспозиции способ дополнительно содержит этапы, при которых:
обнуляют все пиксели светочувствительного датчика (3) при закрытом кадровом затворе (2);
открывают кадровый затвор (2);
облучают весь светочувствительный датчик (3) светом при заданной выдержке;
закрывают кадровый затвор (2) и считывают значения пикселей.

2. Способ по п.1, в котором для каждой экспозиции делают короткую выдержку.

3. Способ по п.2, в котором экспозиции объединяют, используя корректировку для увеличения резкости.

4. Способ по п.1, в котором для каждой экспозиции используют небольшую апертуру.

5. Способ по п.4, в котором экспозиции объединяют, используя корректировку для увеличения резкости.

6. Способ по п.1, в котором все пиксели светочувствительного датчика (3) обнуляют одновременно.

7. Способ по п.1, в котором значения пикселей считывают в режиме последовательного просмотра данных.

8. Устройство для формирования изображения, содержащее оптическую систему (1) для облучения светочувствительного датчика (3), механический или электронный кадровый затвор (2), допускающий одновременное облучение всего светочувствительного датчика (3), причем оптическая система (1) выполнена с возможностью облучения светочувствительного датчика (3) для серий экспозиций, так чтобы для каждой экспозиции одновременно облучался весь светочувствительный датчик (3), причем каждая экспозиция является недодержанной, а устройство выполнено с возможностью объединения всех экспозиций серий для формирования законченного изображения, отличающееся тем, что
устройство выполнено с возможностью осуществления следующих этапов для каждой экспозиции:
обнуляют все пиксели светочувствительного датчика (3) при закрытом кадровом затворе (2);
открывают кадровый затвор (2);
облучают весь светочувствительный датчик (3) светом при заданной выдержке;
закрывают кадровый затвор (2) и считывают значения пикселей.

9. Устройство по п.8, которое выполнено с возможностью использования короткой выдержки для каждой экспозиции.

10. Устройство по п.9, которое выполнено с возможностью объединения серий экспозиций, используя корректировку для увеличения резкости.

11. Устройство по п.8, которое выполнено с возможностью использования небольшой апертуры для каждой экспозиции.

12. Устройство по п.11, которое выполнено с возможностью объединения серий экспозиций, используя корректировку для увеличения резкости.

13. Устройство по п.8, которое выполнено с возможностью одновременного обнуления всех пикселей светочувствительного датчика (3).

14. Устройство по п.8, которое выполнено с возможностью считывания значений пикселей в режиме последовательного просмотра данных.

15. Устройство по п.8, в котором датчик (3) является цифровым CMOS-датчиком изображения, а кадровый затвор (2) является механическим затвором.

16. Устройство по п.8, в котором кадровый затвор (2) является электронным затвором.

Images