RU2417548C2 - Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством - Google Patents

Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством Download PDF

Info

Publication number
RU2417548C2
RU2417548C2 RU2009107082/09A RU2009107082A RU2417548C2 RU 2417548 C2 RU2417548 C2 RU 2417548C2 RU 2009107082/09 A RU2009107082/09 A RU 2009107082/09A RU 2009107082 A RU2009107082 A RU 2009107082A RU 2417548 C2 RU2417548 C2 RU 2417548C2
Authority
RU
Russia
Prior art keywords
image
depth
map
dimensional
video
Prior art date
Application number
RU2009107082/09A
Other languages
English (en)
Other versions
RU2009107082A (ru
Inventor
Хаохун ВАН (US)
Хаохун ВАН
Сиан-Тсунь ЛИ (US)
Сиан-Тсунь ЛИ
Шаратх МАНДЖУНАТХ (US)
Шаратх МАНДЖУНАТХ
Original Assignee
Квэлкомм Инкорпорейтед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Квэлкомм Инкорпорейтед filed Critical Квэлкомм Инкорпорейтед
Publication of RU2009107082A publication Critical patent/RU2009107082A/ru
Application granted granted Critical
Publication of RU2417548C2 publication Critical patent/RU2417548C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Изобретение относится к маломощным мобильным устройствам, таким как ручная камера, камкордер, телефон с камерой, способными создавать стереоизображения и стереовидео в реальном времени. Техническим результатом является обеспечение несложного вычислительного процесса для выявления и оценки информации о глубине для фиксации и создания стереовидео в реальном времени. Указанный технический результат достигается тем, что маломощное мобильное устройство захвата изображения способно создавать стереоизображения и стереовидео в реальном времени из одного зафиксированного вида. Для этого использует статистику из процесса автофокусировки для создания блочной карты глубин одного зафиксированного вида. В блочной карте глубин подавляются артефакты и создается карта глубин изображения. Из карты глубин изображения с использованием процесса восстановления трехмерной поверхности на основе Z-буфера и карты несоответствий, которая зависит от геометрии бинокулярного зрения, создаются трехмерный (3D) левый и правый стереовиды. 3 н. и 26 з.п. ф-лы, 15 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится в целом к моноскопическим маломощным мобильным устройствам, таким как ручная камера, камкордер, телефон с камерой с одинарным датчиком или другое устройство с камерой с одинарным датчиком, способное создавать стереоизображения и стереовидео в реальном времени. Настоящее изобретение также относится к способу создания стереоизображений в реальном времени, устройству фиксации статических изображений и устройству фиксации видеоизображений.
Уровень техники
В последнее время одной из главных тенденций стало повышение реалистичности восприятия, что произвело революцию в разработке мультимедийных систем нового поколения. Быстрый рост мультимедийной связи и рекламного рынка требует развития технологий трехмерного стереоскопического изображения и стереовидео, которые охватывают процессы фиксации, обработки, сжатия, доставки и отображения стереоизображений. Для удовлетворения указанных запросов были предприняты определенные усилия по созданию будущих стандартов, таких как 3DTV и MPEG 3DAV.
Главное различие между стереоизображением и моноизображением состоит в том, что стереоизображение создает ощущение третьего измерения и расстояния до объектов в сцене. Человеческое зрение является по своей природе стереоскопическим благодаря бинокулярным видам, воспринимаемым левым и правым глазом в перспективе с разных точек зрения. Человеческий мозг способен синтезировать изображение со стереоскопической глубиной. Обычно для создания стереоскопического изображения или стереовидео требуется стереоскопическая камера с двумя датчиками. Однако большинство эксплуатируемых в настоящее время мультимедийных устройств реализованы в рамках моноскопической инфраструктуры.
В последние десятилетия активно исследовался процесс создания стереоскопических изображений. В одном исследовании анализировалась видеопоследовательность и произведена оценка структуры трехмерной сцены исходя из двумерной геометрии и движений (которую также называют «структура на основе движения» (SfM)). Такого рода подходы позволяют преобразовать записанные двумерные видеоклипы в трехмерные. Однако вычислительная сложность оказывается весьма высокой, так что такой подход практически не осуществим, когда требуется создание изображений в реальном времени. С другой стороны, поскольку способ SfM математически некорректен, результат может содержать артефакты и вызвать ощущение визуального дискомфорта. В ряде других подходов сначала оценивают информацию о глубине, исходя из одновидового статического изображения, на основе набора эвристических правил, соответствующих конкретным приложениям, после чего создают стереоскопические виды.
В другом исследовании предложен способ извлечения информации об относительной глубине исходя из моноскопических признаков, например, ретинальных размеров объектов, что помогает в создании вспомогательной карты глубин. Еще в одном исследовании излагается схема создания параметрической карты глубин на основе черт человеческого лица для преобразования двумерных изображений по пояс в трехмерные. В другом предложенном способе создания карты глубин некоторые шаги, например, классификация изображений при предобработке, являются нетривиальными и могут оказаться очень сложными при реализации, что снижает практическую ценность предложенного алгоритма. Еще в одном способе предложен алгоритм преобразования двумерных изображений в трехмерные с использованием обнаружения движения и сегментации областей. Однако при этом не удается избежать появления артефактов из-за неточностей при сегментации объекта и оценки глубины объекта. Очевидно, что во всех вышеупомянутых способах рассматриваются только зафиксированные моноскопические изображения. В некоторых других подходах используется вспомогательный источник, помогающий создавать стереовиды. Например, для фиксации дополнительного вида используется недорогая вспомогательная монохромная камера или камера с низким разрешением, после чего используют модель оценки несоответствий для создания карты глубин пикселей.
В другом примере для фиксации яркости и цветности сцены используют моноскопическую цветную камеру с высоким разрешением, а для усиления яркости и цветности по глубине используют пару фланкирующих трехмерных стереоскопических монохромных выносных камер с низким разрешением. Для синтеза стереоскопических пар используют карты несоответствий, созданные на основе полученных 3-х видов. Еще в одном примере для получения карты глубин используют комбинацию автоматических и ручных способов (иногда чисто автоматический способ оказывается ненадежным), а затем для уменьшения визуальных артефактов в результирующем изображении используют простой сглаживающий фильтр.
Как легко заметить, имеется потребность в несложном способе получения стереоизображений и стереовидео в реальном времени путем использования мобильного телефона с моноскопической камерой или другого маломощного моноскопического устройства.
Имеется потребность в мобильном маломощном моноскопическом устройстве, которое оценивает информацию о карте глубин, так чтобы избежать не только использования вспомогательного оборудования или взаимодействие с человеком, как это делается при других подходах, но также и дополнительных сложных вычислений, связанных с использованием способа SfM или анализа глубины.
Кроме того, имеется потребность в моноскопическом маломощном мобильном устройстве, в котором используется несложный подход для выявления и оценки информации о глубине для фиксации и создания стереовидео в реальном времени.
Сущность изобретения
В свете вышесказанного задачей настоящего изобретения является создание моноскопического маломощного мобильного устройства, в котором используется несложный подход к выявлению и оценке информации о глубине для фиксации и создания стереовидео в реальном времени.
Другой задачей настоящего изобретения является создание моноскопического маломощного мобильного устройства, в котором удается избежать не только вспомогательного оборудования или взаимодействие с человеком, но также дополнительных сложных вычислений, связанных с использованием SfM или анализа глубин.
Еще одной задачей настоящего изобретения является создание моноскопического маломощного мобильного устройства, в котором используется несложный процесс создания пары стереоизображений.
Следующей задачей настоящего изобретения является создание моноскопического маломощного мобильного устройства, которое фиксирует и создает стереоизображения и стереовидео с высококачественными трехмерными эффектами.
Еще одной задачей настоящего изобретения является создание моноскопического маломощного мобильного устройства, которое можно использовать как для фиксации, так и для создания стереоизображений и стереовидео.
Вышеуказанные задачи реализуются моноскопическим маломощным мобильным устройством, содержащим: модуль датчика камеры с одинарным датчиком, способный фиксировать изображение и имеющий субмодуль автофокусировки, способный определять наилучшее положение фокуса путем перемещения объектива по всему диапазону фокусировки посредством процесса фокусировки и выбирать положение фокуса с максимальным значением фокуса при фиксации изображения. Устройство включает в себя узел генератора карты глубин, который способен на первом этапе автоматически разрабатывать карту глубин на блочном уровне с использованием статистики из субмодуля автофокусировки, а на втором этапе разрабатывать карту глубин изображения. Устройство также включает в себя модуль генератора пары изображений, способный создавать недостающий второй вид исходя из зафиксированного изображения для создания правого и левого видов трехмерного стереоизображения.
Моноскопическое маломощное мобильное устройство использует функцию автофокусировки датчика моноскопической камеры для оценки информации о карте глубин, что позволяет избежать не только вспомогательного оборудования или взаимодействия с человеком, что имеет место при других подходах, но также дополнительных сложных вычислений, связанных с использованием SfM или анализа глубины, как в других предложенных системах.
Моноскопическое маломощное мобильное устройство можно использовать как для фиксации, так и для создания стереоизображений и стереовидео с помощью дополнительного, но не обязательного модуля оценки движения с целью повышения точности определения карты глубин для создания стереовидео.
Моноскопическое маломощное мобильное устройство использует статистику процесса автофокусировки для обнаружения и оценки информации о глубине для создания стереоизображения. Использование процесса автофокусировки осуществимо для маломощных устройств благодаря двухэтапной схеме оценки карты глубин. То есть, на первом этапе определяют карту глубин на блочном уровне с использованием процесса автофокусировки. На втором этапе создается аппроксимированная карта глубин изображения путем использования билинейной фильтрации.
Вдобавок, в моноскопическом маломощном мобильном устройстве применяется несложный подход для выявления и оценки информации о глубине для фиксации и создания стереовидео в реальном времени. При этом подходе используется статистика оценки движения, обработки автофокусировки и архивные данные плюс некоторые эвристические правила для оценки карты глубин.
В моноскопическом маломощном мобильном устройстве используется несложный процесс создания пары стереоизображений путем восстановления трехмерной поверхности на основе Z-буфера.
Согласно другому аспекту настоящего изобретения способ создания стереоизображений в реальном времени с помощью мноскопического маломощного мобильного устройства содержит: фиксацию изображения; автофокусировку объектива и определение наилучшего положения фокуса путем перемещения объектива по всему диапазону фокусировки для выбора положения фокуса с максимальным значением фокуса при фиксации изображения; автоматическое создание на первом этапе карты глубин на блочном уровне с использованием статистики шага фокусировки, а на втором этапе создание карты глубин изображения; и создание недостающего второго вида исходя из зафиксированного изображения для создания левого и правого видов трехмерного стереоизображения.
Согласно еще одному аспекту настоящего изобретения способ обработки статических изображений содержит: обработку автофокусировки зафиксированного статического изображения и оценку информации о глубине для удаленных объектов в указанном изображении для определения карты глубин на блочном уровне; и аппроксимацию карты глубин изображения исходя из карты глубин на блочном уровне.
Обработка автофокусировки включает в себя обработку изображения с использованием «грубо-точного» процесса определения глубин. Кроме того, указанная аппроксимация содержит билинейную фильтрацию карты глубин на блочном уровне для получения аппроксимированной карты глубин изображения.
Согласно следующему аспекту настоящее изобретение имеет своей целью создание программного кода, имеющего программные команды, способные при их исполнении процессором: осуществлять билинейную фильтрацию изображения для определения значения глубины каждого фокусного блока, включая угловые точки (A, B, C и D) карты глубин на блочном уровне; и определять значение глубины (dp) всех пикселей в блоке согласно следующему уравнению:
Figure 00000001
где значения положения и значения глубины для угловых точек (A, B, C и D) блока обозначены как (xA, yA, dA), (xB, yB, dB), (xC, yC, dC), (xD, yD, dD); а соответствующий пиксель обозначен как точка P (xP, yP, dP).
Согласно еще одному аспекту настоящего изобретения устройство фиксации статического изображения содержит: модуль автофокусировки, способный обрабатывать зафиксированное статическое изображение и оценивать информацию о глубине для удаленных объектов в изображении с целью определения карты глубин на блочном уровне; модуль карты глубин изображения, способный исходя из карты глубин на блочном уровне аппроксимировать карту глубин изображения с использованием билинейной фильтрации; и модуль генератора пары изображений, способный создавать недостающий второй вид исходя из зафиксированного изображения для создания левого и правого видов трехмерного стереоизображения.
Согласно следующему аспекту настоящего изобретения устройство фиксации видеоизображений содержит: модуль автофокусировки, способный обрабатывать зафиксированный видеоклип и оценивать информацию о глубине для удаленных объектов в сцене; и модуль видеокодирования, способный кодировать зафиксированный видеоклип, обеспечивать статистическую информацию и определять оценку движения. Узел генератора карты глубин способен выявлять и оценивать информацию о глубине для фиксации и создания стереовидео в реальном времени с использованием статистической информации из оценки движения, процесса функционирования модуля автофокусировки и архивных данных плюс эвристические правила с целью получения окончательной карты глубин на блочном уровне, из которой получают карту глубин изображения.
Краткое описание чертежей
Вышеописанная сущность изобретения, а также последующее подробное описание его предпочтительных вариантов будут более понятными при их рассмотрении вместе с сопроводительными чертежами. В иллюстративных целях здесь показаны предпочтительные на сегодняшний день варианты чертежей. Однако следует понимать, что данное изобретение не ограничивается показанной конкретной компоновкой элементов рассмотренных процессов.
На чертежах:
фиг.1 - общая блок-схема моноскопического маломощного мобильного устройства;
фиг.2 - общая блок-схема функционирования для фиксации, обработки и отображения стереоизображений и видеоданных в реальном времени;
фиг.3 - общая блок-схема функционирования для фиксации и создания трехмерных статических изображений в реальном времени;
фиг.4 - график зависимости положения объектива от фокальной точки и расстояния до объекта;
фиг.5А - график зависимости между положением объектива и FV при использовании алгоритма глобального поиска;
фиг.5B - график зависимости между положением объектива и FV, при использовании алгоритма «грубо-точного» поиска;
фиг.6А - исходное изображение;
фиг.6B - карта глубин изображения по фиг.6А;
фиг.6С - карта глубин изображения по фиг.6А;
фиг.6D - синтезированный трехмерный анаглифический вид с использованием карты глубин на блочном уровне по фиг.6С;
фиг.6Е - отфильтрованная карта глубин изображения по фиг.6B;
фиг.7А - схема средней точки с соседними блоками;
фиг.7B - схема блока с угловыми точками;
фиг.8 - блок-схема процесса создания карты глубин;
фигуры 9А и 9B - изображение первого кадра и соответствующей карты BDM;
фигуры 9С и 9D - 30-й кадр видео и соответствующая ему карта BDM;
фигуры 9E и 9F - 60-й кадр видео и соответствующая ему карта BDM;
фигуры 10А, 10B и 10С - карты глубин изображения (IDM), созданные из карт BDM, показанных на фигурах 9B, 9D и 9F;
фиг.11 - процесс создания пары изображений;
фиг.12А - левый и правый вид для бинокулярного зрения;
фиг.12B - геометрическая модель бинокулярного зрения с параметрами для вычисления карты несоответствий;
фиг.13А - анаглифическое изображение, созданное с использованием аппроксимированной карты глубин изображений, показанной на фиг.6Е;
фиг.13B - анаглифическое изображение, созданное с использованием точной карты глубин изображений, показанной на фиг.6B;
фиг.14А - пример результирующего анаглифического видеокадра по фиг.9А;
фиг.14B - пример результирующего анаглифического видеокадра по фиг.9C;
фиг.14C - пример результирующего анаглифического видеокадра по фиг.9E; и
фигуры 15А-15B - блок-схема процесса трехмерной интерполяции на основе Z-буфера.
Подробное описание предпочтительных вариантов изобретения
Хотя изобретение допускает множество различных форм, данное описание и сопроводительные чертежи раскрывают только некоторые из них в качестве примеров использования изобретения. Здесь не предполагается, что изобретение ограничено описанными вариантами, при этом объем изобретения указан в прилагаемой формуле изобретения.
Предпочтительный вариант устройства для фиксации и создания стереоизображений и стереовидео согласно настоящему изобретению описан ниже применительно к его конкретному применению в моноскопическом маломощном мобильном устройстве, таком как ручная камера, камкордер или телефон, имеющий камеру с одинарным датчиком. Однако специалистам в данной области техники должно быть очевидно, что настоящее изобретение также легко адаптируется для других типов устройств с модулями, имеющими камеру с одинарным датчиком. Обратимся теперь к подробным чертежам, где одинаковые ссылочные позиции используются для указания на одинаковые элементы на всех чертежах и где на фиг.1 показано моноскопическое маломощное мобильное устройство согласно настоящему изобретению, обозначенное в целом под ссылочной позицией 10.
Моноскопическое маломощное мобильное устройство 10 включает в себя в общем случае процессор 56 для управления работой описанного здесь устройства 10, объектив 12 и модуль 14 датчика камеры, такой как блок камеры с одинарным датчиком, ручная цифровая камера или камкордер. Процессор 56 исполняет программные команды или программный код, записанный в памяти 60, для выполнения описанных здесь операций. Память 62 является файловой системой в камере, камкордере или блоке с одинарным датчиком и может включать в себя флэш-память, диск или ленту в зависимости от конкретных приложений.
Модуль 14 датчика камеры включает в себя субмодуль 16 фиксации изображений, способный фиксировать статические изображения в режиме 18 статического изображения и фиксировать видео в течение периода записи в режиме 20 видео для формирования видеоклипа. Модуль 14 датчика камеры также включает в себя субмодуль 22 автофокусировки, который может работать в двух режимах: режим 24 статического изображения и режим 26 видео.
Моноскопическое маломощное мобильное устройство 10 кроме того включает себя модуль 28 определителя карты глубин, также работающий в двух режимах, а именно: режим 30 статического изображения и режим 32 видео. В этом примерном варианте в узле 34 генератора карты глубин используется двухэтапный процесс оценки карты глубин с двумя режимами работы. Как хорошо видно на фигурах 2 и 3, на первом этапе (этап 1) двухэтапного процесса оценки карты глубин автоматически разрабатывается карта глубин на блочном уровне с использованием статистики от процесса обработки 124 автофокусировки в режиме 24 статического изображения или 126 в режиме 26 видео, выполняемой субмодулем 22 автофокусировки. На втором этапе создается карта глубин изображения в процессе 130 определения глубин в режиме 30 статического изображений или 132 в режиме 32 видео, выполняемом модулем 28 определителя карты глубин. На фиг.2 fi обозначает i-й кадр, fi-1 обозначает (i-1)-й кадр, di обозначает блочную карту глубин (BDM) i-го кадра, а di' обозначает карту глубин изображения (IDM) i-го кадра.
Моноскопическое маломощное мобильное устройство 10 имеет модуль 14 датчика камеры с одинарным датчиком. Соответственно, фиксируется только одно изображение, причем указанное изображение используется для представления левого (L) вида при создании и отображении стереоизображений. Модуль 42 генератора пары изображений включен в устройство 10 для создания второго или недостающего правого (R) вида в субмодуле 48 генератора стереовида исходя из левого вида (исходное зафиксированное изображение) и карты глубин изображения. Модуль 42 генератора пары изображений также включает в себя субмодуль 44 карты несоответствий и субмодуль 46 восстановления трехмерной поверхности на основе Z-буфера.
В этом примерном варианте трехмерные эффекты отображаются на дисплее 58 с использованием модуля 52 генератора трехмерных эффектов. В этом примерном варианте модуль 52 генератора трехмерных эффектов представляет собой недорогой красно-синий анаглиф для демонстрации результирующего трехмерного эффекта. Созданные стереовиды могут отображаться другими средствами, такими как голографические и стереоскопические устройства.
Моноскопическое маломощное мобильное устройство 10 (не обязательно) включает в себя модуль 54 видеокодирования для использования при кодировании видео. Модуль 54 видеокодирования обеспечивает информацию 36 о движении (оценка движения) для ее использования модулем 28 определителя карты глубин в процессе 32 определения глубин в режиме 32 видео.
Обратимся к фиг.3, где в процессе работы модуль 14 датчика камеры фиксирует одно или несколько статических изображений в субмодуле 16 фиксации изображений в режиме 18 статического изображения. Режим 18 статического изображения реализует процесс 118 фиксации. За процессом 118 фиксации следует обработка 124 автофокусировки. В общем случае обработка 124 автофокусировки в режиме 24 статического изображения используется для оценки информации о глубине для удаленных объектов в сцене. Для упрощения расчетов при определении блочной карты глубин на этапе 1 используется груботочный алгоритм определения глубин в процессе 125 поиска с полным перебором в режиме 24 статического изображения. Изображение, зафиксированное в процессе 118 фиксации в режиме 18 статического изображения, делится на несколько блоков согласно груботочному алгоритму определения глубин, который определяет соответствующую карту глубин на первом этапе (этап 1). На этапе 2 в процессе 130 определения глубин в режиме 30 статического изображения используется билинейный фильтр 131B для получения аппроксимированной карты глубин изображения исходя из блочной карты глубин, полученной на этапе 1.
Субмодуль 2 автофокусировки в режиме 24 статического изображения применяет фокусировку 125 с поиском с полным перебором, используемую при фиксации статических изображений. Для обеспечения фиксации видеоклипов в реальном времени в режиме 26 видеоизображений, фокусировка 125 с поиском с полным перебором, используемая при фиксации статических изображений, заменяется фокусировкой 127 с поиском экстремума, и в процессе 132 определения глубин, выполняемым субмодулем 32 видео, определяется блочная карта 34 глубин на основе информации 36 о движении от модуля 54 видеокодирования, значения 38B фокуса из процесса 126 автофокусировки и статистических архивных данных 40 кадров, как показано на фиг.2.
Автоматическое определение карты глубин
Вновь обратимся к фиг.3, где моноскопическое маломощное мобильное устройство пользуется процессом 124 фокусировки, выполняемой субмодулем 22 автофокусировки, для автоматического определения блочной карты глубин. Для фиксации изображения в режиме 18 статического изображения и режиме 20 видео необходимы разные подходы из-за того, то в этих сценариях (режимы работы) используются разные алгоритмы поиска фокусного расстояния.
В цифровых камерах в большинстве фокусирующих узлов наилучшее положение фокуса выбирается путем оценки контрастности изображения на плоскости формирователя изображения. Значение фокуса (FV) 38B оценивается посредством фокусной меры в конкретной интересующей области, и в процессе 126 автофокусировки в качестве наилучшего положения фокуса объектива 12 обычно выбирается положение, соответствующее максимальному значению фокуса. В некоторых камерах в качестве значения фокуса (FV) 38B используют высокочастотный контент изображения, например, фильтр верхних частот (HPF), приведенный ниже
Figure 00000002
который можно использовать для фиксации высокочастотных компонент для определения значения фокуса (FV) 38B. Значение фокуса (FV) также представляет собой карту FV в режиме видео, как описано ниже.
Имеется взаимосвязь между положением объектива 12 относительно фокальной точки (FV) 38B и искомым расстоянием от камеры или устройства 10 с камерой (как показано на фиг.4), и эта взаимосвязь фиксируется для конкретного модуля 14 датчика камеры. Разные датчики камеры могут иметь различные статистические данные для указанных взаимосвязей. Таким образом, как только в процессе 124 автофокусировки, выполняемом в субмодуле 22 автофокусировки, на основе информации о свойствах модуля датчика камеры находят наилучшее положение фокуса объектива 12, оценивается действительное расстояние между целевым объектом и камерой или устройством 10, которое также представляет собой глубину объекта в сцене. Следовательно, процесс определения карты глубин основан на процессе 124 или 126 автофокусировки, зависящем от датчика.
В режиме 18 фиксации статических изображений большинство модулей 14 датчиков цифровых камер используют алгоритм 125 поиска с полным перебором для процесса 124 автофокусировки, причем этот алгоритм определяет наилучшее положение фокуса путем перемещения объектива 12 по всему фокусному диапазону и выбора положении фокуса с максимальным значением фокуса.
Типичным примером алгоритма 125 поиска с полным перебором является глобальный поиск, описанный в связи с фиг.5А, при котором сканируется весь фокусный диапазон с минимальным шагом микродвигателя, как показано рядом равноотстоящих стрелок. С другой стороны, на фиг.5B показан «груботочный» поиск, при котором поиск выполняется по всему фокусному диапазону сначала с использованием более крупного шага, как показано рядом стрелок, с последующим поиском в окрестности положения максимума с использованием меньшего шага, как показано стрелками с меньшим расстоянием между соседними остриями.
Ясно, что точность карты глубин, созданной для статического изображения, зависит исключительно от размеров точечных фокусных окон, выбранных для данного изображения. В общем случае в процессе 124 автофокусировки для режима 24 статического изображения изображение разбивают на N×N субблоков, которые также называют фокусными окнами, а значения 38B фокуса вычисляют во время процесса 124 автофокусировки для каждого фокусного окна.
После поиска 125 с полным перебором получают наилучшее положение фокуса объектива 12 для каждого фокусного окна, и таким образом, можно оценить глубину объекта, соответствующего каждому окну. Ясно, что чем меньше размер фокусного окна, тем выше точность карты глубин и сложнее вычисления.
В моноскопическом маломощном мобильном устройстве 10 в узле 34 генератора карты глубин определены два типа карт глубин: карта глубин изображения (IDM) и блочная карта глубин (BDM). Для карты глубин изображения в процессе 130 определения глубин запоминается значение глубины каждого пикселя; а для блочной карты глубин запоминаются значение глубины каждого фокусного окна. На фиг.6B карта 75 глубин изображения, соответствующая статическому изображению 70, показанному на фиг.6А, получена путем установки размера фокусного окна равным 1х1, и, следовательно, карта 75 глубин изображения имеет точность на уровне пикселя, где пиксели с более высокой интенсивностью соответствуют объектам, расположенным ближе к точке обзора. Однако такая настройка обычно не осуществима для большинства приложений из-за чрезмерно сложных вычислений, необходимых для автофокусировки. Пример блочной карты 77 глубин показан на фиг.6С, где N установлено равным 11, и это является практически более рациональной настройкой для камер с обычными вычислительными возможностями.
В общем случае блочная карта 77 глубин, созданная на этапе 1 в процессе 124 автофокусировки, требует дальнейшей обработки для получения карты 80 глубин изображения (фиг.6Е); в противном случае могут появиться те или иные артефакты. На фиг.6D показан пример синтезированного трехмерного анаглифического вида 79 с использованием блочной карты 77 глубин, показанной на фиг.6С, где артефакты появляются из-за того, что отчетливый разрыв по глубине между соседними фокусными окнами по краям не соответствует действительным границам формы объекта в изображении. Эти артефакты можно уменьшить в процессе 131А уменьшения артефактов, за которым следует обработка билинейным фильтром 131B. Отфильтрованная карта 80 глубин изображения показана на фиг.6Е.
Процесс 131А уменьшения артефактов состоит из двух этапов, как хорошо показано на фиг.7А и 7B. На первом этапе во время процесса 124 фокусировки находят значение глубины для угловых точек А, B, C и D каждого блока на фиг.6С, причем это значение глубины будет равным среднему значению соседних блоков, как показано на фиг.7А, где глубина средней точки d определяется уравнением (1)
Figure 00000003
где d1, d2, d3 и d4 - значения глубины соседних блоков.
Блочная карта глубин, созданная в процессе 124 автофокусировки, включает в себя запомненное значение глубины каждого фокусного окна/блока. На фиг.3 память 60 и/или внешняя память 62 (показанная на фиг.2), которые являются аппаратным блоками, в представленном процессе не показаны.
После получения на втором шаге, показанном на фиг.7B, значения глубины для всех угловых точек А, B, C и D в результате билинейной фильтрации получают значение глубины пикселей внутри блоков. Как показано в примере на фиг.7B, значения положения и глубины для угловых точек А, B, C и D блока обозначены как (xA, yA, dA), (xB, yB, dB), (xC, yC, dC), (xD, yD, dD), так что могут быть вычислены значения глубины для всех пикселей в блоке. Например, для пикселя, обозначенного как точка Р (xp, yp, dp), значение dp глубины пикселя можно получить с помощью приведенного ниже уравнения (2)
Figure 00000004
Обратимся теперь к фиг.2, где алгоритм 125 поиска с полным перебором не пригоден для видео из-за чрезмерной задержки, вызванной процессом определения наилучшего значения фокуса. Более популярной является фокусировка 127 с поиском экстремума из-за более высокой скорости поиска. В этом случае осуществляется поиск наилучшего положения фокуса, как при восхождении на холм. Когда модуль 14 датчика камеры начинает фиксировать видео в режиме 20 видео, в субмодуле 16 фиксации изображения, для нахождения наилучшего положения фокуса в качестве исходного положения используют алгоритм поиска с полным перебором, но после нахождения исходного положения объектива модулю 14 датчика камеры необходимо в реальном времени определить, в каком направлении и насколько должен перемещаться объектив 12, чтобы оказаться на «вершине холма» (в точке экстремума). Ясно, что получить точные карты глубин для видео во время процесса 126 фокусировки в режиме 26 видео гораздо труднее, чем для статических изображений. Пренебрегая теорией, причина этого заключается в том, что при фокусировке с поиском экстремума правильную глубину получают только для области, находящейся в фокусе, в то время как правильность определения глубины для других блоков не гарантирована. Вдобавок, алгоритм 125 поиска с полным перебором, который гарантирует точность определения глубины для всех блоков, активизируют только в начальный момент фиксации, так что невозможно скорректировать значения глубины для всех блоков во время периода записи в режиме 20 видео в субмодуле 16 фиксации изображения.
Обратимся теперь к фиг.8, где показана блок-схема процесса 132 определения карты глубин для использования модулем 28 определителя карты глубин в режиме 32 видео. Индекс текущего кадра обозначен как n, {Dn(i,j)} и {Fn(i,j)} (i=1, 2…N, j=1, 2…N) - это окончательно определенная блочная карта глубин (BDM) и карта 38А значений фокуса (FV) текущего кадра, {Mn(i,j)} и {Vn(i,j)} - внутренняя карта BDM и карта FV, полученная в процессе 126 автофокусировки, а {Pn(i,j)} и {Tn(i,j)} - внутренняя BDM и карта FV, полученная путем предсказания движения.
Во время процесса 132 определения глубин в режиме 32 видео сначала с помощью фокусировки 127 с поиском экстремума определяют положение фокуса для текущего кадра n, и на шаге S134 получают соответствующие блочную карту {Mn(i,j)} глубин и карту FV 38B {Vn(i,j)}. За шагом S134 следует шаг S136, на котором определяется, доступна ли информация о движении (MV) 36 от процесса 154 видеокодирования, выполненного модулем 54 видеокодирования. Если результатом определения является «Да», то тогда анализируется информация о движении (MV 36), и на шаге S138 получают вектор глобального движения (GMV). За шагом S138 следует шаг S139, где определяется, больше ли глобальное движение (то есть, GMV) порогового значения. Если результатом определения является «Да», то тогда объектив 12 переходит к другим сценам, а затем для задач поддержания архива данных о точной глубине сцен и оценки направлений перемещения объекта используется другой процесс.
Если на шаге S139 результатом определения является «Да», то устанавливают Dn(i,j)= Mn(i,j) и Fn(i,j)= Vn(i,j), и на шаге S144 во время процесса обновления BDM и карты FV стирают сохраненный архив данных карт BDM и FV для предыдущих кадров.
Вновь обратимся к шагу S136, где в некоторых системах информация 36 о движении недоступна по различным причинам, например, видео не закодировано, или модуль оценки движения по алгоритму кодирования был выключен. Тогда результатом шага S136 определения является «Нет» и с шага S136 переходят к шагу S144, который описывается ниже. Если результатом шага S136 определения является «Нет», предполагается, что векторы движения равны нулю для всех блоков.
Если информация 36 о движении доступна, то за шагом S139 следует шаг S142, где в процессе 132 выполняется предсказание BDM и карты FV для текущего кадра Pn(i,j) и Tn(i,j) исходя из их значений для предыдущего кадра, с помощью уравнения (3) и уравнения (4)
Figure 00000005
где блок (a, b) в (n-1)-м кадре - предсказание блока (i, j) в n-м кадре, а FV_TH - пороговое значение для приращения FV.
За шагом S142 следует шаг S144, где устройство 10 предполагает, что, чем лучше перемещается фокус, тем точнее оценка глубины. Таким образом, положение фокуса объектива соответствует максимальному значению FV и считается наилучшим выбором. На основе указанной логики окончательная карта BDM и карта FV определяются согласно уравнениям (5) и (6)
Figure 00000006
где {Dn(i,j)} и {Fn(i,j)} (i=1, 2…N, j=1, 2…N) - окончательно определенная блочная карта глубин (BDM) и карта 38А значений фокуса (FV) текущего кадра; {Mn(i,j)} и {Vn(i,j)} - внутренняя BDM и карта FV, полученные в процессе 126 автофокусировки; и {Pn(i,j)} и {Tn(i,j)} - внутренняя BDM и карта FV, полученные путем предсказания движения.
Очевидно, что уравнения (5) и (6) точны не во всех случаях. Уравнения (5) и (6) не годятся для некоторых сложных сценариев, например при появлении преград/засветок. В общем случае целесообразно предположить, что фиксация видеокадров осуществляется со скоростью 15-30 кадров в секунду, и объект в этих кадрах движется с приемлемой скоростью, так что объект не может успеть переместиться далеко в соседнем кадре.
Эвристические правила относятся к положениям и логическим предпосылкам уравнений (3)-(6), описанных выше, и в блок-схеме, показанной на фиг.8. Эти правила реально закодированы в программах, а в памяти 60 запоминаются архивные данные для оценки карты глубин.
После получения карты BDM на шаге S146 исходя из результатов шага S144 для BDM вычисляют карту глубин изображения (IDM) на основе того же подхода, который был описан в связи с процессом 130 определения глубин для режима статического изображения. Таким образом, карта BDM, полученная на шаге S144, подвергается операции 131А уменьшения артефактов и билинейной фильтрации с помощью билинейного фильтра 131B (фиг.3).
Обратимся к шагу S139, где, если результатом определения является «Нет», за шагом S139 следует шаг S140, где происходит перебор архивных данных. На шаге S140 перебор архивных данных относится к следующим действиям: Если обнаружено глобальное движение (то есть, вектор GMV больше порогового значения), что означает перемещение объектива камеры к другим сценам, то тогда задачи поддержания точных архивных данных о глубинах сцены и оценки направлений движения объекта становятся разными. Для этого случая устанавливают Dn(i,j) = Mn(i,j) и Fn(i,j) = Vn(i,j) и стирают архивные данные BDM и карты FV предыдущих кадров. Затем за шагом S140 следует шаг S146.
На фиг.9А-9F показан пример, демонстрирующий процесс на фиг.8. На фиг.9А и 9B показано изображение первого кадра 82 и соответствующей карты BDM 84. С другой стороны, на фигурах 9С и 9D показан 30-й кадр 86 видео и соответствующая карта BDM 88. На фиг.9Е и 9F показан 60-й кадр 90 видео и соответствующая карта BDM 92. На этом видео пластиковая бутылка катится к камере с большого расстояния. Из этих фигур хорошо видно, что процесс 132 способен улавливать перемещения объектов в сцене и отражать эти действия на полученных картах глубин.
На фиг.10А, 10B и 10С показаны карты глубин изображения (IDM) 94, 96 и 98, созданные с использованием процесса 132 из карт BDM 84, 88 и 92 соответственно, которые показаны на фиг.9B, 9D и 9F. Карты IDM 94, 96 и 98 получены с использованием процесса 130 (фиг.3).
Создание пары стереоизображений
Обратимся теперь к фиг.1 и 11, где устройство 10 выполнило фиксацию изображения или левого вида и получило соответствующую карту глубин изображения. Модуль 42 создания пары изображений использует процесс 142 создания пары изображений, который описывается ниже. На шаге S144 получают левый вид, а соответствующую карту глубин изображения получают на шаге S146 на основе процесса 130 или 132 определения глубин.
Хотя процесс 142 создания пары изображений сначала предполагает, что полученное на шаге S144 изображение попеременно является левым видом стереоскопической системы, это изображение можно рассматривать как правый вид. Затем на основе карты глубин изображения, полученной на шаге S146, на шаге S148 в субмодуле 44 карты несоответствий вычисляется карта несоответствий (расстояние в пикселях между точками изображения в обоих видах) для данного изображения. Вычисления для карты несоответствий, выполняемые субмодулем 48 карты несоответствий, описаны ниже со ссылками на фиг.12А и 12B. Для вычисления карты несоответствий вводится как левый вид, так и карта глубин, однако, для создания трехмерного вида в восстановление поверхности на основе Z-буфера непосредственно вносит свой вклад как левый вид, так и карта глубин. За шагом S148 следует шаг S150, где активизируется процесс 146 трехмерной интерполяции на основе Z-буфера, выполняемый субмодулем 46 восстановления трехмерной поверхности на основе Z-буфера, для построения трехмерной поверхности для сцены, видимой правым глазом. За шагом S150 следует шаг S152, где правый вид получают путем проецирования трехмерной поверхности на плоскость проекции, как хорошо видно на фиг.12B. Шаг S152 выполняется субмодулем 48 генератора стереовидео.
На фиг.12А показана геометрическая модель бинокулярного зрения, где используются левый (L) и правый (R) виды на плоскости проекции для удаленного объекта. На фиг.12В величина F является длиной фокуса, L(xL,yL,0) - левый глаз, R(xR,yR,0) - правый глаз, T(xT,yT,z) - трехмерная точка в сцене, а P(xp,yp,F) и Q(xQ,yQ,F) - точки проекций Т на левую и правую плоскости проекции. Ясно, что положение по горизонтали для Р и Q на плоскостях проекций представляется как (xP-xL) и (xQ-xR), и, следовательно, несоответствие составит d = [(xQ-xR)-(xP-xL)].
Как показано на фиг.12В, отношение F к Z определяется уравнением (7) в виде
Figure 00000007
где z - глубина.
Отсюда следуют уравнения (8) и (9)
Figure 00000008
Figure 00000009
и, следовательно, несоответствие d можно получить из уравнения (10)
Figure 00000010
Таким образом, для каждого пикселя в левом виде его эквивалент в правом виде сдвинут влево или вправо на расстояние, равное значению несоответствия, полученному из уравнения (10). Однако отображение от левого вида к правому виду не является однозначным отображением из-за возможных преград, вследствие чего необходима дополнительная обработка для получения изображения правого вида.
Таким образом, процесс 146 трехмерной интерполяции на основе Z-буфера для создания правого вида выполняется субмодулем 46 восстановления трехмерной поверхности на основе Z-буфера. Поскольку расстояние между двумя глазами по сравнению с расстоянием от глаз до объектов (как показано на фиг.12А) очень мало, можно приблизительно считать, что расстояние от объекта до левого глаза равно расстоянию от объекта до правого глаза, что сильно упрощает вычисления. Таким образом, карта глубин Z(x,y) (где Z(x,y) является действительной картой глубин изображения, но при этом неизвестной картой, которую подлежит определить) поддерживается для правого (R) вида, где x, y - положение пикселя в виде.
Обратимся теперь к фиг.15А и 15В, где представлен процесс 146 для восстановления трехмерной видимой поверхности для правого вида, который описывается ниже. Вначале (шаг S166) карта глубин инициализируется как неопределенная. За шагом S166 следует шаг S168, на котором получают пиксель (x0,y0) в левом виде. Затем для каждого пикселя (x0,y0) в левом виде с глубиной z0 и значением d0 несоответствия на шаге S170 обновляется карта глубин для соответствующего пикселя в правом виде с помощью уравнения (11), определенного как
Figure 00000011
За шагом S170 следует шаг S172, на котором определяется, имеются ли еще пиксели. Если результатом определения является «Да», то от шага S172 выполняется переход обратно к шагу S168 для получения следующего пикселя. С другой стороны, после того как все пиксели обработаны, результатом определения на шаге S172 является «Нет», и тогда за шагом S172 следует шаг S174, где проверяется восстановленная карта глубин и осуществляется поиск пикселей со значениями, соответствующими неопределенности (пиксели без действительной карты на левом виде). За шагом S174 следует шаг S176, где определяется, равно ли значение пикселя (PV) неопределенности. Если результатом определения на шаге S176 является «Нет», это значит, что значение пикселя (PV) является действительным и может быт непосредственно использовано в качестве значения интенсивности на шаге S188 по фиг.15В.
Если результатом определения на шаге S176 является «Да», то для указанных пикселей на шаге S180 сначала вычисляется глубина для соответствующего пикселя путем двумерной интерполяции на основе соседних пикселей с доступными значениями глубины. После этого на шаге S182 вычисляют значение несоответствия с использованием вышеуказанного уравнения (10), а затем на шаге S184 обратным путем находят соответствующий пиксель в левом виде. За шагом S184 следует шаг S186 для определения того, найден ли пиксель. Если соответствующий пиксель имеется, то за шагом S186 следует шаг S188, где соответствующее значение интенсивности можно использовать для пикселя правого вида. В противном случае, если результатом шага S186 определения является «Нет», то за шагом S186 следует шаг S190, на котором используется интерполяция для вычисления значения интенсивности на основе соседних пикселей в правом виде с имеющимися значениями интенсивности.
Важно указать, что преимущества в использовании предложенного алгоритма по сравнению с методом прямой интерполяции интенсивности состоят в том, что здесь учитывается трехмерная непрерывность формы объекта, что дает более реалистичное представление стереоэффекта. Ясно, что проблема восстановления невидимой области левого вида является неразрешимой. В одном известном решении глубина недостающего пикселя восстанавливается путем использования соседнего пикселя в горизонтальном направлении, соответствующем дальнейшей поверхности в предположении, что в данной сцене нет других видимых поверхностей за данной поверхностью. В некоторых случаях это предположение может быть неверным. Для учета других возможных случаев в предложенном решении при восстановлении поверхности учитываются значения глубины для всех соседних пикселей по всем направлениям, что снижает опасность неверного предположения и обеспечивает лучшую трехмерную непрерывность восстановленной поверхности.
Экспериментальные результаты
Устройство 10 может быть реализовано в системе MSM8K VFE C-SIM. Экспериментальные результаты показывают, что зафиксированные и созданные стереоизображения и стереовидео имеют высококачественные трехмерные эффекты.
В этих экспериментах для демонстрации результирующего трехмерного эффекта был использован недорогой процесс 152 создания красно-синего анаглифа, хотя созданные стереовиды можно отображать, используя другие средства, такие как голографические и стереоскопические устройства. В первом эксперименте пары стереоизображений были вычислены с использованием карты глубин изображения различных видов и созданы соответствующие анаглифические изображения, как показано на фиг.13А и 13В. Фиг.13А создана с использованием аппроксимированной карты глубин, показанной на фиг.6Е, а фиг.13В создана с использованием точной карты глубин, показанной на фиг.6В. Эти результаты с очевидностью показывают, что аппроксимированная карта глубин изображения дает качество изображения, аналогичное качеству изображения при использовании точной карты глубин, что подтверждает хороший уровень рабочих характеристик.
Подводя итоги, можно сказать, что моноскопическое маломощное мобильное устройство 10 обеспечивает фиксацию и создание стереоизображений и стереовидео в реальном времени. В устройстве 10 используются процессы автофокусировки, выполняемые модулем 14 датчика моноскопической камеры, для фиксации и создания стереоизображений и стереовидео. Для оценки информации о глубине для удаленных объектов в сцене используется процесс автофокусировки датчика камеры. Для фиксации видео предусмотрен несложный алгоритм, определяющий блочную карту глубин на основе информации о движении, значении фокуса и статистических архивных данных кадров.
Устройство 10 разработано для приложений в реальном времени, так что главной проблемой является сложность вычислений. Однако устройство 10 оценивает глубину объекта, используя «груботочную» стратегию, то есть изображение разбивается на несколько блоков, так чтобы можно было быстро определить соответствующую блочную карту глубин. Затем для преобразования блочной карты глубин в аппроксимированную карту глубин изображения используют билинейный фильтр. Для создания стереоизображения используют несложный подход к восстановлению трехмерной поверхности на основе Z-буфера для оценки недостающих видов.
Экспериментальные результаты показывают, что зафиксированные и созданные стереоизображения и стереовидео имеют удовлетворительные трехмерные эффекты. Чем шире функциональные возможности фокусировки у модуля 14 датчика, тем более точной будет карта с оценками глубин и тем лучший стереоэффект будет иметь созданное изображение и видео.
Приведенное выше описание вариантов осуществления изобретения представлено в иллюстративных и описательных целях. Оно не претендует быть исчерпывающим или на то, чтобы свести изобретение к раскрытой здесь точной форме, причем в свете вышеизложенных идей возможны модификации и варианты, которые также могут быть получены из практики использования изобретения. Эти варианты изобретения были выбраны и описаны для того, чтобы объяснить принципы изобретения и его практическое применение и чтобы дать возможность специалистам в данной области техники использовать изобретение в различных вариантах и с различными модификациями, подходящими для предполагаемого конкретного использования. Предполагается, что объем изобретения определяется прилагаемой формулой изобретения и ее эквивалентами.

Claims (29)

1. Маломощное мобильное устройство, содержащее модуль датчика камеры с одним датчиком, выполненный с возможностью фиксации изображения и имеющий субмодуль автофокусировки, выполненный с возможностью определения наилучшего положения фокуса путем перемещения объектива по всему диапазону фокусировки посредством процесса фокусировки и выбора положения фокуса с максимальным значением фокуса при фиксации изображения; узел генератора карты глубин, выполненный с возможностью на первом этапе автоматической разработки карты глубин на уровне блоков, используя статистику от субмодуля автофокусировки, а на втором этапе разработки карты глубин изображения; и модуль генератора пары изображений, выполненный с возможностью создания недостающего второго вида из зафиксированного изображения, для создания левого и правого видов трехмерного (3D) стереоизображения с помощью вычисления карты несоответствий на основе карты глубины изображения и расстояния в пикселях между точками изображения в левом и правом видах геометрии бинокулярного зрения для зафиксированного изображения, причем зафиксированное изображение представляет левый вид.
2. Устройство по п.1, в котором модуль генератора пары изображений содержит субмодуль карты несоответствий, который вычисляет карту несоответствий; субмодуль восстановления трехмерной поверхности на основе Z-буфера, выполненный с возможностью построения трехмерной видимой поверхности для зафиксированного изображения из правого вида; и субмодуль генератора стереовида, выполненный с возможностью проецирования трехмерной поверхности правого вида на плоскость проекции.
3. Устройство по п.1, в котором процесс фокусировки, выполняемый субмодулем автофокусировки, в режиме статического изображения выполняет процесс фокусировки с поиском с полным перебором для фиксации статического изображения, а в режиме видео для обеспечения фиксации видеоклипа в реальном времени указанный процесс фокусировки инициируется процессом фокусировки с поиском с полным перебором с последующим процессом фокусировки с поиском экстремума.
4. Устройство по п.3, в котором узел генератора карты глубин на втором этапе выполнен с возможностью уменьшения артефактов с помощью билинейного фильтра.
5. Устройство по п.4, в котором на втором этапе узел генератора карты глубин выполнен с возможностью получения значения глубины для угловых точек (А, В, С и D) каждого блока, найденного во время процесса фокусировки, причем значение глубины является средним значением соседних блоков для соответствующего блока, причем глубина средней точки d определяется как
Figure 00000012
,
где d1, d2, d3 и d4 - значения глубины соседних блоков; и после получения значения глубины для всех угловых точек (А, В, С и D) билинейный фильтр выполнен с возможностью получения значения глубины пикселей внутри блоков.
6. Устройство по п.5, в котором билинейный фильтр дополнительно выполнен с возможностью вычисления значения dP глубины пикселя для пикселя Р (хP, уP, dP) согласно уравнению
Figure 00000013

где значения положения и значения глубины для угловых точек (А, В, С и D) блока обозначены как (xA, уA, dA), (хB, уB, dB), (хC, уC, dC), (xD, уD, dD).
7. Устройство по п.3, дополнительно содержащее модуль видеокодирования для кодирования зафиксированного видеоклипа и обеспечения статистической информации для вычисления карты глубин на блочном уровне, причем модуль видеокодирования выполнен с возможностью определения оценки движения, а узел генератора карты глубин выполнен с возможностью на втором этапе обнаружения и оценки информации о глубине для фиксации и создания в реальном времени стереовидео с использованием статистической информации из оценки движения, процесса фокусировки и данных истории плюс эвристических правил для получения окончательной блочной карты глубин, из которой получают карту глубин изображения.
8. Устройство по п.1, дополнительно содержащее дисплей и модуль генератора трехмерных эффектов для отображения на дисплее левого и правого видов трехмерного стереоизображения.
9. Устройство по п.8, в котором модуль генератора трехмерных эффектов выполнен с возможностью создания красно-синего анаглифического изображения левого и правого видов трехмерного стереоизображения на дисплее.
10. Устройство по п.1, причем маломощное мобильное устройство содержит одно из следующего: ручную цифровую камеру, камкордер или телефон с камерой с одним датчиком.
11. Маломощное мобильное устройство, содержащее средство для фиксации изображения с помощью одного датчика; средство для автофокусировки объектива и определения наилучшего положения фокуса путем перемещения объектива по всему диапазону фокусировки и выбора положения фокуса с максимальным значением фокуса при фиксации изображения; средство для автоматического создания на первом этапе карты глубин на блочном уровне с использованием статистики от средства автофокусировки, а на втором этапе карты глубин изображения; и средство для создания недостающего второго вида из зафиксированного изображения для создания левого и правого видов трехмерного (3D) стереоизображения с помощью вычисления карты несоответствий на основе карты глубины изображения и расстояния в пикселях между точками изображения в левом и правом видах геометрии бинокулярного зрения для зафиксированного изображения, причем зафиксированное изображение представляет левый вид.
12. Устройство по п.11, в котором средство создания содержит средство для вычисления карты несоответствий; средство для восстановления трехмерной поверхности с помощью Z-буферизации для построения трехмерной видимой поверхности для зафиксированного изображения из недостающей правой точки обзора; и средство для создания стереовидов путем проецирования построенной трехмерной поверхности на плоскость проекции.
13. Устройство по п.11, в котором средство автофокусировки включает в себя средство для выполнения процесса фокусировки с поиском с полным перебором для фиксации статического изображения в режиме статического изображения; средство для инициирования процесса фокусировки с поиском с полным перебором в режиме видео; и средство для фокусировки с поиском экстремума в режиме видео для фиксации видеоклипа в реальном времени.
14. Устройство по п.13, в котором средство создания на втором этапе включает в себя средство для уменьшения артефактов.
15. Устройство по п.14, в котором средство для уменьшения артефактов включает в себя средство для получения значения глубины для угловых точек (А, В, С и D) каждого блока, найденного средством автофокусировки, причем значение глубины является средним значением соседних блоков соответствующего блока, причем глубина средней точки d определяется как
Figure 00000012
,
где d1, d2, d3 и d4 - значения глубины соседних блоков; и средство для билинейной фильтрации для получения значения глубины пикселей внутри блоков после получения значения глубины для всех угловых точек (А, В, С и D).
16. Устройство по п.15, в котором средство билинейной фильтрации содержит средство для вычисления значения dP глубины пикселя для пикселя Р(хP, уP, dP) согласно уравнению
Figure 00000014

где значения положения и значения глубины для угловых точек (А, В, С и D) блока обозначены как (хA, уA, dA), (хB, уB, dB), (хC, уC, dC), (xD, уD, dD).
17. Устройство по п.13, дополнительно содержащее средство для видеокодирования зафиксированного видеоклипа и обеспечения статистической информации, причем средство для видеокодирования включает в себя средство для оценки движения; и причем средство создания включает в себя средство для обнаружения и оценки информации о глубине для фиксации и создания в реальном времени стереовидео с использованием статистической информации от средства оценки движения, средства автофокусировки и данных истории плюс эвристических правил для получения окончательной блочной карты глубин, из которой получают карту глубин изображения.
18. Устройство по п.11, дополнительно содержащее дисплей и средство для создания трехмерных эффектов левого и правого видов трехмерного стереоизображения на дисплее.
19. Устройство по п.18, в котором средство создания трехмерных эффектов создает красно-синее анаглифическое изображение левого и правого видов трехмерного стереоизображения на дисплее.
20. Устройство по п.11, причем маломощное мобильное устройство содержит одно из следующего: ручную цифровую камеру, камкордер или телефон с камерой с одним датчиком.
21. Способ создания стереоизображений в реальном времени, содержащий этапы на которых фиксируют изображение с помощью одного датчика; выполняют автофокусировку объектива и определяют наилучшее положение фокуса путем перемещения объектива по всему диапазону фокусировки и выбора положения фокуса с максимальным значением фокуса при фиксации изображения; автоматически создают на первом этапе карту глубин на блочном уровне с использованием статистики от этапа автофокусировки, а на втором этапе создают карту глубин изображения; и создают недостающий второй вид из зафиксированного изображения для создания левого и правого видов трехмерного (3D) стереоизображения с помощью вычисления карты несоответствий на основе карты глубины изображения и расстояния в пикселях между точками изображения в левом и правом видах геометрии бинокулярного зрения для зафиксированного изображения, причем зафиксированное изображение представляет левый вид.
22. Способ по п.21, в котором этап создания содержит этапы, на которых вычисляют карту несоответствий; восстанавливают трехмерную поверхность с помощью Z-буферизации для построения трехмерной видимой поверхности для зафиксированного изображения из недостающей правой точки обзора; и создают недостающий правый вид путем проецирования построенной трехмерной поверхности на плоскость проекции.
23. Способ по п.21, в котором этап автофокусировки включает в себя этапы, на которых выполняют процесс фокусировки с поиском с полным перебором для фиксации статического изображения в режиме статического изображения; инициируют процесс фокусировки с поиском с полным перебором в режиме видео; и выполняют фокусировку с поиском экстремума в режиме видео для фиксации видеоклипа в реальном времени.
24. Способ по п.23, в котором этап создания на втором этапе включает в себя этап, на котором уменьшают артефакты.
25. Способ по п.24, в котором этап уменьшения артефактов включает в себя этапы, на которых получают значение глубины для угловых точек (А, В, С и D) каждого блока, найденного средством автофокусировки, причем значение глубины является средним значением соседних блоков соответствующего блока, причем глубину средней точки d определяют как
Figure 00000012
,
где d1, d2, d3 и d4 - значения глубины соседних блоков; и после получения значения глубины для всех угловых точек (А, В, С и D), выполняют билинейную фильтрацию для получения значения глубины пикселей внутри блоков.
26. Способ по п.25, в котором этап билинейной фильтрации содержит этап на котором: вычисляют значение dP глубины пикселя для пикселя Р(хP, уP, dP) согласно уравнению
Figure 00000015

где значения положения и значения глубины для угловых точек (А, В, С и D) блока обозначены как (хA, уA, dA), (хB, уB, dB), (хC, уC, dC), (xD, уD, dD).
27. Способ по п.23, дополнительно содержащий видеокодирование видеоклипа и оценку движения, причем этап создания включает в себя этап, на котором обнаруживают и оценивают информацию о глубине для фиксации и создания в реальном времени стереовидео с использованием статистики от этапа оценки движения, этапа автофокусировки и данных истории плюс эвристических правил для получения окончательной блочной карты глубин, из которой получают карту глубин изображения.
28. Способ по п.21, дополнительно содержащий этап, на котором создают трехмерные эффекты левого и правого видов трехмерного стереоизображения на дисплее.
29. Способ по п.28, в котором этап создания трехмерных эффектов включает в себя этап, на котором создают красно-синее анаглифическое изображение левого и правого видов трехмерного стереоизображения на дисплее.
RU2009107082/09A 2006-08-01 2007-07-30 Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством RU2417548C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/497,906 2006-08-01
US11/497,906 US8970680B2 (en) 2006-08-01 2006-08-01 Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device

Publications (2)

Publication Number Publication Date
RU2009107082A RU2009107082A (ru) 2010-09-27
RU2417548C2 true RU2417548C2 (ru) 2011-04-27

Family

ID=38925520

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009107082/09A RU2417548C2 (ru) 2006-08-01 2007-07-30 Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством

Country Status (9)

Country Link
US (2) US8970680B2 (ru)
EP (4) EP2498503B1 (ru)
JP (2) JP5350241B2 (ru)
KR (1) KR101038402B1 (ru)
CN (1) CN101496413B (ru)
BR (1) BRPI0715065B1 (ru)
CA (2) CA2657401C (ru)
RU (1) RU2417548C2 (ru)
WO (1) WO2008016882A2 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2591174C2 (ru) * 2012-04-09 2016-07-10 Интел Корпорейшн Сигнализация трехмерной видеоинформации в коммуникационных сетях
RU2616175C2 (ru) * 2011-09-28 2017-04-12 Конинклейке Филипс Н.В. Определение расстояния до объекта по изображению
RU2669680C2 (ru) * 2013-03-21 2018-10-12 Конинклейке Филипс Н.В. Инициализация модели на основе классификации видов

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
KR100866491B1 (ko) * 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
DE102007021518B4 (de) * 2007-05-04 2009-01-29 Technische Universität Berlin Verfahren zum Verarbeiten eines Videodatensatzes
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
DE102008001451A1 (de) * 2008-04-29 2009-11-05 Robert Bosch Gmbh Kamera und Verfahren zum Steuern einer Kamera
WO2010018880A1 (en) * 2008-08-11 2010-02-18 Postech Academy-Industry Foundation Apparatus and method for depth estimation from single image in real time
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US20100079582A1 (en) * 2008-10-01 2010-04-01 Dunsmore Clay A Method and System for Capturing and Using Automatic Focus Information
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
JP5859309B2 (ja) * 2008-11-24 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄビデオ及び補助データの組み合わせ
US8238681B2 (en) * 2008-11-25 2012-08-07 Nokia Corporation Adaptive configuration of windows-of-interest for accurate and robust focusing in multispot autofocus cameras
KR101675555B1 (ko) * 2009-01-30 2016-11-11 톰슨 라이센싱 깊이 맵의 코딩
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
WO2010116329A2 (en) * 2009-04-08 2010-10-14 Stergen Hi-Tech Ltd. Method and system for creating three-dimensional viewable video from a single video stream
US8504640B2 (en) * 2009-06-02 2013-08-06 Motorola Solutions, Inc. Device recruitment for stereoscopic imaging applications
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
WO2011014421A2 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011017485A2 (en) * 2009-08-07 2011-02-10 Light Prescriptions Innovators, Llc 3d autostereoscopic display with true depth perception
WO2011046607A2 (en) 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
US9030469B2 (en) * 2009-11-18 2015-05-12 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
EP2354893B1 (en) * 2009-12-31 2018-10-24 Sony Interactive Entertainment Europe Limited Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
KR20110090511A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 통신 기기에서 3차원 영상을 위한 영상 처리 방법 및 장치
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
KR101121264B1 (ko) * 2010-03-30 2012-03-22 김길겸 입체 영상 카메라 장치 및 이의 구동 방법
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
JP5540942B2 (ja) * 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 処理装置
KR101669820B1 (ko) 2010-07-02 2016-10-27 삼성전자주식회사 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
JP2012023258A (ja) * 2010-07-16 2012-02-02 Matsumoto Kenzai:Kk 温度差発電装置及び温度差発電方法
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
KR101688153B1 (ko) * 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
US8947506B2 (en) * 2010-08-27 2015-02-03 Broadcom Corporation Method and system for utilizing depth information for generating 3D maps
US8605167B2 (en) 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US9398205B2 (en) 2010-09-01 2016-07-19 Apple Inc. Auto-focus control using image statistics data with coarse and fine auto-focus scores
US8531542B2 (en) 2010-09-01 2013-09-10 Apple Inc. Techniques for acquiring and processing statistics data in an image signal processor
US8922704B2 (en) 2010-09-01 2014-12-30 Apple Inc. Techniques for collection of auto-focus statistics
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8508612B2 (en) 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data
US8488055B2 (en) 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
US8786625B2 (en) 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US8629913B2 (en) 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8670630B1 (en) 2010-12-09 2014-03-11 Google Inc. Fast randomized multi-scale energy minimization for image processing
KR101777854B1 (ko) 2010-12-21 2017-09-13 한국전자통신연구원 깊이감 조절 방법과 장치, 이를 구비하는 단말기 및 그 동작 방법
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
EP2698658B1 (en) * 2011-04-15 2018-09-12 Panasonic Corporation Image pickup apparatus, semiconductor integrated circuit and image pickup method
US20120268562A1 (en) * 2011-04-20 2012-10-25 Himax Technologies Limited Image processing module and image processing method thereof for 2d/3d images conversion and frame rate conversion
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
JP5824896B2 (ja) * 2011-06-17 2015-12-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20130002811A1 (en) * 2011-06-28 2013-01-03 Bu Lin-Kai Three-dimensional imaging method using single-lens image-capture apparatus and three-dimensional image enhancement method based on two-dimensional images
US8743180B2 (en) 2011-06-28 2014-06-03 Cyberlink Corp. Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
US8928737B2 (en) * 2011-07-26 2015-01-06 Indiana University Research And Technology Corp. System and method for three dimensional imaging
KR101888672B1 (ko) * 2011-07-27 2018-08-16 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
KR101918057B1 (ko) * 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
US9161010B2 (en) * 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
US9414048B2 (en) * 2011-12-09 2016-08-09 Microsoft Technology Licensing, Llc Automatic 2D-to-stereoscopic video conversion
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置
US20140043447A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
KR101890133B1 (ko) * 2012-09-05 2018-09-28 삼성전자주식회사 촬영 장치 및 이의 촬영 방법
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks
TWI508524B (zh) * 2012-10-26 2015-11-11 Quanta Comp Inc 裸視立體顯示裝置之自動調校方法及系統
CN103905806B (zh) * 2012-12-26 2018-05-01 三星电子（中国）研发中心 利用单摄像头实现3d拍摄的系统和方法
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US9544613B2 (en) * 2013-04-24 2017-01-10 Sony Corporation Local detection model (LDM) for recursive motion estimation
US20150049821A1 (en) * 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
US20150271467A1 (en) * 2014-03-20 2015-09-24 Neal Weinstock Capture of three-dimensional images using a single-view camera
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
CN104794713B (zh) * 2015-04-15 2017-07-11 同济大学 基于arm和双目视觉的温室作物数字化成像方法
US9875443B2 (en) * 2015-06-18 2018-01-23 TCL Research America Inc. Unified attractiveness prediction framework based on content impact factor
US11463676B2 (en) 2015-08-07 2022-10-04 Medicaltek Co. Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN105611162A (zh) * 2015-12-29 2016-05-25 太仓美宅姬娱乐传媒有限公司 一种摄影设备的摄像方法
US10341634B2 (en) 2016-01-29 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for acquiring image disparity
WO2018053846A1 (zh) 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 对焦方法、摄像装置和无人机
US10552981B2 (en) 2017-01-16 2020-02-04 Shapetrace Inc. Depth camera 3D pose estimation using 3D CAD models
US20200045094A1 (en) * 2017-02-14 2020-02-06 Bluejay Technologies Ltd. System for Streaming
GB201702386D0 (en) 2017-02-14 2017-03-29 Bluejay Tech Ltd System for streaming
JP7204326B2 (ja) * 2018-01-15 2023-01-16 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
US10536622B2 (en) * 2018-05-15 2020-01-14 Sony Corporation Camera depth prediction using generative adversarial network
CN111539906B (zh) * 2019-01-22 2024-04-12 顺丰科技有限公司 装载率测定方法及装置
US11330246B2 (en) 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
US11321926B2 (en) * 2019-12-18 2022-05-03 Apple Inc. Method and device for content placement
WO2023184527A1 (en) * 2022-04-02 2023-10-05 Covidien Lp System and method for unsupervised stereoscopic reconstruction with disparity consistency

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2928548B2 (ja) * 1989-08-02 1999-08-03 株式会社日立製作所 立体形状検出方法及びその装置
JPH0396178A (ja) 1989-09-08 1991-04-22 Sanyo Electric Co Ltd オートフォーカス装置
JP3112485B2 (ja) 1991-01-22 2000-11-27 オリンパス光学工業株式会社 立体電子スチルカメラ
JPH0560528A (ja) * 1991-09-03 1993-03-09 Hitachi Ltd 立体情報入力装置
JP3096178B2 (ja) 1992-11-11 2000-10-10 株式会社エヌ・ティ・ティ・ドコモ Ｔｄｍａ−ｔｄｄ無線通信装置の送受信装置
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
JP3957343B2 (ja) 1996-07-18 2007-08-15 三洋電機株式会社 ２次元映像を３次元映像に変換する装置および方法
US6445833B1 (en) * 1996-07-18 2002-09-03 Sanyo Electric Co., Ltd Device and method for converting two-dimensional video into three-dimensional video
JPH10108152A (ja) 1996-09-27 1998-04-24 Sanyo Electric Co Ltd 携帯情報端末
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
CN1173296C (zh) * 1997-12-05 2004-10-27 动力数字深度研究有限公司 改进的图像转换和编码技术
US6128071A (en) * 1998-06-04 2000-10-03 Canon Kabushiki Kaisha Range data recordation
US6347344B1 (en) * 1998-10-14 2002-02-12 Hitachi, Ltd. Integrated multimedia system with local processor, data transfer switch, processing modules, fixed functional unit, data streamer, interface unit and multiplexer, all integrated on multimedia processor
US6816158B1 (en) * 1998-10-30 2004-11-09 Lemelson Jerome H Three-dimensional display system
JP2000251090A (ja) * 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
JP2001042200A (ja) 1999-07-30 2001-02-16 Casio Comput Co Ltd カメラ装置及びズーム動作制御方法
JP4126816B2 (ja) 1999-08-18 2008-07-30 ソニー株式会社 画像記録装置及び画像記録方法
JP2001061164A (ja) 1999-08-19 2001-03-06 Toshiba Corp 立体映像信号伝送方法
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP4550211B2 (ja) 2000-03-21 2010-09-22 オリンパス株式会社 カメラ
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
FI109633B (fi) * 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
JP2003085578A (ja) 2001-09-14 2003-03-20 Namco Ltd ゲーム情報、情報記憶媒体、及びゲーム装置
JP2003109032A (ja) * 2001-09-26 2003-04-11 Pioneer Electronic Corp 画像作成装置及びコンピュータプログラム
JP2003209858A (ja) 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2003304562A (ja) 2002-04-10 2003-10-24 Victor Co Of Japan Ltd オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム
US7324116B2 (en) * 2002-06-20 2008-01-29 Microsoft Corporation Systems and methods for providing controllable texture sampling
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP4397217B2 (ja) 2002-11-12 2010-01-13 株式会社バンダイナムコゲームス 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
AU2002952874A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
US7171054B2 (en) * 2003-05-01 2007-01-30 Eastman Kodak Company Scene-based method for determining focus
JP2004347871A (ja) 2003-05-22 2004-12-09 Fuji Photo Film Co Ltd プロジェクタ及びデジタルカメラ
JP4525089B2 (ja) * 2004-01-27 2010-08-18 フジノン株式会社 オートフォーカスシステム
US7262767B2 (en) * 2004-09-21 2007-08-28 Victor Company Of Japan, Limited Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
JP4214529B2 (ja) 2004-12-28 2009-01-28 日本ビクター株式会社 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
US7821570B2 (en) 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
JP5007373B1 (ja) 2012-03-14 2012-08-22 アルプス電気株式会社 レンズ駆動装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2616175C2 (ru) * 2011-09-28 2017-04-12 Конинклейке Филипс Н.В. Определение расстояния до объекта по изображению
RU2591174C2 (ru) * 2012-04-09 2016-07-10 Интел Корпорейшн Сигнализация трехмерной видеоинформации в коммуникационных сетях
US9787967B2 (en) 2012-04-09 2017-10-10 Intel Corporation Signaling three-dimensional video information in communication networks
RU2643446C1 (ru) * 2012-04-09 2018-02-01 Интел Корпорейшн Сигнализация трёхмерной видеоинформации в коммуникационных сетях
US10194134B2 (en) 2012-04-09 2019-01-29 Intel Corporation Signaling three-dimensional video information in communication networks
RU2669680C2 (ru) * 2013-03-21 2018-10-12 Конинклейке Филипс Н.В. Инициализация модели на основе классификации видов

Also Published As

Publication number Publication date
CN101496413A (zh) 2009-07-29
EP2498503B1 (en) 2015-06-24
BRPI0715065A2 (pt) 2013-05-28
CA2748558C (en) 2014-06-03
JP5536146B2 (ja) 2014-07-02
CA2748558A1 (en) 2008-02-07
EP2448279A2 (en) 2012-05-02
EP2498504B1 (en) 2013-07-24
US20080031327A1 (en) 2008-02-07
RU2009107082A (ru) 2010-09-27
JP2009545929A (ja) 2009-12-24
CN101496413B (zh) 2011-09-07
CA2657401C (en) 2015-06-02
KR20090035024A (ko) 2009-04-08
CA2657401A1 (en) 2008-02-07
BRPI0715065B1 (pt) 2020-09-15
WO2008016882A2 (en) 2008-02-07
EP2448279B1 (en) 2013-12-11
EP2498504A1 (en) 2012-09-12
EP2047689A2 (en) 2009-04-15
WO2008016882A3 (en) 2008-07-03
EP2498503A1 (en) 2012-09-12
JP5350241B2 (ja) 2013-11-27
US20150002627A1 (en) 2015-01-01
KR101038402B1 (ko) 2011-06-01
US8970680B2 (en) 2015-03-03
EP2448279A3 (en) 2012-05-09
JP2012231508A (ja) 2012-11-22
US9509980B2 (en) 2016-11-29

Similar Documents

Publication Publication Date Title
RU2417548C2 (ru) Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством
US8330801B2 (en) Complexity-adaptive 2D-to-3D video sequence conversion
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN101960860A (zh) 使用基于区域的滤波的深度图提取系统和方法
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
Trinidad et al. Multi-view image fusion
Busam et al. Sterefo: Efficient image refocusing with stereo vision
CN109949354B (zh) 一种基于全卷积神经网络的光场深度信息估计方法
JP2009047497A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
TW201322185A (zh) 階層式立體匹配裝置及方法
KR101926498B1 (ko) 스테레오 영상 정합 장치 및 이의 정합 방법
Galabov 3D Capturing with monoscopic camera
Haji-Esmaeili et al. Playing for depth
Comino Trinidad et al. Multi-view image fusion
KR102061017B1 (ko) 스테레오 영상 정합 장치 및 그 방법
CN118230420A (zh) 基于双视角时空交互网络的视频行为识别方法及系统
CN112634139A (zh) 光场超分辨成像方法、装置及设备