RU2632215C2 - Способ и система для стабилизации и центрирования изображения - Google Patents

Способ и система для стабилизации и центрирования изображения Download PDF

Info

Publication number
RU2632215C2
RU2632215C2 RU2015142854A RU2015142854A RU2632215C2 RU 2632215 C2 RU2632215 C2 RU 2632215C2 RU 2015142854 A RU2015142854 A RU 2015142854A RU 2015142854 A RU2015142854 A RU 2015142854A RU 2632215 C2 RU2632215 C2 RU 2632215C2
Authority
RU
Russia
Prior art keywords
orientation
image
video
reoriented
aspect ratio
Prior art date
Application number
RU2015142854A
Other languages
English (en)
Other versions
RU2015142854A (ru
Inventor
Нейл ВОСС
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2015142854A publication Critical patent/RU2015142854A/ru
Application granted granted Critical
Publication of RU2632215C2 publication Critical patent/RU2632215C2/ru

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

Изобретение относится к устройствам отображения для мобильных устройств. Техническим результатом является динамическое поддержание горизонтального кадрирования видео. Предложено устройство динамического поддержания горизонтального кадрирования видео, которое позволяет пользователю свободно поворачивать устройство при съемке, при этом окончательный результат визуализируется с наложением на видоискатель или экран устройства во время съемки. Получающаяся запись последовательно корректируется для сохранения одной ориентации относительно стабильного горизонта. В устройстве оперативно отображается наложение поверх захваченного представления захваченного видео, при этом наложение обозначает модифицированное изображение в соответствии с упомянутой ориентацией. 3 н. и 7 з.п. ф-лы, 5 ил.

Description

По этой заявке испрашивается приоритет предварительной заявки США № 61/775324, поданной 8 марта 2013 года.
УРОВЕНЬ ТЕХНИКИ
Портативные электронные устройства становятся все более распространенными. Эти устройства, такие как мобильные телефоны, музыкальные плееры, камеры, планшеты и т.п., часто представляют собой сочетание устройств, благодаря чему создается избыточность, охватывающая многочисленные объекты. Например, современные мобильные телефоны с сенсорным экраном, такие как Applei Phone или телефон Samsung Galaxy на платформе Андроид, содержат видео- и фотокамеры, глобальную систему навигации и определения местоположения, интернет-браузер, средства обмена текстовой информацией и телефонии, видеоплеер и музыкальный плеер, и не только. Эти устройства часто поддерживают многочисленные сети, такие как Wi-Fi, проводная сеть и сотовая сеть, такая как 3G, для передачи и приема данных.
Качество и дополнительные характеристики портативной электроники постоянно улучшаются. Например, первые телефоны с фотокамерой содержали датчики с низкой разрешающей способностью вместе с объективами с фиксированной фокусировкой и не имели вспышки. В настоящее время многие мобильные телефоны включают в себя видео средства высокой четкости, средства редактирования и фильтрации, а также высокоразрешающие дисплеи. При наличии этих повышенных возможностей многие пользователи используют эти устройства в качестве основных фотографических устройств. Следовательно, имеется потребность в еще более улучшенных характеристиках и повышенном профессиональном уровне встроенных фотографических приборов.
Например, многие видеоматериалы регистрируются на мобильных устройствах таким способом, при котором пользователь может случайно повернуть мобильное устройство, в результате чего для зрителя наклоняется видео горизонт при вертикальной ориентации видео. В экстремальном случае пользователь может начать съемку камерой при вертикальной ориентации и перейти к горизонтальной ориентации. Результатом будет видео, которое при воспроизведении зрителю начнется в надлежащей ориентации, но закончится при повороте на 90°. Для исключения этой проблемы необходима постобработка, которая является нежелательным действием для пользователя, желающего прямо поделиться видео через социальную сеть.
Кроме того, регистрация видео мобильным устройством при вертикальной ориентации часто приводит к образованию видеоизображения, которое имеет большую высоту, чем ширину. Этот конечный результат не является оптимальным при использовании большей части дисплеев, таких как телевизионные экраны, которые обычно имеют большую ширину, а не высоту. Во многих случаях пользователи снимают видео, не обращая особого внимания на горизонтальную ориентацию, особенно при съемке культурно-просветительных мероприятий, репортажной съемке или при съемке других объектов, когда пользователь находится под впечатлением, которое при регистрации отвлекает внимание от устройства. Кроме того, мобильные телефоны большей частью рассчитаны на использование при вертикальной ориентации. Поэтому пользователь может начать использовать устройство при предполагаемой для использования ориентации, лишь позднее осознав, что видео следует снимать при горизонтальной ориентации.
Таким образом, желательно исключить эти проблемы с современными видеокамерами, встроенными в мобильные электронные устройства.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Способ и устройство для динамического поддержания горизонтального кадрирования видео. Система позволяет пользователю свободно поворачивать устройство при съемке, при этом окончательный результат будет визуализироваться с наложением на видоискатель или экран устройства во время съемки. Получающаяся запись последовательно корректируется для сохранения одной ориентации относительно стабильного горизонта. В системе и способе оперативно отображается наложение поверх захваченного представления захваченного видео, при этом наложение обозначает модифицированное изображение в соответствии с указанной ориентацией.
Согласно одному аспекту настоящее изобретение включает в себя способ сохранения данных изображения, содержащий этапы приема данных, представляющих первое изображение, имеющее первую ориентацию, приема данных, представляющих вторую ориентацию, обозначающую вертикальную ориентацию устройства относительно направления силы тяжести, переориентирования указанного первого изображения так, что указанная вторая ориентация становится вертикальной ориентацией указанного первого изображения, чтобы формировать переориентированное изображение, и сохранения указанного переориентированного изображения.
Согласно другому аспекту настоящее изобретение также включает в себя способ обработки видеопотока, содержащий этапы инициализации режима захвата видео, приема первых данных, представляющих видеопоток, отображения представления указанного видеопотока, приема вторых данных, представляющих форматное соотношение, приема третьих данных, представляющих угловое положение, и наложения графического представления указанного форматного соотношения и указанного углового положения поверх указанного представления указанного видеопотока.
Согласно еще одному аспекту настоящее изобретение также включает в себя устройство, содержащее датчик изображения для захвата данных изображения, имеющих первую ориентацию, датчик поворота для определения значения поворота, процессор для определения второй ориентации в ответ на указанное значение поворота и для переориентирования указанных данных изображения в ответ на указанную вторую ориентацию, чтобы формировать переориентированное изображение, и сохранение указанного переориентированного изображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты, признаки и преимущества настоящего изобретения будут описаны или станут очевидными из нижеследующего подробного описания предпочтительных вариантов осуществления, которые следует изучать в сочетании с сопровождающими чертежами.
На чертежах, на которых одинаковыми ссылочными позициями обозначены подобные элементы, представлены:
фиг. 1 - структурная схема мобильного электронного устройства согласно примеру варианта осуществления;
фиг. 2 - иллюстрация изображения в типовом мобильном устройстве, имеющем активный дисплей согласно настоящему изобретению;
фиг. 3 - пример процесса стабилизации и центрирования изображения согласно настоящему раскрытию;
фиг. 4 - приведенный для примера вид дисплея мобильного устройства, имеющего инициализацию 400 захвата согласно настоящему изобретению; и
фиг. 5 - пример процесса 500 инициирования захвата изображения или видео согласно настоящему раскрытию.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Примерами, изложенными в этой заявке, иллюстрируются предпочтительные варианты осуществления изобретения, и такие примеры не должны толковаться как ограничивающие каким-либо образом объем изобретения.
Что касается фиг. 1, то на ней показана структурная схема мобильного электронного устройства согласно примеру варианта осуществления. Хотя показанное мобильное электронное устройство представляет собой мобильный телефон 100, изобретение равным образом может быть реализовано во всевозможных устройствах, таких как музыкальные плееры, камеры, планшеты, глобальные системы навигации и определения местоположения и т.д. Мобильный телефон обычно включает в себя возможности передачи и приема телефонных разговоров и текстовых сообщений, сопряжения с Интернетом через сотовую сеть или локальную беспроводную сеть, получения изображений и видеоматериалов, воспроизведения звука и видеоконтента и выполнения приложений, таких как обработка текстов, программы или видеоигры. Многие мобильные телефоны включают в себя приемник глобальной системы место определения и также включают в себя сенсорную экранную панель как часть пользовательского интерфейса.
Мобильный телефон включает в себя основной процессор 150, который связан с каждым из других основных компонентов. Основной процессор (или процессоры) маршрутизирует информацию между различными компонентами, такими как сетевые интерфейсы, камера 140, сенсорный экран 170 и другие интерфейсы 180 ввода-вывода (I/O). Кроме того, основной процессор 150 обрабатывает аудио- и видеоконтент для воспроизведения непосредственно устройством или внешним устройством через аудио/видеоинтерфейс. Основной процессор 150 выполняет действия по управлению различными субустройствами, такими как камера 140, сенсорный экран 170 и интерфейс 130 универсальной последовательной шины (USB). Кроме того, основной процессор 150 выполняет действия по выполнению подпрограмм в мобильном телефоне, используемом для манипулирования данными подобно компьютеру. Например, основной процессор можно использовать для манипулирования файлами изображения после получения фотоснимков камерой 140. Эти манипулирования могут включать в себя обрезание, сжатие, регулирование цвета и яркости и т.п.
Интерфейс 110 сотовой сети управляется основным процессором 150 и используется для приема и передачи информации по сотовой беспроводной сети. Эту информацию можно кодировать в различных форматах, таких как множественный доступ с временным разделением каналов(TDMA), множественный доступ с кодовым разделением(CDMA) или мультиплексирование с ортогональным частотным разделением(OFDM). Информация передается и принимается от устройства через интерфейс 110 сотовой сети. Интерфейс может состоять из многочисленных антенных кодирующих устройств, демодуляторов и т.п., используемых для кодирования и декодирования информации в соответствующие форматы при передаче. Интерфейс 110 сотовой сети может использоваться для содействия передаче речи или текста или передаче и приема информации из Интернета. Эта информация может включать в себя видео, аудио и/или изображения.
Интерфейс 120 беспроводной сети или интерфейс сети Wi-Fi используется для передачи и приема информации по сети Wi-Fi. Эта информация может быть кодированной в различных форматах согласно различным стандартам Wi-Fi, таким как 802.11g, 802.11b, 802.11ac и т.п. Интерфейс может состоять из многочисленных антенных кодирующих устройств, демодуляторов и т.п., используемых для кодирования и декодирования информации в соответствующие форматы при передаче и декодирования информации при демодуляции. Интерфейс 120 сети Wi-Fi можно использовать для содействия передаче речи и текста или передаче и приеме информации из Интернета. Эта информация может включать в себя видео, аудио и/или изображения.
Интерфейс 130 универсальной последовательной шины (USB) используется для передачи и приема информации по проводной линии, обычно к компьютеру или другому устройству с поддержкой универсальной последовательной шины. Интерфейс 130 универсальной последовательной шины можно использовать для передачи и приема информации, соединения с Интернетом, передачи и приема речевых и текстовых вызовов. Кроме того, эту проводную линию можно использовать для соединения устройства с поддержкой универсальной последовательной шины с другой сетью при использовании интерфейса 110 сотовой сети мобильных устройств или интерфейса 120 сети Wi-Fi. Интерфейс 130 универсальной последовательной шины может использоваться основным процессором 150 для передачи конфигурационной информации к компьютеру и приема от компьютера.
Запоминающее устройство 160 или устройство хранения данных может быть связано с основным процессором 150. Запоминающее устройство 160 можно использовать для сохранения конкретной информации, относящейся к работе мобильного устройства и запрашиваемой основным процессором 150. Запоминающее устройство 160 можно использовать для сохранения аудио, видео, фотоснимков или других данных, сохраняемых и извлекаемых пользователем.
Интерфейс 180 ввода-вывода (I/O) включает в себя кнопки, громкоговоритель/микрофон для использования при телефонных вызовах, записи и воспроизведении звука или голосовом управлении активизацией. Мобильное устройство может включать в себя сенсорный экран 170, связанный с основным процессором 150 через контроллер сенсорного экрана. Сенсорный экран 170 может быть односенсорным или мультисенсорным экраном с использованием одного или нескольких емкостных и резистивных датчиков касания. Кроме того, смартфон может включать в себя дополнительные пользовательские элементы управления, такие как, но без ограничения ими, кнопка включения/выключения, кнопка активизации, регуляторы усиления и многокнопочная клавиатура или клавишная панель.
Теперь обратимся к фиг. 2, на которой показано изображение в типовом мобильном устройстве, имеющем активный дисплей 200 согласно настоящему изобретению. Применением типового мобильного устройства является выполнение действий, позволяющих пользователю осуществлять регистрацию при любом кадрировании и свободный поворот устройства при съемке, визуализацию окончательного результата с наложением на видоискатель устройства во время съемки и в конечном итоге, коррекцию ориентации в окончательном результате.
Согласно примеру варианта осуществления, когда пользователь начинает съемку, принимается во внимание текущая ориентация, а вектор силы тяжести на основе показаний датчиков устройства используется для совмещения с горизонтом. Для каждой возможной ориентации, такой как портретная 210, при которой высота экрана устройства и связанного с ним оптического датчика больше, чем ширина, или ландшафтная 250, при которой ширина экрана устройства и связанного с ним оптического датчика больше, чем высота, выбирается оптимальное заданное форматное соотношение. Вставной прямоугольник 225 вписывается в пределы всего датчика, что является наилучшим соответствием максимальным границам датчика, определяемым желательным оптимальным форматным соотношением при данной (текущей) ориентации. Границы датчика несколько раздвинуты для обеспечения свободного пространства при коррекции. Этот вставной прямоугольник 225 преобразуется для компенсации поворота 220, 230, 240 путем по существу поворачивания противоположно повороту самого устройства, отсчет которого берется от встроенного в устройство гироскопа. Преобразованный внутренний прямоугольник 225 оптимально вписывается в пределы максимальных имеющихся границ всего датчика за вычетом раздвигания. В зависимости от текущей преобладающей ориентации размеры преобразованного внутреннего прямоугольника 225 регулируются для интерполяции между двумя оптимальными форматными соотношениями соответственно степени поворота.
Например, если оптимальным форматным соотношением, выбранным для портретной ориентации, является квадратное (1:1), а оптимальным форматным соотношением, выбранным для ландшафтной ориентации, является широкий формат (16:9), вписанный прямоугольник будет оптимально интерполировать между 1:1 и 16:9 при повороте от одной ориентации к другой. Вписанный прямоугольник измеряется и затем преобразуется до соответствия оптимальному выходному размеру. Например, если оптимальный выходной размер составляет 4:3, а измеренный прямоугольник имеет отношение 1:1, измеренный прямоугольник должен заполняться в сторону (полное оптическое заполнение площади 1:1, при необходимости данными об обрезании) или сторона должна соответствовать (полное оптическое соответствие в пределах площади 1:1, затемнение любого неиспользуемого участка в случае леттербоксинга или пилларбоксинга). В конечном счете, результат заключается в ценном свойстве фиксированного соотношения ширины и высоты, при этом кадрирование контента регулируется на основании полученного динамически форматного соотношения во время коррекции. Так, например, видео в формате 16:9, состоящее из контента формата от 1:1 до 16:9, будет периодически изменяться между оптически заполненным 260 (во время блоков 16:9) и соответствующим пилларбоксингу 250 (во время блоков 1:1).
Имеются дополнительные уточнения, на основании которых полная совокупность всех перемещений учитывается и примешивается к выбору оптимального выходного форматного соотношения. Например, если пользователь регистрирует видео, которое является большей частью ландшафтным с меньшей частью портретного контента, выходной формат будет ландшафтным форматом изображения (пилларбоксинг портретных сегментов). Если пользователь регистрирует видео, которое является большей частью портретным, действует противоположное (видео будет в портретном формате и будет заполнять выходной прямоугольник оптически, при этом будет обрезаться любой ландшафтный контент, который попадает за пределы границ выходного прямоугольника).
Теперь обратимся к фиг. 3, на которой показан пример процесса 300 стабилизации и центрирования изображения согласно настоящему раскрытию. Система инициализируется в ответ на режим захвата инициированной камеры. Эта инициализация может быть произведена в соответствии с нажатием кнопки аппаратного обеспечения или программного обеспечения или в ответ на другой управляющий сигнал, формируемый в ответ на действие пользователя. После того как режим захвата устройства инициирован, датчик мобильного устройства выбирается 320 в ответ на выборки пользователя. Выборки пользователя могут быть сделаны заданием параметров на сенсорном экране устройства, через систему меню или в ответ на приведение в действие определенным образом кнопки. Например, при однократном нажатии кнопки может выбираться датчик фотоизображения, тогда как кнопка, которая удерживается непрерывно нажатой, может указывать на датчик видео. Кроме того, удержание кнопки в течение заданного времени, такого как 3 с, может указывать на выбор видео, и видео регистрация в мобильном устройстве будет продолжаться до тех пор, пока кнопка не будет приведена в действие второй раз.
После того как надлежащий датчик захвата выбран, система в этом случае запрашивает 330 измерение от датчика поворота. Датчиком поворота может быть гироскоп, акселерометр, датчик ориентации оси, светочувствительный датчик или аналогичный, который используется для определения показателя положения мобильного устройства по горизонтали и/или вертикали. Измерительный датчик может передавать периодические измерения к управляющему процессору, тем самым непрерывно показывая вертикальную и/или горизонтальную ориентацию мобильного устройства. Таким образом, когда устройство поворачивают, управляющий процессор может непрерывно обновлять дисплей и сохранять видео или изображение способом, при котором имеется непрерывный согласованный горизонт.
После того как датчик поворота выдал показатель вертикальной и/или горизонтальной ориентации мобильного устройства, мобильное устройство отображает 340 вставной прямоугольник на дисплее, показывая захваченную ориентацию видео или изображения. По мере поворота мобильного устройства системный процессор непрерывно синхронизирует 350 вставной прямоугольник с измерением поворота, принимаемым с датчика поворота. По желанию пользователя могут показываться предпочтительные конечные форматные соотношения видео или изображения, такие как 1:1, 9:16, 16:9 или любое форматное соотношение, выбираемое пользователем. Кроме того, в системе могут сохраняться выборки пользователя для различных форматных соотношений согласно ориентации мобильного устройства. Например, пользователь может указать форматное соотношение 1:1 для видео, регистрируемого в вертикальной ориентации, но форматное соотношение 16:9 для видео, регистрируемого в горизонтальной ориентации. В этом случае система может непрерывно или с определенным шагом изменять 360 масштаб видео по мере поворота мобильного устройства. Таким образом, видео может начинаться с ориентации 1:1, но масштаб может постепенно изменяться к концу до ориентации 16:9 в ответ на поворот пользователем от вертикальной к горизонтальной ориентации при съемке фильма. По желанию пользователь может указать, чтобы начальная или конечная ориентация определяла конечное форматное соотношение для видео.
Теперь обратимся к фиг. 4, на которой представлен дисплей показанного для примера мобильного устройства, имеющий инициализацию 400 захвата согласно настоящему изобретению. В показанном для примера мобильном устройстве представлен отображающий дисплей с сенсорным экраном для захвата изображений или видео. Согласно аспекту настоящего изобретения режим захвата показанного для примера устройства может инициироваться в ответ на некоторое количество действий. Любую из кнопок 410 технического обеспечения мобильного устройства можно нажимать для инициирования последовательности захватов. Или же кнопку 420 программного обеспечения можно активизировать с помощью сенсорного экрана для инициирования последовательности захватов. Кнопка 420 программного обеспечения может быть наложена на изображение 430, отображаемое на сенсорном экране. Изображение 430 действует как видоискатель, показывающий текущее изображение, захватываемое датчиком изображения. Вписанный прямоугольник 440, описанный ранее, также может быть наложен на изображение для показа формата захватываемого изображения или видео.
Теперь обратимся к фиг. 5, на которой показан пример процесса 500 инициирования захвата изображения или видео согласно настоящему раскрытию. После того как программное обеспечение построения изображения инициировано, система находится в ожидании признака инициирования захвата изображения. После приема 510 основным процессором признака захвата изображения устройство начинает сохранять 520 данные, передаваемые с датчика изображения. Кроме того, система инициирует таймер. Затем система продолжает захват данных с датчика изображения в виде видеоданных. В ответ на второй признак захвата, указывающий на то, что захват прекращен 530, система приостанавливает сохранение данных с датчика изображения и останавливает таймер.
Затем система сравнивает 540 значение времени таймера с заданным пороговым значением времени. Заданное пороговое значение времени может быть значением по умолчанию, задаваемым поставщиком программного обеспечения, например, таким как 1 с, или оно может быть конфигурируемым параметром, задаваемым пользователем. Если значение времени таймера меньше заданного порога, система определяет, что неподвижное изображение было желательным, и сохраняет 560 первый кадр захвата видео в виде неподвижного изображения в формате неподвижного изображения, таком как jpeg или аналогичном. По желанию пользователя система может выбрать другой кадр в качестве неподвижного изображения. Если значение времени таймера больше, чем заданный порог 540, система определяет, что захват видео был желательным. В таком случае захваченные данные сохраняются 550 системой в виде видео файла в формате видео файла, таком как mpeg или аналогичном. Затем система возвращается в режим инициализации, ожидая повторного инициирования режима захвата. Если мобильное устройство снабжено различными датчиками для захвата неподвижного изображения и захвата видео, по желанию пользователя система может сохранить неподвижное изображение с датчика неподвижного изображения и начать сохранение захваченных данных с датчика видеоизображения. Когда значение времени таймера сравнимо с заданным порогом времени, желательные данные сохраняются, тогда как нежелательные данные не сохраняются. Например, если значение времени таймера превышает пороговое значение времени, видеоданные сохраняются, а данные изображения отбрасываются.
Следует понимать, что элементы, показанные и рассмотренные выше, могут быть реализованы в различных формах аппаратного обеспечения, программного обеспечения или их сочетаний. Предпочтительно реализовывать эти элементы в виде сочетания аппаратного обеспечения и программного обеспечения на одном или нескольких соответствующим образом программируемых устройствах общего назначения, которые могут включать в себя процессор, запоминающее устройство и интерфейсы ввода-вывода. В настоящем описании показаны принципы настоящего раскрытия. Поэтому должно быть понятно, что специалисты в данной области техники могут разработать различные устройства, которые, хотя не описаны в явной форме или не показаны в этой заявке, охватывают принципы изобретения и включены в его объем. Все примеры и условные выражения, изложенные в этой заявке, предназначены для информативных целей, чтобы помочь читателю понять принципы изобретения и концепции, вносимые изобретателем для развития уровня техники, и такие конкретно изложенные примеры и условия не должны толковаться как ограничивающие. Кроме того, все формулировки в этой заявке с изложением принципов, аспектов и вариантов осуществления изобретения, а также конкретных примеров, предполагаются охватывающими структурные и функциональные эквиваленты. В дополнение к этому предполагается, что такие эквиваленты включают в себя известные в настоящее время эквиваленты, а также эквиваленты, которые будут разработаны в дальнейшем, то есть любые разрабатываемые элементы, которые выполняют такую же функцию вне зависимости от структуры. Таким образом, специалистам в данной области техники должно быть понятно, что на показанных структурных схемах отображены концептуальные представления иллюстративных схемных решений, реализующих принципы раскрытия. Аналогично этому, должно быть понятно, что любые блок-схемы последовательности действий, диаграммы потока, диаграммы переходов состояний, псевдокод и т.п. отображают различные процессы, которые могут быть по существу представлены на считываемых компьютером носителях и поэтому выполняться компьютером или процессором, независимо от того, что такой компьютер или процессор явно не показан.

Claims (31)

1. Способ обработки данных изображения, содержащий этапы, на которых:
принимают данные, представляющие первое изображение, имеющее первую ориентацию;
принимают данные, представляющие вторую ориентацию, обозначающую вертикальную ориентацию устройства относительно направления силы тяжести;
определяют ориентацию первого изображения, основываясь на векторе силы тяжести, связанном с горизонтом;
переориентируют первое изображение, основываясь на горизонтальной ориентации так, что вторая ориентация становится вертикальной ориентацией первого изображения, чтобы сформировать переориентированное изображение;
отображают первое изображение;
отображают индикатор, указывающий вторую ориентацию, наложенную на первое изображение способом, характеризующим переориентированное изображение; и
сохраняют переориентированное изображение.
2. Способ по п. 1, в котором индикатор является графическим представлением форматного соотношения и второй ориентации.
3. Способ по п. 2, в котором форматное соотношение изменяют в ответ на вторую ориентацию.
4. Способ по п. 1, в котором первое изображение представляет собой кадр видео.
5. Устройство для обработки данных изображения, содержащее:
датчик изображения для захвата данных изображения, имеющих первую ориентацию;
датчик поворота для определения значения поворота, требуемого для устройства, чтобы соответствовать вертикальной ориентации устройства относительно направления силы тяжести;
процессор для определения ориентации первого изображения, основываясь на векторе силы тяжести, связанном с горизонтом, зарегистрированном датчиком; второй ориентации в ответ на значение поворота и для переориентирования упомянутых данных изображения в ответ на вторую ориентацию, чтобы сформировать переориентированное изображение, основываясь на определенной горизонтальной ориентации;
дисплей для отображения упомянутого изображения и отображения индикатора, указывающего вторую ориентацию, причем индикатор наложен на упомянутое изображение способом, характеризующим переориентированное изображение; и
запоминающее устройство для хранения переориентированного изображения.
6. Устройство по п. 5, в котором индикатор является графическим представлением форматного соотношения и второй ориентации.
7. Устройство по п. 5, в котором форматное соотношение изменяется в ответ на вторую ориентацию.
8. Устройство по п. 5, в котором упомянутое изображение представляет собой кадр видео.
9. Способ обработки видеопотока, содержащий этапы, на которых:
инициализируют режим захвата видео;
принимают первые данные, представляющие видеопоток, имеющий множество кадров видео, содержащих данные изображения;
отображают представление видеопотока;
принимают вторые данные, представляющие форматное соотношение для отображенного представления видеопотока;
определяют ориентацию и вектор силы тяжести, основываясь на определении ориентации горизонта;
принимают третьи данные, представляющие значения поворота, требуемого для устройства, чтобы соответствовать вертикальной ориентации устройства относительно направления силы тяжести;
переориентируют кадры видео в соответствии со значениями поворота;
отображают графическое представление упомянутого форматного соотношения и значений поворота, наложенное на представление видеопотока способом, характеризующим видеопоток с переориентированными кадрами видео; и
сохраняют видеопоток с переориентированными кадрами видео.
10. Способ по п. 9, в котором форматное соотношение изменяют в ответ на значения поворота.
RU2015142854A 2013-03-08 2013-06-19 Способ и система для стабилизации и центрирования изображения RU2632215C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361775324P 2013-03-08 2013-03-08
US61/775,324 2013-03-08
PCT/US2013/046469 WO2014137368A1 (en) 2013-03-08 2013-06-19 Method and system for stabilization and reframing

Publications (2)

Publication Number Publication Date
RU2015142854A RU2015142854A (ru) 2017-04-13
RU2632215C2 true RU2632215C2 (ru) 2017-10-03

Family

ID=48793524

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015142854A RU2632215C2 (ru) 2013-03-08 2013-06-19 Способ и система для стабилизации и центрирования изображения

Country Status (9)

Country Link
US (1) US20160006930A1 (ru)
EP (1) EP2965503A1 (ru)
JP (1) JP2016515220A (ru)
KR (1) KR20150128689A (ru)
CN (1) CN105144691A (ru)
CA (1) CA2903197A1 (ru)
MX (1) MX2015011967A (ru)
RU (1) RU2632215C2 (ru)
WO (1) WO2014137368A1 (ru)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762848B2 (en) * 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
WO2018093372A1 (en) * 2016-11-17 2018-05-24 Google Llc Media rendering with orientation metadata
WO2019210139A1 (en) 2018-04-26 2019-10-31 Mustapha Sulaiman Method and apparatus for creating and displaying visual media on a device
CN110072063B (zh) * 2019-06-03 2021-02-19 联想(北京)有限公司 拍照方法、拍照装置和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030152291A1 (en) * 2001-06-30 2003-08-14 Cheatle Stephen Philip Tilt correction of electronic images
JP2005328970A (ja) * 2004-05-19 2005-12-02 Olympus Corp 内視鏡装置
RU2288512C2 (ru) * 2001-05-16 2006-11-27 Миориго С.а.р.л. Способ и устройство для просмотра информации на дисплее
US20070047943A1 (en) * 2005-09-01 2007-03-01 Samsung Electronics Co., Ltd. Image processing method and apparatus and information storage medium storing image information
US20070268394A1 (en) * 2006-05-15 2007-11-22 Osamu Nonaka Camera, image output apparatus, image output method, image recording method, program, and recording medium
US20110052163A1 (en) * 2009-08-25 2011-03-03 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Method and system for detecting horizontal orientation of camera device
US20110193982A1 (en) * 2010-02-05 2011-08-11 Samsung Electronics Co., Ltd. Method and apparatus for processing and reproducing camera video
US20110228112A1 (en) * 2010-03-22 2011-09-22 Microsoft Corporation Using accelerometer information for determining orientation of pictures and video images
WO2012039311A1 (ja) * 2010-09-22 2012-03-29 Necカシオモバイルコミュニケーションズ株式会社 撮影装置、画像転送方法、及びプログラム
EP2518993A1 (en) * 2009-12-22 2012-10-31 Sony Corporation Image capturing device, azimuth information processing method, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077211A1 (en) * 2004-09-29 2006-04-13 Mengyao Zhou Embedded device with image rotation
CN101061703A (zh) * 2004-09-29 2007-10-24 高通股份有限公司 带图像旋转的嵌入式装置
KR101129382B1 (ko) * 2004-11-16 2012-03-26 삼성전자주식회사 이미지 회전 장치 및 방법
JP4371049B2 (ja) * 2004-12-22 2009-11-25 ソニー株式会社 撮像装置、およびガイドフレーム表示制御方法、並びにコンピュータ・プログラム
WO2007063680A1 (ja) * 2005-12-01 2007-06-07 Matsushita Electric Industrial Co., Ltd. 撮像装置、表示制御装置、表示装置および画像表示システム
JP2007201539A (ja) * 2006-01-23 2007-08-09 Pentax Corp デジタルカメラ
JP4621152B2 (ja) * 2006-02-16 2011-01-26 キヤノン株式会社 撮像装置、その制御方法、およびプログラム
US7706579B2 (en) * 2006-12-21 2010-04-27 Sony Ericsson Communications Ab Image orientation for display
WO2009028703A1 (ja) * 2007-08-27 2009-03-05 Sony Corporation 撮像装置及び撮像方法
US8749647B2 (en) * 2009-04-20 2014-06-10 Kyocera Corporation Image capturing device and image capturing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2288512C2 (ru) * 2001-05-16 2006-11-27 Миориго С.а.р.л. Способ и устройство для просмотра информации на дисплее
US20030152291A1 (en) * 2001-06-30 2003-08-14 Cheatle Stephen Philip Tilt correction of electronic images
JP2005328970A (ja) * 2004-05-19 2005-12-02 Olympus Corp 内視鏡装置
US20070047943A1 (en) * 2005-09-01 2007-03-01 Samsung Electronics Co., Ltd. Image processing method and apparatus and information storage medium storing image information
US20070268394A1 (en) * 2006-05-15 2007-11-22 Osamu Nonaka Camera, image output apparatus, image output method, image recording method, program, and recording medium
US20110052163A1 (en) * 2009-08-25 2011-03-03 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Method and system for detecting horizontal orientation of camera device
EP2518993A1 (en) * 2009-12-22 2012-10-31 Sony Corporation Image capturing device, azimuth information processing method, and program
US20110193982A1 (en) * 2010-02-05 2011-08-11 Samsung Electronics Co., Ltd. Method and apparatus for processing and reproducing camera video
US20110228112A1 (en) * 2010-03-22 2011-09-22 Microsoft Corporation Using accelerometer information for determining orientation of pictures and video images
WO2012039311A1 (ja) * 2010-09-22 2012-03-29 Necカシオモバイルコミュニケーションズ株式会社 撮影装置、画像転送方法、及びプログラム

Also Published As

Publication number Publication date
CN105144691A (zh) 2015-12-09
KR20150128689A (ko) 2015-11-18
WO2014137368A1 (en) 2014-09-12
RU2015142854A (ru) 2017-04-13
EP2965503A1 (en) 2016-01-13
JP2016515220A (ja) 2016-05-26
CA2903197A1 (en) 2014-09-12
MX2015011967A (es) 2016-04-15
US20160006930A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
EP3149624B1 (en) Photo-video-camera with dynamic orientation lock and aspect ratio.
US9942464B2 (en) Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
US20160227285A1 (en) Browsing videos by searching multiple user comments and overlaying those into the content
JP2018160280A (ja) 仮想ボタン及びジェスチャによるカメラ制御のための方法及び装置
EP3149617B1 (en) Method and camera for combining still- and moving- images into a video.
JP2016517646A (ja) 自動ビデオセグメント化のための方法および装置
RU2632215C2 (ru) Способ и система для стабилизации и центрирования изображения
JP6643008B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
US20150348587A1 (en) Method and apparatus for weighted media content reduction
WO2018184408A1 (zh) 视频拍摄方法及装置
KR20060058565A (ko) 카메라 기능을 구비한 휴대용 단말기의 영상촬영방법
WO2017187573A1 (ja) 撮像装置

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20200213

MM4A The patent is invalid due to non-payment of fees

Effective date: 20200620