RU2554069C2 - Смоделированное видео с дополнительными точками обзора и повышенной разрешающей способностью для камер наблюдения за движением транспорта - Google Patents

Abstract

Изобретение относится к формированию смоделированного видеоизображения. Техническим результатом является получение смоделированных видеоизображений движения транспортных средств, имеющих высокую частоту кадров, высокую разрешающую способность и многочисленные виды, путем обработки видео от однонаправленных камер, имеющих низкую частоту кадров и низкую разрешающую способность. Предложено устанавливать множество камер в разных направлениях в местоположении, чтобы записать для сохранения изображения транспортных средств с множества углов, которые индексируются; принимают исходное видео, вводимое от однонаправленной камеры; формируют поток фрагментов видео транспортных средств; сопоставляют транспортные средства во фрагментах видео транспортных средств с соответствующими cохраненными изображениями транспортных средств с использованием «скользящего окна» с нормированной взаимной корреляцией; извлекают изображения под другим углом, соответствующие сохраненным изображениям транспортных средств; объединяют извлеченные изображения в смоделированное видео, отображающее транспортные средства, движущиеся в другом направлении; формируют смоделированное видео с другой частотой кадров, чем частота кадров вводимого исходного видео, для снижения нерезкости и тусклости вводимого исходного видео и визуализируют смоделированное видео. 3 н. и 11 з.п. ф-лы, 7 ил.

Description

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

С возросшим развертыванием и использованием сетей передачи данных подачи видеосигналов для различных целей являются обычным аспектом ежедневной практики многих людей. Одно из применений подач видеосигналов включает в себя камеры наблюдения за движением транспорта. Во многих городах и других местах, видео от камер наблюдения за движением является доступным отдельным лицам для просмотра по сети Интернет или другому сетевому средству. Лица, совершающие ежедневные поездки, могут видеть условия движения, проверив камеры наблюдения за движением перед выездом из дома или с работы, и соответственно планировать свои маршруты. Поскольку устанавливаемые в транспортном средстве вычислительные системы становятся все более распространенными, даже водители (когда условия являются безопасными) могут проверять движение транспорта заранее посредством камер и изменять свои маршруты в случае необходимости.

Типовые камеры наблюдения за движением располагаются вдоль дороги обращенными в одном направлении. Кроме того, большинство камер наблюдения за движением являются камерами с низкой разрешающей способностью, которые по практическим причинам не могут показывать подробности заднего плана или автомобили вдали от камеры. Таким образом, информация, которую наблюдатель может получить от просмотра подач видеосигналов от камеры наблюдения за движением, является ограниченной. Например, автомобили вдали являются расплывчатыми, можно видеть только автомобили, приближающиеся к камере или удаляющиеся от камеры, но не вместе для одной и той же полосы движения, и т.д.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Эта сущность изобретения предоставлена, чтобы в упрощенной форме представить подборку понятий, которые дополнительно описаны ниже в Подробном описании. Подразумевается, что эта сущность изобретения не предназначена идентифицировать только ключевые признаки или существенные признаки заявляемого объекта изобретения, и не предназначена в качестве средства определения объема заявляемого объекта изобретения.

Варианты осуществления касаются обеспечения смоделированных видеоизображений движения транспорта, имеющих высокую частоту кадров, высокую разрешающую способность и многочисленные виды, путем использования видео, вводимого от однонаправленных камер наблюдения за движением, имеющих низкую частоту кадров и низкую разрешающую способность. Согласно некоторым вариантам осуществления, принимаемое видео может быть объединено с фрагментами из базы данных предварительно записанных изображений и/или смещенного по времени видео, чтобы создать видео более высокого качества, а также многочисленные точки обзора для одной и той же камеры. Согласно другим вариантам осуществления, повышение разрешающей способности видео и создание многочисленных точек обзора могут применяться к другим типам камер, таким как камеры видеонаблюдения, камеры текущего контроля и аналогичным.

Эти и другие признаки и преимущества будут очевидными при прочтении последующего подробного описания и просмотре связанных с ним чертежей. Следует понимать, что и предшествующее общее описание, и последующее подробное описание являются пояснительными и не ограничивают аспекты, как заявлено в формуле изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - концептуальная схема, иллюстрирующая дорогу с камерой наблюдения за движением, где может использоваться повышение разрешающей способности видео и создание многочисленных точек обзора согласно вариантам осуществления.

Фиг. 2 - иллюстрация другой дороги с повышенной разрешающей способностью и многочисленными точками обзора для камеры наблюдения за движением согласно вариантам осуществления.

Фиг. 3 - иллюстрация блок-схемы системы для создания смоделированного видео движения транспорта с многочисленными точками обзора.

Фиг. 4 - иллюстрация блок-схемы системы для создания смоделированного видео движения транспорта с многочисленными точками обзора.

Фиг. 5 - сетевая среда, где может быть реализована система согласно вариантам осуществления.

Фиг. 6 - блок-схема примерной вычислительной операционной среды, где могут быть реализованы варианты осуществления; и

Фиг. 7 - иллюстрация логической схемы последовательности операций для процесса обеспечения видео с повышенной разрешающей способностью и многочисленными точками обзора на основании ввода от имеющих низкую разрешающую способность однонаправленных камер наблюдения за движением согласно вариантам осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Как кратко описано выше, смоделированные с высоким разрешением и многочисленными видами видеоизображения движения транспорта могут быть созданы на основании подач видеосигналов от имеющих низкую разрешающую способность однонаправленных камер наблюдения за движением. Принимаемое видео может быть объединено с фрагментами из базы данных предварительно записанных изображений и/или смещенного по времени видео, чтобы создать видео более высокого качества, а также многочисленные точки обзора для одной и той же камеры. В последующем подробном описании делаются ссылки на сопроводительные чертежи, которые составляют его часть, и на которых показаны в качестве иллюстраций конкретные варианты осуществления или примеры. Эти аспекты могут комбинироваться, другие аспекты могут использоваться, и могут выполняться структурные изменения без выхода за рамки сущности и объема настоящего раскрытия. Следовательно, последующее подробное описание не должно рассматриваться в ограничительном смысле, и объем настоящего изобретения определяется согласно пунктам прилагаемой формулы изобретения и их эквивалентам.

Тогда как варианты осуществления будут описываться в общем контексте программных модулей, которые исполняются вместе с прикладной программой, которая работает в операционной системе на персональном компьютере, специалисты в данной области техники признают, что аспекты также могут быть реализованы в комбинации с другими программными модулями.

В целом, программные модули включают в себя подпрограммы, программы, компоненты, структуры данных и другие типы структур, которые выполняют особые задачи или реализуют особые абстрактные типы данных. Кроме того, специалисты в данной области техники оценят, что варианты осуществления могут осуществляться на практике с помощью других конфигураций вычислительных систем, включая переносные устройства, многопроцессорные системы, микропроцессорную или программируемую бытовую электронику, миникомпьютеры, большие универсальные ЭВМ и аналогичные вычислительные устройства. Варианты осуществления могут также осуществляться на практике в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через сети связи. В распределенной вычислительной среде программные модули могут находиться и в локальных, и в удаленных устройствах хранения данных.

Варианты осуществления могут быть реализованы в виде реализованного на компьютере процесса (способа), вычислительной системы, или в виде изделия, такого как компьютерный программный продукт или читаемый компьютером носитель. Компьютерный программный продукт может быть носителем данных компьютера, читаемым вычислительной системой, и кодированием компьютерной программы, которая содержит команды для побуждения выполнения компьютером или вычислительной системой примерного процесса(ов). Читаемый компьютером носитель, например, может быть реализован с помощью одной или нескольких единиц из энергозависимой памяти компьютера, энергонезависимой памяти, накопителя на жестком диске, флэш-накопителя, накопителя на гибком диске или компакт-диска и аналогичного носителя.

По всему этому описанию термин "платформа" может быть комбинацией программных и аппаратных компонентов для управления операциями записи, обработки и передачи видео. Примеры платформ включают в себя, но не ограничиваясь этим, размещенную на сервере услугу, исполняемую множеством серверов, приложение, исполняемое на одиночном сервере, и аналогичные системы. Термин "сервер" обобщенно относится к вычислительному устройству, исполняющему одну или несколько программ системы программного обеспечения обычно в сетевой среде. Однако сервер также может быть реализован в виде виртуального сервера (программ системы программного обеспечения), исполняемого на одном или нескольких вычислительных устройствах, рассматриваемых в качестве сервера в сети.

Термины "низкая разрешающая способность" и "высокая или повышенная разрешающая способность" используются, чтобы различать качество записанного видео для систем с обычной камерой и смоделированных видеоизображений, сформированных согласно вариантам осуществления в этом документе. В качестве конкретного примера, разрешающие способности видео могут находиться в диапазоне между приблизительно от 480*640 пикселов и до 4800*6400 пикселов, и обычные камеры наблюдения за движением могут обеспечивать разрешающую способность в направлении к нижнему краю диапазона, тогда как смоделированное видео согласно вариантам осуществления может повышать разрешающую способность в направлении к более высокому краю диапазона. Однако могут использоваться другие разрешающие способности без выхода за рамки сущности и объема раскрытого объекта изобретения.

Фиг. 1 включает в себя концептуальную схему 100, иллюстрирующую дорогу с камерой наблюдения за движением, где могут использоваться повышение разрешающей способности видео и создание многочисленных точек обзора согласно вариантам осуществления. Как показано на схеме 100, камера 110 наблюдения за движением транспорта в фиксированной позиции на дороге 102 является однонаправленной камерой, осуществляющей запись видео автомобилей 106 и 112, приближающихся к камере. Автомобиль 108 движущийся от камеры, более не находится в точке обзора камеры. Действительно, некоторые автомобили, прошедшие мимо камеры, можно не видеть вовсе. Кроме того, общеизвестные камеры наблюдения за движением транспорта являются обычно камерами с низкой разрешающей способностью (обычно, чтобы уменьшить количество видеоданных, подлежащих транспортированию по сети, соединяющей камеру с системой обработки видео). Следовательно, подробности автомобиля 112 могут быть записаны, если он находится вблизи камеры, но автомобиль 106, вероятно, будет виден расплывчатым в записанном видео.

Некоторые местоположения, такие как перекресток 104, могут быть оборудованы несколькими камерами. Однако число и охват камер на прямых участках дороги обычно являются ограниченными. Даже на перекрестках с несколькими камерами камеры не охватывают все углы и еще подвержены ухудшению качества изображения с расстоянием, обусловленному разрешающими способностями камер.

Система согласно вариантам осуществления сконфигурирована с возможностью создавать путем синтеза представления автомобилей с высокой разрешающей способностью в подаче сигнала движения транспорта и/или просматривать эти автомобили с разных точек обзора. Первое может выполняться путем построения аналогий изображения с помощью пикселов в разные моменты времени в подаче сигнала камеры, и последнее может выполняться посредством базы данных предварительных записей совокупности изображений. Для базы данных может быть собрана совокупность изображений, содержащая передний, задний и/или другие виды автомобилей. Изображения могут быть получены путем отслеживания автомобилей по множеству камер наблюдения за движением транспорта, приема изображений из баз данных изготовителей и аналогичными способами. Входным видеосигналом камеры является не одиночное изображение, а серия изображений, записанных с достаточно высокой частотой, чтобы обозревать один и тот же автомобиль в многочисленных примерах вдоль дороги (например, с заранее заданными диапазонами расстояний, подобными удаленному, среднему и близкому). Кроме того, практика просмотра не требует режима реального времени. Наблюдатель может обозревать видео, которое является буферизованным или задержанным (например, на несколько секунд). Задержка может использоваться, чтобы обрабатывать видео для воспроизведения (например, заимствовать пикселы из "будущих" кадров).

Для отображения входного сигнала от камеры наблюдения за движением транспорта с другой точки обзора могут использоваться изображения различных автомобилей под разными углами, чтобы создать смоделированные изображения автомобилей для разных точек обзора. Данные могут отображаться путем наложения на карту в ортографической проекции, или сферы обзора человека, смотря на дорогу с разных точек обзора. При проецировании видео движения транспорта на геометрию может замечаться ухудшение качества видео для автомобилей (представленное на схеме 100 расплывчатым изображением автомобиля 106), поскольку наблюдатель осуществляет обзор дальше от камеры. Однако каждый автомобиль, который отображается далеко от камеры, показывался с большими подробностями, когда был ближе к камере (для автомобилей, движущихся от камеры), или через несколько секунд, когда станет ближе к камере (для автомобилей, приближающихся к камере).

На Фиг. 2 другая дорога иллюстрируется с повышенной разрешающей способностью и многочисленными точками обзора для камеры наблюдения за движением транспорта согласно вариантам осуществления. Чтобы воспроизвести расплывчатые (удаленные) автомобили с разрешающей способностью выше разрешающей способности записанного видео, может использоваться имеющее более высокую разрешающую способность изображение тех же автомобилей, записанное, когда они были ближе, или которое будет записано, когда они приблизятся к камере, согласно некоторым вариантам осуществления. Другими словами, пикселы могут быть "заимствованы" из ближнего изображения автомобиля и перенесены в удаленное изображение автомобиля либо назад во времени, либо в будущее. Для взгляда "в будущее", видео может быть задержано на заранее заданный промежуток времени, чтобы заимствовать пикселы ближнего автомобиля для моделирования более высокой разрешающей способности для удаленного автомобиля.

На схеме 200 повышенная разрешающая способность для автомобилей на расстоянии представлена четкими изображениями приближающихся автомобилей 222, 224 и 226. Автомобиль 226 уже находится вблизи камеры 210 и может не требовать улучшения своего изображения. Автомобиль 224 находится на среднем расстоянии от камеры и может требоваться, чтобы его изображение было немного улучшено путем использования пикселов из смещенных во времени (будущих) кадров. Автомобиль 222 находится на далеком расстоянии. Его изображение может нуждаться в улучшении больше такового для автомобиля 224. Пикселы могут выбираться из одного или нескольких кадров автомобиля(ей), когда они находятся вблизи камеры, затем объединяться с фактическим изображением, чтобы создать изображение удаленного автомобиля с более высокой разрешающей способностью.

Как описано выше, другим ограничением при обычных камерах наблюдения за движением транспорта является то, что они фиксированы в одной позиции и одном направлении. Это делает невозможным наблюдение движения транспорта с другого направления или другой точки обзора посредством одиночной камеры. Система согласно другим вариантам осуществления использует преимущество симметрии движения транспорта, чтобы моделировать представление движения транспорта в противоположном направлении. Другими словами, движение транспорта, наблюдаемое в одной точке, обязательно движется в обратном направлении с противоположной точки обзора. Проблема воспроизведения такого представления включает в себя скрытые части автомобилей, которые являются видимыми с противоположной точки обзора (например, задняя часть автомобиля 228).

Чтобы воспроизвести смоделированные изображения автомобилей в направлениях, отличных от направления камеры, могут использоваться модели автомобилей, чтобы воспроизвести их вместо видео. Хотя этот подход может иметь преимущества, такие как воспроизведение автомобилей вне видимого усеченного и разнонаправленного наблюдения, воспроизводимое видео неизбежно выглядит искусственным. Чтобы формировать фотореалистичное, основанное на изображении воспроизведение смоделированного видео движения транспорта, могут использоваться другие углы для автомобилей на основании реальных изображений из базы данных накопленных изображений. Например, тип и цвет приближающегося автомобиля и другие виды того же автомобиля (например, задний) могут быть определены извлеченными из базы данных накопленной совокупности изображений. Извлеченное изображение(я) затем можно использовать для объединения вместе потока смоделированного видео в противоположном направлении, используя скорость приближающегося автомобиля в качестве опорного значения.

На схеме 200 формирование смоделированного видео в направлениях, отличных от направления камеры, представлено виртуальным поворотом 230 камеры 210 наблюдения за движением транспорта. Действительно, виды автомобилей под разными углами (например, передний, боковой, задний) могут использоваться, чтобы формировать множественные смоделированные видеоизображения, и пользователям может быть дана возможность "виртуально" повернуть камеру, осуществляющую обзор потока транспорта с различных углов. Камера 210 может быть любым устройством записи видео, подключенным к системе обработки посредством проводного или беспроводного (например, радиочастотного "РЧ", оптического или подобного) средства связи.

На Фиг. 3 иллюстрируется блок-схема 300 системы для создания смоделированного видео движения транспорта с повышенной разрешающей способностью. Как описано выше, один аспект формирования смоделированного видео из подачи видеосигналов от камеры наблюдения за движением транспорта включает в себя повышение разрешающей способности видео так, что обзор автомобилей на различных расстояниях может осуществляться с одинаковым качеством. В системе согласно вариантам осуществления исходное видео 332 движения транспорта может использоваться для формирования потока фрагментов 334 видео транспортного средства. Предполагая, что автомобили в момент времени t будут удаленными в изображении в буфере кадров, автомобили в кадре t+n могут сопоставляться с автомобилями в момент времени t. Может использоваться «скользящее окно» с нормированной взаимной корреляцией или подобный подход, чтобы выполнять сопоставление на этапе 336.

Фрагменты затем могут быть объединены вместе (338), чтобы сформировать непрерывное видео 340 движения транспорта, в котором удаленные расплывчатые автомобили во время t заменены фрагментами ближних автомобилей со временем t+n. Видео затем может быть воспроизведено посредством приложения воспроизведения в клиентской машине или посредством веб-услуги.

Согласно другим вариантам осуществления, может быть снижен шумовой сигнал, связанный с удаленными автомобилями, их контрастность увеличена и/или повышена резкость. Например, в туманный день удаленные автомобили могут выглядеть и расплывчатыми, и тусклыми. И нерезкость, и тусклость происходят вследствие рассеяния света в атмосфере в направлении обзора и рассеяния цвета автомобиля в тумане. Путем использования близкого изображения автомобилей обзор этих удаленных автомобилей может быть улучшен путем снижения нерезкости и тусклости. Кроме того, сформированному видео не требуется иметь такую же разрешающую способность по времени (например, частоту кадров), как у входного видео. "Промежуточные" кадры также могут создаваться, используя подобный процесс сопоставления.

На Фиг. 4 иллюстрируется блок-схема системы для создания смоделированного видео движения транспорта с многочисленными точками обзора. Другой аспект формирования смоделированного видео из подачи видеосигналов от камеры наблюдения за движением транспорта включает в себя формирование многочисленных точек обзора от однонаправленной камеры. Система для формирования многочисленных точек обзора начинает, подобно системе, описанной на Фиг. 3, с исходного видео 442 движения транспорта, из которого формируется поток фрагментов 444 видео транспортного средства. В исходном видео 442 движения транспорта могут быть видимыми только передние части (встречное движение) или задние части (транспортные средства, движущиеся от камеры) транспортных средств. Недостающие изображения для записанных транспортных средств (например, задний, боковой вид и т.д. автомобиля, передняя часть которого является видимой) могут быть извлечены из базы данных сходных фрагментов видео 452 в процессе 446 сопоставления.

База данных сходных фрагментов видео 452 может содержать предварительно записанные и/или сформированные путем синтеза изображения транспортных средств различных марок, моделей, цветов, и т.д. Сохраненные изображения могут быть получены исходя из записанных камерой наблюдения за движением транспорта видеоизображений, источников данных изготовителя, источников данных посредника-поставщика и любого другого источника данных изображений транспортных средств. Например, множество камер, обращенных в различные направления, может устанавливаться в позиции на заранее заданный промежуток времени, чтобы записать изображения автомобилей с разных углов, и эти изображения индексируются и сохраняются, так что они могут использоваться далее вместе с другими камерами.

Процесс 446 сопоставления может сначала сопоставлять записанный вид автомобиля (например, передний) с изображением в базе данных, затем находить соответствующее изображение вида сзади (и другие). В процессе 448 объединения фрагменты выбранных изображений могут объединяться в видео с использованием дополнительной информации, такой как изображения дороги и/или заднего плана, траектории (полосы движения) автомобилей, скорость автомобилей и даже аудио (переменное звуковое сопровождение согласно доплеровскому смещению может обеспечивать пользователям еще более реалистичное восприятие). Аудио может быть записанным и/или сформированным аудио. Смоделированное видео 450, являющееся результатом процесса объединения, может быть воспроизведено, как описано выше.

Другие процессы, описанные на чертежах на Фиг. 3 и 4, такие как формирование потока фрагментов видео, сопоставление фрагментов видео и объединение, могут выполняться в отдельных аппаратных модулях, программных модулях или комбинациях из аппаратного и программного обеспечения. Кроме того, такие модули могут выполнять два или большее число процессов интегрированным образом.

Примерные системы на чертежах на Фиг. 3 и 4 были описаны с помощью компонентов, процессов и способов формирования смоделированного видео. Варианты осуществления не ограничиваются системами согласно этим примерным конфигурациям. Платформа, обеспечивающая смоделированное видео движения транспорта с многочисленными точками обзора и повышенной разрешающей способностью может быть реализована в виде конфигураций, применяющих меньшее число компонентов или дополнительные компоненты и выполняющих другие задачи. Кроме того, варианты осуществления не ограничиваются одними только камерами наблюдения за движением транспорта. Формирование смоделированного видео можно реализовывать в различных типах систем камер текущего контроля, систем видеонаблюдения и аналогичных, используя принципы, описанные в документе. Кроме того, аспекты видео согласно вариантам осуществления могут быть объединены с другими эффектами, такими как аудио, цвет и т.д., чтобы повысить восприятие пользователя.

На Фиг. 5 показана примерная сетевая среда, где могут быть реализованы варианты осуществления. Платформа для создания смоделированного видео с повышенной разрешающей способностью и многочисленными точками обзора может быть реализована с помощью программного обеспечения, исполняемого одним или более серверами 514, такими как размещенная на сервере услуга. Платформа может осуществлять связь с клиентскими приложениями на отдельных вычислительных устройствах, таких как смартфон 513, переносной компьютер 512 или настольный компьютер 511 («клиентские устройства»), через сеть(и) 510.

Клиентские приложения, исполняемые на любом из клиентских устройств 511-513, могут взаимодействовать с веб-приложением через приложение просмотра веб-страниц на серверах 514 или на отдельном сервере 516. Веб-приложение может принимать видео низкой разрешающей способности от однонаправленных камер 520 и создавать видео высокой разрешающей способности, с многочисленными точками обзора, как описано ранее. Альтернативно, формирование смоделированного видео может выполняться приложением обработки изображений, отдельным от веб-приложения, и веб-приложение может воспроизвести смоделированное видео для пользователей на их клиентских устройствах. Соответствующие данные, такие как предварительно записанные изображения транспортных средств или смещенное по времени видео, могут храниться в хранилище(ах) 519 данных и/или извлекаться из такового (таковых) непосредственно или через посредство сервера 518 базы данных.

Сеть(и) 510 может содержать любую топологию серверов, клиентов, поставщиков услуг сети Интернет и сред передачи. Система согласно вариантам осуществления может иметь статическую или динамическую топологию. Сеть(и) 510 может включать в себя защищенную сеть, такую как сеть предприятия, незащищенную сеть, такую как беспроводная открытая сеть, или сеть Интернет. Сеть(и) 510 может также координировать связь по другим сетям, таким как телефонная коммутируемая сеть общего пользования (PSTN) или сети сотовой связи. Кроме того, сеть(и) 510 может включать в себя беспроводные сети малой дальности, такие как по технологии Bluetooth или подобные. Сеть(и) 510 обеспечивает связь между узлами, описанными в документе. В качестве примера, а не ограничения, сеть(и) 510 может включать в себя беспроводные среды передачи, такие как акустические, РЧ, инфракрасного излучения и другие беспроводные среды.

Многие другие конфигурации вычислительных устройств, приложений, источников данных и систем распределения данных могут использоваться для реализации платформы, обеспечивающей смоделированное видео с высокой разрешающей способностью и многочисленными видами на основании ввода от однонаправленной камеры низкой разрешающей способности. Кроме того, сетевые среды, описанные на Фиг. 5, приведены только в целях иллюстрации. Варианты осуществления не ограничиваются примерными применениями, модулями или процессами.

Фиг. 6 и связанное с ней описание предназначены для обеспечения краткого, общего описания подходящей вычислительной среды, в которой могут быть реализованы варианты осуществления. Со ссылкой на Фиг. 6 иллюстрируется блок-схема примерной вычислительной операционной среды для применения согласно вариантам осуществления, такой как вычислительное устройство 600. В базовой конфигурации вычислительное устройство 600 может быть сервером, исполняющим приложение обработки видео, способное формировать смоделированное видео с высокой разрешающей способностью и многочисленными точками обзора согласно вариантам осуществления, и включать в себя, по меньшей мере, один блок 602 обработки данных и системную память 604. Вычислительное устройство 600 может также включать в себя множество блоков обработки данных, которые действуют совместно в ходе исполнения программ. В зависимости от точной конфигурации и типа вычислительного устройства, системная память 604 может быть энергозависимой (такой как оперативное запоминающее устройство (ОЗУ)), энергонезависимой (такой как постоянное запоминающее устройство (ПЗУ), флэш-память, и т.д.) или некоторой комбинацией обеих. Системная память 604 обычно включает в себя операционную систему 605, подходящую для управления работой платформы, такую как операционные системы WINDOWS® корпорации MICROSOFT, Редмонд, штат Вашингтон. Системная память 604 также может включать в себя одно или несколько программных приложений, таких как программные модули 606, приложение 622 работы с видео и модуль 624 объединения.

Приложение 622 работы с видео может принимать подачу видеосигналов от имеющей низкую разрешающую способность однонаправленной камеры и создавать видео с высокой разрешающей способностью и многочисленными точками обзора, как описано ранее. Модуль 624 объединения может объединять исходное видео с фрагментами предварительно записанных изображений транспортного средства и/или потоками смещенного по времени видео, чтобы сформировать многочисленные точки обзора и повысить разрешающую способность смоделированного видео. Приложение 622 работы с видео и модуль 624 объединения могут быть отдельными приложениями или интегральным компонентом, размещенным на сервере услуги. Эта базовая конфигурация иллюстрируется на Фиг. 6 посредством таких компонентов внутри пунктирной линии 608.

Вычислительное устройство 600 может иметь дополнительные признаки или функциональность. Например, вычислительное устройство 600 может также включать в себя дополнительные устройства хранения данных (съемные и/или несъемные), такие как, например, накопители на магнитных дисках, оптических дисках или магнитной ленте. Такое дополнительное запоминающее устройство иллюстрируется на Фиг. 6 съемным запоминающим устройством 609 и несъемным запоминающим устройством 610. Читаемые компьютером носители данных могут включать в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или технологией для хранения информации, такой как читаемые компьютером команды, структуры данных, программные модули, или других данных. Системная память 604, съемное запоминающее устройство 609 и несъемное запоминающее устройство 610 все являются примерами читаемых компьютером носителей. Читаемые компьютером носители включают в себя, но не ограничиваясь этим, ОЗУ, ПЗУ, электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память или другую технологию памяти, ПЗУ на компакт-диске, цифровые многофункциональные диски (DVD) или другое оптическое запоминающее устройство, магнитную ленту, запоминающее устройство на магнитном диске или другие магнитные запоминающие устройства или любой другой носитель, который может использоваться для хранения требуемой информации, и к которому может осуществлять доступ вычислительное устройство 600. Любой такой читаемый компьютером носитель может быть частью вычислительного устройства 600. У вычислительного устройства 600 может также иметься устройство(а) 612 ввода данных, такое как клавиатура, мышь, перо, устройство речевого ввода данных, устройство ввода данных касанием и аналогичные устройства ввода данных. Устройство(а) 614 вывода, такое как устройство отображения, динамики, принтер, и также могут быть включены другие типы устройств вывода. Эти устройства являются известными в области техники и не нуждаются в подробном описании в документе.

Вычислительное устройство 600 может также содержать соединения 616 связи, которые позволяют устройству осуществлять связь с другими устройствами 618, например, по проводной или беспроводной сети в распределенной вычислительной среде, линии спутниковой связи, линии сотовой связи, сети ближней связи и аналогичные средства. Другие устройства 618 могут включать в себя устройство(а) компьютера, которое(ые) исполняет приложения связи, другие серверы и аналогичные устройства. Соединение(я) 616 связи является одним примером среды передачи данных. Среда передачи данных может включать в себя при этом читаемые компьютером команды, структуры данных, программные модули или другие данные. В качестве примера, а не ограничения, среда передачи данных включает в себя проводную среду, такую как проводная сеть или непосредственное проводное соединение, и беспроводную среду, такую как акустическая, РЧ, инфракрасного излучения или другую беспроводную среду передачи.

Примерные варианты осуществления также включают в себя способы. Эти способы могут быть реализованы несколькими путями, включая структуры, описанные в этом документе. Один такой путь состоит в реализации посредством машинных операций для устройств, соответствующих типу, описанному в этом документе.

Другой возможный путь состоит в том, что одна или более из отдельных операций способов будут выполняться вместе одним или большим числом операторов-людей, выполняющих некоторые из них. Эти операторы-люди не должны находиться рядом друг с другом, и каждый может находиться только с (вычислительной) машиной, которая выполняет часть программы.

На Фиг. 7 иллюстрируется логическая схема последовательности операций для процесса 700 по обеспечению видео с повышенной разрешающей способностью и многочисленными точками обзора на основании ввода от имеющих низкую разрешающую способность, однонаправленных камер наблюдения за движением транспорта согласно вариантам осуществления. Процесс 700 может быть реализован в виде части веб-приложения, исполняемого на сервере.

Процесс 700 начинается операцией 710, где исходное видео принимается от имеющей низкую разрешающую способность однонаправленной видеокамеры. Принятое видео может предварительно обрабатываться. Например, формат принятого видео может быть модифицирован, видео отфильтровано и т.д. В операции 720 формируется поток фрагментов видео, так что затем могут выполняться сопоставление и объединение. Фрагменты могут быть последовательными кадрами видео, соответствующими движению транспортных средств, на заранее заданных расстояниях (например, удаленном, среднем, близком).

В операции 730 поток фрагментов сопоставляется с фрагментами от камеры другого направления и/или фрагментами смещенных по времени кадров (например, когда транспортные средства находятся ближе к камере). Первое сопоставление дает возможность формирования дополнительных точек обзора (например, противоположное направление для точки обзора исходной камеры, показывающей удаляющиеся транспортные средства), тогда как последнее сопоставление повышает разрешающую способность видео потока. Фрагменты из другого направления могут включать в себя предварительно записанные изображения транспортных средств различных типов под разными углами (вид сзади красного легкового автомобиля, вид сбоку зеленого грузовика, конкретные марки автомобилей и т.д.).

В операции 740 исходный поток и выявленные в сопоставлении фрагменты могут быть объединены вместе с получением в результате смоделированного видео, которое может быть представлено пользователю в операции 750 (например, воспроизведено через пользовательское приложение просмотра веб-страниц). До объединения также может быть настроен размер изображений.

Операции, включенные в процесс 700, приведены в целях иллюстрации. Формирование имеющего повышенную разрешающую способность и многочисленные точки обзора смоделированного видео может реализовываться подобными процессами с меньшим числом этапов или с дополнительными этапами, а также в другом порядке операций, с использованием принципов, описанных в документе.

Вышеприведенные описания, примеры и данные обеспечивают полное описание изготовления и использования композиции вариантов осуществления. Хотя объект изобретения был описан на языке, специфическом для структурных признаков и/или методологических действий, следует понимать, что объект изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничивается конкретными признаками или действиями, описанными выше. Предпочтительнее специфические признаки и действия, описанные выше, раскрыты в качестве примерных форм реализации пунктов формулы изобретения и вариантов осуществления.

Claims (14)

1. Способ для формирования улучшенного смоделированного видео, полученного от камеры, причем способ содержит этапы, на которых:
устанавливают множество камер в разных направлениях в местоположении на заранее заданный промежуток времени, чтобы записать сохраненные изображения транспортных средств с множества углов, которые индексируются;
принимают исходное видео, вводимое от однонаправленной камеры;
формируют поток фрагментов видео транспортных средств;
сопоставляют транспортные средства во фрагментах видео транспортных средств с соответствующими сохраненными изображениями транспортных средств с использованием «скользящего окна» с нормированной взаимной корреляцией;
извлекают изображения под другим углом, соответствующие сохраненным изображениям транспортных средств;
объединяют извлеченные изображения в смоделированное видео, отображающее транспортные средства, движущиеся в другом направлении;
формируют смоделированное видео с другой частотой кадров, чем частота кадров вводимого исходного видео, для снижения нерезкости и тусклости вводимого исходного видео; и
визуализируют смоделированное видео.

2. Способ по п.1, в котором извлекаемыми изображениями являются изображения задней стороны транспортных средств, и смоделированное видео представляет поток движения транспорта в противоположном направлении относительно направления камеры.

3. Способ по п.1, дополнительно содержащий этап, на котором: улучшают смоделированное видео с использованием по меньшей мере одного из набора из: изображения дороги, изображения заднего плана, траектории каждого транспортного средства, скорости каждого транспортного средства, записанного аудио и сформированного аудио.

4. Способ по п.1, дополнительно содержащий этапы, на которых: буферизируют заранее заданное число кадров; записывают изображения транспортных средств в кадрах, где транспортные средства появляются вблизи камеры; настраивают размер записанных изображений; накладывают настроенные изображения поверх кадров, где те же транспортные средства появляются вдали от камеры; и объединяют наложенные кадры в смоделированное видео.

5. Способ по п.4, в котором буферизацию выполняют для будущих кадров.

6. Способ по п.5, в котором транспортные средства в буферизованных кадрах сопоставляют с использованием нормированной взаимной корреляции.

7. Способ по п.5, в котором число кадров, подлежащих буферизации, определяют на основании заранее заданных диапазонов расстояний транспортных средств от камеры.

8. Система для формирования улучшенного смоделированного видео, полученного от камеры, причем система содержит:
по меньшей мере одну однонаправленную камеру;
сервер, связанный с по меньшей мере одной однонаправленной камерой, при этом сервер выполняет приложение обработки видео, причем приложение обработки видео сконфигурировано с возможностью:
устанавливать множество камер в разных направлениях в местоположении на заранее заданный промежуток времени, чтобы записать сохраненные изображения транспортных средств с множества углов, которые индексируются;
принимать исходное видео, вводимое от однонаправленной камеры;
формировать поток фрагментов видео транспортных средств;
буферизовать заранее заданное число кадров видео;
записывать изображения первого набора транспортных средств в кадрах, где транспортные средства появляются вблизи камеры;
осуществлять наложение изображений поверх кадров, где первая группа транспортных средств появляется вдали от камеры;
сопоставлять вторую группу транспортных средств во фрагментах видео транспортных средств с соответствующими сохраненными изображениями транспортных средств с использованием «скользящего окна» с нормированной взаимной корреляцией;
извлекать изображения под другим углом, соответствующие сохраненным изображениям транспортных средств;
объединять наложенные изображения в первое смоделированное видео с повышенной разрешающей способностью;
объединять извлеченные изображения в смоделированное второе видео, отображающее вторую группу транспортных средств, движущихся в другом направлении; и
визуализировать смоделированные видео.

9. Система по п.8, в которой первое и второе видео являются одним и тем же потоком видео.

10. Система по п.8, в которой приложение обработки видео дополнительно сконфигурировано, чтобы давать возможность пользователю выбирать угол обзора путем выбора изображения под другим углом на основании пользовательского ввода, обеспечивающего пользователю виртуальный поворот камеры.

11. Система по п.9, в которой сохраненные изображения включают в себя по меньшей мере одно из: предварительно записанных изображений и сформированных путем синтеза изображений.

12. Система по п.9, в которой второе видео сформировано путем объединения извлеченных изображений поверх карты в ортографической проекции.

13. Читаемый компьютером носитель данных с сохраненными на нем командами для формирования улучшенного смоделированного видео, полученного от камеры, причем команды содержат:
прием исходного видео, вводимого от однонаправленной камеры;
формирование потока фрагментов видео транспортного средства;
буферизацию заранее заданного числа кадров;
сопоставление буферизованных кадров с использованием «скользящего окна» с нормированной взаимной корреляцией так, что улучшаются изображения транспортных средств дальше от камеры;
объединение сопоставленных кадров в смоделированное видео; и
формирование смоделированного видео с другой частотой кадров, чем частота кадров вводимого исходного видео, для снижения нерезкости и тусклости вводимого исходного видео;
причем команды дополнительно содержат:
сопоставление транспортных средств во фрагментах видео транспортных средств с соответствующими сохраненными изображениями транспортных средств с использованием «скользящего окна» с нормированной взаимной корреляцией;
извлечение изображений под другим углом, соответствующих сохраненным изображениям транспортных средств; и
объединение извлеченных изображений в смоделированное видео, отображающее транспортные средства, движущиеся в другом направлении.

14. Читаемый компьютером носитель по п.13, в котором формирование потока фрагментов видео, буферизация кадров и сопоставление кадров выполняются каждый посредством по меньшей мере одного из набора из: аппаратного модуля, программного модуля и комбинации из аппаратного и программного модуля.

Images