RU2600540C2 - Устройство и способ обработки информации, и программа - Google Patents

Устройство и способ обработки информации, и программа Download PDF

Info

Publication number
RU2600540C2
RU2600540C2 RU2014128431/08A RU2014128431A RU2600540C2 RU 2600540 C2 RU2600540 C2 RU 2600540C2 RU 2014128431/08 A RU2014128431/08 A RU 2014128431/08A RU 2014128431 A RU2014128431 A RU 2014128431A RU 2600540 C2 RU2600540 C2 RU 2600540C2
Authority
RU
Russia
Prior art keywords
information
person
image
moving object
probability
Prior art date
Application number
RU2014128431/08A
Other languages
English (en)
Other versions
RU2014128431A (ru
Inventor
Юдзи ОНО
Хидето ТАКЕУТИ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2014128431A publication Critical patent/RU2014128431A/ru
Application granted granted Critical
Publication of RU2600540C2 publication Critical patent/RU2600540C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Изобретение относится к области обработки информации. Технический результат - обеспечение повышения точности процесса поиска и слежения за движущимся объектом в изображениях. Устройство обработки информации содержит: множество модулей формирования изображения, каждый из которых выполнен с возможностью: съемки изображения; детектирования движущегося объекта на изображении; выделения изображения движущегося объекта из изображения; детектирования координат положения в пространстве движущегося объекта; и вывода информации о движущемся объекте, при этом информация о движущемся объекте включает в себя изображение движущегося объекта, координаты положения в пространстве, время формирования изображения, в которое изображение было снято; и модуль обработки, выполненный с возможностью: расчета, для каждой информации о движущемся объекте, вероятности изображения движущегося объекта; определения, является ли каждая рассчитанная вероятность изображения движущегося объекта большей, чем заданное пороговое значение, и поиска информации о движущемся объекте с вероятностью изображения движущегося объекта большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результата поиска. 6 н. и 12 з.п. ф-лы, 28 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу обработки информации, и программе, и, в частности, к устройству обработки информации, способу обработки информации и программе, выполненным с возможностью поиска и слежения за человеком, поиск и слежение которого желательно выполнять по изображениям, снятым множеством камер с высокой точностью.
Уровень техники
В прошлом, с целью предупреждения преступлений, для маркетинга и т.п., в таких местах, как отели, здания, магазины и районы города, в которые прибывают и из которых убывают не установленные лица, устанавливали системы видеомониторинга. В таких системах мониторинга в этих местах выполняли операции подтверждения, того, как подозрительные лица передвигаются, и как потребители движутся в супермаркетах.
Однако для подтверждения, как каждый человек движется в области отслеживания, необходимо выполнять работу по обзору видеоизображений, полученных из множества камер, следуя движениям человека в пределах видеоизображений, снятых камерой, и выполняя отслеживание в соответствии движением человека между камерами. Поэтому, для этого требовалось существенное время, и, таким образом, возлагалась большая нагрузка на персонал.
В соответствии с этим, были предложены системы, которые отслеживают движущийся объект в пределах множества видеокамер или систем, выполняющих поиск движущегося объекта. Например, была предложена система, которая выполняет схему отслеживания человека в пределах одиночного видеоизображения одной камеры и соединяет изображения этого человека для множества камер (см. PTL 1). Кроме того, была предложена система, которая выполняет отслеживание человека, используя аналогичный поиск изображения и которая разделяет область переднего плана в снятом изображении на состояния блоков, выполняет аналогичный поиск изображения в единицах блоков, и определяет, является ли данное лицо тем же, на основе соответствия (см. NPL 1).
Список литературы
Непатентная литература
PTL 1: Публикация находящейся на экспертизе заявки на японский патент №2006-245795
PTL 1: Japanese Unexamined Patent Application Publication No. 2006-245795
NPL 1: Human Tracking Using Similar Image Search in Sparsely Distributed Camera Environment in Technical Report, vol. 110, no. 330, PRMU 2010-130, pp. 25 to 30, December 2010
Сущность изобретения
Техническая задача
Однако в изобретении, раскрытом в PTL 1, трудно постоянно отслеживать человека, используя на практике одну камеру. Кроме того, отслеживание останавливается, когда, изображения людей накладываются друг на друга, и данное лицо может быть скрыто позади колонны и т.п., и, таким образом, точность отслеживания может ухудшиться в целом.
В случае в NPL 1, по мере того, как время фотосъемки все больше увеличивается для определения, являются ли все области переднего плана, разделенные на состояния блоков, аналогичными, дополнительно увеличивается время на обработку. Таким образом, существует опасение, что дополнительно ухудшается точность.
Настоящее изобретение было разработано с учетом упомянутых выше обстоятельств и выполнено для улучшения точности процесса поиска и слежения за человеком, путем удаления изображений, несоответствующих для поиска среди изображений, снятых множеством камер, и путем установления изображений, соответствующих в качестве целевых изображений поиска, в качестве информации решения на основе результата процесса поиска, выполняемого пользователем, и с последующим повторением процесса для улучшения процесса поиска.
Решение задачи
В соответствии с первым аспектом настоящего изобретения, предусмотрено устройство обработки информации, включающее в себя: множество модулей формирования изображения, каждый из которых снимает изображение, детектирует движущийся объект, выделяет изображение движущегося объекта, составленное из изображения детектированного движущегося объекта, детектирует координаты положения в пространстве движущегося объекта на основе изображений движущегося объекта, и выводит изображение движущегося объекта и информацию о движущемся объекте, включающую в себя координаты положения в пространстве движущегося объекта, и время формирования изображения, в которое изображение было снято; модуль расчета вероятности изображения движущегося объекта, который рассчитывает вероятность изображения движущегося объекта, которая представляет собой вероятность изображения движущегося объекта, включенного в информацию о движущемся объекте, другую, чем информация о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, относительно изображения движущегося объекта информации о движущемся объекте, не соответствующего для поиска; модуль определения порогового значения изображения движущегося объекта, который определяет, является ли вероятность изображения каждого изображения движущегося объекта, рассчитанная модулем расчета вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, и выполняет поиск информации о движущемся объекте с вероятностью изображения движущегося объекта большей, чем заданное пороговое значение, как результат поиска информации о движущемся объекте, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта того же самого движущегося объекта, что и движущийся объект изображения движущегося объекта для движущегося объекта цели поиска; модуль сохранения информации о движущемся объекте цели поиска, который сохраняет информацию о движущемся объекте, поиск которой выполняется, в качестве информации о движущемся объекте результате поиска модулем определения порогового значения изображения движущегося объекта; модуль ввода операции, который принимает ввод информации о решении, используемой для пользователя, для определения информации о движущемся объекте цели поиска среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результат поиска, в модуле сохранения полеченной в результате информации о движущемся объекте на основе изображения движущегося объекта; модуль расчета вероятности время - пространство, который рассчитывает вероятность время - пространство, которая состоит из вероятности, основанной на координатах положения в пространстве и времени съемки изображения, и представляет собой вероятность информации о движущемся объекте, другой, чем информация о движущемся объекте, для которого было введено решение, которая представляет собой информацию о движущемся объекте, для которого была введена информация принятого решения, в том, что касается информации о движущемся объекте, для которого было принято решение, для которого была введена информация решения, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска, в модуле сохранения полученной в результате информации о движущемся объекте; и модуль определения пороговой вероятности время - пространство, который определяет, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и который удаляет информацию о движущемся объекте для вероятности время - пространство, меньшей, чем заданное пороговое значение, из результата поиска модуля сохранения информации о движущемся объекте.
После того, как модуль определения порогового значения вероятности время - пространство определит, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, модуль ввода операции может принять входную команду, представляющую информацию решения, используемую для нового определения пользователем информации движущегося пользователя цели поиска среди информации о движущемся объекте, сохраненной, как информации о движущемся объекте результате поиска в модуле сохранения информации о движущемся объекте результате на основе изображения движущегося объекта. Модуль расчета вероятности время - пространство может вновь рассчитать вероятность время пространство, которая состоит из вероятности, основанной на координатах положения в пространстве и времени формирования изображения, и которая представляет собой вероятность информации о движущемся объекте, другую, чем информация о движущемся объекте решения в отношении информации о движущемся объекте решения, для которой информацию решения ввели снова, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результат поиска в модуле сохранения полученной в результате информации о движущемся объекте. Модуль определения порогового значения вероятности время - пространство может определять, является ли каждая вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаляет информацию о движущемся объекте с вероятностью время - пространство меньшей, чем заданное пороговое значение, из модуля сохранения информации о движущемся объекте результате поиска. Модуль ввода операции, модуль расчета вероятности время - пространство и модуль определения порогового значения вероятности время - пространство может повторять эту обработку всякий раз, когда информацию о решении вновь вводят с использованием модуля ввода операции.
Информация о информация о перемещающемся объекте может дополнительно включать в себя ID, идентифицирующий один из множества модулей формирования изображения, снимающих изображение движущегося объекта, которое должно быть включено. Устройство обработки информации дополнительно может включать в себя: модуль расчета BTF, которая рассчитывает BTF (функцию передачи яркости), предназначенную для коррекции изменения цвета между модулями формирования изображения, на основе двух изображений движущихся объектов с различными идентификаторами, идентифицирующими множество модулей формирования изображения, каждый из которых снимает изображение движущегося объекта в информации о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, и информацию о движущемся объекте решении, для которого принимают ввод информации решения, используемой для определения информации о движущемся объекте цели поиска;
модуль обработки BTF, который выполняет BTF для изображения движущегося объекта для информации о движущемся объекте, включающей в себя изображение движущегося объекта, снимаемое модулем формирования изображения с ID, для которого была получена BTF, среди другой информации о движущемся объекте, чем информации о движущемся объекте, в соответствии с решением, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результат поиска, в модуле сохранения полученной в результате информации о движущемся объекте; модуль расчета вероятности изображения движущегося объекта BTF, которая рассчитывает вероятность изображения движущегося объекта BTF, которая состоит из вероятности, основанной на изображении движущегося объекта, и которая представляет собой вероятность информации о движущемся объекте, включающей в себя изображение движущегося объекта, обработанного, с использованием BTF, в модуле обработки BTF, в отношении изображения движущегося объекта для информации о движущемся объекте, в соответствии с решением; и модуль определения порогового значения изображения движущегося объекта BTF, которая определяет, является ли каждая вероятность изображения движущегося объекта BTF, рассчитанная модулем расчета вероятности изображения движущегося объекта BTF, меньшей, чем заданное пороговое значение. Модуль определения порогового значения вероятности время - пространство может определять, является ли вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространством, меньшей, чем заданное пороговое значение. Модуль определения порогового значения изображения движущегося объекта BTF может определять, является ли каждая вероятность изображения движущегося объекта BTF, рассчитанная модулем расчета вероятности изображения движущегося объекта BTF, меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не меньше, чем заданное пороговое значение, и удаляет информацию о движущемся объекте, включающую в себя изображение движущегося объекта, для которого вероятность изображения движущегося объекта BTF меньше, чем заданное пороговое значение, для результата поиска модуля сохранения информации о движущемся объекте, когда вероятность изображения движущегося объекта BTF меньше, чем заданное пороговое значение.
Модуль расчета вероятности изображения движущегося объекта может рассчитывать степень схожести, обозначающую степень схожести каждого движущегося объекта, как вероятность изображения движущегося объекта, на основе изображения движущегося объекта, включенного в каждое изображение движущегося объекта информации о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, и изображение движущегося объекта, включенное в другую информацию о движущемся объекте, чем информация о движущемся объекте не соответствующем для поиска.
Модуль расчета вероятности время - пространство может рассчитывать вероятность время - пространство по соотношению между временем между моментами времени формирования изображения и фактическим временем, которое требуется для перемещения на расстояние между координатами положения в пространстве другой информации о движущемся объекте, чем информация о движущемся объекте решения, и информации о движущемся объекте решения, для которого информация решения была введена, при средней скорости движения человека.
В соответствии с первым аспектом настоящего изобретения, предусмотрен способ обработки информации устройства обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектируя движущийся объект, выделяет изображение движущегося объекта, составленное из изображения детектированного движущегося объекта, детектирует координаты положения в пространстве движущегося объекта на основе изображения движущегося объекта и выводит изображение движущегося объекта и информацию о движущемся объекте, включающую в себя координаты положения в пространстве движущегося объекта и время формирования изображения, в которое было снято изображение. Способ обработки информации включает в себя: процесс расчета вероятности изображения движущегося объекта, состоящий в расчете вероятности изображения движущегося объекта, которая представляет собой вероятность изображения движущегося объекта, включенную в другую информацию о движущемся объекте, чем информация о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, в отношении изображения движущегося объекта, для информации о движущемся объекте не соответствующей для поиска; процесс определения порогового значения для изображения движущегося объекта, состоящий в определении, является ли каждая вероятность изображения движущегося объекта, рассчитанная в процессе расчета вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, и выполнении поиска информации о движущемся объекте для вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результате поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта того же движущегося объекта, что и движущийся объект изображения движущегося объекта информации о движущемся объекте цели поиска; процесс сохранения информации о движущемся объекте результате поиска, состоящий в сохранении информации о движущемся объекте, поиск которой выполняется в качестве информации о движущемся объекте результате поиска в процессе определения порогового значения изображения движущегося объекта; процесс ввода операции, состоящий в приеме ввода информации решения, используемый для пользователя, для принятия решения в отношении информации о движущемся объекте цели поиска среди информации о движущемся объекте, сохраненной как информация о движущемся объекте результате поиска в процессе сохранения информации о движущемся объекте результата, на основе изображения движущегося объекта; процесс расчета вероятности время - пространство, состоящий в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения и которая представляет собой вероятность другой информации о движущемся объекте, чем информация о движущемся объекте решении, которая представляет собой информацию о движущемся объекте, для которой была введена информация решения, в отношении информации о движущемся объекте решении, для которой была введена информация решения, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска, в процессе сохранения информации о движущемся объекте результате; и процесс определения порогового значения вероятности время - пространство, состоящий в определении, является ли каждая вероятность время - пространство, рассчитанная в процессе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаления информации о движущемся объекте вероятности время - пространство, меньшей, чем заданное пороговое значение, из информации о движущемся объекте, сохраненной в процессе сохранения движущегося объекта результата поиска.
В соответствии с первым аспектом настоящего изобретения, предусмотрена программа для компьютера, управляющего устройством обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектируя движущийся объект, выделяет изображение движущегося объекта, составленное из изображения детектированного движущегося объекта, детектирует координаты положения в пространстве движущегося объекта на основе изображения движущегося объекта и выводит изображение движущегося объекта и информацию о движущемся объекте, включающую в себя координаты положения в пространстве движущегося объекта и время формирования изображения, в которое было снято изображение, программа, обеспечивающая выполнение компьютером:
этапа расчета вероятности изображения движущегося объекта, состоящий в расчете вероятности изображения движущегося объекта, которая представляет собой вероятность изображения движущегося объекта, включенную в другую информацию о движущемся объекте, чем информация о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, в отношении изображения движущегося объекта, для информации о движущемся объекте не соответствующей для поиска; этапа определения порогового значения для изображения движущегося объекта, состоящий в определении, является ли каждая вероятность изображения движущегося объекта, рассчитанная на этапе расчета вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, и выполнении поиска информации о движущемся объекте для вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результате поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта того же движущегося объекта, что и движущийся объект изображения движущегося объекта информации о движущемся объекте цели поиска; этапа сохранения информации о движущемся объекте результате поиска, состоящий в сохранении информации о движущемся объекте, поиск которой выполняется в качестве информации о движущемся объекте результате поиска на этапе определения порогового значения изображения движущегося объекта; этапа ввода операции, состоящий в приеме ввода информации решения, используемый для пользователя, для принятия решения в отношении информации о движущемся объекте цели поиска среди информации о движущемся объекте, сохраненной как информация о движущемся объекте результате поиска на этапе сохранения информации о движущемся объекте результата, на основе изображения движущегося объекта; этапа расчета вероятности время - пространство, состоящий в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения и которая представляет собой вероятность другой информации о движущемся объекте, чем информация о движущемся объекте решении, которая представляет собой информацию о движущемся объекте, для которой была введена информация решения, в отношении информации о движущемся объекте решении, для которой была введена информация решения, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска, на этапе сохранения информации о движущемся объекте результате; и этапа определения порогового значения вероятности время - пространство, состоящий в определении, является ли каждая вероятность время - пространство, рассчитанная в процессе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаления информации о движущемся объекте вероятности время - пространство, меньшей, чем заданное пороговое значение, из информации о движущемся объекте, сохраненной на этапе сохранения движущегося объекта результата поиска.
В соответствии со вторым аспектом настоящего изобретения предусмотрено устройство обработки информации, включающее в себя: множество модулей формирования изображения, каждый из которых снимает изображение, детектирует человека, выделяет изображение человека, состоящее из изображения детектированного человека, детектирует координаты положения в пространстве для человека на основе изображения человека, и выводит изображение человека и персональную информацию, включающую в себя координаты положения в пространстве для этого человека и время формирования изображения, в которое было снято изображение; модуль расчета вероятности изображения человека, который рассчитывает вероятность изображения человека, которая представляет собой вероятность изображения человека, включенного в другую информацию о человеке, чем информация о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, в отношении изображения человека для информации о человеке, не соответствующей для поиска; модуль определения порогового значения изображения человека, который определяет, является ли каждая вероятность изображения человека, рассчитанная модулем расчета вероятности изображения человека, большей, чем заданное пороговое значение, и выполняет поиск информации о человеке для вероятности изображения человека, большей, чем заданное пороговое значение, как информации о человеке результате поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для того же человека, что и человек на изображении человека в информации о человеке цели поиска; модуль сохранения информации о человеке результате поиска, который сохраняет информацию о человеке, поиск которого выполняется, в качестве информации о человеке результате поиска модулем определения порогового значения изображения человека; модуль ввода операции, который принимает ввод информации решения, используемой для пользователя, для принятия решения о поиске информации о человеке цели поиска среди информации о человеке, сохраненной, как информация о человеке результате поиска, в модуле сохранения полученной в результате информации о человеке, на основе изображения человека; модуль расчета вероятности время - пространство, который рассчитывает вероятность время - пространство, которая состоит из вероятности, основанной на координатах положения в пространстве и времени формирования изображения, и которая представляет собой вероятность другой информации о человеке, чем информация о человеке решении, которая представляет собой информацию о человеке, для которого вводят информацию решения, в отношении информации о человеке, в соответствии с решением, для которой вводят информацию решения, среди информации о человеке, сохраненной, как информация о человеке результате поиска, в модуле сохранения полученной в результате информации о человеке; и модуль определения порогового значения вероятности время - пространство, который определяет, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаляет информацию о человеке для вероятности время - пространство, меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска.
После того, как модуль определения порогового значения вероятности время - пространство определит, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, модуль ввода операции может принять входную команду, представляющую собой информацию решения, используемую для пользователя, для того, чтобы вновь определить информацию о человеке цели поиска на основе изображения человека среди информации о человеке, сохраненной, как информация о человеке результата поиска, в модуле сохранения полученной в результате информации о человеке. Модуль расчета вероятности время - пространство может вновь рассчитать вероятность время - пространство, которая составлена из вероятности на основе координат положения в пространстве и времени формирования изображения и которая представляет собой вероятность другой информации о человеке, чем информация о человеке, в соответствии с решением в отношении информации о человеке, в соответствии с решением, для которого информация, в соответствии с решением, была вновь введена, среди информации о человеке, сохраненной, как информация о человеке результате поиска в модуле сохранения полученной в результате информации о человеке. Модуль определения порогового значения вероятности время - пространство может определять, является ли каждая вновь рассчитанная вероятность время - пространство модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и может удалять информацию о человеке с вероятностью время - пространство меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска. Модуль ввода операции, модуль расчета вероятности время - пространство и модуль определения порогового значения вероятности время - пространство могут повторять тот же процесс всякий раз, когда информацию решения вновь вводят с помощью модуля ввода операции.
Информация о человеке может дополнительно включать в себя ID, идентифицирующий один из множества модулей формирования изображения, снимающих изображение человека, которое будет включено. Устройство обработки информации может дополнительно включать в себя: модуль расчета BTF, которая рассчитывает BTF (функцию передачи яркости), которая выполняет коррекцию изменения цвета между модулями формирования изображения на основе двух изображении человека с разными ID, идентифицирующими множество модулей формирования изображения, и снимающим изображения человека в информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и информацию о человеке решения, для которой принимают входную команду, представляющую информацию о решении, используемую для принятия решения в отношении информации о человеке цели поиска; модуль обработки BTF, который выполняет BTF для изображения человека информации о человеке, включающей в себя изображение человека, снятое модулем формирования изображения с ID, для которого была получена BTF, среди другой информации о человеке, чем информация о человеке, в соответствии с решением, среди информации о человеке, сохраненной, как информация о человеке результате поиска, в модуле сохранения полученной в результате информации о человеке; модуль расчета вероятности изображения человека BTF, которая рассчитывает вероятность изображения человека BTF, которая состоит из вероятности на основе изображения человека, и которая представляет собой вероятность информации о человеке, включающую в себя изображение человека, обработанное с использованием BTF в модуле обработки BTF, в отношении изображения человека информации о человеке, в соответствии с решением; и
модуль определения порогового значения изображения человека BTF, которая определяет, является ли каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньшей, чем заданное пороговое значение. Модуль определения порогового значения вероятности время - пространство может определять, является ли вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение. Модуль определения порогового значения изображения человека BTF может определять, является ли каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не является меньшей, чем заданное пороговое значение, и удалять информацию о человеке, включающую в себя изображение человека, для которой вероятность изображения человека BTF меньше, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска, когда вероятность изображения человека BTF меньше, чем заданное пороговое значение.
Устройство обработки информации может дополнительно включать в себя: модуль сохранения информации того же человека, который содержит информацию о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и информацию о человеке, в соответствии с решением, для которого был получен ввод информации решения, используемой для определения информации о человеке цели поиска, как информации о человеке для того же человека, что и человек цель поиска;
модуль сохранения информации о другом человеке, который содержит, в качестве информации о другом человеке, которая представляет собой информацию о человеке для человека, другого, чем человек цели поиска, информацию о человеке, включающую в себя изображение человека, для которого каждая вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньше, чем заданное пороговое значение, или каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньше, чем заданное пороговое значение; модуль поиска уникального свойства, который выбирает уникальное свойство, используемое для поиска для человека цели поиска путем изучения на основе изображения человека информации о человеке, содержащейся в модуле сохранения информации того же человека, и изображения человека информации о человеке, содержащейся в модуле сохранения информации о другом человеке; модуль расчета вероятности уникального свойства, который рассчитывает вероятность уникального свойства, которая представляет собой вероятность на основе уникального свойства изображения человека, включенного в информацию о человеке, другую, чем информация о человеке, не соответствующем для поиска, в отношении изображения человека информации о человеке цели поиска; и модуль определения порогового значения вероятности уникального свойства, который определяет, является ли вероятность каждого уникального свойства, рассчитанная модулем расчета вероятности уникального свойства, меньшей, чем заданное пороговое значение, и удаляет информацию о человеке с вероятностью уникального свойства, меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска. Модуль определения порогового значения вероятности время - пространство может определять, является ли каждая вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение. Модуль определения порогового значения изображения человека BTF может определять, является ли каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не меньше, чем заданное пороговое значение. Модуль определения порогового значения вероятности уникального свойства может определять, является ли каждая вероятность уникального свойства, рассчитанная модулем расчета вероятности уникального свойства, меньшей, чем заданное пороговое значение, и удаляет информацию о человеке с вероятностью уникального свойства меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска, когда вероятность изображения человека BTF не меньше, чем заданное пороговое значение.
Когда информацию о человеке вероятности уникального свойства, меньшую, чем заданное пороговое значение, удаляют из модуля сохранения информации о человеке результата поиска с помощью модуля определения порогового значения вероятности уникального свойства, модуль сохранения информации о другом человеке может содержать информацию о человеке с вероятностью уникального свойства меньшей, чем заданное пороговое значение, как информацию о другом человеке, которая представляет собой информацию о человеке для другого человека.
Модуль поиска уникального свойства может выбирать, как уникальное свойство, величину свойства, в соответствии с которой увеличивается вероятность между изображением человека информации о человеке, содержащейся в модуле сохранения информации того же человека, и изображением человека для человека цели поиска, и, благодаря чему, вероятность между изображением человека для информации о человеке, содержащейся в модуле сохранения информации о другом человеке, и изображением человека для человека цели поиска, путем изучения на основе изображения человека информации о человеке, содержащейся в модуле сохранения информации того же человека, и изображением человека для информации о человеке, содержащейся в модуле сохранения информации о другом человеке.
Модуль расчета вероятности уникального свойства может рассчитывать, в качестве вероятности уникального свойства, схожесть, обозначающую степень схожести каждого человека на основе уникального свойства изображения человека, включенного в каждое изображение человека информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и изображение человека, включенное в информацию о человеке, другую, чем информацию о человеке, не соответствующем для поиска.
Модуль расчета вероятности изображения человека может рассчитывать схожесть, обозначающую степень схожести каждого человека, как вероятность изображения человека, на основе изображения человека, включенного в каждое из изображений человека информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и изображение человека, включенное в другую информацию о человеке, чем информация о человеке, не соответствующем для поиска.
Модуль расчета вероятности время - пространство может рассчитывать вероятность время - пространство из соотношения между временем между моментами времени формирования изображения и необходимым фактическим временем, требуемым для перемещения на расстояние между координатами положения в пространстве другой информации о человеке, чем информация о человеке решения и информация о человеке решения, для которой вводят информацию решения, при средней скорости движения человека.
В соответствии со вторым аспектом настоящего изобретения, предусмотрен способ обработки информации устройства обработки информации, включающий в себя множество модулей изображения, каждый из которых снимает изображение, детектирует человека, выделяет изображение человека, состоящее из изображения детектированного человека, детектирует координаты положения в пространстве человека на основе изображения человека, и выводит изображение человека и персональную информацию, включающую в себя координаты положения в пространстве человека и время формирования изображения, в которое было снято изображение. Способ обработки информации, включающий в себя: процесс расчета вероятности изображения человека, состоящий в расчете вероятности изображения человека, которая представляет собой вероятность изображения человека, включенного в другую информацию о человеке, кроме информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, в отношении изображения человека информации о человеке, не соответствующем для поиска; процесс определения порогового значения изображения человека, состоящий в определении, является ли и каждая вероятность изображения человека, рассчитанная в процессе расчета вероятности изображения человека, большей, чем заданное пороговое значение, и поиска информации о человеке для вероятности изображения человека, большей, чем заданное пороговое значение, в качестве информации о человеке результате поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для того же человека, что и человек изображения человека информации о человеке цели поиска; процесс сохранения информации о человеке результата поиска, состоящий в сохранении информации о человеке, для которого был выполнен поиск, в качестве информации о человеке результате поиска, используя процесс определения порогового значения изображения человека; процесс ввода операции, состоящий в приеме ввода информации решения, используемой для пользователя, для определения информации о человеке цели поиска среди информации о человеке, сохраненной в информации о человеке результата поиска в процессе сохранения полученной в результате информации человеке, на основе изображения человека; процесс расчета вероятности время - пространство, состоящий в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения, и которая представляет собой вероятность другой информации о человеке, чем информация о человеке, в соответствии с решением, которая представляет собой информацию о человеке, для которой вводят информацию о принятии решения, в отношении информации о человеке, в соответствии с принятым решением, для которого вводят информацию решения, среди информации о человеке, сохраненной, как информацию о человеке результате поиска, в процессе сохранения информации о человеке результате; и
процесс определения порогового значения вероятности время - пространство, состоящий в определении, является ли каждая вероятность время - пространство, рассчитанная в процессе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удалении информации о человеке вероятности время - пространство меньшей, чем заданное пороговое значение, из информации о человеке, сохраненной в процессе сохранения информации о человеке результата поиска.
В соответствии со вторым аспектом настоящего изобретения, предложена программа для компьютера, управляющего устройством обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектирует человека, выделяет изображение человека, состоящее из изображения детектированного человека, детектирует координаты положения в пространстве человека на основе изображения человека, и выводит изображение человека и персональную информацию, включающую в себя координаты положения в пространстве человека и время формирования изображения, в которое снимают изображение. Программа обеспечивает выполнение компьютером: этапа расчета вероятности изображения человека, состоящего в расчете вероятности изображения человека, которая представляет собой вероятность изображения человека, включенного в информацию о человеке, другую, чем информацию о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, в отношении изображения человека информации о человеке, не соответствующем для поиска; этапа определения порогового значения изображения человека, состоящего в определении, является ли каждая вероятность изображения человека, рассчитанная в процессе на этапе расчета вероятности изображения человека, большей, чем заданное пороговое значение, и поиска информации о человеке с вероятностью изображения человека, большей, чем заданное пороговое значение, как информации о человеке результате поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для того же человека, что и человек изображения человека информации о человеке цели поиска; этапа сохранения информации о человеке результата поиска, состоящего в сохранении информации о человеке, поиск которой выполняли, в качестве информации о человеке результата поиска с помощью процесса на этапе определения порогового значения изображения человека; этапа ввода операции, состоящего в приеме ввода информации решения, используемой для пользователя, для определения информации о человеке цели поиска среди информации о человеке, сохраненной, как информация о человеке результате поиска в процессе этапа сохранения полученной в результате информации о человеке на основе изображения человека; этапа расчета вероятности время - пространство, состоящего в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения, и которая представляет собой вероятность другой информации о человеке, чем информация о человеке решения, которая представляет собой информацию о человеке, для которой информацию о решении вводят в соответствии с информацией о человеке решения, для которого была введена информация решения, среди информации о человеке, сохраненной, как информация о человеке результате поиска, в процессе этапа сохранения проученной в результате информации о человеке; и этапа определения порогового значения вероятности время - пространство, состоящего в определении, является ли каждая вероятность время - пространство, рассчитанная в ходе процесса на этапе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удалении информации о человеке для вероятности время - пространство меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска.
В соответствии с первым аспектом настоящего изобретения, снимают изображение, детектируя движущийся объект, выделяют изображение движущегося объекта, составленное из изображения детектированного движущегося объекта, детектируют координаты положения в пространстве движущегося объекта на основе изображения движущегося объекта, и выводят изображение движущегося объекта и информацию о движущемся объекте, включающую в себя координаты положения в пространстве движущегося объекта, и время формирования изображения, в которое было снято изображение; рассчитывают вероятность изображения движущегося объекта, которая представляет собой вероятность изображения движущегося объекта, включенного в другую информацию о движущемся объекте, чем информация о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, в отношении изображения движущегося объекта информации о движущемся объекте, не соответствующем для поиска; при этом определяют, является ли каждая рассчитанная вероятность изображения движущегося объекта большей, чем заданное пороговое значение, и выполняют поиск информации о движущемся объекте для вероятности изображения движущегося объекта большей, чем заданное пороговое значение, для получения информации о движущемся объекте результате поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта того же движущегося объекта, что и движущийся объект изображения движущегося объекта информации о движущемся объекте цели поиска; сохраняют информацию о движущемся объекте, для которой выполняли поиск, в качестве информации о движущемся объекте результате поиска; принимают входные данные, представляющие информацию решения, используемую для пользователя, для определения информации о движущемся объекте цели поиска среди информации о движущемся объекте, сохраненного, как информацию о движущемся объекте результате поиска, на основе изображения движущегося объекта; рассчитывают вероятность время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения, и которое представляет собой вероятность другой информации о движущемся объекте, чем информация о движущемся объекте, в соответствии с решением, которое представляет собой информацию о движущемся объекте, для которой была введена информация решения, в отношении информации о движущемся объекте, в соответствии с решением, для которой была введена информация решения, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска; и при этом определяют, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение, и информацию о движущемся объекте с вероятностью время - пространство меньшей, чем заданное пороговое, удаляют из информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска.
В соответствии со вторым аспектом настоящего изобретения, изображение снимают, человека детектируют, изображение человека, составленное из изображения детектированного человека, выделяют, координаты положения в пространстве человека детектируют на основе изображения человека, и выводят изображение человека и информацию о человеке, включающую в себя координаты положения человека в пространстве и время формирования изображения, в которое снимают изображение; рассчитывают вероятность изображения человека, которая представляет собой вероятность изображения человека, включенную в другую информацию о человеке, кроме информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, в отношении изображения человека информации о человеке, не соответствующем для поиска; при этом определяют, является ли каждая рассчитанная вероятность изображения человека большей, чем заданное пороговое значение, и выполняют поиск информации о человеке для каждой вероятности изображения человека, большей, чем заданное пороговое значение, в качестве информации о человеке результате поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека того же человека, что и человек изображения человека информации о человеке цели поиска; сохраняют информацию о человеке, поиск которой выполняют, как информацию о человеке результате поиска; принимают ввод информации решения, используемой для пользователя для определения информации цели поиска среди информации о человеке, сохраненной, как информация о человеке результате поиска, на основе изображения человека; рассчитывают вероятность время - пространство, которая составлена из вероятности на основе координат положения в пространстве и времени формирования изображения, и которая представляет собой вероятность другой информации о человеке, чем информация о человеке, в соответствии с решением, которая представляет собой информацию о человеке, для которой вводят информацию о принятии решения, в отношении информации о человеке принятия решения, для которого вводят информацию о принятии решения, среди информации о человеке, сохраненной, как информация о человеке результате поиска; и при этом определяют, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение, и удаляют информацию о человеке с вероятностью время - пространство, меньшей, чем заданное пороговое значение.
Устройство обработки информации, в соответствии с настоящим изобретением, может представлять собой независимое устройство или блок, выполняющий обработку информации.
Предпочтительные эффекты изобретения
В соответствии с аспектами настоящего изобретения, возможно выполнять поиск и отслеживать человека, для которого требуется выполнить поиск и отслеживание с высокой точностью из изображений, снятых с помощью множества камер.
Краткое описание чертежей
На фиг. 1 представлена схема, иллюстрирующая пример конфигурации системы мониторинга варианта осуществления, в котором применено существующее изобретение.
На фиг. 2 показана блок-схема, поясняющая первый пример конфигурации камеры отслеживания.
На фиг. 3 показана блок-схема, поясняющая первый пример конфигурации сервера поиска и слежения за человеком.
На фиг. 4 показана блок-схема последовательности операций, поясняющая процесс формирования изображений камерой отслеживания на фиг. 2.
На фиг. 5 показана блок-схема последовательности операций, поясняющая процесс фильтрации информации о перемещающемся объекте.
На фиг. 6 представлена схема, иллюстрирующая изображение движущегося объекта и изображение переднего плана, в которых имеется смещение в области переднего плана.
На фиг. 7 представлена схема, иллюстрирующая изображение движущегося объекта и изображение переднего плана, в котором высока корреляция между областью переднего плана и областью заднего плана памяти.
На фиг. 8 представлена схема, иллюстрирующая изображение движущегося объекта, изображение переднего плана и изображение кромки, в котором область переднего плана не была правильно получена.
На фиг. 9 представлена схема, иллюстрирующая изображение движущегося объекта и изображение переднего плана, в котором отображены один человек и множество людей.
На фиг. 10 представлена схема, иллюстрирующая примеры изображений движущегося объекта фильтруемых в процессе фильтрации информации о движущемся объекте.
На фиг. 11 показана блок-схема последовательности операций, поясняющая процесс сопоставления информации о движущемся объекте.
На фиг. 12 представлена схема, иллюстрирующая пример экрана дисплея, представляющего результат поиска и слежения за человеком, отображаемым в процессе сопоставления информации о движущемся объекте.
На фиг. 13 показана блок-схема последовательности операций, поясняющая соответствующий процесс принятия поправки по фиг. 11.
На фиг. 14 представлена схема, иллюстрирующая соответствующий процесс принятия поправки по фиг. 11.
На фиг. 15 представлена схема, иллюстрирующая соответствующий процесс принятия поправки по фиг. 11.
На фиг. 16 показана блок-схема, поясняющая второй пример конфигурации камеры отслеживания.
На фиг. 17 показана блок-схема, поясняющая второй пример конфигурации сервера поиска и слежения за человеком.
На фиг. 18 показана блок-схема последовательности операций, поясняющая процесс формирования изображений камерой отслеживания на фиг. 16.
На фиг. 19 представлена схема, иллюстрирующая детектирование человека.
На фиг. 20 показана блок-схема последовательности операций, поясняющая процесс фильтрации информации о человеке.
На фиг. 21 показана блок-схема последовательности операций, поясняющая процесс соответствия информации о человеке.
На фиг. 22 показана блок-схема последовательности операций, поясняющая соответствующий процесс улучшения сопоставления по фиг. 21.
На фиг. 23 показана блок-схема последовательности операций, поясняющая соответствующий процесс улучшения сопоставления по фиг. 21.
На фиг. 24 представлена схема, иллюстрирующая соответствующий процесс улучшения сопоставления по фиг. 21.
На фиг. 25 представлена схема, иллюстрирующая соответствующий процесс улучшения сопоставления по фиг. 21.
На фиг. 26 представлена схема, иллюстрирующая выбор путем обучения уникальным свойствам.
На фиг. 27 представлена схема, иллюстрирующая соответствующий процесс улучшения сопоставления по фиг. 21.
На фиг. 28 представлена схема, иллюстрирующая пример общей конфигурации персонального компьютера.
Подробное описание изобретения
Ниже будут описаны режимы (ниже называются вариантами осуществления) для выполнения изобретения. Описание будет представлено в следующем порядке.
1. Первый вариант осуществления (Пример, в котором используется детектирование движущегося объекта)
2. Второй вариант осуществления (Пример, в котором используется детектирование человека)
1. Первый вариант осуществления
Пример конфигурации системы отслеживания
На фиг. 1 представлена схема, иллюстрирующая пример конфигурации системы слежения варианта осуществления, в которой применяется настоящее изобретение. Система 1 отслеживания по фиг. 1 формирует изображение множества областей в пределах области отслеживания, в которой необходимо выполнить поиск или отслеживание человека и выполнять поиск человека в пределах области проверки и отслеживание пути движения человека на основе снятых изображений. Система 1 отслеживания выполнена так, что она включает в себя камеры 11-l - 11-n отслеживания, сервер 12 поиска и слежения на человеком, и сеть 13.
Камеры 11-l - 11-n отслеживания по-отдельности установлены в n местах в областях отслеживания, охваченных системой 1 отслеживания, снимают изображения соответствующих областей отслеживания, детектируют движущиеся объекты в пределах снятых изображений, и выделяют изображения детектированных движущихся объектов. Затем камеры 11-l - 11-n отслеживания подают информацию о движущемся объекте, включающую в себя выделенные изображения движущегося объекта, для движущихся объектов в сервер 12 поиска и слежения за человеком через сеть 13, составленную из сети Интернет, общедоступной линии, специализированной линии и т.п. Информация о движущемся объекте представляет собой информацию, которая включает в себя время формирования изображения, изображение переднего плана для изображения движущегося объекта, глобальные координаты движущегося объекта, полученные из изображения движущегося объекта, и ID, идентифицирующий камеру 11 отслеживания, в дополнение к изображению движущегося объекта. Здесь глобальные координаты относятся к информации координат, устанавливающей положение движущегося объекта в пространстве, и представляет собой, например, информацию координат, включающую в себя широту и долготу, которая представляет собой информацию координат, определяющую положение движущегося объекта на Земле. Далее, когда, в частности, нет необходимости различать камеры 11-l - 11-n отслеживания друг от друга, камеры 11-l - 11-n отслеживания просто называются камерами 11 отслеживания и обозначены тем же термином в других конфигурациях.
Сервер 12 поиска и слежения за человеком получает информацию о движущемся объекте, передаваемую из камер 11 отслеживания, фильтрует и удаляет изображения, несоответствующие поиску, на основе изображений движущегося объекта, включенных в информацию о движущемся объекте, и изображения переднего плана для изображений движущегося объекта, и сохраняет информацию о движущемся объекте, включающую в себя изображения движущегося объекта, пригодные для поиска. Сервер 12 поиска и слежения за человеком выполняет процесс соответствия информации о движущемся объекте, на основе информации, относящейся к человеку, обозначенной пользователем, в сохраненной информации о движущемся объекте, для выделения информации о движущемся объекте, относящейся к обозначенному человеку. Кроме того, сервер 12 поиска и слежения за человеком генерирует и отображает отображаемое изображение результата поиска и слежения, составленное из пути движения обозначенного человека на основе информации о движущемся объекте, выделенной из процесса сопоставления информации о движущемся объекте. Кроме того, сервер 12 поиска и слежения за человеком принимает ввод информации решения, обозначающий, что пользователь определил обозначенного человека в отношении части информации о движущемся объекте, которая представляет собой результат поиска и слежения, и выполняет процесс улучшения сопоставления, используя информацию о движущемся объекте, для которой была принята информация решения, для улучшения и обновления результата поиска и слежения. Сервер 12 поиска и слежения за человеком отображает результат поиска и слежения, полученный в результате процесса сопоставления информации о движущемся объекте или процесса улучшения сопоставления, и затем улучшает точность результата поиска и слежения, путем приема ввода информации принятия решения пользователя и повторения процесса сопоставления.
Первый пример конфигурации камеры отслеживания
Далее будет описан первый пример конфигурации камеры 11 слежения со ссылкой на блок-схему последовательности операций на фиг. 2.
Камеры 11 отслеживания расположены во множестве положений областей отслеживания и размещены таким образом, что все области в областях отслеживания охвачены, в целом, путем комбинирования изображений, снятых камерами 11-l - 11-n отслеживания. Каждая камера 11 отслеживания включает в себя модуль 31 формирования изображения, модуль 32 детектирования движущегося объекта, модуль 33 выделения изображения переднего плана, модуль 34 сохранения ID камеры, модуль 35 расчета координаты положения формирования изображения, модуль 36 детектирования времени формирования изображения, и модуль 37 вывода информации о движущемся объекте.
Модуль 31 формирования изображения выполнен так, что он включает в себя CCD (прибор с зарядовой связью), CMOS (комплементарный метало-оксидный полупроводник) и т.п., и постоянно снимает изображения в пределах диапазона, для которого может быть сформировано изображение, из положения, в котором установлена камера 11 отслеживания. Модуль 31 формирования изображения снимает движущееся изображение, выполненное так, чтобы оно включало в себя изображения, обрабатываемые, как непрерывные хронологически неподвижные изображения. В соответствии с этим, изображения, снятые модулем 31 формирования изображения, могут быть обработаны, как одно изображение в единицах кадров или в единицах полей и также могут быть обработаны, как движущееся изображение путем последовательного воспроизведения изображений. Описание будет представлено ниже на основе предположения, что изображения, составленные, как неподвижные изображения, постоянно снимают. Предполагается, что под изображением, упомянутым ниже, понимают неподвижное изображение.
Модуль 32 детектирования движущегося объекта детектирует область, в которой был снят движущийся объект в пределах изображения из соотношения между хронологически предыдущим и последующим изображениями в отношении каждого из изображений, снятых модулем 31 формирования изображения, и выделяет прямоугольное изображение, включающее в себя область, в которой движущийся объект представлен, как изображение движущегося объекта.
Модуль 33 выделения изображения переднего плана выделяет изображение переднего плана, составленное так, чтобы оно включало в себя пиксели двоичного значения области переднего плана и другой области из изображения движущегося объекта, выделенного модулем 32 детектирования движущегося объекта. Изображение переднего плана представляет собой, например, изображение, в котором отображается область переднего плана, как белая, и другая область отображается, как черная. Двоичные значения могут представлять собой значения, выражающие другие цвета, и изображение может представлять собой изображение, в котором соотношение между белым и черным изменено на обратное. В общем, поскольку область, в которой было снято изображение движущегося объекта, выполнена, как область переднего плана в изображении движущегося объекта во многих случаях, изображение переднего плана выделяют, как изображение, в котором значения пикселей разделяют на область, в которой отображают движущийся объект, и другую область в изображении движущегося объекта.
Модуль 34 сохранения ID камеры сохраняет ID камеры, используемый для идентификации камер 11-l - 11-n отслеживания. Таким образом, когда генерируют информацию о движущемся объекте, и информацию о движущемся объекте считывают в модуле 37 вывода информации о движущемся объекте.
Модуль 35 расчета координаты положения формирования изображения рассчитывает глобальные координаты объекта, детектируемого, как движущийся объект, на основе информации, относящейся к изображению, снятому модулем 31 формирования изображения. Таким образом, например, когда положение установки камеры отслеживания распознается с помощью GPS (Глобальная система навигации) (не показана) и т.п., модуль 35 расчета координат положения формирования изображение распознает угол наклона относительно геомагнитных линий в направлении формирования изображения, получает расстояние до объекта, детектируемого, как движущийся объект, на основе размера, положения и т.п.движущегося объекта в пределах изображения, и рассчитывает глобальные координаты на основе такой информации.
Модуль 36 детектирования времени формирования изображения имеет функцию генерирования информации времени, такую как часы реального времени (не показаны), и детектирует, как время формирования изображения, время в моменты времени, в которые снимают каждое из изображений, снятых модулем 31 формирования изображения.
Модуль 37 вывода информации о движущемся объекте генерирует информацию о движущемся объекте, включающую в себя соответствующее изображение переднего плана, ID камеры, глобальные координаты движущегося объекта и время формирования изображения, на основе информации, относящейся к соответствующему изображению переднего плана, ID камеры, глобальных координат движущегося объекта и времени формирования изображения, в отношении каждого из изображений движущегося объекта, выделенных из изображений, снятых модулями 31 формирования изображения, и затем выводит информацию о движущемся объекте в сервер 12 поиска и слежения за человеком через сеть 13.
Первый пример конфигурации сервера поиска и слежения за человеком
Далее первый пример конфигурации сервера 12 поиска и слежения за человеком будет описан со ссылкой на блок-схему на фиг. 3.
Сервер 12 поиска и слежения за человеком выполнен так, что он включает в себя модуль 51 получения информации о движущемся объекте, модуль 52 обработки фильтрации информации о движущемся объекте, модуль 53 сохранения информации о движущемся объекте, модуль 54 обработки расчета вероятности информации о движущемся объекте, модуль 55 определения порогового значения вероятности информации о движущемся объекте, модуль 56 сохранения результата, модуль 57 генерирования отображаемого изображения, модуль 58 дисплея, модуль 59 обработки улучшения сопоставления и модуль 60 ввода операции.
Модуль 51 получения информации о движущемся объекте получает информацию о движущемся объекте, передаваемую из камер 11 отслеживания через сеть 13, временно сохраняет информацию о движущемся объекте, и передает информацию о движущемся объекте в модуль 52 обработки фильтрации информации о движущемся объекте.
Модуль 52 обработки фильтрации информация о движущемся объекте фильтрует информацию о движущемся объекте, подаваемую из модуля 51 получения информации о движущемся объекте в соответствии с заданным условием, выделяет только информацию о движущемся объекте, пригодную для поиска человека, сохраняет выделенную информацию о движущемся объекте в модуле 53 сохранения информации о движущемся объекте, и удаляет непригодную информацию о движущемся объекте.
Более конкретно, модуль 52 обработки фильтрации информации движущегося объект включает в себя модуль 71 определения размера детектируемого кадра, модуль 72 определения смещения переднего плана и модуль 73 определения корреляции переднего плана и заднего плана, модуль 74 определения длины кромки и модуль 75 определения множества людей.
Модуль 71 определения размера детектированного кадра определяет, является ли информация о движущемся объекте информацией о движущемся объекте, пригодной для поиска человека, в зависимости от того, является размер кадра изображения движущегося объекта большим, чем заданный размер. Когда определяют, что информация о движущемся объекте не является информацией о движущемся объекте, пригодной для поиска человека, такую информацию о движущемся объекте удаляют. Заданный размер может быть установлен эмпирически, как минимальный размер, необходимый для поиска человека. Модуль 71 определения размера детектированного кадра может выполнять оценку высоты тела человека, детектированного, как движущийся объект, на основе размера кадра изображения движущегося объекта, и определяет, является ли размер кадра оптимальным размером кадра для поиска человека с полученной оценкой размера тела. Таким образом, считается, что высокий человек не пригоден для поиска человека, поскольку изображение движущегося объекта с малым размером кадра, имеет малое разрешение. С другой стороны, когда человек имеет малый рост, размер кадра изображения движущегося объекта будет малым, и разрешение не будет уменьшено по сравнению с высоким человеком. Поэтому, в этом случае, человек малого роста считается более пригодным для поиска человека.
Модуль 72 определения смещения переднего плана рассчитывает соотношение, в котором область переднего плана изображения переднего плана занимает изображение движущегося объекта. Когда это соотношение больше, чем заданное пороговое отношение, информация о движущемся объекте, включающая в себя изображение движущегося объекта, не рассматривается, как информация о движущемся объекте, пригодная для поиска человека, и, таким образом, ее удаляют. Таким образом, поскольку изображение движущегося объекта, в котором снято только изображение области переднего плана, не является пригодным для поиска человека, информация о движущемся объекте, включающая в себя такое изображение движущегося объекта, не пригодна для поиска человека и, таким образом, ее удаляют.
Модуль 73 определения корреляции переднего плана и заднего плана получает корреляцию между областью переднего плана и областью заднего плана изображения движущегося объекта на основе изображения движущегося объекта и изображения переднего плана. Когда корреляция высока, то есть, область переднего плана, в которой первоначально был произведен поиск человека, изображение, которое требуется снять, представляют собой изображение, которое является практически таким же, как и область заднего плана, информацию о движущемся объекте удаляют. Таким образом, в этом случае, поскольку существует высокая вероятность, что движущийся объект, то есть, человек, не будет снят в области, рассматриваемой, как область переднего плана, изображение движущегося объекта рассматривают, как непригодное для поиска человека, и модуль 73 определения корреляции переднего плана и заднего плана удаляет информацию о движущемся объекте, включающую в себя такое изображение движущегося объекта.
Модуль 74 определения длины кромки генерирует изображение кромки, которое представляет собой границу между изображением переднего плана и изображением заднего плана, на основе изображения переднего плана. Когда длина кромки больше, чем заданная длина, информацию о движущемся объекте, включающую в себя изображение движущегося объекта, рассматривают, как непригодную для поиска человека и, таким образом, ее удаляют. Таким образом, когда человек, который представляет собой движущийся объект, находится в изображении переднего плана, правильно выделенном, как передний план, область, в которой определенно представлено изображение человека, рассматривается, как выделенная из изображения движущегося объекта. Однако когда человек не выделен правильно из изображения движущегося объекта, область переднего плана, во многих случаях, выделяют в форме пятен, независимо от формы человека. Следовательно, поскольку длина кромки, которая представляет собой границу между областью переднего плана и областью заднего плана, становится длинной, модуль 74 определения длины кромки определяет, что информация о движущемся объекте, включающая в себя такое изображение движущегося объекта, не пригодна для поиска человека, и, таким образом, удаляет эту информацию о движущемся объекте.
Модуль 75 определения множества людей генерирует форму колебаний, в которой положение пикселя изображения переднего плана в горизонтальном направлении установлено, как горизонтальная ось, и интегрированное значение для значений пикселя, расположенных в вертикальном направлении, установлено, как вертикальная ось, определяет, является ли информация о движущемся объекте пригодной для поиска человека, в зависимости от того, имеется ли множество значений локального максимума во внешней форме формы колебаний, и затем удаляет информацию о движущемся объекте, не пригодную для поиска человека. Таким образом, когда изображение только одного человека снято в пределах изображения движущегося объекта, получают такую форму колебаний, что положение пикселей в изображении переднего плана в горизонтальном направлении установлено, как горизонтальная ось, и интегрированное значение для значений пикселя, расположенных в вертикальном направлении, установлено, как вертикальная ось, понимают, как форму колебаний, имеющую 1 выпуклую форму и 1 одно локальное значение максимума. Однако когда снято множество людей, количество значений локального максимума зависит от количества людей в этой форме колебаний. Поэтому, в этом случае, информацию о движущемся объекте рассматривают, как не пригодную для поиска человека.
Модуль 53 сохранения информации о движущемся объекте содержит информацию о движущемся объекте, рассматриваемую для поиска человека, в соответствии с модулем 52 обработки фильтрации информации о движущемся объекте, и затем подает эту информацию о движущемся объекте в модуль 54 обработки расчета вероятности информации о движущемся объекте и в модуль 57 генерирования изображения дисплея, в соответствии с необходимостью.
Модуль 54 обработки расчета вероятности информации о движущемся объекте рассчитывает, для каждой части информации о движущемся объекте, вероятность изображения движущегося объекта для изображения движущегося объекта другой информации о движущемся объекте, чем информация о движущемся объекте, представляющем собой критерий, которая представляет собой цель поиска, включающую в себя изображение движущегося объекта информации о движущемся объекте, обозначенной, как цель поиска, в отношении информации о движущемся объекте, которая представляет собой критерий, среди изображений движущегося объекта, включенных в информацию о движущемся объекте, содержащуюся в модуле 53 сохранения информации о движущемся объекте, и затем подает вероятность изображения движущегося объекта в модуль 55 определения порогового значения вероятности информации о движущемся объекте.
Модуль 55 определения порогового значения вероятности информации о движущемся объекте определяет, является ли вероятность изображения движущегося объекта, полученная на основе изображения движущегося объекта, полученного модулем 54 обработки расчета вероятности информации о движущемся объекте, большей, чем пороговое значение, и затем сохраняет информацию о движущемся объекте, включенную в изображение движущегося объекта с более высокой вероятностью изображения движущегося объекта в модуле 56 сохранения результата. Таким образом, модуль 55 определения порогового значения вероятности информации о движущемся объекте выполняет обработку согласования изображения движущегося объекта на основе вероятности изображения движущегося объекта для другой информации о движущемся объекте, чем информации о движущемся объекте критерия, которая представляет собой цель поиска в отношении информации о движущемся объекте критерия и выделяет информацию о движущемся объекте, включенную в изображение движущегося объекта, с более высокой вероятностью изображения движущегося объекта, как информацию, сопоставленную на основе изображения движущегося объекта. Затем модуль 55 определения порогового значения вероятности движущегося объекта сохраняет выделенную информацию о движущемся объекте, как результат сопоставления с информацией движущегося объекта критерия, которая представляет собой цель поиска, в модуле 56 сохранения результата.
Модуль 57 генерирования изображения отображения генерирует изображение отображения для отображения результата поиска и слежения за человеком целью поиска на основе информации о движущемся объекте, сохраненной в модуле 56 сохранения результата, как информации, сопоставленной с информацией движущегося объекта, представляющего собой критерий, устанавливающий человека цели поиска. Затем модуль 57 генерирования изображения отображения отображает сгенерированное изображение отображения в модуле 58 дисплея, выполненном так, что он включает в себя LCD (жидкокристаллический дисплей) или органическую EL (электролюминесценцию). Модуль 58 дисплея отображает изображение отображения и принимает вводимую операцию изображения отображения, выполняемого, используя модуль 60 ввода операции. Модуль 60 ввода операции генерирует сигнал операции, в соответствии с содержанием операции на изображении отображения, используемом, как сенсорная панель или указатель, и подает сигнал операции в модуль 54 обработки расчета вероятности информации о движущемся объекте и в модуль 59 обработки улучшения сопоставления.
Когда пользователь определяет изображение движущегося объекта для человека цели поиска, на основе изображения движущегося объекта, отображаемого в результате поиска и слежения, отображаемого в модуле 58 дисплея, модуль 59 обработки улучшения сопоставления выполняет процесс улучшения сопоставления на основе информации решения, введенной посредством операции модуля 60 ввода операции. Соответствующий модуль 59 обработки улучшения сопоставления снова выполняет процесс сопоставления во время входа информации решения даже после выполнения процесса улучшения сопоставления для повторения процесса сопоставления, всякий раз, когда вводят информацию решения.
Более конкретно, модуль 59 обработки улучшения сопоставления включает в себя модуль 91 распознавания ввода операции, модуль 92 расчета BTF, модуль 93 расчета вероятности время - пространство, модуль 94 определения порогового значения вероятности время - пространство, модуль 95 обработки изображений BTF, модуль 96 расчета вероятности изображения BTF, и модуль 97 определения порогового значения вероятности изображения BTF.
Модуль 91 распознавания ввода операции распознает, что информация решения была введена в отношении выбранной информации о движущемся объекте в результат поиска и слежения, отображаемый в модуле 58 дисплея, на основе сигнала операции модуля 60 ввода операции.
Модуль 92 расчета BTF выполняет сравнение ID камеры изображения движущегося объекта, обозначенного, как цель поиска, и изображения движущегося объекта, поиск которого выполняют посредством процесса сопоставления изображения движущегося объекта или процесса улучшения сопоставления. Когда ID камеры не соответствуют друг другу, модуль 92 расчета BTF рассчитывает BTF (функцию передачи яркости), состоящую в коррекции изменения в цветах изображения, возникающей из-за индивидуальных различий, разности окружающей среды и т.п. между камерами 11 отслеживания, на основе сигнала пикселя между изображениями движущегося объекта, для которых была введена информация о принятии решения, или между изображением движущегося объекта, обозначенным, как цель поиска, и изображением движущегося объекта, для которого была введена информация решения. Таким образом, цвета изображений, снятых разными камерами 11 отслеживания, становятся разными, из-за индивидуальных различий, окружающих различий и т.п., даже когда фактические цвета являются такими же. Однако когда пользователь подтверждает, что изображение движущегося объекта, обозначенное как цель поиска, соответствует изображению движущегося объекта, поиск которого фактически происходит, и вводит информацию решения, определяют, что области, формирующие те же участки в обоих изображениях движущегося объекта, имеют одинаковый цвет. Таким образом, модуль 92 расчета BTF рассчитывает BTF для коррекции цвета изображения движущегося объекта, подтвержденного, как согласованный, путем установки изображения движущегося объекта, в качестве критерия такого соотношения.
Модуль 93 расчета вероятности время пространство получает расстояние движения из разности между глобальными координатами, включенными в информацию о движущемся объекте, для которой введена информация решения, и глобальными координатами, включенными в другую часть информации о движущемся объекте, сохраненной в модуле 56 сохранения результата, и затем рассчитывает вероятность время - пространство информации о движущемся объекте по среднему необходимому фактическому времени для перемещения на расстояние движения при средней скорости движения человека за время между моментами времени формирования изображения информации о движущемся объекте.
Таким образом, когда вероятность время - пространство соответствует отношению времени между моментами времени формирования изображения к среднему фактически необходимому времени, определенному между частями информации о движущемся объекте, при этом вероятность время - пространство рассматривают, как более высокую, когда это соотношение ближе к 1, и вероятность время - пространство рассматривают, как более низкую, когда это соотношение находится дальше от 1. Кроме того, в этом случае, вероятность время - пространство становится существенно меньше, когда отношение ближе к 0, и вероятность время - пространство постепенно становится меньше, когда соотношение превышает 1 и становится больше. Таким образом, когда время между временем формирования изображения близко к 0, движение может быть практически невозможным, по мере увеличения расстояния в пространстве, и, таким образом, вероятность время - пространство становится существенно малой для этого времени. С другой стороны, когда время между моментами времени формирования изображения велико, существует вероятность движения на расстояние в пространстве с меньшей скоростью, чем средняя скорость движения. Вероятность время - пространство в это время меньше, чем вероятность время - пространство, когда соотношение равно 1, но движение может быть реализовано. Таким образом, вероятность время - пространство выше, чем вероятность время - пространство, когда время между моментами времени формирования изображения равно 0.
Модуль 94 определения порогового значения вероятности время - пространство определяет, являются ли значения вероятности время - пространство информации о движущемся объекте, для которой ввели информацию принятия решения, и другая информация о движущемся объекте, сохраненная в модуле 56 сохранения результата, ниже, чем заданное пороговое значение. Когда вероятность время - пространство ниже, чем заданное пороговое значение, информацию о движущемся объекте удаляют из модуля 56 сохранения результата.
Когда вероятность время - пространство не ниже, чем заданное пороговое значение и BTF получают между изображениями движущегося объекта для информации о движущемся объекте, для которой ввели информацию решения, среди частей информации о движущемся объекте, для которой информация решения не была введена и которую сохраняют в модуле 56 сохранения результата, модуль 95 обработки изображений BTF выполняет обработку преобразования цвета BTF для изображения движущегося объекта, включенного в информацию о движущемся объекте.
Модуль 96 расчета вероятности изображения BTF рассчитывает вероятность изображения BTF, которая представляет собой вероятность между изображениями движущегося объекта, используя соответствующие сигналы пикселя, которые представляют собой изображение движущегося объекта информации о движущемся объекте, для которой ввели информацию решения и изображение движущегося объекта, для которого не была введена информация принятия решения, и которую подвергают процессу преобразования цвета BTF.
Модуль 97 определения порогового значения вероятности изображения BTF сравнивает вероятность изображения BTF, рассчитанную модулем 96 расчета вероятности изображения BTF с заданным пороговым значением, и удаляет информацию о движущемся объекте, включающую в себя изображение движущегося объекта, с вероятностью изображения BTF, меньшей, чем заданное пороговое значение, из модуля 56 сохранения результата.
Процесс формирования изображения камерой отслеживания на фиг. 2
Далее, со ссылкой на блок-схему последовательности операций на фиг. 4, будет описан процесс формирования изображений камерой 11 отслеживания по фиг. 2.
На этапе S1 модуль 31 формирования изображения камеры 11 отслеживания последовательно снимает изображения, состоящие из неподвижных изображений или движущегося изображения области отслеживания, которая может отслеживаться в положении установки.
На этапе S2, модуль 32 детектирования движущегося объекта детектирует движущийся объект, путем сравнения предыдущего и последующего изображений относительно каждого из изображений, снятых модулем 31 формирования изображения, и генерирует прямоугольное изображение движущегося объекта, включающие в себя область, в которой присутствует детектируемый движущийся объект. Например, когда изображения, снятые модулем 31 формирования изображения, представляют собой изображения, снятые фиксировано, не происходит какого-либо изменения в области неподвижного переднего плана. С другой стороны, изменение происходит в изображении, из-за любого движения в области, в которой присутствует движущийся объект в пределах изображения. Поэтому, модуль 32 детектирования движущегося объекта детектирует область, в которой происходит изменение, как область, в которой присутствует движущийся объект, и генерирует изображение движущегося объекта, путем обрезки прямоугольного изображения, включающего в себя детектированную область, в которой присутствует движущийся объект.
На этапе S3, модуль 33 выделения изображения переднего плана выделяет изображение переднего плана из изображения движущегося объекта, генерируемого модулем 32 детектирования движущегося объекта, генерирует изображение переднего плана, в котором установлена область переднего плана, например, как белую, и другую область, устанавливают, как черную и которые выражены двоичными значениями.
На этапе S4, модуль 35 расчета координаты положения формирования изображения рассчитывает направление формирования изображения, угол и расстояние на основе положения или размера движущегося объекта, присутствующего в изображении движущего объекта, и рассчитывает глобальные координаты движущегося субъекта, который представляет собой субъект, на основе глобальных координат, в которых установлена камера отслеживания. Таким образом, например, на основе изображения движущегося объекта модуль 35 расчета координаты положения формирования изображения рассчитывает положение координаты, выраженное широтой и долготой, и т.п. движущегося объекта на Земле, в виде глобальных координат.
На этапе S5, модуль 36 детектирования времени формирования изображения детектирует информацию времени в момент времени, в который было снято изображение, как время формирования изображения, на основе информации времени, генерируемой часами реального времени (не показаны).
На этапе S6, модуль 37 вывода информации о движущемся объекте считывает ID камеры из модуля 34 сохранения ID камеры и генерирует изображение движущегося объекта, изображение переднего плана, глобальные координаты и время формирования изображения совместно, как информацию о движущемся объекте.
На этапе S7, модуль 37 вывода информации о движущемся объекте выводит сгенерированную информацию о движущемся объекте в сервер 12 поиска и слежения на человеком через сеть 13, такую как Интернет.
В результате описанных выше процессов снимают изображения для каждой области отслеживания каждой из камер 11 отслеживания, детектируют движущийся объект из снятых изображений, и выделяют изображения движущегося объекта. Затем генерируют информацию о движущемся объекте конфигурируют так, чтобы она включала в себя изображение движущегося объекта и информацию, относящуюся к изображению переднего плана для изображения движущегося объекта, глобальные координаты движущегося объекта в изображении движущегося объекта и время формирования изображения, в которое было снято изображение, и подают в сервер 12 поиска и слежения за человеком.
Процесс фильтрации информации о движущемся объекте
Далее, со ссылкой на блок-схему последовательности операций на фиг. 5, будет описан процесс фильтрации информации о движущемся объекте, выполняемой сервером 12 поиска и слежения за человеком,
На этапе S21, модуль 51 получения информации о движущемся объекте получает и сохраняет информацию о движущемся объекте, подаваемую последовательно из серверов 11 отслеживания через сеть 13.
На этапе S22, модуль 52 обработки фильтрации информации о движущемся объекте устанавливает одну часть необработанной информации о движущемся объекте среди информации о движущемся объекте, сохраненной в модуле 51 получения информации о движущемся объекте, как информацию о движущемся объекте, представляющую интерес, которая представляет собой цель обработки.
На этапе S23, модуль 71 определения размера детектированного кадра выделяет изображение движущегося объекта, включенное в информацию о движущемся объекте, представляющую интерес.
На этапе S24, модуль 71 определения размера детектированного кадра определяет, находится ли размер кадра изображения движущегося объекта информации о движущемся объекте, представляющей интерес, в пределах заданного диапазона. Таким образом, когда размер кадра изображения движущегося объекта мал, например, трудно выделить величину особенностей, используемых для поиска человека, и, поэтому, модуль 71 определения размера детектированного кадра определяет, является ли размер кадра размером кадра в пределах заданного диапазона, для которого можно эффективно выделить величину свойства и т.п., необходимую для поиска человека и который пригоден для поиска человека.
Когда модуль 71 определения размера детектируемого кадра определяет на этапе S24. что размер кадра изображения движущегося объекта информации о движущемся объекте, представляющей интерес, находится в пределах заданного диапазона и рассматривает изображение движущегося объекта, как не являющееся изображением движущегося объекта, не пригодным для поиска человека, обработка переходит на этап S25. И, наоборот, когда на этапе S24 определяют, что размер кадра изображения движущегося объекта для информации о движущемся объекте, представляющей интерес, не находится в пределах заданного размера определения, модуль 52 обработки фильтрации информации о движущемся объекте удаляет информацию о движущемся объекте, представляющую интерес, на этапе S34.
На этапе S25, модуль 72 определения смещения переднего плана выделяет изображение переднего плана из информации о движущемся объекте, представляющей интерес.
На этапе S26, модуль 72 определения смещения рассчитывает отношение, с которым распределение области переднего плана занимает область выделенного изображения переднего плана во всем изображении движущегося объекта и определяет, является ли это отношение большим, чем заданное пороговое значение, и при этом существует смещение в области переднего плана в пределах изображения движущегося объекта. Таким образом, например, в случае изображения движущегося объекта, обозначенного изображением Р1 на фиг. 6 показаны затылок, часть плеча и т.п. человека. В этом случае, изображение переднего плана представляет собой изображение, обозначенное, как изображение Р2 на фиг. 6. В случае изображения Р2, поскольку диапазон, окруженный прямоугольником из прямых линий, имеет большое отношение для области переднего плана, можно сказать, что изображение является несоответствующим для поиска человека. В соответствии с этим, в данном случае, поскольку отношение, при котором распределение области переднего плана занимает больше, чем заданное пороговое значение, и существует смещение в отношении области переднего плана, модуль 72 определения смещения переднего плана рассматривает данное изображение, как не пригодное для поиска человека, и информацию объекта движения, представляющую интерес, удаляют на этапе S34.
И, наоборот, когда отношение области переднего плана к изображению движущегося объекта меньше, чем заданное пороговое отношение, и при этом отсутствует смещение в отношении области переднего плана на этапе S26, на основе информации, относящейся к изображению переднего плана, процесс переходит к этапу S27.
На этапе S27, на основе изображения движущегося объекта и изображения переднего плана, модуль 73 определения корреляции переднего плана и заднего плана рассчитывает корреляцию между белой областью, составляющей область переднего плана, и другой областью, то есть, областью заднего плана в изображении движущегося объекта. Например, модуль 73 определения корреляции переднего плана и заднего плана генерирует гистограмму каждого цвета каждой из области переднего плана и области заднего плана и получает противоположность наибольшей разности между цветами, как корреляцию. В этом случае, чем больше значение корреляции, тем больше корреляция. И, наоборот, чем меньше значение корреляции, тем меньше корреляция.
На этапе S28, модуль 73 определения корреляции переднего плана и заднего плана определяет, является ли полученная корреляция большей, чем заданное пороговое значение, то есть, не происходит изменение в изображении переднего плана и изображении заднего плана, и передний план не рассматривается, как движущийся объект. Например, на этапе S28, когда изображение движущегося объекта представляет собой изображение Р11, и изображение переднего плана представляет собой изображение Р12, как показано на фиг. 7, корреляция между белой областью и черной областью рассматривается, как высокая, и при этом не считается, что присутствует движущийся объект, как показано в изображении Р12. Поэтому, модуль 73 определения корреляции переднего плана и заднего плана рассматривает значение корреляции, как большее, чем заданное пороговое значение, и, таким образом, информацию движущего объекта, представляющую интерес, удаляют на этапе S34.
Изображение движущегося объекта Р11 и изображение Р12 переднего плана, представленные на фиг. 7, возникают, например, когда движущийся объект, который представляет собой человека, присутствует в течение длительного времени в одном и том же положении в диапазоне формирования изображения, и область, в которой сформировано изображение человека, таким образом, рассматривают, как область изображения заднего плана, и следовательно, человек движется за пределами диапазона формирования изображения, и область, в которой присутствует человек вплоть до этого времени, детектируют, как движущийся объект. Таким образом, поскольку человек присутствует в течение длительного времени в области, обозначенной белым в изображении Р12 переднего плана, эту область рассматривают, как изображение заднего плана, включающее в себя область, в которой присутствует человек. После того, когда человек движется за пределы области формирования изображения, белая область изображения переднего плана, в котором присутствовал человек вплоть до этого времени, рассматривается, как область, в которой присутствует движущийся объект. Поэтому, изображение Р11 движущегося объекта становится изображением, полученным последовательно путем детектирования движущегося объекта, независимо от факта, что человек, который первоначально должен представлять собой движущийся объект, не присутствует.
И, наоборот, когда значение корреляции меньше, чем заданное пороговое значение, движущийся объект присутствует в области переднего плана, и другая область, таким образом, рассматривается, как область заднего плана на этапе S28, процесс переходит на этап S29.
На этапе S29, модуль 74 определения длины кромки получает изображение кромки, сформированное границей между изображением переднего плана и изображением заднего плана на основе изображения переднего плана, и получает длину кромки, которая представляет собой длину кромки, включенную в полученное изображение кромки.
На этапе S3 0, модуль 74 определения длины кромки определяет, является ли полученная длина кромки меньшей, чем заданное пороговое значение. Когда длина кромки не короче, чем заданное пороговое значение, обработка переходит на этап S34 и информацию, представляющую интерес, удаляют. Таким образом, например, когда изображение представляет собой черное изображение человека, как показано в изображении Р21 на фиг. 8, цвет одежды человека аналогичен цвету заднего плана, область переднего плана, таким образом, не выделена правильно, и изображение переднего плана может стать изображением, таким как изображение Р22. Как показано в изображении Р22, когда выделяют область переднего плана в форме пятен, область переднего плана становится не пригодной для поиска человека. В этом случае, когда изображение кромки выделяют на основе изображения Р22, которое представляет собой изображение переднего плана, это изображение показано так, как изображение Р23. В этом случае, поскольку область переднего плана получают в форме пятен, длина кромки становится большей. В соответствии с этим, когда длину кромки получают на основе изображение кромки и когда она длиннее, чем заданное пороговое значение, область правильного переднего плана, рассматривают, как не полученную, и информацию о движущемся объекте, представляющую интерес, таким образом, удаляют.
И, наоборот, когда рассматривают, что длина кромки короче, чем заданная длина на этапе S30, обработка переходит на этап S31.
На этапе S31, модуль 75 определения множества людей выделяет изображение переднего плана и генерирует вектор, в котором сумму значений пикселя, присутствующую в вертикальном направлении для каждого положения координат в горизонтальном направлении устанавливают, как компонент. Таким образом, когда изображение переднего плана, соответствующее изображению движущегося объекта, показанному в изображении Р31 на фиг. 9, представляет собой изображение Р32, получают форму колебаний, в которой положение координаты изображения переднего плана в горизонтальном направлении устанавливают, как горизонтальную ось, и сумму значений пикселя в вертикальном направлении для каждого положения координат в горизонтальном направлении устанавливают как вертикальную ось, как показано выше в изображении Р32. В соответствии с этим, модуль 75 определения множества людей рассчитывает вектор V, соответствующий этой форме колебаний. Например, когда координаты изображения переднего плана выражены, как (x, y) (где x=x1, х2, х3 …, xn и y=y1, y2, y3 …, xm), и значения пикселей изображения переднего плана выражены, как Р (x, y), полученный вектор V выражается следующим образом.
Figure 00000001
На этапе S32 модуль 75 определения множества людей рассчитывает корреляцию между вектором V и вектором V1, когда сформировано изображение одного человека в пределах изображения движущегося объекта и определяет, является ли рассчитанная корреляция большей, чем заданное пороговое значение. Таким образом, как показано в изображении Р31 на фиг. 9, когда формируют изображение одного человека, как изображение движущегося объекта, форма колебаний, в которой положение координат изображения Р32 переднего плана в горизонтальном направлении установлено, как горизонтальная ось, и сумма значений пикселя в вертикальном направлении для каждого положения координаты в горизонтальном направлении установлена, как вертикальная ось, имеет одно локальное максимальное значение и также имеет внешнюю форму с одной выпуклой формой колебаний. С другой стороны, например, как показано в изображении Р41, когда формируют изображение 4 человека, изображение Р42 получают, как изображение переднего плана. Поэтому, как показано выше в изображении Р42, форма колебаний с суммой значений пикселей в вертикальном направлении для каждого положения координаты в горизонтальном направлении имеет 4 локальных значения максимума, соответствующие количеству людей, и также имеет внешнюю форму с 4 выпуклыми формами колебаний.
Поскольку описанный выше вектор V соответствует форме колебаний с внешней формой формы колебаний, вектор V1 во время формирования изображений одного человека соответствует форме колебаний, которая имеет одно значение локального максимума и также имеет выпуклую форму колебаний, как показано выше в изображении Р32, и, таким образом, корреляция становится высокой. С другой стороны, в случае изображения переднего плана, в котором сформированы изображения множества человек, множество локальных значений максимума включено, и внешняя форма с множеством выпуклых форм колебаний сформирована, как показано выше в изображении Р42. Поэтому, корреляция между вектором V и вектором V1 становится низкой.
В соответствии с этим, когда расчетная корреляция не превышает заданное пороговое значение на этапе S3 2, модуль 75 определения множества людей рассматривает множество людей, которые должны быть включены в изображение движущегося объекта, и, таким образом, процесс переходит на этап S34, и информацию о движущемся объекте, представляющую интерес, удаляют.
И, наоборот, когда расчетная корреляция выше, чем заданное пороговое значение на этапе S32, рассматривают только одного человека, для включения изображения движущегося объекта, и процесс переходит на этап S33.
На этапе S33, модуль 52 обработки фильтрации информации о движущемся объекте рассматривает информацию о движущемся объекте, представляющую интерес, как информацию о движущемся объекте, пригодную для поиска человека, и содержит информацию о движущемся объекте, представляющую интерес, в модуле 53 сохранения информации о движущемся объекте.
На этапе S35, модуль 52 обработки фильтрации информации о движущемся объекте определяет, имеется ли необработанная информация о движущемся объекте в модуле 51 получения информации о движущемся объекте. Когда присутствует необработанная информация о движущемся объекте, процесс возвращается на этап S22. Таким образом, пока присутствует необработанная информация о движущемся объекте, процессы на этапах S22-S35 повторяются. Кроме того, когда на этапе S35 определяют, что имеется необработанная информация о движущемся объекте, процесс заканчивается.
Таким образом, в результате описанных выше процессов, для информации о движущемся объекте, последовательно подаваемой из камер 11 отслеживания, только изображение движущегося объекта, в котором размер кадра находится в пределах заданного диапазона, в котором отсутствует смещение в изображении переднего плана, корреляция между изображением переднего плана и изображением заднего плана меньше, чем заданное пороговое значение, длина кромки в изображении кромки для изображения переднего плана короче, чем заданная длина, и предполагается формирование изображения только одного человека, рассматривается, как изображение движущегося объекта, пригодное для поиска человека, и только информация о движущемся объекте, включающая в себя такое изображение движущегося объекта, содержится, как информация о движущемся объекте, пригодная для поиска человека, в модуле 53 сохранения информации о движущемся объекте в процессе фильтрации информации о движущемся объекте.
Например, когда изображения движущегося объекта, включенные в информацию о движущемся объекте, передаваемую из камер 11 отслеживания, представляют собой изображения Р101-Р118 движущегося объекта, как показано в состоянии L1, представленном на фиг. 10, информацию о движущемся объекте фильтруют через процесс фильтрации информации о движущемся объекте следующим образом.
В ходе процессов на этапах S23 и S24, как показано в состоянии L2, информацию о движущемся объекте, включающую в себя изображения Р106, Р107 и Р112 движущегося объекта, в которых размер кадра не находится в пределах заданного диапазона, и размер кадра является малым, и которые вычерчены диагональными линиями на чертеже, удаляют, и, таким образом, остается информация о движущемся объекте, включающая в себя изображения движущегося объекта, в состоянии L3.
Затем, в результате обработки на этапах S25 и S26, как показано в состоянии L3, информацию о движущемся объекте, включающую в себя изображения Р104, Р105, Р110 и Р115 движущегося объекта, в которых имеется смещение в изображениях переднего плана, и отношение области переднего плана является высоким, удаляют, и, таким образом, остается информация о движущемся объекте, включающая в себя изображения движущегося объекта, показанные в состоянии L4.
Кроме того, в результате обработки на этапах S27 и S28, как показано в состоянии L4, информация о движущемся объекте, включающая в себя изображения Р101, Р117 и Р118 движущегося объект, в которых корреляция между изображением переднего плана и изображением заднего плана является высокой, и в которые редко будет включен человек, который представляет собой движущийся объект, удаляют, и, таким образом, остается информация о движущемся объекте, включающая в себя изображения движущегося объекта, показанные в состоянии L5. Изображение Р118 движущегося объекта представляет собой изображение, соответствующее изображению Р11 на фиг. 7, и изображение переднего плана представляет собой Р12.
В результате обработки на этапах S29 и S30, как показано в состоянии L5, информацию о движущемся объекте, включающую в себя изображение Р108 движущегося объекта, в котором область переднего плана изображения переднего плана неправильно выделена, удаляют, и, таким образом, остается информация о движущемся объекте, включающая в себя изображения движущегося объекта, показанные в состоянии L6. Изображение Р108 движущегося объекта представляет собой изображение, соответствующее изображению Р21 на фиг. 8.
Кроме того, в результате обработки на этапах S31 и S32, как показано в состоянии L6, информацию о движущемся объекте, включающую в себя изображения Р103, Р111 и Р116 движущегося объекта, в которых отображены множество людей, уничтожены, удаляют, и, таким образом, остается информация о движущемся объекте, включающая в себя изображения движущегося объекта, показанные в состоянии L7.
Таким образом, среди изображений Р101-Р118 движущегося объекта, подаваемых из камер 11 отслеживания, только информация движущего объекта, включающая в себя изображения Р102, Р109, Р113, Р114 движущего объекта и оптимальные для поиска человека, сохраняют в модуле 53 сохранения информации о движущемся объекте.
В результате, поскольку возможно, что только информацию о движущемся объекте, включающая в себя изображения движущегося объекта, пригодные для поиска человека, фильтруют через процесс фильтрации информации о движущемся объекте и сохраняют в модуле 53 сохранения информации о движущемся объекте, возможно улучшить точность поиска человека. В результате удаления информации о движущемся объекте, непригодной для поиска человека, становится возможным быстро выполнять процесс сопоставления информации о движущемся объекте, которая необходима для поиска человека и которая будет описана ниже со ссылкой на фиг. 11.
Процесс сопоставления информации о движущемся объекте
Далее процесс сопоставления информации о движущемся объекте, выполняемый сервером 12 поиска и слежения за человеком, будет описан со ссылкой на блок-схему последовательности операций на фиг. 11.
На этапе S51 модуль 57 генерирования изображения отображения отображает список изображение движущегося объекта в информации о движущемся объекте, содержащийся в модуле 53 сохранения информации о движущемся объекте в модуле 58 дисплея, и отображает изображение отображения для подсказки выбора изображения движущегося объекта, обозначающего человека цели поиска.
На этапе S52, модуль 54 обработки расчета вероятности информации о движущемся объекте определяет, выполняется ли операция с модулем 60 ввода операции, и выбирает изображение движущегося объекта, обозначающего человека цели поиска. Когда изображение движущегося объекта, обозначающее человека цели поиска, не выбрано, процесс возвращается на этап S51. Таким образом, до тех пор, пока не будет обозначен человек цели поиска, процессы на этапах S51 и S52 повторяются. Затем, когда изображение движущегося объекта, обозначающее человека цели поиска, будет обозначено на этапе S52, процесс переходит на этап S53.
На этапе S53, модуль 54 обработки расчета вероятности информации о движущемся объекте устанавливает, в качестве критерия информации о движущемся объекте информацию о движущемся объекте, соответствующую изображению движущегося объекта, обозначенному, как цель поиска, в информации о движущемся объекте, содержащейся в модуле 53 сохранения информации о движущемся объекте, и устанавливает другую информацию о движущемся объекте, как необработанную информацию о движущемся объекте.
На этапе S54, модуль 54 обработки расчета вероятности информации о движущемся объекте считывает одну часть необработанной информации о движущемся объекте, содержащийся в модуле 53 сохранения информации о движущемся объекте и устанавливает считанную информацию о движущемся объекте, как информацию о движущемся объекте, представляющую интерес.
На этапе S55, модуль 54 обработки расчета вероятности информации о движущемся объекте рассчитывает вероятность изображения движущегося объекта, которая представляет собой вероятность между изображением движущегося объекта, включенным в информацию о движущемся объекте, в соответствии с критерием, и изображения движущегося объекта, включенного в информацию о движущемся объекте, представляющую интерес, и подает рассчитанную вероятность изображения движущегося объекта вместе информацией движущегося объекта, представляющей интерес, в модуль 55 определения порогового значения вероятности изображения движущегося объекта. Таким образом, например, модуль 54 обработки расчета вероятности информации о движущемся объекте рассчитывает вероятность изображения движущегося объекта на основе степени схожести, которая выше, поскольку люди, изображение которых сформировано в информации о движущемся объекте, в соответствии с критерием, и информации о движущемся объекте, представляющей интерес, в большей степени похожи друг на друга.
На этапе S56, модуль 55 определения порогового значения вероятности изображения движущегося объекта определяет, является ли вероятность переданного изображения больше, чем заданное пороговое значение. Таким образом, модуль 55 определения порогового значения вероятности изображения движущегося объекта определяет, соответствуют ли друг другу люди изображений движущегося объекта, в соответствии с информацией движущегося объекта, представляющей собой критерий, и информацией движущегося объекта, представляющей интерес, на основе, является ли вероятность изображения движущегося объекта большей, чем заданное пороговое значение. Когда на этапе S56 считается, что вероятность изображения движущегося объекта больше, чем заданное пороговое значение, и люди изображения движущихся объектов информации о движущемся объекте критерии, и информации о движущемся объекте, представляющей интерес, соответствуют друг другу (согласуются друг с другом), процесс переходит на этап S57.
На этапе S57, модуль 55 определения порогового значения вероятности изображения движущегося объекта сохраняет информацию о движущемся объекте, представляющую интерес, в модуле 56 сохранения результата. В это время, модуль 54 обработки расчета вероятности информации о движущемся объекте устанавливает информацию о движущемся объекте, представляющую интерес, содержащуюся в модуле 53 сохранения информации о движущемся объекте, как обработанную информацию о движущемся объекте.
И, наоборот, когда на этапе S56 рассматривают, что вероятность изображения движущегося объекта не выше, чем заданное пороговое значение и люди изображений движущегося объекта информации о движущемся объекте критерии и информации о движущемся объекте, представляющей интерес, не соответствуют друг другу (не согласуются друг с другом), процесс переходит на этап S59.
На этапе S59, модуль 55 определения порогового значения вероятности изображения движущегося объекта удаляет информацию о движущемся объекте, представляющую интерес. Затем модуль 54 обработки расчета вероятности информации о движущемся объекте устанавливает информацию о движущемся объекте, представляющую интерес, содержащуюся в модуле 53 сохранения информации о движущемся объекте, как обработанную информацию о движущемся объекте.
На этапе S58, модуль 54 обработки расчета вероятности информации о движущемся объекте определяет, содержится ли необработанная информация о движущемся объекте в модуле 53 сохранения информации о движущемся объекте. Например, когда содержится необработанная информация о движущемся объекте, процесс переходит на этап S54. Таким образом, до тех пор, пока отсутствует необработанная информация о движущемся объекте в модуле 53 сохранения информации о движущемся объекте, обработка на этапах S54-S59 повторяется так, что процесс сопоставления повторяется для изображений движущегося объекта для всей из информации о движущемся объекте и информации о движущемся объекте критерии.
Когда на этапе S58 определяют, что необработанная информация о движущемся объекте рассматривается, как информация, которую не следует сохранять в модуле 53 сохранения информации о движущемся объекте, обработка переходит на этап S60.
На этапе S60 модуль 57 генерирования изображения отображения генерирует изображение отображения, обозначающее результат поиска и слежения на основе информации о движущемся объекте в модуле 56 сохранения результата.
На этапе S61 модуль 57 генерирования изображения отображения отображает изображение отображения, обозначающее результат поиска и слежения, в модуле 58 дисплея. Изображение отображения, обозначающее результат поиска и слежения, представляет собой, например, изображение Р201, как представлено на фиг. 12.
В изображении Р201, представленном на фиг. 12, отметки А-Е, обозначающие положения, в которых было снято изображение движущегося объекта одного и того же человека, в качестве человека цели поиска, отображаются в положениях, соответствующих глобальным координатам в области Z отслеживания на основе информации о движущемся объекте, сохраненной в модуле 56 сохранения результата. Области Z1 и Z2 обозначают объекты в пределах области отслеживания. Время отображения, в которое было снято изображение движущегося объекта, включенное в каждую из частей информации о движущемся объекте, отображают выше каждой из отметок А-Е, которые обозначают положения, в которых детектировали человека, рассматриваемого, как цель поиска. В данном случае моменты времени формирования изображения в отметках А-Е представлены, как 1:00:00, 1:00:05, 1:00:09, 1:00:18 и 1:00:20. Кроме того, изображения движущегося объекта, снятые в этих положениях, прикрепляют к отметкам А-Е ведущими линиями, и, таким образом, изображения PA-РЕ движущегося объекта прикрепляют к отметкам А-Е, соответственно.
Когда изображение Р201, обозначающее результат поиска и слежения, отображают, пользователь может распознавать, в какое время человек, обозначенный, как цель поиска, проходит через положения, обозначенные отметками В, С, D и Е в указанном порядке из положения, обозначенного отметкой А.
Когда пользователь визуально подтверждает изображения PA-РЕ движущегося объекта, отображаемые в состоянии, соединенном ведущими линиями из отметок А-Е в изображении Р201 отображения, и подтверждает, что человек представляет собой цель поиска, пользователь может вводить информацию о принятии решения путем выбора с помощью модуля 60 ввода операции. Когда вводят информацию решения, может быть выполнен процесс улучшения сопоставления, который будет описан ниже со ссылкой на блок-схемы последовательности операций на фиг. 13, и результат поиска и слежения может быть улучшен так, что результат поиска и слежения может быть получен с большей точностью.
Здесь будет представлено описание, относящееся снова к блок-схеме последовательности операций, показанной на фиг. 11.
На этапе S62, модуль 59 обработки улучшения сопоставления определяет, было ли выбрано одно из изображений PA-РЕ движущегося объекта, показанных в изображении Р201 отображения, на основе информации, относящейся к изображению Р201 отображения, переданной из модуля 57 генерирования изображения отображения, и сигнал операции, подаваемый из модуля 60 ввода операции, информацию решения, вводят, и поступает инструкция на выполнение процесса улучшения сопоставления.
Когда одно из изображений PA-РЕ движущегося объекта, представленных в изображении Р201 отображения, выбирают и информацию решения вводят на этапе S62, считается, что поступила инструкция на выполнение процесса улучшения сопоставления, и обработка переходит на этап S63.
На этапе S63, модуль 59 обработки улучшения сопоставления выполняет обработку улучшения сопоставления и отображает результат поиска отслеживания человека, подвергнутый процессу улучшения сопоставления. Процесс улучшения сопоставления будет подробно описан ниже со ссылкой на фиг. 13.
На этапе S64 модуль 59 обработки улучшения сопоставления определяет, поступила ли инструкция на окончание обработки. Когда инструкция на окончание обработки не поступила, обработка возвращается на этап S61. Таким образом, экран Р201 дисплея, обозначающий результат поиска и слежения за человеком, постоянно отображается в модуле 58 дисплея. И, наоборот, когда на этапе S64 поступает инструкция на окончание обработки, обработка заканчивается.
Путем простого обозначения изображения движущегося объекта человека цели поиска в ходе описанного выше процесса сопоставления информации о движущемся объекте становится возможным выполнять поиск информации о движущемся объекте, которая соответствует человеку цели поиска, на основе изображения движущегося объекта, и отображать результат поиска и слежения, обозначающей путь движения человека цели поиска из информации о движущемся объекте, которая представляет собой результат поиска. Выше был описан пример, в котором, когда обозначают человека цели поиска, этого человека обозначают в изображении движущегося объекта информации о движущемся объекте, содержащейся в модуле 53 сохранения информации о движущемся объекте. Однако, человек цели поиска может быть обозначен путем обеспечения возможности отдельного ввода изображения, другого, чем изображения, снятые камерами 11 отслеживания, и обработки этого изображения таким же образом, как изображения движущегося объекта.
Процесс улучшения сопоставления по фиг. 11
Далее, со ссылкой на блок-схему последовательности операций на фиг. 13 будет описан процесс улучшения сопоставления по фиг. 11, выполняемый сервером 12 поиска и слежения за человеком.
На этапе S81 модуль 59 обработки улучшения сопоставления сохраняет информацию, обозначающую, что изображение движущегося объекта, для которого была введена информация принятия решении модулем 60 ввода операции, включена в ассоциации с информацией движущегося объекта. Поскольку определяют, что информация движущегося объекта, для которой была введена информация решения, представляет собой информацию о движущемся объекте, соответствующим образом выделенную в процессе сопоставления изображения движущегося объекта, эту информацию о движущемся объекте исключают из цели поиска и постоянно содержат в модуле 53 сохранения результата при последующей обработке.
На этапе S82, модуль 59 обработки улучшения сопоставления устанавливает, как необработанную информацию о движущемся объекте, всю информацию движущихся объектов, для которой информация решения не была введена, среди информации о движущемся объекте, сохраненной в модуле 56 сохранения результата.
На этапе S83, модуль 59 обработки улучшения сопоставления устанавливает, как информацию о движущемся объекте критерия, информацию о движущемся объекте, для которой информация решения была введена недавно среди информации о движущемся объекте, сохраненной в модуле 56 содержания результата.
На этапе S84, модуль 92 расчета BTF определяет, можно ли рассчитать BTF. На этапе S84, первое условие возможности расчета BTF представляет собой случай, в котором присутствует информация о движущемся объекте, включающая в себя другое изображение движущегося объекта, которое имеет ID камеры, отличный от ID камеры, включенный в информацию о движущемся объекте критерия, и для которой была введена информация решения. Второе условие возможности расчета BTF представляет собой случай, в котором существуют два или больше изображения движущегося объекта, для которых была введена информация решения, и изображения движущегося объекта снимают с помощью разных камер 11 отслеживания с разными ID камеры. В соответствии с этим, на основе того, присутствует или нет информация о движущемся объекте, удовлетворяющая одному из представленных выше двух условий, в модуле 56 сохранения результата, модуль 92 расчета BTF определяет, может ли быть рассчитана BTF. Когда BTF может быть рассчитана на этапе S84, модуль 92 расчета BTF рассчитывает BTF, выполняя процесс расчета BTF, используя информацию, относящуюся к значениям пикселя между изображениями движущегося объекта, для которых была введена информация решения, несмотря на разные ID камеры или изображения движущегося объекта, включенные в информацию о движущемся объекте критерия на этапе S85. BTF представляет собой функцию, обозначающую соотношение взаимного соответствия между цветами изображений движущегося объекта, включающими в себя один и тот же субъект, снятый с помощью камер 11 отслеживания, обозначенных двумя разными ID камеры. В соответствии с этим, когда рассчитывают BTF, коррекция цвета может быть выполнена, при выполнении преобразования цвета для одного из изображений движущегося объекта, снятых двумя камерами 11 отслеживания с разными ID камеры, используя BTF, независимо от того, присутствует ли информация решения. В ходе процесса коррекции цвета возможно корректировать изменение цвета, возникающее из-за разности окружающего света при съемке изображения в области отслеживания между разными камерами 11 отслеживания или в соответствии с индивидуальными различиями и т.п.датчика изображения модуля 31 формирования изображения. В результате, изображения движущегося объекта, снятые двумя разными камерами 11 отслеживания, подвергают коррекции цвета, как если бы изображения движущегося объекта были сняты одной и той же камерой 11 отслеживания. Поэтому, становится возможным более точно рассчитать вероятность изображения движущегося объекта между двумя изображениями движущегося объекта.
Детали процесса расчета BTF можно найти в публикации "Appearance modeling for tracking in multiple non-overlapping cameras" by O. Javed, K. Shafique and M. Shah, In IEEE Int. Conf. on Computer Vision and Pattern Recognition pp.26 to 33, 2005.
С другой стороны, когда изображение движущегося объекта, для которого была введена информация решения, снимают с помощью одного типа камеры 11 отслеживания на этапе S84, BTF считается, как не пригодное для расчета, и обработку на этапе S85 пропускают.
На этапе S86, модуль 93 расчета вероятности время - пространство устанавливает, как информацию о движущемся объекте, представляющую интерес, одну часть необработанной информации о движущемся объекте среди информации о движущемся объекте, которая сохранена в модуле 56 сохранения результата, и представляет собой информацию о движущемся объекте, исключающую информацию о движущемся объекте критерия.
На этапе S87 модуль 93 расчета вероятности время - пространство рассчитывает вероятность время - пространство, на основе информации, относящейся к глобальным координатам, и времени формирования изображения, обозначенного в информации о движущемся объекте критерия, и информации о движущемся объекте, представляющей интерес. Более конкретно, например, модуль 93 расчета вероятности время - пространство получает расстояние движения по разности между глобальными координатами, включенными в информацию о движущемся объекте критерия и глобальными координатами, включенными в информацию о движущемся объекте, представляющую интерес, и рассчитывает вероятность время - пространство для информации о движущемся объекте на основе соотношения времени между временем формирования изображения информации о движущемся объекте для усреднения необходимого фактического времени, потребовавшегося для перемещения на расстояние движения при средней скорости движения человека.
На этапе S88, модуль 94 определения порогового значения вероятности время - пространство определяет, является ли расчетная вероятность время - пространство большей, чем заданное пороговое значение. Например, когда изображение отображения, обозначающее результат поиска и слежения за человеком, представляет собой изображение отображения, представленное в верхней части на фиг. 14, как обозначено рукой H1, изображение РА движущегося объекта, соответствующее отметке А, выбирают с помощью модуля 60 ввода операции, и вводят информацию решения, информация о движущемся объекте, соответствующая отметке А, становится информацией движущегося объекта критерия. В случае изображения отображения по фиг. 14, время формирования изображения представляет собой 1:00:00, 1:00:05, 1:00:10, 1:00:15 и 1:00:05 для отметок А-Е, соответствующих информации о движущемся объекте, соответственно. Отметки А и В представляют информацию о движущемся объекте, соответствующую изображениям РА и РВ движущегося объекта, снятых той же камерой 11 отслеживания, что и изображение области CamA формирования изображения, обозначенной треугольником, вычерченным той же пунктирной линией. Аналогично, отметки С и D представляют собой информацию о движущемся объекте, соответствующую изображениям PC и PD движущегося объекта, снятым той же камерой 11 отслеживания, которая формирует изображение в области CamB формирования изображения, обозначенной треугольником, вычерченным пунктирной линией. Кроме того, отметка Е представляет собой информацию о движущемся объекте, соответствующую изображению РЕ движущегося объекта, снятому камерой 11 отслеживания, которая формирует изображение области CamC формирования изображения, обозначенной треугольником, вычерченным пунктирной линией.
В этом случае, когда информация о движущемся объекте, соответствующая отметке В, представляет собой информацию о движущемся объекте, представляющую интерес, и когда предполагается, что расстояние между отметками А и В составляет расстояние АВ, отношение времени между моментами времени формирования изображения информации о движущемся объекте для усреднения времени, необходимого для перемещения на расстояние движения при средней скорости движения человека составляет 5/(AB/w). Здесь w обозначает среднюю скорость движения человека. Например, когда расстояние АВ составляет 5 м, и средняя скорость движения человека составляет 1 м/с, отношение равно 1, и вероятность время - пространство имеет наибольшее значение. Аналогично, когда информация о движущемся объекте, соответствующая отметкам С и D, представляет собой информацию о движущемся объекте, представляющую интерес, и когда предполагается, что расстояние между отметками А и С, и между отметками А, и D, представляет собой расстояние АС и расстояние AD, отношения времен между моментами времени формирования изображения информации о движущемся объекте к среднему необходимому времени, требуемому для перемещения на расстояние движения при средней скорости движения человека составляет 10/(AC/w) и 15/(AD/w), соответственно. Например, когда расстояние АС и AD составляет 10 м и 15 м, соответственно, и средняя скорость движения человека составляет 1 м/с, все отношения равны 1, и вероятность время - пространство имеет наибольшее значение.
Таким образом, когда вероятность время - пространство имеет наибольшее значение на этапе S88, модуль 94 определения порогового значения вероятности время - пространство рассматривает вероятность время - пространство, как большую, чем заданное пороговое значение, и обработка переходит на этап S89.
С другой стороны, когда информация о движущемся объекте, соответствующая отметке Е, представляет собой информацию о движущемся объекте, представляющую интерес, и предполагается, что расстояние между отметками А, и Е, составляет расстояние АЕ, отношение времени между моментами формирования изображение информации о движущемся объекте к среднему необходимому фактическому времени, требуемому для перемещения на расстояние движения при средней скорости движения человека составляет 5/(AE/w). Таким образом, например, когда расстояние АЕ составляет 25 м, и средняя скорость движения человека составляет 1 м/с, требуется приблизительно 5 секунд для перемещения на 25 м. Поэтому, отношение равно 0,2, и вероятность время - пространство имеет низкое значение. Когда вероятность время - пространство является низкой на этапе S88, модуль 94 определения порогового значения вероятности время - пространство рассматривает вероятность время - пространство, как более низкую, чем заданное пороговое значение, и обработка переходит на этап S96.
На этапе S96, модуль 59 обработки улучшения сопоставления удаляет информацию о движущемся объекте, представляющую интерес, из модуля 56 сохранения результата. Таким образом, когда изображение, обозначающее результата поиска и слежения, представленного в изображении Р211 на фиг. 14, отображается, и информацию решения вводят в изображение РА движущегося объекта, соответствующего отметке А, информацию отметки Е движущегося объекта, в которой тот же человек не может находиться, удаляют, как показано в таблице, представленной ниже изображения отображения фиг. 14, на основе информации время - пространство. Поскольку результат поиска и слежения, ошибочно детектированный в процессе сопоставления информации о движущемся объекте, используя только изображения движущегося объекта, может быть исключен в этих процессах, можно реализовать поиск и слежение за человеком для человека цели поиска с более высокой точностью.
На этапе S89, модуль 95 обработки изображений BTF определяет, получено ли BTF. Например, когда BTF не получено, процесс переходит на этап S93.
На этапе S93, модуль 59 обработки улучшения сопоставления устанавливает, как завершение обработки, информацию о движущемся объекте, которая представляет собой информацию о движущемся объекте, представляющую интерес, среди информации о движущемся объекте, сохраненной в модуле 56 сохранения результата.
На этапе S94, модуль 57 генерирования изображения отображения отражает результат обновления модуля 56 содержания результата, обновляет и генерирует изображение, обозначающее результат поиска и слежения, и отображает изображение в модуле 58 дисплея. Таким образом, например, как показано на экране дисплея в верхней части на фиг. 15, отображение, соответствующее отметке Е, удаляют и отображают это. На фиг. 15, для обозначения того, что отображение было удалено, представлен знак в виде перечеркнутой метки. Однако, на практике, само отображение удаляют.
На этапе S95, модуль 93 расчета вероятности время - пространство определяет, имеется ли необработанная информация о движущемся объекте среди информации о движущемся объекте, которая сохранена в модуле 56 содержания результата, и представляет собой информацию о движущемся объекте, исключающую информацию о движущемся объекте критерия. Когда присутствует необработанная информация о движущемся объекте, процесс возвращается на этап S86. Таким образом, процессы на этапах S86-S96 повторяют до тех пор, пока присутствует необработанная информация о движущемся объекте. Затем, когда на этапе S95 считают, что необработанная информация о движущемся объекте отсутствует, обработка переходит на этап S97.
На этапе S97, модуль 91 распознавания ввода операции определяет, поступила ли дополнительно инструкция на выполнение процесса улучшения сопоставления, когда работает модуль 60 ввода операции, выбирают изображение движущегося объекта, соответствующее одной части информации о движущемся объекте, и вводят информацию решения. Например, как обозначено рукой Н2 на фиг. 15, когда работает модуль 60 ввода операции, выбирают изображение PC движущегося объекта, соответствующее отметке С, и информацию решения вводят на этапе S97, процесс возвращается на этап S81, и дополнительно выполняют процесс улучшения сопоставления.
В это время, на этапе S84, BTF можно рассматривать, как пригодную для расчета, поскольку изображения движущегося объекта, для которых была введена информация решения, представляет собой два изображения РА и PC движущегося объекта и идентификаторы камеры, идентифицирующие камеры 11 отслеживания, снимающие изображения движущегося объекта, отличаются друг от друга.
В соответствии с этим, в этом случае, на этапе S85, модуль 92 расчета BTF рассчитывает BTF, используя изображение PC движущегося объекта, состоящее из информации о движущемся объекте, соответствующей отметке С, и изображение РА движущегося объекта для информации о движущемся объекте, соответствующей отметке А. В этом случае, поскольку информация о движущемся объекте критерия представляет собой информацию о движущемся объекте для изображения PC движущегося объекта, соответствующего отметке С, предполагается, что полученный BTF представляет собой функцию, используемую для коррекции изменения цвета изображения РА движущегося объекта, снятого камерой 11 отслеживания, формирующей изображения области CamA формирования изображения, используя цвет изображения PC движущегося объекта, снятого камерой 11 отслеживания, которая формирует изображения области CamB формирования изображения, в качестве критерия.
В результате, когда информация о движущемся объекте, представляющая интерес, представляет собой информацию о движущемся объекте, соответствующую изображению РВ движущегося объекта, снятому в области CamA формирования изображения, считается, что BTF была получена на этапе S89, и, таким образом, обработка переходит на этап S90.
На этапе S90, модуль 95 обработки изображений BTF выполняет коррекцию цвета путем преобразования цвета изображения движущегося объекта информации о движущемся объекте, представляющей интерес, используя расчетную BTF. Таким образом, в данном случае, модуль 95 обработки изображений BTF выполняет коррекцию цвета, так, чтобы он соответствовал цвету изображения PC движущегося объекта для информации о движущемся объекте критерия, снятого камерой 11 отслеживания, формирующей изображения области CamB формирования изображения, применяя BTF к изображению РВ движущегося объекта на фиг. 15.
На этапе S91, модуль 96 расчета вероятности изображения BTF рассчитывает вероятность изображения BTF, которая представляет собой вероятность между изображением движущегося объекта, представляющим собой информацию о движущемся объекте критерия, и изображением движущегося объекта, которое представляет собой изображение движущегося объекта для информации о движущемся объекте, представляющей интерес и которую подвергают преобразованию цвета, используя BTF. Вероятность изображения BTF, в принципе, является такой же, как и вероятность в модуле обработки 54 расчета вероятности информации о движущемся объекте.
На этапе S92, модуль 97 определения порогового значения вероятности изображения BTF определяет, соответствует ли изображение движущегося объекта для информации о движущемся объекте критерия информации о движущемся объекте для информации о движущемся объекте, представляющей интерес, подвергнутой преобразованию цвета с использованием BTF, на основе, превышает ли вероятность изображения рассчитанной BTF заданное пороговое значение. Когда вероятность изображения BTF выше, чем заданное пороговое значение на этапе S92, обработка переходит на этап S93. Таким образом, в этом случае, информация о движущемся объекте информации о движущемся объекте, представляющей интерес, остается в модуле 56 сохранения результата.
И, наоборот, когда вероятность изображения BTF ниже, чем заданное пороговое значение на этапе S92, обработка переходит на этап S96. Таким образом, в этом случае, в ходе процесса на этапе S96, информацию о движущемся объекте для информации о движущемся объекте, представляющей интерес, удаляют из модуля 56 сохранения результата.
Таким образом, как показано в таблице на нижнем участке, на фиг. 15, когда информацию решения вводят в изображение РА движущегося объекта, соответствующее отметке А, и информацию решения затем вводят в изображение PC движущегося объекта, соответствующее отметке С, получают BTF, которую используют для коррекции цвета изображения, снятого камерой 11 отслеживания, формирующей изображения области CamA формирования изображения, используя цвет для изображения, снятого камерой 11 отслеживания, которая формирует изображения области CamB формирования изображения, в качестве критерия. Затем информация о движущемся объекте, соответствующая отметке В и включающая в себя изображение формирования движущегося объекта, для которого вероятность время - пространство выше, чем заданное пороговое значение, и вероятность изображения BTF выше, чем заданное пороговое значение остается в модуле 56 сохранения результата. С другой стороны, информацию о движущемся объекте, соответствующую отметке D и включающую в себя изображение формирования движущегося объекта, для которого вероятность время - пространство выше, чем заданное пороговое значение и вероятность изображения BTF ниже, чем заданное пороговое значение, удаляют модуля 56 сохранения результата. Причина, по которой диагональные линии, вычерчены для отметки А в таблице, в нижней части на фиг. 15, состоит в том, что информация о движущемся объекте представляет собой информацию о движущемся объекте, для которой информация решения уже была введена, и, поэтому, она не является целью обработки.
Таким образом, процесс коррекции сопоставления выполняют с повторением снова на основе информации решения, когда пользователь вводит информацию решения в описанном выше процессе улучшения сопоставления. Поэтому, когда вводят информацию решения, точность результата поиска и слежения может быть улучшена. Когда информацию решения вводят в изображения движущегося объекта, снятые разными камерами 11 отслеживания, может быть получена BTF. Поэтому, поскольку процесс улучшения сопоставления выполняют на основе вероятности изображения BTF, соответствующей изменению цвета между камерами 11 отслеживания после учета вероятности время - пространство, становится возможным выполнить поиск и слежение за человеком с более высокой точностью.
Поскольку BTF изображения движущегося объекта информации о движущемся объекте критерия и изображения движущегося объекта информации о движущемся объекте, представляющей интерес, и BTF, соответствующую только двум камерам 11 отслеживания, можно просто рассчитать, нагрузка обработки для расчета BTF уменьшается, таким образом, улучшая скорость обработки, относящуюся к расчету BTF.
Выше был описан пример, в котором соответствующий процесс улучшения сопоставления повторяется путем обозначения человека цели поиска для выполнения поиска информации о движущемся объекте, относящейся к человеку цели поиска, отображения изображения отображения, обозначающего результат поиска и слежения за человеком из результата поиска, и последующего ввода информации решения. Однако, путем различного изменения человека цели поиска, настоящее изобретение можно применять для различных вариантов использования.
Например, путем установки чужого человека или подозрительного человека в качестве человека цели поиска, история движения этого чужого человека или подозрительного человека может быть подтверждена по результатам поиска и слежения за человеком, и на практике может быть подтверждено, возникали ли подозрительные моменты. Более конкретно, например, когда подозрительный человек, который не является членом компании, будет найден в компании, история движения внешнего подозрительного человека может быть подтверждена путем установки такого внешнего подозрительного человека, в качестве человека цели поиска. Поэтому, например, когда внешний подозрительный человек вторгается в место, в которое никто не может войти, не имея карты идентификации персонала, может быть подтверждено, что внешний подозрительный человек вторгся в это место. Поэтому, настоящее изобретение может использоваться в, так называемой, системе безопасности.
Например, путем установки множества пользователей, которые представляют собой людей целей поиска на этажах супермаркетов, в качестве людей целей поиска, пути движения, по которым пользователи движутся на каждом из этажей, могут быть подтверждены по результатам поиска и слежения за человеком. Поэтому, такая информация может применяться для супермаркетов. Более конкретно, например, поскольку история движения пользователей на этажах, предназначенных для потребителей, может быть подтверждена, и компоновки продуктов могут оптимально изменяться на основе истории движения, настоящее изобретение можно использовать в, так называемой, системе маркетингового исследования.
2. Второй вариант осуществления
Выше был описан пример, в котором получали историю движения человека, используя информацию о движущемся объекте, детектируемую путем детектирования движущегося объекта. Однако, путем использования информации о человеке, детектируемой в результате детектирования человека, вместо детектирования движущегося объекта, может быть получена история движения с более высокой точностью. Далее, во втором варианте осуществления, будет описан пример, в котором выполняется детектирование человека. Конфигурация системы отслеживания, представленная на фиг. 1, является такой же, и, таким образом, ее описание будет исключено. В следующем описании, одинаковые названия и те же номера ссылочных позиций заданы для составляющих элементов, имеющих те же функции, что и у составляющих элементов, описанных со ссылкой на фиг. 1-15, и их описание будет соответствующим образом исключено.
Второй пример конфигурации отслеживания камеры
Далее, со ссылкой на блок-схему по фиг. 16, будет описан второй пример конфигурации камеры 11 отслеживания.
Основная конфигурация камеры 11 отслеживания на фиг. 16 является такой же, как и у камеры 11 отслеживания на фиг. 2, но отличается тем, что модуль 121 детектирования человека и модуль 122 вывода информации о человеке предусмотрен вместо модуля 32 детектирования движущегося объекта и модуля 37 вывода информации о движущемся объекте.
Модуль 121 детектирования человека выделяет величину особенности из каждого из изображений, снятых модулями 31 формирования изображения, детектирует область, в которой было снято изображение человека, на основе выделенной величины особенности, и выделяет информацию изображения, обозначающую область снятого человека, в которой, например, детектируемая область, в которой было снято изображение человека, установлена, в 1, и другая область была установлена в 0, как изображение человека. Более конкретно, когда используется HOG (гистограммы ориентированных градиентов) в качестве величины свойства изображения, модуль 121 детектирования человека выполняет процесс выделения кромки для снятого изображения, для выделения изображения кромки, для распознавания силуэта субъекта по снятому изображению. Затем модуль 121 детектирования человека разделяет изображение выделенной кромки на секции в направлении градиентов для каждой локальной области, получает гистограмму, и устанавливает эту гистограмму, как величину особенности. На основе величины особенности, выделенной таким образом, модуль 121 детектирования человека определяет, является ли данный силуэт человеком. Когда определяют, что силуэт представляет собой человека, модуль 121 детектирования человека генерирует изображение, в котором область, рассматриваемая, как человек, устанавливается в 1, и другая область установлена в 0, и детектирует изображение, как изображение человека.
Модуль 122 вывода информации о человеке генерирует информацию о человеке, включающую в себя снятое изображение, ID камеры модуля 31 формирования изображения, снимающего изображения, глобальные координаты человека и время формирования изображения, на основе информации, относящейся к снятому изображению, ID камеры модуля 31 формирования изображения, снимающего изображения, глобальных координат человека и времени формирования изображения в отношении каждого из изображений человека, выделенных из изображений, снятых модулями 31 формирования изображения, и затем выводит информацию о человеке в сервер 12 поиска и слежения за человеком через сеть 13.
Второй пример конфигурации сервера поиска и слежения за человеком
Далее, со ссылкой на блок-схему, показанную на фиг. 17, будет описан второй пример конфигурации сервера 12 поиска и слежения за человеком
Сервер 12 поиска и слежения за человеком выполнен таким образом, что он включает в себя модуль 151 получения информации о человеке, модуль 152 обработки фильтрации информации о человеке, модуль 153 сохранения информации о человеке, модуль 154 обработки расчета вероятности информации о человеке, модуль 155 определения порогового значения вероятности информации о человеке, модуль 156 сохранения результата, модуль 157 генерирования изображения отображения, модуль 158 дисплея, модуль 159 обработки улучшения сопоставления и модуль 160 ввода операции. Поскольку модуль 157 генерирования изображения отображения, модуль 158 дисплея и модуль 160 ввода операции имеют такую же конфигурацию, как и у модуля 57 генерирования изображения отображения, модуля 58 дисплея и модуля 60 ввода операции, их описание будет исключено.
Модуль 151 получения информации о человеке получает информацию о человеке, подаваемую из камер 11 отслеживания через сеть 13, временно сохраняет информацию о человеке, и подает информацию о человеке в модуль 152 обработки фильтрации информации о человеке.
Модуль 152 обработки фильтрации информации о человеке фильтрует информацию о человеке, подаваемую из модуля 151 получения информации о человеке в заданных условиях, выделяет только информацию о человеке, пригодную для поиска человека, содержит выделенную информацию о человеке в модуле 153 сохранения информации о человеке, и удаляет несоответствующую информацию о человеке. Более конкретно, модуль 152 обработки фильтрации информации о человеке фильтрует информацию о человеке, в зависимости от того, является ли изображение человека, включенное в информацию о человеке, изображением, в котором было снято все тело человека, оставляет только изображение, в котором было снято все тело человека, в модуле 153 сохранения информации о человеке, и удаляет информацию о человеке, которая является несоответствующей и в которой не было снято все тело человека.
Модуль 153 сохранения информации о человеке содержит только информацию о человеке, включающую в себя изображение человека, которое пригодно для поиска информации о человеке модулем 152 обработки фильтрации информации о человеке, в которой было снято все тело человека, и затем подает информацию о человеке в модуль 154 обработки расчета вероятности информации о человеке и в модуль 157 генерирования изображения отображения, в соответствии с необходимостью.
Модуль 154 обработки расчета вероятности информации о человеке рассчитывает, для каждой информации о человеке, вероятности изображения человека для изображения человека информации о человеке другой, чем информация о человеке критерия, которая представляет собой цель поиска, включающую в себя изображение человека для информации о человеке, обозначенной, как цель поиска, в отношении информации о человеке критерия, среди изображений человека, включенных в информацию о человеке, содержащуюся в модуле 153 сохранения информации о человеке, и затем подает эту вероятность изображения человека в модуль 155 определения порогового значения вероятности информации о человеке.
Модуль 155 определения порогового значения вероятности информации о человеке определяет, является ли вероятность изображения человека, полученная на основе изображения человека, рассчитанного модулем 154 обработки расчета вероятности информации о человеке, большей, чем пороговое значение, и затем сохраняет информацию о человеке, включающую в себя изображение человека с большей вероятностью изображения человека, в модуле 156 сохранения результата. Таким образом, модуль 155 определения порогового значения вероятности информации о человеке выполняет обработку сопоставления изображения человека на основе вероятности изображения человека для другой информации о человеке, чем информация о человеке критерия, которая представляет собой цель поиска в отношении информации о человеке критерия, и выделяет информацию о человеке, включающую в себя изображение человека с более высокой вероятностью изображения человека, как информацию, сопоставленную на основе изображения человека. Затем модуль 155 определения порогового значения вероятности информации о человеке сохраняет выделенную информацию о человеке, как результат сопоставления, с информацией человека критерия, которая представляет собой цель поиска, в модуле 156 сохранения результата.
Модуль 159 обработки улучшения сопоставления выполняет процесс улучшения сопоставления, на основе информации решения, введенной при выполнении операции с модулем 160 ввода операции, когда пользователь определяет изображение человека цели поиска на основе изображения человека, отображаемого в результате поиска и отслеживания, отображаемого в модуле 158 дисплея. Модуль 159 обработки улучшения сопоставления снова выполняет процесс улучшения сопоставления во время ввода информации решения, даже после выполнения процесса улучшения сопоставления, для повторения процесса улучшения сопоставления, когда вводят информацию решения.
Более конкретно, модуль 159 обработки улучшения сопоставления включает в себя модуль 181 распознавания ввода операции, модуль 182 сохранения информации о другом человеке, модуль 183 сохранения информации того же человека, модуль 184 выбора уникального свойства, модуль 185 расчета вероятности уникального свойства, модуль 186 определения порогового значения вероятности уникального свойства и модуль 187 обработки время - пространство BTF.
Модуль 181 распознавания ввода операции распознает, что информация решения введена в отношении выбранной информации о человеке в результатах поиска и слежения, отображаемых в модуле 158 дисплея, на основе сигнала операции модуля 160 ввода операции.
Модуль 182 сохранения информации о другом человеке содержит, как изображение человека для другого человека, отличного от человека, для которого предполагается, что он является целью поиска, изображение человека, для которого информация решения не была введена и которая представляет собой изображение человека для информации о человеке, определенной, как не являющееся изображением человека, обозначенным как цель поиска, модулем 187 обработки время - пространство BTF и, таким образом, ее удаляют.
Модуль 183 сохранения информации того же человека содержит информацию о человеке, включающую в себя изображение человека, для которого информация решения была введена, и информацию о человеке, включающую в себя изображение человека для человека, обозначенного как цель поиска, как информацию о человеке для того же человека, что и человек цели поиска.
Модуль 184 выбора уникального свойства выполняет обучение на основе информации, относящейся к изображению человека, которое не является изображением человека для человека цели поиска, зарегистрированного в модуле 182 сохранения информации о другом человеке, то есть, изображение человека, рассматриваемое, как изображение человека другого человека, и выделяет величину особенности изображения человека для человека, который не является человеком цели поиска, в качестве результата обучения. Модуль 184 выбора уникального свойства выполняет обучение на основе информации, относящейся к изображению человека, которое рассматривается, как изображение человека того же человека, что и человек цели поиска, зарегистрированный в модуле 183 сохранения информации того же человека, и выделяет величину свойства изображения человека для человека цели поиска, в качестве результата изучения. Модуль 184 выбора уникального свойства выделяет, в качестве уникального свойства, величину свойства, для которой существует малая вероятность иметь изображение человека другого человека, и для которого считается, что существует высокая вероятность иметь изображение человека для того же человека, в результате изучения, и передает уникальное свойство в модуль 185 расчета вероятности уникального свойства.
Модуль 185 расчета вероятности уникального свойства рассчитывает для каждой информации о человеке вероятность уникального свойства для изображения человека, для информации о человеке, другой, чем информация о человеке критерия, которая включает в себя изображение человека для информации о человеке, обозначенной, как цель поиска, и представляет собой цель поиска, в отношении информации о человеке критерия, среди изображений человека, включенных в информацию о человеке, содержащуюся в модуле 153 сохранения информации о человеке на основе выделенного уникального свойства, и подает вероятность уникального свойства в модуль 186 определения порогового значения вероятности этого уникального свойства.
Модуль 186 определения порогового значения вероятности уникального свойства определяет, является ли вероятность уникального свойства, полученная на основе изображения человека, рассчитанного модулем 185 обработки расчета вероятности уникального свойства, более высокой, чем пороговое значение, и сохраняет информацию о человеке, включающую в себя изображение человека с высокой вероятностью уникального свойства в модуле 156 сохранения результата. Таким образом, модуль 186 определения порогового значения вероятности уникального свойства выполняет процесс сопоставления изображения человека на основе вероятности уникального свойства для другой информации о человеке, чем информация о человеке критерия, в отношении информации о человеке критерия, которая представляет собой цель поиска, и выделяет информацию о человеке, включающую в себя изображение человека, с высокой вероятностью уникального свойства, как информацию, сопоставленную на основе изображения человека. Модуль 186 определения порогового значения вероятности уникального свойства сохраняет выделенную информацию о человеке, как результат сопоставления с информацией человека критерия, которая представляет собой цель поиска, в модуле 156 сохранения результата.
Модуль 187 обработки время - пространство BTF выполняет процесс определения, используя пространство, время и изображение BTF, как процесс, описанный в первом варианте осуществления. Более конкретно, модуль 187 обработки время - пространство BTF включает в себя модуль 191 расчета BTF, модуль 192 расчета вероятности время - пространство, модуль 193 определения порогового значения вероятности время - пространство, модуль 194 обработки изображений BTF, модуль 195 расчета вероятности изображения BTF, и модуль 196 определения порогового значения вероятности изображения BTF. Поскольку модуль 191 расчета BTF, модуль 192 расчета вероятности время - пространство, модуль 193 определения порогового значения вероятности время - пространство, модуль 194 обработки изображений BTF, модуль 195 расчета вероятности изображения BTF, и модуль 196 определения порогового значения вероятности изображения BTF являются такими же, как и модуль 92 расчета BTF, модуль 93 расчета вероятности время - пространство, модуль 94 определения порогового значения вероятности время - пространство, модуль 95 обработки изображений BTF, модуль 96 расчета вероятности изображения BTF, и модуль 97 определения порогового значения вероятности изображения BTF, их описание будет исключено.
Процесс формирования изображения камеры отслеживания на фиг. 16
Далее, со ссылкой на блок-схему последовательности операций по фиг. 4, будет описан процесс формирования изображений камерой 11 отслеживания по фиг. 16.
На этапе S101, модуль 31 формирования изображения камеры 11 отслеживания последовательно снимает изображения, состоящие из неподвижных изображений или движущиеся изображения области отслеживания, которая может отслеживаться из положения установки.
На этапе S102, модуль 121 детектирования человека выделяет величину свойства, необходимую для определения, было ли сформировано изображение человека из каждого из изображений, снятых модулем 31 формирования изображения, и детектирует область, в которой было сформировано изображение человека на основе выделенной величины особенности. Например, модуль 121 детектирования человека выделяет, как изображение человека, информацию изображения, обозначающую область снятого изображения человека, в которой область, в которой было сформировано изображение детектируемого человека, установлена в 1, и другая область установлена в 0.
Более конкретно, когда используют HOG (гистограммы ориентированных градиентов), как величину особенности изображения, модуль 121 детектирования человека выполняет процесс выделения кромки для снятого изображения для выделения изображения кромки, для распознавания силуэта субъекта из снятого изображения. Затем модуль 121 детектирования человека разделяет изображение выделенной кромки на секции в направлении градиента для каждой локальной области, получает гистограмму и устанавливает эту гистограмму, как величину особенности. На основе величины особенности, выделенной таким образом, модуль 121 детектирования человека определяет, является ли силуэт человеком. Когда определяют, что силуэт представляет собой человека, модуль 121 детектирования человека генерирует изображение человека, в котором область, рассматриваемая, как человек, установлена в 1, и другая область установлена в 0, и выводит изображение человека, как результат детектирования.
Таким образом, когда снимают изображение, показанное, как изображение Р111 на фиг. 19, модуль 121 детектирования человека содержит величину особенности, которая сформирована из линейных сегментов, обозначенных сплошными линиями, и используется для детектирования силуэта человека, показанного в изображении Р101, и сегменты линии накладываются на изображение Р111, в котором представлено изображение человека. В это время гистограмма, в которой секции разделены на направление градиента для каждой локальной области, показанной, как сегменты линии, обозначенные пунктирными линиями для изображения Р121, выделяют, как величину особенности. Затем, на основе выделенной величины особенности, модуль 121 детектирования человека определяет, является ли эта область человеком. Когда определяют, что область представляет собой человека, модуль 121 детектирования человека выделяет изображение, сформированное из области человека, и другой области, как изображение человека. В случае, показанном фиг. 19, передают изображение Р111, в котором присутствует человек, поскольку величина свойства, обозначенная пунктирной линией, соответствует величине свойства, сохраненной заранее. Такую же обработку также выполняют для снятых изображений Р112-Р114, и, таким образом, выделяют гистограммы, в которых эти секции разделены в направление градиента для каждой локальной области, сформированной из сегментов линий, показанных в изображениях Р122-Р124, как величины свойства.
В отношении HOG (гистограммы ориентированных градиентов) можно использовать, например, гистограммы ориентированных градиентов для детектирования человека в соответствии с публикацией Dalal, В. Trigg: Computer Vision and Pattern Recognition, San Diego, CA, June 20 to 25, 2005. Можно использовать другой способ, чем HOG, как способ выделения величины свойства, используемый для детектирования человека. Например, величину свойства, выделенную в соответствии с автором Haar, как величину свойства или HOG, можно использовать множество раз. Здесь, в том, что касается свойств, таких, как свойства Haar, можно упомянуть публикацию An Extended Set of Haar-like Features for Rapid Object Detection by Rainer Lienhart and Jochen Maydt: IEEE ICIP 2002, Vol. 1, pp. 900 to 903, Sep. 2002. Что касается способа использования величины свойства, выделяемой, в соответствии с HOG множество раз, можно сделать ссылку на публикацию находящейся на экспертизе заявки №2009-301104 на японский патент.
На этапе S103, модуль 35 расчета координаты положения формирования изображения рассчитывает направление формирования изображения, угол и расстояние на основе положения или размера человека, присутствующего в изображении человека, и рассчитывает глобальные координаты человека, которые представляют собой субъекта, на основе глобальных координат, в которых установлена камера отслеживания. Таким образом, например, на основе изображения человека, модуль 35 расчета координаты положения формирования изображения рассчитывает положение координаты, выраженное широтой и долготой, и т.п. человека на Земле, как глобальные координаты.
На этапе S104, модуль 36 детектирования времени формирования изображения детектирует информацию времени для момента времени, в который было снято изображение, как время формирования изображения, на основе информации времени, сгенерированной часами реального времени (не показаны).
На этапе S105, модуль 122 вывода информации о человеке считывает ID камеры из модуля 34 сохранения ID камеры и совместно генерирует изображение человека, глобальные координаты и время формирования изображения, как информацию о человеке.
На этапе S106, модуль 122 вывода информации о человеке выводит сгенерированную информацию о человеке в сервер 12 поиска и слежения за человеком через сеть 13, такую как Интернет.
В ходе описанных выше процессов снимают изображения для каждой области отслеживания с помощью каждой из камер 11 отслеживания, человека детектируют из снятых изображений, и выделяют изображение человека. Затем информацию о человеке, составленную из изображения человека, и информацию, относящуюся к глобальным координатам человека в изображении человека, и время формирования изображения, в которое было снято изображение, генерируют и передают в сервер 12 поиска и слежения за человеком.
Процесс фильтрации информации о человеке
Далее, со ссылкой на блок-схему последовательности операций на фиг. 20, будет описан процесс фильтрации информации о человеке, выполняемый сервером 12 поиска и слежения за человеком.
На этапе S121, модуль 151 получения информации о человеке получает и сохраняет информацию о человеке, подаваемую последовательно из серверов 11 отслеживания через сеть 13.
На этапе S122 модуль 152 обработки фильтрации информации о человеке устанавливает одну часть необработанной информации о человеке среди информации о человеке, сохраненной в модуле 151 получения информации о человеке, как информацию о человеке, представляющую интерес, которая представляет собой цель обработки.
На этапе S123, модуль 152 обработки фильтрации информации о человеке определяет, является ли изображение человека изображением всего туловища одного человека, по силуэту изображения человека, включенному в информацию о человеке, представляющем интерес.
Когда на этапе S123 определяют, что изображение человека представляет собой изображение всего тела одного человека по силуэту изображения человека, включенного в информацию, представляющую интерес, обработка переходит на этап S124.
На этапе S124, модуль 152 обработки фильтрации информации о человеке рассматривает информацию о человеке, представляющую интерес, как информацию о человеке, пригодную для поиска человека, и сохраняет эту информацию о человеке, представляющую интерес, в модуле 153 сохранения информации о человеке.
И, наоборот, когда на этапе S123 определяют, что изображение человека не является изображением всего тела одного человека по силуэту изображения человека, включенному в информацию о человеке, представляющую интерес, процесс переходит на этап S125.
На этапе S125, модуль 152 обработки фильтрации информации о человеке, рассматривает информацию о человеке, представляющую интерес, как не являющуюся информацией о человеке, пригодной для поиска человека, и удаляет информацию о человеке, установленную как полученная информация о человеке, представляющая интерес.
На этапе S126 модуль 152 обработки фильтрации информации о человеке определяет, имеется ли необработанная информация о человеке в модуле 151 получения информации о человеке. Когда присутствует необработанная информация о человеке, обработка возвращается на этап S122. Таким образом, до тех пор, пока не окончится необработанная информация о человеке, обработка на этапах S122-S126 повторяется. И, наоборот, когда на этапе S126 определяют, что больше нет необработанной информации о человеке, обработка заканчивается.
Таким образом, в ходе представленных выше процессов только информация о человеке, в которой было снято изображение всего тела одного человека, рассматривается, как изображение человека, пригодное для поиска человека среди информации о человеке, последовательно подаваемой из камер 11 отслеживания, и только информация о человеке, включающая в себя такую информацию о человеке сохраняется в модуле 153 сохранения информации о человеке в ходе процесса фильтрации информации о человеке.
В результате, поскольку только информация о человеке, включающая в себя изображение человека, пригодное для поиска человека, фильтруется через процесс фильтрации информации о человеке и сохраняется в модуле 153 сохранения информации о человеке, возможно улучшить точность поиска человека. Путем удаления информации о человеке, непригодной для поиска человека, становится возможным быстро выполнить процесс сопоставления информации о человеке, который необходим для поиска человека и который будет описан ниже со ссылкой на фиг. 21.
Процесс сопоставления информации о человеке
Далее, со ссылкой на блок-схему последовательности операций на фиг. 21, будет описан процесс сопоставления информации о человеке, выполняемой сервером 12 поиска и слежения за человеком. Поток обработки сопоставления информации о человеке аналогичен обработке сопоставления информации движущегося объекта, описанной выше, со ссылкой на блок-схему последовательности операций на фиг. 11.
На этапе S151 модуль 157 генерирования изображения отображения отображает список изображения людей в информации о человеке, содержащейся в модуле 153 сохранения информации о человеке в модуле 158 дисплея, и отображает изображение отображения, для того, чтобы способствовать выбору изображения человека, обозначающего человека цели поиска.
На этапе S152, модуль 154 обработки расчета вероятности информации о человеке определяет, была ли выполнена операция модулем 160 ввода операции, и выбирает изображение человека, обозначающее человека цели поиска. Когда изображение человека, обозначающее человека цели поиска, не выбрано, процесс возвращается на этап S151. Таким образом, до тех пор, пока изображение человека, обозначающее человека цели поиска, не будет обозначено, процессы на этапах S151 и S152 повторяются. Затем, когда изображение человека, обозначающее человека цели поиска, будет обозначено на этапе S152, обработка переходит на этап S153.
На этапе S153, модуль 154 обработки расчета вероятности информации о человеке устанавливает, как информацию о человеке критерия, информацию о человеке, соответствующую изображению человека, обозначенному, как цель поиска в информации о человеке, содержащейся в модуле 153 сохранения информации о человеке и устанавливает другую информацию о человеке, как необработанную информацию о человеке. В это время модуль 181 распознавания вводимой операции содержит информацию о человеке, соответствующую изображению о человеке, обозначенному как цель поиска, в модуле 183 сохранения информации того же человека, на основе сигнала операции модуля 160 ввода операции.
На этапе S154, модуль 154 обработки расчета вероятности информации о человеке считывает одну часть необработанной информации о человеке, содержащейся в модуле 153 сохранения информации о человеке, и устанавливает считанную информацию о человеке, как информацию о человеке, представляющую интерес.
На этапе S155, модуль 154 обработки расчета вероятности информации о человеке рассчитывает вероятность изображения человека, которая представляет собой вероятность между изображением человека, включенным в информацию о человеке критерия, и изображением человека, включенным в информацию о человеке, представляющую интерес, и подает рассчитанную вероятность изображения человека вместе с информацией о человеке, представляющей интерес, в модуль 155 определения порогового значения вероятности информации о человеке. Таким образом, например, модуль 154 обработки расчета вероятности информации о человеке рассчитывает вероятность изображения человека на основе степени схожести, которая выше, когда люди, снятые в изображениях людей информации о человеке критерии и информации о человеке, представляющем интерес, больше похожи друг на друга.
На этапе S156, модуль 155 определения порогового значения вероятности информации о человеке определяет, является ли переданная вероятность изображения о человеке более высокой, чем заданное пороговое значение. Таким образом, модуль 155 определения порогового значения вероятности информации о человеке определяет, соответствуют ли друг другу лица на изображениях людей информации о человеке критерии и информации о человеке, представляющей интерес, на основе, является ли вероятность изображения человека большей, чем заданное пороговое значение. Когда на этапе S156 рассматривают, что вероятность изображения человека выше, чем заданное пороговое значение и люди на изображениях людей информации о человеке критерия и информации о человеке, представляющей интерес, соответствуют друг другу (согласуются друг с другом), обработка переходит на этап S157.
На этапе S157, модуль 155 определения порогового значения вероятности информации о человеке сохраняет информацию о человеке, представляющую интерес, в модуле 156 сохранения результата. В это время, модуль 154 обработки расчета вероятности информации о человеке устанавливает информацию о человеке, представляющую интерес, содержащуюся в модуле 153 сохранения информации о человеке, как обработанную информацию о человеке.
И, наоборот, когда на этапе S156 считается, что вероятность изображения человека не выше, чем заданное пороговое значение, и люди на изображениях людей информации о человеке критерии и информации о человеке, представляющей интерес, не согласуются друг с другом (не могут быть сопоставлены друг с другом), обработка переходит к этапу S159.
На этапе S159, модуль 155 определения порогового значения вероятности информации о человеке удаляет информацию о человеке, представляющую интерес. Затем модуль 154 обработки расчета вероятности информации о человеке устанавливает информацию о человеке, представляющую интерес, содержащуюся в модуле 153 сохранения информации о человеке, как обработанную информацию о человеке.
На этапе S158, модуль 154 обработки расчета вероятности информации о человеке определяет, содержится ли необработанная информация о человеке в модуле 153 сохранения информации о человеке. Например, когда сохраняется необработанная информация о человеке, обработка возвращается на этап S154. Таким образом, до тех пор, пока существует необработанная информация о человеке в модуле 153 сохранения информации о человеке, процессы на этапах S154 и S159 повторяются таким образом, что процесс согласования повторяется для изображений человека всей информации о человеке и информации о человеке критерии.
Когда на этапе S158 рассматривают, что необработанная информация о человеке считается, как информация, которую не следует сохранять в модуле 153 сохранения информации о человеке, процесс переходит на этап S160.
На этапе S160, модуль 157 генерирования изображения отображения генерирует изображение отображения, обозначающее результат поиска и слежения на основе информации о человеке, сохраненной в модуле 156 сохранения результата.
На этапе S161, модуль 157 генерирования изображения отображения отображает изображение отображения, обозначающее результат поиска и слежения, в модуле 158 дисплея.
На этапе S162, модуль 159 обработки улучшения сопоставления определяет, было ли выбрано одно из изображений человека, представленных в изображении отображения, на основе информации, относящейся к изображению отображения, подаваемой из модуля 157 генерирования изображения отображения, и сигнал операции был подан из модуля 160 ввода операции, вводят информацию о решении, и поступает инструкция на выполнение процесса улучшения сопоставления.
Когда выбирают одно из изображений человека, показанных на изображении отображения, и информацию решения вводят на этапе S162, считается, что поступила инструкция на выполнение процесса улучшения сопоставления, и обработка переходит на этап S163.
На этапе S163, модуль 159 обработки улучшения сопоставления выполняет обработку улучшения сопоставления и отображает результат поиска и слежения за человеком, который подвергли процессу улучшения сопоставления. Процесс улучшения сопоставления будет подробно описан ниже со ссылкой на фиг. 22 и 23.
На этапе S164, модуль 159 обработки улучшения сопоставления определяет, поступила ли инструкция на окончание. Когда инструкция на окончание не поступила, обработка возвращается на этап S161. Таким образом, экран дисплея, обозначающий результат поиска и слежения за человеком постоянно отслеживают в модуле 158 дисплея. И, наоборот, когда поступила инструкция на окончание на этапе S164, обработка заканчивается.
Путем простого обозначения изображения человека для человека цели поиска в ходе представленной выше обработки сопоставления информации о человеке, становится возможным выполнять поиск информации о человеке, которая соответствует человеку - цели поиска на основе изображения человека, и отображать результат поиска и слежения, обозначающий путь движения человека цели поиска, по информации о человеке, которая представляет собой результат поиска. Выше был описан пример, в котором, когда обозначают человека цели поиска, человека обозначают в изображении человека информации о человеке, содержащейся в модуле 153 сохранения информации о человеке. Однако, человек цели поиска может быть обозначен путем отдельного ввода другого изображения, чем изображения, снятые камерами 11 отслеживания, и путем такой же обработки изображения, как и изображение человека.
Процесс улучшения сопоставления по фиг. 21
Далее, со ссылкой на блок-схему последовательности операций на фиг. 22 и 23, будет описан процесс улучшения сопоставления по фиг. 21, выполняемый сервером 12 поиска и слежения за человеком.
На этапе S181, модуль 159 обработки улучшения сопоставления сохраняет информацию, обозначающую, что изображение о человеке, для которого была введена информация решения, модулем 160 ввода операции, включена, в ассоциации с информацией о человеке. Поскольку определяют, что информация о человеке, для которой была введена информация решения, представляет собой информацию о человеке, соответствующим образом выделенную в ходе процесса сопоставления изображения человека, информацию о человеке исключают из цели поиска и последовательно сохраняют в модуле 153 сохранения результата при последующей обработке. Одновременно, модуль 183 распознавания вводимой операции содержит информацию о человеке, для которого информация принятия решения была введена, в модуле 183 сохранения информации того же человека.
На этапе S182, модуль 159 обработки улучшения сопоставления устанавливает, как необработанную информацию о человеке, всю информацию о человеке, для которого информация решения не была введена, среди информации о человеке, сохраненной в модуле 156 сохранения результата.
На этапе S183, модуль 159 обработки улучшения сопоставления устанавливает, как информацию о человеке критерия, информацию о человеке, для которого была недавно введена информация решения, среди информации о человеке, сохраненной в модуле 156 сохранения результата.
На этапе S184, модуль 191 расчета BTF модуля 187 обработки время - пространство BTF определяет, возможно ли рассчитать BTF. На этапе S184 первое условие возможности расчета BTF представляет собой случай, в котором присутствует информация о человеке, включающая в себя изображение другого человека, которое имеет ID камеры, отличный от ID камеры, включенный в информацию о человеке критерия, и для которого введена информация решения. Второе условие возможности расчета BTF представляет собой случай, в котором существуют два или больше изображения человека, для которых была введена информация решения, и изображения движущегося объекта были сняты разными камерами 11 отслеживания с разными ID камеры. В соответствии с этим, на основе присутствует ли информация о человеке, удовлетворяющая одному из представленных выше двух условий, в модуле 156 сохранения результата, модуль 92 расчета BTF определяет, можно ли рассчитать BTF. Когда BTF может быть рассчитана на этапе S184, модуль 191 расчета BTF рассчитывает BTF, выполняя процесс расчета BTF, используя информацию, относящуюся к значениям пикселя между изображениями человека, для которых была введена информация решения, несмотря на разные ID камеры или изображения людей, включенные в информацию о человеке критерия на этапе S185. BTF представляет собой функцию, обозначающую соотношение взаимного соответствия между цветами изображений человека, включающих в себя тот же субъект, снятый камерами 11 отслеживания, обозначенными двумя разными ID камеры. В соответствии с этим, когда рассчитывают BTF, может быть выполнена коррекция цвета, путем выполнения преобразования цветов для одного из изображений человека, снятого двумя камерами 11 отслеживания с разными ID камеры, используя BTF, независимо от того, имеется ли информация решения. В ходе процесса коррекции цвета становится возможным скорректировать изменение цвета, возникшее из-за разности окружающего света при формирования изображения в области отслеживания между разными камерами 11 отслеживания или индивидуальных отличий и т.п. датчика изображения модуля 31 формирования изображения. В результате, изображения человека, снятые двумя разными камерами 11 отслеживания, подвергают коррекции цвета, как если бы изображения человека были сняты той же камерой 11 отслеживания. Поэтому, становится возможным более точно рассчитать вероятность изображения человека между изображениями человека.
С другой стороны, например, когда изображение человека, для которого была введена информация решения, будет снято камерой 11 отслеживания одного вида на этапе S184, считается, что BTF невозможно рассчитать, и обработку на этапе S185 пропускают.
На этапе S186 модуль 192 расчета вероятности время - пространство устанавливают в качестве информации о человеке, представляющей интерес, одну часть необработанной информации о человеке, среди информации о человеке, которую сохраняют в модуле 156 сохранения результата и которая представляет собой информацию о человеке, исключающую информацию о человеке критерия.
На этапе S187, модуль 192 расчета вероятности время - пространство рассчитывает вероятность время - пространство, основанную на информации, относящейся к глобальным координатам, и времени формирования изображения, включенном в информацию о человеке критерии и информацию о человеке, представляющую интерес. Более конкретно, например, модуль 192 расчета вероятности время - пространство получает расстояние перемещения по разности между глобальными координатами, включенными в информацию о человеке критерии и глобальными координатами, включенными в информацию о человеке, представляющую интерес, и рассчитывает вероятность время - пространство информации о человеке на основе отношения времени между моментом времени формирования изображения информации о человеке и среднего необходимого времени для перемещения на расстояние движения при средней скорости движения человека.
На этапе S188 (фиг. 23), модуль 94 определения значения вероятности время - пространство определяет, является ли рассчитанная вероятность время - пространство более высокой, чем заданное пороговое значение. Например, когда изображение отображения, обозначающее результат поиска и слежения за человеком, представляет собой изображение отображения, представленное в верхней части на фиг. 24, как обозначено рукой H1, изображение РА человека, соответствующее отметке А, выбирают с помощью модуля 160 ввода операции. Когда вводят информацию решения, информация о человеке, соответствующая отметке А, становится информацией человека критерия. В случае изображения отображения на фиг. 25, моменты времени формирования изображения представляют собой 1:00:00, 1:00:05, 1:00:10. 1:00:15, 1:00:13, 1:00:14 и 1:00:05 в информации о человеке, соответствующей отметкам А-G, соответственно. Отметки А и В представляют собой информацию о человеке, соответствующую изображениям РА и РВ человека, снятым одной и той же камерой 11 отслеживания, которая снимает изображение области CamA формирования изображения, обозначенный треугольником, сформированным той же пунктирной линией. Аналогично, отметки С-F представляют собой информацию о человеке, соответствующую изображениям PC-PF человека, снятым одной и той же камерой 11 отслеживания, которая формирует изображение области CamB формирования изображения, обозначенной треугольником, сформированным пунктирной линией. Кроме того, отметка G представляет собой информацию о человеке, соответствующую изображению РЕ человека, снятому камерой 11 отслеживания, которая формирует изображение в области CamC формирования изображения, обозначенной треугольником, сформированным пунктирной линией.
В этом случае, когда информация о человеке, соответствующая отметке В, представляет собой информацию о человеке, представляющую интерес, и предполагается, что расстояние между отметками А и В, представляет собой расстояние АВ, отношение времени между моментами времени формирования изображения информации о человеке к среднему времени, необходимому для перемещения при движении на расстояние при средней скорости движения человека составляет 5/(AB/w). Здесь w обозначает среднюю скорость движения человека. Например, когда расстояние АВ составляет 5 м, и средняя скорость движения человека составляет 1 м/с, отношение равно 1, и вероятность время - пространство представляет собой наибольшее значение. Аналогично, когда информация о человеке, соответствующая отметкам С и D, представляет собой информацию о человеке, представляющую интерес, и когда предполагается, что расстояние между отметками А и С, отметками А и D, отметками А и Е и отметками А и F, представляет собой расстояние АС, расстояние AD, расстояние АЕ и расстояние AF отношения времен между моментами времени формирования изображений информации о движущемся объекте к среднему необходимому времени, требуемому для перемещения на расстояние движения при средней скорости движения человека составляет 10/(AC/w), 15/(AD/w), 14/(AE/w) и 13/(AF/w), соответственно. Например, когда расстояния АС, AD, АЕ, и AF составляют 10 м, 15 м, 14 м и 13 м, соответственно, и средняя скорость движения человека составляет 1 м/с, все отношения равны 1, и вероятность время - пространство имеет наибольшее значение.
Таким образом, когда вероятность время - пространство имеет наибольше значение на этапе S188, модуль 193 определения порогового значения вероятности время - пространство рассматривает вероятность время - пространство, как более высокое, чем заданное пороговое значение, и процесс переходит на этап S189.
С другой стороны, когда информация о человеке, соответствующая отметке G, представляет собой информацию о человеке, представляющую интерес, и когда предполагается, что расстояние между отметками А, и G, составляет расстояние AG, отношение времени между моментами времени формирования изображения информации о человеке к среднему необходимому времени, которое необходимо для перемещения на расстояние движения при средней скорости движения человека, равно 5/(AE/w). Таким образом, например, когда расстояние AG составляет 25 м, и средняя скорость движения человека составляет 1 м/с, требуется приблизительно 5 секунд для перемещения на 25 м. Поэтому, отношение равно 0,2, и вероятность время - пространство представляет собой малое значение. Когда вероятность время - пространство мала на этапе S188, модуль 193 определения порогового значения вероятности время - пространство рассматривает вероятность время - пространство, как более низкую, чем заданное пороговое значение, и обработка переходит на этап S198.
На этапе S198, модуль 159 обработки улучшения сопоставления удаляет информацию о человеке, представляющую интерес, из модуля 156 сохранения результата, и сохраняет информацию о человеке, представляющую интерес, в модуле 182 сохранения информации о другом человеке. Таким образом, когда отображается изображение, обозначающее результат поиска и слежения, показанное в верхней части на фиг. 24, и информацию о принятии решения вводят в изображение РА человека, соответствующее отметке А, информацию о человеке, соответствующую отметке G, в которой, тот же человек не присутствует, удаляют, как показано в таблице, представленной ниже изображения отображения на фиг. 24, на основе информации время - пространство. Поскольку результат поиска и слежения был ошибочно удален в процессе сопоставления информации о человеке, использование только изображения человека можно исключить в ходе процесса, при этом возможно реализовать поиск и слежение за человеком для человека цели поиска с более высокой точностью.
На этапе S189, модуль 194 обработки изображений BTF определяет, была ли получена BTF. Например, когда BTF не получена, обработка переходит на этап S197.
На этапе S197, модуль 159 обработки улучшения сопоставления устанавливает, как завершение обработки, информацию о человеке, которая представляет собой информацию, о человеке, представляющую интерес, среди информации о человеке, сохраненной в модуле 156 сохранения результата.
На этапе S199, модуль 157 генерирования изображения отображения отражает и обновляет результат модуля 156 сохранения результата, обновляет и генерирует изображение, обозначающее результат поиска и слежения, и отображает изображение в модуле 158 дисплея. Таким образом, например, как показано на экране дисплея в верхней части на фиг. 25, отображение, соответствующее отметке G, удаляют и отображают. На фиг. 25, для обозначения того, что отображение удалено, представлена метка в виде крестика. Однако, на практике, происходит удаление самого отображения.
На этапе S200, модуль 192 расчета вероятности время - пространство определяет, существует ли необработанная информация о человеке среди информации о человеке, которая хранится в модуле 156 сохранения результата, и представляет собой информацию о человеке, исключающую информацию о человеке критерии. Когда существует необработанная информация о человеке, процесс возвращается на этап S186 (фиг. 22). Таким образом, обработка на этапах S186-S200 повторяется до тех пор, пока существует необработанная информация о человеке. Затем, когда на этапе S200 рассматривают, что отсутствует необработанная информация о человеке, обработка переходит на этап S201.
На этапе S201, модуль 181 распознавания ввода операции определяет, была ли дополнительно получена инструкция на процесс улучшения сопоставления, когда выполняют операцию с модулем 160 ввода операции, при этом выбирают изображение человека, соответствующее одной части информации о человеке, и вводят информацию решения. Например, как обозначено рукой Н2 на фиг. 25, когда выполняют операцию с модулем 160 ввода операции, выбирают изображение PC человека, соответствующее отметке С, и информацию решения вводят на этапе S201, при этом обработка возвращается на этап S181 (фиг. 22) и дополнительно выполняют процесс улучшения сопоставления.
В это время, на этапе S184 BTF можно рассматривать, как пригодную для расчета, поскольку изображения человека, для которых вводят информацию решения, представляют собой два изображения человека РА и PC, и ID камер, идентифицирующие камеры 11 отслеживания, снимающие изображения человека, отличаются друг от друга.
Соответственно, в этом случае, на этапе S185, модуль 191 расчета BTF рассчитывает BTF, используя изображения PC человека информации о человеке, соответствующей отметке С, и изображение РА человека информации о человеке, соответствующей отметке А. В этом случае, поскольку информация о человеке критерия представляет собой информацию о человеке для изображения PC человека, соответствующего отметке С, предполагается, что полученная BTF представляет собой функцию, используемую для коррекции изменения цвета изображения РА человека, снятого камерой 11 отслеживания, формирующей изображения в области CamA формирования изображения, используя цвет изображения PC человека, снятого камерой 11 отслеживания, которая формирует изображения в области CamB формирования изображения, в качестве критерия.
В результате, когда информация о человеке, представляющая интерес, представляет собой информацию о человеке, соответствующую изображению ВВ, снятому в области CamA формирования изображения, рассматривается, что BTF может быть получена на этапе S189, и, таким образом, процесс переходит на этап S190.
На этапе S190 модуль 194 обработки изображений BTF выполняет коррекцию цвета путем преобразования цвета изображения человека для информации человеке, представляющей интерес, используя рассчитанную BTF. Таким образом, в данном случае, модуль 194 обработки изображений BTF выполняет коррекцию цвета, так, чтобы она соответствовала цвету изображения PC человека для информации о человеке критерия, снятой камерой 11 отслеживания, формирующей изображения в области CamB формирования изображения, путем выполнения BTF для изображения РВ человека на фиг. 25.
На этапе S191, модуль 196 расчета вероятности изображения BTF рассчитывает вероятность изображения BTF, которая представляет собой вероятность между изображением человека по информации о человеке критерия и изображением человека, которое представляет собой изображение человека по информации о человеке, представляющей интерес, и его подвергают преобразованию цвета, используя BTF. Вероятность изображения BTF, в принципе, является такой же, как вероятность в модуле 154 обработки расчета вероятности информации о человеке.
На этапе S192, модуль 97 определения порогового значения вероятности изображения BTF определяет, соответствует ли изображение человека для информации о человеке критерия информации о человеке для информации о человеке, представляющей интерес, подвергнутой преобразованию цвета, используя BTF на основе, является ли вероятность рассчитанного изображения BTF более высокой, чем заданный порог. Когда вероятность изображения BTF выше, чем заданный порог на этапе S192, обработка переходит на этап S193.
И, наоборот, когда вероятность изображения BTF ниже, чем заданное пороговое значение на этапе S192, обработка переходит на этап S198. Таким образом, в этом случае, в ходе процесса на этапе S198, информацию о человеке по информации о человеке, представляющей интерес, удаляют из модуля 156 сохранения результата и содержат в модуле 182 сохранения информации о другом человеке.
Таким образом, как показано в таблице на нижнем участке на фиг. 25, когда информацию решения вводят в РА изображение человека, соответствующее отметке А, и информацию решения впоследствии вводят в изображение PC человека, соответствующее отметке С, получают BTF, которая используется для коррекции цвета изображения, снятого камерой 11 отслеживания, которая формирует изображения в области CamA формирования изображения, используя цвет изображения, снятого камерой 11 отслеживания, которая выполняет формирование изображений в области CamB формирования изображения, в качестве критерия. Затем информацию о человеке, соответствующую отметке В и включающую в себя изображение человека, для которого вероятность время - пространство, больше, чем заданный порог, и вероятность изображения BTF выше, чем заданное пороговое значение, сохраняют в модуле 156 сохранения результата. С другой стороны, информацию о человеке, соответствующую отметке D и включающую в себя изображение человека, для которого вероятность время - пространство выше, чем заданное пороговое значение, и вероятность изображения BTF ниже, чем заданное пороговое значение, удаляют из модуля 156 сохранения результата и сохраняют в модуле 182 информации содержания другого человека. Причина, по которой диагональные линии вычерчены для отметки А в таблице на нижнем участке фиг. 25, состоит в том, что информация о человеке представляет собой информацию о человеке, для которого уже была введена информация о решении, и, поэтому, он не является целью обработки.
На этапе S193, модуль 184 выбора уникальной особенности выбирает уникальную особенность путем изучения на основе информации о человеке, сохраненной в модуле 182 сохранения информации о другом человеке, и информации о человеке, сохраненной в модуле 183 сохранения информации того же человека.
Таким образом, когда человека детектируют с помощью модуля 121 детектирования человека в процессе этапа S102 на фиг. 18, изображение человека детектируют, используя величину особенности, используя HOG и когда величину особенности, формируемую из различных видов сегментов линий, показанных в изображении Р201 на фиг. 26, используют для детектирования изображения человека, величина особенности в любом одном из изображений Р211-Р214 на фиг. 26 соответствует величине особенности одного из сегментов линии, как показано в изображениях Р221-Р224, и, поэтому, детектируют, что человек присутствует.
Здесь модуль 184 выбора уникального свойства анализирует информацию, относящуюся к величине особенности, показанной сегментом линии, путем изучения, выбирает величину особенности, в которой вероятность того, что человек соответствует, как тот же человек, является высокой и вероятность того, что человек является соответствующим, как другой человек, является низкой, в качестве уникальной особенности, и подает результат выбора в модуль 185 расчета уникальной особенности.
Таким образом, в отношении изображений человека, включенных в информацию о человеке, для которой информация решения была введена, как для того же человека по изображениям Р211 и Р212 на фиг. 26, величина особенности, показанная сегментами линии, обозначенными пунктирными линиями на изображениях Р221 и Р222, установлена путем изучения, как величины особенности, в которых вероятность человека, соответствующая тому же человеку, является высокой. Что касается изображений человека, включенных в информацию о человеке, рассматриваемую, как информация другого человека для изображений Р213 и Р214, величина особенности, окруженная сегментами линии, обозначенными сплошными линиями в изображениях Р223 и Р224, установлена в результате изучения, как величины особенности, в которых вероятность того, что люди соответствуют другим лицам, а не тому же человеку, является низкой. В соответствии с этим, на фиг. 26, величина особенности, окруженная эллипсом из линии, состоящей из одних точек и сформированной сегментами линий на изображении Р251, выбирают, как полезную уникальную особенность, удовлетворяющую любому условию в результате изучения.
Изучение повторяют, когда новую информацию о человеке регистрируют в модуле 183 сохранения информации того же человека, и в модуле 182 и сохранения информации о другом человеке. Поэтому, поскольку уникальную особенность с более высокой точностью выбирают, как уникальную особенность, точность слежения за человеком постепенно улучшается всякий раз, когда повторяют изучение.
Что касается изучения, можно использовать алгоритмы, описанные, например, в "А decision-theoretic generalization of on-line learning and an application to boosting, Unpublished manuscript available electronically by Yoav Freund and Robert E. Schapir" и "Additive logistic regression by: J. Friedman, T. Hastie, and R. Tibshiran in a statistical view of boosting. Annals of statistics, 38: 337 to 374, 2000".
На этапе S194, модуль 185 расчета вероятности уникальной особенности выделяет величины особенности, выбранные, как уникальные особенности из изображения человека информации о человеке критерии, и изображения человека для информации о человеке, представляющей интерес.
На этапе S195, модуль 185 расчета вероятности уникальной особенности рассчитывает вероятность уникальной особенности, используя величины особенности, выделенные, как уникальные особенности из изображения человека для информации о человеке критерия и изображения человека для информации о человеке, представляющей интерес, и подает результат расчета в модуль 186 определения порогового значения вероятности уникальной особенности. Таким образом, например, модуль 185 расчета вероятности уникальной особенности рассчитывает, как вероятности уникальной особенности, взаимную схожесть и т.п. на основе уникальных особенностей из изображения человека информации о человеке критерия и изображения человека из информации о человеке, представляющей интерес.
На этапе S196, модуль 186 определения порогового значения вероятности уникальной особенности определяет, являются ли рассчитанные вероятности уникальной особенности более высокими, чем заданное пороговое значение, и являются ли они взаимно схожими друг с другом. Когда на этапе s196 определяют, что вероятности уникальных особенностей не выше, чем заданное пороговое значение, и они не являются аналогичными друг другу, обработка переходит на этап S198.
Таким образом, в этом случае в ходе обработки на этапе S198, информацию о человеке для информации о человеке, представляющей интерес, удаляют из модуля 156 сохранения результата и сохраняют в модуле 182 сохранения информации о другом человеке.
И, наоборот, когда определяют на этапе S196, что вероятности уникальной особенности выше, чем заданное пороговое значение, обработка переходит на этап S197.
В соответствии с этим, в данном случае, информация о человеке, представляющая собой информацию о человеке, представляющую интерес, сохраняется в модуле 156 сохранения результата.
Таким образом, как показано в таблице в нижней части фиг. 27, когда информацию решения вводят к изображение РА человека, соответствующее отметке А, и информацию решения впоследствии вводят в изображение PC человека, соответствующее отметке С, получают BTF, которая используется для коррекции цвета изображения, снятого камерой 11 отслеживания, формирующей изображения области CamA формирования изображения, используя цвет изображения, снятого камерой 11 отслеживания, которая формирует изображения в области CamB формирования изображения, в качестве критерия. Затем информация о человеке, соответствующая отметкам В, D и Е и включающая в себя изображение человека, для которого вероятность время - пространство выше, чем заданное пороговое значение, и вероятность изображения BTF выше, чем заданное пороговое значение, остается в модуле 156 сохранения результата. С другой стороны, информацию о человеке, соответствующую отметке D и включающую в себя изображение человека, для которого вероятность время - пространство выше, чем заданное пороговое значение, и вероятность изображения BTF ниже, чем заданное пороговое значение, удаляют из модуля 156 сохранения результата и содержат в модуле 182 сохранения информации о другом человеке. Далее, когда получают вероятность уникальной особенности, используя информацию о человеке, отметку D, в которой вероятность уникальной особенности равна или меньше порогового значения, удаляют, и отметки В, и F, в конечном итоге, остаются в модуле 156 сохранения результата.
Таким образом, процесс коррекции сопоставления неоднократно выполняется снова на основе информации решения, когда пользователь вводит информацию решения в предыдущем процессе улучшения сопоставления. Поэтому, когда вводят информацию решения, точность результата поиска и слежения может быть улучшена. Когда вводят информацию решения для изображений человека, снятых разными камерами 11 отслеживания, может быть получена BTF. Поэтому, поскольку процесс улучшения сопоставления выполняют на основе вероятности изображения BTF, соответствующей изменению цвета между камерами 11 отслеживания после учета вероятности время - пространство, становится возможным выполнить поиск и слежение за человеком с более высокой точностью.
Поскольку может быть рассчитана BTF изображения человека информации о человеке критерия и изображения человека информации о человеке, представляющей интерес, и BTF, соответствующая только двум камерам 11 отслеживания, нагрузка на обработку для расчета BTF уменьшается, в результате чего, улучшается скорость обработки, относящаяся к расчету BTF.
В дополнение к процессу использования BTF, повторяют процесс улучшения сопоставления на основе вероятности уникального свойства, используя уникальное свойство, полученное в результате изучения, и, таким образом, точность уникальной особенности улучшается. В результате, становится возможным реализовать поиск и слежение за человеком с более высокой точностью.
Выше был описан пример, в котором процесс улучшения сопоставления повторяется путем обозначения человека цели поиска, поиска информации о человеке, относящейся к человеку цели поиска, отображения изображения отображения, обозначающего результат поиска и слежения за человеком из результата поиска, и последующий ввод информации решения. Однако, путем различного изменения человека цели поиска, настоящее изобретение может применяться для различных вариантов использования.
Например, путем установки чужого человека или подозрительного человека, в качестве человека цели поиска, история движения чужого человека или подозрительного человека может быть подтверждена по результату поиска и слежения за человеком, и может быть практически подтверждено, присутствовали ли подозрительные моменты. Более конкретно, например, когда подозрительный человек, который не является членом компании, будет найден внутри компании, история движения постороннего подозрительного человека может быть подтверждена путем установки постороннего подозрительного человека, в качестве человека цели поиска. Поэтому, например, когда посторонний подозрительный человек вторгается в место, в которое никто не может входить без наличия карты идентичности персонала, можно подтвердить, что посторонний подозрительный человек вторгся в это место. Поэтому, настоящее изобретение может использоваться, как, так называемая, система безопасности.
Например, путем установки множества пользователей, которые выполняют поиск людей - целей на этажах супермаркета, в качестве людей - целей поиска, пути движения, по которым перемещаются люди на каждом этаже, могут быть подтверждены на каждом этаже по результату поиска и слежения за человеком. Поэтому, эта информация может применяться в супермаркетах. Более конкретно, например, поскольку истории движения пользователей на этажах или клиентов могут быть подтверждены, и компоновки продуктов могут быть оптимально изменены на основе истории движения, настоящее изобретение может использоваться в, так называемой, системе маркетингового исследования.
В ходе представленных выше процессов становится возможным реализовать поиск и слежение за человеком в областях отслеживания с помощью множества камер отслеживания с высокой точностью.
Описанная выше последовательность обработки может исполняться с помощью аппаратных средств и также может исполняться с помощью программного обеспечения. Когда последовательности процессов исполняются программным обеспечением, программу для программного обеспечения устанавливают с носителя записи, например, в компьютер, встроенный в специализированные аппаратные средства, или в персональный компьютер общего назначения, выполненный с возможностью исполнения различных функций, путем установки различных программ.
На фиг. 16 иллюстрируется пример конфигурации персонального компьютера общего назначения. Персональный компьютер включает в себя CPU (центральное процессорное устройство) 1001. Интерфейс 1005 ввода-вывода соединен с CPU 1001 через шину 1004. ROM (постоянное запоминающее устройство) 1002 и RAM (оперативное запоминающее устройство) 1003 соединены с шиной 1004.
Модуль 1006 ввода выполнен, как устройство ввода данных, такое как клавиатура или мышь, используемые пользователем для ввода команды операции, модуль 1007 вывода, выводящий изображения обработки экрана в операции или результаты обработки в устройство дисплея, модуль 1008 сохранения, выполненный на основе привода жесткого диска и т.п., сохраняющий программу или различного вида данные, и модуль 1009 передачи данных, выполненный на основе адаптера LAN (локальная вычислительная сеть) и т.п. и выполняющий процесс передачи данных через сеть, такую как Интернет, соединены с интерфейсом 1005 ввода-вывода. Также подключен привод 1010, который считывает и записывает данные с и на съемный носитель 1011 записи, такой как магнитный диск (включающий в себя гибкий диск), оптический диск (включающий в себя CD-ROM (постоянное запоминающее устройство на компакт-диске)), DVD (цифровой универсальный диск), магнитооптический диск (включающий в себя MD (мини-диск)), или полупроводниковое запоминающее устройство.
CPU 1001 исполняет различного рода обработку, в соответствии с программой, сохраненной в ROM 1002, и программой, считываемой со съемного носителя 1011 записи, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство, установленный в модуль 1008 накопителя, и загружаемой из модуля 1008 накопителя в RAM 1003. RAM 1003, соответственно, содержит данные и т.п., необходимые для исполнения CPU 1001 различной обработки.
В компьютере, имеющем описанную выше конфигурацию, например, CPU 1001 исполняет описанную выше последовательность обработки, путем загрузки программы, сохраненной в модуле 1008 сохранения в RAM 1003 через интерфейс 1005 ввода-вывода и шину 1004 и исполняет программу.
Программа, исполняемая компьютером (CPU 1001), может быть записана на съемном носителе 1001, который, например, представляет собой пакетный носитель, который предоставляют. Эти программа также может быть предоставлена через проводную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача.
В компьютере программа может быть установлена в модуль 1008 сохранения через интерфейс 1005 ввода-вывода, путем установки съемного носителя 1001 на привод 1010. Программа может быть принята модулем 1009 передачи данных через проводную или беспроводную среду передачи данных и может быть установлена в модуль 1008 сохранения. Кроме того, программа может быть установлена заранее в ROM 1002 или в модуль 1008 сохранения.
Программа, исполняемая компьютером, может представлять собой программу, которая выполняет процессы хронологически в порядке, описанном в настоящем описании, или может представлять собой программу, которая выполняет процессы параллельно или в необходимые моменты времени, такие как время вызова.
В настоящем описании система означает набор из множества составляющих элементов (устройств, модулей (компонентов) и т.п.), и все составляющие элементы могут присутствовать или могут не присутствовать в одном корпусе. В соответствии с этим, множество устройств, установленных в отдельных корпусах и соединенных друг с другом через сеть и одно устройство, в корпусе которого установлено множество модулей в одном корпусе, оба представляют собой систему.
Варианты осуществления настоящего изобретения не ограничены описанным выше вариантом осуществления, и настоящее изобретение может быть модифицировано различным образом в пределах объема настоящего изобретения, без выхода за пределы сущности настоящего изобретения.
Например, настоящее изобретение может быть реализовано, как конфигурация облачных вычислений, в которых одна функция распределяется среди множества устройств и обрабатывается во взаимодействии через сеть.
Этапы, описанные в описанных выше блок-схемах последовательности операций, могут выполняться одним устройством и также могут быть распределены и выполнены во множестве устройств.
Когда множество процессов включено в один этап, множество процессов, включенных в один этап, может быть выполнено одним устройством и также может быть распределено и выполнено во множестве устройств.
Настоящее изобретение также может быть реализовано следующим образом.
(1) Устройство обработки информации включает в себя: множество модулей формирования изображения, каждый из которых снимает изображение, детектирует движущийся объект, выделяет изображение движущегося объекта, составленное из изображения детектированного движущегося объекта, детектирует координаты положения в пространстве движущегося объекта на основе изображений движущегося объекта, и выводит изображение движущегося объекта и информацию о движущемся объекте, включающую в себя координаты положения в пространстве движущегося объекта, и время формирования изображения, в которое изображение было снято; модуль расчета вероятности изображения движущегося объекта, который рассчитывает вероятность изображения движущегося объекта, которая представляет собой вероятность изображения движущегося объекта, включенного в информацию о движущемся объекте, другую, чем информация о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, относительно изображения движущегося объекта информации о движущемся объекте, не соответствующего для поиска; модуль определения порогового значения изображения движущегося объекта, который определяет, является ли вероятность изображения каждого изображения движущегося объекта, рассчитанная модулем расчета вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, и выполняет поиск информации о движущемся объекте с вероятностью изображения движущегося объекта большей, чем заданное пороговое значение, как результат поиска информации о движущемся объекте, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта того же самого движущегося объекта, что и движущийся объект изображения движущегося объекта для движущегося объекта цели поиска; модуль сохранения информации о движущемся объекте цели поиска, который сохраняет информацию о движущемся объекте, поиск которой выполняется, в качестве информации о движущемся объекте результате поиска модулем определения порогового значения изображения движущегося объекта; модуль ввода операции, который принимает ввод информации о решении, используемой для пользователя, для определения информации о движущемся объекте цели поиска среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результат поиска, в модуле сохранения полеченной в результате информации о движущемся объекте на основе изображения движущегося объекта; модуль расчета вероятности время - пространство, который рассчитывает вероятность время - пространство, которая состоит из вероятности, основанной на координатах положения в пространстве и времени съемки изображения, и представляет собой вероятность информации о движущемся объекте, другой, чем информация о движущемся объекте, для которого было введено решение, которая представляет собой информацию о движущемся объекте, для которого была введена информация принятого решения, в том, что касается информации о движущемся объекте, для которого было принято решение, для которого была введена информация решения, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска, в модуле сохранения полученной в результате информации о движущемся объекте; и модуль определения пороговой вероятности время - пространство, который определяет, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и который удаляет информацию о движущемся объекте для вероятности время - пространство, меньшей, чем заданное пороговое значение, из результата поиска модуля сохранения информации о движущемся объекте.
(2) В устройстве обработки информации, описанном в (1), после того, как модуль определения порогового значения вероятности время - пространство определит, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, модуль ввода операции может принять входную команду, представляющую информацию решения, используемую для нового определения пользователем информации движущегося пользователя цели поиска среди информации о движущемся объекте, сохраненной, как информации о движущемся объекте результате поиска в модуле сохранения информации о движущемся объекте результате на основе изображения движущегося объекта. Модуль расчета вероятности время - пространство может вновь рассчитать вероятность время пространство, которая состоит из вероятности, основанной на координатах положения в пространстве и времени формирования изображения, и которая представляет собой вероятность информации о движущемся объекте, другую, чем информация о движущемся объекте решения в отношении информации о движущемся объекте решения, для которой информацию решения ввели снова, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результат поиска в модуле сохранения полученной в результате информации о движущемся объекте. Модуль определения порогового значения вероятности время - пространство может определять, является ли каждая вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаляет информацию о движущемся объекте с вероятностью время - пространство меньшей, чем заданное пороговое значение, из модуля сохранения информации о движущемся объекте результате поиска. Модуль ввода операции, модуль расчета вероятности время - пространство и модуль определения порогового значения вероятности время - пространство может повторять эту обработку всякий раз, когда информацию о решении вновь вводят с использованием модуля ввода операции.
(3) В устройстве обработки информации, описанном в (2), информация о движущемся объекте может дополнительно включать в себя ID, идентифицирующий один из множества модулей формирования изображения, снимающих изображение движущегося объекта, которое должно быть включено. Устройство обработки информации дополнительно может включать в себя: модуль расчета BTF, которая рассчитывает BTF (функцию передачи яркости), предназначенную для коррекции изменения цвета между модулями формирования изображения, на основе двух изображений движущихся объектов с различными идентификаторами, идентифицирующими множество модулей формирования изображения, каждый из которых снимает изображение движущегося объекта в информации о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, и информацию о движущемся объекте решении, для которого принимают ввод информации решения, используемой для определения информации о движущемся объекте цели поиска; модуль обработки BTF, который выполняет BTF для изображения движущегося объекта для информации о движущемся объекте, включающей в себя изображение движущегося объекта, снимаемое модулем формирования изображения с ID, для которого была получена BTF, среди другой информации о движущемся объекте, чем информации о движущемся объекте, в соответствии с решением, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результат поиска, в модуле сохранения полученной в результате информации о движущемся объекте; модуль расчета вероятности изображения движущегося объекта BTF, которая рассчитывает вероятность изображения движущегося объекта BTF, которая состоит из вероятности, основанной на изображении движущегося объекта, и которая представляет собой вероятность информации о движущемся объекте, включающей в себя изображение движущегося объекта, обработанного, с использованием BTF, в модуле обработки BTF, в отношении изображения движущегося объекта для информации о движущемся объекте, в соответствии с решением; и модуль определения порогового значения изображения движущегося объекта BTF, которая определяет, является ли каждая вероятность изображения движущегося объекта BTF, рассчитанная модулем расчета вероятности изображения движущегося объекта BTF, меньшей, чем заданное пороговое значение. Модуль определения порогового значения вероятности время - пространство может определять, является ли вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространством, меньшей, чем заданное пороговое значение. Модуль определения порогового значения изображения движущегося объекта BTF может определять, является ли каждая вероятность изображения движущегося объекта BTF, рассчитанная модулем расчета вероятности изображения движущегося объекта BTF, меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не меньше, чем заданное пороговое значение, и удаляет информацию о движущемся объекте, включающую в себя изображение движущегося объекта, для которого вероятность изображения движущегося объекта BTF меньше, чем заданное пороговое значение, для результата поиска модуля сохранения информации о движущемся объекте, когда вероятность изображения движущегося объекта BTF меньше, чем заданное пороговое значение.
(4) В устройстве обработки информации, описанном в (1) или (2), модуль расчета вероятности изображения движущегося объекта может рассчитывать степень схожести, обозначающую степень схожести каждого движущегося объекта, как вероятность изображения движущегося объекта, на основе изображения движущегося объекта, включенного в каждое изображение движущегося объекта информации о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, и изображение движущегося объекта, включенное в другую информацию о движущемся объекте, чем информация о движущемся объекте не соответствующем для поиска.
(5) В устройстве обработки информации, описанном в любом из (1), (2) и (4), модуль расчета вероятности время - пространство может рассчитывать вероятность время - пространство по соотношению между временем между моментами времени формирования изображения и фактическим временем, которое требуется для перемещения на расстояние между координатами положения в пространстве другой информации о движущемся объекте, чем информация о движущемся объекте решения, и информации о движущемся объекте решения, для которого информация решения была введена, при средней скорости движения человека.
(6) Предусмотрен способ обработки информации устройства обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектируя движущийся объект, выделяет изображение движущегося объекта, составленное из изображения детектированного движущегося объекта, детектирует координаты положения в пространстве движущегося объекта на основе изображения движущегося объекта и выводит изображение движущегося объекта и информацию о движущемся объекте, включающую в себя координаты положения в пространстве движущегося объекта и время формирования изображения, в которое было снято изображение. Способ обработки информации включает в себя: процесс расчета вероятности изображения движущегося объекта, состоящий в расчете вероятности изображения движущегося объекта, которая представляет собой вероятность изображения движущегося объекта, включенную в другую информацию о движущемся объекте, чем информация о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, в отношении изображения движущегося объекта, для информации о движущемся объекте не соответствующей для поиска; процесс определения порогового значения для изображения движущегося объекта, состоящий в определении, является ли каждая вероятность изображения движущегося объекта, рассчитанная в процессе расчета вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, и выполнении поиска информации о движущемся объекте для вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результате поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта того же движущегося объекта, что и движущийся объект изображения движущегося объекта информации о движущемся объекте цели поиска; процесс сохранения информации о движущемся объекте результате поиска, состоящий в сохранении информации о движущемся объекте, поиск которой выполняется в качестве информации о движущемся объекте результате поиска в процессе определения порогового значения изображения движущегося объекта; процесс ввода операции, состоящий в приеме ввода информации решения, используемый для пользователя, для принятия решения в отношении информации о движущемся объекте цели поиска среди информации о движущемся объекте, сохраненной как информация о движущемся объекте результате поиска в процессе сохранения информации о движущемся объекте результата, на основе изображения движущегося объекта; процесс расчета вероятности время - пространство, состоящий в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения и которая представляет собой вероятность другой информации о движущемся объекте, чем информация о движущемся объекте решении, которая представляет собой информацию о движущемся объекте, для которой была введена информация решения, в отношении информации о движущемся объекте решении, для которой была введена информация решения, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска, в процессе сохранения информации о движущемся объекте результате; и процесс определения порогового значения вероятности время - пространство, состоящий в определении, является ли каждая вероятность время - пространство, рассчитанная в процессе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаления информации о движущемся объекте вероятности время - пространство, меньшей, чем заданное пороговое значение, из информации о движущемся объекте, сохраненной в процессе сохранения движущегося объекта результата поиска.
(7) Предусмотрена программа для компьютера, управляющего устройством обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектируя движущийся объект, выделяет изображение движущегося объекта, составленное из изображения детектированного движущегося объекта, детектирует координаты положения в пространстве движущегося объекта на основе изображения движущегося объекта и выводит изображение движущегося объекта и информацию о движущемся объекте, включающую в себя координаты положения в пространстве движущегося объекта и время формирования изображения, в которое было снято изображение. Программа, обеспечивает выполнение компьютером: этапа расчета вероятности изображения движущегося объекта, состоящий в расчете вероятности изображения движущегося объекта, которая представляет собой вероятность изображения движущегося объекта, включенную в другую информацию о движущемся объекте, чем информация о движущемся объекте цели поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта для движущегося объекта, который представляет собой цель поиска, в отношении изображения движущегося объекта, для информации о движущемся объекте не соответствующей для поиска; этапа определения порогового значения для изображения движущегося объекта, состоящий в определении, является ли каждая вероятность изображения движущегося объекта, рассчитанная на этапе расчета вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, и выполнении поиска информации о движущемся объекте для вероятности изображения движущегося объекта, большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результате поиска, которая представляет собой информацию о движущемся объекте, включающую в себя изображение движущегося объекта того же движущегося объекта, что и движущийся объект изображения движущегося объекта информации о движущемся объекте цели поиска; этапа сохранения информации о движущемся объекте результате поиска, состоящий в сохранении информации о движущемся объекте, поиск которой выполняется в качестве информации о движущемся объекте результате поиска на этапе определения порогового значения изображения движущегося объекта; этапа ввода операции, состоящий в приеме ввода информации решения, используемый для пользователя, для принятия решения в отношении информации о движущемся объекте цели поиска среди информации о движущемся объекте, сохраненной как информация о движущемся объекте результате поиска на этапе сохранения информации о движущемся объекте результата, на основе изображения движущегося объекта; этапа расчета вероятности время - пространство, состоящий в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения и которая представляет собой вероятность другой информации о движущемся объекте, чем информация о движущемся объекте решении, которая представляет собой информацию о движущемся объекте, для которой была введена информация решения, в отношении информации о движущемся объекте решении, для которой была введена информация решения, среди информации о движущемся объекте, сохраненной, как информация о движущемся объекте результате поиска, на этапе сохранения информации о движущемся объекте результате; и этапа определения порогового значения вероятности время - пространство, состоящий в определении, является ли каждая вероятность время - пространство, рассчитанная в процессе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаления информации о движущемся объекте вероятности время - пространство, меньшей, чем заданное пороговое значение, из информации о движущемся объекте, сохраненной на этапе сохранения движущегося объекта результата поиска.
(8) Устройство обработки информации включает в себя: множество модулей формирования изображения, каждый из которых снимает изображение, детектирует человека, выделяет изображение человека, состоящее из изображения детектированного человека, детектирует координаты положения в пространстве для человека на основе изображения человека, и выводит изображение человека и персональную информацию, включающую в себя координаты положения в пространстве для этого человека и время формирования изображения, в которое было снято изображение; модуль расчета вероятности изображения человека, который рассчитывает вероятность изображения человека, которая представляет собой вероятность изображения человека, включенного в другую информацию о человеке, чем информация о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, в отношении изображения человека для информации о человеке, не соответствующей для поиска; модуль определения порогового значения изображения человека, который определяет, является ли каждая вероятность изображения человека, рассчитанная модулем расчета вероятности изображения человека, большей, чем заданное пороговое значение, и выполняет поиск информации о человеке для вероятности изображения человека, большей, чем заданное пороговое значение, как информации о человеке результате поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для того же человека, что и человек на изображении человека в информации о человеке цели поиска; модуль сохранения информации о человеке результате поиска, который сохраняет информацию о человеке, поиск которого выполняется, в качестве информации о человеке результате поиска модулем определения порогового значения изображения человека; модуль ввода операции, который принимает ввод информации решения, используемой для пользователя, для принятия решения о поиске информации о человеке цели поиска среди информации о человеке, сохраненной, как информация о человеке результате поиска, в модуле сохранения полученной в результате информации о человеке, на основе изображения человека; модуль расчета вероятности время - пространство, который рассчитывает вероятность время - пространство, которая состоит из вероятности, основанной на координатах положения в пространстве и времени формирования изображения, и которая представляет собой вероятность другой информации о человеке, чем информация о человеке решении, которая представляет собой информацию о человеке, для которого вводят информацию решения, в отношении информации о человеке, в соответствии с решением, для которой вводят информацию решения, среди информации о человеке, сохраненной, как информация о человеке результате поиска, в модуле сохранения полученной в результате информации о человеке; и модуль определения порогового значения вероятности время - пространство, который определяет, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удаляет информацию о человеке для вероятности время - пространство, меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска.
(9) В устройстве обработки информации, описанном в (8), после того, как модуль определения порогового значения вероятности время - пространство определит, является ли каждая вероятность время - пространство, рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, модуль ввода операции может принять входную команду, представляющую собой информацию решения, используемую для пользователя, для того, чтобы вновь определить информацию о человеке цели поиска на основе изображения человека среди информации о человеке, сохраненной, как информация о человеке результата поиска, в модуле сохранения полученной в результате информации о человеке. Модуль расчета вероятности время - пространство может вновь рассчитать вероятность время - пространство, которая составлена из вероятности на основе координат положения в пространстве и времени формирования изображения и которая представляет собой вероятность другой информации о человеке, чем информация о человеке, в соответствии с решением в отношении информации о человеке, в соответствии с решением, для которого информация, в соответствии с решением, была вновь введена, среди информации о человеке, сохраненной, как информация о человеке результате поиска в модуле сохранения полученной в результате информации о человеке. Модуль определения порогового значения вероятности время - пространство может определять, является ли каждая вновь рассчитанная вероятность время - пространство модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и может удалять информацию о человеке с вероятностью время - пространство меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска. Модуль ввода операции, модуль расчета вероятности время - пространство и модуль определения порогового значения вероятности время - пространство могут повторять тот же процесс всякий раз, когда информацию решения вновь вводят с помощью модуля ввода операции.
(10) В устройстве обработки информации, описанном в (9), информация о человеке может дополнительно включать в себя ID, идентифицирующий один из множества модулей формирования изображения, снимающих изображение человека, которое будет включено. Устройство обработки информации может дополнительно включать в себя: модуль расчета BTF, которая рассчитывает BTF (функцию передачи яркости), которая выполняет коррекцию изменения цвета между модулями формирования изображения на основе двух изображений человека с разными ID, идентифицирующими множество модулей формирования изображения, и снимающим изображения человека в информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и информацию о человеке решения, для которой принимают входную команду, представляющую информацию о решении, используемую для принятия решения в отношении информации о человеке цели поиска; модуль обработки BTF, которая выполняет BTF для изображения человека информации о человеке, включающей в себя изображение человека, снятое модулем формирования изображения с ID, для которого была получена BTF, среди другой информации о человеке, чем информация о человеке, в соответствии с решением, среди информации о человеке, сохраненной, как информация о человеке результате поиска, в модуле сохранения полученной в результате информации о человеке; модуль расчета вероятности изображения человека BTF, которая рассчитывает вероятность изображения человека BTF, которая состоит из вероятности на основе изображения человека которая представляет собой вероятность информации о человеке, включающую в себя изображение человека, обработанное с использованием BTF в модуле обработки BTF, в отношении изображения человека информации о человеке, в соответствии с решением; и
модуль определения порогового значения изображения человека BTF, которая определяет, является ли каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньшей, чем заданное пороговое значение. Модуль определения порогового значения вероятности время - пространство может определять, является ли вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение. Модуль определения порогового значения изображения человека BTF может определять, является ли каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не является меньшей, чем заданное пороговое значение, и удалять информацию о человеке, включающую в себя изображение человека, для которой вероятность изображения человека BTF меньше, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска, когда вероятность изображения человека BTF меньше, чем заданное пороговое значение.
(11) Устройство обработки информации, описанное в (10), может дополнительно включать в себя: модуль сохранения информации того же человека, который содержит информацию о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и информацию о человеке, в соответствии с решением, для которого был получен ввод информации решения, используемой для определения информации о человеке цели поиска, как информации о человеке для того же человека, что и человек цель поиска; модуль сохранения информации о другом человеке, который содержит, в качестве информации о другом человеке, которая представляет собой информацию о человеке для человека, другого, чем человек цели поиска, информацию о человеке, включающую в себя изображение человека, для которого каждая вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньше, чем заданное пороговое значение, или каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньше, чем заданное пороговое значение; модуль поиска уникального свойства, который выбирает уникальное свойство, используемое для поиска для человека цели поиска путем изучения на основе изображения человека информации о человеке, содержащейся в модуле сохранения информации того же человека, и изображения человека информации о человеке, содержащейся в модуле сохранения информации о другом человеке; модуль расчета вероятности уникального свойства, который рассчитывает вероятность уникального свойства, которая представляет собой вероятность на основе уникального свойства изображения человека, включенного в информацию о человеке, другую, чем информация о человеке, не соответствующем для поиска, в отношении изображения человека информации о человеке цели поиска; и модуль определения порогового значения вероятности уникального свойства, который определяет, является ли вероятность каждого уникального свойства, рассчитанная модулем расчета вероятности уникального свойства, меньшей, чем заданное пороговое значение, и удаляет информацию о человеке с вероятностью уникального свойства, меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска. Модуль определения порогового значения вероятности время - пространство может определять, является ли каждая вероятность время - пространство, вновь рассчитанная модулем расчета вероятности время - пространство, меньшей, чем заданное пороговое значение. Модуль определения порогового значения изображения человека BTF может определять, является ли каждая вероятность изображения человека BTF, рассчитанная модулем расчета вероятности изображения человека BTF, меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не меньше, чем заданное пороговое значение. Модуль определения порогового значения вероятности уникального свойства может определять, является ли каждая вероятность уникального свойства, рассчитанная модулем расчета вероятности уникального свойства, меньшей, чем заданное пороговое значение, и удаляет информацию о человеке с вероятностью уникального свойства меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска, когда вероятность изображения человека BTF не меньше, чем заданное пороговое значение.
(12) В устройстве обработки информации, описанном в (11), когда информацию о человеке вероятности уникального свойства, меньшую, чем заданное пороговое значение, удаляют из модуля сохранения информации о человеке результата поиска с помощью модуля определения порогового значения вероятности уникального свойства, модуль сохранения информации о другом человеке может содержать информацию о человеке с вероятностью уникального свойства меньшей, чем заданное пороговое значение, как информацию о другом человеке, которая представляет собой информацию о человеке для другого человека.
(13) В устройстве обработки информации, описанном в (8), модуль поиска уникальной функции может выбирать, как уникальное свойство, величину свойства, в соответствии с которой увеличивается вероятность между изображением человека информации о человеке, содержащейся в модуле сохранения информации того же человека, и изображением человека для человека цели поиска, и, благодаря чему, вероятность между изображением человека для информации о человеке, содержащейся в модуле сохранения информации о другом человеке, и изображением человека для человека цели поиска, путем изучения на основе изображения человека информации о человеке, содержащейся в модуле сохранения информации того же человека, и изображением человека для информации о человеке, содержащейся в модуле сохранения информации о другом человеке.
(14) В устройстве обработки информации, описанном в (8), модуль расчета вероятности уникальной функции может рассчитывать, в качестве вероятности уникального свойства, схожесть, обозначающую степень схожести каждого человека на основе уникального свойства изображения человека, включенного в каждое изображение человека информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и изображение человека, включенное в информацию о человеке, другую, чем информацию о человеке, не соответствующем для поиска.
(15) В устройстве обработки информации, описанном в (8), может рассчитывать схожесть, обозначающую степень схожести каждого человека, как вероятность изображения человека, на основе изображения человека, включенного в каждое из изображений человека информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, и изображение человека, включенное в другую информацию о человеке, чем информация о человеке, не соответствующем для поиска.
(16) В устройстве обработки информации, описанном в (8), модуль расчета вероятности время - пространство может рассчитывать вероятность время - пространство из соотношения между временем между моментами времени формирования изображения и необходимым фактическим временем, требуемым для перемещения на расстояние между координатами положения в пространстве другой информации о человеке, чем информация о человеке решения и информация о человеке решения, для которой вводят информацию решения, при средней скорости движения человека.
(17) Предусмотрен способ обработки информации устройства обработки информации, включающий в себя множество модулей изображения, каждый из которых снимает изображение, детектирует человека, выделяет изображение человека, состоящее из изображения детектированного человека, детектирует координаты положения в пространстве человека на основе изображения человека, и выводит изображение человека и персональную информацию, включающую в себя координаты положения в пространстве человека и время формирования изображения, в которое было снято изображение. Способ обработки информации включающий в себя: процесс расчета вероятности изображения человека, состоящий в расчете вероятности изображения человека, которая представляет собой вероятность изображения человека, включенного в другую информацию о человеке, кроме информации о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, в отношении изображения человека информации о человеке, не соответствующем для поиска; процесс определения порогового значения изображения человека, состоящий в определении, является ли и каждая вероятность изображения человека, рассчитанная в процессе расчета вероятности изображения человека, большей, чем заданное пороговое значение, и поиска информации о человеке для вероятности изображения человека, большей, чем заданное пороговое значение, в качестве информации о человеке результате поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для того же человека, что и человек изображения человека информации о человеке цели поиска; процесс сохранения информации о человеке результата поиска, состоящий в сохранении информации о человеке, для которого был выполнен поиск, в качестве информации о человеке результате поиска, используя процесс определения порогового значения изображения человека; процесс ввода операции, состоящий в приеме ввода информации решения, используемой для пользователя, для определения информации о человеке цели поиска среди информации о человеке, сохраненной в информации о человеке результата поиска в процессе сохранения полученной в результате информации человеке, на основе изображения человека; процесс расчета вероятности время - пространство, состоящий в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения, и которая представляет собой вероятность другой информации о человеке, чем информация о человеке, в соответствии с решением, которая представляет собой информацию о человеке, для которой вводят информацию о принятии решения, в отношении информации о человеке, в соответствии с принятым решением, для которого вводят информацию решения, среди информации о человеке, сохраненной, как информацию о человеке результате поиска, в процессе сохранения информации о человеке результате; и процесс определения порогового значения вероятности время - пространство, состоящий в определении, является ли каждая вероятность время - пространство, рассчитанная в процессе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удалении информации о человеке вероятности время - пространство меньшей, чем заданное пороговое значение, из информации о человеке, сохраненной в процессе сохранения информации о человеке результата поиска.
(18) Предусмотрена программа для компьютера, управляющего устройством обработки информации, включающим в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектирует человека, выделяет изображение человека, состоящее из изображения детектированного человека, детектирует координаты положения в пространстве человека на основе изображения человека, и выводит изображение человека и персональную информацию, включающую в себя координаты положения в пространстве человека и время формирования изображения, в которое снимают изображение. Программа обеспечивает выполнение компьютером: этапа расчета вероятности изображения человека, состоящего в расчете вероятности изображения человека, которая представляет собой вероятность изображения человека, включенного в информацию о человеке, другую, чем информацию о человеке цели поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для человека, который представляет собой цель поиска, в отношении изображения человека информации о человеке, не соответствующем для поиска; этапа определения порогового значения изображения человека, состоящего в определении, является ли каждая вероятность изображения человека, рассчитанная в процессе на этапе расчета вероятности изображения человека, большей, чем заданное пороговое значение, и поиска информации о человеке с вероятностью изображения человека, большей, чем заданное пороговое значение, как информации о человеке результате поиска, которая представляет собой информацию о человеке, включающую в себя изображение человека для того же человека, что и человек изображения человека информации о человеке цели поиска; этапа сохранения информации о человеке результата поиска, состоящего в сохранении информации о человеке, поиск которой выполняли, в качестве информации о человеке результата поиска с помощью процесса на этапе определения порогового значения изображения человека; этапа ввода операции, состоящего в приеме ввода информации решения, используемой для пользователя, для определения информации о человеке цели поиска среди информации о человеке, сохраненной, как информация о человеке результате поиска в процессе этапа сохранения полученной в результате информации о человеке на основе изображения человека; этапа расчета вероятности время - пространство, состоящего в расчете вероятности время - пространство, которая состоит из вероятности на основе координат положения в пространстве и времени формирования изображения, и которая представляет собой вероятность другой информации о человеке, чем информация о человеке решения, которая представляет собой информацию о человеке, для которой информацию о решении вводят в соответствии с информацией о человеке решения, для которого была введена информация решения, среди информации о человеке, сохраненной, как информация о человеке результате поиска, в процессе этапа сохранения проученной в результате информации о человеке; и этапа определения порогового значения вероятности время - пространство, состоящего в определении, является ли каждая вероятность время - пространство, рассчитанная в ходе процесса на этапе расчета вероятности время - пространство, меньшей, чем заданное пороговое значение, и удалении информации о человеке для вероятности время - пространство, меньшей, чем заданное пороговое значение, из модуля сохранения информации о человеке результате поиска.
Список номеров ссылочных позиций
1 СИСТЕМА ОТСЛЕЖИВАНИЯ, 11, 11-l - 11-n КАМЕРА ОТСЛЕЖИВАНИЯ, 12 СЕРВЕР ПОИСКА И СЛЕЖЕНИЯ ЗА ЧЕЛОВЕКОМ, 13 СЕТЬ, 31 МОДУЛЬ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, 32 МОДУЛЬ ДЕТЕКТИРОВАНИЯ ДВИЖУЩЕГОСЯ ОБЪЕКТА, 33 МОДУЛЬ ВЫДЕЛЕНИЯ ИЗОБРАЖЕНИЯ ПЕРЕДНЕГО ПЛАНА, 34 ID КАМЕРЫ, 35 МОДУЛЬ РАСЧЕТА КООРДИНАТЫ ПОЛОЖЕНИЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, 36 МОДУЛЬ ДЕТЕКТИРОВАНИЯ ВРЕМЕНИ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, 37 МОДУЛЬ ВЫВОДА ИНФОРМАЦИИ О ДВИЖУЩЕМСЯ ОБЪЕКТЕ, 51 МОДУЛЬ ПОЛУЧЕНИЯ ИНФОРМАЦИИ О ДВИЖУЩЕМСЯ ОБЪЕКТЕ, 52 МОДУЛЬ ОБРАБОТКИ ФИЛЬТРАЦИИ ИНФОРМАЦИИ О ДВИЖУЩЕМСЯ ОБЪЕКТЕ, 53 МОДУЛЬ СОХРАНЕНИЯ ИНФОРМАЦИИ О ДВИЖУЩЕМСЯ ОБЪЕКТЕ, 54 МОДУЛЬ ОБРАБОТКИ РАСЧЕТА ВЕРОЯТНОСТИ ИНФОРМАЦИИ О ДВИЖУЩЕМСЯ ОБЪЕКТЕ, 55 МОДУЛЬ ОПРЕДЕЛЕНИЯ ПОРОГОВОГО ЗНАЧЕНИЯ ВЕРОЯТНОСТИ ИНФОРМАЦИИ О ДВИЖУЩЕМСЯ ОБЪЕКТЕ, 56 МОДУЛЬ СОХРАНЕНИЯ РЕЗУЛЬТАТА, 57 МОДУЛЬ ГЕНЕРИРОВАНИЯ ИЗОБРАЖЕНИЯ ОТОБРАЖЕНИЯ, 58 МОДУЛЬ ДИСПЛЕЯ, 59 МОДУЛЬ ОБРАБОТКИ УЛУЧШЕНИЯ СОПОСТАВЛЕНИЯ, 60 МОДУЛЬ ВВОДА ОПЕРАЦИИ, 71 МОДУЛЬ ОПРЕДЕЛЕНИЯ РАЗМЕРА ДЕТЕКТИРУЕМОГО КАДРА, 72 МОДУЛЬ ОПРЕДЕЛЕНИЯ СМЕЩЕНИЯ ПЕРЕДНЕГО ПЛАНА, 73 МОДУЛЬ ОПРЕДЕЛЕНИЯ КОРРЕЛЯЦИИ ПЕРЕДНЕГО ПЛАНА И ЗАДНЕГО ПЛАНА, 74 МОДУЛЬ ОПРЕДЕЛЕНИЯ ДЛИНЫ КРОМКИ, 75 МОДУЛЬ ОПРЕДЕЛЕНИЯ МНОЖЕСТВА ЛЮДЕЙ, 91 МОДУЛЬ РАСПОЗНАВАНИЯ ВВОДА ОПЕРАЦИИ, 92 МОДУЛЯ РАСЧЕТА BTF, 93 МОДУЛЬ РАСЧЕТА ВЕРОЯТНОСТИ ВРЕМЯ - ПРОСТРАНСТВО, 94 МОДУЛЬ ОПРЕДЕЛЕНИЯ ПОРОГОВОГО ЗНАЧЕНИЯ ВЕРОЯТНОСТИ ВРЕМЯ - ПРОСТРАНСТВО, 95 МОДУЛЬ ОБРАБОТКИ ИЗОБРАЖЕНИЙ BTF, 96 МОДУЛЬ РАСЧЕТА ВЕРОЯТНОСТИ ИЗОБРАЖЕНИЯ BTF, 97 МОДУЛЬ ОПРЕДЕЛЕНИЯ ПОРОГОВОГО ЗНАЧЕНИЯ ВЕРОЯТНОСТИ ИЗОБРАЖЕНИЯ BTF.

Claims (18)

1. Устройство обработки информации, содержащее:
множество модулей формирования изображения, каждый из которых выполнен с возможностью:
съемки изображения;
детектирования движущегося объекта на изображении;
выделения изображения движущегося объекта из изображения;
детектирования координат положения в пространстве движущегося объекта на основе изображений движущегося объекта; и
вывода информации о движущемся объекте, при этом информация о движущемся объекте включает в себя изображение движущегося объекта, координаты положения в пространстве и время формирования изображения, в которое изображение было снято; и
модуль обработки, выполненный с возможностью:
расчета, для каждой информации о движущемся объекте, полученной от множества модулей формирования изображения, вероятности изображения движущегося объекта, что изображение движущегося объекта, включенное в информацию о движущемся объекте, представляет собой цель поиска относительно информации о движущемся объекте цели поиска, при этом информация о движущемся объекте цели поиска включает в себя изображение движущегося объекта цели поиска;
определения, является ли каждая рассчитанная вероятность изображения движущегося объекта большей, чем заданное пороговое значение, и поиска информации о движущемся объекте с вероятностью изображения движущегося объекта большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результата поиска, при этом информация о движущемся объекте результата поиска включает в себя изображение движущегося объекта того же самого движущегося объекта, что и изображения движущегося объекта информации о движущемся объекте цели поиска;
сохранения информации о движущемся объекте, поиск которой выполняется, в качестве информации о движущемся объекте результата поиска;
приема информации о решении, вводимой пользователем, для подтверждения информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результата поиска;
расчета для каждой информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результата поиска и не подтвержденной согласно информации о решении, вероятности время - пространство, на основании координат положения в пространстве и времени съемки изображения, что изображение движущегося объекта, включенное в информацию о движущемся объекте, представляет собой цель поиска;
определения, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение; и
удаления сохраненной информации о движущемся объекте, для которой вероятность время - пространство, меньше, чем заданное пороговое значение.
2. Устройство обработки информации по п. 1, в котором модуль обработки выполнен с возможностью
приема, после определения того, является ли каждая вероятность время - пространство меньшей, чем заданное пороговое значение, второй информации о решении от пользователя для нового подтверждения информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результате поиска,
расчета, для каждой информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результата поиска и не подтвержденной согласно второй информации о решении, второй вероятности время - пространство, на основании координат положения в пространстве и времени формирования изображения, что изображение движущегося объекта, включенное в информацию о движущемся объекте, представляет собой цель поиска,
определения, является ли каждая рассчитанная вторая вероятность время - пространство меньшей, чем заданное пороговое значение,
удаления сохраненной информации о движущемся объекте, для которой вероятность время - пространство меньше, чем заданное пороговое значение,
повторения расчета, определения и удаления, когда модуль обработки принимает новую информацию о решении.
3. Устройство обработки информации по п. 2,
в котором информация о движущемся объекте дополнительно включает в себя идентификатор (ID), идентифицирующий один из множества модулей формирования изображения, снимающих изображение движущегося объекта, включенное в информацию о движущемся объекте,
в котором модуль обработки дополнительно выполнен с возможностью:
расчета функции передачи яркости (BTF), для коррекции изменения цвета между модулями формирования изображения, на основе двух изображений движущихся объектов с различными ID, в информации о движущемся объекте цели поиска;
выполнения BTF для изображения движущегося объекта для информации о движущемся объекте, включающей в себя изображение движущегося объекта, снимаемое модулем формирования изображения с ID, для которого была получена BTF;
расчета вероятности изображения движущегося объекта BTF на основании изображения движущегося объекта, при этом вероятность изображения движущегося объекта BTF включает в себя изображение движущегося объекта, обработанного, с использованием BTF, в отношении изображения движущегося объекта, подтвержденного согласно информации о решении; и
определения, является ли каждая вероятность изображения движущегося объекта BTF меньшей, чем заданное пороговое значение, при этом
модуль обработки определяет, является ли вероятность время - пространство, вновь рассчитанная, меньшей, чем заданное пороговое значение, и
модуль обработки определяет, является ли каждая рассчитанная вероятность изображения движущегося объекта BTF меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не меньше, чем заданное пороговое значение, и удаляет сохраненную информацию о движущемся объекте, включающую в себя изображение движущегося объекта, для которого вероятность изображения движущегося объекта BTF меньше, чем заданное пороговое значение, когда вероятность изображения движущегося объекта BTF меньше, чем заданное пороговое значение.
4. Устройство обработки информации по п. 1, в котором модуль обработки рассчитывает степень схожести, обозначающую степень схожести каждого движущегося объекта, как вероятность изображения движущегося объекта, на основе изображений движущегося объекта.
5. Устройство обработки информации по п. 1, в котором модуль обработки рассчитывает вероятность время - пространство по соотношению между временем между моментами времени формирования изображения и фактическим временем, которое требуется для перемещения на расстояние между координатами положения в пространстве информации о движущемся объекте, не подтвержденной согласно информации о решении, и информации о движущемся объекте, подтвержденной согласно информации решения, при средней скорости движения человека.
6. Способ обработки информации устройства обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектирует движущийся объект на изображении, выделяет изображение движущегося объекта из изображения, детектирует координаты положения в пространстве движущегося объекта на основе изображения движущегося объекта и выводит информацию о движущемся объекте, при этом информация о движущемся объекте включает в себя изображение движущегося объекта, координаты положения в пространстве и время формирования изображения, в которое было снято изображение, способ обработки информации содержащий:
расчет, с помощью модуля обработки устройства обработки информации, для каждой информации о движущемся объекте, полученной от множества модулей формирования изображения, вероятности изображения движущегося объекта, что изображение движущегося объекта, включенное в информацию о движущемся объекте, представляет собой цель поиска относительно информации о движущемся объекте цели поиска, при этом информация о движущемся объекте цели поиска включает в себя изображение движущегося объекта цели поиска;
определение, с помощью модуля обработки, является ли каждая рассчитанная вероятность изображения движущегося объекта большей, чем заданное пороговое значение;
поиск информации о движущемся объекте с вероятностью изображения движущегося объекта большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результата поиска, при этом информация о движущемся объекте результата поиска включает в себя изображение движущегося объекта того же самого движущегося объекта, что и изображения движущегося объекта информации о движущемся объекте цели поиска;
сохранение информации о движущемся объекте, поиск которой выполняется, в качестве информации о движущемся объекте результата поиска;
прием информации о решении, вводимой пользователем, для подтверждения информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результата поиска;
расчет, с помощью модуля обработки, для каждой информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результата поиска и не подтвержденной согласно информации о решении, вероятности время - пространство, на основании координат положения в пространстве и времени съемки изображения, что изображение движущегося объекта, включенное в информацию о движущемся объекте, представляет собой цель поиска;
определение, с помощью модуля обработки, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение; и
удаление сохраненной информации о движущемся объекте, для которой вероятность время - пространство меньше, чем заданное пороговое значение.
7. Постоянный считываемый компьютером носитель записи, содержащий записанную на нем программу, которая при выполнении модулем обработки компьютера, управляющего устройством обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектирует движущийся объект на изображении, выделяет изображение движущегося объекта из изображения, детектирует координаты положения в пространстве движущегося объекта на основе изображения движущегося объекта и выводит информацию о движущемся объекте, при этом информация о движущемся объекте включает в себя изображение движущегося объекта, координаты положения в пространстве и время формирования изображения, в которое было снято изображение, побуждает модуль обработки:
рассчитывать, для каждой информации о движущемся объекте, полученной от множества модулей формирования изображения, вероятность изображения движущегося объекта, что изображение движущегося объекта, включенное в информацию о движущемся объекте, представляет собой цель поиска относительно информации о движущемся объекте цели поиска, при этом информация о движущемся объекте цели поиска включает в себя изображение движущегося объекта цели поиска;
определять, является ли каждая рассчитанная вероятность изображения движущегося объекта большей, чем заданное пороговое значение;
искать информацию о движущемся объекте с вероятностью изображения движущегося объекта большей, чем заданное пороговое значение, в качестве информации о движущемся объекте результата поиска, при этом информация о движущемся объекте результата поиска включает в себя изображение движущегося объекта того же самого движущегося объекта, что и изображения движущегося объекта информации о движущемся объекте цели поиска;
сохранять информацию о движущемся объекте, поиск которой выполняется, в качестве информации о движущемся объекте результата поиска;
принимать информацию о решении, вводимую пользователем, для подтверждения информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результата поиска;
рассчитывать, для каждой информации о движущемся объекте, сохраненной, в качестве информации о движущемся объекте результата поиска и не подтвержденной согласно информации о решении, вероятность время - пространство, на основании координат положения в пространстве и времени съемки изображения, что изображение движущегося объекта, включенное в информацию о движущемся объекте, представляет собой цель поиска;
определять, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение; и
удалять сохраненную информацию о движущемся объекте, для каждой вероятности время - пространство, меньшей, чем заданное пороговое значение.
8. Устройство обработки информации, содержащее:
множество модулей формирования изображения, каждый из которых выполнен с возможностью:
съемки изображения;
детектирования человека на изображении;
выделения изображение человека из изображения;
детектирования координат положения в пространстве для человека на основе изображения человека; и
вывода информации о человеке, при этом информация о человеке включает в себя изображение человека, координаты положения в пространстве и время формирования изображения, в которое было снято изображение; и
модуль обработки, выполненный с возможностью:
расчета, для каждой информации о человеке, полученной от множества модулей формирования изображения, вероятности изображения человека, что изображение человека, включенное в информацию о человеке, представляет собой цель поиска относительно информации о человеке цели поиска, при этом информация о человеке цели поиска включает в себя изображение человека цели поиска;
определения, является ли каждая рассчитанная вероятность изображения человека большей, чем заданное пороговое значение, и поиска информации о человеке для вероятности изображения человека, большей, чем заданное пороговое значение, в качестве информации о человеке результата поиска, при этом информация о человеке результата поиска включает в себя изображение человека для того же человека, что и изображение человека в информации о человеке цели поиска;
сохранения информации о человеке, поиск которой выполняется, в качестве информации о человеке результата поиска;
приема информации о решении, вводимой пользователем, для подтверждения информации о человеке, сохраненной, в качестве информации о человеке результата поиска;
расчета, для каждой информации о человеке, сохраненной, в качестве информации о человеке результате поиска и не подтвержденной согласно информации о решении, вероятности время - пространство на основании координат положения в пространстве и времени формирования изображения, что изображение человека, включенное в информацию о человеке, представляет собой цель поиска; и
определения, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение, и
удаления сохраненной информации о человеке, для которой вероятность время - пространство меньше, чем заданное пороговое значение.
9. Устройство обработки информации по п. 8, в котором модуль обработки выполнен с возможностью
приема, после определения того, является ли каждая вероятность время - пространство меньшей, чем заданное пороговое значение, второй информации о решении от пользователя, для нового подтверждения изображения человека среди информации о человеке, сохраненной, в качестве информации о человеке результата поиска,
расчета для каждой информации о человеке, сохраненной, в качестве информации о человеке результата поиска и не подтвержденной согласно второй информации о решении, второй вероятности время - пространство на основании координат положения в пространстве и времени формирования изображения, что изображение человека, включенное в информацию о человеке, представляет собой цель поиска,
определения, является ли каждая рассчитанная вторая вероятность время - пространство меньшей, чем заданное пороговое значение,
удаления сохраненной информации о человеке, для которой вероятность время - пространство меньше, чем заданное пороговое значение,
повторения расчета, определения и удаления, когда модуль обработки принимает новую информацию о решении.
10. Устройство обработки информации по п. 9,
в котором информация о человеке дополнительно включает в себя идентификатор (ID), идентифицирующий один из множества модулей формирования изображения, снимающих изображение человека, включенное в информации о человеке,
в котором устройство обработки дополнительно выполнено с возможностью:
расчета функции передачи яркости (BTF), для коррекции изменения цвета между модулями формирования изображения на основе двух изображений человека с разными ID в информации о человеке цели поиска;
выполнения BTF для изображения человека информации о человеке, включающей в себя изображение человека, снятое модулем формирования изображения с ID, для которого была получена BTF;
расчета вероятности изображения человека BTF на основании изображения человека, при этом вероятность изображения человека BTF включает в себя изображение человека, обработанное с использованием BTF, в отношении изображения человека, подтвержденного согласно информации о решении; и
определения, является ли каждая вероятность изображения человека BTF меньшей, чем заданное пороговое значение, при этом
модуль обработки определяет, является ли вероятность время - пространство, вновь рассчитанная, меньшей, чем заданное пороговое значение, и
модуль обработки определяет, является ли каждая рассчитанная вероятность изображения человека BTF меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не является меньшей, чем заданное пороговое значение, и удаляет сохраненную информацию о человеке, включающую в себя изображение человека, для которой вероятность изображения человека BTF меньше, чем заданное пороговое значение, когда вероятность изображения человека BTF меньше, чем заданное пороговое значение.
11. Устройство обработки информации по п. 10, в котором модуль обработки выполнен с возможностью:
содержания информации о человеке цели поиска, в качестве информации о человеке, том же, что и человек цели поиска, при этом информация о человеке цели поиска включает в себя изображение человека для человека, который представляет собой цель поиска, и подтверждена в соответствии с информацией о решении;
содержания, в качестве информации о другом человеке, которая представляет собой информацию о человеке для человека, другого, чем человек цели поиска, при этом информация о человеке включает в себя изображение человека, для которого каждая рассчитанная вероятность время - пространство меньше, чем заданное пороговое значение, или каждая рассчитанная вероятность изображения человека BTF меньше, чем заданное пороговое значение;
выбора уникального свойства, используемого для поиска для человека цели поиска путем изучения на основе изображения человека информации о человеке и изображения человека информации о другом человеке;
расчета вероятности уникального свойства на основании уникального свойства изображения человека, включенного в информацию о другом человеке, в отношении изображения человека информации о человеке цели поиска; и
определения, является ли вероятность каждого уникального свойства меньшей, чем заданное пороговое значение, и удаления информации о человеке с вероятностью уникального свойства, меньшей, чем заданное пороговое значение,
определения, является ли каждая вероятность время - пространство, вновь рассчитанная меньшей, чем заданное пороговое значение,
определения, является ли каждая вероятность изображения человека BTF меньшей, чем заданное пороговое значение, когда вновь рассчитанная вероятность время - пространство не меньше, чем заданное пороговое значение, и
определения, является ли каждая вероятность уникального свойства меньшей, чем заданное пороговое значение, и удаления информации о человеке с вероятностью уникального свойства меньшей, чем заданное пороговое значение, когда вероятность изображения человека BTF не меньше, чем заданное пороговое значение.
12. Устройство обработки информации по п. 11, в котором, когда информацию о человеке вероятности уникального свойства, меньшую, чем заданное пороговое значение, удаляют, модуль обработки содержит информацию о человеке с вероятностью уникального свойства меньшей, чем заданное пороговое значение, в качестве информации о другом человеке.
13. Устройство обработки информации по п. 11, в котором модуль обработки выбирает, в качестве уникального свойства, величину, в соответствии с которой увеличивается вероятность между изображением человека информации о человеке, и изображением человека для человека цели поиска, и вероятность между изображением человека для информации о другом человеке и изображением человека для человека цели поиска, путем изучения на основе изображения человека информации о человеке и изображением человека информации о другом человеке.
14. Устройство обработки информации по п. 11, в котором модуль обработки рассчитывает, в качестве вероятности уникального свойства, схожесть, обозначающую степень схожести каждого человека на основе уникального свойства изображения человека, включенного в каждое изображение человека.
15. Устройство обработки информации по п. 8, в котором модуль обработки рассчитывает схожесть, обозначающую степень схожести каждого человека, в качестве вероятности изображения человека, на основе изображений человека.
16. Устройство обработки информации по п. 8, в котором модуль обработки рассчитывает вероятность время - пространство из соотношения между временем между моментами времени формирования изображения и необходимым фактическим временем, требуемым для перемещения на расстояние между координатами положения в пространстве информации о человеке, не подтвержденной согласно информации о решении, и информации о человеке, подтвержденной согласно информации о решении, при средней скорости движения человека.
17. Способ обработки информации устройства обработки информации, включающий в себя множество модулей изображения, каждый из которых снимает изображение, детектирует человека на изображении, выделяет изображение человека из изображения, детектирует координаты положения в пространстве человека на основе изображения человека, и выводит информацию о человеке, при этом информация о человеке включает в себя координаты положения в пространстве человека и время формирования изображения, в которое было снято изображение, способ обработки информации содержащий:
расчет, с помощью модуля обработки устройства обработки информации, для каждой информации о человеке, полученной от множества модулей формирования изображения, вероятности изображения человека, что изображение человека, включенное в информацию о человеке, представляет собой цель поиска относительно информации о человеке цели поиска, при этом информация о человеке цели поиска включает в себя изображение человека цели поиска;
определение, с помощью модуля обработки, является ли каждая рассчитанная вероятность изображения человека большей, чем заданное пороговое значение;
поиск информации о человеке для вероятности изображения человека, большей, чем заданное пороговое значение, в качестве информации о человеке результата поиска, при этом информация о человеке результата поиска включает в себя изображение человека для того же человека, что и изображение человека в информации о человеке цели поиска;
сохранение информации о человеке, поиск которой выполняется в качестве информации о человеке результата поиска;
прием информации о решении, вводимой пользователем, для подтверждения информации о человеке, сохраненной в качестве информации о человеке результата поиска;
расчет, с помощью модуля обработки, для каждой информации о человеке, сохраненной в качестве информации о человеке результата поиска и не подтвержденной согласно информации о решении, вероятности время - пространство на основании координат положения в пространстве и времени формирования изображения, что изображение человека, включенное в информацию о человеке, представляет собой цель поиска; и
определения, с помощью модуля обработки, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение, и
удаления сохраненной информации о человеке, для которой вероятность время - пространство меньше, чем заданное пороговое значение.
18. Постоянный считываемый компьютером носитель записи, содержащий записанную на нем программу, которая при выполнении модулем обработки компьютера, управляющего устройством обработки информации, включающего в себя множество модулей формирования изображения, каждый из которых снимает изображение, детектирует человека на изображении, выделяет изображение человека, из изображения, детектирует координаты положения в пространстве человека на основе изображения человека и выводит информацию о человеке, при этом информация о человеке включает в себя координаты положения в пространстве человека и время формирования изображения, в которое было снято изображение, побуждает модуль обработки:
рассчитывать для каждой информации о человеке, полученной от множества модулей формирования изображения, вероятность изображения человека, что изображение человека, включенное в информацию о человеке, представляет собой цель поиска относительно информации о человеке цели поиска, при этом информация о человеке цели поиска включает в себя изображение человека цели поиска;
определять, является ли каждая рассчитанная вероятность изображения человека большей, чем заданное пороговое значение;
искать информацию о человеке для вероятности изображения человека большей, чем заданное пороговое значение, в качестве информации о человеке результата поиска, при этом информация о человеке результата поиска включает в себя изображение человека для того же человека, что и изображение человека в информации о человеке цели поиска;
сохранять информацию о человеке, поиск которой выполняется, в качестве информации о человеке результата поиска;
принимать информацию о решении, вводимую пользователем, для подтверждения информации о человеке, сохраненной, в качестве информации о человеке результата поиска;
рассчитывать для каждой информации о человеке, сохраненной, в качестве информации о человеке результата поиска и не подтвержденной согласно информации о решении, вероятность время - пространство на основании координат положения в пространстве и времени формирования изображения, что изображение человека, включенное в информацию о человеке, представляет собой цель поиска; и
определять, является ли каждая рассчитанная вероятность время - пространство меньшей, чем заданное пороговое значение, и
удалять сохраненную информацию о человеке, для которой вероятность время - пространство меньше, чем заданное пороговое значение.
RU2014128431/08A 2012-01-17 2013-01-09 Устройство и способ обработки информации, и программа RU2600540C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-007538 2012-01-17
JP2012007538 2012-01-17
PCT/JP2013/050209 WO2013108686A1 (ja) 2012-01-17 2013-01-09 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
RU2014128431A RU2014128431A (ru) 2016-02-10
RU2600540C2 true RU2600540C2 (ru) 2016-10-20

Family

ID=48799112

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014128431/08A RU2600540C2 (ru) 2012-01-17 2013-01-09 Устройство и способ обработки информации, и программа

Country Status (6)

Country Link
US (1) US9412180B2 (ru)
EP (1) EP2806634B1 (ru)
JP (1) JP5999105B2 (ru)
CN (1) CN104041017B (ru)
RU (1) RU2600540C2 (ru)
WO (1) WO2013108686A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470280B2 (en) * 2018-12-06 2022-10-11 Hangzhou Hikvision Digital Technology Co., Ltd. GPS-based target tracking system, method and dome camera

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014171258A1 (ja) * 2013-04-16 2014-10-23 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
CN105518755A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 安全系统、安全方法和非暂时性计算机可读介质
KR102105189B1 (ko) * 2013-10-31 2020-05-29 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
US20150215583A1 (en) * 2013-12-04 2015-07-30 Rasilient Systems, Inc. Cloud Video Surveillance
JP6139447B2 (ja) * 2014-03-20 2017-05-31 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
JP6520919B2 (ja) * 2014-03-28 2019-05-29 日本電気株式会社 画像補正装置、画像補正方法およびプログラム
AU2014240213B2 (en) * 2014-09-30 2016-12-08 Canon Kabushiki Kaisha System and Method for object re-identification
GB2532272A (en) 2014-11-14 2016-05-18 Nat Oilwell Varco Norway As Drilling rig
US20180032829A1 (en) * 2014-12-12 2018-02-01 Snu R&Db Foundation System for collecting event data, method for collecting event data, service server for collecting event data, and camera
US10134004B1 (en) * 2014-12-23 2018-11-20 Amazon Technologies, Inc. Processing image data from a camera cluster
JP6589321B2 (ja) * 2015-03-24 2019-10-16 富士通株式会社 システム、検索方法およびプログラム
US11205270B1 (en) * 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
US10679177B1 (en) * 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US10586203B1 (en) 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
US10810539B1 (en) * 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
RU2602386C1 (ru) * 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
JP6389803B2 (ja) * 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10979673B2 (en) * 2015-11-16 2021-04-13 Deep North, Inc. Inventory management and monitoring
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
JP6700791B2 (ja) * 2016-01-05 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6284086B2 (ja) * 2016-02-05 2018-02-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6688975B2 (ja) 2016-03-25 2020-04-28 パナソニックＩｐマネジメント株式会社 監視装置及び監視システム
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
WO2018081581A1 (en) * 2016-10-28 2018-05-03 Axon Enterprise, Inc. Systems and methods for supplementing captured data
JP6603645B2 (ja) * 2016-11-17 2019-11-06 日本電信電話株式会社 リソース検索装置およびリソース検索方法
JP6659524B2 (ja) * 2016-11-18 2020-03-04 株式会社東芝 移動体追跡装置、表示装置および移動体追跡方法
JP6787075B2 (ja) 2016-11-22 2020-11-18 富士通株式会社 画像処理システム、画像処理装置および画像処理方法
JP6482580B2 (ja) * 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6334767B1 (ja) 2017-03-21 2018-05-30 株式会社東芝 情報処理装置、プログラム、及び情報処理方法
JP6939065B2 (ja) * 2017-05-01 2021-09-22 富士通株式会社 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
JP6933015B2 (ja) * 2017-06-20 2021-09-08 富士通株式会社 情報処理方法、情報処理プログラム及び情報処理装置
WO2019082797A1 (ja) * 2017-10-23 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
CN110099237B (zh) * 2018-01-31 2021-08-17 腾讯科技（深圳）有限公司 图像处理方法、电子装置及计算机可读存储介质
JP7009252B2 (ja) * 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US12020505B1 (en) 2018-05-10 2024-06-25 Wicket, Llc System and method for facial recognition accuracy
US11010597B1 (en) 2018-05-10 2021-05-18 Ism Connect, Llc Entry prevention of persons of interest from venues and events using facial recognition
US11544965B1 (en) 2018-05-10 2023-01-03 Wicket, Llc System and method for access control using a plurality of images
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
CA3112541A1 (en) * 2018-10-18 2020-04-23 Johnson & Johnson Consumer Inc. Novel dosage form
US11386306B1 (en) * 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
JP6870014B2 (ja) * 2019-02-14 2021-05-12 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021145164A (ja) * 2020-03-10 2021-09-24 株式会社日立製作所 映像解析システム、及び、映像解析方法
US11151390B1 (en) * 2020-05-21 2021-10-19 Ism Connect, Llc Self-correcting face detection pipeline-based method and apparatus for censusing a crowd
WO2021245747A1 (ja) * 2020-06-01 2021-12-09 日本電気株式会社 追跡装置、追跡方法、および記録媒体
JP2024006695A (ja) * 2022-07-04 2024-01-17 富士通株式会社 照合プログラム、照合方法および情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2193825C2 (ru) * 2000-08-10 2002-11-27 Открытое акционерное общество "Научно-конструкторское бюро вычислительных систем" Способ обработки сигналов для определения координат объектов, наблюдаемых в последовательности телевизионных изображений, и устройство для его осуществления (варианты)
EP1857979A1 (en) * 2006-05-17 2007-11-21 The Boeing Company Moving object detection

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4559874B2 (ja) 2005-03-01 2010-10-13 ティーオーエー株式会社 動体追跡装置
JP4997178B2 (ja) 2008-06-10 2012-08-08 学校法人中部大学 物体検出装置
JP5180733B2 (ja) * 2008-08-19 2013-04-10 セコム株式会社 移動物体追跡装置
JP5253102B2 (ja) * 2008-11-13 2013-07-31 将文 萩原 物体判別方法および物体判別装置
JP5483899B2 (ja) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP5523900B2 (ja) 2009-03-31 2014-06-18 綜合警備保障株式会社 人物検索装置、人物検索方法、及び人物検索プログラム
GB201113633D0 (en) * 2011-08-08 2011-09-21 Vision Semantics Ltd User-primed iterative discovery of object associations in distributed multi-source data
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
JP6364743B2 (ja) * 2013-10-31 2018-08-01 株式会社Ｊｖｃケンウッド 情報処理装置、制御方法、プログラム、及び情報システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2193825C2 (ru) * 2000-08-10 2002-11-27 Открытое акционерное общество "Научно-конструкторское бюро вычислительных систем" Способ обработки сигналов для определения координат объектов, наблюдаемых в последовательности телевизионных изображений, и устройство для его осуществления (варианты)
EP1857979A1 (en) * 2006-05-17 2007-11-21 The Boeing Company Moving object detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470280B2 (en) * 2018-12-06 2022-10-11 Hangzhou Hikvision Digital Technology Co., Ltd. GPS-based target tracking system, method and dome camera

Also Published As

Publication number Publication date
EP2806634A1 (en) 2014-11-26
US9412180B2 (en) 2016-08-09
RU2014128431A (ru) 2016-02-10
CN104041017A (zh) 2014-09-10
US20150146921A1 (en) 2015-05-28
JP5999105B2 (ja) 2016-09-28
EP2806634B1 (en) 2020-08-12
WO2013108686A1 (ja) 2013-07-25
JPWO2013108686A1 (ja) 2015-05-11
EP2806634A4 (en) 2015-08-19
CN104041017B (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
RU2600540C2 (ru) Устройство и способ обработки информации, и программа
EP3418944B1 (en) Information processing apparatus, information processing method, and program
KR101173802B1 (ko) 대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램이 기록된 기록 매체
KR101972918B1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
KR101971866B1 (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
US9727974B2 (en) System for video super resolution using semantic components
CN111291633B (zh) 一种实时行人重识别方法及装置
EP2685425B1 (en) Object tracking device, object tracking method, and control program
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US20130148853A1 (en) Image processing apparatus and image processing method
WO2014080613A1 (ja) 色補正装置、色補正方法および色補正用プログラム
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
Nallasivam et al. Moving human target detection and tracking in video frames
CN105744152A (zh) 被摄体追踪设备、摄像设备和被摄体追踪方法
Mathur et al. Intelligent video surveillance based on object tracking
JP2013232060A (ja) 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
Villamizar et al. Watchnet: Efficient and depth-based network for people detection in video surveillance systems
Jaiswal et al. Survey paper on various techniques of recognition and tracking
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
KR102614895B1 (ko) 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
JP5247419B2 (ja) 撮像装置および被写体追跡方法