WO2018146938A1 - 人物検出システム - Google Patents

人物検出システム Download PDF

Info

Publication number
WO2018146938A1
WO2018146938A1 PCT/JP2017/044592 JP2017044592W WO2018146938A1 WO 2018146938 A1 WO2018146938 A1 WO 2018146938A1 JP 2017044592 W JP2017044592 W JP 2017044592W WO 2018146938 A1 WO2018146938 A1 WO 2018146938A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
information
group
image information
monitoring camera
Prior art date
Application number
PCT/JP2017/044592
Other languages
English (en)
French (fr)
Inventor
竜太 新野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/483,078 priority Critical patent/US11348371B2/en
Publication of WO2018146938A1 publication Critical patent/WO2018146938A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Definitions

  • the present invention relates to a person detection system.
  • a wireless communication device is carried in advance to detect a location or inform by sound.
  • a wireless communication device must always be worn by a child or a guardian, resulting in a burden of equipment.
  • Patent Document 1 discloses a system for detecting a lost child.
  • a registration camera is prepared in advance, and the facial images of the lead person and the child are photographed by the registration camera, and each facial image is associated with the e-mail address and registered in the database. is doing.
  • a face image of a person is detected from each image acquired by the monitoring camera, and it is determined whether there is a matching face image. If there is a matching face image, the position of the child is identified from the position of the surveillance camera, and further the lead person is identified from the database.
  • an object of the present invention is to provide a person detection system that can detect a lost child appropriately while reducing labor, which is the above-described problem.
  • a human detection system is A person extraction unit that extracts person information representing a person from image information captured by a surveillance camera; A group determination unit that extracts action information representing the action of the person from the image information, determines a group formed by a plurality of persons based on the action information, and registers group information including the person information; A first person specifying unit for specifying a first person based on the extracted person information and the action information from the image information captured by the monitoring camera; A second person who identifies a second person belonging to the same group as the first person based on the person information and the group information of the person identified as the first person from the image information photographed by the monitoring camera Two person identification parts, A position specifying unit that specifies positions of the first person and the second person based on position information of the monitoring camera that has captured the image information in which the first person and the second person are respectively specified; , With The configuration is as follows.
  • a person detection method includes: Extracting person information representing a person from image information taken with a surveillance camera, Extracting behavior information representing the behavior of the person from the image information, determining a group formed by a plurality of persons based on the behavior information, and registering group information including the personal information, Thereafter, the first person is identified based on the extracted person information and the action information from the image information photographed by the monitoring camera, Based on the person information and the group information of the person specified as the first person from the image information photographed by the monitoring camera, the second person belonging to the same group as the first person is specified, Identifying positions of the first person and the second person based on position information of the surveillance camera that has captured the image information in which the first person and the second person are respectively identified;
  • the configuration is as follows.
  • a human detection system is In the information processing device, A person extraction unit that extracts person information representing a person from image information captured by a surveillance camera; A group determination unit that extracts action information representing the action of the person from the image information, determines a group formed by a plurality of persons based on the action information, and registers group information including the person information; A first person specifying unit for specifying a first person based on the extracted person information and the action information from the image information captured by the monitoring camera; A second person who identifies a second person belonging to the same group as the first person based on the person information and the group information of the person identified as the first person from the image information photographed by the monitoring camera Two person identification parts, A position specifying unit that specifies positions of the first person and the second person based on position information of the monitoring camera that has captured the image information in which the first person and the second person are respectively specified; , To realize, The configuration is as follows.
  • the present invention is configured as described above, so that it is possible to appropriately detect a person while reducing the labor of the user.
  • FIG. 3 is a flowchart illustrating an operation of the information processing system disclosed in FIG. 1. It is a figure which shows operation
  • movement of the information processing system disclosed in FIG. 3 is a flowchart illustrating an operation of the information processing system disclosed in FIG. 1. It is a figure which shows operation
  • movement of the information processing system disclosed in FIG. 3 is a flowchart illustrating an operation of the information processing system disclosed in FIG. 1. It is a figure which shows operation
  • movement of the information processing system disclosed in FIG. It is a block diagram which shows the structure of the information processing system in the 2nd Embodiment of this invention.
  • FIG. 1 is a diagram for explaining the configuration of the information processing system according to the first embodiment.
  • 2 to 7 are diagrams for explaining the operation of the information processing system.
  • the information processing system (person detection system) according to the present invention can be used mainly in large recreational facilities and commercial facilities to detect lost children and match them with parents.
  • the information processing system of the present invention is not limited to detecting a lost child, and may be used to detect any person at any place.
  • the information processing system 10 is configured by one or a plurality of information processing devices including an arithmetic device and a storage device.
  • the information processing system 10 includes a feature extraction unit 11, a person extraction unit 12, a personal feature analysis unit 13, a behavior analysis unit 14, and a group determination unit, which are constructed by an arithmetic device executing a program. 15, a lost child specifying unit 16, a guardian specifying unit, and a person position specifying unit 18.
  • the information processing system 10 includes a position information database (DB) 21 and a group database (DB) 22 formed in a storage device.
  • DB position information database
  • DB group database
  • a monitoring camera 31 and a camera 32 can be connected to the information processing system 10.
  • the monitoring cameras 31 are installed at a plurality of locations in the facility, take images of the installation locations, and input image information to the information processing system 10.
  • the monitoring camera 31 and position information corresponding to the installation location of the monitoring camera 31 are registered in association with each other. That is, the information processing system 10 can recognize the shooting position of the image information input from the monitoring camera 31.
  • the surveillance camera 31 is installed at the entrance of a facility or at a location that serves as a mark in the facility.
  • the camera 32 is a camera different from the monitoring camera 31 and is prepared at a predetermined location in the facility.
  • the camera 32 may be a digital camera or a camera mounted on a mobile phone, and is connected to the information processing system wirelessly or by wire and can input captured image information to the information processing system 10.
  • the feature extraction unit 11, the person extraction unit 12, and the personal feature analysis unit 13 work together to function as a person extraction unit that extracts person information representing a person from image information captured by the monitoring camera 31.
  • the feature extraction unit 11 extracts feature information representing external features such as a contour of a person from the image information.
  • the person extraction unit 12 automatically grasps a person from the extracted feature information.
  • the personal feature analysis unit 13 performs personal feature analysis such as age, clothes, physique, etc. of each grasped person, and associates with the positional information and shooting time of the monitoring camera 31 as personal information for each person in the positional information database 21. save.
  • the position information database 21 stores the characteristics of each person, the location and time at which the person appears, and is updated as the person moves.
  • the behavior analysis unit 14 and the group determination unit 15 cooperate to determine a group formed by a plurality of persons, and register group information including a plurality of pieces of person information determined as a group in the group database 22. Functions as a group determination unit. Specifically, the behavior analysis unit 14 analyzes the behavior of a person from an image that is a moving image and extracts behavior information. Based on the behavior information, the group determination unit 15 performs behavior analysis between a plurality of persons at a distance close to each other, for example, the direction of movement, timing, and whether or not a conversation is performed, It is automatically determined whether or not it is a group. If it is determined as a group, a plurality of pieces of person information are registered in the group database 22 as one group information.
  • the group registration processing by the group determination unit 15 is performed, for example, from an image captured by the monitoring camera 31 installed near the entrance of the facility.
  • the group registration process may be performed from video captured by any monitoring camera 31, and the group information may be updated each time a group is determined. For example, when it is determined that a group of four people originally has been divided into groups of two people, the group information of two people is registered and the group information is registered in association with each other. Also good.
  • the lost child specifying unit 16 specifies a lost child (first person) based on the extracted person information and action information from the image information captured by the surveillance camera. For example, the lost child specifying unit 16 extracts features such as contours from the image of the monitoring camera 31 installed in a certain place, using the feature extraction unit 11, the person extraction unit 12, and the personal feature analysis unit 13 described above, Are extracted, and based on the personal information obtained as a result of the personal characteristic analysis such as the age, clothes, and physique of each person, only the person of an age that can get lost is extracted.
  • the lost child identification unit 16 is based on information such as an uneasy expression or behavior, whether it is acting alone (one person), which is the result of the behavior analysis of the person performed in parallel by the behavior analysis unit 14 described above. If it is determined that there is a possibility of getting lost, the person is identified as lost.
  • the lost child specifying unit 16 may provide a case where it is not determined to be lost depending on the installation position and situation of the monitoring camera 31. For example, in a place where the child is exceptionally separated from the parent, such as in a daycare, the child may be acting alone or not identified as a lost child.
  • the person position specifying unit 18 specifies and outputs the position of the lost child specified by the lost child specifying unit 16 based on the position information of the monitoring camera 31 that captured the lost child as described above. For example, the location information of the lost child is output so as to notify the facility staff so that the staff can be dispatched to the location of the lost child.
  • the guardian specifying unit 17 (second person specifying unit) protects belonging to the same group as the lost child based on the person information of the lost child specified by the lost child specifying unit 16 and the group information registered in the group database 22.
  • the person (second person) is specified.
  • the guardian specifying unit 17 inquires the group database 22 for the characteristic information of the lost child, specifies the group to which the lost child belongs, and specifies the guardian who seems to be an adult from the personal information in the specified group.
  • the person position specifying unit 18 specifies the position of the guardian specified by the guardian specifying part 17 as described above by inquiring the personal information of the guardian from the position information database 21.
  • the position information of the guardian is output so as to notify the facility staff so that the staff can be dispatched to the position of the guardian.
  • the feature extraction unit 11, the person extraction unit 12, and the personal feature analysis unit 13 described above function in cooperation with each other as a person extraction unit that extracts person information representing a person from image information captured by the camera 32. . Specifically, a guardian who is looking for a lost child is photographed by the camera 32. Like the above, feature information such as the contour of the person is extracted from the image information, and the person is automatically grasped. Perform personal feature analysis. Then, the extracted personal information is passed to the guardian identification unit 17.
  • the guardian specifying unit 17 searches the group database 22 based on the person information extracted from the image taken by the camera 32. Then, among the person information included in the group information registered in the group database 22, a person that matches the person information extracted from the image is specified as a guardian (third person). At this time, the group to which the specified guardian belongs is also specified.
  • the lost child specifying unit 16 (fourth person specifying unit) specifies the lost child (fourth person) from the group of parents specified as described above based on the person information included in the group information. , To extract lost person information. At this time, for example, the person information in the group is checked, the person determined to be a child is specified as the lost child from the feature information, and the person information is extracted. Furthermore, the lost child specifying unit 16 specifies the extracted lost child from the image captured by the monitoring camera 31. For example, the position information database 21 is inquired about the extracted person information of the lost child, and the person with the matching person information is specified as the lost child.
  • the person position specifying unit 18 uses the position information database 21 to specify the position of the lost child from the person information of the lost child specified as described above. For example, the location information of the lost child is output so as to notify the facility staff so that the staff can be dispatched to the location of the lost child.
  • a visitor is photographed with the surveillance camera 31 at each entrance of the facility (step S1 in FIG. 2).
  • features such as contours are extracted from the image (step S11 in FIG. 3), and the person is automatically grasped (step S12 in FIG. 3).
  • individual feature analysis of each person's age, clothes, physique, etc. is performed to extract the person information of each person, and the person information and the position information of the surveillance camera 31 are combined and stored in the position information database 21. (Step S13 in FIG. 3).
  • step S14 in FIG. 3 behavior analysis such as the direction of movement, timing, and whether or not a conversation is occurring between persons at a close distance is performed (step S14 in FIG. 3), and it is automatically determined whether or not there are a plurality of persons or groups.
  • Step S2 in FIG. 2 and Step S15 in FIG. 3 For example, height and age recognition are used, and in particular, a combination of a child and its guardian is determined as a group.
  • group information including person information of each person is registered in the group database 22 (step S3 in FIG. 2).
  • step S3 in FIG. 2 group information including person information of each person is registered in the group database 22
  • any monitoring camera 31 in the facility always takes an image in real time, extracts and analyzes the person, and updates and registers group information including the person information together with the position information of the monitoring camera 31. As a result, the location of the individual or group is updated as appropriate. Further, when it is determined that all members of a certain group have exited by photographing with the monitoring camera 31 near each exit and analysis of the image, the group information is deleted from the group database 22.
  • an image is taken by the surveillance camera 31 installed at each place of the facility (step S21 in FIG. 4). Then, features such as contours are extracted from the image (step S31 in FIG. 5), and the person is automatically grasped (step S32 in FIG. 5). Further, individual characteristics analysis such as the age, clothes, and physique of each person is performed (step S33 in FIG. 5), and only the persons of an age that can get lost are extracted. In parallel, the person's behavior analysis is performed (step S34 in FIG. 5), and if it is determined that there is a possibility of getting lost from information such as an uneasy expression and behavior, whether he / she is acting alone, the person Is identified as a lost child (step S22 in FIG. 4, step S35 in FIG. 5). At this time, the facility staff is notified so that the staff can be dispatched to the site immediately (step S36 in FIG. 5). If the staff determines that they are lost, they will be protected.
  • the group database 22 is inquired for the personal information of the specified lost child and the personal information of the guardian is specified (step S23 in FIG. 4 and step S37 in FIG. 5). For example, a person who appears to be an adult is identified as a guardian from the person information in the group to which the identified lost child belongs. Then, the personal information of the guardian is inquired of the position information database 21, and the current position of the guardian is specified (step S24 in FIG. 4 and step S38 in FIG. 5). At this time, by dispatching the staff there, the guardian is notified that the lost child is protected (step S39 in FIG. 5), and the guardian and the lost child can be quickly brought together.
  • the guardian inquires of the lost child center whether there is a lost child
  • the parent is first photographed by the camera 32 (step S41 in FIG. 6).
  • the personal information of the guardian is extracted from the photographed image of the guardian through feature extraction (step S51 in FIG. 7), person extraction (step S52 in FIG. 7), and personal feature extraction (step S53 in FIG. 7).
  • the group database 22 is inquired based on the personal information of the guardian, the lost child of the same group as the guardian is identified (step S42 in FIG. 6, step S54 in FIG. 7), and personal information representing the characteristics of the lost child is acquired. To do.
  • the position information database 21 is inquired about the person information of the lost child and the position information of the lost child is acquired (step S43 in FIG. 6 and step S55 in FIG. 7).
  • the staff can quickly protect the lost child in the local area and refer them to their parents.
  • an image obtained by photographing a guardian with the camera 32 is used for the inquiry of the group database 22.
  • execution from lost child generation to detection and subsequent matching with a guardian can be performed in a shorter time, more accurately and without human intervention.
  • the system can be constructed with the camera device installed in the venue without requiring a mobile phone or the like of the mobile device, it is possible to reduce the labor of the service provider and the user.
  • a plurality of candidates may be returned instead of a single target.
  • one of the correct answers is visually selected from a plurality of selected subjects and given hints (information such as what percentage of matches, face is similar but clothes are different). May be. Even if multiple candidates are answered, if the chances of winning are calculated in the matching process, sorting and outputting in the order of the highest chance of winning will help to better match the lost child and the guardian. It helps to do it quickly.
  • FIG. 8 is a block diagram illustrating a configuration of the person detection system according to the second embodiment.
  • the person detection system in this embodiment has shown the outline of the structure of the information processing system demonstrated in Embodiment 1.
  • FIG. 8 is a block diagram illustrating a configuration of the person detection system according to the second embodiment.
  • the person detection system in this embodiment has shown the outline of the structure of the information processing system demonstrated in Embodiment 1.
  • FIG. 8 is a block diagram illustrating a configuration of the person detection system according to the second embodiment.
  • the person detection system in this embodiment has shown the outline of the structure of the information processing system demonstrated in Embodiment 1.
  • the person detection system 100 includes a person extraction unit 101 that extracts person information representing a person from image information captured by the monitoring camera 110.
  • a group determination unit 102 that extracts behavior information representing the behavior of a person from image information, determines a group formed by a plurality of persons based on the behavior information, and registers group information including the person information;
  • a first person specifying unit 103 that specifies a first person based on extracted person information and action information from image information captured by the monitoring camera 110;
  • a second person specifying unit 104 that specifies a second person belonging to the same group as the first person based on the person information and group information of the person specified as the first person from the image information photographed by the monitoring camera 110.
  • a position specifying unit 105 for specifying the positions of the first person and the second person based on the position information of the monitoring camera 110 that has captured the image information in which the first person and the second person are respectively specified; It has.
  • each of the above-described configurations 101 to 105 may be constructed by executing a program by an arithmetic device provided in the information processing apparatus.
  • first, person information and action information are extracted from image information taken by a monitoring camera, and group information consisting of a plurality of persons is automatically registered from the person information and action information. Is done. For this reason, the user registration is always performed without much time and effort from the user.
  • a first person for example, a lost child
  • the person information and group information of the first person are used.
  • the second person for example, a guardian
  • the positions thereof can be specified.
  • the person extracting unit extracts person information of the person from image information obtained by photographing the person with a camera different from the monitoring camera.
  • the person detection system further includes a third person specifying unit for specifying the third person from the group information based on the person information of the person extracted from the image information captured by a camera different from the monitoring camera, Based on the person information and group information of the person specified as the three persons, the fourth person belonging to the same group as the specified third person is specified and extracted from the image information taken by the surveillance camera A fourth person identification unit that identifies the fourth person based on person information. Further, the position specifying unit specifies the position of the fourth person based on the position information of the monitoring camera that has captured the image information specifying the fourth person.
  • a third person for example, a guardian
  • the third person in the group information is specified from the person information extracted from the image information.
  • the person information of the fourth person is obtained, and the fourth person is obtained from the image information photographed by the surveillance camera. And the position can be specified.
  • the person can be detected appropriately.
  • a person extraction unit that extracts person information representing a person from image information captured by a surveillance camera;
  • a group determination unit that extracts action information representing the action of the person from the image information, determines a group formed by a plurality of persons based on the action information, and registers group information including the person information;
  • a first person specifying unit for specifying a first person based on the extracted person information and the action information from the image information captured by the monitoring camera;
  • Two person identification parts A position specifying unit that specifies positions of the first person and the second person based on position information of the monitoring camera that has captured the image information in which the first person and the second person are respectively specified; , With Human detection system.
  • appendix 4 The person detection system according to appendix 2 or 3, The second person specifying unit specifies the second person as a guardian of a lost child specified as the first person based on the feature information. Human detection system.
  • the person detection system (Appendix 5) The person detection system according to attachment 1, wherein The person extraction unit extracts person information of the person from image information obtained by photographing the person with a camera different from the monitoring camera, further, A third person specifying unit for specifying a third person from the group information based on the person information of a person extracted from image information taken by a camera different from the monitoring camera; Based on the person information and the group information of the person specified as the third person, the fourth person belonging to the same group as the specified third person is specified, and the photographed by the monitoring camera A fourth person specifying unit for specifying the fourth person based on the extracted person information from the image information; With The position specifying unit specifies the position of the fourth person based on the position information of the monitoring camera that captured the image information in which the fourth person was specified. Human detection system.
  • the person detection system according to appendix 5,
  • the third person specifying unit specifies the third person as a guardian,
  • the fourth person identifying unit identifies the fourth person as a child of a guardian identified as the third person; Human detection system.
  • the person detection system according to any one of appendices 1 to 6,
  • the group determination unit updates and registers the group information based on the behavior information extracted from the new image information. Human detection system.
  • (Appendix 8) Extracting person information representing a person from image information taken with a surveillance camera, Extracting behavior information representing the behavior of the person from the image information, determining a group formed by a plurality of persons based on the behavior information, and registering group information including the personal information, Thereafter, the first person is identified based on the extracted person information and the action information from the image information photographed by the monitoring camera, Based on the person information and the group information of the person specified as the first person from the image information photographed by the monitoring camera, the second person belonging to the same group as the first person is specified, Identifying positions of the first person and the second person based on position information of the surveillance camera that has captured the image information in which the first person and the second person are respectively identified; Person detection method.
  • Appendix 14 A person detection method according to any one of appendices 8 to 13, When registering the group information, the group information is updated and registered based on the behavior information extracted from the new image information. Person detection method.
  • a person extraction unit that extracts person information representing a person from image information captured by a surveillance camera;
  • a group determination unit that extracts action information representing the action of the person from the image information, determines a group formed by a plurality of persons based on the action information, and registers group information including the person information;
  • a first person specifying unit for specifying a first person based on the extracted person information and the action information from the image information captured by the monitoring camera;
  • Two person identification parts A position specifying unit that specifies positions of the first person and the second person based on position information of the monitoring camera that has captured the image information in which the first person and the second person are respectively specified;
  • the above-described program is stored in a storage device or recorded on a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本発明である人物検出システムは、監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、画像情報から、人物の行動を表す行動情報を抽出し、行動情報に基づいて複数の人物により形成されるグループを判定して人物情報を含むグループ情報を登録するグループ判定部と、監視カメラにて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて第一人物を特定する第一人物特定部と、監視カメラにて撮影した画像情報から、第一人物として特定された人物の人物情報とグループ情報とに基づいて、第一人物と同一グループに属する第二人物を特定する第二人物特定部と、第一人物と第二人物とがそれぞれ特定された画像情報を撮影した監視カメラの位置情報に基づいて、第一人物と第二人物との位置を特定する位置特定部と、を備える。

Description

人物検出システム
　本発明は、人物検出システムに関する。
　大型娯楽施設や商用施設において、子供が保護者とはぐれて迷子となった場合には、スタッフや他のお客様が泣いている子を発見し、迷子センターへ誘導することで初めて判明する。しかしながら、迷子の発見を人手や目視に頼っているため、正確性の低下や時間がかかる、という問題がある。
　また、迷子を保護した後に保護者を引き合わせるためには、迷子の特徴を放送したり、保護者の迷子センターへの問い合わせに頼るのが現状である。しかしながら、迷子（特に小さい子）からは、情報の入手が困難である。また、放送を行わない娯楽施設もあり、保護者への喚起を行う手段が制限されている場合ある。このため、保護者への迷子の引き合わせにさらに時間がかかる、という問題がある。
　一方で、迷子の検知手段として、あらかじめ無線通信機器を携帯させて場所を検知する、または音で知らせる、といったことが行われている。しかしながら、常にそのような機器を子供や保護者が装着していなければならず、機器装備の負担が生じる。
特開２００７－６０５２８号公報
　ここで、特許文献１に、迷子を検出するシステムが開示されている。特許文献１に開示の技術では、予め登録用カメラを用意し、当該登録用カメラにて、引率者と子供との顔画像を撮影し、各顔画像とメールアドレスなどを対応づけてデータベースに登録している。そして、監視カメラにより取得した各画像から人物の顔画像を検出し、一致する顔画像があるか否かを判定する。一致する顔画像がある場合には、監視カメラの位置から子供の位置を特定し、さらに、データベースから引率者を特定する。
　しかしながら、上述した特許文献１の技術では、事前に引率者と子供とを登録用カメラで撮影して登録しなければならず、手間が生じる。一方で、撮影を怠った場合には、迷子を検出できない、という問題が生じる。
　このため、本発明の目的は、上述した課題である、手間を削減しつつ、適切に迷子を検出することができる人物検出システムを提供することにある。
　本発明の一形態である人物検出システムは、
　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
　前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を備えた、
という構成をとる。
　また、本発明の一形態である人物検出方法は、
　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出し、
　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録し、
　その後、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定し、
　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定し、
　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する、
という構成をとる。
　本発明の一形態である人物検出システムは、
　情報処理装置に、
　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
　前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を実現させる、
という構成をとる。
　本発明は、以上のように構成されることにより、利用者の手間を削減しつつ、適切に人物を検出することができる。
本発明の第１の実施形態における情報処理システムの構成を示すブロック図である。 図１に開示した情報処理システムの動作を示すフローチャートである。 図１に開示した情報処理システムの動作を示す図である。 図１に開示した情報処理システムの動作を示すフローチャートである。 図１に開示した情報処理システムの動作を示す図である。 図１に開示した情報処理システムの動作を示すフローチャートである。 図１に開示した情報処理システムの動作を示す図である。 本発明の第２の実施形態における情報処理システムの構成を示すブロック図である。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図７を参照して説明する。図１は、実施形態１における情報処理システムの構成を説明するための図である。図２乃至図７は、情報処理システムの動作を説明するための図である。
　本発明における情報処理システム（人物検出システム）は、主に、大型娯楽施設や商用施設において、迷子を検出して保護者と引き合わせるために利用可能である。但し、本発明の情報処理システムは、迷子を検出することに限定されず、いかなる場所でいかなる人物を検出するために利用されてもよい。
　［構成］
　本実施形態における情報処理システム１０は、演算装置や記憶装置を備えた、１台又は複数台の情報処理装置にて構成されている。情報処理システム１０は、図１に示すように、演算装置がプログラムを実行することで構築された、特徴抽出部１１、人物抽出部１２、個人特徴解析部１３、行動解析部１４、グループ判断部１５、迷子特定部１６、保護者特定部、人物位置特定部１８、を備えている。また、情報処理システム１０は、記憶装置に形成された、位置情報データベース（ＤＢ）２１、グループデータベース（ＤＢ）２２、を備えている。
　さらに、情報処理システム１０には、監視カメラ３１及びカメラ３２が接続可能となっている。監視カメラ３１は、施設内の複数箇所に設置されており、設置箇所の画像を撮影し、画像情報を情報処理システムに１０に入力している。このとき、情報処理システム１０内では、監視カメラ３１と、当該監視カメラ３１の設置箇所に対応する位置情報とが、関連付けられて登録されている。つまり、情報処理システム１０では、監視カメラ３１から入力された画像情報の撮影位置を認識することができる。例えば、監視カメラ３１は、施設の入り口や、施設内の目印となる箇所に設置されている。
　また、上記カメラ３２は、上記監視カメラ３１とは異なるカメラであり、施設内の所定箇所に用意されている。カメラ３２は、デジタルカメラや携帯電話に装備されたカメラであってもよく、無線や有線によって情報処理システムに接続され、撮影した画像情報を情報処理システム１０に入力可能である。
　上記特徴抽出部１１、人物抽出部１２、個人特徴解析部１３は、協働して、監視カメラ３１にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部として機能する。具体的に、特徴抽出部１１は、画像情報から人物の輪郭等の外観的な特徴を表す特徴情報の抽出を行う。人物抽出部１２は、抽出した特徴情報から人物を自動的に把握していく。個人特徴解析部１３は、把握した各人物の年齢、服、体格等の個人特徴解析を行い、人物毎の人物情報として、監視カメラ３１の位置情報及び撮影時刻と結び付けて、位置情報データベース２１に保存する。これにより、位置情報データベース２１は、各人物の特徴と、当該人物が出現した場所及び時刻を記憶していることとなり、人物の移動に伴い更新される。
　上記行動解析部１４及びグループ判断部１５は、協働して、複数の人物により形成されるグループを判定して、グループと判定された複数の人物情報を含むグループ情報をグループデータベース２２に登録するグループ判定部として機能する。具体的に、行動解析部１４は、動画である画像より人物の行動を解析して行動情報を抽出する。グループ判断部１５は、行動情報に基づいて、相互に近い距離にいる複数の人物間における行動、例えば、移動の方向、タイミングや、会話をしているか等の行動解析を行い、複数の人物かグループか否かを自動的に判定する。グループと判断した場合は、複数の人物情報を１つのグループ情報としてグループデータベース２２に登録する。
　なお、グループ判断部１５によるグループ登録処理は、例えば、施設の入口付近に設置された監視カメラ３１で撮影した映像から行う。但し、グループ登録処理は、あらゆる監視カメラ３１で撮影した映像から行ってもよく、グループの判別を行う度に、グループ情報の更新を行ってもよい。例えば、もともと４人の人物からなるグループが、２人ずつのグループに分割したと判断した場合には、２人ずつのグループ情報をそれぞれ登録すると共に、これらグループ情報を相互に関連付けて登録してもよい。
　上記迷子特定部１６（第一人物特定部）は、監視カメラにて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて迷子（第一人物）を特定する。例えば、迷子特定部１６は、ある場所に設置された監視カメラ３１の画像から、上述した特徴抽出部１１、人物抽出部１２、個人特徴解析部１３にて、輪郭等の特徴抽出を行い、人物を自動的に把握し、各人物の年齢、服、体格等の個人特徴解析を行った結果である人物情報に基づいて、特に迷子になりうる年齢の人物のみを抽出する。さらに、迷子特定部１６は、並行して上述した行動解析部１４にて行われた人物の行動解析結果である、不安げな表情や行動、単独（一人）で行動しているか等の情報より、迷子の可能性があると判断した場合は、かかる人物を迷子と特定する。
　なお、迷子特定部１６は、監視カメラ３１の設置位置や状況によっては、迷子と判定しないケースも設けてもよい。例えば、託児所にいる場合など、例外的に子供が親と離れていると考えられる場所では、子供が一人で行動していても、迷子と特定しなくてもよい。
　上記人物位置特定部１８は、上述したように迷子特定部１６で特定された迷子の位置を、当該迷子を撮影した監視カメラ３１の位置情報に基づいて特定して出力する。迷子の位置情報は、例えば、迷子の位置にスタッフを派遣できるよう施設スタッフに対して通知するよう出力される。
　上記保護者特定部１７（第二人物特定部）は、迷子特定部１６にて特定された迷子の人物情報とグループデータベース２２に登録されたグループ情報とに基づいて、迷子と同一グループに属する保護者（第二人物）を特定する。例えば、保護者特定部１７は、迷子の特徴情報をグループデータベース２２に問い合わせ、かかる迷子が属するグループを特定し、特定したグループ内の人物情報から大人と思われる保護者を特定する。
　上記人物位置特定部１８は、上述したように保護者特定部１７で特定された保護者の位置を、当該保護者の人物情報を位置情報データベース２１に問い合わせて特定する。保護者の位置情報は、例えば、保護者の位置にスタッフを派遣できるように、施設スタッフに対して通知するよう出力される。
　また、上述した特徴抽出部１１、人物抽出部１２、個人特徴解析部１３は、協働して、カメラ３２にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部として機能する。具体的には、カメラ３２では迷子を探している保護者が撮影されるが、その画像情報から、上述同様に、人物の輪郭等の特徴情報の抽出を行い、人物を自動的に把握し、個人特徴解析を行う。そして、抽出した人物情報を保護者特定部１７に渡す。
　上記保護者特定部１７（第三人物特定部）は、カメラ３２にて撮影された画像から抽出された人物情報に基づいて、グループデータベース２２内を検索する。そして、グループデータベース２２内に登録されているグループ情報に含まれる人物情報のうち、画像から抽出された人物情報と合致する人物を、保護者（第三人物）として特定する。このとき、特定した保護者が属するグループも特定する。
　また、上記迷子特定部１６（第四人物特定部）は、上述したように特定した保護者のグループ内から、そのグループ情報に含まれる人物情報に基づいて迷子（第四人物）を特定して、迷子の人物情報を抽出する。このとき、例えば、グループ内の人物情報を調べ、その特徴情報などから子供と判定される人物を迷子として特定して、その人物情報を抽出する。さらに、迷子特定部１６は、監視カメラ３１にて撮影した画像から、抽出した迷子を特定する。例えば、抽出した迷子の人物情報を位置情報データベース２１に問い合わせ、一致する人物情報の人物を迷子として特定する。
　上記人物位置特定部１８は、上述したように特定した迷子の人物情報から、位置情報データベース２１を用いて、当該迷子の位置を特定する。迷子の位置情報は、例えば、迷子の位置にスタッフを派遣できるよう施設スタッフに対して通知するよう出力される。
　［動作］
　次に、上述した情報処理システムの動作を説明する。以下では、（１）グループ登録動作、（２）第一の迷子発見動作、（３）第二の迷子発見動作、を詳細に説明する。
（１）グループ登録動作
　図２及び図３を参照して、施設内にある監視カメラ３１を用いて、お客様の位置情報及びグループ情報を判断し、データベースにリアルタイムに更新していくときの動作を説明する。
　まず、施設の各入口で来場者を監視カメラ３１で撮影する（図２のステップＳ１）。そして、画像から輪郭等の特徴抽出を行い（図３のステップＳ１１）、人物を自動的に把握していく（図３のステップＳ１２）。さらに、各人物の年齢、服、体格等の個人特徴解析を行って、各人物の人物情報を抽出し、かかる人物情報と監視カメラ３１の位置情報とを結び付けて、位置情報データベース２１に保存する（図３のステップＳ１３）。
　また、近い距離にいる人物間で、移動の方向、タイミングや、会話をしているか等の行動解析を行い（図３のステップＳ１４）、複数の人物かグループか否かを自動的に判定する（図２のステップＳ２、図３のステップＳ１５）。例えば、身長や年齢認識を用い、特に子供とその保護者の組み合わせをグループと判断する。複数の人物をグループと判断した場合は、各人物の人物情報を含むグループ情報をグループデータベース２２に登録する（図２のステップＳ３）。これにより、後述するように、あるグループの人物が検索対象となると、同じグループと判定された他の人物の情報が出力できるようになっている。
　なお、施設内のいかなる監視カメラ３１でも、常にリアルタイムに画像を撮影して、人物抽出と解析を行い、監視カメラ３１の位置情報と共に人物情報を含むグループ情報を更新登録していく。これにより、どこに個人やグループがいるのかということが適宜更新される。また、各出口付近の監視カメラ３１での撮影及び画像の解析によって、あるグループのメンバー全員が退場したと判断した場合には、そのグループ情報をグループデータベース２２から削除する。
　同時に、各監視カメラ３１にて画像が撮影される度に、上述したように画像から人物情報が抽出され、当該人物情報の位置情報が位置情報データベース２１に登録される。そして、位置情報データベース２１は、人物の移動に伴い更新される。
（２）第一の迷子発見動作
　図４及び図５を参照して、保護者から連絡を受ける前に迷子を発見した場合であり、保護者への連絡までの動作を説明する。
　まず、施設の各場所に設置された監視カメラ３１で画像を撮影する（図４のステップＳ２１）。そして、画像から輪郭等の特徴抽出を行い（図５のステップＳ３１）、人物を自動的に把握していく（図５のステップＳ３２）。さらに、各人物の年齢、服、体格等の個人特徴解析を行い（図５のステップＳ３３）、特に迷子になりうる年齢の人物のみを抽出する。並行して、その人物の行動解析を行い（図５のステップＳ３４）、不安げな表情や行動、単独で行動しているか等の情報より迷子の可能性があると判断した場合は、その人物を迷子として特定する（図４のステップＳ２２、図５のステップＳ３５）。このとき、即座に現地にスタッフを派遣できるよう施設スタッフに通知する（図５のステップＳ３６）。現地でスタッフが迷子と判断した場合は、迷子を保護する。
　さらに、上述した処理に加えて、特定した迷子の人物情報をグループデータベース２２に問い合わせ、保護者の人物情報を特定する（図４のステップＳ２３、図５のステップＳ３７）。例えば、特定した迷子が属するグループ内の人物情報から、大人と思われる人物を保護者として特定する。そして、保護者の人物情報を位置情報データベース２１に問い合わせ、保護者の現在位置を特定する（図４のステップＳ２４、図５のステップＳ３８）。このとき、そこにスタッフを派遣することで、保護者に迷子を保護していることを知らせ（図５のステップＳ３９）、保護者と迷子を速やかに引き合わせることが可能となる。
（３）第二の迷子発見動作
　図６及び図７を参照して、保護者から迷子の問い合わせがあった場合であり、迷子保護までの動作を説明する。
　保護者が迷子センターに迷子がいないか問い合わせてきた場合に、まずカメラ３２で保護者を撮影する（図６のステップＳ４１）。そして、保護者を撮影した画像から、特徴抽出（図７のステップＳ５１）、人物抽出（図７のステップＳ５２）、個人特徴抽出（図７のステップＳ５３）を経て、保護者の人物情報を抽出する。そして、保護者の人物情報を元にグループデータベース２２に問い合わせ、保護者と同一グループの迷子を特定し（図６のステップＳ４２、図７のステップＳ５４）、当該迷子の特徴を表す人物情報を取得する。
　続いて、迷子の人物情報を位置情報データベース２１に問い合わせ、迷子の位置情報を取得する（図６のステップＳ４３、図７のステップＳ５５）。このことをスタッフに知らせることで、スタッフは現地で迷子を速やかに保護し、保護者に引き合わせることができる。
　なお、本実施形態では、グループデータベース２２の問い合わせに保護者をカメラ３２で撮影した画像を利用しているが、偽保護者のなりすましによる誘拐を防ぐ、及び人手によるミスを排除する効果がある。
　以上のように、本発明によると、迷子の発生から検知、その後の保護者との引き合わせまでの実行が、より短時間に、より正確に、より人手を介さず実施可能となる。その際に、モバイル機器の携帯電話等を必要とすることなく、場内に設置されたカメラ機器でシステムを構築可能であるため、サービス提供者や利用者の手間も軽減できる。
　なお、上述した情報処理システムにおいて、迷子の検知やグループの検知が、カメラ精度、行動認識の精度の問題で難しい場合は、対象を１つに限らず複数の候補を回答する形式としてもよい。その場合は、選ばれた複数の対象と与えられたヒント（何%の確率でマッチ、顔は似ているが服装が異なっている、等の情報）から、目視で正解の１つを選別してもよい。複数の候補を回答する場合でも、当たりの可能性がマッチングの過程で算出できているのであれば、当たりの可能性の高い順にソートして出力することで、迷子と保護者の引き合わせをより早く行うことの助けになる。
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図８を参照して説明する。図８は、実施形態２における人物検出システムの構成を示すブロック図である。なお、本実施形態における人物検出システムは、実施形態１で説明した情報処理システムの構成の概略を示している。
　図８に示すように、本実施形態おける人物検出システム１００は、監視カメラ１１０にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部１０１と、
　画像情報から、人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して人物情報を含むグループ情報を登録するグループ判定部１０２と、
　監視カメラ１１０にて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて第一人物を特定する第一人物特定部１０３と、
　監視カメラ１１０にて撮影した画像情報から、第一人物として特定された人物の人物情報とグループ情報とに基づいて、第一人物と同一グループに属する第二人物を特定する第二人物特定部１０４と、
　第一人物と第二人物とがそれぞれ特定された画像情報を撮影した監視カメラ１１０の位置情報に基づいて、第一人物と第二人物との位置を特定する位置特定部１０５と、
を備えている。
　なお、上述した各構成１０１～１０５は、情報処理装置に装備された演算装置がプログラムを実行することで、構築されてもよい。
　上記構成の人物検出システムによると、まず、監視カメラにて撮影した画像情報から人物情報と行動情報とが抽出され、当該人物情報と行動情報とから自動的に複数の人物からなるグループ情報が登録される。このため、ユーザの手間がかからず、必ずグループ登録されることとなる。その後、あらゆる場所の監視カメラにて撮影した画像情報から抽出した人物情報と行動情報とに基づいて第一人物（例えば迷子）を特定した場合に、当該第一人物の人物情報とグループ情報とから、当該第一人物が属するグループの第二人物（例えば保護者）を特定する。そして、第一人物と第二人物とがそれぞれ撮影された監視カメラの位置情報を用いることで、それらの位置を特定することができる。その結果、事前に登録用カメラで撮影するなどの準備が不用となり、利用者の手間を削減しつつ、適切に人物を検出することができる。
　また、上述した構成に加え、上記人物抽出部は、監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出する。そして、人物検出システムは、さらに、監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の人物情報に基づいて、グループ情報の中から第三人物を特定する第三人物特定部と、第三人物として特定された人物の人物情報とグループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、監視カメラにて撮影した画像情報から、抽出した人物情報に基づいて前記第四人物を特定する第四人物特定部と、を備える。そしてさらに、上記位置特定部は、第四人物が特定された画像情報を撮影した監視カメラの位置情報に基づいて、第四人物の位置を特定する。
　上記構成によると、まず、第三人物（例えば保護者）を監視カメラとは異なるカメラで撮影することで、その画像情報から抽出した人物情報から、グループ情報内の第三人物を特定する。そして、この第三人物と同一グループに属する第四人物（例えば迷子）をグループ情報内から特定することで当該第四人物の人物情報を取得し、監視カメラにて撮影した画像情報から第四人物を特定して、その位置を特定することができる。このように、第三人物が第四人物を探している場合であっても、適切に人物を検出することができる。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における人物検出システム、プログラム、人物検出方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
　前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を備えた、
人物検出システム。
（付記２）
　付記１に記載の人物検出システムであって、
　前記人物抽出部は、前記人物情報として人物の外観的な特徴を表す特徴情報を抽出し、
　前記第一人物特定部は、前記特徴情報に基づいて前記第一人物として迷子を特定する、
人物検出システム。
（付記３）
　付記２に記載の人物検出システムであって、
　前記第一人物特定部は、前記行動情報と前記特徴情報とに基づいて、一人で行動している子供を前記第一人物である迷子として特定する、
人物検出システム。
（付記４）
　付記２又は３に記載の人物検出システムであって、
　前記第二人物特定部は、前記特徴情報に基づいて、前記第一人物として特定された迷子の保護者として前記第二人物を特定する、
人物検出システム。
（付記５）
　付記１に記載の人物検出システムであって、
　前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
　さらに、
　前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
　前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
を備え、
　前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
人物検出システム。
（付記６）
　付記５に記載の人物検出システムであって、
　前記第三人物特定部は、保護者として前記第三人物を特定し、
　前記第四人物特定部は、前記第三人物として特定された保護者の子供として前記第四人物を特定する、
人物検出システム。
（付記７）
　付記１乃至６のいずれかに記載の人物検出システムであって、
　前記グループ判定部は、新たな前記画像情報から抽出した前記行動情報に基づいて、前記グループ情報を更新して登録する、
人物検出システム。
（付記８）
　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出し、
　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録し、
　その後、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定し、
　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定し、
　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する、
人物検出方法。
（付記９）
　付記８に記載の人物検出方法であって、
　前記人物情報を抽出する際に、前記人物情報として人物の外観的な特徴を表す特徴情報を抽出し、
　前記第一人物を特定する際に、前記特徴情報に基づいて前記第一人物として迷子を特定する、
人物検出方法。
（付記１０）
　付記９に記載の人物検出方法であって、
　前記第一人物を特定する際に、前記行動情報と前記特徴情報とに基づいて、一人で行動している子供を前記第一人物である迷子として特定する、
人物検出方法。
（付記１１）
　付記９又は１０に記載の人物検出方法であって、
　前記第二人物を特定する際に、前記特徴情報に基づいて、前記第一人物として特定された迷子の保護者として前記第二人物を特定する、
人物検出方法。
（付記１２）
　付記８に記載の人物検出方法であって、
　前記監視カメラとは異なるカメラで人物を撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定し、
　前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定し、
　前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
人物検出方法。
（付記１３）
　付記１２に記載の人物検出方法であって、
　前記第三人物を特定する際に、保護者として前記第三人物を特定し、
　前記第四人物を特定する際に、前記第三人物として特定された保護者の子供として前記第四人物を特定する、
人物検出方法。
（付記１４）
　付記８乃至１３のいずれかに記載の人物検出方法であって、
　前記グループ情報を登録する際に、新たな前記画像情報から抽出した前記行動情報に基づいて、前記グループ情報を更新して登録する、
人物検出方法。
（付記１５）
　情報処理装置に、
　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
　前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を実現させるためのプログラム。
（付記１６）
　付記１５に記載のプログラムであって、
　前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
　さらに、前記情報処理装置に、
　前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
　前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
を実現させ、
　前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
プログラム。
　なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２０１７年２月１３日に特許出願された特願２０１７－０２３８９４の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１０　情報処理システム
１１　特徴抽出部
１２　人物抽出部
１３　個人特徴解析部
１４　行動解析部
１５　グループ判断部
１６　迷子特定部
１７　保護者特定部
１８　人物位置特定部
２１　位置情報データベース
２２　グループデータベース
３１　監視カメラ
３２　カメラ
１００　人物検出システム
１０１　人物抽出部
１０２　グループ判定部
１０３　第一人物特定部
１０４　第二人物特定部
１０５　位置特定部
１１０　監視カメラ
 

Claims (16)

  1. 　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
    　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
    　前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
    　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
    　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
    を備えた、
    人物検出システム。
  2. 　請求項１に記載の人物検出システムであって、
    　前記人物抽出部は、前記人物情報として人物の外観的な特徴を表す特徴情報を抽出し、
    　前記第一人物特定部は、前記特徴情報に基づいて前記第一人物として迷子を特定する、
    人物検出システム。
  3. 　請求項２に記載の人物検出システムであって、
    　前記第一人物特定部は、前記行動情報と前記特徴情報とに基づいて、一人で行動している子供を前記第一人物である迷子として特定する、
    人物検出システム。
  4. 　請求項２又は３に記載の人物検出システムであって、
    　前記第二人物特定部は、前記特徴情報に基づいて、前記第一人物として特定された迷子の保護者として前記第二人物を特定する、
    人物検出システム。
  5. 　請求項１に記載の人物検出システムであって、
    　前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
    　さらに、
    　前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
    　前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
    を備え、
    　前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
    人物検出システム。
  6. 　請求項５に記載の人物検出システムであって、
    　前記第三人物特定部は、保護者として前記第三人物を特定し、
    　前記第四人物特定部は、前記第三人物として特定された保護者の子供として前記第四人物を特定する、
    人物検出システム。
  7. 　請求項１乃至６のいずれかに記載の人物検出システムであって、
    　前記グループ判定部は、新たな前記画像情報から抽出した前記行動情報に基づいて、前記グループ情報を更新して登録する、
    人物検出システム。
  8. 　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出し、
    　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録し、
    　その後、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定し、
    　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定し、
    　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する、
    人物検出方法。
  9. 　請求項８に記載の人物検出方法であって、
    　前記人物情報を抽出する際に、前記人物情報として人物の外観的な特徴を表す特徴情報を抽出し、
    　前記第一人物を特定する際に、前記特徴情報に基づいて前記第一人物として迷子を特定する、
    人物検出方法。
  10. 　請求項９に記載の人物検出方法であって、
    　前記第一人物を特定する際に、前記行動情報と前記特徴情報とに基づいて、一人で行動している子供を前記第一人物である迷子として特定する、
    人物検出方法。
  11. 　請求項９又は１０に記載の人物検出方法であって、
    　前記第二人物を特定する際に、前記特徴情報に基づいて、前記第一人物として特定された迷子の保護者として前記第二人物を特定する、
    人物検出方法。
  12. 　請求項８に記載の人物検出方法であって、
    　前記監視カメラとは異なるカメラで人物を撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定し、
    　前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定し、
    　前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
    人物検出方法。
  13. 　請求項１２に記載の人物検出方法であって、
    　前記第三人物を特定する際に、保護者として前記第三人物を特定し、
    　前記第四人物を特定する際に、前記第三人物として特定された保護者の子供として前記第四人物を特定する、
    人物検出方法。
  14. 　請求項８乃至１３のいずれかに記載の人物検出方法であって、
    　前記グループ情報を登録する際に、新たな前記画像情報から抽出した前記行動情報に基づいて、前記グループ情報を更新して登録する、
    人物検出方法。
  15. 　情報処理装置に、
    　監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
    　前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
    　前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
    　前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
    　前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
    を実現させるためのプログラム。
  16. 　請求項１５に記載のプログラムであって、
    　前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
    　さらに、前記情報処理装置に、
    　前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
    　前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
    を実現させ、
    　前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
    プログラム。
     
PCT/JP2017/044592 2017-02-13 2017-12-12 人物検出システム WO2018146938A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/483,078 US11348371B2 (en) 2017-02-13 2017-12-12 Person detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-023894 2017-02-13
JP2017023894A JP6930126B2 (ja) 2017-02-13 2017-02-13 人物検出システム

Publications (1)

Publication Number Publication Date
WO2018146938A1 true WO2018146938A1 (ja) 2018-08-16

Family

ID=63108160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044592 WO2018146938A1 (ja) 2017-02-13 2017-12-12 人物検出システム

Country Status (3)

Country Link
US (1) US11348371B2 (ja)
JP (4) JP6930126B2 (ja)
WO (1) WO2018146938A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185541A1 (ja) * 2021-03-05 2022-09-09 日本電気株式会社 見守りシステム、見守り方法、及び、記録媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6805996B2 (ja) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2019086906A (ja) * 2017-11-02 2019-06-06 Ｎｅｃプラットフォームズ株式会社 監視装置、システム、方法およびプログラム
JP7095876B2 (ja) * 2019-02-20 2022-07-05 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP7263043B2 (ja) * 2019-02-21 2023-04-24 前田建設工業株式会社 アラート出力システム、アラート出力方法、及びプログラム
JP7215936B2 (ja) 2019-03-08 2023-01-31 本田技研工業株式会社 迷子予防支援システム
WO2021131025A1 (ja) * 2019-12-27 2021-07-01 日本電気株式会社 処理装置、処理方法及びプログラム
JP7439572B2 (ja) 2020-03-05 2024-02-28 オムロン株式会社 自走式ロボット、案内方法、および案内プログラム
US20230341229A1 (en) * 2022-04-20 2023-10-26 Ford Global Technologies, Llc Vehicle-based multi-modal trip planning and event coordination

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4438443B2 (ja) * 2004-02-18 2010-03-24 オムロン株式会社 画像取得装置及び捜索装置
JP2007060528A (ja) 2005-08-26 2007-03-08 Toshiba Corp 施設における利用者管理システムおよび利用者管理方法
JP4754986B2 (ja) 2006-02-21 2011-08-24 三菱電機株式会社 画像ブラウザシステム
JP4945477B2 (ja) 2008-02-21 2012-06-06 株式会社日立国際電気 監視システム、人物検索方法
KR101044090B1 (ko) * 2010-10-04 2011-06-23 박희운 2차원 바코드를 이용한 미아찾기 방법
US10043229B2 (en) * 2011-01-26 2018-08-07 Eyelock Llc Method for confirming the identity of an individual while shielding that individual's personal data
JP2013191059A (ja) * 2012-03-14 2013-09-26 Dainippon Printing Co Ltd 迷子通知案内システム、迷子通知案内方法、目撃情報配信サーバ、及び、プログラム
KR102005766B1 (ko) 2012-12-13 2019-10-01 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 인쇄 제어 단말장치, 화상형성장치, 색상 보정 방법 및 컴퓨터 판독가능 기록매체
JP6225039B2 (ja) 2014-01-31 2017-11-01 株式会社日立製作所 画像検索システム、画像検索装置及び画像検索方法
US20160157074A1 (en) * 2014-11-30 2016-06-02 Raymond Anthony Joao Personal monitoring apparatus and method
JP6593742B2 (ja) 2015-04-14 2019-10-23 パナソニックＩｐマネジメント株式会社 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
WO2017057135A1 (ja) * 2015-09-30 2017-04-06 日本電気株式会社 情報処理装置、判定装置、通知システム、情報送信方法及びプログラム
US11200409B2 (en) * 2017-11-27 2021-12-14 T-Mobile Usa, Inc. Utilizing an array of cameras including IoT sensors with cameras to search for objects via a wireless communication network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185541A1 (ja) * 2021-03-05 2022-09-09 日本電気株式会社 見守りシステム、見守り方法、及び、記録媒体

Also Published As

Publication number Publication date
US11348371B2 (en) 2022-05-31
JP2021108149A (ja) 2021-07-29
US20210279450A1 (en) 2021-09-09
JP2024015359A (ja) 2024-02-01
JP2018132803A (ja) 2018-08-23
JP2022168070A (ja) 2022-11-04
JP7405200B2 (ja) 2023-12-26
JP6930126B2 (ja) 2021-09-01
JP7143912B2 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
WO2018146938A1 (ja) 人物検出システム
WO2018096787A1 (ja) 人物行動監視装置および人物行動監視システム
US10747991B2 (en) People stream analysis method, people stream analysis apparatus, and people stream analysis system
US20200043174A1 (en) Image monitoring system
JPWO2014148395A1 (ja) 映像監視システム、映像監視方法、および映像監視装置
WO2018154902A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20180089500A1 (en) Portable identification and data display device and system and method of using same
JP2015138534A (ja) 電子機器
CN111667664B (zh) 迷路儿童预防支援系统
JP2018195992A (ja) 人物グループ追跡装置および人物グループ追跡方法
JP2019159377A (ja) 監視システム、サーバ装置、監視方法、及び監視プログラム
CN109461276A (zh) 智能终端设备防盗方法及智能终端设备
JP6785437B2 (ja) 人物行動監視装置および人物行動監視システム
JP7095876B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20110095531A (ko) 이동로봇의 인물탐색 방법
JP7336674B2 (ja) 接客状況分析装置、接客状況分析システム、及び接客状況分析方法
JP7316580B2 (ja) 接客状況分析装置、接客状況分析システム、及び接客状況分析方法
US20220406069A1 (en) Processing apparatus, processing method, and non-transitory storage medium
US20230084625A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
US20230090122A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
WO2022091165A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ読み取り可能な記憶媒体
WO2023162016A1 (ja) 監視システム、監視装置、監視方法、および記録媒体
JP6815349B2 (ja) 警備システム及び警備方法
JP2017215735A (ja) 振り込め詐欺防止システム及び振り込め詐欺防止方法
KR20120066532A (ko) 카메라를 이용한 이동체의 위치 인식시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895543

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17895543

Country of ref document: EP

Kind code of ref document: A1