WO2018193977A1 - 識別システム、識別方法及びプログラム - Google Patents

識別システム、識別方法及びプログラム Download PDF

Info

Publication number
WO2018193977A1
WO2018193977A1 PCT/JP2018/015478 JP2018015478W WO2018193977A1 WO 2018193977 A1 WO2018193977 A1 WO 2018193977A1 JP 2018015478 W JP2018015478 W JP 2018015478W WO 2018193977 A1 WO2018193977 A1 WO 2018193977A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
identification
target
target space
output
Prior art date
Application number
PCT/JP2018/015478
Other languages
English (en)
French (fr)
Inventor
松尾 至生
昌幸 天野
燕峰 王
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2018193977A1 publication Critical patent/WO2018193977A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates generally to an identification system, an identification method, and a program, and more particularly, to an identification system, an identification method, and a program for identifying an identification target existing in a target space.
  • Patent Document 1 a system that performs identification (authentication) and position detection of an identification target (person) in a target space (target region) has been proposed (see, for example, Patent Document 1).
  • An identification system (authentication system) described in Patent Document 1 is carried by a person to be identified and transmits a person's identification information by a radio signal using radio waves as a medium, and is installed in a target space. And a receiving device that receives a radio signal to be transmitted. The receiving device measures the electric field strength of the radio wave received by the antenna, and determines the location of the person based on the measured value.
  • This disclosure is intended to provide an identification system, an identification method, and a program with improved convenience such as monitoring of an identification target.
  • the identification system includes a first acquisition unit that acquires first information, a second acquisition unit that acquires second information, and an output unit.
  • the first information is information including identification information assigned to the mobile terminal and position information regarding the position of the mobile terminal, and is information for identifying an identification target in the target space.
  • the second information is information based on a captured image of the target space, and is information for identifying the identification target in the target space.
  • the output unit outputs output information based on the first information and the second information.
  • the identification method includes processing for acquiring first information, acquiring second information, and outputting output information based on the first information and the second information.
  • the first information is information including identification information assigned to the mobile terminal and position information regarding the position of the mobile terminal, and is information for identifying an identification target in the target space.
  • the second information is information based on a captured image of the target space, and is information for identifying the identification target in the target space.
  • a program causes a computer system to execute a process of acquiring first information, acquiring second information, and outputting output information based on the first information and the second information It is a program for.
  • the first information is information including identification information assigned to the mobile terminal and position information regarding the position of the mobile terminal, and is information for identifying an identification target in the target space.
  • the second information is information based on a captured image of the target space, and is information for identifying the identification target in the target space.
  • the identification system 100 is a system for identifying an identification target 8 existing in the target space 9, as shown in FIG.
  • the target space 9 is a specific space in a facility such as an office building, for example.
  • the entire appropriate space or a part of the space such as a corridor, an elevator hall, an entrance hall, an office, a laboratory, a library, a fitness room, and a laundry room in the facility is the target space 9.
  • the identification target 8 is a user of the facility such as a person working in the office building.
  • the identification object 8 moves from the entrance hall separated by the door to the elevator hall, the door needs to be opened and closed.
  • the identification object 8 existing in the entrance hall needs to be identified.
  • the identification system 100 identifies the identification target 8 existing in the target space 9 in such a case.
  • the identification system 100 outputs output information based on two pieces of information, the first information D1 and the second information D2.
  • the first information D1 is information including identification information assigned to the mobile terminal 4 and position information regarding the position of the mobile terminal 4, and is information for identifying the identification target 8 in the target space 9.
  • the second information D2 is information based on the captured image of the target space 9, and is information for identifying the identification target 8 in the target space 9. That is, the identification system 100 identifies the identification target 8 in the target space 9 based on both the identification information assigned to the portable terminal 4 and the information based on the captured image of the target space 9, and the identification result is obtained. Output as output information.
  • the position information referred to in the present disclosure may be information regarding the position of the mobile terminal 4 and is not limited to information indicating the position of the mobile terminal 4 in the target space 9. In other words, the position information may be information about the position of the mobile terminal 4 roughly, for example, whether the mobile terminal 4 is in the target space 9 or outside the target space 9.
  • the identification system 100 can identify the identification target 8 from the identification information assigned to the mobile terminal 4. Further, the identification system 100 can identify the identification target 8 even from an image (captured image) obtained by imaging the target space 9.
  • the identification system 100 only when the identification system 100 obtains similar identification results from both the first information D1 and the second information D2, the identification target is successfully identified. Thereby, compared with the case where the identification object 8 is identified only by any one of the 1st information D1 and the 2nd information D2, more exact
  • the identification system 100 includes a first system 1, a second system 2, and an integrated server 3. 2, in addition to the identification system 100, the portable terminal 4, the camera 5, the display part 6, and the opening / closing control part 7 are shown.
  • the portable terminal 4, the camera 5, the display unit 6, and the opening / closing control unit 7 are not included in the components of the identification system 100 in the present embodiment, but the portable terminal 4, the camera 5, the display unit 6, and the opening / closing control. At least a part of the unit 7 may be included in the components of the identification system 100.
  • each of the plurality of portable terminals 4 is referred to as a “portable terminal 41” and a “portable terminal 42”.
  • the identification object 8 carries one portable terminal 4 per person. Therefore, in this embodiment, the case where there are a plurality of identification objects 8 is assumed.
  • each of the plurality of identification objects 8 is referred to as “identification object 81” and “identification object 82”.
  • Each of the plurality of mobile terminals 4 is a terminal that periodically outputs a radio signal using radio waves as a medium, for example.
  • Each mobile terminal 4 is a so-called beacon terminal.
  • the wireless signal communication method is Bluetooth (registered trademark).
  • Other wireless signal communication methods may be, for example, Wi-Fi (registered trademark) or specific low-power wireless communication.
  • the plurality of portable terminals 4 are carried by the plurality of identification objects 8 that are users of the facility where the target space 9 is set.
  • the identification target 8 (facility user) carries a specific mobile terminal 4 assigned to each user among the plurality of mobile terminals 4. More specifically, the first identification target 81 carries the first portable terminal 41.
  • the second identification object 82 carries the second portable terminal 42. That is, the portable terminal 4 and the identification target 8 correspond one to one.
  • Each of the plurality of identification objects 8 can freely move in and out of the target space 9 and can move freely in the target space 9.
  • Identification information (ID: Identification) is assigned to each of the plurality of mobile terminals 4.
  • the identification information is information unique to each mobile terminal 4 and is information for identifying each mobile terminal 4. In other words, the identification information is different for each identification object 8 that carries the mobile terminal 4.
  • the plurality of portable terminals 4 periodically transmit the identification information to the server using a radio signal.
  • the identification information is held in, for example, a nonvolatile memory of the mobile terminal 4.
  • the identification information assigned to the mobile terminal 4 is the same information as the identification information of the identification target 8 that carries the mobile terminal 4. That is, the identification information of the portable terminal 4 is shared with the identification information of the identification target 8.
  • the identification information of the first portable terminal 41 and the identification information of the first identification target 81 that carries the first portable terminal 41 are “001”.
  • the identification information of the second portable terminal 42 and the identification information of the second identification target 82 that carries the second portable terminal 42 are “002”.
  • the first system 1 includes a receiving unit 11 and an LPS server 12.
  • the first system 1 is a local positioning system (LPS: Local Positioning System) that measures the position of the mobile terminal 4 in a specific space (area) like the target space 9.
  • LPS Local Positioning System
  • the receiving unit 11 has a plurality of receivers 131 and 132.
  • each of the plurality of receivers 131 and 132 is also referred to as “receiver 13”.
  • the plurality of receivers 13 are arranged in the target space 9 or the periphery thereof.
  • the receiver 13 is configured to perform wireless communication with the mobile terminal 4.
  • the receiver 13 receives the identification information from at least the mobile terminal 4 existing in the target space 9 by wireless communication.
  • the receiver 13 generates reception information related to a received signal strength (RSSI: Received Signal Strength Indication) of the radio signal based on the received radio signal.
  • RSSI Received Signal Strength Indication
  • Each receiver 13 transmits the receiver information and the received information to the LPS server 12 in addition to the identification information received from the portable terminal 4 after receiving the radio signal from the portable terminal 4.
  • the receiver 13 holds receiver information assigned to each receiver 13 in a nonvolatile memory or the like included in the receiver 13.
  • the LPS server 12 includes a communication unit 121, a position specifying unit 122, a storage unit 123, and a processing unit 124.
  • the LPS server 12 has, for example, a computer system (including a microcomputer) including a processor and a memory as a main configuration. That is, the computer system functions as the LPS server 12 by executing an appropriate program on the processor.
  • the communication unit 121 receives identification information, receiver information, and reception information from each of the plurality of receivers 13.
  • the connection between the communication unit 121 and the plurality of receivers 13 may be, for example, a wired connection, a wireless connection, or a connection form via a repeater or the like.
  • the communication unit 121 outputs the identification information, the receiver information, and the reception information received from the plurality of receivers 13 to the position specifying unit 122 as LPS data.
  • the position specifying unit 122 specifies the position of the mobile terminal 4 existing in the target space 9 in the target space 9 based on the LPS data (identification information, receiver information, and reception information). Specifically, the position specifying unit 122 collates the combination of the receiver information and the reception information for the plurality of receivers 13 included in the LPS data with the information stored in the storage unit 123. Thereby, the position specifying unit 122 obtains position information indicating the position of the identification information included in the LPS data in the target space 9 of the mobile terminal 4.
  • the position information is information indicating the position of the mobile terminal 4 in the target space 9, that is, in which position in the target space 9 the mobile terminal 4 is located.
  • the position information may be information regarding the position of the mobile terminal 4 and is not limited to information indicating the position of the mobile terminal 4 in the target space 9.
  • the location information is a rough mobile information indicating whether the mobile terminal 4 is in the target space 9 or outside the target space 9 depending on whether or not the plurality of receivers 13 have received wireless signals from the mobile terminal 4.
  • Information regarding the position of the terminal 4 may be used.
  • the storage unit 123 includes a rewritable nonvolatile memory such as an EEPROM (ElectricallyrErasable Programmable Read-Only Memory).
  • the storage unit 123 stores a database in which a combination of receiver information and reception information for a plurality of receivers 13 is associated with position information.
  • the storage unit 123 stores at least the identification information and the position information obtained by the position specifying unit 122.
  • the position specifying unit 122 stores the position information in the storage unit 123 in time series in association with the identification information.
  • the storage unit 123 stores a history of position information for each piece of identification information of the mobile terminal 4.
  • the history of position information constitutes trajectory information representing the trajectory of movement of the mobile terminal 4 in the target space 9.
  • the processing unit 124 outputs the combination of the trajectory information generated in this way (that is, the history of position information) and the identification information of the mobile terminal 4 to the integrated server 3 as the first information D1.
  • the second system 2 includes an interface 21 and an image processing server 22.
  • the interface 21 is connected to the camera 5.
  • the interface 21 acquires a captured image from the camera 5.
  • the camera 5 is installed so as to include at least the target space 9 in the visual field, and outputs an image obtained by capturing the target space 9 to the interface 21 as a captured image of the target space 9.
  • the captured image output by the camera 5 is assumed to be a color moving image, but is not limited thereto, and may be a monochrome image or a still image.
  • the connection between the interface 21 and the camera 5 may be, for example, a wired connection, a wireless connection, or a connection form via a repeater or the like.
  • the interface 21 may have a function of executing preprocessing such as edge extraction on the captured image of the target space 9.
  • the image processing server 22 includes a face recognition unit 221, a storage unit 222, a storage unit 223, and an analysis unit 224.
  • the image processing server 22 has, for example, a computer system (including a microcomputer) including a processor and a memory as a main configuration. That is, the computer system functions as the image processing server 22 by executing an appropriate program on the processor.
  • the face recognition unit 221 recognizes the face of the identification target 8 existing in the target space 9 by performing image processing on the captured image acquired by the interface 21. Specifically, the face recognition unit 221 extracts an area including the face of the identification target 8 (hereinafter also referred to as a face area) from the captured image, and stores the face of the identification target 8 included in the face area in the storage unit 222. Check against a registered face image. Thereby, when the face image of the identification target 8 is registered in the storage unit 222, the face recognition unit 221 can specify the identification information of the identification target 8 from the face of the identification target 8. That is, the face recognition unit 221 recognizes the face of the identification target 8.
  • the storage unit 222 stores a database in which the face image of the identification target 8 and the attribute information of the identification target 8 are associated with each other.
  • the attribute information of the identification target 8 includes identification information (ID) similar to the identification information included in the first information D1. Further, the attribute information of the identification target 8 includes the name, access authority, profile, and the like of the identification target 8.
  • one or more face images can be associated with one attribute information. That is, the attribute information (including identification information) of the identification target 8 and the face image may have a one-to-many relationship.
  • the storage unit 223 includes, for example, a rewritable nonvolatile memory such as an EEPROM.
  • the storage unit 223 stores at least identification information of the identification target 8 recognized by the face recognition unit 221. That is, the identification information of the identification target 8 specified from the face of the identification target 8 by the face recognition unit 221 is stored in the storage unit 223.
  • the analysis unit 224 analyzes the captured image of the target space 9 to obtain the position of the identification target 8 recognized by the face recognition unit 221 in the target space 9. Specifically, the analysis unit 224 obtains the position of the identification target 8 in the target space 9 based on the position of the face area extracted by the face recognition unit 221 in the captured image, and position information representing the obtained position. Is output.
  • the analysis unit 224 stores the position information in the storage unit 223 in time series in association with the identification information of the identification target 8 recognized by the face recognition unit 221. As a result, the storage unit 223 stores a history of position information for each identification target 8.
  • the history of position information constitutes trajectory information representing the trajectory of the movement of the identification target 8 in the target space 9.
  • the analysis unit 224 outputs the combination of the trajectory information generated in this way (that is, the history of the position information) and the identification information of the identification target 8 to the integrated server 3 as the second information D2.
  • the second information D2 includes attribute information (name of the identification target 8, access authority, profile, etc.) other than the identification information, and a captured image of the target space 9.
  • the integrated server 3 includes a first acquisition unit 31, a second acquisition unit 32, and an output unit 33.
  • the integrated server 3 has, for example, a computer system (including a microcomputer) including a processor and a memory as a main configuration. That is, the computer system functions as the integrated server 3 by executing an appropriate program on the processor.
  • the first acquisition unit 31 is information including identification information assigned to the portable terminal 4 and position information regarding the position of the portable terminal 4, and includes first information D ⁇ b> 1 for identifying the identification target 8 in the target space 9. get. That is, the first acquisition unit 31 acquires the first information D1 from the first system 1.
  • the connection between the first acquisition unit 31 and the first system 1 may be, for example, a wired connection, a wireless connection, or a connection form via a repeater or the like. It may be.
  • the second acquisition unit 32 is information based on the captured image of the target space 9, and acquires second information D2 for identifying the identification target 8 in the target space 9. That is, the second acquisition unit 32 acquires the second information D2 from the second system 2.
  • the connection between the second acquisition unit 32 and the second system 2 may be, for example, a wired connection, a wireless connection, or a connection via a repeater or the like. Form may be sufficient.
  • the output unit 33 outputs output information based on the first information D1 and the second information D2. That is, the output unit 33 identifies the identification target 8 in the target space 9 based on the first information D1 acquired by the first acquisition unit 31 and the second information D2 acquired by the second acquisition unit 32. The identification result is output as output information.
  • the output unit 33 is connected to the display unit 6 and the opening / closing control unit 7, and outputs output information to the display unit 6 and opening / closing control unit 7.
  • the connection between the output unit 33 and the display unit 6 and the open / close control unit 7 may be, for example, a wired connection, a wireless connection, or a connection form via a repeater or the like. May be.
  • the output unit 33 includes an estimation unit 331 and a determination unit 332.
  • the estimation unit 331 is based on a trajectory including a history of the position of the mobile terminal 4 in the target space 9 based on the first information D1 and a trajectory including a history of the position of the identification target 8 in the target space 9 based on the second information D2.
  • the estimation unit 331 since the first information D1 includes trajectory information representing the trajectory of the mobile terminal 4, and the second information D2 includes trajectory information representing the trajectory of the identification target 8, the estimation unit 331 includes the trajectory information. Based on this, a future movement path of the identification target 8 in the target space 9 is estimated.
  • the travel route estimated by the estimation unit 331 is included in the output information of the output unit 33.
  • the determination unit 332 determines the correlation between the first information D1 and the second information D2.
  • the determination unit 332 basically collates the identification information included in the first information D1 with the identification information included in the second information D2, and determines whether or not they match.
  • the determination unit 332 Determine the correlation between the information.
  • the higher the similarity between the trajectory information included in the first information D1 and the trajectory information included in the second information D2 the higher the correlation coefficient representing the correlation between the first information D1 and the second information D2. Become.
  • the determination unit 332 determines that there is a correlation between the first information D1 and the second information D2 if the correlation coefficient is equal to or greater than the threshold value.
  • the determination result of the determination unit 332 is included in the output information of the output unit 33.
  • the output unit 33 includes a locus made up of a history of the position of the portable terminal 4 in the target space 9 based on the first information D1, and a locus made up of a history of the position of the identification target 8 in the target space 9 based on the second information D2. Is included in the output information.
  • the determination unit 332 determines the correlation between the first information D1 and the second information D2 for each identification information. That is, for example, the determination unit 332 determines the first information D1 and the second information from the similarity between the trajectory information included in the first information D1 and the trajectory information included in the second information D2 for the same identification information. The correlation with D2 is determined.
  • the determination unit 332 may include, in the output information, a collation result between the position of the mobile terminal 4 in the target space 9 based on the first information D1 and the position of the identification target 8 in the target space 9 based on the second information D2. That is, since the trajectory information is a position history, the latest value of the trajectory information included in the first information D1 corresponds to the position (current position) of the mobile terminal 4, and the latest value of the trajectory information included in the second information D2. Corresponds to the position (current position) of the identification object 8. Therefore, the determination unit 332 collates the latest value of the trajectory information included in the first information D1 with the latest value of the trajectory information included in the second information D2, thereby determining the position of the mobile terminal 4 and the identification target 8. You can check the position.
  • the determination unit 332 collates the number of mobile terminals 4 in the target space 9 based on the first information D1 with the number of identification objects 8 in the target space 9 based on the second information D2.
  • the number of identification information included in the first information D1 corresponds to the number of mobile terminals 4 in the target space 9
  • the number of identification information included in the second information D2 is the identification target in the target space 9. It corresponds to the number of 8. Therefore, the number of identification information included in the first information D1 is collated with the number of identification information included in the second information D2. And if both number corresponds, the correlation coefficient showing the correlation with the 1st information D1 and the 2nd information D2 will become high.
  • the collation result of the number of identification information is included in the output information of the output unit 33.
  • the determination unit 332 collates the identification information included in the first information D1 with the image of the identification target 8 included in the captured image of the target space 9.
  • the second information D ⁇ b> 2 includes the identification information of the identification target 8 specified by the face recognition unit 221 from the image of the identification target 8 included in the captured image of the target space 9. That is, the identification information included in the second information D2 is information specified from the image of the identification target 8 included in the captured image of the target space 9. Therefore, the determination unit 332 collates the identification information included in the first information D1 with the identification information included in the second information D2, thereby capturing the identification information included in the first information D1 and the imaging of the target space 9. The image of the identification target 8 included in the image is indirectly verified.
  • the correlation coefficient showing the correlation of the 1st information D1 and the 2nd information D2 will become high. Therefore, the collation result between the identification information included in the first information D1 and the image of the identification target 8 included in the captured image of the target space 9 is included in the output information of the output unit 33.
  • the display unit 6 displays the state of the identification target 8 in the target space 9.
  • the display unit 6 is, for example, a general-purpose or dedicated display connected to the integrated server 3 (output unit 33).
  • the output unit 33 combines the identification information included in the first information D1 and the image of the identification target 8 included in the captured image of the target space 9 and outputs the combined information to the display unit 6.
  • a display screen Im1 as shown in FIG. 3 is displayed on the display unit 6. Details of the display screen Im1 will be described later.
  • the opening / closing control unit 7 opens and closes a door provided at the exit of the target space 9.
  • the opening / closing control unit 7 may open / close a door formed of an automatic door, or may open / close the door by unlocking an electric lock provided on the door.
  • the output unit 33 determines from the determination result of the determination unit 332 whether the identification target 8 existing in the target space 9 is a person who is properly registered as a user of the facility where the target space 9 is set. Judging.
  • the output unit 33 outputs a permission signal to the opening / closing control unit 7 and causes the opening / closing control unit 7 to open the door only when the identification target 8 existing in the target space 9 is a properly registered person.
  • the door here may be a door that is opened and closed when a person leaves the target space 9, and may be either a hinged door type or a sliding door type.
  • FIG. 1 schematically illustrates the operation performed by the identification system 100.
  • the first information D1 and the second information D2 are also schematically illustrated so that the contents thereof can be understood.
  • an identification target 81 carrying the mobile terminal 41 and an identification target 82 carrying the mobile terminal 42 exist in the target space 9.
  • Each of the identification target 81 and the identification target 82 is a person who is properly registered as a user of the facility where the target space 9 is set. Therefore, the identification information of the identification target 81 (same as the identification information of the portable terminal 41) and the identification information of the identification target 82 (identification information of the portable terminal 42) are registered (stored) in the storage unit 222.
  • the first system 1 wirelessly communicates with the mobile terminal 4 at the receiving unit 11, thereby identifying the trajectory information indicating the trajectory of the movement of the mobile terminal 4 in the target space 9 and the identification of the mobile terminal 4.
  • First information D1 including a combination with information is generated. That is, as shown in FIG. 1, the first system 1 outputs first information D ⁇ b> 1 indicating the locus of the mobile terminal 4 in the target space 9 for each identification information.
  • the notation “ID: 001” representing the identification information of the portable terminal 41 is attached to the locus of the portable terminal 41 carried by the identification target 81.
  • the trajectory of the portable terminal 42 carried by the identification target 82 is marked with “ID: 002” representing the identification information of the portable terminal 42.
  • the trajectory of the mobile terminal 4 is not shown strictly, but the trajectory on the floor surface of the identification target 8 carrying the mobile terminal 4 is shown.
  • the second system 2 performs image processing on the captured image of the target space 9 acquired from the camera 5 by the interface 21, thereby generating trajectory information representing the movement trajectory of the identification target 8 in the target space 9 and the identification target 8.
  • Second information D2 including a combination with the identification information is generated. That is, as shown in FIG. 1, the second system 2 outputs second information D2 indicating the locus of the face area of the identification target 8 in the target space 9 for each identification information.
  • the face area of the identification target 81 is denoted by “ID: 001” representing the identification information of the identification target 81.
  • the notation “ID: 002” representing the identification information of the identification object 82 is attached to the face area of the identification object 82.
  • the locus of the face area is not strictly shown, but the locus of the identification target 8 on the floor surface is represented.
  • the first acquisition unit 31 acquires the first information D1 described above from the first system 1 and outputs it to the output unit 33.
  • the second acquisition unit 32 acquires the above-described second information D2 from the second system 2 and outputs it to the output unit 33.
  • the output unit 33 identifies the identification target 8 in the target space 9 based on the first information D1 and the second information D2, and outputs the identification result as output information.
  • the first information D1 and the second information D2 include the same identification information. Specifically, both the first information D1 and the second information D2 are “001”, which is identification information of the portable terminal 41 (identification target 81), and identification information of the portable terminal 42 (identification target 82). Two pieces of identification information “002” are included. Therefore, the output unit 33 uses the determination unit 332 to match the number of portable terminals 4 in the target space 9 based on the first information D1 and the number of identification objects 8 in the target space 9 based on the second information D2. Then, since it determines, the correlation coefficient showing the correlation with the 1st information D1 and the 2nd information D2 becomes high.
  • the output unit 33 determines whether the determination unit 332 compares the first information D1 with the identification information included in the first information D1 and the matching result between the image of the identification target 8 included in the captured image of the target space 9.
  • the correlation coefficient representing the correlation with the second information D2 becomes high.
  • the output unit 33 determines that the trajectory information included in the first information D1 and the trajectory information included in the second information D2 are the same in the determination unit 332.
  • the determination unit 332 determines that there is a correlation between the first information D1 and the second information D2.
  • the determination result of the determination unit 332 is included in the output information of the output unit 33.
  • the output unit 33 uses the estimation unit 331 to estimate the future movement path of the identification target 8 in the target space 9.
  • the travel route estimated by the estimation unit 331 is included in the output information of the output unit 33.
  • the output unit 33 outputs the output information thus obtained to the display unit 6 and the open / close control unit 7.
  • the display unit 6 displays, for example, a display screen Im1 as shown in FIG.
  • the display screen Im1 is based on the captured image of the target space 9 included in the second information D2, and the captured image is subjected to, for example, superimposition by using the trajectory Tr1, Tr2, the estimated route P1, This is an image to which P2 and balloons B1 and B2 are added.
  • the trajectory Tr1 is a trajectory of the identification target 81 identified from the trajectory information included in the first information D1 or the second information D2.
  • the trajectory Tr2 is a trajectory of the identification target 82 identified from the trajectory information included in the first information D1 or the second information D2.
  • the estimated route P1 is a future moving route of the identification target 81 estimated by the estimating unit 331.
  • the estimated route P2 is a future moving route of the identification target 82 estimated by the estimating unit 331.
  • attribute information of the identification target 81 for example, a character string such as “ID: 001” representing identification information and “NAME: AA” representing name is displayed.
  • attribute information of the identification target 82 for example, a character string such as “ID: 002” representing identification information and “NAME: BB” representing name is displayed.
  • the output unit 33 outputs the combination of the identification information included in the first information D1 and the image of the identification target 8 included in the captured image of the target space 9.
  • the output of the output unit 33 in a state in which attribute information (identification information or the like) for specifying the identification target 8 is added to the identification target 8 in the captured image included in the second information D2.
  • Information will be displayed.
  • the output unit in a state where the image of the face area of the identification target 8 to which the identification information is assigned is added to the identification information included in the first information D 1. 33 output information may be displayed.
  • the opening / closing control unit 7 when the opening / closing control unit 7 receives the permission signal from the output unit 33 as output information, the opening / closing control unit 7 operates to open the door.
  • the opening / closing control unit 7 is not limited to the configuration in which the door is opened immediately when the permission signal is received, but the door is opened only after the intention object 8 indicates that the door is to be opened after receiving the permission signal. You can open it.
  • the intention display of the identification object 8 to open the door can be confirmed by, for example, a pressure sensor, a mechanical switch, a voice switch, or the like installed on the floor in front of the door.
  • the opening / closing control unit 7 may determine whether or not to open the door in consideration of the movement route estimated by the estimation unit 331. For example, the opening / closing control unit 7 may open the door only when it is determined from the estimation result of the estimation unit 331 that any one of the identification objects 8 is facing the door. That is, when none of the identification objects 8 faces the door, the opening / closing control unit 7 cannot open the door.
  • the determination unit 332 determines that there is no correlation between the first information D1 and the second information D2. judge. In this case, since the output unit 33 does not transmit a permission signal to the opening / closing control unit 7, the door remains closed. In this case, the display unit 6 displays that there is no correlation between the first information D1 and the second information D2.
  • the display unit 6 receives the output information of the output unit 33 and, for example, a message indicating that the identification target 82 is not a properly registered person, such as “person of ID: 002 is not registered”. Is displayed. At this time, as an example, it is preferable that the display unit 6 displays a video based on the captured image of the target space 9 as in FIG. 3 and displays the message so as to accompany the identification target 82 in the video. .
  • the identification target 82 when the identification target 82 does not carry the mobile terminal 42, the number of mobile terminals 4 in the target space 9 based on the first information D1 and the target space 9 based on the second information D2. There is no correlation between the first information D1 and the second information D2 because the number of the identification objects 8 does not match. Since the first information D1 includes position information related to the position of the mobile terminal 4, it is possible to specify how many mobile terminals 4 exist in the target space 9 based on the first information D1. In such a case, the display unit 6 receives the output information of the output unit 33, and the identification target 82 does not carry the portable terminal 42, for example, “There is one person whose portable terminal cannot be confirmed”. A message to that effect is displayed. At this time, as an example, it is preferable that the display unit 6 displays a video based on the captured image of the target space 9 as in FIG. 3 and displays the message so as to accompany the identification target 82 in the video. .
  • the display unit 6 receives the output information from the output unit 33, and displays a message indicating that the track information does not match, such as “tracks do not match”. At this time, for example, the display unit 6 displays a video based on the captured image of the target space 9 as in FIG. 3 and displays the message so as to accompany the identification targets 81 and 82 in the video. Is preferred.
  • the above embodiment is merely one of various embodiments of the present disclosure.
  • the above embodiment can be variously modified according to the design and the like as long as the object of the present disclosure can be achieved.
  • the functions similar to those of the identification system 100 may be embodied by an identification method, a computer program, a recording medium on which the program is recorded, or the like.
  • the identification method according to one aspect includes a process of acquiring the first information D1, acquiring the second information D2, and outputting the output information based on the first information D1 and the second information D2.
  • the first information D1 is information including identification information assigned to the mobile terminal 4 and position information regarding the position of the mobile terminal 4, and is information for identifying the identification target 8 in the target space 9.
  • the second information D2 is information based on the captured image of the target space 9, and is information for identifying the identification target 8 in the target space 9.
  • the (computer) program which concerns on one aspect performs the process which acquires the 1st information D1, the 2nd information D2, and outputs output information based on the 1st information D1 and the 2nd information D2 to a computer system. This is a program to be executed.
  • the execution subject of the identification system 100 or the identification method in the present disclosure includes a computer system.
  • the computer system mainly includes a processor and a memory as hardware.
  • the processor executes the program recorded in the memory of the computer system, a function as an execution subject of the identification system 100 or the identification method according to the present disclosure is realized.
  • the program may be recorded in advance in the memory of the computer system, but may be provided through an electric communication line, or may be recorded in a recording medium such as a memory card, an optical disk, or a hard disk drive that can be read by the computer system. May be provided.
  • a processor of a computer system includes one or more electronic circuits including a semiconductor integrated circuit (IC) or a large scale integrated circuit (LSI).
  • the plurality of electronic circuits may be integrated on one chip, or may be distributed on the plurality of chips.
  • the plurality of chips may be integrated into one device, or may be distributed and provided in a plurality of devices.
  • the identification system 100 includes the first system 1, the second system 2, and the integrated server 3, but the first system 1 and the second system 2 are included in the identification system 100. Not a required configuration. In other words, the identification system 100 only needs to include the first acquisition unit 31, the second acquisition unit 32, and the output unit 33. For at least one of the first system 1 and the second system 2, the identification system It may not be included in 100 components.
  • the identification system 100 is implement
  • the functions of the first acquisition unit 31, the second acquisition unit 32, and the output unit 33 may be integrated into the first system 1 or the second system 2, and in this case, the integrated server 3 can be omitted.
  • the identification system 100 may be realized by one device that fits in one housing.
  • At least one function of the first acquisition unit 31, the second acquisition unit 32, and the output unit 33 is distributed to two or more systems of the first system 1, the second system 2, and the integrated server 3. May be provided.
  • each function of the 1st acquisition part 31, the 2nd acquisition part 32, and the output part 33 may be distributed and provided in the some apparatus.
  • the function of the output unit 33 may be provided in a distributed manner in the first system 1 and the second system 2.
  • At least a part of the functions of the identification system 100 may be realized by, for example, cloud (cloud computing).
  • the facility where the target space 9 is set is not limited to an office building, and may be, for example, a welfare facility, a hospital, a theme park, a factory, a store, etc. Good.
  • a plurality of target spaces 9 may be set in one room.
  • the target space 9 is not limited to being indoors but may be a specific space in an outdoor facility such as a ground.
  • the identification target 8 is not limited to a person, and may be, for example, a living organism other than a human such as livestock, or an object such as an automobile.
  • the mobile terminal 4 is not limited to a beacon terminal, and may be, for example, a smartphone, a tablet terminal, a personal computer, or the like.
  • the portable terminal 4 is configured to be directly worn by the identification object 8 or attached to personal belongings such as a bag, such as a key holder type, employee card type, name tag type, glasses type, or watch type wearable terminal. May be.
  • the 1st system 1 should just be the structure which produces
  • 9 is not limited to the configuration that specifies the position of the mobile terminal 4.
  • the first system 1 includes a plurality of transmitters that transmit radio signals to the mobile terminal 4.
  • the first system 1 The structure by which a position is specified may be sufficient.
  • the mobile terminal 4 can specify the position of the mobile terminal 4 in the target space 9 based on the transmitter information assigned to the transmitter and the received signal strength of the radio signal received from the transmitter.
  • the first system 1 may specify the position of the mobile terminal 4 in the target space 9 by using, for example, a gyro sensor provided in the mobile terminal 4 and an output of GPS (Global Positioning System). Good.
  • GPS Global Positioning System
  • communication between the portable terminal 4 and the first system 1 (reception unit 11) is not limited to communication using radio waves as a medium, and in this case, optical communication (infrared communication, visible light communication) or the like There may be.
  • the face recognition unit 221 is not limited to the configuration that collates the face of the identification target 8 included in the face area with the face image.
  • the face recognition unit 221 extracts the feature quantity of the identification target person's face from the face area,
  • the identification target 8 may be specified by comparing with the feature amount registered in the storage unit 222.
  • each of the first information D1 and the second information D2 includes trajectory information, and each of the first information D1 and the second information D2 does not include any trajectory information. Also good. Further, the second information D2 may not include the position information.
  • the second information D2 is information based on the captured image of the target space 9, and may be information for identifying the identification target 8 in the target space 9.
  • the second information D2 is attribute information other than the identification information and the identification information. (Name of identification object 8, access authority, profile, etc.) may not be included.
  • the second information D2 may be an image obtained by simply cutting out the identification target 8 from the captured image of the target space 9.
  • the identification information assigned to the portable terminal 4 may not be the same information as the identification information of the identification target 8 carrying the portable terminal 4.
  • the identification information of the portable terminal 4 and the identification information of the identification target 8 that carries the portable terminal 4 are associated one-to-one, and the correspondence relationship is stored in the integrated server 3 or the like. Thereby, in the integrated server 3, it becomes possible to mutually convert between the identification information of the portable terminal 4 and the identification information of the identification object 8, and the first information D1 and the second information D2 can be compared.
  • the first information D1 may include movement information regarding at least one of acceleration and movement speed of the mobile terminal 4 moving in the target space 9.
  • the second information D2 may include movement information related to at least one of the acceleration and the moving speed of the identification target 8 that moves in the target space 9 calculated from the captured image.
  • the output unit 33 determines the correlation between the movement information of the first information D1 and the movement information of the second information D1 in the determination unit 332. Thereby, the collation result of the acceleration or moving speed of the portable terminal 4 in the target space 9 based on the first information D1 and the acceleration or moving speed of the identification target 8 in the target space 9 based on the second information D2 is output information. Will be included.
  • the first information D1 and the second information D2 are compared with the case where the correlation between the first information D1 and the second information D2 is determined only from the result of matching between the locus of the mobile terminal 4 and the locus of the identification target 8.
  • the accuracy of determining the correlation with the information D2 is improved.
  • the display screen Im1 displayed on the display unit 6 is not limited to the aspect shown in FIG. 3, and the trajectories Tr1 and Tr2 or the estimated routes P1 and P2 may be omitted, for example.
  • the identification system 100 according to the present embodiment is different from the identification system 100 according to the first embodiment in that the output unit 33 does not include the determination result of the correlation between the first information D1 and the second information D2 in the output information.
  • the same configurations as those of the first embodiment are denoted by common reference numerals, and description thereof is omitted as appropriate.
  • the output unit 33 is based on the first information D1 acquired by the first acquisition unit 31 and the second information D2 acquired by the second acquisition unit 32.
  • the identification object 8 in the space 9 is identified, and the identification result is output as output information.
  • the output unit 33 does not look at the correlation between the first information D1 and the second information D2, but uses the first information D1 and the second information D2 so as to complement each other.
  • the identification object 8 in the object space 9 is identified. That is, when the identification object 8 is identified from either one of the first information D1 and the second information D2, the identification system 100 according to the present embodiment outputs the result as output information.
  • the second system 2 cannot recognize the face of the identification target 8 from the captured image of the target space 9. From the second information D2, the identification target 8 in the target space 9 may not be identified. In such a case, if the first system 1 can identify the identification target 8 in the target space 9, the output unit 33 can identify the identification target 8 in the target space 9 based on the first information D1. .
  • the second system 2 cannot recognize the face of the identification target 8 from the captured image of the target space 9, and from the second information D2,
  • the identification target 8 in the target space 9 may not be identified.
  • the output unit 33 can identify the identification target 8 in the target space 9 based on the first information D1.
  • the output unit 33 associates the image of the face area of the identification target 8 extracted from the captured image with the second system 2 with the identification information included in the first information D1, and stores it in the storage unit 222. It is preferable to register as a face image. As a result, the face image registered in the storage unit 222 is automatically added or updated.
  • the identification target 8 when the identification target 8 does not carry the mobile terminal 4, the identification target in the target space 9 cannot be identified from the first information D1. In such a case, if the identification target 8 can be identified from the captured image of the target space 9 in the second system 2, the output unit 33 can identify the identification target 8 in the target space 9 based on the second information D2. Is possible.
  • the output unit 33 calculates the logical product of the first information D1 and the second information D2, and the first information D1 when the correlation between the first information D1 and the second information D2 is high.
  • the identification object 8 is identified using the second information D2.
  • the output unit 33 can use either one of the first information D1 and the second information D2 by taking the logical sum of the first information D1 and the second information D2. In this case, the identification object 8 is identified using the information. Therefore, compared with the identification system 100 according to the first embodiment, in the identification system 100 according to the present embodiment, the conditions for identifying the identification target 8 are relaxed.
  • the configuration of the identification system 100 according to the second embodiment can be appropriately combined with the configuration of the first embodiment (including modifications).
  • the identification system (100) includes the first acquisition unit (31) that acquires the first information (D1) and the second acquisition unit that acquires the second information (D2). (32) and an output unit (33).
  • the first information (D1) is information including the identification information assigned to the portable terminal (4) and the position information regarding the position of the portable terminal (4), and the identification information (8) in the target space (9) is identified. This is information for identification.
  • the second information (D2) is information based on the captured image of the target space (9), and is information for identifying the identification target (8) in the target space (9).
  • the output unit (33) outputs output information based on the first information (D1) and the second information (D2).
  • the output unit (33) outputs the output information based on the first information (D1) and the second information (D2), for example, the portable terminal (4) carried by the identification target (8) ). It is possible to reduce erroneous identification as compared with the case where identification is performed only by (). In addition, since a special operation such as bringing the mobile terminal (4) closer to the receiving device is not required, convenience is unlikely to decrease. Therefore, according to the identification system (100), an identification system with improved convenience such as monitoring of the identification target (8) can be provided.
  • the output unit (33) uses the determination result of the correlation between the first information (D1) and the second information (D2) as output information. It is configured to include.
  • the identification accuracy of the identification object (8) is improved as compared with the case where the identification object (8) is identified from only one of the first information (D1) and the second information (D2). Can be achieved.
  • the output unit (33) is configured to include the following verification result in the output information.
  • the collation result here is the position of the portable terminal (4) in the target space (9) based on the first information (D1) and the identification target (8) in the target space (9) based on the second information (D2). This is a matching result with the position.
  • the identification system (100) according to the fourth aspect is configured such that, in the third aspect, the output unit (33) includes the following verification result in the output information.
  • the collation result here is a trajectory composed of the history of the position of the mobile terminal (4) in the target space (9) based on the first information (D1) and the identification in the target space (9) based on the second information (D2). It is a collation result with the locus
  • the output unit (33) estimates the future movement path of the identification object (8) in the target space (9) and outputs the movement path. It is configured to be included in the information.
  • the future movement route of the identification target (8) is the target space based on the locus of the position of the portable terminal (4) in the target space (9) based on the first information (D1) and the second information (D2). It is estimated based on the locus formed by the history of the position of the identification target (8) in (9).
  • the door is moved only when it is determined that the identification target (8) is facing the door. It can be opened.
  • the output unit (33) includes the number of portable terminals (4) in the target space (9) based on the first information (D1) and the identification target (8 in the target space (9) based on the second information (D2)). ) Is included in the output information.
  • the identification accuracy of the identification target (8) is improved as compared with the case where the number of the portable terminal (4) and the identification target (8) in the target space (9) is not collated. Can do. For example, when there is a person who does not carry the portable terminal (4) together with the identification target (8) carrying the portable terminal (4) in the target space (9), so-called sharing is prevented. it can.
  • the output unit (33) includes the identification information included in the first information (D1) and the target space (9).
  • the output information includes a matching result with the image of the identification target (8) included in the captured image.
  • the identification target (8) is compared with the case where the identification information of the portable terminal (4) and the image of the identification target (8) included in the captured image of the target space (9) are not collated.
  • the identification accuracy can be improved. For example, when the owner of the mobile terminal (4) lents the mobile terminal (4) to another person, the output unit (33) can recognize that it is not a regular identification target (8).
  • the output unit (33) displays a state of the identification target (8) in the target space (9) ( In response to 6), output information is output.
  • the state of the identification target (8) in the target space (9) can be presented visually.
  • the output unit (33) opens and closes an opening / closing control unit that opens and closes a door provided at the outlet of the target space (9). 7), output information is output.
  • the door provided at the exit of the target space (9) can be automatically opened and closed according to the state of the identification target (8) in the target space (9).
  • the output unit (33) includes the identification information included in the first information (D1) and the target space (9). It is configured to output in combination with the image of the identification target (8) included in the captured image.
  • An identification system (100) includes, in any one of the first to tenth aspects, a reception unit (11) having a reception unit (11) that receives a signal including identification information by communicating with the mobile terminal (4).
  • One system (1) is further provided.
  • the first acquisition unit (31) is configured to acquire first information (D1) from the first system (1).
  • the format or the like of the first information (D1) can be defined by the first system (1), and the first information (D1) can be relatively acquired by the first acquisition unit (31). It becomes easy.
  • the identification system (100) according to the twelfth aspect further includes a second system (2) that performs image processing on the captured image of the target space (9) in any of the first to eleventh aspects.
  • the second acquisition unit (32) is configured to acquire the second information (D2) from the second system (2).
  • the format or the like of the second information (D2) can be defined by the second system (2), and the second information (D2) can be relatively acquired by the second acquisition unit (32). It becomes easy.
  • the identification method acquires first information (D1), acquires second information (D2), and outputs output information based on the first information (D1) and the second information (D2). Have a process to do.
  • the first information (D1) is information including identification information assigned to the portable terminal (4) and position information regarding the position of the portable terminal (4), and for identifying an identification target in the target space (9).
  • the second information (D2) is information based on the captured image of the target space (9), and is information for identifying the identification target (8) in the target space (9).
  • the identification is performed only by the portable terminal (4) carried by the identification target (8). Compared to the case, erroneous identification can be reduced. In addition, since a special operation such as bringing the mobile terminal (4) closer to the receiving device is not required, convenience is unlikely to decrease. Therefore, according to this identification method, an identification method with improved convenience such as monitoring of the identification target (8) can be provided.
  • the program according to the fourteenth aspect acquires the first information (D1), the second information (D2), and outputs the computer system based on the first information (D1) and the second information (D2).
  • This is a program for executing processing for outputting information.
  • the first information (D1) is information including identification information assigned to the portable terminal (4) and position information regarding the position of the portable terminal (4), and for identifying an identification target in the target space (9).
  • the second information (D2) is information based on the captured image of the target space (9), and is information for identifying the identification target (8) in the target space (9).
  • the identification is performed only by the portable terminal (4) carried by the identification target (8). Compared to the case, erroneous identification can be reduced. In addition, since a special operation such as bringing the mobile terminal (4) closer to the receiving device is not required, convenience is unlikely to decrease. Therefore, according to this program, it is possible to provide a program with improved convenience such as monitoring of the identification target (8).
  • various configurations (including modifications) of the identification system 100 according to the first and second embodiments can be appropriately realized by an identification method and a (computer) program.
  • the configurations according to the second to twelfth aspects are not essential to the identification system (100) and can be omitted as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

識別対象の監視等の利便性が向上した識別システム、識別方法及びプログラムを提供する。識別システム(100)は、第1情報(D1)を取得する第1取得部(31)と、第2情報(D2)を取得する第2取得部(32)と、出力部(33)と、を備える。第1情報(D1)は、携帯端末(4)に割り当てられた識別情報及び携帯端末(4)の位置に関する位置情報を含む情報であって、対象空間(9)内の識別対象(8)を識別するための情報である。第2情報(D2)は、対象空間(9)の撮像画像に基づく情報であって、対象空間(9)内の識別対象(8)を識別するための情報である。出力部(33)は、第1情報(D1)及び第2情報(D2)に基づく出力情報を出力する。

Description

識別システム、識別方法及びプログラム
 本開示は、一般に識別システム、識別方法及びプログラムに関し、より詳細には、対象空間に存在する識別対象を識別するための識別システム、識別方法及びプログラムに関する。
 従来、対象空間(対象領域)内における識別対象(人物)の識別(認証)及び位置の検出を行うシステムが提案されている(例えば、特許文献1参照)。
 特許文献1に記載の識別システム(認証システム)は、識別対象の人物に携帯され、電波を媒体とする無線信号によって人物の識別情報を送信する送信機と、対象空間に設置され、送信機が送信する無線信号を受信する受信装置と、を有する。受信装置は、アンテナで受信する電波の電界強度を計測し、その計測値に基づいて、人物の所在を判定する。
特開2014-75755号公報
 本開示は、識別対象の監視等の利便性が向上した識別システム、識別方法及びプログラムを提供することを目的とする。
 本開示の一態様に係る識別システムは、第1情報を取得する第1取得部と、第2情報を取得する第2取得部と、出力部と、を備える。前記第1情報は、携帯端末に割り当てられた識別情報及び前記携帯端末の位置に関する位置情報を含む情報であって、対象空間内の識別対象を識別するための情報である。前記第2情報は、前記対象空間の撮像画像に基づく情報であって、前記対象空間内の前記識別対象を識別するための情報である。前記出力部は、前記第1情報及び前記第2情報に基づく出力情報を出力する。
 本開示の一態様に係る識別方法は、第1情報を取得し、第2情報を取得し、前記第1情報及び前記第2情報に基づいて出力情報を出力する処理を有する。前記第1情報は、携帯端末に割り当てられた識別情報及び前記携帯端末の位置に関する位置情報を含む情報であって、対象空間内の識別対象を識別するための情報である。前記第2情報は、前記対象空間の撮像画像に基づく情報であって、前記対象空間内の前記識別対象を識別するための情報である。
 本開示の一態様に係るプログラムは、コンピュータシステムに、第1情報を取得し、第2情報を取得し、前記第1情報及び前記第2情報に基づいて出力情報を出力する処理、を実行させるためのプログラムである。前記第1情報は、携帯端末に割り当てられた識別情報及び前記携帯端末の位置に関する位置情報を含む情報であって、対象空間内の識別対象を識別するための情報である。前記第2情報は、前記対象空間の撮像画像に基づく情報であって、前記対象空間内の前記識別対象を識別するための情報である。
実施形態1に係る識別システムの動作を示す概念図である。 同上の識別システムの構成を示すブロック図である。 同上の識別システムによって表示される表示画面の一例を示す図である。
 (実施形態1)
 (1)概要
 本実施形態に係る識別システム100は、図1に示すように、対象空間9に存在する識別対象8を識別するためのシステムである。対象空間9は、例えば、オフィスビル等の施設における特定の空間である。例えば、施設における、廊下、エレベータホール、エントランスホール、事務室、実験室、図書室、フィットネスルーム及び洗濯室等、適宜の空間全体又は当該空間の一部が、対象空間9となる。識別対象8は、例えば、施設がオフィスビルである場合には、オフィスビルで働く人等、施設の利用者である。
 一例として、識別対象8が、扉によって隔てられたエントランスホールからエレベータホールに移動する際には、扉の開閉が必要になる。このような状況において、エントランスホールに存在する識別対象8が、この施設において正規に登録された人物である場合にのみ扉を開けるためには、エントランスホールに存在する識別対象8の識別が必要になる。識別システム100は、例えば、このような場合において、対象空間9に存在する識別対象8を識別する。
 本実施形態に係る識別システム100は、第1情報D1及び第2情報D2の2つの情報に基づく出力情報を出力する。第1情報D1は、携帯端末4に割り当てられた識別情報及び携帯端末4の位置に関する位置情報を含む情報であって、対象空間9内の識別対象8を識別するための情報である。第2情報D2は、対象空間9の撮像画像に基づく情報であって、対象空間9内の識別対象8を識別するための情報である。すなわち、識別システム100は、携帯端末4に割り当てられた識別情報と、対象空間9の撮像画像に基づく情報との両方に基づいて、対象空間9内の識別対象8を識別し、その識別結果を出力情報として出力する。本開示でいう位置情報は、携帯端末4の位置に関する情報であればよく、対象空間9における携帯端末4の位置を表す情報に限らない。すなわち、位置情報は、例えば、携帯端末4が対象空間9内にあるか対象空間9外にあるか、という大雑把な携帯端末4の位置に関する情報であってもよい。
 したがって、対象空間9に、携帯端末4を携帯した識別対象8が存在する状態では、識別システム100は、携帯端末4に割り当てられた識別情報から、識別対象8を識別可能となる。また、識別システム100は、対象空間9を撮像した画像(撮像画像)からでも、識別対象8を識別可能となる。実施形態1では一例として、識別システム100にて第1情報D1と第2情報D2との両方から同様の識別結果が得られた場合にのみ、識別対象の識別の成功とする。これにより、第1情報D1と第2情報D2とのいずれか一方のみで識別対象8の識別が行われる場合に比べて、より厳密な識別が可能となる。
 (2)構成
 以下、本実施形態に係る識別システム100の構成について、図2を参照して説明する。
 識別システム100は、第1システム1と、第2システム2と、統合サーバ3と、を備えている。図2では、識別システム100に加えて、携帯端末4と、カメラ5と、表示部6と、開閉制御部7と、を示している。これら携帯端末4、カメラ5、表示部6及び開閉制御部7は、本実施形態では識別システム100の構成要素に含まれないこととするが、携帯端末4、カメラ5、表示部6及び開閉制御部7の少なくとも一部は識別システム100の構成要素に含まれてもよい。
 また、本実施形態では、携帯端末4が1つだけでなく、複数(ここでは2つ)ある場合を想定している。複数の携帯端末4を区別する場合には、複数の携帯端末4の各々を「携帯端末41」、「携帯端末42」と呼ぶ。さらに、識別対象8は、1人につき1つの携帯端末4を携帯する。そのため、本実施形態では、識別対象8が複数人いる場合を想定する。複数人の識別対象8を区別する場合には、複数人の識別対象8の各々を「識別対象81」、「識別対象82」と呼ぶ。
 複数の携帯端末4の各々は、例えば、電波を媒体とする無線信号を周期的に出力する端末である。各携帯端末4は、いわゆるビーコン端末である。無線信号の通信方式は、一例として、Bluetooth(登録商標)である。無線信号の通信方式は、他にも例えば、Wi-Fi(登録商標)又は特定小電力無線通信等でもよい。複数の携帯端末4は、対象空間9が設定された施設の利用者である複数の識別対象8に携帯される。識別対象8(施設の利用者)は、一例として、複数の携帯端末4のうち利用者ごとに割り当てられた特定の携帯端末4を携帯する。より詳細には、第1の識別対象81は、第1の携帯端末41を携帯する。第2の識別対象82は、第2の携帯端末42を携帯する。つまり、携帯端末4と識別対象8とは一対一に対応する。複数の識別対象8の各々は、対象空間9に対して自由に出入りでき、かつ対象空間9内を自由に移動できる。
 複数の携帯端末4の各々には、識別情報(ID:Identification)が割り当てられている。識別情報は、各携帯端末4に固有の情報であって、個々の携帯端末4を識別するための情報である。言い換えれば、識別情報は、携帯端末4を携帯する識別対象8ごとに異なっている。複数の携帯端末4は、識別情報を無線信号により周期的にサーバに送信する。識別情報は、例えば、携帯端末4の不揮発性メモリ等に保持されている。
 本実施形態では、携帯端末4に割り当てられた識別情報は、この携帯端末4を携帯する識別対象8の識別情報と同一の情報である。つまり、携帯端末4の識別情報は、識別対象8の識別情報と共用される。以下では一例として、第1の携帯端末41の識別情報、及び第1の携帯端末41を携帯する第1の識別対象81の識別情報は、「001」であると仮定する。同様に、第2の携帯端末42の識別情報、及び第2の携帯端末42を携帯する第2の識別対象82の識別情報は、「002」であると仮定する。
 第1システム1は、受信部11と、LPSサーバ12と、を備えている。第1システム1は、対象空間9のように、特定の空間(エリア)内での携帯端末4の位置を計測するローカル測位システム(LPS:Local Positioning System)である。
 受信部11は、複数の受信機131,132を有している。複数の受信機131,132を区別しない場合、複数の受信機131,132の各々を「受信機13」とも呼ぶ。複数の受信機13は、対象空間9又はその周辺に配置されている。受信機13は、携帯端末4と無線通信を行うように構成されている。ここで、受信機13は、少なくとも対象空間9に存在する携帯端末4から、識別情報を無線通信にて受信する。
 受信機13は、受信した無線信号に基づいて、無線信号の受信信号強度(RSSI:Received Signal Strength Indication)に関する受信情報を生成する。各受信機13は、携帯端末4からの無線信号を受信した後に、携帯端末4から受信した識別情報に加えて、受信機情報及び受信情報をLPSサーバ12に送信する。受信機13は、受信機13ごとに割り当てられた受信機情報を、受信機13が有する不揮発性メモリ等に保持している。
 LPSサーバ12は、通信部121と、位置特定部122と、記憶部123と、処理部124と、を有している。LPSサーバ12は、例えば、プロセッサ及びメモリを含むコンピュータシステム(マイクロコンピュータを含む)を主構成とする。すなわち、コンピュータシステムは、適宜のプログラムをプロセッサにて実行することにより、LPSサーバ12として機能する。
 通信部121は、複数の受信機13の各々から、識別情報、受信機情報及び受信情報を受信する。通信部121と複数の受信機13との間の接続は、例えば、有線接続であってもよいし、無線接続であってもよいし、中継器等を介した接続形態であってもよい。通信部121は、複数の受信機13から受信した識別情報、受信機情報及び受信情報を、LPSデータとして位置特定部122に出力する。
 位置特定部122は、LPSデータ(識別情報、受信機情報及び受信情報)に基づいて、対象空間9内に存在する携帯端末4の対象空間9における位置を特定する。具体的には、位置特定部122は、LPSデータに含まれる複数の受信機13についての受信機情報及び受信情報の組み合わせを、記憶部123に記憶されている情報と照合する。これにより、位置特定部122は、LPSデータに含まれる識別情報の携帯端末4の対象空間9での位置を表す位置情報を求める。本実施形態では一例として、位置情報は、対象空間9内での携帯端末4の位置、つまり対象空間9内のどの位置に携帯端末4があるか、ということを示す情報である。ただし、位置情報は、携帯端末4の位置に関する情報であればよく、対象空間9における携帯端末4の位置を表す情報に限らない。例えば、位置情報は、複数の受信機13が携帯端末4からの無線信号を受信したか否かによって、携帯端末4が対象空間9内にあるか対象空間9外にあるか、という大雑把な携帯端末4の位置に関する情報であってもよい。
 記憶部123は、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)のような書き換え可能な不揮発性メモリを含む。記憶部123は、複数の受信機13についての受信機情報及び受信情報の組み合わせと、位置情報とが対応付けられたデータベースを記憶している。また、記憶部123は、少なくとも位置特定部122で求められた識別情報及び位置情報を記憶する。位置特定部122は、位置情報を識別情報と対応付けて、時系列に沿って記憶部123に記憶する。これにより、記憶部123には、携帯端末4の識別情報ごとに位置情報の履歴が記憶されることになる。位置情報の履歴は、対象空間9における携帯端末4の移動の軌跡を表す軌跡情報を構成する。
 処理部124は、このようにして生成される軌跡情報(つまり位置情報の履歴)と、携帯端末4の識別情報との組み合わせを、第1情報D1として、統合サーバ3に出力する。
 第2システム2は、インタフェース21と、画像処理サーバ22と、を備えている。
 インタフェース21は、カメラ5に接続されている。インタフェース21は、カメラ5から撮像画像を取得する。カメラ5は、少なくとも対象空間9を視野内に含むように設置されており、対象空間9を撮像した画像を対象空間9の撮像画像として、インタフェース21に出力する。本実施形態では、カメラ5が出力する撮像画像は、カラーの動画であることと仮定するが、これに限らず、モノクロ画像であってもよいし、静止画であってもよい。インタフェース21とカメラ5との間の接続は、例えば、有線接続であってもよいし、無線接続であってもよいし、中継器等を介した接続形態であってもよい。インタフェース21は、対象空間9の撮像画像に対して、例えば、エッジ抽出等の前処理を実行する機能を有していてもよい。
 画像処理サーバ22は、顔認識部221と、格納部222と、記憶部223と、解析部224と、を有している。画像処理サーバ22は、例えば、プロセッサ及びメモリを含むコンピュータシステム(マイクロコンピュータを含む)を主構成とする。すなわち、コンピュータシステムは、適宜のプログラムをプロセッサにて実行することにより、画像処理サーバ22として機能する。
 顔認識部221は、インタフェース21が取得した撮像画像に対して、画像処理を施すことにより、対象空間9に存在する識別対象8の顔を認識する。具体的には、顔認識部221は、撮像画像から識別対象8の顔を含む領域(以下、顔領域ともいう)を抽出し、顔領域に含まれる識別対象8の顔を、格納部222に登録されている顔画像と照合する。これにより、識別対象8の顔画像が格納部222に登録されている場合には、顔認識部221は、識別対象8の顔から、識別対象8の識別情報を特定することができる。つまり、顔認識部221は、識別対象8の顔を認識する。
 格納部222は、識別対象8の顔画像と識別対象8の属性情報とが対応付けられたデータベースを記憶している。識別対象8の属性情報は、第1情報D1に含まれる識別情報と同様の識別情報(ID)を含んでいる。さらに、識別対象8の属性情報は、識別対象8の名前、アクセス権限及びプロフィール等を含んでいる。格納部222のデータベースでは、1つの属性情報に対して、顔画像を1乃至複数、対応付けることが可能である。つまり、識別対象8の属性情報(識別情報を含む)と顔画像とは、一対多の関係にあってもよい。
 記憶部223は、例えば、EEPROMのような書き換え可能な不揮発性メモリを含む。記憶部223は、少なくとも顔認識部221で認識された識別対象8の識別情報を記憶する。すなわち、顔認識部221にて識別対象8の顔から特定された識別対象8の識別情報が、記憶部223に記憶される。
 解析部224は、対象空間9の撮像画像を解析することにより、顔認識部221で認識された識別対象8の対象空間9内での位置を求める。具体的には、解析部224は、顔認識部221で抽出された顔領域の撮像画像内での位置に基づいて、対象空間9における識別対象8の位置を求め、求めた位置を表す位置情報を出力する。解析部224は、位置情報を、顔認識部221で認識された識別対象8の識別情報と対応付けて、時系列に沿って記憶部223に記憶する。これにより、記憶部223には、識別対象8ごとに位置情報の履歴が記憶されることになる。位置情報の履歴は、対象空間9における識別対象8の移動の軌跡を表す軌跡情報を構成する。解析部224は、このようにして生成される軌跡情報(つまり位置情報の履歴)と、識別対象8の識別情報との組み合わせを、第2情報D2として、統合サーバ3に出力する。本実施形態では、第2情報D2には、識別情報以外の属性情報(識別対象8の名前、アクセス権限及びプロフィール等)、及び対象空間9の撮像画像が含まれている。
 統合サーバ3は、第1取得部31と、第2取得部32と、出力部33と、備えている。統合サーバ3は、例えば、プロセッサ及びメモリを含むコンピュータシステム(マイクロコンピュータを含む)を主構成とする。すなわち、コンピュータシステムは、適宜のプログラムをプロセッサにて実行することにより、統合サーバ3として機能する。
 第1取得部31は、携帯端末4に割り当てられた識別情報及び携帯端末4の位置に関する位置情報を含む情報であって、対象空間9内の識別対象8を識別するための第1情報D1を取得する。つまり、第1取得部31は、第1システム1から第1情報D1を取得する。第1取得部31と第1システム1(LPSサーバ12)との間の接続は、例えば、有線接続であってもよいし、無線接続であってもよいし、中継器等を介した接続形態であってもよい。
 第2取得部32は、対象空間9の撮像画像に基づく情報であって、対象空間9内の識別対象8を識別するための第2情報D2を取得する。つまり、第2取得部32は、第2システム2から第2情報D2を取得する。第2取得部32と第2システム2(画像処理サーバ22)との間の接続は、例えば、有線接続であってもよいし、無線接続であってもよいし、中継器等を介した接続形態であってもよい。
 出力部33は、第1情報D1及び第2情報D2に基づく出力情報を出力する。つまり、出力部33は、第1取得部31が取得した第1情報D1と、第2取得部32が取得した第2情報D2とに基づいて、対象空間9内の識別対象8の識別を行い、その識別結果を出力情報として出力する。本実施形態では、出力部33は、表示部6及び開閉制御部7に接続されており、これら表示部6及び開閉制御部7に対して、出力情報を出力する。出力部33と、表示部6及び開閉制御部7との間の接続は、例えば、有線接続であってもよいし、無線接続であってもよいし、中継器等を介した接続形態であってもよい。
 ところで、出力部33は、推定部331と、判定部332と、を有している。
 推定部331は、第1情報D1に基づく対象空間9における携帯端末4の位置の履歴からなる軌跡と、第2情報D2に基づく対象空間9における識別対象8の位置の履歴からなる軌跡とに基づいて、対象空間9における識別対象8の将来の移動経路を推定する。本実施形態では、第1情報D1が携帯端末4の軌跡を表す軌跡情報を含み、第2情報D2が識別対象8の軌跡を表す軌跡情報を含むので、推定部331は、これらの軌跡情報に基づいて、対象空間9における識別対象8の将来の移動経路を推定する。推定部331で推定される移動経路は、出力部33の出力情報に含まれる。
 判定部332は、第1情報D1と第2情報D2との相関の判定を行う。判定部332は、基本的には、第1情報D1に含まれる識別情報と、第2情報D2に含まれる識別情報とを照合し、両者の一致/不一致を判定する。さらに、本実施形態では、第1情報D1が携帯端末4の軌跡を表す軌跡情報を含み、第2情報D2が識別対象8の軌跡を表す軌跡情報を含むので、判定部332は、これらの軌跡情報の間の相関を判定する。一例として、第1情報D1に含まれる軌跡情報と、第2情報D2に含まれる軌跡情報との類似度が高い程、第1情報D1と第2情報D2との相関を表す相関係数が高くなる。
 判定部332は、相関係数が閾値以上であれば、第1情報D1と第2情報D2との間に相関があると判定する。判定部332の判定結果は、出力部33の出力情報に含まれる。言い換えれば、出力部33は、第1情報D1に基づく対象空間9における携帯端末4の位置の履歴からなる軌跡と、第2情報D2に基づく対象空間9における識別対象8の位置の履歴からなる軌跡との照合結果を、出力情報に含む。ここで、判定部332は、識別情報ごとに、第1情報D1と第2情報D2との相関を判定する。つまり、判定部332は、同一の識別情報についての、例えば、第1情報D1に含まれる軌跡情報と、第2情報D2に含まれる軌跡情報との類似度から、第1情報D1と第2情報D2との相関を判定する。
 判定部332は、第1情報D1に基づく対象空間9における携帯端末4の位置と、第2情報D2に基づく対象空間9における識別対象8の位置との照合結果を、出力情報に含んでもよい。つまり、軌跡情報は位置の履歴であるから、第1情報D1に含まれる軌跡情報の最新値は携帯端末4の位置(現在位置)に相当し、第2情報D2に含まれる軌跡情報の最新値は識別対象8の位置(現在位置)に相当する。そこで、判定部332は、第1情報D1に含まれる軌跡情報の最新値と、第2情報D2に含まれる軌跡情報の最新値とを照合することで、携帯端末4の位置と識別対象8の位置とを照合できる。
 また、判定部332は、第1情報D1に基づく対象空間9内の携帯端末4の数と、第2情報D2に基づく対象空間9内の識別対象8の数とを照合する。本実施形態では、第1情報D1に含まれる識別情報の数が対象空間9内の携帯端末4の数に相当し、第2情報D2に含まれる識別情報の数が対象空間9内の識別対象8の数に相当する。そこで、第1情報D1に含まれる識別情報の数と、第2情報D2に含まれる識別情報の数とを照合する。そして、両者の数が一致すると、第1情報D1と第2情報D2との相関を表す相関係数が高くなる。識別情報の数の照合結果は、出力部33の出力情報に含まれる。
 また、判定部332は、第1情報D1に含まれる識別情報と、対象空間9の撮像画像に含まれる識別対象8の画像とを照合する。本実施形態では、第2情報D2は、対象空間9の撮像画像に含まれる識別対象8の画像から顔認識部221にて特定された、識別対象8の識別情報を含んでいる。つまり、第2情報D2に含まれる識別情報は、対象空間9の撮像画像に含まれる識別対象8の画像から特定された情報である。そこで、判定部332では、第1情報D1に含まれる識別情報と、第2情報D2に含まれる識別情報とを照合することにより、第1情報D1に含まれる識別情報と、対象空間9の撮像画像に含まれる識別対象8の画像とを間接的に照合する。そして、第1情報D1に含まれる識別情報と、第2情報D2に含まれる識別情報とが一致すると、第1情報D1と第2情報D2との相関を表す相関係数が高くなる。そのため、第1情報D1に含まれる識別情報と、対象空間9の撮像画像に含まれる識別対象8の画像との照合結果は、出力部33の出力情報に含まれることになる。
 表示部6は、対象空間9における識別対象8の状態を表示する。表示部6は、例えば、統合サーバ3(出力部33)に接続された汎用又は専用のディスプレイ等である。本実施形態では、出力部33は、第1情報D1に含まれる識別情報と、対象空間9の撮像画像に含まれる識別対象8の画像とを組み合わせて、表示部6に出力する。これにより、表示部6には、例えば、図3に示すような表示画面Im1が表示される。表示画面Im1について詳しくは後述する。
 開閉制御部7は、対象空間9の出口に設けられた扉を開閉する。開閉制御部7は、自動扉からなる扉を開閉してもよいし、扉に設けられた電気錠を解錠することで扉の開閉を可能にしてもよい。出力部33は、一例として、判定部332の判定結果から、対象空間9に存在する識別対象8が、対象空間9が設定された施設の利用者として正規に登録された人物であるか否かを判断する。対象空間9に存在する識別対象8が正規に登録された人物である場合にのみ、出力部33は、開閉制御部7に許可信号を出力し、開閉制御部7に扉を開けさせる。ここでいう扉は、対象空間9から人が出る際に開閉される扉であればよく、開き戸タイプ、引き戸タイプのどちらであってもよい。
 (3)動作
 次に、本実施形態に係る識別システム100の動作について、図1を参照して説明する。ここでは、オフィスビルのエントランスホールを対象空間9の例として説明する。対象空間9(エントランスホール)は、エレベータホールに隣接しており、エレベータホールとの間が扉によって隔てられている。開閉制御部7は、出力部33の出力情報を受けて、対象空間9(エントランスホール)とエレベータホールとの間の扉を開閉する。図1では、識別システム100が行う動作を模式的に表しており、例えば、第1情報D1及び第2情報D2についても、その内容が分かるように模式的に表している。
 ここにおいて、図1に示すように、対象空間9には、携帯端末41を携帯する識別対象81、及び携帯端末42を携帯する識別対象82が存在すると仮定する。識別対象81及び識別対象82は、いずれも対象空間9が設定された施設の利用者として正規に登録された人物である。そのため、識別対象81の識別情報(携帯端末41の識別情報と同じ)、及び識別対象82の識別情報(携帯端末42の識別情報)は、格納部222に登録(記憶)されている。
 このような状況において、第1システム1は、受信部11にて携帯端末4と無線通信を行うことにより、対象空間9における携帯端末4の移動の軌跡を表す軌跡情報と、携帯端末4の識別情報との組み合わせを含む第1情報D1を生成する。すなわち、第1システム1からは、図1に示すように、識別情報ごとに、対象空間9内での携帯端末4の軌跡を示す第1情報D1が出力される。図1に示す第1情報D1においては、識別対象81が携帯する携帯端末41の軌跡に、携帯端末41の識別情報を表す「ID:001」の表記を付している。同様に、識別対象82が携帯する携帯端末42の軌跡には、携帯端末42の識別情報を表す「ID:002」の表記を付している。ただし、図1では、厳密に携帯端末4の軌跡を示すのではなく、携帯端末4を携帯する識別対象8の床面上での軌跡を表している。
 第2システム2は、インタフェース21にてカメラ5から取得した対象空間9の撮像画像に画像処理を施すことにより、対象空間9における識別対象8の移動の軌跡を表す軌跡情報と、識別対象8の識別情報との組み合わせを含む第2情報D2を生成する。すなわち、第2システム2からは、図1に示すように、識別情報ごとに、対象空間9内での識別対象8の顔領域の軌跡を示す第2情報D2が出力される。図1に示す第2情報D2においては、識別対象81の顔領域に、識別対象81の識別情報を表す「ID:001」の表記を付している。同様に、識別対象82の顔領域には、識別対象82の識別情報を表す「ID:002」の表記を付している。ただし、図1では、厳密に顔領域の軌跡を示すのではなく、識別対象8の床面上での軌跡を表している。
 第1取得部31は、上述の第1情報D1を第1システム1から取得し、出力部33に出力する。第2取得部32は、上述の第2情報D2を第2システム2から取得し、出力部33に出力する。出力部33は、これらの第1情報D1及び第2情報D2に基づいて、対象空間9内の識別対象8の識別を行い、その識別結果を出力情報として出力する。
 図1の例では、第1情報D1と第2情報D2とでは、同一の識別情報が含まれている。具体的には、第1情報D1と第2情報D2のいずれにも、携帯端末41(識別対象81)の識別情報である「001」と、携帯端末42(識別対象82)の識別情報である「002」との2つの識別情報が含まれている。したがって、出力部33は、判定部332にて、第1情報D1に基づく対象空間9内の携帯端末4の数と、第2情報D2に基づく対象空間9内の識別対象8の数とが一致すると判定するため、第1情報D1と第2情報D2との相関を表す相関係数が高くなる。さらに、出力部33は、判定部332にて、第1情報D1に含まれる識別情報と、対象空間9の撮像画像に含まれる識別対象8の画像との照合結果からも、第1情報D1と第2情報D2との相関を表す相関係数が高くなる。さらに、出力部33は、判定部332にて、第1情報D1に含まれる軌跡情報と第2情報D2に含まれる軌跡情報とについても一致すると判定する。その結果、判定部332では、第1情報D1と第2情報D2との間に相関があると判定される。判定部332の判定結果は、出力部33の出力情報に含まれる。
 また、出力部33は、推定部331にて、対象空間9における識別対象8の将来の移動経路を推定する。推定部331で推定される移動経路は、出力部33の出力情報に含まれる。
 出力部33は、このようにして得られた出力情報を、表示部6及び開閉制御部7に出力する。これにより、表示部6は、例えば、図3に示すような表示画面Im1を表示する。図3の例では、表示画面Im1は、第2情報D2に含まれる対象空間9の撮像画像をベースにして、この撮像画像に、例えば、スーパーインポーズにより、軌跡Tr1,Tr2、推定経路P1,P2、及び吹き出しB1,B2が付加された映像である。
 軌跡Tr1は、第1情報D1又は第2情報D2に含まれる軌跡情報から特定される識別対象81の軌跡である。軌跡Tr2は、第1情報D1又は第2情報D2に含まれる軌跡情報から特定される識別対象82の軌跡である。推定経路P1は、推定部331で推定された識別対象81の将来の移動経路である。推定経路P2は、推定部331で推定された識別対象82の将来の移動経路である。識別対象81に付随する吹き出しB1には、識別対象81の属性情報、例えば、識別情報を表す「ID:001」、名前を表す「NAME:AA」等の文字列が表示される。識別対象82に付随する吹き出しB2には、識別対象82の属性情報、例えば、識別情報を表す「ID:002」、名前を表す「NAME:BB」等の文字列が表示される。
 すなわち、本実施形態では、出力部33は、第1情報D1に含まれる識別情報と、対象空間9の撮像画像に含まれる識別対象8の画像とを組み合わせて出力する。これにより、表示部6では、第2情報D2に含まれる撮像画像中の識別対象8に、この識別対象8を特定する属性情報(識別情報等)が付加された状態で、出力部33の出力情報が表示されることになる。ただし、この構成に限らず、例えば、表示部6では、第1情報D1に含まれる識別情報に、この識別情報が割り当てられた識別対象8の顔領域の画像が付加された状態で、出力部33の出力情報が表示されてもよい。
 また、開閉制御部7は、出力情報として出力部33から許可信号を受けると、扉を開けるように動作する。ただし、開閉制御部7は、許可信号を受けた時点で即座に扉を開ける構成に限らず、許可信号を受けた後、更に扉を開けるという識別対象8の意思表示があって初めて、扉を開けてもよい。この場合、扉を開けるという識別対象8の意思表示については、例えば、扉の手前の床に設置された圧力センサ、メカニカルスイッチ、音声スイッチ等により、確認可能である。
 また、開閉制御部7は、推定部331で推定される移動経路を考慮して扉を開けるか否かを判断してもよい。例えば、開閉制御部7は、推定部331の推定結果から、いずれかの識別対象8が扉に向かっていると判断される場合にのみ、扉を開けてもよい。つまり、いずれの識別対象8も扉に向かっていない場合には、開閉制御部7は扉を開けない。
 一方、第1情報D1と第2情報D2との相関を表す相関係数が閾値未満である場合には、判定部332は、第1情報D1と第2情報D2との間に相関が無いと判定する。この場合、出力部33は開閉制御部7には許可信号を送信しないため、扉は閉じたままとなる。また、この場合、表示部6には、第1情報D1と第2情報D2との間に相関が無い旨を表す表示がなされる。
 例えば、識別対象82の識別情報である「002」が格納部222に登録(記憶)されていなければ、第1情報D1に含まれる携帯端末42の識別情報(002)に対応する識別情報が第2情報D2に存在しないため、第1情報D1と第2情報D2とに相関は無い。このような場合に、表示部6は、出力部33の出力情報を受けて、例えば、「ID:002の人物が未登録です」等、識別対象82が正規に登録された人物でない旨のメッセージを表示する。このとき、表示部6は、一例として、図3と同様に対象空間9の撮像画像をベースにした映像を表示し、映像中の識別対象82に付随するように上記メッセージを表示することが好ましい。
 また、別の例として、識別対象82が携帯端末42を携帯していない場合には、第1情報D1に基づく対象空間9内の携帯端末4の数と、第2情報D2に基づく対象空間9内の識別対象8の数とが一致しないため、第1情報D1と第2情報D2とに相関は無い。第1情報D1は携帯端末4の位置に関する位置情報を含むので、第1情報D1に基づけば何台の携帯端末4が対象空間9内に存在するかが特定可能である。このような場合に、表示部6は、出力部33の出力情報を受けて、例えば、「携帯端末が確認できない人が1名います」等、識別対象82が携帯端末42を携帯していない旨のメッセージを表示する。このとき、表示部6は、一例として、図3と同様に対象空間9の撮像画像をベースにした映像を表示し、映像中の識別対象82に付随するように上記メッセージを表示することが好ましい。
 また、別の例として、識別対象81が携帯端末42を携帯し、識別対象82が携帯端末41を携帯している場合には、例えば、第1情報D1に含まれる携帯端末41の軌跡情報と第2情報D2に含まれる識別対象81の軌跡情報とは一致しない。そのため、この場合、第1情報D1と第2情報D2との間に相関は無いと判定される。このような場合に、表示部6は、出力部33の出力情報を受けて、例えば、「軌跡が一致しません」等、軌跡情報が一致しない旨のメッセージを表示する。このとき、表示部6は、一例として、図3と同様に対象空間9の撮像画像をベースにした映像を表示し、映像中の識別対象81,82に付随するように上記メッセージを表示することが好ましい。
 (4)変形例
 上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、識別システム100と同様の機能は、識別方法、コンピュータプログラム、又はプログラムを記録した記録媒体等で具現化されてもよい。一態様に係る識別方法は、第1情報D1を取得し、第2情報D2を取得し、第1情報D1及び第2情報D2に基づいて出力情報を出力する処理を有する。第1情報D1は、携帯端末4に割り当てられた識別情報及び携帯端末4の位置に関する位置情報を含む情報であって、対象空間9内の識別対象8を識別するための情報である。第2情報D2は、対象空間9の撮像画像に基づく情報であって、対象空間9内の識別対象8を識別するための情報である。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、第1情報D1を取得し、第2情報D2を取得し、第1情報D1及び第2情報D2に基づいて出力情報を出力する処理、を実行させるためのプログラムである。
 以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
 本開示における識別システム100又は識別方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における識別システム100又は識別方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1乃至複数の電子回路で構成される。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
 また、実施形態1では、識別システム100は、第1システム1と、第2システム2と、統合サーバ3と、を備えているが、第1システム1及び第2システム2は、識別システム100に必須の構成ではない。すなわち、識別システム100は、第1取得部31と、第2取得部32と、出力部33と、を備えていればよく、第1システム1及び第2システム2の少なくとも一方については、識別システム100の構成要素に含まれてなくてもよい。
 また、識別システム100は、第1システム1と、第2システム2と、統合サーバ3とで実現されているが、この構成に限らず、例えば、第1システム1と、第2システム2と、統合サーバ3とのうちの1つ又は2つのシステムで実現されてもよい。例えば、第1取得部31、第2取得部32及び出力部33の機能が、第1システム1又は第2システム2に集約されていてもよく、この場合、統合サーバ3が省略可能である。勿論、識別システム100は、1つの筐体に収まる1つの装置にて実現されてもよい。
 また、第1取得部31、第2取得部32及び出力部33のうちの少なくとも1つの機能が、第1システム1、第2システム2及び統合サーバ3のうちの2つ以上のシステムに分散して設けられてもよい。また、第1取得部31、第2取得部32及び出力部33の各々の機能が、複数の装置に分散して設けられていてもよい。例えば、出力部33の機能が第1システム1及び第2システム2に分散して設けられてもよい。識別システム100の少なくとも一部の機能は、例えば、クラウド(クラウドコンピューティング)によって実現されてもよい。
 また、対象空間9が設定される施設は、オフィスビルに限らず、例えば、福祉施設、病院、テーマパーク、工場又は店舗等であってもよいし、集合住宅又は戸建住宅等であってもよい。1つの部屋に複数の対象空間9が設定されていてもよい。対象空間9は、屋内に限らず、例えば、グランド等の屋外施設における特定の空間であってもよい。
 また、識別対象8は、人に限らず、例えば、家畜等の人以外の生物であってもよいし、自動車等の物体であってもよい。
 また、携帯端末4は、ビーコン端末に限らず、例えば、スマートフォン、タブレット端末又はパーソナルコンピュータ等であってもよい。携帯端末4は、キーホルダー型、社員証型、名札型、眼鏡型、又は時計型のウェアラブル端末等のように、識別対象8が直接的に身に付ける又は鞄等の所持品に取り付ける構成であってもよい。
 また、第1システム1は、携帯端末4に割り当てられた識別情報を含む第1情報D1を生成する構成であればよく、携帯端末4から受信する無線信号の受信信号強度に基づいて、対象空間9における携帯端末4の位置を特定する構成に限らない。例えば、第1システム1は、携帯端末4に対して無線信号を送信する複数の送信機を備え、複数の送信機からの無線信号を受信した携帯端末4において、対象空間9における携帯端末4の位置が特定される構成であってもよい。この場合、携帯端末4では、送信機に割り当てられた送信機情報と、送信機から受信する無線信号の受信信号強度とに基づいて、対象空間9における携帯端末4の位置が特定可能である。他にも、第1システム1は、例えば、携帯端末4に設けられているジャイロセンサ及びGPS(Global Positioning System)等の出力を用いて、対象空間9における携帯端末4の位置を特定してもよい。この場合、携帯端末4と第1システム1(受信部11)との間の通信は、電波を媒体とする通信に方式に限らず、この場合、光通信(赤外線通信、可視光通信)等であってもよい。
 また、顔認識部221は、顔領域に含まれる識別対象8の顔を顔画像と照合する構成に限らず、例えば、顔領域から識別対象者の顔の特徴量を抽出し、この特徴量を格納部222に登録されている特徴量と比較することにより、識別対象8を特定してもよい。
 また、第1情報D1及び第2情報D2の各々が、軌跡情報を含むことは識別システム100において必須ではなく、第1情報D1及び第2情報D2の各々は、軌跡情報のいずれも含まなくてもよい。さらに、第2情報D2においては、位置情報についても含まなくてもよい。
 また、第2情報D2は、対象空間9の撮像画像に基づく情報であって、対象空間9内の識別対象8を識別するための情報であればよく、識別情報、及び識別情報以外の属性情報(識別対象8の名前、アクセス権限及びプロフィール等)を含まなくてもよい。例えば、第2情報D2は、対象空間9の撮像画像から、単に識別対象8を切り出した画像であってもよい。
 また、携帯端末4に割り当てられた識別情報は、この携帯端末4を携帯する識別対象8の識別情報と同一の情報でなくてもよい。この場合、例えば、携帯端末4の識別情報と、この携帯端末4を携帯する識別対象8の識別情報とが、一対一に対応付けられ、その対応関係が統合サーバ3等に記憶される。これにより、統合サーバ3では、携帯端末4の識別情報と識別対象8の識別情報との間で相互に変換が可能となり、第1情報D1と第2情報D2との対比等が可能となる。
 また、第1情報D1には、対象空間9内を移動する携帯端末4の加速度と移動速度との少なくとも一方に関する移動情報が含まれていてもよい。同様に、第2情報D2においても、撮像画像から算出される対象空間9内を移動する識別対象8の加速度と移動速度との少なくとも一方に関する移動情報が含まれていてもよい。この場合、出力部33は、判定部332にて、第1情報D1の移動情報と、第2情報D1の移動情報との間の相関を判定することが好ましい。これにより、第1情報D1に基づく対象空間9における携帯端末4の加速度又は移動速度と、第2情報D2に基づく対象空間9における識別対象8の加速度又は移動速度との照合結果が、出力情報に含まれることになる。その結果、例えば、携帯端末4の軌跡と識別対象8の軌跡との照合結果のみから第1情報D1と第2情報D2との相関が判定される場合に比べて、第1情報D1と第2情報D2との相関の判定精度が向上する。
 また、表示部6にて表示される表示画面Im1は、図3に示す態様に限らず、例えば、軌跡Tr1,Tr2又は推定経路P1,P2が省略されてもよい。
 (実施形態2)
 本実施形態に係る識別システム100は、出力部33が、第1情報D1と第2情報D2との相関の判定結果を出力情報に含まない点で、実施形態1に係る識別システム100と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
 本実施形態においても、実施形態1と同様に、出力部33は、第1取得部31が取得した第1情報D1と、第2取得部32が取得した第2情報D2とに基づいて、対象空間9内の識別対象8の識別を行い、その識別結果を出力情報として出力する。ただし、本実施形態では、出力部33は、第1情報D1と第2情報D2との相関を見るのではなく、第1情報D1と第2情報D2とを相互に補完するように利用して、対象空間9内の識別対象8の識別を行う。すなわち、本実施形態に係る識別システム100は、第1情報D1及び第2情報D2のいずれか一方から識別対象8が識別される場合には、その結果を出力情報として出力する。
 例えば、対象空間9が暗い状況又は識別対象8がカメラ5とは反対側を向いている状況等においては、第2システム2は、対象空間9の撮像画像から識別対象8の顔を認識できず、第2情報D2からでは、対象空間9における識別対象8を識別できない場合がある。このような場合、第1システム1にて対象空間9における識別対象8を識別できれば、出力部33は、第1情報D1に基づいて、対象空間9における識別対象8を識別することが可能である。
 別の例として、例えば、識別対象8がマスクをしている状況等においては、第2システム2は、対象空間9の撮像画像から識別対象8の顔を認識できず、第2情報D2からでは、対象空間9における識別対象8を識別できない場合がある。このような場合、第1システム1にて対象空間9における識別対象8を識別できれば、出力部33は、第1情報D1に基づいて、対象空間9における識別対象8を識別することが可能である。さらに、この場合、出力部33は、第2システム2にて撮像画像から抽出された識別対象8の顔領域の画像を、第1情報D1に含まれる識別情報と対応付けて、格納部222に顔画像として登録することが好ましい。これにより、格納部222に登録されている顔画像が自動的に追加又は更新されることになる。
 また、別の例として、識別対象8が携帯端末4を携帯していない場合には、第1情報D1からでは、対象空間9における識別対象を識別できない。このような場合、第2システム2にて対象空間9の撮像画像から識別対象8を識別できれば、出力部33は、第2情報D2に基づいて、対象空間9における識別対象8を識別することが可能である。
 要するに、実施形態1では、出力部33は、第1情報D1と第2情報D2との論理積をとって、第1情報D1と第2情報D2との相関が高い場合に、第1情報D1又は第2情報D2を用いて識別対象8の識別を行っている。これに対して、本実施形態では、出力部33は、第1情報D1と第2情報D2との論理和をとって、第1情報D1と第2情報D2とのいずれか一方でも利用可能な場合に、その情報を用いて識別対象8の識別を行う。そのため、実施形態1に係る識別システム100に比べると、本実施形態に係る識別システム100では、識別対象8の識別のための条件が緩和されることになる。
 実施形態2に係る識別システム100の構成は、実施形態1(変形例を含む)の構成と適宜組み合わせ可能である。
 (まとめ)
 以上説明したように、第1の態様に係る識別システム(100)は、第1情報(D1)を取得する第1取得部(31)と、第2情報(D2)を取得する第2取得部(32)と、出力部(33)と、を備える。第1情報(D1)は、携帯端末(4)に割り当てられた識別情報及び携帯端末(4)の位置に関する位置情報を含む情報であって、対象空間(9)内の識別対象(8)を識別するための情報である。第2情報(D2)は、対象空間(9)の撮像画像に基づく情報であって、対象空間(9)内の識別対象(8)を識別するための情報である。出力部(33)は、第1情報(D1)及び第2情報(D2)に基づく出力情報を出力する。
 この態様によれば、出力部(33)は、第1情報(D1)及び第2情報(D2)に基づいた出力情報を出力するので、例えば、識別対象(8)が携帯する携帯端末(4)のみによって識別が行われる場合に比べて、誤った識別を低減できる。しかも、携帯端末(4)を受信装置に近づける等の特殊な操作も必要ないので、利便性が低下しにくい。したがって、識別システム(100)によれば、識別対象(8)の監視等の利便性が向上した識別システムを提供できる。
 第2の態様に係る識別システム(100)は、第1の態様において、出力部(33)は、第1情報(D1)と第2情報(D2)との相関の判定結果を、出力情報に含むように構成されている。
 この態様によれば、第1情報(D1)と第2情報(D2)とのいずれか一方のみから識別対象(8)の識別を行う場合に比べて、識別対象(8)の識別精度の向上を図ることができる。
 第3の態様に係る識別システム(100)は、第1又は2の態様において、出力部(33)は、以下の照合結果を、出力情報に含むように構成されている。ここでいう照合結果は、第1情報(D1)に基づく対象空間(9)における携帯端末(4)の位置と、第2情報(D2)に基づく対象空間(9)における識別対象(8)の位置との照合結果である。
 この態様によれば、携帯端末(4)の位置及び識別対象(8)の位置の照合が行われない場合に比べて、識別対象(8)の識別精度の向上を図ることができる。
 第4の態様に係る識別システム(100)は、第3の態様において、出力部(33)は、以下の照合結果を、出力情報に含むように構成されている。ここでいう照合結果は、第1情報(D1)に基づく対象空間(9)における携帯端末(4)の位置の履歴からなる軌跡と、第2情報(D2)に基づく対象空間(9)における識別対象(8)の位置の履歴からなる軌跡との照合結果である。
 この態様によれば、携帯端末(4)の軌跡及び識別対象(8)の軌跡の照合が行われない場合に比べて、識別対象(8)の識別精度の向上を図ることができる。
 第5の態様に係る識別システム(100)は、第4の態様において、出力部(33)は、対象空間(9)における識別対象(8)の将来の移動経路を推定し、移動経路を出力情報に含むように構成されている。識別対象(8)の将来の移動経路は、第1情報(D1)に基づく対象空間(9)における携帯端末(4)の位置の履歴からなる軌跡と、第2情報(D2)に基づく対象空間(9)における識別対象(8)の位置の履歴からなる軌跡とに基づいて、推定される。
 この態様によれば、識別対象(8)の将来の移動経路の推定結果が出力情報に含まれるので、例えば、識別対象(8)が扉に向かっていると判断される場合にのみ、扉を開けること等が可能になる。
 第6の態様に係る識別システム(100)は、第1~5のいずれかの態様において、携帯端末(4)は複数ある。出力部(33)は、第1情報(D1)に基づく対象空間(9)内の携帯端末(4)の数と、第2情報(D2)に基づく対象空間(9)内の識別対象(8)の数との照合結果を、出力情報に含むように構成されている。
 この態様によれば、対象空間(9)における携帯端末(4)と識別対象(8)との数の照合が行われない場合に比べて、識別対象(8)の識別精度の向上を図ることができる。例えば、対象空間(9)に、携帯端末(4)を携帯する識別対象(8)と一緒に、携帯端末(4)を携帯していない人が存在するような場合に、いわゆる共連れを防止できる。
 第7の態様に係る識別システム(100)は、第1~6のいずれかの態様において、出力部(33)は、第1情報(D1)に含まれる識別情報と、対象空間(9)の撮像画像に含まれる識別対象(8)の画像との照合結果を、出力情報に含むように構成されている。
 この態様によれば、携帯端末(4)の識別情報と対象空間(9)の撮像画像に含まれる識別対象(8)の画像との照合が行われない場合に比べて、識別対象(8)の識別精度の向上を図ることができる。例えば、携帯端末(4)の所有者が、他人に携帯端末(4)を貸与したような場合に、出力部(33)は、正規の識別対象(8)でないことを見分けることができる。
 第8の態様に係る識別システム(100)は、第1~7のいずれかの態様において、出力部(33)は、対象空間(9)における識別対象(8)の状態を表示する表示部(6)に対して、出力情報を出力するように構成されている。
 この態様によれば、対象空間(9)における識別対象(8)の状態を視覚的に提示することができる。
 第9の態様に係る識別システム(100)は、第1~8のいずれかの態様において、出力部(33)は、対象空間(9)の出口に設けられた扉を開閉する開閉制御部(7)に対して、出力情報を出力するように構成されている。
 この態様によれば、対象空間(9)における識別対象(8)の状態に応じて、対象空間(9)の出口に設けられた扉を自動的に開閉することができる。
 第10の態様に係る識別システム(100)は、第1~9のいずれかの態様において、出力部(33)は、第1情報(D1)に含まれる識別情報と、対象空間(9)の撮像画像に含まれる識別対象(8)の画像とを組み合わせて出力するように構成されている。
 この態様によれば、例えば、対象空間(9)に、携帯端末(4)を携帯する識別対象(8)と一緒に、携帯端末(4)を携帯していない人が存在するような場合に、携帯端末(4)を携帯していない人を撮像画像上で特定できる。
 第11の態様に係る識別システム(100)は、第1~10のいずれかの態様において、携帯端末(4)と通信することで識別情報を含む信号を受信する受信部(11)を有する第1システム(1)を更に備える。第1取得部(31)は、第1システム(1)から第1情報(D1)を取得するように構成されている。
 この態様によれば、第1情報(D1)の形式等を第1システム(1)にて規定することができ、第1取得部(31)での第1情報(D1)の取得が比較的容易になる。
 第12の態様に係る識別システム(100)は、第1~11のいずれかの態様において、対象空間(9)の撮像画像に画像処理を施す第2システム(2)を更に備える。第2取得部(32)は、第2システム(2)から第2情報(D2)を取得するように構成されている。
 この態様によれば、第2情報(D2)の形式等を第2システム(2)にて規定することができ、第2取得部(32)での第2情報(D2)の取得が比較的容易になる。
 第13の態様に係る識別方法は、第1情報(D1)を取得し、第2情報(D2)を取得し、第1情報(D1)及び第2情報(D2)に基づいて出力情報を出力する処理を有する。第1情報(D1)は、携帯端末(4)に割り当てられた識別情報及び携帯端末(4)の位置に関する位置情報を含む情報であって、対象空間(9)内の識別対象を識別するための情報である。第2情報(D2)は、対象空間(9)の撮像画像に基づく情報であって、対象空間(9)内の識別対象(8)を識別するための情報である。
 この態様によれば、第1情報(D1)及び第2情報(D2)に基づいた出力情報を出力するので、例えば、識別対象(8)が携帯する携帯端末(4)のみによって識別が行われる場合に比べて、誤った識別を低減できる。しかも、携帯端末(4)を受信装置に近づける等の特殊な操作も必要ないので、利便性が低下しにくい。したがって、この識別方法によれば、識別対象(8)の監視等の利便性が向上した識別方法を提供できる。
 第14の態様に係るプログラムは、コンピュータシステムに、第1情報(D1)を取得し、第2情報(D2)を取得し、第1情報(D1)及び第2情報(D2)に基づいて出力情報を出力する処理、を実行させるためのプログラムである。第1情報(D1)は、携帯端末(4)に割り当てられた識別情報及び携帯端末(4)の位置に関する位置情報を含む情報であって、対象空間(9)内の識別対象を識別するための情報である。第2情報(D2)は、対象空間(9)の撮像画像に基づく情報であって、対象空間(9)内の識別対象(8)を識別するための情報である。
 この態様によれば、第1情報(D1)及び第2情報(D2)に基づいた出力情報を出力するので、例えば、識別対象(8)が携帯する携帯端末(4)のみによって識別が行われる場合に比べて、誤った識別を低減できる。しかも、携帯端末(4)を受信装置に近づける等の特殊な操作も必要ないので、利便性が低下しにくい。したがって、このプログラムによれば、識別対象(8)の監視等の利便性が向上したプログラムを提供できる。
 上記態様に限らず、実施形態1及び実施形態2に係る識別システム100の種々の構成(変形例を含む)は、識別方法、及び(コンピュータ)プログラムで適宜、具現化可能である。
 第2~12の態様に係る構成については、識別システム(100)に必須の構成ではなく、適宜省略可能である。
 1 第1システム
 2 第2システム
 4 携帯端末
 8 識別対象
 9 対象空間
 11 受信部
 31 第1取得部
 32 第2取得部
 33 出力部
 100 識別システム
 D1 第1情報
 D2 第2情報

Claims (14)

  1.  携帯端末に割り当てられた識別情報及び前記携帯端末の位置に関する位置情報を含む情報であって、対象空間内の識別対象を識別するための第1情報を取得する第1取得部と、
     前記対象空間の撮像画像に基づく情報であって、前記対象空間内の前記識別対象を識別するための第2情報を取得する第2取得部と、
     前記第1情報及び前記第2情報に基づく出力情報を出力する出力部と、
     を備える識別システム。
  2.  前記出力部は、前記第1情報と前記第2情報との相関の判定結果を、前記出力情報に含むように構成されている
     請求項1に記載の識別システム。
  3.  前記出力部は、前記第1情報に基づく前記対象空間における前記携帯端末の位置と、前記第2情報に基づく前記対象空間における前記識別対象の位置との照合結果を、前記出力情報に含むように構成されている
     請求項1又は2に記載の識別システム。
  4.  前記出力部は、前記第1情報に基づく前記対象空間における前記携帯端末の位置の履歴からなる軌跡と、前記第2情報に基づく前記対象空間における前記識別対象の位置の履歴からなる軌跡との照合結果を、前記出力情報に含むように構成されている
     請求項3に記載の識別システム。
  5.  前記出力部は、前記第1情報に基づく前記対象空間における前記携帯端末の位置の履歴からなる軌跡と、前記第2情報に基づく前記対象空間における前記識別対象の位置の履歴からなる軌跡とに基づいて、前記対象空間における前記識別対象の将来の移動経路を推定し、前記移動経路を前記出力情報に含むように構成されている
     請求項4に記載の識別システム。
  6.  前記携帯端末は複数あって、
     前記出力部は、前記第1情報に基づく前記対象空間内の前記携帯端末の数と、前記第2情報に基づく前記対象空間内の前記識別対象の数との照合結果を、前記出力情報に含むように構成されている
     請求項1~5のいずれか1項に記載の識別システム。
  7.  前記出力部は、前記第1情報に含まれる前記識別情報と、前記対象空間の前記撮像画像に含まれる前記識別対象の画像との照合結果を、前記出力情報に含むように構成されている
     請求項1~6のいずれか1項に記載の識別システム。
  8.  前記出力部は、前記対象空間における前記識別対象の状態を表示する表示部に対して、前記出力情報を出力するように構成されている
     請求項1~7のいずれか1項に記載の識別システム。
  9.  前記出力部は、前記対象空間の出口に設けられた扉を開閉する開閉制御部に対して、前記出力情報を出力するように構成されている
     請求項1~8のいずれか1項に記載の識別システム。
  10.  前記出力部は、前記第1情報に含まれる前記識別情報と、前記対象空間の前記撮像画像に含まれる前記識別対象の画像とを組み合わせて出力するように構成されている
     請求項1~9のいずれか1項に記載の識別システム。
  11.  前記携帯端末と通信することで識別情報を含む信号を受信する受信部を有する第1システムを更に備え、
     前記第1取得部は、前記第1システムから前記第1情報を取得するように構成されている
     請求項1~10のいずれか1項に記載の識別システム。
  12.  前記対象空間の前記撮像画像に画像処理を施す第2システムを更に備え、
     前記第2取得部は、前記第2システムから前記第2情報を取得するように構成されている
     請求項1~11のいずれか1項に記載の識別システム。
  13.  携帯端末に割り当てられた識別情報及び前記携帯端末の位置に関する位置情報を含む情報であって、対象空間内の識別対象を識別するための第1情報を取得し、
     前記対象空間の撮像画像に基づく情報であって、前記対象空間内の前記識別対象を識別するための第2情報を取得し、
     前記第1情報及び前記第2情報に基づいて出力情報を出力する処理を有する、
     識別方法。
  14.  コンピュータシステムに、
     携帯端末に割り当てられた識別情報及び前記携帯端末の位置に関する位置情報を含む情報であって、対象空間内の識別対象を識別するための第1情報を取得し、
     前記対象空間の撮像画像に基づく情報であって、前記対象空間内の前記識別対象を識別するための第2情報を取得し、
     前記第1情報及び前記第2情報に基づいて出力情報を出力する処理、
     を実行させるためのプログラム。
PCT/JP2018/015478 2017-04-21 2018-04-13 識別システム、識別方法及びプログラム WO2018193977A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017084883A JP6865386B2 (ja) 2017-04-21 2017-04-21 識別システム、識別方法及びプログラム
JP2017-084883 2017-04-21

Publications (1)

Publication Number Publication Date
WO2018193977A1 true WO2018193977A1 (ja) 2018-10-25

Family

ID=63856306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015478 WO2018193977A1 (ja) 2017-04-21 2018-04-13 識別システム、識別方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6865386B2 (ja)
WO (1) WO2018193977A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724558A (zh) * 2019-03-21 2020-09-29 杭州海康威视数字技术股份有限公司 一种监控方法、装置及入侵报警系统
CN111917967A (zh) * 2019-05-07 2020-11-10 杭州眼云智家科技有限公司 门监控系统及其控制方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7213474B2 (ja) 2019-07-19 2023-01-27 パナソニックIpマネジメント株式会社 エリア判定システム、エリア判定方法及びプログラム
JP7281740B2 (ja) * 2019-07-30 2023-05-26 パナソニックIpマネジメント株式会社 識別システム、識別方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163652A (ja) * 1994-11-30 1996-06-21 Mitsubishi Electric Corp 侵入監視システム
JP2005276021A (ja) * 2004-03-26 2005-10-06 Secom Co Ltd 入場者数計数システム及びセキュリティシステム
WO2017017882A1 (ja) * 2015-07-24 2017-02-02 パナソニックIpマネジメント株式会社 入退室管理システム
JP2017046023A (ja) * 2015-08-24 2017-03-02 三菱電機株式会社 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4030615B2 (ja) * 1996-12-03 2008-01-09 東芝ソリューション株式会社 移動体遠隔管理システムの画像位置補正装置
JP2007219948A (ja) * 2006-02-17 2007-08-30 Advanced Telecommunication Research Institute International ユーザ異常検出装置、及びユーザ異常検出方法
JP5777310B2 (ja) * 2010-09-21 2015-09-09 株式会社日立国際電気 画像セキュリティシステムおよび認証方法
JP2017010379A (ja) * 2015-06-24 2017-01-12 パナソニックIpマネジメント株式会社 入退管理装置および入退管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163652A (ja) * 1994-11-30 1996-06-21 Mitsubishi Electric Corp 侵入監視システム
JP2005276021A (ja) * 2004-03-26 2005-10-06 Secom Co Ltd 入場者数計数システム及びセキュリティシステム
WO2017017882A1 (ja) * 2015-07-24 2017-02-02 パナソニックIpマネジメント株式会社 入退室管理システム
JP2017046023A (ja) * 2015-08-24 2017-03-02 三菱電機株式会社 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724558A (zh) * 2019-03-21 2020-09-29 杭州海康威视数字技术股份有限公司 一种监控方法、装置及入侵报警系统
CN111917967A (zh) * 2019-05-07 2020-11-10 杭州眼云智家科技有限公司 门监控系统及其控制方法

Also Published As

Publication number Publication date
JP2018182705A (ja) 2018-11-15
JP6865386B2 (ja) 2021-04-28

Similar Documents

Publication Publication Date Title
WO2018193977A1 (ja) 識別システム、識別方法及びプログラム
TWI500003B (zh) 基於虛擬地標之定位及地圖繪製技術
US20210123768A1 (en) Automated mapping of sensors at a location
JP4559819B2 (ja) 不審者検出システム及び不審者検出プログラム
CN112041848A (zh) 人数统计和跟踪系统及方法
AU2019203592B2 (en) Object-tracking system
Papaioannou et al. Fusion of radio and camera sensor data for accurate indoor positioning
JPWO2007138811A1 (ja) 不審行動検知装置および方法、プログラムおよび記録媒体
Fusco et al. Indoor localization for visually impaired travelers using computer vision on a smartphone
US20160350583A1 (en) Image search system and image search method
CN110400396B (zh) 使用移动电话来进行无缝进入和意图识别的系统和方法
WO2020138348A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US10997474B2 (en) Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
US11751016B2 (en) Destination identification for frictionless building interaction
US10636264B2 (en) Office building security system using fiber sensing
EP3784986B1 (en) Systems and methods for trajectory prediction to enable seamless access using mobile devices
JP2009014646A (ja) 屋内迷子捜索システム
US20190325674A1 (en) Managing seamless access to locks with person/head detection
US11343641B2 (en) Methods for learning deployment environment specific features for seamless access
US11354962B2 (en) Method for commissioning system for door identification using location fingerprinting
JP5223126B2 (ja) 移動体検出システムおよび入場管理システム
US11468725B2 (en) Method for door open/close detection
US20240071083A1 (en) Using implicit event ground truth for video cameras
Karabey et al. Utilization of room-to-room transition time in Wi-Fi fingerprint-based indoor localization
WO2020138349A1 (ja) 情報処理装置、情報処理方法及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18787993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18787993

Country of ref document: EP

Kind code of ref document: A1