WO2022113148A1 - サーバ装置、システム、サーバ装置の制御方法及び記憶媒体 - Google Patents

サーバ装置、システム、サーバ装置の制御方法及び記憶媒体 Download PDF

Info

Publication number
WO2022113148A1
WO2022113148A1 PCT/JP2020/043534 JP2020043534W WO2022113148A1 WO 2022113148 A1 WO2022113148 A1 WO 2022113148A1 JP 2020043534 W JP2020043534 W JP 2020043534W WO 2022113148 A1 WO2022113148 A1 WO 2022113148A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
server device
person
photographed person
database
Prior art date
Application number
PCT/JP2020/043534
Other languages
English (en)
French (fr)
Inventor
祐介 高橋
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/043534 priority Critical patent/WO2022113148A1/ja
Priority to JP2022564703A priority patent/JPWO2022113148A5/ja
Publication of WO2022113148A1 publication Critical patent/WO2022113148A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Definitions

  • the present invention relates to a server device, a system, a control method of the server device, and a storage medium.
  • Patent Document 1 describes that an individual is provided with a new system that manages body temperature and detects abnormalities in biological information.
  • Patent Document 2 describes that the storage capacity required for each authentication device for biometric authentication is suppressed, and the processing speed of biometric authentication is increased without impairing the convenience of the person to be authenticated. ..
  • Patent Document 3 describes that it provides a reception management device capable of managing the entrance and exit of a visitor with high accuracy by managing image information that can identify an individual visitor.
  • Patent Documents 1 to 3 it is necessary to store the biometric information (for example, facial image) of the user in order to realize biometric authentication.
  • the certifier tends to store the biometric information for a long time from the viewpoint of system operation and the like.
  • the person to be authenticated is often concerned that his / her biometric information will be stored for a long time due to the heightened awareness of personal information protection.
  • the main object of the present invention is to provide a server device, a system, a control method for the server device, and a storage medium that contribute to utilizing biometric information while giving consideration to the personal information of the person to be authenticated.
  • the registration unit includes a receiving unit that receives image data and a registration unit that registers the biometric information of the photographed person reflected in the image data in a database.
  • a server device is provided in which the database determines the retention period for retaining the biometric information of the photographed person based on the photographed person's information.
  • the server device includes a camera device and a server device connected to the camera device, and the server device receives image data from the camera device, a receiving unit, and the image.
  • the registration unit includes a registration unit that registers the biometric information of the photographed person in the data in a database, and the registration unit holds the biometric information of the photographed person in the database based on the information of the photographed person.
  • a system is provided that determines the retention period.
  • the server device in the server device, the image data is received, the biological information of the photographed person reflected in the image data is registered in the database, and the database is based on the information of the photographed person.
  • the process of receiving image data in the computer mounted on the server device the process of registering the biometric information of the photographed person reflected in the image data in the database, and the process of being photographed.
  • a computer-readable storage medium stores a program for executing a process of determining a retention period in which the database retains biometric information of the subject based on the information of the person.
  • a server device a system, a control method of the server device, and a storage medium that contribute to utilizing biometric information while giving consideration to the personal information of the person to be authenticated are provided.
  • the effect of the present invention is not limited to the above. According to the present invention, other effects may be produced in place of or in combination with the effect.
  • the server device 100 includes a receiving unit 101 and a registration unit 102 (see FIG. 1).
  • the receiving unit 101 receives the image data.
  • the registration unit 102 registers the biometric information of the photographed person reflected in the image data in the database.
  • the registration unit 102 determines the retention period in which the database retains the biological information of the photographed person based on the information of the photographed person.
  • the server device 100 determines a period for retaining biometric information based on information about the person to be authenticated (for example, body surface temperature). In other words, the server device 100 does not store biometric information more than necessary in consideration of the purpose of use of biometric authentication and the like. That is, the server device 100 utilizes the biological information while giving consideration to the personal information of the person to be authenticated.
  • FIG. 2 is a diagram showing an example of a schematic configuration of the detection system according to the first embodiment.
  • the detection system according to the first embodiment is a system that detects (detects) a person who is in poor physical condition from among passengers. Those who are not feeling well will be guided to the examination room.
  • the detection system shown in FIG. 2 is operated by, for example, a public institution such as an immigration control bureau or a trustee entrusted with the business by the public institution.
  • a case where a passenger who is in poor physical condition is detected before getting off the aircraft and undergoing immigration will be described.
  • a case where a poor physical condition (fever) is detected among passengers entering the country from a foreign country will be described, but a poor physical condition may be detected among passengers traveling in the country. ..
  • the detection system includes a server device 10, first camera devices 20-1 to 20-3, and second camera devices 30-1 and 30-2.
  • first camera device 20 In the following description, if there is no particular reason for distinguishing the first camera devices 20-1 to 20-3, it is simply referred to as "first camera device 20". Similarly, the other configurations are represented by the symbols on the left side of the hyphen.
  • the server device 10 is a device that controls the entire detection system.
  • the server device 10 is installed in a facility in the airport.
  • the server device 10 may be a server installed in the cloud on the network.
  • the first camera device 20 is installed at the first place in the airport. More specifically, the first camera device 20 is installed on a wall or ceiling in an airport terminal near the arrival of an airplane. The first camera device 20 is installed so as to be able to photograph a passenger who has disembarked from an airplane. For example, the first camera device 20 is installed so as to be able to photograph a passenger passing through a narrow passage connecting the runway where the airplane landed and the airport terminal. With such an installation mode, the first camera device 20 basically captures one person.
  • the first camera device 20 acquires image data representing the heat distribution of the first place and image data (image data showing the distribution of light reflected on the object) obtained by photographing the first place. That is, the first camera device 20 has a function as a thermo camera and an infrared camera capable of acquiring the body surface temperature of the photographed person (passenger) and a function as a standard camera capable of acquiring normal image data. I have. That is, the first camera device 20 is a camera device capable of acquiring an infrared image and a visible light image. The infrared image is used to measure the body surface temperature of the photographed person, and the visible light image is used to acquire the facial feature amount of the photographed person.
  • the first camera device 20 acquires image data including information on the body surface temperature of the subject and image data in which the subject is captured.
  • the first camera device 20 acquires the two image data at substantially the same timing.
  • the first camera device 20 transmits the acquired two types of image data to the server device 10.
  • thermal image data image data including heat distribution (human body surface temperature)
  • normal image data normal image data
  • image data image data including heat distribution (human body surface temperature)
  • the shootable range and temperature measurable range of the first camera device 20 are set to be substantially the same. That is, the angles of view of the thermo camera and the standard camera are substantially the same. Further, the shootable range and the temperature measurable range of the first camera device 20 are set narrow. The reason why the range is narrow is that there is a trade-off between the accuracy of heat measurement and the distance between the photographed person and the camera.
  • the second camera device 30 is installed in the second place. More specifically, the second camera device 30 is installed on the wall or ceiling of the airport terminal. The second camera device 30 is installed so as to be able to photograph passengers heading for the quarantine area (not shown) or the immigration office (immigration; not shown).
  • the second camera device 30 acquires normal image data and transmits the image data to the server device 10.
  • the second camera device 30 transmits image data (normal image data) obtained by photographing the second place to the server device 10.
  • the shootable range of the second camera device 30 can be set wider than the shootable range of the first camera device 20. This is because the second camera device 30 does not acquire thermal image data.
  • the person colored in gray indicates a person who is in poor physical condition (fever).
  • Each device shown in FIG. 2 is connected to the server device 10 via a network (not shown).
  • the network is composed of a LAN (Local Area Network) including an airport premises communication network, a WAN (Wide Area Network), a mobile communication network, and the like.
  • the connection method is not limited to the wired method and may be a wireless method.
  • FIG. 2 is an example, and is not intended to limit the configuration of the detection system.
  • the detection system may include a terminal or the like (not shown).
  • digital signage that provides information to passengers may be included.
  • FIG. 2 illustrates three first camera devices 20 and two second camera devices 30, it is of course not intended to limit the number of camera devices included in the system. Is.
  • the first camera device 20 acquires thermal image data and normal image data periodically or at a predetermined timing.
  • the first camera device 20 photographs passengers getting off the plane and moving to the airport terminal.
  • the first camera device 20 transmits image data including a passenger's face image and thermal image data including information on the body surface temperature of the passenger to the server device 10.
  • the server device 10 determines a period for holding the biological information of the photographed person in the system based on the information about the photographed person photographed by the first camera device 20. In the first embodiment, it will be described that the retention period is determined based on the "body surface temperature" of the photographed person.
  • the server device 10 analyzes the thermal image data and calculates the body surface temperature of the subject (photographed person). The server device 10 determines the period for retaining the biological information of the photographed person based on the calculated body surface temperature.
  • the server device 10 determines the period for retaining the biological information based on the body surface temperature of the photographed person. More specifically, the server device 10 sets a longer period for retaining biometric information as the body surface temperature is higher.
  • the server device 10 When retaining biological information (when the body surface temperature is higher than a predetermined temperature), the server device 10 generates a feature amount from the face image.
  • the server device 10 stores the biological information (face image, feature amount) of the photographed person in the heat-generating person information database. Further, the server device 10 also stores the body surface temperature of the photographed person and the deletion time of the entry calculated from the retention period of the biological information in the heat-generating person information database.
  • the server device 10 determines whether or not the photographed person is generating heat (whether or not the photographed person is a heat-generating person) based on the body surface temperature of the photographed person by the first camera device 20. do.
  • the server device 10 stores the biological information of the fever in the fever information database.
  • the server device 10 determines a period for retaining the biological information of the heat-generating person in the heat-generating person information database based on the body surface temperature of the heat-generating person.
  • the server device 10 confirms the erasure time described in each entry of the heat-generating person information database periodically or at a predetermined timing, and deletes the entry whose erasure time has arrived.
  • the second camera device 30 acquires normal image data periodically or at a predetermined timing.
  • the second camera device 30 photographs passengers walking in the airport terminal.
  • the second camera device 30 transmits image data including a passenger's face image to the server device 10.
  • the server device 10 extracts a face image from the image data acquired from the second camera device 30.
  • the server device 10 generates a feature amount from the extracted face image.
  • the server device 10 sets the generated feature amount on the collation side and the feature amount registered in the heat generation information database on the registration side, respectively, and executes one-to-N collation (N is a positive integer, the same applies hereinafter).
  • the server device 10 does not perform any particular operation.
  • the staff in the airport inspects the fever in the server device 10 (third place).
  • a "fever detection notification" for guiding to the staff is transmitted to the terminal 40 possessed by the staff.
  • the fever detection notification includes biological information (face image) of the fever.
  • the terminal 40 displays the face image.
  • the staff searches for a fever walking in the airport terminal while referring to the face image displayed on the terminal 40. Since the fever is photographed by the second camera device 30, the staff searches for the fever near the installation position of the second camera device 30. When the fever is found, the staff guides the fever to the laboratory (have them move to the laboratory).
  • the laboratory In the laboratory, tests such as whether or not the fever is suffering from an infectious disease are performed.
  • the laboratory is an isolated room for testing a person who is in poor physical condition (fever) (for example, a test for determining whether or not he / she has an infectious disease).
  • FIG. 3 is a diagram showing an example of a processing configuration (processing module) of the server device 10 according to the first embodiment.
  • the server device 10 includes a communication control unit 201, a biometric information registration unit 202, a database management unit 203, a heat generation detection unit 204, a heat generation notification unit 205, and a storage unit 206. Be prepared.
  • the communication control unit 201 is a means for controlling communication with other devices. For example, the communication control unit 201 receives image data (packets containing image data) from the first camera device 20 and the second camera device 30. The communication control unit 201 transmits data to the terminal 40. The communication control unit 201 has a function as a receiving unit for receiving image data from the camera device (first camera device 20, the second camera device 30) and a function as a transmitting unit for transmitting information to the terminal 40.
  • the biometric information registration unit 202 is a means for registering passenger biometric information in the system.
  • the biological information registration unit 202 registers the biological information of the photographed person reflected in the image data in the fever information database. At that time, the biological information registration unit 202 determines the retention period in which the heat-generating person information database retains the biological information of the photographed person based on the information of the photographed person.
  • the biometric information registration unit 202 acquires thermal image data and image data from the first camera device 20.
  • the biological information registration unit 202 calculates the body surface temperature of the photographed person using these two image data.
  • the biological information registration unit 202 stores the biological information of the heat-generating person in the heat-generating person information database.
  • the biometric information registration unit 202 attempts to extract a face region from normal image data. If the extraction of the face region is successful, the biometric information registration unit 202 acquires the coordinate positions of the face region (for example, four sets of XY coordinates) in the normal image data.
  • the biometric information registration unit 202 may extract a face region from image data using a learning model learned by a CNN (Convolutional Neural Network).
  • the biometric information registration unit 202 may extract the face region by using a technique such as template matching.
  • the biological information registration unit 202 may detect a region corresponding to a human body from the image data and extract (estimate) a face region from the region of the body.
  • the biometric information registration unit 202 averages the temperature (body surface temperature) obtained from the pixel values of the pixels forming the region corresponding to the face region of the normal image data in the thermal image data. Calculate the value.
  • the biological information registration unit 202 calculates the average temperature value from the face region in the thermal image data.
  • the biological information registration unit 202 treats the calculated average value as the body surface temperature of the photographed person.
  • the biological information registration unit 202 executes threshold processing on the body surface temperature of the photographed person, and determines whether or not the photographed person is a fever. More specifically, the biological information registration unit 202 determines that the photographed person is a fever if the body surface temperature of the photographed person is higher than a predetermined threshold value (for example, 37.5 degrees).
  • a predetermined threshold value for example, 37.5 degrees.
  • the biological information registration unit 202 does not register the biological information of the photographed person in the system.
  • the biological information registration unit 202 registers the biological information of the photographed person in the system. At that time, the biological information registration unit 202 determines a period (retention period, storage period) for retaining the biological information of the photographed person in the system based on the body surface temperature of the photographed person. More specifically, the biological information registration unit 202 determines the retention period so that the higher the body surface temperature of the photographed person, the longer the period.
  • the biometric information registration unit 202 extracts a face image from the face area of normal image data.
  • the biological information registration unit 202 generates a feature amount (feature vector composed of a plurality of feature amounts) from the extracted face image.
  • the biometric information registration unit 202 Since the existing technique can be used for the feature quantity generation process by the biometric information registration unit 202, detailed description thereof will be omitted.
  • the biological information registration unit 202 extracts eyes, nose, mouth, and the like as feature points from the face image. After that, the biometric information registration unit 202 calculates the position of each feature point and the distance between each feature point as a feature amount, and generates a feature vector composed of a plurality of feature amounts.
  • the biological information registration unit 202 stores the erasure time calculated from the biological information (face image, feature amount) of the fever, the body surface temperature, and the retention period of the biological information in the fever information database.
  • the erasure time is calculated by adding the retention period to the current time.
  • the biological information registration unit 202 determines the retention period of biological information based on the body surface temperature of the photographed person. At that time, the biological information registration unit 202 prolongs the retention period as the body surface temperature of the photographed person increases. However, the biological information registration unit 202 registers the biological information of the photographed person in the heat-generating person information database only when the body surface temperature of the photographed person is higher than a predetermined temperature. Further, the biological information registration unit 202 calculates the erasing time for erasing the biological information of the photographed person based on the determined retention period, and associates the biological information of the photographed person with the erasing time in the heat-generating person information database. sign up.
  • FIG. 4 is a diagram showing an example of a fever information database.
  • the heat-generating person information database stores the heat-generating person ID, the entry deletion time, the biological information of the heat-generating person (face image, feature amount), the body surface temperature, and the like in association with each other.
  • the fever ID is identification information for uniquely identifying the fever, and is numbered each time an entry is added to the fever information database.
  • the database (DB; DataBase) management unit 203 is a means for managing the fever information database.
  • the database management unit 203 accesses the fever information database periodically or at a predetermined timing.
  • the database management unit 203 refers to the deletion time field of each entry and confirms whether or not there is an entry whose deletion time has arrived.
  • the database management unit 203 deletes the entry whose deletion time has arrived.
  • the fever detection unit 204 is a means for detecting a fever in the airport.
  • the heat generator detection unit 204 acquires image data from the second camera device 30.
  • the heat-generating person detection unit 204 uses the biological information of the person shown in the image data (second image data) acquired from the second camera device 30 and the biological information registered in the heat-generating person information database, and is used for the second. Detects fever located at the location (airport terminal).
  • the fever detection unit 204 attempts to extract a face image from the image data. If the face image cannot be extracted, the heat generator detection unit 204 does not perform any particular operation. In this case, the heat generator detection unit 204 discards the image data acquired from the second camera device 30.
  • the heat generator detection unit 204 When the face image can be extracted, the heat generator detection unit 204 generates a feature amount from the extracted face image.
  • the heat-generating person detection unit 204 performs a collation process using the generated feature amount and the feature amount registered in the heat-generating person information database.
  • the heat-generating person detection unit 204 sets the generated feature amount on the collating side and the feature amount registered in the heat-generating person information database on the registered side, and executes one-to-N matching.
  • the heat-generating person detection unit 204 calculates the degree of similarity between the feature amount on the collation side and each of the plurality of feature amounts on the registration side. For the similarity, a chi-square distance, an Euclidean distance, or the like can be used. The farther the distance is, the lower the similarity is, and the closer the distance is, the higher the similarity is.
  • the heat-generating person detection unit 204 says that the matching is successful if, among the plurality of feature amounts registered in the heat-generating person information database, the feature amount having a similarity between the feature amount and the matching target value is equal to or more than a predetermined value, the matching is successful. to decide.
  • the heat generator detection unit 204 does not perform any particular operation.
  • the fever detection unit 204 hands over the fever ID and the camera ID of the fever information database identified by the collation process to the fever notification unit 205.
  • the camera ID is identification information that uniquely identifies the second camera device 30. For example, the IP (Internet Protocol) address or MAC (Media Access Control) address of the second camera device 30 can be used as the camera ID.
  • the heat generation detection unit 204 When a plurality of face images are extracted from the image data acquired from the second camera device 30, the heat generation detection unit 204 performs collation processing for each face image and determines whether each of the photographed persons is a heat generation person. It suffices to judge whether.
  • the fever notification unit 205 is a means for notifying the staff in the airport of the presence of a fever.
  • the fever notification unit 205 includes the biometric information of the detected fever, and sends a fever detection notification to the terminal 40 for the staff to guide the fever to the examination room (third place).
  • the fever notification unit 205 reads out the face image corresponding to the fever ID acquired from the fever detection unit 204 from the fever information database.
  • the fever notification unit 205 identifies the place where the fever was photographed based on the camera ID acquired from the fever detection unit 204. For example, in the example of FIG. 2, if the heat-generating person is shown in the image data from the second camera device 30-1, the place where the heat-generating person is photographed is specified as in the “center of the airport terminal”.
  • the fever notification unit 205 may specify the shooting location by referring to the table information including the relationship between the camera ID and the shooting location of the fever.
  • the fever notification unit 205 transmits a fever detection notification including the read face image and information on the shooting location to the terminal 40 possessed by the staff.
  • the terminal 40 that received the notification displays as shown in FIG.
  • the staff who came in contact with the display shown in FIG. 5 searches for a fever in the vicinity of the notified fever's shooting location. The staff will guide the found fever to the examination room.
  • the storage unit 206 is a means for storing information necessary for the operation of the server device 10.
  • the terminal 40 is a mobile phone, a smartphone, or the like.
  • FIG. 6 is a flowchart showing an example of the operation of the server device 10 according to the first embodiment. With reference to FIG. 6, the operation of the server device 10 when registering the biological information of the heat-generating person in the system will be described.
  • the server device 10 acquires two image data (thermal image data, normal image data) from the first camera device 20 (step S01).
  • the server device 10 receives the thermal image data taken by the same camera device (first camera device 20) as the normal image data.
  • the server device 10 analyzes normal image data and thermal image data, and calculates the body surface temperature of the photographed person (step S02).
  • the server device 10 determines whether or not the body surface temperature is higher than a predetermined value (step S03).
  • step S03 If the body surface temperature is equal to or less than a predetermined value (step S03, No branch), the server device 10 does not perform any particular operation.
  • the server device 10 determines the retention period of the biological information of the photographed person (heated person) (step S04). At that time, the server device 10 determines the holding period based on the body surface temperature of the photographed person.
  • the server device 10 After that, the server device 10 generates a feature amount from the normal image data, and registers the information of the heat-generating person including the feature amount in the system (step S05).
  • the server device 10 stores the biological information of the fever, the erasure time, and the like in the fever information database.
  • the server device 10 (biological information registration unit 202) transfers the thermal image data representing the heat distribution of the first place and the first place from the first camera device 20 installed in the first place.
  • the first image data taken is acquired.
  • the server device 10 determines whether or not the first person passing through the first place is a fever based on the thermal image data, and generates biological information of the fever from the first image data.
  • the server device 10 registers the biological information of the fever in the fever information database. At that time, the server device 10 determines the period for retaining the biological information based on the body surface temperature of the heat generator.
  • FIG. 7 is a flowchart showing an example of the operation of the server device 10 according to the first embodiment. With reference to FIG. 7, the operation of the server device 10 when instructing the staff to guide the fever to the examination room (isolate in the examination room) will be described.
  • the server device 10 acquires normal image data from the second camera device 30 (step S11).
  • the server device 10 extracts a face image from normal image data and generates a feature amount (step S12).
  • the server device 10 determines whether or not the photographed person included in the normal image data is registered in the system (step S13).
  • the server device 10 executes a collation process using the generated feature amount and the feature amount stored in the heat-generating person information database, and determines whether or not the photographed person is registered as a heat-generating person.
  • step S13 If the person to be photographed is not a fever (step S13, No branch), the server device 10 does not perform any special processing.
  • the server device 10 transmits a fever detection notification to the terminal 40 possessed by the staff (step S14).
  • the staff who came in contact with the information of the fever displayed on the terminal 40 goes to the fever and guides the fever to the examination room.
  • the server device 10 (heat generator detection unit 204) acquires the second image data obtained by photographing the second place from the second camera device 30 installed in the second place.
  • the server device 10 detects the fever in the second place by using the biological information of the second person reflected in the second image data and the biological information registered in the fever information database.
  • the server device 10 determines the period for retaining the biometric information when registering the biometric information of the photographed person in the database. At that time, the server device 10 determines the retention period based on the information about the photographed person. More specifically, the server device 10 sets the retention period longer as the body surface temperature of the photographed person is higher. For example, in FIG. 2, when a high-temperature heat-generating person faces downward and walks in the vicinity of the second camera device 30-1, the collation of the photographed person photographed by the second camera device 30-1 fails. I have something to do. Even in such a case, since the biological information of the high-temperature heat-generating person is registered in the system, the second camera device 30-2 can capture the high-temperature heat-generating person.
  • the retention period of the biological information is set to be long so that the subject can be more reliably guided to the examination room.
  • the biological information of the photographed person who does not have a fever is not registered in the system, and the biological information of the person who has a slight fever is not retained in the system for a longer time than necessary.
  • the retention period of the biological information is determined according to the purpose of using the biological information while considering the personal information (biological information) of the photographed person.
  • FIG. 8 is a diagram showing an example of the hardware configuration of the server device 10.
  • the server device 10 can be configured by an information processing device (so-called computer), and includes the configuration illustrated in FIG.
  • the server device 10 includes a processor 311, a memory 312, an input / output interface 313, a communication interface 314, and the like.
  • the components such as the processor 311 are connected by an internal bus or the like and are configured to be able to communicate with each other.
  • the configuration shown in FIG. 8 does not mean to limit the hardware configuration of the server device 10.
  • the server device 10 may include hardware (not shown) or may not include an input / output interface 313 if necessary.
  • the number of processors 311 and the like included in the server device 10 is not limited to the example of FIG. 8, and for example, a plurality of processors 311 may be included in the server device 10.
  • the processor 311 is a programmable device such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and a DSP (Digital Signal Processor). Alternatively, the processor 311 may be a device such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). The processor 311 executes various programs including an operating system (OS).
  • OS operating system
  • the memory 312 is a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), an HDD (HardDiskDrive), an SSD (SolidStateDrive), or the like.
  • the memory 312 stores an OS program, an application program, and various data.
  • the input / output interface 313 is an interface of a display device or an input device (not shown).
  • the display device is, for example, a liquid crystal display or the like.
  • the input device is, for example, a device that accepts user operations such as a keyboard and a mouse.
  • the communication interface 314 is a circuit, module, etc. that communicates with other devices.
  • the communication interface 314 includes a NIC (Network Interface Card) and the like.
  • the function of the server device 10 is realized by various processing modules.
  • the processing module is realized, for example, by the processor 311 executing a program stored in the memory 312.
  • the program can also be recorded on a computer-readable storage medium.
  • the storage medium may be a non-transient such as a semiconductor memory, a hard disk, a magnetic recording medium, or an optical recording medium. That is, the present invention can also be embodied as a computer program product. Further, the above program can be downloaded via a network or updated by using a storage medium in which the program is stored. Further, the processing module may be realized by a semiconductor chip.
  • the server device 10 is equipped with a computer, and the function of the server device 10 can be realized by causing the computer to execute a program. Further, the server device 10 executes the control method of the server device by the program.
  • the server device 10 includes the heat generator information database
  • the heat generator information database built in the server device 10 may be built in a database server different from that of the server device 10.
  • the detection system may include various means (for example, biometric information registration unit 202, etc.) described in the above embodiment.
  • fever detection may be performed at the time of departure of the passenger.
  • heat generation detection may be performed at facilities other than airports such as ports, stations and event venues (for example, baseball fields, soccer stadiums, concert halls).
  • the poor physical condition is detected based on the body surface temperature of the photographed person, but the poor physical condition may be detected based on other indexes.
  • a facial image or a feature amount generated from a facial image is used as biological information when registering a fever in a system or biological information for detecting a fever.
  • biological information that can be used in the disclosure of the present application is limited to the facial image and the feature amount generated from the facial image.
  • biological information such as an iris image, a finger vein image, a palm print image, and a palm vein image may be used.
  • the server device 10 may delete the entry of the fever who has moved to the examination room.
  • the server device 10 receives the "heat generator guidance completion notification" from the terminal 40 possessed by the staff.
  • the server device 10 deletes the entry in the heat generator information database in response to the receipt of the notification.
  • the staff operates the terminal 40 to send a fever guidance completion notification when the fever detection notification shown in FIG. 5 is completed to guide the fever to the examination room.
  • the terminal 40 includes the face image acquired from the server device 10 in the above notification, so that the server device 10 can identify the heat-generating person (entry of the heat-generating person) whose guidance is completed.
  • the heat-generating person who gives guidance and the heat-generating person who has completed the guidance may be specified.
  • the server device 10 When the server device 10 cannot acquire a feature amount sufficient for the collation process from the face image of the image data acquired from the first camera device 20, the server device 10 stores the body shape and clothes of the photographed person as the feature of the photographed person. You may. For example, when the photographed person wears a mask, sunglasses, or the like, it is assumed that sufficient features cannot be acquired for the collation process. In such a case, the server device 10 may register the feature amount such as the body shape of the photographed person in the system. Further, in this case, the server device 10 may transmit image data showing the body shape and clothes of the photographed person to the terminal 40. The staff who comes into contact with such image data may ask the photographed person to remove the mask, sunglasses, etc. and measure the body surface temperature. That is, the staff may be provided with an opportunity to determine again whether or not the photographed person, whose feature amount could not be generated by a mask or the like, is a fever.
  • the server device 10 may prioritize and process the image data acquired from the second camera device 30. For example, the server device 10 prioritizes the processing of image data acquired from the second camera device 30 far away from the immigration office over the processing of image data acquired from the second camera device 30 near the immigration office. You may. This is because it is desirable for the staff to supplement the fever and guide (isolate) the fever to the examination room at a place far away from the immigration office.
  • the server device 10 may send a heat generation detection notification including the body surface temperature of the heat generation to the terminal 40.
  • the terminal 40 may change the displayed content according to the body surface temperature of the heat generator.
  • the terminal 40 may display a display instructing the staff to promptly isolate the fever with respect to the fever whose body surface temperature is extremely high (for example, 39 degrees or higher).
  • the terminal 40 may display the body surface temperature as shown in FIG.
  • the server device 10 transmits a heat generator detection notification to the terminal 40 possessed by the staff.
  • the fever detection notification may include a full-body image of the fever as biological information of the fever.
  • the server device 10 may register the whole body image of the heat-generating person in the heat-generating person information database in place of or in addition to the face image extracted from the image data when registering the system of the heat-generating person.
  • the server device 10 may transmit a heat-generating person detection notification including a whole-body image of the heat-generating person to the terminal 40.
  • the staff can search for the fever based on the characteristics of the clothes. Staff can easily find a fever.
  • the biological information registration unit 202 calculates the body surface temperature of the photographed person by analyzing the thermal image data and the image data.
  • the biological information registration unit 202 may acquire the body surface temperature of the photographed person by using a learning model (discriminative model) prepared in advance. More specifically, the biological information registration unit 202 may acquire the body surface temperature of the photographed person by inputting thermal image data into the learning model.
  • a learning model (estimator) that outputs the body surface temperature when thermal image data is input is prepared in advance.
  • the above learning model is obtained by preparing a large number of thermal image data with labels (body surface temperature) and learning the data as teacher data. Any algorithm such as a support vector machine, boosting or neural network can be used to generate the learning model. Since known techniques can be used for algorithms such as the support vector machine, the description thereof will be omitted.
  • the retention period of biological information is determined based on the body surface temperature of the photographed person.
  • the retention period may be determined based on other information or in consideration of other information.
  • the server device 10 may determine the retention period according to the behavior of the photographed person. For example, when the server device analyzes the behavior of the photographed person and determines that the person is a suspicious person, the server device may set a long retention period of biological information about the suspicious person. More specifically, the server device 10 does not have to register the biometric information of the suspicious person in the system and register the biometric information of the non-suspicious person in the system.
  • the techniques described in References 1 and 2 below can be used to detect a suspicious person using image data.
  • the server device 10 may set a person who goes back and forth between the same points many times as a "suspicious person candidate" having a high possibility of being a suspicious person.
  • the server device 10 may easily detect a suspicious person by holding the biological information of the suspicious person candidate for a long time.
  • Reference 1 Japanese Unexamined Patent Publication No. 2006-236255
  • Reference 2 Japanese Unexamined Patent Publication No. 2020-173848
  • the server device 10 calculates the degree of distrust (suspicion degree) of the photographed person based on the image data from the camera installed at the entrance / exit of the toilet, and determines the holding time of the biological information according to the suspicious degree. You may. For example, the server device 10 calculates the toilet stay time of each toilet user by using biometric authentication. The server device 10 sets a high degree of suspicion for a user whose stay time in the toilet is unnaturally long (a user whose stay time is longer than the threshold value). The server device 10 may determine the period for retaining the biological information of the photographed person by combining the body surface temperature of the photographed person described in the above embodiment and the suspicious degree.
  • the server device 10 may set a long retention period for a photographed person having a high degree of suspicion even if the body surface temperature is low. With such a response, the server device 10 can detect a fever who is trying to reduce fever by staying in the toilet for a long time.
  • the server device 10 may determine the retention period according to the route of the aircraft coming down from the gate.
  • the biometric information registration unit 202 of the server device 10 identifies the passage through which the photographed person passes according to the ID (ID such as an IP address) of the first camera device 20.
  • the biometric information registration unit 202 identifies an aircraft that has landed at a gate connected to the identified passage.
  • the biometric information registration unit 202 identifies the aircraft from flight schedule information held by airlines, airport companies, etc., and acquires the country of departure of the aircraft.
  • the biometric information registration unit 202 may determine the retention period of biometric information regarding the photographed person according to the country of departure. For example, the biometric information registration unit 202 sets a long retention period for immigrants from countries where infectious diseases are widespread.
  • the server device 10 may acquire the travel information of the passenger by biometric authentication based on the face image of the passenger, and specify the travel route (departure country) based on the acquired travel information.
  • the server device 10 may acquire information in which the face image and the travel information are linked from the passenger's departure airport (server installed at the departure airport).
  • the server device 10 may determine the retention period of biometric information according to the installation position of the first camera device 20.
  • the biometric information registration unit 202 may determine the retention period of biometric information according to the distance between the immigration bureau and the first camera device 20.
  • the biological information of the photographed person by the first camera device 20 installed at a position far away from the immigration bureau is retained for a long time, and the living body of the photographed person by the first camera device 20 installed at a position close to the immigration bureau. The information may be kept short.
  • the server device 10 may manage whether or not the heat generation detection notification is transmitted to the staff regarding the heat generation registered in the system by using the heat generation information database. For example, as shown in FIG. 10, the above management may be performed using the “detection status field” of the fever information database.
  • the fever notification unit 205 confirms the detection status field of the fever, and if "done" is set, the fever detection notification regarding the fever is not transmitted.
  • the heat-generating person notification unit 205 may determine whether or not to transmit the heat-generating person detection notification according to the body surface temperature of the heat-generating person and the set value of the detection status field.
  • the heat-generating person notification unit 205 may transmit a heat-generating person detection notification to the terminal 40 for a high-temperature heat-generating person regardless of the set value in the detection status field. This is because it is necessary to ensure that a person with a high temperature fever is inspected. That is, the server device 10 may transmit the heat generator notification to the terminal 40 many times for passengers (high temperature heat generators) having a high degree of danger (urgency).
  • each embodiment may be used alone or in combination. For example, it is possible to replace a part of the configuration of the embodiment with the configuration of another embodiment, or to add the configuration of another embodiment to the configuration of the embodiment. Further, it is possible to add, delete, or replace a part of the configuration of the embodiment with another configuration.
  • the present invention is suitably applicable to a detection system or the like at an airport or the like.
  • [Appendix 1] A receiver that receives image data, A registration unit that registers the biometric information of the photographed person reflected in the image data in the database, and Equipped with The registration unit is a server device that determines a retention period in which the database retains biological information of the photographed person based on the information of the photographed person.
  • [Appendix 2] The server device according to Appendix 1, wherein the registration unit determines the retention period based on the body surface temperature of the photographed person.
  • [Appendix 3] The server device according to Appendix 2, wherein the registration unit prolongs the retention period as the body surface temperature of the photographed person increases.
  • [Appendix 4] The server device according to Appendix 3, wherein the registration unit registers biological information of the photographed person in the database when the body surface temperature of the photographed person is higher than a predetermined temperature.
  • the receiving unit receives the thermal image data taken by the same camera device as the image data, and receives the thermal image data.
  • the registration unit calculates the erasing time for erasing the biological information of the photographed person based on the holding period, and registers the biological information of the photographed person and the erasing time in the database in association with each other.
  • the server device according to any one of 1 to 5.
  • Appendix 7 The server device according to Appendix 6, further comprising a database management unit that accesses the database and deletes the entry whose deletion time has arrived.
  • Appendix 8 The server device according to any one of Supplementary note 1 to 7, wherein the registration unit determines a retention period of the biometric information according to the installation position of the camera device from which the image data is acquired.
  • Appendix 9 The server device according to any one of Supplementary note 1 to 8, wherein the biometric information is a face image or a feature amount generated from the face image.
  • the registration unit Thermal image data representing the heat distribution of the first location and first image data obtained by photographing the first location are acquired from the first camera device installed at the first location, and the thermal image data is obtained. Based on the above, it is determined whether or not the first person passing through the first place is a fever, the biometric information of the fever is generated from the first image data, and the biometric information of the fever is generated. Register in the above database The second image data obtained by photographing the second place is acquired from the second camera device installed in the second place, and the biological information of the second person and the database appearing in the second image data.
  • the server device according to any one of Supplementary note 1 to 9, further comprising a detection unit, which detects the heat-generating person in the second place by using the biological information registered in the above.
  • the server device connected to the camera device and Including The server device is A receiver that receives image data from the camera device, A registration unit that registers the biometric information of the photographed person reflected in the image data in the database, and Equipped with The registration unit is a system that determines a retention period in which the database retains biological information of the photographed person based on the information of the photographed person.
  • the server device Receive image data, The biometric information of the photographed person reflected in the image data is registered in the database, and the image is registered.
  • a method for controlling a server device which determines a retention period in which the database retains biological information of the photographed person based on the information of the photographed person.
  • Appendix 13 For the computer installed in the server device, The process of receiving image data and The process of registering the biometric information of the photographed person reflected in the image data in the database, and A process of determining the retention period in which the database retains the biological information of the photographed person based on the information of the photographed person, and A computer-readable storage medium that stores programs for executing.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Collating Specific Patterns (AREA)

Abstract

被認証者の個人情報に対して配慮しつつ生体情報を活用するサーバ装置を提供する。 サーバ装置は、受信部と、登録部と、を備える。受信部は、画像データを受信する。登録部は、画像データに写る被撮影者の生体情報をデータベースに登録する。登録部は、被撮影者の情報に基づいて、データベースが被撮影者の生体情報を保持する保持期間を決定する。

Description

サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
 本発明は、サーバ装置、システム、サーバ装置の制御方法及び記憶媒体に関する。
 近年、生体情報を利用した各種サービスの普及が始まっている。例えば、空港のチェックイン手続き等に顔認証が用いられている。
 例えば、特許文献1には、個人個人に対して体温を管理して、生体情報の異常を検知する、新たなシステムを提供する、と記載されている。
 また、特許文献2には、生体認証を行う各認証装置で必要とする記憶容量を抑えるとともに、認証対象者の利便性を損なうことなく、生体認証の処理速度を速くする、と記載されている。
 さらに、特許文献3には、訪問者個人を特定し得る画像情報を管理することにより、訪問者の入退場の管理を高い精度で行い得る受付管理装置を提供する、と記載されている。
国際公開第2020/050397号 特開2010-287124号公報 特開2010-237814号公報
 上記特許文献1乃至3に開示された技術において、生体認証を実現するには、利用者の生体情報(例えば、顔画像)を記憶する必要がある。ここで、認証者は、システムの運用上の観点等から生体情報を長く記憶する傾向にある。対して、被認証者は、個人情報保護等に対する意識の高まりから自身の生体情報が長く記憶されるに懸念を示すことが多い。
 本発明は、被認証者の個人情報に対して配慮しつつ生体情報を活用することに寄与する、サーバ装置、システム、サーバ装置の制御方法及び記憶媒体を提供することを主たる目的とする。
 本発明の第1の視点によれば、画像データを受信する、受信部と、前記画像データに写る被撮影者の生体情報をデータベースに登録する、登録部と、を備え、前記登録部は、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、サーバ装置が提供される。
 本発明の第2の視点によれば、カメラ装置と、前記カメラ装置と接続されたサーバ装置と、を含み、前記サーバ装置は、前記カメラ装置から画像データを受信する、受信部と、前記画像データに写る被撮影者の生体情報をデータベースに登録する、登録部と、を備え、前記登録部は、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、システムが提供される。
 本発明の第3の視点によれば、サーバ装置において、画像データを受信し、前記画像データに写る被撮影者の生体情報をデータベースに登録し、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、サーバ装置の制御方法が提供される。
 本発明の第4の視点によれば、サーバ装置に搭載されたコンピュータに、画像データを受信する処理と、前記画像データに写る被撮影者の生体情報をデータベースに登録する処理と、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する処理と、を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体が提供される。
 本発明の各視点によれば、被認証者の個人情報に対して配慮しつつ生体情報を活用することに寄与する、サーバ装置、システム、サーバ装置の制御方法及び記憶媒体が提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第1の実施形態に係る検出システムの概略構成の一例を示す図である。 第1の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第1の実施形態に係る発熱者情報データベースの一例を示す図である。 第1の実施形態に係る発熱者通知部の動作を説明するための図である。 第1の実施形態に係るサーバ装置の動作の一例を示すフローチャートである。 第1の実施形態に係るサーバ装置の動作の一例を示すフローチャートである。 本願開示のサーバ装置のハードウェア構成の一例を示す図である。 本願開示の変形例に係る端末の動作を説明するための図である。 本願開示の変形例に係る発熱者情報データベースの一例を示す図である。
 はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
 一実施形態に係るサーバ装置100は、受信部101と、登録部102と、を備える(図1参照)。受信部101は、画像データを受信する。登録部102は、画像データに写る被撮影者の生体情報をデータベースに登録する。登録部102は、被撮影者の情報に基づいて、データベースが被撮影者の生体情報を保持する保持期間を決定する。
 サーバ装置100は、被認証者に関する情報(例えば、体表面温度)に基づいて生体情報を保持する期間を決定する。換言すれば、サーバ装置100は、生体認証の利用目的等を勘案し、必要以上に生体情報を記憶することがない。即ち、サーバ装置100は、被認証者の個人情報に対して配慮しつつ生体情報を活用する。
 以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
 第1の実施形態について、図面を用いてより詳細に説明する。
[システムの構成]
 図2は、第1の実施形態に係る検出システムの概略構成の一例を示す図である。第1の実施形態に係る検出システムは、旅客のなかから体調不良者を検出(検知)するシステムである。体調不良者は検査室に案内される。図2に示す検出システムは、例えば、入出国の管理局等の公的機関や当該公的機関から業務の委託を受けた受託者により運営される。
 第1の実施形態では、旅客が航空機を降車して入国審査を受けるまでの間に体調不良者を検出する場合について説明する。なお、第1の実施形態では、外国から国内に入国する旅客のうち体調不良者(発熱者)を検出場合について説明するが、国内で移動する旅客のなかから体調不良者が検出されてもよい。
 図2を参照すると、検出システムには、サーバ装置10と、第1のカメラ装置20-1~20-3と、第2のカメラ装置30-1及び30-2と、が含まれる。
 以降の説明において、第1のカメラ装置20-1~20-3を区別する特段の理由がない場合には単に「第1のカメラ装置20」と表記する。他の構成についても同様に、ハイフンより左側の符号により当該構成を代表して表記する。
 サーバ装置10は、検出システムの全体を制御する装置である。サーバ装置10は、空港内の施設に設置されている。あるいは、サーバ装置10はネットワーク上のクラウドに設置されたサーバであってもよい。
 第1のカメラ装置20は、空港内の第1の場所に設置される。より具体的には、第1のカメラ装置20は、飛行機が到着する付近の空港ターミナル内の壁又は天井等に設置される。第1のカメラ装置20は、飛行機から降車してきた旅客を撮影可能に設置される。例えば、第1のカメラ装置20は、飛行機が着陸した滑走路と空港ターミナルを接続する狭い通路を通過する旅客を撮影可能に設置される。このような設置態様により、第1のカメラ装置20は、基本的に1人の人物を撮影することになる。
 第1のカメラ装置20は、上記第1の場所の熱分布を表す画像データと当該第1の場所を撮影した画像データ(物体に反射した光の分布を表す画像データ)を取得する。即ち、第1のカメラ装置20は、被撮影者(旅客)の体表面温度を取得可能なサーモカメラ、赤外線カメラとしての機能と、通常の画像データを取得可能な標準カメラとしての機能と、を備えている。即ち、第1のカメラ装置20は、赤外線画像と可視光画像を取得可能なカメラ装置である。赤外線画像は被撮影者の体表面温度を測定するために用いられ、可視光画像は被撮影者の顔特徴量を取得するために用いられる。
 第1のカメラ装置20は、被写体の体表面温度に関する情報を含む画像データと、被写体が写る画像データと、を取得する。第1のカメラ装置20は、当該2枚の画像データを実質的に同じタイミングで取得する。第1のカメラ装置20は、取得した2種類の画像データをサーバ装置10に送信する。
 以降の説明では、熱分布(人の体表面温度)を含む画像データを「熱画像データ」と表記する。また、被写体が写る通常の画像データを「通常画像データ」又は単に「画像データ」と表記する。
 なお、第1のカメラ装置20の撮影可能範囲、温度測定可能範囲は実質的に同じに設定される。即ち、サーモカメラと標準カメラの画角は実質的に同一である。また、第1のカメラ装置20の撮影可能範囲、温度測定可能範囲は狭く設定される。当該範囲が狭いのは、熱の測定精度と被撮影者とカメラの間の距離はトレードオフの関係にあるからである。
 第2のカメラ装置30は、第2の場所に設置される。より具体的には、第2のカメラ装置30は、空港ターミナルの壁や天井に設置される。第2のカメラ装置30は、検疫エリヤ(図示せず)や入国審査場(入管;図示せず)に向かう旅客を撮影可能に設置される。
 第2のカメラ装置30は、通常の画像データを取得し、当該画像データをサーバ装置10に送信する。第2のカメラ装置30は、第2の場所を撮影した画像データ(通常画像データ)をサーバ装置10に送信する。
 第2のカメラ装置30の撮影可能範囲は、第1のカメラ装置20の撮影可能範囲よりも広く設定することができる。第2のカメラ装置30は、熱画像データを取得しないためである。
 図2を含む図面において灰色に着色された人物は体調不良者(発熱者)を示す。
 図2に示す各装置は、ネットワーク(図示せず)を介してサーバ装置10と接続されている。当該ネットワークは、空港の構内通信網を含むLAN(Local Area Network)、WAN(Wide Area Network)、移動体通信網等により構成されている。接続方式は、有線方式に限らず、無線方式でもよい。
 図2に示す構成は例示であって、検出システムの構成を限定する趣旨ではない。検出システムには、図示していない端末等が含まれていてもよい。例えば、旅客に情報提供を行うデジタルサイネージ等が含まれていてもよい。また、図2には、3台の第1のカメラ装置20と2台の第2のカメラ装置30を図示しているが、システムに含まれるカメラ装置の台数を限定する趣旨ではないことは勿論である。
[システムの概略動作]
 続いて、図面を参照しつつ検出システムの概略動作について説明する。
 第1のカメラ装置20は、定期的又は所定のタイミングで熱画像データ、通常画像データを取得する。第1のカメラ装置20により、飛行機から降車し空港ターミナルへ移動する旅客が撮影される。第1のカメラ装置20は、旅客の顔画像を含む画像データと当該旅客の体表面温度の情報を含む熱画像データをサーバ装置10に送信する。
 サーバ装置10は、第1のカメラ装置20が撮影した被撮影者に関する情報に基づいて、当該被撮影者の生体情報をシステムで保持する期間を決定する。第1の実施形態では、被撮影者の「体表面温度」に基づいて上記保持期間が決定されることを説明する。
 サーバ装置10は、熱画像データを解析し被写体(被撮影者)の体表面温度を算出する。サーバ装置10は、当該算出された体表面温度に基づいて被撮影者の生体情報を保持する期間を決定する。
 例えば、被撮影者の体表面温度が所定の温度(例えば、37.5度)以下の場合には、サーバ装置10は被撮影者の生体情報を保持しない(保持期間をゼロに設定する)。被撮影者の体表面温度が上記所定の温度よりも高い場合には、サーバ装置10は、被撮影者の体表面温度に基づいて生体情報を保持する期間を決定する。より具体的には、サーバ装置10は、体表面温度が高ければ高いほど生体情報を保持する期間を長く設定する。
 生体情報を保持する場合(体表面温度が所定の温度よりも高い場合)、サーバ装置10は、顔画像から特徴量を生成する。サーバ装置10は、被撮影者の生体情報(顔画像、特徴量)を発熱者情報データベースに記憶する。さらに、サーバ装置10は、被撮影者の体表面温度、生体情報の保持期間から計算したエントリの消去時刻も併せて発熱者情報データベースに記憶する。
 このように、サーバ装置10は、第1のカメラ装置20による被撮影者の体表面温度に基づいて当該被撮影者が発熱しているか否か(被撮影者が発熱者か否か)を判定する。サーバ装置10は、発熱者の生体情報を発熱者情報データベースに記憶する。その際、サーバ装置10は、発熱者の体表面温度に基づいて当該発熱者の生体情報を発熱者情報データベースに留めておく期間を決定する。
 サーバ装置10は、定期的又は予め定めたタイミングで発熱者情報データベースの各エントリに記載された消去時刻を確認し、消去時刻が到来しているエントリを削除する。
 第2のカメラ装置30は、定期的又は所定のタイミングで通常画像データを取得する。第2のカメラ装置30により、空港ターミナル内を歩く旅客が撮影される。第2のカメラ装置30は、旅客の顔画像を含む画像データをサーバ装置10に送信する。
 サーバ装置10は、第2のカメラ装置30から取得した画像データから顔画像を抽出する。サーバ装置10は、抽出した顔画像から特徴量を生成する。サーバ装置10は、生成された特徴量を照合側、発熱者情報データベースに登録された特徴量を登録側にそれぞれ設定し1対N照合(Nは正の整数、以下同じ)を実行する。
 照合に失敗すれば(第2のカメラ装置30による被撮影者が発熱者情報データベースに登録されていなければ)、サーバ装置10は特段の動作を行わない。
 照合に成功すれば(第2のカメラ装置30による被撮影者が発熱者情報データベースに登録されていれば)、サーバ装置10は、空港内のスタッフが発熱者を検査室(第3の場所)に案内するための「発熱者検出通知」をスタッフが所持する端末40に送信する。発熱者検出通知には、発熱者の生体情報(顔画像)が含まれる。端末40は、当該顔画像を表示する。
 スタッフは、端末40に表示された顔画像を参考にしつつ、空港ターミナルを歩く発熱者を探し出す。発熱者は第2のカメラ装置30により撮影されているので、スタッフは、第2のカメラ装置30の設置位置の近くで発熱者を探す。発熱者を探し出すと、スタッフは、当該発熱者を検査室に案内する(検査室へ移動してもらう)。
 検査室では、発熱者が感染症等に罹患しているか否か等の検査が行われる。検査室は、体調不良者(発熱者)の検査(例えば、感染症に罹患しているか否か判定するための検査)を行うための隔離された部屋である。
 続いて、第1の実施形態に係る検出システムに含まれる各装置の詳細について説明する。
[サーバ装置]
 図3は、第1の実施形態に係るサーバ装置10の処理構成(処理モジュール)の一例を示す図である。図3を参照すると、サーバ装置10は、通信制御部201と、生体情報登録部202と、データベース管理部203と、発熱者検出部204と、発熱者通知部205と、記憶部206と、を備える。
 通信制御部201は、他の装置との間の通信を制御する手段である。例えば、通信制御部201は、第1のカメラ装置20、第2のカメラ装置30から画像データ(画像データを含むパケット)を受信する。通信制御部201は、端末40に対してデータを送信する。通信制御部201は、カメラ装置(第1のカメラ装置20、第2のカメラ装置30)から画像データを受信する受信部としての機能と、端末40に情報送信する送信部としての機能を備える。
 生体情報登録部202は、旅客の生体情報をシステムに登録する手段である。生体情報登録部202は、画像データに写る被撮影者の生体情報を発熱者情報データベースに登録する。その際、生体情報登録部202は、被撮影者の情報に基づいて、発熱者情報データベースが被撮影者の生体情報を保持する保持期間を決定する。
 より具体的には、生体情報登録部202は、第1のカメラ装置20から熱画像データと画像データを取得する。生体情報登録部202は、これら2つの画像データを用いて被撮影者の体表面温度を算出する。生体情報登録部202は、被撮影者が発熱者(体表面温度が所定の温度以上である被撮影者)の場合には、当該発熱者の生体情報を発熱者情報データベースに記憶する。
 生体情報登録部202は、通常画像データから顔領域の抽出を試みる。顔領域の抽出に成功すると、生体情報登録部202は、通常画像データにおける顔領域の座標位置(例えば、4組のXY座標)を取得する。
 なお、生体情報登録部202による顔領域の抽出処理には、既存の技術を用いることができるので詳細な説明を省略する。例えば、生体情報登録部202は、CNN(Convolutional Neural Network)により学習された学習モデルを用いて、画像データの中から顔領域を抽出してもよい。あるいは、生体情報登録部202は、テンプレートマッチング等の手法を用いて顔領域を抽出してもよい。また、生体情報登録部202は、画像データのなかから人の体に相当する領域を検出し、当該体の領域から顔領域を抽出(推定)してもよい。
 通常画像データにおける顔領域の位置を算出すると、生体情報登録部202は、熱画像データにおける通常画像データの顔領域に対応する領域をなす画素の画素値から得られる温度(体表面温度)の平均値を計算する。生体情報登録部202は、熱画像データにおける顔領域から温度の平均値を計算する。生体情報登録部202は、当該計算された平均値を被撮影者の体表面温度として扱う。
 生体情報登録部202は、被撮影者の体表面温度に対して閾値処理を実行し、被撮影者が発熱者か否か判定する。より具体的には、生体情報登録部202は、被撮影者の体表面温度が所定の閾値(例えば、37.5度)よりも高ければ当該被撮影者は発熱者と判定する。
 被撮影者が発熱者でなければ、生体情報登録部202は、当該被撮影者の生体情報をシステムに登録しない。
 被撮影者が発熱者であれば、生体情報登録部202は、当該被撮影者の生体情報をシステムに登録する。その際、生体情報登録部202は、被撮影者の体表面温度に基づいて、当該被撮影者の生体情報をシステムに保持する期間(保持期間、記憶期間)を決定する。より具体的には、生体情報登録部202は、被撮影者の体表面温度が高ければ高いほど期間が長くなるように保持期間を決定する。
 被撮影者が発熱者の場合には、生体情報登録部202は、通常画像データの顔領域から顔画像を抽出する。生体情報登録部202は、当該抽出した顔画像から特徴量(複数の特徴量からなる特徴ベクトル)を生成する。
 なお、生体情報登録部202による特徴量の生成処理には、既存の技術を用いることができるので詳細な説明を省略する。例えば、生体情報登録部202は、顔画像から目、鼻、口等を特徴点として抽出する。その後、生体情報登録部202は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算し、複数の特徴量からなる特徴ベクトルを生成する。
 生体情報登録部202は、発熱者の生体情報(顔画像、特徴量)、体表面温度、生体情報の保持期間から計算される消去時刻を発熱者情報データベースに記憶する。なお、消去時刻は、現在時刻に保持期間を加算することで計算される。
 上記説明したように、生体情報登録部202は、被撮影者の体表面温度に基づき、生体情報の保持期間を決定する。その際、生体情報登録部202は、被撮影者の体表面温度が高くなるに従い保持期間を長くする。ただし、生体情報登録部202は、被撮影者の体表面温度が所定の温度よりも高い場合に限り、被撮影者の生体情報を発熱者情報データベースに登録する。また、生体情報登録部202は、決定した保持期間に基づき、被撮影者の生体情報を消去する消去時刻を算出すると共に、被撮影者の生体情報と消去時刻を対応付けて発熱者情報データベースに登録する。
 図4は、発熱者情報データベースの一例を示す図である。図4を参照すると、発熱者情報データベースは、発熱者ID、エントリの消去時刻、発熱者の生体情報(顔画像、特徴量)、体表面温度等を対応付けて記憶する。なお、発熱者IDは、発熱者を一意に識別するための識別情報であり、発熱者情報データベースにエントリが追加されるたびに採番される。
 データベース(DB;Data Base)管理部203は、発熱者情報データベースを管理する手段である。データベース管理部203は、定期的又は所定のタイミングで発熱者情報データベースにアクセスする。データベース管理部203は、各エントリの消去時刻フィールドを参照し、消去時刻が到来しているエントリの有無を確認する。データベース管理部203は、消去時刻が到来しているエントリを削除する。
 発熱者検出部204は、空港内の発熱者を検出する手段である。発熱者検出部204は、第2のカメラ装置30から画像データを取得する。発熱者検出部204は、第2のカメラ装置30から取得した画像データ(第2の画像データ)に写る人物の生体情報と発熱者情報データベースに登録された生体情報を使用して、第2の場所(空港ターミナル)に位置する発熱者を検出する。
 具体的には、発熱者検出部204は、画像データから顔画像の抽出を試みる。顔画像が抽出できない場合には、発熱者検出部204は、特段の動作をしない。この場合、発熱者検出部204は、第2のカメラ装置30から取得した画像データを破棄する。
 顔画像が抽出できた場合には、発熱者検出部204は、当該抽出された顔画像から特徴量を生成する。発熱者検出部204は、当該生成された特徴量と発熱者情報データベースに登録された特徴量を用いた照合処理を行う。
 発熱者検出部204は、上記生成された特徴量を照合側、発熱者情報データベースに登録された特徴量を登録側にそれぞれ設定し1対N照合を実行する。発熱者検出部204は、照合側の特徴量と登録側の複数の特徴量それぞれとの間の類似度を計算する。当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。なお、距離が離れているほど類似度は低く、距離が近いほど類似度が高い。
 発熱者検出部204は、発熱者情報データベースに登録された複数の特徴量のうち、照合対象の特徴量との間の類似度が所定の値以上の特徴量が存在すれば照合に成功したと判断する。
 照合に失敗すれば、発熱者検出部204は、特段の動作を行わない。
 照合に成功すれば、発熱者検出部204は、照合処理により特定された発熱者情報データベースの発熱者IDとカメラIDを発熱者通知部205に引き渡す。なお、カメラIDは、第2のカメラ装置30を一意に識別する識別情報である。例えば、第2のカメラ装置30のIP(Internet Protocol)アドレスやMAC(Media Access Control)アドレスをカメラIDとして用いることができる。
 第2のカメラ装置30から取得した画像データから複数の顔画像が抽出された場合には、発熱者検出部204は、各顔画像それぞれについて照合処理を行い被撮影者のそれぞれが発熱者か否かの判定を行えばよい。
 発熱者通知部205は、発熱者の存在を空港内のスタッフに通知する手段である。発熱者通知部205は、検出された発熱者の生体情報を含み、スタッフが発熱者を検査室(第3の場所)に案内するための発熱者検出通知を端末40に送信する。
 発熱者通知部205は、発熱者検出部204から取得した発熱者IDに対応する顔画像を発熱者情報データベースから読み出す。
 また、発熱者通知部205は、発熱者検出部204から取得したカメラIDに基づき、発熱者が撮影された場所を特定する。例えば、図2の例では、第2のカメラ装置30-1からの画像データに発熱者が写っていれば、「空港ターミナル中央」のように発熱者が撮影された場所が特定される。発熱者通知部205は、カメラIDと発熱者の撮影場所の関係を含むテーブル情報を参照して、上記撮影場所を特定すればよい。
 発熱者通知部205は、当該読み出した顔画像と撮影場所の情報を含む発熱者検出通知をスタッフが所持する端末40に送信する。
 当該通知を受信した端末40は、図5に示すような表示を行う。図5に示す表示に接したスタッフは、通知された発熱者の撮影場所の近辺において発熱者を探す。スタッフは、探し出した発熱者を検査室まで案内する。
 記憶部206は、サーバ装置10の動作に必要な情報を記憶する手段である。
[その他の装置]
 第1のカメラ装置20、第2のカメラ装置30及び端末40に関する処理構成等の詳細な説明を省略する。これらの装置として既存の装置を用いることができ、且つ、当業者にとって明らかなためである。例えば、端末40は、携帯電話やスマートフォン等である。
[サーバ装置の動作]
 次に、第1の実施形態に係るサーバ装置10の動作について説明する。
 図6は、第1の実施形態に係るサーバ装置10の動作の一例を示すフローチャートである。図6を参照して、発熱者の生体情報をシステム登録する際のサーバ装置10の動作を説明する。
 サーバ装置10は、第1のカメラ装置20から2枚の画像データ(熱画像データ、通常画像データ)を取得する(ステップS01)。サーバ装置10は、通常画像データと同じカメラ装置(第1のカメラ装置20)により撮影された熱画像データを受信する。
 サーバ装置10は、通常画像データ、熱画像データを解析し、被撮影者の体表面温度を算出する(ステップS02)。
 サーバ装置10は、体表面温度が所定の値よりも高いか否かを判定する(ステップS03)。
 体表面温度が所定の値以下であれば(ステップS03、No分岐)、サーバ装置10は特段の動作を行わない。
 体表面温度が所定の値よりも高ければ(ステップS03、Yes分岐)、サーバ装置10は、被撮影者(発熱者)の生体情報の保持期間を決定する(ステップS04)。その際、サーバ装置10は、被撮影者の体表面温度に基づいて保持期間を決定する。
 その後、サーバ装置10は、通常画像データから特徴量を生成し、当該特徴量を含む発熱者の情報をシステム登録する(ステップS05)。サーバ装置10は、発熱者の生体情報、消去時刻等を発熱者情報データベースに記憶する。
 このように、サーバ装置10(生体情報登録部202)は、第1の場所に設置された第1のカメラ装置20から、第1の場所の熱分布を表す熱画像データと第1の場所を撮影した第1の画像データを取得する。サーバ装置10は、熱画像データに基づいて第1の場所を通過する第1の人物が発熱者か否かを判定し、第1の画像データから発熱者の生体情報を生成する。サーバ装置10は、発熱者の生体情報を発熱者情報データベースに登録する。その際、サーバ装置10は、発熱者の体表面温度に基づいて生体情報を保持する期間を決定する。
 図7は、第1の実施形態に係るサーバ装置10の動作の一例を示すフローチャートである。図7を参照して、発熱者を検査室に案内(検査室に隔離)するようにスタッフに指示する際のサーバ装置10の動作を説明する。
 サーバ装置10は、第2のカメラ装置30から通常画像データを取得する(ステップS11)。
 サーバ装置10は、通常画像データから顔画像を抽出し、特徴量を生成する(ステップS12)。
 サーバ装置10は、通常画像データに含まれる被撮影者がシステム登録されているか否か判定する(ステップS13)。サーバ装置10は、上記生成された特徴量と発熱者情報データベースに記憶された特徴量を用いた照合処理を実行し、被撮影者が発熱者として登録されているか否か判定する。
 被撮影者が発熱者でなければ(ステップS13、No分岐)、サーバ装置10は特段の処理を行わない。
 被撮影者が発熱者であれば(ステップS13、Yes分岐)、サーバ装置10は、スタッフが所持する端末40に発熱者検出通知を送信する(ステップS14)。端末40に表示された発熱者の情報に接したスタッフは、発熱者のもとに向かい、当該発熱者を検査室に案内する。
 このように、サーバ装置10(発熱者検出部204)は、第2の場所に設置された第2のカメラ装置30から、第2の場所を撮影した第2の画像データを取得する。サーバ装置10は、第2の画像データに写る第2の人物の生体情報と発熱者情報データベースに登録された生体情報を使用して、第2の場所の発熱者を検出する。
 以上のように、第1の実施形態に係るサーバ装置10は、被撮影者の生体情報をデータベースに登録する際、生体情報を保持する期間を決定する。その際、サーバ装置10は、被撮影者に関する情報に基づいて当該保持期間を決定する。より具体的には、サーバ装置10は、被撮影者の体表面温度が高ければ高いほど保持期間を長く設定する。例えば、図2において、高温の発熱者が下を向いて第2のカメラ装置30-1の近辺を歩いていた場合、当該第2のカメラ装置30-1が撮影した被撮影者の照合に失敗することがある。このような場合であっても、当該高温の発熱者の生体情報はシステムに登録されているため、第2のカメラ装置30-2にて当該高温の発熱者を捕捉することが可能となる。即ち、体表面温度が高い被認証者に関しては、より確実に検査室に案内されるように生体情報の保持期間が長く設定される。対して、発熱していない被撮影者の生体情報はシステムに登録されず、また、微熱の発熱者の生体情報に関しては、必要以上に長くシステムにて保持されることはない。第1の実施形態では、被撮影者の個人情報(生体情報)に配慮しつつ、生体情報の利用目的に応じて生体情報の保持期間が決定される。
 続いて、検出システムを構成する各装置のハードウェアについて説明する。図8は、サーバ装置10のハードウェア構成の一例を示す図である。
 サーバ装置10は、情報処理装置(所謂、コンピュータ)により構成可能であり、図8に例示する構成を備える。例えば、サーバ装置10は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。
 但し、図8に示す構成は、サーバ装置10のハードウェア構成を限定する趣旨ではない。サーバ装置10は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、サーバ装置10に含まれるプロセッサ311等の数も図8の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がサーバ装置10に含まれていてもよい。
 プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
 メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
 入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
 通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
 サーバ装置10の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
 なお、第1のカメラ装置20、第2のカメラ装置30のハードウェア構成や端末40のハードウェア構成に関する説明は省略する。これらのハードウェア構成は当業者にとって明らかなためである。
 サーバ装置10は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることでサーバ装置10の機能が実現できる。また、サーバ装置10は、当該プログラムによりサーバ装置の制御方法を実行する。
[変形例]
 なお、上記実施形態にて説明した検出システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
 上記実施形態では、サーバ装置10が発熱者情報データベースを備える場合について説明した。しかし、サーバ装置10に構築される当該発熱者情報データベースは、サーバ装置10とは異なるデータベースサーバに構築されていてもよい。検出システムは、上記実施形態にて説明した各種手段(例えば、生体情報登録部202等)を含んでいればよい。
 上記実施形態では、旅客の入国時に発熱者検知が行われることを説明した。しかし、発熱者検知は旅客の出国時に行われてもよい。また、港、駅及びイベント会場(例えば、野球場、サッカースタジアム、コンサートホール)等の空港以外の施設で発熱者検知が行われてもよい。
 上記実施形態では、被撮影者の体表面温度に基づいて体調不良者を検出する場合について説明したが、他の指標に基づいて体調不良者が検出されてもよい。
 上記実施形態では、発熱者をシステム登録する際の生体情報や発熱者を検出するための生体情報として顔画像又は顔画像から生成された特徴量を用いる場合について説明した。しかし、本願開示で使用可能な生体情報を顔画像、当該顔画像から生成された特徴量に限定する趣旨ではない。例えば、虹彩画像、指の静脈画像、掌紋画像、手のひらの静脈画像等の生体情報が用いられてもよい。
 サーバ装置10は、検査室に移動した発熱者のエントリを削除してもよい。この場合、例えば、サーバ装置10は、スタッフが所持する端末40から「発熱者案内完了通知」を受信する。サーバ装置10は、当該通知の受信に応じて、発熱者情報データベースのエントリを削除する。例えば、スタッフは、図5に示す発熱者検出通知に従い、発熱者を検査室に案内することが完了すると、端末40を操作して発熱者案内完了通知を送信する。その際、端末40は、サーバ装置10から取得した顔画像を上記通知に含めることで、サーバ装置10は、案内の完了した発熱者(発熱者のエントリ)を特定することができる。あるいは、サーバ装置10と端末40の間で発熱者IDを送受信することで、案内をする発熱者、案内が完了した発熱者が特定されてもよい。
 サーバ装置10は、第1のカメラ装置20から取得した画像データの顔画像から照合処理に十分な特徴量を取得できない場合には、被撮影者の体形や服装を当該被撮影者の特徴として記憶してもよい。例えば、被撮影者がマスクやサングラス等を着用している場合、照合処理に十分な特徴量が取得できないことが想定される。このような場合、サーバ装置10は、被撮影者の体形等の特徴量をシステム登録してもよい。また、この場合には、サーバ装置10は、被撮影者の体形や服装が写る画像データを端末40に送信してもよい。このような画像データに接したスタッフは、被撮影者に対して、マスクやサングラス等を外し、体表面温度を測定してくれるように依頼してもよい。即ち、スタッフは、マスク等により特徴量が生成できかった被撮影者について、再び発熱者か否かの判定を行う機会を設けてもよい。
 システムに多数の第2のカメラ装置30が設置されている場合には、サーバ装置10は、当該第2のカメラ装置30から取得する画像データに優先順位をつけて処理してもよい。例えば、サーバ装置10は、入国審査場から遠く離れた第2のカメラ装置30から取得した画像データの処理を、入国審査場に近い第2のカメラ装置30から取得した画像データの処理よりも優先してもよい。入国審査場より遠く離れた場所で、スタッフが発熱者を補足し、当該発熱者を検査室に案内(隔離)することが望ましいためである。
 サーバ装置10は、発熱者の体表面温度を含む発熱者検出通知を端末40に送信してもよい。この場合、端末40は、発熱者の体表面温度に応じて、表示する内容を変更してもよい。例えば、端末40は、体表面温度が極めて高い(例えば、39度以上)発熱者に関しては、その旨とともに、当該発熱者を迅速に隔離するようにスタッフに指示する表示をしてもよい。この場合、例えば、端末40は、体表面温度を含む図9に示すような表示を行ってもよい。
 上記実施形態では、サーバ装置10は、スタッフが所持する端末40に発熱者検出通知を送信することを説明した。ここで、当該発熱者検出通知には、発熱者の生体情報として、発熱者の全身画像が含まれていてもよい。この場合、サーバ装置10は、発熱者のシステム登録の際、画像データから抽出した顔画像に替えて又は加えて、発熱者の全身画像を発熱者情報データベースに登録すればよい。サーバ装置10は、第2のカメラ装置30からの画像データから発熱者を検出した場合、当該発熱者の全身画像を含む発熱者検出通知を端末40に送信すればよい。発熱者の全身画像が端末40に映し出されることで、スタッフは、服装の特徴に基づいて発熱者を探すことができる。スタッフは、発熱者を容易に見つけ出すことができる。
 上記実施形態では、生体情報登録部202が、熱画像データ、画像データを解析することで被撮影者の体表面温度を算出することを説明した。生体情報登録部202は、予め用意された学習モデル(識別モデル)を用いて被撮影者の体表面温度を取得してもよい。より具体的には、生体情報登録部202は、学習モデルに熱画像データを入力することで被撮影者の体表面温度を取得してもよい。例えば、熱画像データが入力されると体表面温度を出力する学習モデル(推定器)を予め用意する。上記学習モデルは、ラベル(体表面温度)が付与された熱画像データを多数用意し、当該データを教師データとして学習することで得られる。当該学習モデルの生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。
 上記実施形態では、被撮影者の体表面温度に基づいて生体情報の保持期間が決定されることを説明した。ここで、当該保持期間は他の情報に基づいて、あるいは、他の情報も考慮して決定されてもよい。
 例えば、サーバ装置10は、被撮影者の行動に応じて保持期間を決定してもよい。例えば、サーバ装置は、被撮影者の行動を分析して不審者と判定された場合には、当該不審者に関する生体情報の保持期間を長く設定してもよい。より具体的には、サーバ装置10は、不審者の生体情報をシステムに登録し、非不審者の生体情報をシステムに登録しなくともよい。なお、画像データを用いた不審者の検出には、下記の参考文献1、2に記載された技術を用いることができる。なお、サーバ装置10は、同じポイントを何度も行き来するような人物を不審者の可能性が高い「不審者候補」に設定してもよい。サーバ装置10は、不審者候補の生体情報を長く保持することで、不審者の検出を行いやすくしてもよい。
<参考文献1>
特開2006-236255号公報
<参考文献2>
特開2020-173848号公報
 あるいは、サーバ装置10は、トイレの出入口に設置されたカメラからの画像データに基づき、被撮影者の不信度合い(不審度)を算出し、当該不審度に応じて生体情報の保持時間を決定してもよい。例えば、サーバ装置10は、生体認証を利用してトイレ利用者それぞれのトイレ滞在時間を算出する。サーバ装置10は、トイレ滞在時間が不自然に長い利用者(滞在時間が閾値よりも長い利用者)の不審度を高く設定する。サーバ装置10は、上記実施形態で説明した被撮影者の体表面温度と上記不審度を組み合わせて、被撮影者の生体情報を保持する期間を決定してもよい。より具体的には、サーバ装置10は、体表面温度が低くても不審度の高い被撮影者の保持期間を長く設定してもよい。このような対応により、サーバ装置10は、長い間トイレに留まることで解熱を試みている発熱者を検出することができる。
 あるいは、サーバ装置10は、ゲートから降りてくる航空機の航路に応じて、保持期間を決定してもよい。サーバ装置10の生体情報登録部202は、第1のカメラ装置20のID(IPアドレス等のID)に応じて被撮影者が通過している通路を特定する。生体情報登録部202は、当該特定された通路に接続されたゲートに着陸した航空機を特定する。生体情報登録部202は、航空会社、空港会社等が保持するフライトの予定情報等から上記航空機を特定し、当該航空機の出発国を取得する。生体情報登録部202は、当該出発国に応じて被撮影者に関する生体情報の保持期間を決定してもよい。例えば、生体情報登録部202は、感染症が蔓延している国からの入国者に関しては、保持期間を長く設定する。あるいは、サーバ装置10は、旅客の顔画像に基づく生体認証により当該旅客の渡航情報を取得し、当該取得された渡航情報に基づいて渡航経路(出発国)を特定してもよい。なお、上記旅客の渡航経路を特定するために、サーバ装置10は、旅客の出発空港(出発空港に設置されたサーバ)から顔画像と渡航情報が紐づけられた情報を取得すればよい。
 サーバ装置10は、第1のカメラ装置20の設置位置に応じて生体情報の保持期間を決定してもよい。例えば、生体情報登録部202は、入管と第1のカメラ装置20の間の距離に応じて生体情報の保持期間を決定してもよい。例えば、入管から遠く離れた位置に設置された第1のカメラ装置20による被撮影者の生体情報は長く保持され、入管に近い位置に設置された第1のカメラ装置20による被撮影者の生体情報は短く保持されてもよい。
 サーバ装置10は、システム登録された発熱者に関し、スタッフに発熱者検出通知を送信したか否かを、発熱者情報データベースを用いて管理してもよい。例えば、図10に示すように、発熱者情報データベースの「検出状況フィールド」を用いて上記管理が行われてもよい。発熱者が検出された際、発熱者通知部205は、当該発熱者の検出状況フィールドを確認し、「済」が設定されていれば、当該発熱者に関する発熱者検出通知を送信しない。あるいは、発熱者通知部205は、発熱者の体表面温度と検出状況フィールドの設定値に応じて、発熱者検出通知を送信するか否か判定してもよい。例えば、発熱者通知部205は、高温の発熱者に関しては、検出状況フィールドの設定値に関わらず発熱者検出通知を端末40に送信してもよい。高温の発熱者に関しては、確実に検査される必要があるためである。即ち、サーバ装置10は、危険度(緊急度)の高い旅客(高温の発熱者)に関しては、何度も発熱者通知を端末40に送信してもよい。
 上記説明で用いた流れ図(フローチャート、シーケンス図)では、複数の工程(処理)が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
 上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
 上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、空港等における検出システムなどに好適に適用可能である。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
 画像データを受信する、受信部と、
 前記画像データに写る被撮影者の生体情報をデータベースに登録する、登録部と、
 を備え、
 前記登録部は、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、サーバ装置。
[付記2]
 前記登録部は、前記被撮影者の体表面温度に基づき、前記保持期間を決定する、付記1に記載のサーバ装置。
[付記3]
 前記登録部は、前記被撮影者の体表面温度が高くなるに従い前記保持期間を長くする、付記2に記載のサーバ装置。
[付記4]
 前記登録部は、前記被撮影者の体表面温度が所定の温度よりも高い場合に、前記被撮影者の生体情報を前記データベースに登録する、付記3に記載のサーバ装置。
[付記5]
 前記受信部は、前記画像データと同じカメラ装置により撮影された熱画像データを受信し、
 前記登録部は、前記画像データ及び前記熱画像データを用いて前記被撮影者の体表面温度を算出する、付記2乃至4のいずれか一に記載のサーバ装置。
[付記6]
 前記登録部は、前記保持期間に基づき、前記被撮影者の生体情報を消去する消去時刻を算出すると共に、前記被撮影者の生体情報と前記消去時刻を対応付けて前記データベースに登録する、付記1乃至5のいずれか一に記載のサーバ装置。
[付記7]
 前記データベースにアクセスし、前記消去時刻が到来しているエントリを削除する、データベース管理部をさらに備える、付記6に記載のサーバ装置。
[付記8]
 前記登録部は、前記画像データを取得したカメラ装置の設置位置に応じて、前記生体情報の保持期間を決定する、付記1乃至7のいずれか一に記載のサーバ装置。
[付記9]
 前記生体情報は、顔画像又は前記顔画像から生成された特徴量である、付記1乃至8のいずれか一に記載のサーバ装置。
[付記10]
 前記登録部は、
 第1の場所に設置された第1のカメラ装置から、前記第1の場所の熱分布を表す熱画像データと前記第1の場所を撮影した第1の画像データを取得し、前記熱画像データに基づいて前記第1の場所を通過する第1の人物が発熱者か否かを判定し、前記第1の画像データから前記発熱者の生体情報を生成すると共に、前記発熱者の生体情報を前記データベースに登録し、
 第2の場所に設置された第2のカメラ装置から、前記第2の場所を撮影した第2の画像データを取得し、前記第2の画像データに写る第2の人物の生体情報と前記データベースに登録された生体情報を使用して、前記第2の場所の前記発熱者を検出する、検出部をさらに備える、付記1乃至9のいずれか一に記載のサーバ装置。
[付記11]
 カメラ装置と、
 前記カメラ装置と接続されたサーバ装置と、
 を含み、
 前記サーバ装置は、
 前記カメラ装置から画像データを受信する、受信部と、
 前記画像データに写る被撮影者の生体情報をデータベースに登録する、登録部と、
 を備え、
 前記登録部は、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、システム。
[付記12]
 サーバ装置において、
 画像データを受信し、
 前記画像データに写る被撮影者の生体情報をデータベースに登録し、
 前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、サーバ装置の制御方法。
[付記13]
 サーバ装置に搭載されたコンピュータに、
 画像データを受信する処理と、
 前記画像データに写る被撮影者の生体情報をデータベースに登録する処理と、
 前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する処理と、
 を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
 なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
10 サーバ装置
20、20-1~20-3 第1のカメラ装置
30、30-1、30-2 第2のカメラ装置
40 端末
101 受信部
102 登録部
201 通信制御部
202 生体情報登録部
203 データベース(DB)管理部
204 発熱者検出部
205 発熱者通知部
206 記憶部
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス

Claims (13)

  1.  画像データを受信する、受信部と、
     前記画像データに写る被撮影者の生体情報をデータベースに登録する、登録部と、
     を備え、
     前記登録部は、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、サーバ装置。
  2.  前記登録部は、前記被撮影者の体表面温度に基づき、前記保持期間を決定する、請求項1に記載のサーバ装置。
  3.  前記登録部は、前記被撮影者の体表面温度が高くなるに従い前記保持期間を長くする、請求項2に記載のサーバ装置。
  4.  前記登録部は、前記被撮影者の体表面温度が所定の温度よりも高い場合に、前記被撮影者の生体情報を前記データベースに登録する、請求項3に記載のサーバ装置。
  5.  前記受信部は、前記画像データと同じカメラ装置により撮影された熱画像データを受信し、
     前記登録部は、前記画像データ及び前記熱画像データを用いて前記被撮影者の体表面温度を算出する、請求項2乃至4のいずれか一項に記載のサーバ装置。
  6.  前記登録部は、前記保持期間に基づき、前記被撮影者の生体情報を消去する消去時刻を算出すると共に、前記被撮影者の生体情報と前記消去時刻を対応付けて前記データベースに登録する、請求項1乃至5のいずれか一項に記載のサーバ装置。
  7.  前記データベースにアクセスし、前記消去時刻が到来しているエントリを削除する、データベース管理部をさらに備える、請求項6に記載のサーバ装置。
  8.  前記登録部は、前記画像データを取得したカメラ装置の設置位置に応じて、前記生体情報の保持期間を決定する、請求項1乃至7のいずれか一項に記載のサーバ装置。
  9.  前記生体情報は、顔画像又は前記顔画像から生成された特徴量である、請求項1乃至8のいずれか一項に記載のサーバ装置。
  10.  前記登録部は、
     第1の場所に設置された第1のカメラ装置から、前記第1の場所の熱分布を表す熱画像データと前記第1の場所を撮影した第1の画像データを取得し、前記熱画像データに基づいて前記第1の場所を通過する第1の人物が発熱者か否かを判定し、前記第1の画像データから前記発熱者の生体情報を生成すると共に、前記発熱者の生体情報を前記データベースに登録し、
     第2の場所に設置された第2のカメラ装置から、前記第2の場所を撮影した第2の画像データを取得し、前記第2の画像データに写る第2の人物の生体情報と前記データベースに登録された生体情報を使用して、前記第2の場所の前記発熱者を検出する、検出部をさらに備える、請求項1乃至9のいずれか一項に記載のサーバ装置。
  11.  カメラ装置と、
     前記カメラ装置と接続されたサーバ装置と、
     を含み、
     前記サーバ装置は、
     前記カメラ装置から画像データを受信する、受信部と、
     前記画像データに写る被撮影者の生体情報をデータベースに登録する、登録部と、
     を備え、
     前記登録部は、前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、システム。
  12.  サーバ装置において、
     画像データを受信し、
     前記画像データに写る被撮影者の生体情報をデータベースに登録し、
     前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する、サーバ装置の制御方法。
  13.  サーバ装置に搭載されたコンピュータに、
     画像データを受信する処理と、
     前記画像データに写る被撮影者の生体情報をデータベースに登録する処理と、
     前記被撮影者の情報に基づいて、前記データベースが前記被撮影者の生体情報を保持する保持期間を決定する処理と、
     を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
PCT/JP2020/043534 2020-11-24 2020-11-24 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体 WO2022113148A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/043534 WO2022113148A1 (ja) 2020-11-24 2020-11-24 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
JP2022564703A JPWO2022113148A5 (ja) 2020-11-24 サーバ装置、システム、サーバ装置の制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/043534 WO2022113148A1 (ja) 2020-11-24 2020-11-24 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2022113148A1 true WO2022113148A1 (ja) 2022-06-02

Family

ID=81754229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043534 WO2022113148A1 (ja) 2020-11-24 2020-11-24 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2022113148A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072781A (ja) * 2005-09-07 2007-03-22 Toshiba Corp 入場管理・監視システム
JP2007086872A (ja) * 2005-09-20 2007-04-05 Konica Minolta Holdings Inc 管理システム
JP2008134937A (ja) * 2006-11-29 2008-06-12 Hitachi Ltd チケットの再発券方法およびチケット管理センタ
JP2019030628A (ja) * 2017-08-07 2019-02-28 株式会社リコー 情報提供装置、情報提供システム、情報提供方法、及びプログラム
JP2020113821A (ja) * 2019-01-08 2020-07-27 シャープ株式会社 情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072781A (ja) * 2005-09-07 2007-03-22 Toshiba Corp 入場管理・監視システム
JP2007086872A (ja) * 2005-09-20 2007-04-05 Konica Minolta Holdings Inc 管理システム
JP2008134937A (ja) * 2006-11-29 2008-06-12 Hitachi Ltd チケットの再発券方法およびチケット管理センタ
JP2019030628A (ja) * 2017-08-07 2019-02-28 株式会社リコー 情報提供装置、情報提供システム、情報提供方法、及びプログラム
JP2020113821A (ja) * 2019-01-08 2020-07-27 シャープ株式会社 情報処理装置

Also Published As

Publication number Publication date
JPWO2022113148A1 (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
US10776627B2 (en) Human flow analysis method, human flow analysis apparatus, and human flow analysis system
JP5339476B2 (ja) 画像処理システム、発熱者追跡方法、画像処理装置およびその制御方法と制御プログラム
CN110869938A (zh) 人员识别系统和方法
US20210383099A1 (en) Thermal sensing and identity authentication system and method
JP2017151832A (ja) 待ち時間算出システム
Ulleri et al. Development of contactless employee management system with mask detection and body temperature measurement using TensorFlow
JP2022081395A (ja) 情報端末、情報処理装置、情報処理方法及びプログラム
JP2017054229A (ja) 人物判別システム
KR20220056279A (ko) 인공 지능 기반 비전 감시 장치
WO2022113148A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
CN205942742U (zh) 基于步态识别的机场身份认证系统
Gohringer The application of face recognition in airports
Jeny et al. Deep learning framework for face mask detection
JP2021056869A (ja) 施設利用者管理システム
WO2022107232A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
Nguyen et al. Human face recognition and temperature measurement based on deep learning for COVID-19 quarantine checkpoint
US20230237862A1 (en) Passage permit device, system, method, and non-transitory computer readable medium storing program
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
JP2021190051A (ja) 行動体特定システム
WO2023162041A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
JP7363981B2 (ja) システム、サーバ装置、サーバ装置の制御方法及びプログラム
WO2022034668A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US20230368639A1 (en) Server device, visitor notification system, visitor notification method, and storage medium
JP7265232B2 (ja) ゲート装置、管理サーバ、出入国審査システム及び出入国審査方法
JP7004128B1 (ja) サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20963413

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022564703

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20963413

Country of ref document: EP

Kind code of ref document: A1