WO2021192317A1 - 座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021192317A1
WO2021192317A1 PCT/JP2020/014408 JP2020014408W WO2021192317A1 WO 2021192317 A1 WO2021192317 A1 WO 2021192317A1 JP 2020014408 W JP2020014408 W JP 2020014408W WO 2021192317 A1 WO2021192317 A1 WO 2021192317A1
Authority
WO
WIPO (PCT)
Prior art keywords
seat
face
candidate
vacant
vacant seat
Prior art date
Application number
PCT/JP2020/014408
Other languages
English (en)
French (fr)
Inventor
鈴木 浩司
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/014408 priority Critical patent/WO2021192317A1/ja
Publication of WO2021192317A1 publication Critical patent/WO2021192317A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/02Reservations, e.g. for tickets, services or events

Definitions

  • the present invention relates to a seat management device, a system, a method and a program, and more particularly to a seat management device, a system, a method and a program for performing electronic payment.
  • Patent Document 1 discloses a technique for reducing the trouble of searching for vacant seats in a facility having a large number of unreserved seats.
  • the information processing device acquires image data obtained by imaging vacant seats with an imaging device, and identifies vacant seats and non-vacant seats (full seats) from the acquired image data. Then, the information processing device acquires the number of people in the group to which the person in the specified non-vacant seat belongs, and uses the information on the number of people in the acquired group to obtain the number of vacant seats adjacent to the specified seat as full. Identify vacant seats for the number of people as seats that may not be vacant. Then, each specific result is notified.
  • Patent Document 1 there is a problem that a seat that is not specified as a seat that may not be vacant (“subtle”) is regarded as a vacant seat even if luggage or the like is placed. Therefore, in Patent Document 1, there is room for improvement in the method of estimating vacant seats.
  • the present disclosure has been made to solve such problems, and an object of the present disclosure is to provide a seat management device, a system, a method and a program for improving the estimation accuracy of vacant seats.
  • the seat management device is A first acquisition means for acquiring a first captured image taken by one or more visitors to a facility having a group of seats in which a seating sensor is installed in each seat.
  • An authentication control means for performing face recognition on the first photographed image by using an authentication device that stores facial feature information of a person who is permitted to enter the facility.
  • the second acquisition means for acquiring the second photographed image of the seat group and the second acquisition means.
  • the seat management device is A storage means for storing facial feature information of a person who is permitted to enter a facility having a group of seats in which a seating sensor is installed in each seat.
  • a first acquisition means for acquiring a first photographed image taken by one or more visitors to the facility, and
  • An authentication control means for performing face recognition on the first captured image using the face feature information, and
  • the second acquisition means for acquiring the second photographed image of the seat group and the second acquisition means.
  • the seat management system is An authentication device that stores facial feature information of persons who are permitted to enter a facility that has a group of seats with seating sensors installed in each seat.
  • Seat management device and With A first acquisition means for acquiring a first photographed image taken by one or more visitors to the facility, and An authentication control means for performing face authentication on the first captured image using the authentication device, and When the face recognition is successful, the second acquisition means for acquiring the second photographed image of the seat group and the second acquisition means.
  • the seat management method is The computer Acquire the first captured image taken by one or more visitors to a facility that has a group of seats with seating sensors installed in each seat. Using an authentication device that stores facial feature information of a person who is permitted to enter the facility, face authentication is performed on the first captured image. If the face recognition is successful, a second photographed image of the seat group is acquired, and the photographed image is acquired. A person's face area is detected from the second captured image, and the person's face area is detected. Sensor information indicating whether or not a person is seated is collected from the seating sensor of each seat. One or more vacant seat candidates are identified based on the detection result of the face area and each sensor information collected. The vacant seat candidate is output.
  • the seat management method is A computer equipped with a storage means for storing facial feature information of a person who is admitted to a facility having a group of seats in which a seating sensor is installed in each seat. Acquire the first captured image taken by one or more visitors to the facility, Using the face feature information, face recognition is performed on the first captured image, and the face is authenticated. If the face recognition is successful, a second photographed image of the seat group is acquired, and the photographed image is acquired. A person's face area is detected from the second captured image, and the person's face area is detected. Sensor information indicating whether or not a person is seated is collected from the seating sensor of each seat. One or more vacant seat candidates are identified based on the detection result of the face area and each sensor information collected. The vacant seat candidate is output.
  • the seat management program is A first acquisition process for acquiring a first captured image taken by one or more visitors to a facility having a group of seats in which a seating sensor is installed in each seat.
  • An authentication control process for performing face recognition on the first captured image using an authentication device that stores facial feature information of a person who is permitted to enter the facility.
  • the second acquisition process of acquiring the second captured image in which the seat group is captured and the second acquisition process.
  • the seat management program is A computer equipped with a storage means for storing facial feature information of a person who is admitted to a facility having a group of seats in which a seating sensor is installed in each seat.
  • FIG. 1 is a block diagram showing a configuration of a seat management device 1 according to the first embodiment.
  • the seat management device 1 is an information processing device that presents vacant seat candidates, which are seats that may not be reserved by others, to visitors to a facility (not shown) having so-called unreserved seats.
  • the facility shall have a group of seats in which seating sensors are installed in each seat.
  • the seating sensor of each seat detects that a person is seated or luggage or the like is placed on the seat. Then, the seating sensor outputs sensor information indicating whether or not the person is seated.
  • the facility is equipped with a photographing device for photographing the visitors and a photographing device for photographing the seat group.
  • the seat management device 1 is connected to an authentication device (not shown), each photographing device installed in the facility, and each seating sensor.
  • the seat management device 1 may have a built-in photographing device for photographing the visitors.
  • the authentication device shall store in advance the facial feature information of the person who is allowed to enter the facility. Further, the authentication device receives input of face image or face feature information from the seat management device 1, collates with the face feature information stored in advance, determines a match or a mismatch, and outputs the determination result to the seat management device 1. do.
  • the determination result is that the face authentication was successful
  • the determination result is that the face authentication was unsuccessful.
  • the seat management device 1 includes a first acquisition unit 11, an authentication control unit 12, a second acquisition unit 13, a detection unit 14, a collection unit 15, a specific unit 16, and an output unit 17.
  • the first acquisition unit 11 acquires the first captured image taken by one or more visitors to the facility.
  • the authentication control unit 12 uses an authentication device to perform face authentication on the first captured image.
  • the second acquisition unit 13 acquires the second captured image in which the seat group is captured.
  • the detection unit 14 detects a person's face region from the second captured image.
  • the collecting unit 15 collects sensor information indicating whether or not a person is seated from the seating sensor of each seat.
  • the identification unit 16 identifies one or more vacant seat candidates based on the detection result of the face region and each sensor information collected.
  • the output unit 17 outputs a vacant seat candidate.
  • FIG. 2 is a flowchart showing the flow of the seat management method according to the first embodiment.
  • the first acquisition unit 11 acquires the first captured image captured by one or more visitors to the facility (S11).
  • the authentication control unit 12 uses the authentication device to perform face authentication on the first captured image (S12). Then, the authentication control unit 12 determines whether or not the face authentication is successful (S13).
  • the second acquisition unit 13 acquires the second captured image in which the seat group is captured (S14). Then, the detection unit 14 detects the face region of the person from the second captured image (S15). In addition, the collecting unit 15 collects sensor information indicating the presence or absence of seating from the seating sensors of each seat (S16). The order of steps S14 and S15 and step S16 does not matter.
  • the identification unit 16 identifies one or more vacant seat candidates based on the detection result of the face region in step S15 and the sensor information collected in step S16 (S17). Then, the output unit 17 outputs a vacant seat candidate (S18).
  • the seat management device 1 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the seat management method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the functions of the first acquisition unit 11, the authentication control unit 12, the second acquisition unit 13, the detection unit 14, the collection unit 15, the identification unit 16, and the output unit 17.
  • each component of each device may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program. Further, as a processor, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • each component of the seat management device 1 when a part or all of each component of the seat management device 1 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged. It may be distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
  • the function of the seat management device 1 may be provided in the SaaS (Software as a Service) format.
  • the second embodiment is a modification of the first embodiment described above.
  • the seat management device 1 according to the first embodiment has an external authentication device perform face recognition.
  • the seat management device 1a according to the second embodiment performs face recognition inside the device.
  • FIG. 3 is a block diagram showing the configuration of the seat management device 1a according to the second embodiment.
  • the seat management device 1a includes a first acquisition unit 11, an authentication control unit 12a, a second acquisition unit 13, a detection unit 14, a collection unit 15, a specific unit 16, an output unit 17, and a storage unit. It is provided with 18. Since the functions of the first acquisition unit 11, the second acquisition unit 13, the detection unit 14, the collection unit 15, the specific unit 16, and the output unit 17 are the same as those in the first embodiment, the description thereof will be omitted.
  • the storage unit 18 stores the facial feature information 181.
  • the facial feature information 181 is facial feature information of a person who is permitted to enter a facility having a seat group in which a seating sensor is installed in each seat.
  • the authentication control unit 12a uses the face feature information 181 to perform face authentication on the first captured image.
  • FIG. 4 is a flowchart showing the flow of the seat management method according to the second embodiment.
  • step S12 in FIG. 2 is replaced with step S12a, and the other steps are the same as in FIG.
  • the authentication control unit 12a performs face authentication on the first captured image using the face feature information 181.
  • FIG. 5 is a block diagram showing the overall configuration of the seat management system 1000 according to the third embodiment.
  • the seat management system 1000 includes an authentication device 100, a seat management device 200, a user terminal 300, a face recognition terminal 400, a camera 500, and a management terminal 600.
  • the user terminal 300 and the management terminal 600 are not indispensable.
  • the authentication device 100, the seat management device 200, the user terminal 300, the face recognition terminal 400, the camera 500, and the management terminal 600 are each connected via the network N.
  • the network N is a wired or wireless communication line.
  • the face recognition terminal 400 and the camera 500 are installed in the facility 70.
  • the facility 70 is a building or the like provided with a seat group 700 including a plurality of seats.
  • Facility 70 is, for example, a stadium, a movie theater, a conference room, or the like, but is not limited thereto.
  • the face recognition terminal 400 is installed at the entrance of the facility 70. Alternatively, the face recognition terminal 400 may be installed at least in the aisle or the like before entering the area of the seat group 700.
  • the camera 500 has a photographing area from the front side of the seat group 700 to the periphery of the seat group 700.
  • the management terminal 600 is an information processing device operated and viewed by the facility staff U2.
  • the management terminal 600 may be a smartphone, a tablet, a PC, or the like.
  • FIG. 6 is a diagram showing an example of the seat 710 and the seating sensor 711 according to the third embodiment.
  • the seating sensor 711 is, for example, a pressure sensor, which is embedded in the seat 710. Further, the seating sensor 711 is connected to the network N. Therefore, when a person is seated in the seat 710 or an object having a weight equal to or greater than a predetermined value such as luggage is placed, the seating sensor 711 detects that the seat is seated and outputs sensor information indicating that the seat is seated. Further, the seating sensor 711 may output sensor information indicating no seating when the seat 710 cannot detect an object having a weight equal to or greater than a predetermined value.
  • the seating sensor 711 may transmit the sensor information to the seat management device 200 via the network N.
  • the seat management device 200 determines that the sensor information of the seating sensor indicates no seating when the sensor information has not been received.
  • the seating sensor 711 may return sensor information indicating whether or not the seat is seated to the seat management device 200 in response to a collection request from the seat management device 200 via the network N.
  • the seating sensor 711 may be an infrared sensor.
  • the authentication device 100 is an information processing device that stores a user ID and facial feature information in association with each other.
  • the user ID is identification information of a person who has the right to enter the facility 70.
  • the authentication device 100 collates the face image or face feature information included in the request with the face feature information of each user in response to the face recognition request received from the outside, and requests the collation result (authentication result). Reply to the original.
  • FIG. 7 is a block diagram showing the configuration of the authentication device 100 according to the third embodiment.
  • the authentication device 100 includes a face information DB (DataBase) 110, a face detection unit 120, a feature point extraction unit 130, a registration unit 140, and an authentication unit 150.
  • the face information DB 110 stores the user ID 111 and the face feature information 112 of the user ID in association with each other.
  • the face feature information 112 is a set of feature points extracted from the face image.
  • the authentication device 100 may delete the face feature information 112 in the face feature DB 110 in response to a request from the registered user of the face feature information 112. Alternatively, the authentication device 100 may be deleted after a certain period of time has elapsed from the registration of the face feature information 112.
  • the face detection unit 120 detects a face area included in the registered image for registering face information and outputs it to the feature point extraction unit 130.
  • the feature point extraction unit 130 extracts feature points from the face region detected by the face detection unit 120, and outputs face feature information to the registration unit 140.
  • the face feature information is a set of extracted feature points.
  • the feature point extraction unit 130 extracts the feature points included in the face image received from the seat management device 200, and outputs the face feature information to the authentication unit 150.
  • the registration unit 140 newly issues the user ID 111 when registering the facial feature information.
  • the registration unit 140 registers the issued user ID 111 and the face feature information 112 extracted from the registered image in the face information DB 110 in association with each other.
  • the authentication unit 150 performs face authentication using the face feature information 112. Specifically, the authentication unit 150 collates the face feature information extracted from the face image with the face feature information 112 in the face information DB 110.
  • the authentication unit 150 returns to the seat management device 200 whether or not the facial feature information matches. The presence or absence of matching of facial feature information corresponds to the success or failure of authentication.
  • FIG. 8 is a flowchart showing the flow of the face information registration process according to the third embodiment.
  • the authentication device 100 acquires the registered image included in the face information registration request (S21). For example, the authentication device 100 receives a face information registration request from a user terminal 300 or the like via a network N.
  • the face detection unit 120 detects the face region included in the registered image (S22).
  • the feature point extraction unit 130 extracts feature points from the face region detected in step S22, and outputs face feature information to the registration unit 140 (S23).
  • the registration unit 140 issues the user ID 111, associates the user ID 111 with the face feature information 112, and registers the user ID 111 in the face information DB 110 (S24).
  • the authentication device 100 may receive the face feature information 112 from the user terminal 300 or the like and register it in the face information DB 110 in association with the user ID 111.
  • FIG. 9 is a flowchart showing the flow of face recognition processing by the authentication device 100.
  • the feature point extraction unit 130 acquires a face image for authentication included in the face recognition request (S31).
  • the authentication device 100 receives a face authentication request from the seat management device 200 via the network N, and extracts face feature information from the face image included in the face authentication request as in steps S21 to S23.
  • the authentication device 100 may receive facial feature information from the seat management device 200.
  • the authentication unit 150 collates the acquired face feature information with the face feature information 112 of the face information DB 110 (S32).
  • the authentication unit 150 identifies the user ID 111 of the user whose face feature information matches (S34), and manages the seat with the user ID 111 identified as having succeeded in face recognition. Reply to the device 200 (S35).
  • the authentication unit 150 returns to the seat management device 200 that the face authentication has failed (S36).
  • step S32 the authentication unit 150 does not need to try to collate with all the face feature information 112 in the face information DB 110.
  • the authentication unit 150 may try to collate with the face feature information scheduled to enter on the day when the face authentication request is received. These can improve the collation speed.
  • the face recognition terminal 400 includes a photographing device such as a camera, a display device, and a computer as a hardware configuration.
  • FIG. 10 is a block diagram showing the configuration of the face authentication terminal 400 according to the third embodiment.
  • the face recognition terminal 400 includes a camera 410, a storage unit 420, a communication unit 430, a display unit 440, and a control unit 450.
  • the camera 410 is a photographing device that photographs the user U1 who is a visitor to the facility 70.
  • the storage unit 420 is a storage device that stores a program for realizing each function of the face recognition terminal 400.
  • the communication unit 430 is a communication interface with the network N.
  • the display unit 440 is a touch panel provided with a display device such as a display and an input unit.
  • the display unit 440 is controlled by the display control unit 452 described later, displays vacant seat candidate information, receives a vacant seat candidate selection operation from the user U1, and notifies the display control unit 452 of the selected vacant seat candidate.
  • the control unit 450 controls the hardware of the face recognition terminal 400.
  • the control unit 450 includes a shooting control unit 451 and a display control unit 452.
  • the shooting control unit 451 shoots the user U1 who controls the camera 410 to perform face authentication, and transmits the shot image to the seat management device 200 to perform face recognition.
  • the captured image is an image including at least an image of the face of the user U1.
  • the display control unit 452 receives the vacant seat candidate information from the seat management device 200 via the network N and displays it on the screen of the display unit 440. Further, when the display control unit 452 receives the selection operation of the vacant seat candidate from the user U1 to the display unit 440, the display control unit 452 transmits the identification information of the selected vacant seat candidate to the seat management device 200 via the network N.
  • the user terminal 300 is a mobile phone terminal, a smartphone, a tablet terminal, a PC (Personal Computer) on which or connected to a camera, or the like possessed by the user U1.
  • the user terminal 300 is associated with the user ID or face feature information of the user U1. That is, the user terminal 300 is a display terminal that can be specified by the user ID or face feature information in the seat management device 200 or the like.
  • the user terminal 300 is a terminal in which the user U1 has already logged in with his / her own user ID.
  • the user terminal 300 transmits the registered image used for the face authentication of the user U1 to the authentication device 100, and requests the face information registration.
  • the user terminal 300 may transmit the face feature information extracted from the registered image to the authentication device 100 to request the face information registration.
  • FIG. 11 is a block diagram showing the configuration of the user terminal 300 according to the third embodiment.
  • the user terminal 300 includes a camera 310, a storage unit 320, a communication unit 330, a display unit 340, and a control unit 350.
  • the camera 310 captures a registered image for registering face information in the authentication device 100.
  • the user U1 who has an admission ticket to the facility 70 may take a picture of himself / herself with the camera 310 of the user terminal 300 before visiting the facility 70. Further, the camera 310 may take a picture of the user U1 who is a visitor to the facility 70 instead of the camera 410.
  • the storage unit 320 is a storage device in which a program for realizing each function of the user terminal 300 is stored.
  • the communication unit 330 is a communication interface with the network N.
  • the display unit 340 is a touch panel provided with a display device such as a display and an input unit.
  • the display unit 340 is controlled by the display control unit 352 described later, displays vacant seat candidate information, receives a vacant seat candidate selection operation from the user U1, and notifies the display control unit 352 of the selected vacant seat candidate.
  • the control unit 350 controls the hardware of the user terminal 300.
  • the control unit 350 includes a shooting control unit 351, a display control unit 352, and a registration unit 353.
  • the photographing control unit 351 photographs the user U1 who controls the camera 310 and performs face registration, and outputs the image to the registration unit 353.
  • the captured image is an image including at least an image of the face of the user U1.
  • the display control unit 352 receives the vacant seat candidate information from the seat management device 200 via the network N and displays it on the screen of the display unit 340. Further, when the display control unit 352 receives the selection operation of the vacant seat candidate from the user U1 to the display unit 340, the display control unit 352 transmits the identification information of the selected vacant seat candidate to the seat management device 200 via the network N.
  • the registration unit 353 requests the authentication device 100 to register the face information. That is, the registration unit 353 transmits a face information registration request including the face image of the user U1 taken by the camera 310 to the authentication device 100 via the network N.
  • FIG. 12 is a block diagram showing the configuration of the management terminal 600 according to the third embodiment.
  • the management terminal 600 includes a storage unit 620, a communication unit 630, a display unit 640, and a control unit 650.
  • the storage unit 620 is a storage device in which a program for realizing each function of the management terminal 600 is stored.
  • the communication unit 630 is a communication interface with the network N.
  • the display unit 640 is a display device such as a display.
  • the display unit 640 is controlled by the display control unit 652, which will be described later, and displays vacant seat candidate information.
  • the control unit 650 controls the hardware of the management terminal 600.
  • the control unit 650 includes a display control unit 652.
  • the display control unit 652 receives the vacant seat candidate information from the seat management device 200 via the network N and displays it on the screen of the display unit 640.
  • the seat management system 1000 can use either the face recognition terminal 400 or the user terminal 300 as a device for displaying vacant seat candidate information. Further, the seat management system 1000 may use the management terminal 600 as a device for displaying vacant seat candidate information.
  • FIG. 13 is a block diagram showing the configuration of the seat management device 200 according to the third embodiment.
  • the seat management device 200 includes a storage unit 210, a memory 220, a communication unit 230, and a control unit 240.
  • the storage unit 210 is a storage device for a hard disk, a flash memory, or the like.
  • the storage unit 210 stores the program 211 and the seat information 212.
  • Program 211 is a computer program in which the processing of the seat management method according to the present embodiment is implemented.
  • the seat information 212 is information including the correspondence between the arrangement of each seat of the seat group 700 and the seat ID.
  • the memory 220 is a volatile storage device such as a RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 240 operates.
  • the communication unit 230 is a communication interface with the network N.
  • the control unit 240 is a processor, that is, a control device that controls each configuration of the seat management device 200.
  • the control unit 240 reads the program 211 from the storage unit 210 into the memory 220 and executes the program 211.
  • the control unit 240 realizes the functions of the acquisition unit 241, the authentication control unit 242, the detection unit 243, the collection unit 244, the specific unit 245, and the output unit 246.
  • the acquisition unit 241 is an example of the first acquisition unit 11 and the second acquisition unit 13 described above.
  • the acquisition unit 241 acquires the first captured image captured by the user U1 by the camera 410 of the face recognition terminal 400.
  • User U1 is one or more visitors to facility 70.
  • the acquisition unit 241 acquires a second photographed image in which the seat group 700 is photographed by the camera 500.
  • the authentication control unit 242 is an example of the above-mentioned authentication control unit 12.
  • the authentication control unit 242 transmits a face authentication request including the acquired first captured image to the authentication device 100 via the network N, and receives the face authentication result from the authentication device 100.
  • the authentication control unit 242 may detect the face region of the user U1 from the captured image and include the image of the face region in the face authentication request. Further, the authentication control unit 242 may extract the face feature information from the face region and include the face feature information in the face recognition request. That is, the authentication control unit 242 causes the authentication device to perform face authentication on the first captured image.
  • the detection unit 243 is an example of the detection unit 14 described above.
  • the detection unit 243 detects a person's face region from the second captured image acquired by the acquisition unit 241.
  • the collecting unit 244 is an example of the collecting unit 15 described above.
  • the collecting unit 244 collects sensor information indicating the presence or absence of seating from the seating sensors of each seat in the seat group 700 via the network N.
  • the specific unit 245 is an example of the specific unit 16 described above.
  • the identification unit 245 identifies one or more vacant seat candidates based on the detection result of the face area and each sensor information collected. In particular, the identification unit 245 specifies a seat in which the face region is not detected in the detection result and the sensor information indicates no seating as the first vacant seat candidate. Further, the identification unit 245 specifies a seat in which the face region is not detected in the detection result and the sensor information indicates that the seat is seated as a second vacant seat candidate. Further, when the user U1 accepts the selection from the output vacant seat candidates, the identification unit 245 further specifies the movement route from the current position to the selected vacant seat candidates.
  • the output unit 246 is an example of the output unit 17 described above.
  • the output unit 246 outputs a vacant seat candidate.
  • the output unit 246 distinguishes between the first vacant seat candidate and the second vacant seat candidate and outputs the second vacant seat candidate. Further, the output unit 246 outputs the specified movement route.
  • FIG. 14 is a flowchart showing the flow of the seat management process according to the third embodiment.
  • the user U1 who has the right to enter the facility 70 arrives in front of the face recognition terminal 400.
  • the camera 410 of the face recognition terminal 400 photographs the user U1 and transmits the first captured image to the seat management device 200 via the network N.
  • the acquisition unit 241 acquires the first captured image from the face recognition terminal 400 via the network N (S401).
  • the authentication control unit 242 makes a face recognition request to the authentication device 100 (S402). That is, the authentication control unit 242 transmits a face authentication request including the first captured image to the authentication device 100 via the network N. Then, the authentication control unit 242 receives the face authentication result from the authentication device 100 via the network N (S403).
  • the face authentication result includes a user ID that has succeeded in face authentication.
  • the authentication control unit 242 determines whether or not the face authentication is successful from the face authentication result (S404). Specifically, the authentication control unit 242 determines whether or not the received face authentication result includes the fact that the face authentication was successful.
  • the acquisition unit 241 acquires the second photographed image of the seat group 700 from the camera 500 via the network N (S405). Then, the detection unit 243 detects the face region of the person from the second captured image (S406). At this time, for example, the detection unit 243 identifies the seat ID associated with the position where the face area of the person is detected by using the seat information 212, and associates the information of the seat ID with the detection result with the detection result. do. Even if a human is seated in the seat, the detection unit 243 may not be able to detect the face region depending on the orientation of the face or the like. In this case, the detection result is undetected.
  • the collecting unit 244 collects sensor information indicating the presence or absence of seating from the seating sensor of each seat (S407). For example, the collection unit 244 transmits a sensor information collection request to each of the seating sensors installed in each seat of the seat group 700 via the network N. Then, the collecting unit 244 collects sensor information from each seated sensor via the network N. In collecting the sensor information, a collecting device that periodically collects the sensor information of each seating sensor and transmits it to the seat management device 200 may intervene. Further, when the sensor information is not returned from the seating sensor, the collecting unit 244 may consider the sensor information in the seat to be non-seat. It is assumed that each seating sensor is associated with the seat ID. Further, when acquiring the sensor information indicating the presence or absence of seating from the seating sensor, the sensor information of the seats whose faces could not be detected may be acquired instead of all the seats.
  • FIG. 15 is a flowchart showing the flow of the vacant seat candidate information generation process according to the third embodiment.
  • the specific unit 245 performs steps S412 to S416 for each seat of the seat group 700 (S411). Specifically, the specific unit 245 selects one unselected seat ID from the seat information 212, and executes steps S412 to S416 for the selected seat ID (target seat).
  • the specific unit 245 determines whether or not the face area is detected in the detection result of the target seat (S412). When the face region is detected (NO in S412), the specific unit 245 specifies the target seat as a seat (S416). When the face region is not detected (YES in S412), the specific unit 245 determines whether or not the sensor information of the target seat indicates no seating (S413). When the sensor information indicates no seating (YES in S413), the identification unit 245 identifies the target seat as the first vacant seat candidate (S414). On the other hand, when the sensor information indicates seating (NO in S413), the specific unit 245 specifies the target seat as a second vacant seat candidate (S415).
  • step S414, S415 or S416, the specific unit 245 determines whether or not all the seats in the seat information 212 have been selected (S417). If there is an unselected seat ID in the seat information 212, the seat ID is set as the target seat, and steps S412 to S416 are repeated.
  • the specific unit 245 When all seats are selected from the seat information 212, the specific unit 245 generates vacant seat candidate information based on the specified information (S418).
  • the vacant seat candidate information is information indicating either the first vacant seat candidate, the second vacant seat candidate, or the seating for each seat. That is, the specific unit 245 generates vacant seat candidate information so that the first vacant seat candidate, the second vacant seat candidate, and the seating can be distinguished.
  • the output unit 246 outputs (transmits) the vacant seat candidate information to the face authentication terminal 400 or the user terminal 300 via the network N (S409).
  • the output unit 246 may output the vacant seat candidate information to the management terminal 600 via the network N.
  • the facility staff U2 can grasp the second vacant seat candidate, and can directly go to the vicinity of the second vacant seat candidate and urge a person in the vicinity to move the luggage or the like.
  • the output unit 246 outputs (transmits) to the face authentication terminal 400 via the network N that the face authentication has failed (S410).
  • FIG. 16 is a diagram showing a specific example of a vacant seat candidate according to the third embodiment.
  • the seat group 700 has seats 701 to 706. It is assumed that humans are actually seated in the seats 702 and 706, luggage and the like other than humans are placed in the seats 703 and 704, and the seats 701 and 705 are vacant.
  • the vacant seat candidate information is specified as a seat. Since the face area of the seats 701 and 705 is not detected and the sensor information indicates that there is no seating, the vacant seat candidate information is specified as the first vacant seat candidate. Since the face area of the seats 703 and 704 is not detected and the sensor information indicates that the seat is seated, the vacant seat candidate information is specified as the second vacant seat candidate.
  • FIG. 17 is a diagram showing a display example of vacant seat candidate information according to the third embodiment.
  • the user U1 and the facility staff U2 can distinguish and recognize the first vacant seat candidate, the second vacant seat candidate, and the seating for each seat.
  • FIG. 18 is a flowchart showing the flow of the movement route display process according to the third embodiment.
  • the user U1 performs an operation of selecting a desired seat from the vacant seat candidate information as shown in FIG. 17 displayed on the screen of the face authentication terminal 400 or the like.
  • the face recognition terminal 400 or the like transmits the seat ID corresponding to the selected seat position to the seat management device 200 via the network N in response to the selection operation of the user U1.
  • the specific unit 245 accepts the selection of vacant seat candidates from the face recognition terminal 400 or the like via the network N (S421). Specifically, the specific unit 245 receives the selected seat ID.
  • the identification unit 245 refers to the seat information 212 and specifies the movement route from the current position to the selected vacant seat candidate (S422). Since a known technique can be used for the method of specifying the movement route, the details will be omitted. Then, the output unit 246 displays the specified movement route on the face authentication terminal 400 or the like (S423). That is, the output unit 246 transmits the information indicating the specified movement route to the face authentication terminal 400 or the like via the network N and displays it.
  • FIG. 19 is a diagram showing a display example of the movement path R according to the third embodiment.
  • the face area cannot be detected depending on the orientation of the face or the like, and there is a possibility that it is considered that the person is not seated even if he / she is seated.
  • a seating sensor if luggage or the like is placed on the seat, it may be regarded as seated even though the seat is actually vacant. Therefore, it can be said that the estimation accuracy of the vacant seat candidate is insufficient only by one of the detection result and the sensor information. Therefore, in the present embodiment, since the vacant seat candidate is identified by using both the detection result of the face region and the sensor information of the seating sensor, the estimation accuracy of the vacant seat is improved.
  • the level of the vacant seat candidate is divided according to the combination of the detection result of the face area and the sensor information of the seating sensor, it is easy for the user U1 and the facility staff U2 to recognize the difference in the probability of being vacant. ..
  • this case can be output and displayed as the second vacant seat candidate separately from the first vacant seat candidate. Therefore, when the user U1 or the facility staff U2 heads for the second vacant seat candidate, he / she can go to the seat after recognizing the possibility that the seat is not vacant.
  • the facility staff U2 can urge the person around the seat of the second vacant seat candidate to move the luggage or the like. Further, even if the user U1 is the first vacant seat candidate, it may be desirable that the second vacant seat candidate is vacant on both sides rather than surely being the seat next to someone.
  • the present embodiment is also effective in such cases.
  • Patent Document 1 described above, if all the members of the group put their luggage on the seats and then temporarily leave the seats, it is simply determined that the seats are vacant. On the other hand, in the present embodiment, in such a case, it becomes the second vacant seat candidate, and it can be easily recognized that it is different from the first vacant seat candidate.
  • the movement route from the current position to the selected seat is shown.
  • the user U1 is less likely to get lost until the desired seat is reached.
  • the fourth embodiment is another embodiment of the third embodiment described above. It is assumed that the first photographed image according to the fourth embodiment is photographed by the photographing device installed in the aisle outside the seat group in the facility 70. Then, the output unit 246 outputs the vacant seat candidate to the display device installed in the aisle.
  • FIG. 20 is a schematic view showing an example of the facility 70 according to the fourth embodiment.
  • Facility 70 is a stadium. Visitors to the facility 70 move clockwise or counterclockwise through the aisle 73, pass through any of the gates g1 to g8, and are seated.
  • a group of a plurality of seats is referred to as seat blocks B1 to B4.
  • the seats surround the competition area 72 of facility 70.
  • cameras 500a, 500b, 500c and 500d are installed in the facility 70.
  • the camera 500a can photograph the seat group of the seat block B1 from the front.
  • the camera 500b can take a picture of the seat block B2
  • the camera 500c can take a picture of the seat block B3
  • the camera 500d can take a picture of each seat group of the seat block B4 from the front.
  • the face recognition terminal 400 described above is installed at the entrance 71
  • face recognition terminals 400a, 400b, 400c and 400d are installed in the passage 73 (concourse). It is assumed that the face recognition terminals 400a to 400d are photographing devices installed in the aisle 73 outside the seat group in the facility 70, and are also display devices installed in the aisle 73. Further, the face recognition terminals 400a to 400d may be digital signage with a camera.
  • the seat management device 200 holds a user ID, a face image, or face feature information that has succeeded in face authentication for a photographed image by the face recognition terminal 400. Then, when the seat management device 200 acquires the captured image by the face recognition terminal 400a, the face feature information extracted from the face image included in the captured image and the retained (corresponding to the user ID or the face image). ) Perform face recognition by collating with face feature information. When the seat management device 200 succeeds in face recognition of the captured image by the face recognition terminal 400a, the seat management device 200 outputs vacant seat candidate information to the face recognition terminal 400a.
  • the user U1 who visited the facility 70 is permitted to enter by face authentication by the face authentication terminal 400 at the entrance 71 before entering the facility 70.
  • vacant seat candidate information may be displayed as described above.
  • the user U1 captures the first captured image by the face recognition terminal 400a after entering.
  • the seat management device 200 acquires the second captured image from the cameras 500a to 500d and detects the face region.
  • the seat management device 200 collects sensor information from the seating sensors installed in each seat of each seat block B1 to B4.
  • the seat management device 200 determines (identifies) the first or second vacant seat candidate or seating for each seat based on the detection result of the face area and the sensor information, and outputs the vacant seat candidate information to the face recognition terminal 400a. .. It is assumed that the user U1 visually recognizes the vacant seat candidate information displayed on the face recognition terminal 400a and, for example, moves clockwise in the aisle 73 in order to go to the seat of the seat block B3. Then, when the user U1 arrives in front of the face recognition terminal 400b, the face recognition terminal 400b takes a first captured image including the user U1 and transmits it to the seat management device 200. Similar to the above, the seat management device 200 identifies vacant seat candidate information and outputs it to the face recognition terminal 400b.
  • the user U1 visually recognizes the latest vacant seat candidate information displayed on the face recognition terminal 400b, and subsequently moves clockwise in the aisle 73 toward the face recognition terminal 400c in order to go to the seat of the seat block B3. Similarly, the user U1 performs face authentication on the face authentication terminal 400c, visually recognizes the latest vacant seat candidate information displayed, and heads for a desired seat in the seat block B3 from the gate g5 or g6.
  • the facility 70 when the facility 70 is large, the latest vacant seat candidate information can be confirmed on the way to the target seat after admission. Therefore, even if the originally intended seat is filled during the movement, it is easy to reselect the desired seat at that time.
  • the fifth embodiment is a modification of the third or fourth embodiment described above.
  • the seat group includes unreserved seats and reserved seats, and advertisement information is output to the visitors of the reserved seats.
  • FIG. 21 is a block diagram showing the configuration of the seat management device 200a according to the fifth embodiment.
  • the seat management device 200a has a user ID 213 and a seat type 214 added to the storage unit 210, a determination unit 247 added to the control unit 240, and an output unit 246a changed. be. Since the other configurations are the same as those in the third embodiment, duplicate description will be omitted below.
  • User ID 213 is identification information of a person who is permitted to enter the facility 70.
  • Seat type 214 is either a non-reserved seat or a reserved seat. Then, the user ID 213 and the seat type 214 are associated with each other.
  • the determination unit 247 determines the seat type 214 associated with the user ID 213 of the visitor who succeeded in face recognition.
  • the output unit 246a outputs a vacant seat candidate.
  • the output unit 246a outputs predetermined advertisement information.
  • FIG. 22 is a flowchart showing the flow of the seat management process according to the fifth embodiment. It should be noted that steps S401 to S404 and S410 are the same as those in FIG. 14 described above, and redundant description will be omitted.
  • the determination unit 247 identifies the user ID that succeeded in face authentication from the face authentication result. Then, the determination unit 247 determines whether or not the seat type 214 associated with the specified user ID is a non-reserved seat (S431). When the seat type 214 is a non-reserved seat, the above-mentioned steps S405 to S409 are executed. On the other hand, in step S431, when the seat type 214 is not a non-reserved seat, that is, it is a reserved seat, the output unit 246a outputs (transmits) predetermined advertisement information to the face authentication terminal 400 or the user terminal 300 via the network N. (S432). As a result, it is possible to present an advertisement narrowed down to the visitors of reserved seats whose seats are fixed, and it is possible to enhance the advertising effect.
  • the sixth embodiment is a modification of the third to fifth embodiments described above.
  • the sixth embodiment presents an adjacent vacant seat candidate group to a group of a plurality of visitors.
  • the seat management device according to the sixth embodiment is a modification of the specific unit 245 and the output unit 246 of the seat management device 200 of FIG. 13 described above. Therefore, the configuration diagram of the seat management device according to the sixth embodiment is omitted, and the difference from FIG. 13 will be described below.
  • the specific unit 245 according to the sixth embodiment receives the input of the number of people from the visitors, it identifies the vacant seat candidate group adjacent to each other from the vacant seat candidates. Then, the output unit 246 outputs the specified vacant seat candidate group. Further, when a plurality of vacant seat candidate groups are specified, the specific unit 245 according to the sixth embodiment gives priority to each vacant seat candidate group according to the ratio of the first vacant seat candidate and the second vacant seat candidate. Then, the output unit 246 outputs a plurality of vacant seat candidate groups according to the priority.
  • FIG. 23 is a flowchart showing the flow of the seat management process according to the sixth embodiment. It should be noted that steps S401 to S404 and S410 are the same as those in FIG. 14 described above, and redundant description will be omitted.
  • step S404 the specific unit 245 accepts the input of the number of people from the visitors (S441). For example, when the face authentication is successful, the specific unit 245 outputs a screen requesting the face authentication terminal 400 to input the number of people in the group. Then, the user U1 inputs the number of people in the group to the face authentication terminal 400. In response to this, the face recognition terminal 400 transmits the input number of people to the seat management device 200 via the network N. Then, the specific unit 245 of the seat management device 200 receives the number of received people. It should be noted that step S441 may be executed together with the identification of vacant seat candidates in steps S405 to S408, or before and after.
  • the identification unit 245 identifies a group of vacant seat candidates adjacent to each other from a plurality of vacant seat candidates (S442).
  • the vacant seat candidate group the first vacant seat candidate and the second vacant seat candidate may be mixed, but the seated seat is not included.
  • the specific unit 245 assigns a priority to each vacant seat candidate group according to the ratio of the first vacant seat candidate and the second vacant seat candidate (S443). For example, the specific unit 245 gives a higher priority as the ratio of the first vacant seat candidates is higher.
  • the output unit 246 outputs a plurality of vacant seat candidate groups according to the priority (S444).
  • FIG. 24 is a diagram showing a display example of vacant seat candidate information according to the sixth embodiment.
  • the number of people accepted is "3". Therefore, three vacant seat candidate groups 731, 732, and 733, in which the first or second vacant seat candidate is a seat group in which three seats are adjacent to each other, are specified.
  • the vacant seat candidate group 731 has two first vacant seat candidates and one second vacant seat candidate, the highest priority among the three vacant seat candidate groups is given.
  • the vacant seat candidate group 732 is given the second priority
  • the vacant seat candidate group 733 is given the third priority.
  • the users who want to secure a group of unreserved seats confirm the desired vacant seat candidate group from the vacant seat candidate group displayed on the face authentication terminal 400 or the user terminal 300, and then confirm the desired vacant seat candidate group. You can go to your seat. Therefore, it is possible to efficiently search for a seat in a group.
  • the seats are displayed according to the priority among the plurality of vacant seat candidate groups. In particular, the higher the ratio of the first vacant seat candidates, the smaller the luggage and the like, which is effective as a reference for finding a seat in a group.
  • the specific unit 16 further calculates the priority of the vacant seat candidate according to whether or not the adjacent seat of each vacant seat candidate is a vacant seat candidate, and in step S18, the output unit 17 gives priority.
  • Vacancy candidates may be output depending on the degree. That is, the output unit 17 may preferentially present the vacant seat candidate, which is also a vacant seat candidate for the adjacent seat, to the user.
  • the seat management device 1 holds the user's seat preference in advance, and the specific unit 16 gives priority to the vacant seat candidate that matches the preference of the user who succeeded in face recognition from among the specified plurality of vacant seat candidates. The degree may be calculated high.
  • the description is made as a hardware configuration, but the present invention is not limited to this.
  • the present disclosure can also be realized by causing the CPU to execute a computer program.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, DVD (Digital Versatile Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix A1) A first acquisition means for acquiring a first captured image taken by one or more visitors to a facility having a group of seats in which a seating sensor is installed in each seat.
  • An authentication control means for performing face recognition on the first photographed image by using an authentication device that stores facial feature information of a person who is permitted to enter the facility.
  • the second acquisition means for acquiring the second photographed image of the seat group and the second acquisition means.
  • the specific means A seat in which the face region is not detected in the detection result and the sensor information indicates no seating is specified as the first vacant seat candidate.
  • a seat in which the face region is not detected in the detection result and the sensor information indicates that the seat is seated is specified as a second vacant seat candidate.
  • the output means The seat management device according to Appendix A1, which distinguishes and outputs the first vacant seat candidate and the second vacant seat candidate.
  • Appendix A3 The specific means When the selection by the visitor is accepted from the output vacant seat candidates, the movement route from the current position to the selected vacant seat candidate is further specified.
  • the output means The seat management device according to Appendix A1 or A2 that outputs the movement route.
  • Appendix A4 The first captured image is captured by a photographing device installed in an aisle outside the seat group in the facility.
  • the seat management device according to any one of Supplementary A1 to A3, wherein the output means outputs the vacant seat candidate to a display device installed in the aisle.
  • the output means When the seat type associated with the attendee is a non-reserved seat, the vacant seat candidate is output.
  • the seat management device according to any one of Supplementary A1 to A4, which outputs predetermined advertisement information when the seat type associated with the attendee is a reserved seat.
  • the specific means When the input of the number of people is accepted from the visitors, the vacant seat candidate group adjacent to the vacant seat candidates is identified from the vacant seat candidates.
  • the seat management device according to any one of Supplementary A1 to A5, wherein the output means outputs the vacant seat candidate group.
  • Appendix A7 The specific means When a plurality of vacant seat candidate groups are specified, priorities are given to each vacant seat candidate group according to the ratio of the first vacant seat candidate and the second vacant seat candidate.
  • the seat management device according to A6, which is subordinate to Appendix A2, which outputs the plurality of vacant seat candidate groups according to the priority.
  • Appendix B1 A storage means for storing facial feature information of a person who is permitted to enter a facility having a group of seats in which a seating sensor is installed in each seat.
  • a seat in which the face region is not detected in the detection result and the sensor information indicates that the seat is seated is specified as a second vacant seat candidate.
  • Appendix C1 An authentication device that stores facial feature information of persons who are permitted to enter a facility that has a group of seats with seating sensors installed in each seat.
  • a seat in which the face region is not detected in the detection result and the sensor information indicates that the seat is seated is specified as a second vacant seat candidate.
  • the computer Acquire the first captured image taken by one or more visitors to a facility that has a group of seats with seating sensors installed in each seat. Using an authentication device that stores facial feature information of a person who is permitted to enter the facility, face authentication is performed on the first captured image.
  • a second photographed image of the seat group is acquired, and the photographed image is acquired.
  • a person's face area is detected from the second captured image, and the person's face area is detected.
  • Sensor information indicating whether or not a person is seated is collected from the seating sensor of each seat.
  • One or more vacant seat candidates are identified based on the detection result of the face area and each sensor information collected. Output the vacant seat candidate, Seat management method.
  • Appendix E1 A computer equipped with a storage means for storing facial feature information of a person who is admitted to a facility having a group of seats in which a seating sensor is installed in each seat.
  • the second acquisition process of acquiring the second captured image in which the seat group is captured and the second acquisition process.
  • a detection process for detecting a person's face area from the second captured image and A collection process that collects sensor information indicating whether or not a person is seated from the seating sensor of each seat.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

座席管理装置(1)は、各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得部(11)と、施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、第1の撮影画像について顔認証を行わせる認証制御部(12)と、顔認証に成功した場合、座席群が撮影された第2の撮影画像を取得する第2の取得部(13)と、第2の撮影画像から人物の顔領域を検出する検出部(14)と、各座席の着席センサから着席有無を示すセンサ情報を収集する収集部(15)と、顔領域の検出結果と収集した各センサ情報とに基づいて1以上の空席候補を特定する特定部(16)と、空席候補を出力する出力部(17)と、を備える。

Description

座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
 本発明は、座席管理装置、システム、方法及びプログラムに関し、特に、電子決済を行うための座席管理装置、システム、方法及びプログラムに関する。
 特許文献1には、多数の自由席がある施設において空席を探す手間を軽減するための技術が開示されている。特許文献1にかかる情報処理装置は、撮像装置で空席を撮像することにより得られる画像データを取得し、取得した画像データから、空席の座席と空席でない座席(満席)とを特定する。そして、当該情報処理装置は、特定した空席でない座席にいる人物が属するグループの人数を取得し、取得したグループの人数の情報を用いて、満席と特定された座席と隣接する空席のうちグループの人数分の空席を空席でない可能性のある座席として特定する。そして、それぞれの特定結果を通知する。
特開2019-113983号公報
 特許文献1では、空席でない可能性がある座席(「微妙」)として特定されなかった座席については、たとえ荷物等が置かれていたとしても空席とみなされてしまうという問題点がある。そのため、特許文献1には、空席の推定の仕方に改善の余地がある。
 本開示はこのような問題点を解決するためになされたものであり、空席の推定精度を向上するための座席管理装置、システム、方法及びプログラムを提供することを目的とする。
 本開示の第1の態様にかかる座席管理装置は、
 各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
 前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御手段と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
 前記第2の撮影画像から人物の顔領域を検出する検出手段と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
 前記空席候補を出力する出力手段と、
 を備える。
 本開示の第2の態様にかかる座席管理装置は、
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段と、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
 前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行う認証制御手段と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
 前記第2の撮影画像から人物の顔領域を検出する検出手段と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
 前記空席候補を出力する出力手段と、
 を備える。
 本開示の第3の態様にかかる座席管理システムは、
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する認証装置と、
 座席管理装置と、
 を備え、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
 前記認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御手段と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
 前記第2の撮影画像から人物の顔領域を検出する検出手段と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
 前記空席候補を出力する出力手段と、
 を備える。
 本開示の第4の態様にかかる座席管理方法は、
 コンピュータが、
 各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得し、
 前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせ、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得し、
 前記第2の撮影画像から人物の顔領域を検出し、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集し、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定し、
 前記空席候補を出力する。
 本開示の第5の態様にかかる座席管理方法は、
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段を備えるコンピュータが、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得し、
 前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行い、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得し、
 前記第2の撮影画像から人物の顔領域を検出し、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集し、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定し、
 前記空席候補を出力する。
 本開示の第6の態様にかかる座席管理プログラムは、
 各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得処理と、
 前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御処理と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得処理と、
 前記第2の撮影画像から人物の顔領域を検出する検出処理と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集処理と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定処理と、
 前記空席候補を出力する出力処理と、
 をコンピュータに実行させる。
 本開示の第7の態様にかかる座席管理プログラムは、
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段を備えるコンピュータに、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得処理と、
 前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行う認証制御処理と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得処理と、
 前記第2の撮影画像から人物の顔領域を検出する検出処理と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集処理と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定処理と、
 前記空席候補を出力する出力処理と、
 を実行させる。
 本開示により、空席の推定精度を向上するための座席管理装置、システム、方法及びプログラムを提供することができる。
本実施形態1にかかる座席管理装置の構成を示すブロック図である。 本実施形態1にかかる座席管理方法の流れを示すフローチャートである。 本実施形態2にかかる座席管理装置の構成を示すブロック図である。 本実施形態2にかかる座席管理方法の流れを示すフローチャートである。 本実施形態3にかかる座席管理システムの全体構成を示すブロック図である。 本実施形態3にかかる座席と着席センサの例を示す図である。 本実施形態3にかかる認証装置の構成を示すブロック図である。 本実施形態3にかかる顔情報登録処理の流れを示すフローチャートである。 本実施形態3にかかる顔認証処理の流れを示すフローチャートである。 本実施形態3にかかる顔認証端末の構成を示すブロック図である。 本実施形態3にかかるユーザ端末の構成を示すブロック図である。 本実施形態3にかかる管理端末の構成を示すブロック図である。 本実施形態3にかかる座席管理装置の構成を示すブロック図である。 本実施形態3にかかる座席管理処理の流れを示すフローチャートである。 本実施形態3にかかる空席候補情報生成処理の流れを示すフローチャートである。 本実施形態3にかかる空席候補の特定の例を示す図である。 本実施形態3にかかる空席候補情報の表示例を示す図である。 本実施形態3にかかる移動経路表示処理の流れを示すフローチャートである。 本実施形態3にかかる移動経路の表示例を示す図である。 本実施形態4にかかる施設の例を示す概略図である。 本実施形態5にかかる座席管理装置の構成を示すブロック図である。 本実施形態5にかかる座席管理処理の流れを示すフローチャートである。 本実施形態6にかかる座席管理処理の流れを示すフローチャートである。 本実施形態6にかかる空席候補情報の表示例を示す図である。
 以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
 図1は、本実施形態1にかかる座席管理装置1の構成を示すブロック図である。座席管理装置1は、いわゆる自由席を有する施設(不図示)への入場者に対して、他人が座席を確保していない可能性のある座席である空席候補を提示する情報処理装置である。尚、施設は、各座席に着席センサが設置された座席群を有するものとする。また、各座席の着席センサは、座席に人が着席するか荷物等が置かれた場合に、着席として検知する。そして、着席センサは、着席有無を示すセンサ情報を出力する。また、施設には、入場者を撮影するための撮影装置と、座席群を撮影するための撮影装置とが設置されている。座席管理装置1は、認証装置(不図示)、並びに、施設に設置された各撮影装置及び各着席センサと接続されている。座席管理装置1は、入場者を撮影する撮影装置を内蔵していてもよい。
 認証装置は、施設への入場を許可された人物の顔特徴情報を予め記憶しているものとする。また、認証装置は、座席管理装置1から顔画像又は顔特徴情報の入力を受け付け、予め記憶された顔特徴情報と照合を行い、一致又は不一致を判定し、判定結果を座席管理装置1へ出力する。ここで、一致の場合、顔認証に成功した旨を判定結果とし、不一致の場合、顔認証に失敗した旨を判定結果とする。
 座席管理装置1は、第1の取得部11と、認証制御部12と、第2の取得部13と、検出部14と、収集部15と、特定部16と、出力部17とを備える。第1の取得部11は、上記施設への1以上の入場者が撮影された第1の撮影画像を取得する。認証制御部12は、認証装置を用いて、第1の撮影画像について顔認証を行わせる。第2の取得部13は、顔認証に成功した場合、座席群が撮影された第2の撮影画像を取得する。検出部14は、第2の撮影画像から人物の顔領域を検出する。収集部15は、各座席の着席センサから着席有無を示すセンサ情報を収集する。特定部16は、顔領域の検出結果と収集した各センサ情報とに基づいて1以上の空席候補を特定する。出力部17は、空席候補を出力する。
 図2は、本実施形態1にかかる座席管理方法の流れを示すフローチャートである。まず、第1の取得部11は、施設への1以上の入場者が撮影された第1の撮影画像を取得する(S11)。次に、認証制御部12は、認証装置を用いて、第1の撮影画像について顔認証を行わせる(S12)。そして、認証制御部12は、顔認証に成功したか否かを判定する(S13)。
 顔認証に成功した場合、第2の取得部13は、座席群が撮影された第2の撮影画像を取得する(S14)。そして、検出部14は、第2の撮影画像から人物の顔領域を検出する(S15)。また、収集部15は、各座席の着席センサから着席有無を示すセンサ情報を収集する(S16)。尚、ステップS14及びS15とステップS16との順序は問わない。
 ステップS15及びS16の後、特定部16は、ステップS15の顔領域の検出結果とステップS16で収集されたセンサ情報とに基づいて、1以上の空席候補を特定する(S17)。そして、出力部17は、空席候補を出力する(S18)。
 このように、本実施形態では、座席群を撮影した第2の撮影画像から検出された顔領域の検出結果と、着席センサによる着席有無を示すセンサ情報との両方を用いて空席の可能性のある座席を特定(推定)するものである。そのため、空席の推定精度を向上することができる。
 尚、座席管理装置1は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる座席管理方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、第1の取得部11、認証制御部12、第2の取得部13、検出部14、収集部15、特定部16及び出力部17の機能を実現する。
 または、第1の取得部11、認証制御部12、第2の取得部13、検出部14、収集部15、特定部16及び出力部17は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
 また、座席管理装置1の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、座席管理装置1の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
 本実施形態2は、上述した実施形態1の変形例である。実施形態1にかかる座席管理装置1は、外部の認証装置に顔認証を行わせていた。一方、本実施形態2にかかる座席管理装置1aは、装置内部で顔認証を行う。
 図3は、本実施形態2にかかる座席管理装置1aの構成を示すブロック図である。座席管理装置1aは、第1の取得部11と、認証制御部12aと、第2の取得部13と、検出部14と、収集部15と、特定部16と、出力部17と、記憶部18とを備える。尚、第1の取得部11、第2の取得部13、検出部14、収集部15、特定部16及び出力部17の機能は、実施形態1と同様であるため説明を省略する。
 記憶部18は、顔特徴情報181を記憶する。顔特徴情報181は、各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報である。認証制御部12aは、顔特徴情報181を用いて、第1の撮影画像について顔認証を行う。
 図4は、本実施形態2にかかる座席管理方法の流れを示すフローチャートである。図4は、図2のステップS12がステップS12aに置き換わったものであり、他のステップは図2と同様である。ステップS12aにおいて、認証制御部12aは、顔特徴情報181を用いて、第1の撮影画像について顔認証を行う。
 このように本実施形態2によっても、上述した実施形態1と同様の効果を奏することができる。
<実施形態3>
 本実施形態3は、上述した実施形態1の具体例である。図5は、本実施形態3にかかる座席管理システム1000の全体構成を示すブロック図である。座席管理システム1000は、認証装置100、座席管理装置200、ユーザ端末300、顔認証端末400、カメラ500及び管理端末600を備える。尚、ユーザ端末300及び管理端末600は、必須ではない。認証装置100、座席管理装置200、ユーザ端末300、顔認証端末400、カメラ500及び管理端末600のそれぞれは、ネットワークNを介して接続されている。ネットワークNは、有線又は無線の通信回線である。
 顔認証端末400及びカメラ500は、施設70に設置されている。施設70は、複数の座席を含む座席群700を備えた建造物等である。施設70は、例えば、競技場、映画館又は会議室等であるが、これらに限定されない。顔認証端末400は、施設70の入口に設置されている。または、顔認証端末400は、少なくとも座席群700の領域に入る前の通路等に設置されていてもよい。カメラ500は、座席群700の正面側から座席群700の周辺を撮影領域としたものである。管理端末600は、施設スタッフU2が操作、閲覧する情報処理装置である。管理端末600は、スマートフォン、タブレット又はPC等であってもよい。
 図6は、本実施形態3にかかる座席710と着席センサ711の例を示す図である。着席センサ711は、例えば、圧力センサであり、座席710に埋め込まれている。また、着席センサ711は、ネットワークNと接続されている。そのため、座席710に人間が着席するか荷物等の所定以上の重量のものが置かれると、着席センサ711は、着席として検知し、着席有を示すセンサ情報を出力する。また、着席センサ711は、座席710に所定以上の重量のものを検知できない場合は、着席無を示すセンサ情報を出力してもよい。着席センサ711は、着席を検知した場合、センサ情報をネットワークNを介して座席管理装置200へ送信してもよい。この場合、座席管理装置200は、センサ情報が未受信の場合、当該着席センサのセンサ情報が着席無を示すものと判断する。または、着席センサ711は、座席管理装置200からネットワークNを介した収集要求に応じて、座席管理装置200に対して着席有又は無を示すセンサ情報を返信しても良い。尚、着席センサ711は、赤外線センサであってもよい。
 図5に戻り説明を続ける。
 認証装置100は、ユーザIDと顔特徴情報とを対応付けて記憶する情報処理装置である。尚、ユーザIDは、施設70へ入場する権利を有する者の識別情報である。また、認証装置100は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行い、照合結果(認証結果)を要求元へ返信する。
 図7は、本実施形態3にかかる認証装置100の構成を示すブロック図である。認証装置100は、顔情報DB(DataBase)110と、顔検出部120と、特徴点抽出部130と、登録部140と、認証部150とを備える。顔情報DB110は、ユーザID111と当該ユーザIDの顔特徴情報112とを対応付けて記憶する。顔特徴情報112は、顔画像から抽出された特徴点の集合である。尚、認証装置100は、顔特徴情報112の登録ユーザからの要望に応じて、顔特徴DB110内の顔特徴情報112を削除してもよい。または、認証装置100は、顔特徴情報112の登録から一定期間経過後に削除してもよい。
 顔検出部120は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部130に出力する。特徴点抽出部130は、顔検出部120が検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を出力する。ここで、顔特徴情報は、抽出した特徴点の集合である。また、特徴点抽出部130は、座席管理装置200から受信した顔画像に含まれる特徴点を抽出し、認証部150に顔特徴情報を出力する。
 登録部140は、顔特徴情報の登録に際して、ユーザID111を新規に発行する。登録部140は、発行したユーザID111と、登録画像から抽出した顔特徴情報112とを対応付けて顔情報DB110へ登録する。認証部150は、顔特徴情報112を用いた顔認証を行う。具体的には、認証部150は、顔画像から抽出された顔特徴情報と、顔情報DB110内の顔特徴情報112との照合を行う。認証部150は、顔特徴情報の一致の有無を座席管理装置200に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。
 図8は、本実施形態3にかかる顔情報登録処理の流れを示すフローチャートである。まず、認証装置100は、顔情報登録要求に含まれる登録画像を取得する(S21)。例えば、認証装置100は、顔情報登録要求を、ユーザ端末300等からネットワークNを介して受け付ける。次に、顔検出部120は、登録画像に含まれる顔領域を検出する(S22)。次に、特徴点抽出部130は、ステップS22で検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を出力する(S23)。最後に、登録部140は、ユーザID111を発行し、当該ユーザID111と顔特徴情報112とを対応付けて顔情報DB110に登録する(S24)。なお、認証装置100は、ユーザ端末300等から顔特徴情報112を受信し、ユーザID111と対応付けて顔情報DB110に登録してもよい。
 図9は、認証装置100による顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部130は、顔認証要求に含まれる認証用の顔画像を取得する(S31)。例えば、認証装置100は、座席管理装置200からネットワークNを介して顔認証要求を受信し、顔認証要求に含まれる顔画像からステップS21からS23のように顔特徴情報を抽出する。または、認証装置100は、座席管理装置200から顔特徴情報を受信してもよい。次に、認証部150は、取得した顔特徴情報を、顔情報DB110の顔特徴情報112と照合する(S32)。顔特徴情報が一致した場合(S33のYes)、認証部150は、顔特徴情報が一致したユーザのユーザID111を特定し(S34)、顔認証に成功した旨と特定したユーザID111とを座席管理装置200に返信する(S35)。一致する顔特徴情報が存在しない場合(S33のNo)、認証部150は、顔認証に失敗した旨を座席管理装置200に返信する(S36)。
 尚、ステップS32において、認証部150は、顔情報DB110内の全ての顔特徴情報112との照合を試みる必要はない。例えば、認証部150は、顔認証要求を受け付けた当日に入場予定である顔特徴情報と照合を試みるとよい。これらにより、照合速度が向上し得る。
 次に、顔認証端末400について詳細に説明する。顔認証端末400は、ハードウェア構成として、カメラ等の撮影装置と、表示装置と、コンピュータとを備える。図10は、本実施形態3にかかる顔認証端末400の構成を示すブロック図である。
 顔認証端末400は、カメラ410と、記憶部420と、通信部430と、表示部440と、制御部450とを備える。カメラ410は、施設70への入場者であるユーザU1を撮影する撮影装置である。記憶部420は、顔認証端末400の各機能を実現するためのプログラムが格納される記憶装置である。通信部430は、ネットワークNとの通信インタフェースである。表示部440は、ディスプレイ等の表示装置と入力部を備えたタッチパネルである。表示部440は、後述する表示制御部452により制御され、空席候補情報を表示し、また、ユーザU1から空席候補の選択操作を受け付けて、選択された空席候補を表示制御部452へ通知する。制御部450は、顔認証端末400が有するハードウェアの制御を行う。制御部450は、撮影制御部451と、表示制御部452とを備える。
 撮影制御部451は、カメラ410を制御して顔認証を行うユーザU1を撮影し、撮影した撮影画像を座席管理装置200に送信して顔認証を行わせる。撮影画像は、少なくとも当該ユーザU1の顔の画像を含む画像である。
 表示制御部452は、座席管理装置200からネットワークNを介して空席候補情報を受信し、表示部440の画面に表示する。また、表示制御部452は、ユーザU1から表示部440に対して空席候補の選択操作を受け付けた場合、選択された空席候補の識別情報をネットワークNを介して座席管理装置200へ送信する。
 次に、ユーザ端末300について説明する。ユーザ端末300は、ユーザU1が所持する携帯電話端末、スマートフォン、タブレット端末、カメラを搭載又は接続したPC(Personal Computer)等である。ユーザ端末300は、ユーザU1のユーザID又は顔特徴情報と対応付けられている。つまり、ユーザ端末300は、座席管理装置200等においてユーザID又は顔特徴情報により特定可能な表示端末である。例えば、ユーザ端末300は、ユーザU1が自身のユーザIDによりログイン済みの端末である。
 ユーザ端末300は、ユーザU1の顔認証に用いる登録画像を認証装置100に送信し、顔情報登録要求を行う。なお、ユーザ端末300は、登録画像から抽出された顔特徴情報を認証装置100に送信し、顔情報登録要求を行ってもよい。
 図11は、本実施形態3にかかるユーザ端末300の構成を示すブロック図である。ユーザ端末300は、カメラ310と、記憶部320と、通信部330と、表示部340と、制御部350とを備える。
 カメラ310は、認証装置100に顔情報を登録するための登録画像を撮影する。例えば、施設70への入場券を有するユーザU1が施設70を訪れる前にユーザ端末300のカメラ310により自らを撮影してもよい。また、カメラ310は、カメラ410の代わりに施設70への入場者であるユーザU1を撮影してもよい。記憶部320は、ユーザ端末300の各機能を実現するためのプログラムが格納される記憶装置である。通信部330は、ネットワークNとの通信インタフェースである。表示部340は、ディスプレイ等の表示装置と入力部を備えたタッチパネルである。表示部340は、後述する表示制御部352により制御され、空席候補情報を表示し、また、ユーザU1から空席候補の選択操作を受け付けて、選択された空席候補を表示制御部352へ通知する。制御部350は、ユーザ端末300が有するハードウェアの制御を行う。制御部350は、撮影制御部351と、表示制御部352と、登録部353とを備える。
 撮影制御部351は、カメラ310を制御して顔登録を行うユーザU1を撮影し、登録部353に出力する。撮影画像は、少なくとも当該ユーザU1の顔の画像を含む画像である。
 表示制御部352は、顔認証端末400の表示制御部452と同様に、座席管理装置200からネットワークNを介して空席候補情報を受信し、表示部340の画面に表示する。また、表示制御部352は、ユーザU1から表示部340に対して空席候補の選択操作を受け付けた場合、選択された空席候補の識別情報をネットワークNを介して座席管理装置200へ送信する。登録部353は、認証装置100に対して顔情報の登録要求を行う。つまり、登録部353は、カメラ310により撮影されたユーザU1の顔画像を含めた顔情報登録要求をネットワークNを介して認証装置100へ送信する。
 次に、管理端末600について説明する。図12は、本実施形態3にかかる管理端末600の構成を示すブロック図である。管理端末600は、記憶部620と、通信部630と、表示部640と、制御部650とを備える。記憶部620は、管理端末600の各機能を実現するためのプログラムが格納される記憶装置である。通信部630は、ネットワークNとの通信インタフェースである。表示部640は、ディスプレイ等の表示装置である。表示部640は、後述する表示制御部652により制御され、空席候補情報を表示する。制御部650は、管理端末600が有するハードウェアの制御を行う。制御部650は、表示制御部652を備える。
 表示制御部652は、座席管理装置200からネットワークNを介して空席候補情報を受信し、表示部640の画面に表示する。
 なお、座席管理システム1000は、空席候補情報を表示する装置として顔認証端末400又はユーザ端末300のいずれかを使用することができる。さらに、座席管理システム1000は、空席候補情報を表示する装置として管理端末600を用いても良い。
 図13は、本実施形態3にかかる座席管理装置200の構成を示すブロック図である。座席管理装置200は、記憶部210と、メモリ220と、通信部230と、制御部240とを備える。記憶部210は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部210は、プログラム211と、座席情報212とを記憶する。プログラム211は、本実施形態にかかる座席管理方法の処理が実装されたコンピュータプログラムである。座席情報212は、座席群700の各座席の配置と座席IDとの対応関係を含む情報である。
 メモリ220は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部240の動作時に一時的に情報を保持するための記憶領域である。通信部230は、ネットワークNとの通信インタフェースである。
 制御部240は、座席管理装置200の各構成を制御するプロセッサつまり制御装置である。制御部240は、記憶部210からプログラム211をメモリ220へ読み込ませ、プログラム211を実行する。これにより、制御部240は、取得部241、認証制御部242、検出部243、収集部244、特定部245及び出力部246の機能を実現する。
 取得部241は、上述した第1の取得部11及び第2の取得部13の一例である。取得部241は、顔認証端末400のカメラ410によりユーザU1が撮影された第1の撮影画像を取得する。ユーザU1は、施設70への1以上の入場者である。また、取得部241は、カメラ500により座席群700が撮影された第2の撮影画像を取得する。
 認証制御部242は、上述した認証制御部12の一例である。認証制御部242は、取得された第1の撮影画像を含めた顔認証要求を、ネットワークNを介して認証装置100へ送信し、認証装置100から顔認証結果を受信する。尚、認証制御部242は、撮影画像からユーザU1の顔領域を検出し、顔領域の画像を顔認証要求に含めてもよい。さらに、認証制御部242は、顔領域から顔特徴情報を抽出し、顔特徴情報を顔認証要求に含めてもよい。つまり、認証制御部242は、認証装置に対して、第1の撮影画像について顔認証を行わせる。
 検出部243は、上述した検出部14の一例である。検出部243は、取得部241により取得された第2の撮影画像から人物の顔領域を検出する。収集部244は、上述した収集部15の一例である。収集部244は、座席群700内の各座席の着席センサから、ネットワークNを介して着席有無を示すセンサ情報を収集する。特定部245は、上述した特定部16の一例である。
 特定部245は、顔領域の検出結果と収集した各センサ情報とに基づいて1以上の空席候補を特定する。特に、特定部245は、検出結果において顔領域が検出されず、かつ、センサ情報が着席無を示す座席について、第1の空席候補として特定する。また、特定部245は、検出結果において顔領域が検出されず、かつ、センサ情報が着席有を示す座席について、第2の空席候補として特定する。また、特定部245は、出力された空席候補の中からユーザU1による選択を受け付けた場合、現在位置から選択された空席候補までの移動経路をさらに特定する。
 出力部246は、上述した出力部17の一例である。出力部246は、空席候補を出力する。特に、出力部246は、第1の空席候補と第2の空席候補とを区別して出力する。また、出力部246は、特定された移動経路を出力する。
 図14は、本実施形態3にかかる座席管理処理の流れを示すフローチャートである。まず、施設70へ入場する権利を有するユーザU1は、顔認証端末400の前に到着したとする。このとき、施設70の座席群700には、一部の座席に着席がされているものとする。ここで、顔認証端末400のカメラ410は、ユーザU1を撮影し、第1の撮影画像をネットワークNを介して座席管理装置200へ送信する。そして、取得部241は、顔認証端末400からネットワークNを介して第1の撮影画像を取得する(S401)。
 次に、認証制御部242は、認証装置100に対して顔認証要求を行う(S402)。すなわち、認証制御部242は、第1の撮影画像を含めた顔認証要求をネットワークNを介して認証装置100へ送信する。そして、認証制御部242は、認証装置100からネットワークNを介して顔認証結果を受信する(S403)。尚、顔認証結果には顔認証に成功したユーザIDが含まれる。
 ここで、認証制御部242は、顔認証結果から顔認証に成功したか否かを判定する(S404)。具体的には、認証制御部242は、受信した顔認証結果に顔認証に成功した旨が含まれるか否かを判定する。
 顔認証に成功した場合、取得部241は、座席群700が撮影された第2の撮影画像を、カメラ500からネットワークNを介して取得する(S405)。そして、検出部243は、第2の撮影画像から人物の顔領域を検出する(S406)。このとき、例えば、検出部243は、座席情報212を用いて人物の顔領域を検出した位置に対応付けられた座席IDを特定し、座席IDと検出有との情報を対応付けて検出結果とする。尚、検出部243は、座席に人間が着席していても顔の向き等によっては顔領域が検出できない場合がある。この場合、検出結果は、未検出となる。
 また、顔認証に成功した場合、収集部244は、各座席の着席センサから着席有無を示すセンサ情報を収集する(S407)。例えば、収集部244は、ネットワークNを介して座席群700の各座席に設置された着席センサのそれぞれに対して、センサ情報の収集要求を送信する。そして、収集部244は、各着席センサからネットワークNを介してセンサ情報を収集する。尚、センサ情報の収集においては、各着席センサのセンサ情報を定期的に収集し、座席管理装置200へ送信する収集装置が間に介在していてもよい。また、収集部244は、着席センサからセンサ情報が返信されなかった場合、当該座席におけるセンサ情報を着席無とみなしてもよい。尚、各着席センサは、座席IDと対応付けられているものとする。また、着席センサから着席の有無を示すセンサ情報を取得する際に、全ての座席でなく、顔を検出できなかった席のセンサ情報を取得してもよい。
 ステップS406及びS407の後、特定部245は、空席候補情報生成処理を行う(S408)。図15は、本実施形態3にかかる空席候補情報生成処理の流れを示すフローチャートである。まず、特定部245は、座席群700の各座席についてステップS412からS416を行う(S411)。具体的には、特定部245は、座席情報212から未選択の座席IDを一つ選択し、選択した座席ID(対象座席)についてステップS412からS416を実行する。
 まず、特定部245は、対象座席の検出結果において顔領域の検出がないか否かを判定する(S412)。顔領域の検出があった場合(S412でNO)、特定部245は、対象座席を着席として特定する(S416)。顔領域の検出がない場合(S412でYES)、特定部245は、対象座席のセンサ情報が着席無を示すか否かを判定する(S413)。センサ情報が着席無を示す場合(S413でYES)、特定部245は、対象座席を第1の空席候補として特定する(S414)。一方、センサ情報が着席有を示す場合(S413でNO)、特定部245は、対象座席を第2の空席候補として特定する(S415)。そして、ステップS414、S415又はS416の後、特定部245は、座席情報212のうち全座席を選択したか否かを判定する(S417)。座席情報212のうち未選択の座席IDがある場合、当該座席IDを対象座席とし、ステップS412からS416を繰り返す。
 座席情報212のうち全座席が選択済みの場合、特定部245は、特定した情報に基づき空席候補情報を生成する(S418)。ここで、空席候補情報とは、各座席について第1の空席候補、第2の空席候補又は着席のいずれかを示した情報である。つまり、特定部245は、第1の空席候補、第2の空席候補及び着席について区別可能に空席候補情報を生成する。
 図14に戻り説明を続ける。ステップS408の後、出力部246は、空席候補情報を、ネットワークNを介して顔認証端末400又はユーザ端末300へ出力(送信)する(S409)。尚、併せて、出力部246は、空席候補情報を、ネットワークNを介して管理端末600へ出力してもよい。これにより、施設スタッフU2が第2の空席候補を把握でき、第2の空席候補付近へ直接出向いて、周辺の人物に荷物等を移動することなどを促すことができる。
 ステップS404で顔認証に失敗した場合、出力部246は、顔認証に失敗した旨を、ネットワークNを介して顔認証端末400へ出力(送信)する(S410)。
 図16は、本実施形態3にかかる空席候補の特定の例を示す図である。ここでは、座席群700は、座席701から706を有するものとする。座席702及び706には、実際に人間が着席しており、座席703及び704には、人間以外の荷物等が置かれており、座席701及び705は空席であるものとする。
 座席702及び706は、顔領域が検出されるため、空席候補情報が着席として特定される。座席701及び705は、顔領域が未検出で、センサ情報が着席無を示すため、空席候補情報が第1の空席候補として特定される。座席703及び704は、顔領域が未検出で、センサ情報が着席有を示すため、空席候補情報が第2の空席候補として特定される。
 図17は、本実施形態3にかかる空席候補情報の表示例を示す図である。これにより、ユーザU1や施設スタッフU2は、各座席について第1の空席候補、第2の空席候補及び着席を区別して認識することができる。
 続いて、複数の空席候補の中から選択された空席候補について移動経路を表示するケースについて説明する。図18は、本実施形態3にかかる移動経路表示処理の流れを示すフローチャートである。まず、ユーザU1は、顔認証端末400等の画面に表示された図17のような空席候補情報の中から、所望の座席を選択する操作を行う。顔認証端末400等は、ユーザU1の選択操作に応じて、選択された座席位置に対応する座席IDをネットワークNを介して座席管理装置200へ送信する。これに応じて、特定部245は、顔認証端末400等からネットワークNを介して空席候補の選択を受け付ける(S421)。具体的には、特定部245は、選択された座席IDを受け付ける。
 次に、特定部245は、座席情報212を参照し、現在位置から選択された空席候補までの移動経路を特定する(S422)。尚、移動経路の特定の仕方は、公知技術を用いることができるため、詳細を省略する。そして、出力部246は、特定した移動経路を顔認証端末400等に表示する(S423)。すなわち、出力部246は、特定した移動経路を示す情報をネットワークNを介して顔認証端末400等へ送信して、表示させる。図19は、本実施形態3にかかる移動経路Rの表示例を示す図である。
 ここで、顔領域の検出の場合、顔の向き等により顔領域が検出できず、着席していても着席していないとみなされるおそれがある。一方、着席センサの場合、座席に荷物等が置かれていると、実際には空席にもかかわらず着席とみなされてしまう場合がある。そのため、検出結果とセンサ情報の一方だけでは、空席候補の推定精度が不十分といえる。そこで、本実施形態では、顔領域の検出結果と着席センサのセンサ情報との両方を用いて空席候補を特定するため、空席の推定精度が向上する。
 さらに、本実施形態では、顔領域の検出結果と着席センサのセンサ情報との組合せに応じて空席候補のレベル分けを行うため、ユーザU1や施設スタッフU2が空席である確率の違いを認識し易い。例えば、顔領域の検出結果がないが、センサ情報が着席有を示す場合には、人は着席していないが荷物等により座席が確保しており、実際には空席でない可能性が高い。本実施形態ではこのケースを、第2の空席候補として第1の空席候補とは区別して出力、表示することができる。そのため、ユーザU1や施設スタッフU2が第2の空席候補に向かう際には、空席でない可能性を認識した上で、当該座席へ向かうことができる。そして、施設スタッフU2は、第2の空席候補の座席周辺の人に対して、荷物等を移動してもらうように促すことができる。また、ユーザU1においても第1の空席候補であっても確実に誰かの隣の席となるよりは、第2の空席候補であって両隣りが空いている方が望ましい場合もある。本実施形態ではそのようなケースにも効果を奏する。
 また、上述した特許文献1では、グループ全員が座席に荷物を置いた上で一時的に離席した場合には、単に空席と判定されてしまう。一方、本実施形態では、このような場合には、第2の空席候補となり、第1の空席候補とは異なることを容易に認識できる。
 さらに、本実施形態では、ユーザU1は、表示された複数の空席候補の中から所望の座席を選択すると、現在位置から選択した座席までの移動経路が示される。これにより、座席数が多いや、座席まで遠い場合などにユーザU1は所望の座席に辿り着くまで迷いにくくなる。
<実施形態4>
 本実施形態4は、上述した実施形態3の他の実施例である。本実施形態4にかかる第1の撮影画像は、施設70内の座席群の外部の通路に設置された撮影装置により撮影されたものとする。そして、出力部246は、前記通路に設置された表示装置に空席候補を出力する。
 図20は、本実施形態4にかかる施設70の例を示す概略図である。施設70は、競技場である。施設70の入場者は、通路73を右回り又は左回りに移動し、ゲートg1~g8のいずれかを通過し、座席に着席する。図20では、複数の座席をまとめたものを座席ブロックB1~B4としている。座席は、施設70の競技エリア72を囲んでいる。また、施設70には、カメラ500a、500b、500c及び500dが設置されている。カメラ500aは、座席ブロックB1の座席群を正面から撮影可能である。同様に、カメラ500bは座席ブロックB2、カメラ500cは座席ブロックB3、カメラ500dは座席ブロックB4のそれぞれの座席群を正面から撮影可能である。また、施設70には、入口71に上述した顔認証端末400が設置され、通路73(コンコース)に顔認証端末400a、400b、400c及び400dが設置されている。尚、顔認証端末400a~400dは、施設70内の座席群の外部の通路73に設置された撮影装置であり、通路73に設置された表示装置でもあるものとする。また、顔認証端末400a~400dは、カメラ付きのデジタルサイネージであってもよい。そして、顔認証端末400にて顔認証により入場が許可された入場者でないと、デジタルサイネージの顔認証端末400a~400dを利用することができないものとする。例えば、座席管理装置200は、顔認証端末400による撮影画像についての顔認証に成功したユーザID、顔画像又は顔特徴情報を保持しておく。そして、座席管理装置200は、顔認証端末400aによる撮影画像を取得した場合、当該撮影画像に含まれる顔画像から抽出される顔特徴情報と、前記保持された(ユーザID又は顔画像に対応する)顔特徴情報とを照合して顔認証を行う。座席管理装置200は、顔認証端末400aによる撮影画像についての顔認証に成功した場合、顔認証端末400aに空席候補情報を出力する。
 例えば、施設70を訪れたユーザU1は、入場前に入口71において顔認証端末400により顔認証により入場を許可されて入場する。このとき、上述したように空席候補情報を表示してもよい。そして、少なくとも、ユーザU1は、入場後に顔認証端末400aにより第1の撮影画像を撮影する。そして、座席管理装置200は、顔認証端末400aから取得した第1の撮影画像における顔認証に成功した場合、カメラ500a~500dから第2の撮影画像を取得して顔領域の検出を行う。併せて、座席管理装置200は、各座席ブロックB1~B4の各座席に設置された着席センサからセンサ情報を収集する。座席管理装置200は、顔領域の検出結果とセンサ情報とに基づいて各座席について第1もしくは第2の空席候補又は着席の判定(特定)を行い、空席候補情報を顔認証端末400aへ出力する。ユーザU1は、顔認証端末400aに表示された空席候補情報を視認し、例えば、座席ブロックB3の座席へ行くために、通路73を右回りに移動したとする。そして、ユーザU1が顔認証端末400bの前に到着すると、顔認証端末400bは、ユーザU1を含む第1の撮影画像を撮影し、座席管理装置200へ送信する。座席管理装置200は、上記同様、空席候補情報を特定し、顔認証端末400bへ出力する。ユーザU1は、顔認証端末400bに表示された最新の空席候補情報を視認し、引き続き、座席ブロックB3の座席へ行くために、通路73を右回りに移動し、顔認証端末400cへ向かう。同様に、ユーザU1は、顔認証端末400cに対して顔認証を行い、表示された最新の空席候補情報を視認して、ゲートg5又はg6から座席ブロックB3の所望の座席へ向かう。
 このように、本実施形態により、施設70が広い場合に、入場後、目的の座席までの移動途中に最新の空席候補情報を確認することができる。そのため、移動中に当初の目的の座席が埋まったとしても、その時点で目的の座席を選び直すことも容易となる。
<実施形態5>
 本実施形態5は、上述した実施形態3又は4の変形例である。本実施形態5は、座席群に自由席と指定席が含まれ、指定席の入場者に対しては広告情報を出力するものである。
 図21は、本実施形態5にかかる座席管理装置200aの構成を示すブロック図である。座席管理装置200aは、上述した座席管理装置200と比べて、記憶部210にユーザID213及び座席種別214が追加され、制御部240に判定部247が追加され、出力部246aが変更されたものである。尚、他の構成については実施形態3と同様であるため、以下では、重複する説明を省略する。
 ユーザID213は、施設70への入場を許可された人物の識別情報である。座席種別214は、自由席又は指定席のいずれかの座席種別である。そして、ユーザID213と座席種別214とは対応付けられている。
 判定部247は、顔認証に成功した入場者のユーザID213に対応付けられた座席種別214を判定する。入場者のユーザID213に対応付けられた座席種別214が自由席の場合、出力部246aは、空席候補を出力する。一方、入場者のユーザID213に対応付けられた座席種別214が指定席の場合、出力部246aは、所定の広告情報を出力する。
 図22は、本実施形態5にかかる座席管理処理の流れを示すフローチャートである。尚、ステップS401からS404及びS410は、上述した図14と同様であり、重複する説明を省略する。
 ステップS404において顔認証に成功した場合、判定部247は、顔認証結果から顔認証に成功したユーザIDを特定する。そして、判定部247は、特定したユーザIDに対応付けられた座席種別214が自由席か否かを判定する(S431)。座席種別214が自由席である場合、上述したステップS405~S409が実行される。一方、ステップS431において、座席種別214が自由席でない、つまり指定席である場合、出力部246aは、所定の広告情報をネットワークNを介して顔認証端末400又はユーザ端末300へ出力(送信)する(S432)。これにより、座席が確定している指定席の入場者に絞った広告を提示することができ、広告効果を高めることができる。
<実施形態6>
 本実施形態6は、上述した実施形態3から5の変形例である。本実施形態6は、複数人の入場者のグループに対して隣接した空席候補群を提示するものである。尚、本実施形態6にかかる座席管理装置は、上述した図13の座席管理装置200の特定部245及び出力部246を変更したものである。よって、本実施形態6にかかる座席管理装置の構成図を省略し、以下では、図13との違いについて説明する。
 本実施形態6にかかる特定部245は、入場者から人数の入力を受け付けた場合、空席候補の中から、人数分が隣接した空席候補群を特定する。そして、出力部246は、特定した空席候補群を出力する。さらに、本実施形態6にかかる特定部245は、複数の空席候補群を特定した場合、各空席候補群について第1の空席候補と第2の空席候補の比率に応じて優先度を付与する。そして、出力部246は、優先度に応じて複数の空席候補群を出力する。
 図23は、本実施形態6にかかる座席管理処理の流れを示すフローチャートである。尚、ステップS401からS404及びS410は、上述した図14と同様であり、重複する説明を省略する。
 ステップS404において顔認証に成功した場合、特定部245は、入場者から人数の入力を受け付ける(S441)。例えば、特定部245は、顔認証に成功した場合、顔認証端末400に対して、グループの人数の入力を要求する画面を出力する。そして、ユーザU1は、顔認証端末400に対してグループの人数を入力する。これに応じて、顔認証端末400は、入力された人数をネットワークNを介して座席管理装置200へ送信する。そして、座席管理装置200の特定部245は、受信した人数を受け付ける。尚、ステップS441は、ステップS405からS408における空席候補の特定と共に、又は、前後に実行すればよい。
 ステップS408及びS441の後、特定部245は、複数の空席候補の中から、受け付けた人数分が隣接した空席候補群を特定する(S442)。ここで、空席候補群は、第1の空席候補と第2の空席候補が混在していてもよいが、着席の座席は含まれないものとする。そして、特定部245は、複数の空席候補群を特定した場合、各空席候補群について第1の空席候補と第2の空席候補の比率に応じて優先度を付与する(S443)。例えば、特定部245は、第1の空席候補の比率が高いほど、高い優先度を付与する。その後、出力部246は、優先度に応じて複数の空席候補群を出力する(S444)。
 図24は、本実施形態6にかかる空席候補情報の表示例を示す図である。ここでは、受け付けた人数を「3」とする。そのため、第1又は第2の空席候補が3席隣接した座席群である3つの空席候補群731、732及び733が特定される。このとき、空席候補群731には、第1の空席候補が2つ、第2の空席候補が1つであるため、3つの空席候補群の中で最上位の優先度が付与される。同様に、空席候補群732には二位の優先度が付与され、空席候補群733には三位の優先度が付与される。
 このように、本実施形態によりグループでまとまった自由席を確保したいユーザ達は、顔認証端末400又はユーザ端末300に表示された空席候補群の中から所望の空席候補群を確認した上で、座席に向かうことができる。よって、グループの座席探しが効率的にできる。さらに、本実施形態では、複数の空席候補群の中で優先度に応じて表示される。特に、第1の空席候補の比率が高いほど、荷物等が少ないため、グループでの座席探しの参考として効果的である。
<その他の実施形態>
 尚、図2のステップS17において、さらに、特定部16は、各空席候補の隣接する座席が空席候補か否かに応じて空席候補の優先度を算出し、ステップS18において出力部17は、優先度に応じて空席候補を出力してもよい。つまり、出力部17は、隣の席も空席候補である空席候補を優先的にユーザに対して提示するとよい。また、座席管理装置1は、予めユーザの座席の好みを保持しており、特定部16は、特定した複数の空席候補の中から、顔認証に成功したユーザの好みにより合致した空席候補の優先度を高く算出してもよい。
 尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
 上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
 (付記A1)
 各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
 前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御手段と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
 前記第2の撮影画像から人物の顔領域を検出する検出手段と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
 前記空席候補を出力する出力手段と、
 を備える座席管理装置。
 (付記A2)
 前記特定手段は、
 前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席無を示す座席について、第1の空席候補として特定し、
 前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席有を示す座席について、第2の空席候補として特定し、
 前記出力手段は、
 前記第1の空席候補と前記第2の空席候補とを区別して出力する
 付記A1に記載の座席管理装置。
 (付記A3)
 前記特定手段は、
 前記出力された空席候補の中から前記入場者による選択を受け付けた場合、現在位置から前記選択された空席候補までの移動経路をさらに特定し、
 前記出力手段は、
 前記移動経路を出力する
 付記A1又はA2に記載の座席管理装置。
 (付記A4)
 前記第1の撮影画像は、前記施設内の前記座席群の外部の通路に設置された撮影装置により撮影され、
 前記出力手段は、前記通路に設置された表示装置に前記空席候補を出力する
 付記A1乃至A3のいずれか1項に記載の座席管理装置。
 (付記A5)
 前記施設のへ入場を許可された人物の識別情報と、自由席又は指定席のいずれかの座席種別とを対応付けて記憶する記憶手段と、
 前記顔認証に成功した前記入場者に対応付けられた座席種別を判定する判定手段と、
 をさらに備え、
 前記出力手段は、
 前記入場者に対応付けられた座席種別が自由席の場合、前記空席候補を出力し、
 前記入場者に対応付けられた座席種別が指定席の場合、所定の広告情報を出力する
 付記A1乃至A4のいずれか1項に記載の座席管理装置。
 (付記A6)
 前記特定手段は、
 前記入場者から人数の入力を受け付けた場合、前記空席候補の中から、前記人数分が隣接した空席候補群を特定し、
 前記出力手段は、前記空席候補群を出力する
 付記A1乃至A5のいずれか1項に記載の座席管理装置。
 (付記A7)
 前記特定手段は、
 複数の空席候補群を特定した場合、各空席候補群について前記第1の空席候補と前記第2の空席候補の比率に応じて優先度を付与し、
 前記出力手段は、前記優先度に応じて前記複数の空席候補群を出力する
 付記A2に従属するA6に記載の座席管理装置。
 (付記B1)
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段と、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
 前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行う認証制御手段と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
 前記第2の撮影画像から人物の顔領域を検出する検出手段と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
 前記空席候補を出力する出力手段と、
 を備える座席管理装置。
 (付記B2)
 前記特定手段は、
 前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席無を示す座席について、第1の空席候補として特定し、
 前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席有を示す座席について、第2の空席候補として特定し、
 前記出力手段は、
 前記第1の空席候補と前記第2の空席候補とを区別して出力する
 付記B1に記載の座席管理装置。
 (付記C1)
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する認証装置と、
 座席管理装置と、
 を備え、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
 前記認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御手段と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
 前記第2の撮影画像から人物の顔領域を検出する検出手段と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
 前記空席候補を出力する出力手段と、
 を備える座席管理システム。
 (付記C2)
 前記特定手段は、
 前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席無を示す座席について、第1の空席候補として特定し、
 前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席有を示す座席について、第2の空席候補として特定し、
 前記出力手段は、
 前記第1の空席候補と前記第2の空席候補とを区別して出力する
 付記C1に記載の座席管理システム。
 (付記D1)
 コンピュータが、
 各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得し、
 前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせ、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得し、
 前記第2の撮影画像から人物の顔領域を検出し、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集し、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定し、
 前記空席候補を出力する、
 座席管理方法。
 (付記E1)
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段を備えるコンピュータが、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得し、
 前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行い、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得し、
 前記第2の撮影画像から人物の顔領域を検出し、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集し、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定し、
 前記空席候補を出力する、
 座席管理方法。
 (付記F1)
 各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得処理と、
 前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御処理と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得処理と、
 前記第2の撮影画像から人物の顔領域を検出する検出処理と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集処理と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定処理と、
 前記空席候補を出力する出力処理と、
 をコンピュータに実行させる座席管理プログラムが格納された非一時的なコンピュータ可読媒体。
 (付記G1)
 各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段を備えるコンピュータに、
 前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得処理と、
 前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行う認証制御処理と、
 前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得処理と、
 前記第2の撮影画像から人物の顔領域を検出する検出処理と、
 前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集処理と、
 前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定処理と、
 前記空席候補を出力する出力処理と、
 を実行させる座席管理プログラムが格納された非一時的なコンピュータ可読媒体。
 以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 1 座席管理装置
 1a 座席管理装置
 11 第1の取得部
 12 認証制御部
 12a 認証制御部
 13 第2の取得部
 14 検出部
 15 収集部
 16 特定部
 17 出力部
 18 記憶部
 181 顔特徴情報
 1000 座席管理システム
 100 認証装置
 110 顔情報DB
 111 ユーザID
 112 顔特徴情報
 120 顔検出部
 130 特徴点抽出部
 140 登録部
 150 認証部
 200 座席管理装置
 200a 座席管理装置
 210 記憶部
 211 プログラム
 212 座席情報
 213 ユーザID
 214 座席種別
 220 メモリ
 230 通信部
 240 制御部
 241 取得部
 242 認証制御部
 243 検出部
 244 収集部
 245 特定部
 246 出力部
 246a 出力部
 247 判定部
 300 ユーザ端末
 310 カメラ
 320 記憶部
 330 通信部
 340 表示部
 350 制御部
 351 撮影制御部
 352 表示制御部
 353 登録部
 400 顔認証端末
 410 カメラ
 420 記憶部
 430 通信部
 440 表示部
 450 制御部
 451 撮影制御部
 452 表示制御部
 500 カメラ
 500a カメラ
 500b カメラ
 500c カメラ
 500d カメラ
 600 管理端末
 620 記憶部
 630 通信部
 640 表示部
 650 制御部
 652 表示制御部
 70 施設
 71 入口
 72 競技エリア
 73 通路
 400a 顔認証端末
 400b 顔認証端末
 400c 顔認証端末
 400d 顔認証端末
 g1~g8 ゲート
 B1~B4 座席ブロック
 700 座席群
 701 座席
 702 座席
 703 座席
 704 座席
 705 座席
 706 座席
 710 座席
 711 着席センサ
 731 空席候補群
 732 空席候補群
 733 空席候補群
 N ネットワーク
 U1 ユーザ
 U2 施設スタッフ
 R 移動経路

Claims (15)

  1.  各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
     前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御手段と、
     前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
     前記第2の撮影画像から人物の顔領域を検出する検出手段と、
     前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
     前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
     前記空席候補を出力する出力手段と、
     を備える座席管理装置。
  2.  前記特定手段は、
     前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席無を示す座席について、第1の空席候補として特定し、
     前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席有を示す座席について、第2の空席候補として特定し、
     前記出力手段は、
     前記第1の空席候補と前記第2の空席候補とを区別して出力する
     請求項1に記載の座席管理装置。
  3.  前記特定手段は、
     前記出力された空席候補の中から前記入場者による選択を受け付けた場合、現在位置から前記選択された空席候補までの移動経路をさらに特定し、
     前記出力手段は、
     前記移動経路を出力する
     請求項1又は2に記載の座席管理装置。
  4.  前記第1の撮影画像は、前記施設内の前記座席群の外部の通路に設置された撮影装置により撮影され、
     前記出力手段は、前記通路に設置された表示装置に前記空席候補を出力する
     請求項1乃至3のいずれか1項に記載の座席管理装置。
  5.  前記施設のへ入場を許可された人物の識別情報と、自由席又は指定席のいずれかの座席種別とを対応付けて記憶する記憶手段と、
     前記顔認証に成功した前記入場者に対応付けられた座席種別を判定する判定手段と、
     をさらに備え、
     前記出力手段は、
     前記入場者に対応付けられた座席種別が自由席の場合、前記空席候補を出力し、
     前記入場者に対応付けられた座席種別が指定席の場合、所定の広告情報を出力する
     請求項1乃至4のいずれか1項に記載の座席管理装置。
  6.  前記特定手段は、
     前記入場者から人数の入力を受け付けた場合、前記空席候補の中から、前記人数分が隣接した空席候補群を特定し、
     前記出力手段は、前記空席候補群を出力する
     請求項1乃至5のいずれか1項に記載の座席管理装置。
  7.  前記特定手段は、
     複数の空席候補群を特定した場合、各空席候補群について前記第1の空席候補と前記第2の空席候補の比率に応じて優先度を付与し、
     前記出力手段は、前記優先度に応じて前記複数の空席候補群を出力する
     請求項2に従属する6に記載の座席管理装置。
  8.  各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段と、
     前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
     前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行う認証制御手段と、
     前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
     前記第2の撮影画像から人物の顔領域を検出する検出手段と、
     前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
     前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
     前記空席候補を出力する出力手段と、
     を備える座席管理装置。
  9.  前記特定手段は、
     前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席無を示す座席について、第1の空席候補として特定し、
     前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席有を示す座席について、第2の空席候補として特定し、
     前記出力手段は、
     前記第1の空席候補と前記第2の空席候補とを区別して出力する
     請求項8に記載の座席管理装置。
  10.  各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する認証装置と、
     座席管理装置と、
     を備え、
     前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得手段と、
     前記認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御手段と、
     前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得手段と、
     前記第2の撮影画像から人物の顔領域を検出する検出手段と、
     前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集手段と、
     前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定手段と、
     前記空席候補を出力する出力手段と、
     を備える座席管理システム。
  11.  前記特定手段は、
     前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席無を示す座席について、第1の空席候補として特定し、
     前記検出結果において前記顔領域が検出されず、かつ、前記センサ情報が着席有を示す座席について、第2の空席候補として特定し、
     前記出力手段は、
     前記第1の空席候補と前記第2の空席候補とを区別して出力する
     請求項10に記載の座席管理システム。
  12.  コンピュータが、
     各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得し、
     前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせ、
     前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得し、
     前記第2の撮影画像から人物の顔領域を検出し、
     前記各座席の着席センサから着席有無を示すセンサ情報を収集し、
     前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定し、
     前記空席候補を出力する、
     座席管理方法。
  13.  各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段を備えるコンピュータが、
     前記施設への1以上の入場者が撮影された第1の撮影画像を取得し、
     前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行い、
     前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得し、
     前記第2の撮影画像から人物の顔領域を検出し、
     前記各座席の着席センサから着席有無を示すセンサ情報を収集し、
     前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定し、
     前記空席候補を出力する、
     座席管理方法。
  14.  各座席に着席センサが設置された座席群を有する施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得処理と、
     前記施設への入場を許可された人物の顔特徴情報を記憶した認証装置を用いて、前記第1の撮影画像について顔認証を行わせる認証制御処理と、
     前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得処理と、
     前記第2の撮影画像から人物の顔領域を検出する検出処理と、
     前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集処理と、
     前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定処理と、
     前記空席候補を出力する出力処理と、
     をコンピュータに実行させる座席管理プログラムが格納された非一時的なコンピュータ可読媒体。
  15.  各座席に着席センサが設置された座席群を有する施設への入場を許可された人物の顔特徴情報を記憶する記憶手段を備えるコンピュータに、
     前記施設への1以上の入場者が撮影された第1の撮影画像を取得する第1の取得処理と、
     前記顔特徴情報を用いて、前記第1の撮影画像について顔認証を行う認証制御処理と、
     前記顔認証に成功した場合、前記座席群が撮影された第2の撮影画像を取得する第2の取得処理と、
     前記第2の撮影画像から人物の顔領域を検出する検出処理と、
     前記各座席の着席センサから着席有無を示すセンサ情報を収集する収集処理と、
     前記顔領域の検出結果と前記収集した各センサ情報とに基づいて1以上の空席候補を特定する特定処理と、
     前記空席候補を出力する出力処理と、
     を実行させる座席管理プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/014408 2020-03-27 2020-03-27 座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2021192317A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014408 WO2021192317A1 (ja) 2020-03-27 2020-03-27 座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014408 WO2021192317A1 (ja) 2020-03-27 2020-03-27 座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021192317A1 true WO2021192317A1 (ja) 2021-09-30

Family

ID=77891544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014408 WO2021192317A1 (ja) 2020-03-27 2020-03-27 座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2021192317A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296423A (ja) * 2002-04-05 2003-10-17 Seiko Instruments Inc 客席情報提示システム
JP2007080149A (ja) * 2005-09-16 2007-03-29 Toshiba Corp 所在管理システムおよび所在管理方法
JP2018083589A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員検知装置および乗員検知プログラム
JP2019144918A (ja) * 2018-02-22 2019-08-29 パナソニックIpマネジメント株式会社 執務席提示システムおよび執務席提示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296423A (ja) * 2002-04-05 2003-10-17 Seiko Instruments Inc 客席情報提示システム
JP2007080149A (ja) * 2005-09-16 2007-03-29 Toshiba Corp 所在管理システムおよび所在管理方法
JP2018083589A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員検知装置および乗員検知プログラム
JP2019144918A (ja) * 2018-02-22 2019-08-29 パナソニックIpマネジメント株式会社 執務席提示システムおよび執務席提示方法

Similar Documents

Publication Publication Date Title
JP7400862B2 (ja) 情報処理装置
JP2008250830A (ja) 出欠確認システムおよび出欠確認方法
JP6557897B1 (ja) 情報処理装置、判定方法、およびプログラム
JP6769475B2 (ja) 情報処理システム、認証対象の管理方法、及びプログラム
JP2019091395A (ja) 情報処理装置、監視システム、方法及びプログラム
JP2024056872A (ja) 滞在管理装置、滞在管理方法、及びプログラム
US20190147251A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
JP2004126829A (ja) 入場者管理システムおよびプログラム
WO2022003766A1 (ja) 情報処理装置、顔認証促進システム、情報処理方法、プログラムが記憶された非一時的なコンピュータ可読媒体
WO2021192317A1 (ja) 座席管理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7359293B2 (ja) 座席案内装置、システム、方法及びプログラム
WO2022014062A1 (ja) 価値譲渡装置、価値譲渡システム、価値譲渡方法及び非一時的なコンピュータ可読媒体
WO2022074787A1 (ja) 画像処理装置、画像処理方法、プログラム
JP6982168B2 (ja) 顔照合システム
WO2023095318A1 (ja) 案内装置、システム及び方法、並びに、コンピュータ可読媒体
US20230084625A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
WO2021181623A1 (ja) 撮影制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US20230090122A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
JP7485042B2 (ja) 情報処理装置、顔認証促進システム、情報処理方法、プログラム
WO2021199186A1 (ja) 会議予約支援装置、システム、方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体
JP7323013B2 (ja) 情報表示システム、画面生成方法、及びプログラム
JP7276523B2 (ja) 管理サーバ、システム、トークン発行方法及びコンピュータプログラム
WO2023162041A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
WO2022038661A1 (ja) 推薦装置、推薦システム、推薦方法及び非一時的なコンピュータ可読媒体
WO2022044274A1 (ja) 認証制御装置、認証システム、認証制御方法及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927284

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927284

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP