WO2023095318A1 - 案内装置、システム及び方法、並びに、コンピュータ可読媒体 - Google Patents
案内装置、システム及び方法、並びに、コンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2023095318A1 WO2023095318A1 PCT/JP2021/043570 JP2021043570W WO2023095318A1 WO 2023095318 A1 WO2023095318 A1 WO 2023095318A1 JP 2021043570 W JP2021043570 W JP 2021043570W WO 2023095318 A1 WO2023095318 A1 WO 2023095318A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- authentication
- guidance
- destination
- succeeded
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000003384 imaging method Methods 0.000 claims abstract description 113
- 238000012545 processing Methods 0.000 claims description 69
- 230000001815 facial effect Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 27
- 230000000977 initiatory effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 22
- 230000004044 response Effects 0.000 description 18
- 239000000284 extract Substances 0.000 description 16
- 238000000605 extraction Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 230000037237 body shape Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- OHVLMTFVQDZYHP-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CN1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O OHVLMTFVQDZYHP-UHFFFAOYSA-N 0.000 description 3
- WZFUQSJFWNHZHM-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 WZFUQSJFWNHZHM-UHFFFAOYSA-N 0.000 description 3
- IHCCLXNEEPMSIO-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperidin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 IHCCLXNEEPMSIO-UHFFFAOYSA-N 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009418 renovation Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
Definitions
- the present invention relates to a guidance device, system, method, and program, and more particularly to a guidance device, system, method, and program that guides a user to a route to a destination.
- station premises In recent years, the structure of station premises has become more complex due to the expansion and renovation of station buildings and the opening of new lines at large stations.
- a satellite positioning system such as GPS (Global Positioning System) is insufficient, there is a demand for a method of identifying the current position within the facility.
- Patent Document 1 discloses a technology related to a mobile tracking device.
- the mobile object tracking device estimates the current position of the mobile object based on the intensity of radio waves received from a wireless terminal device that moves with the mobile object, and calculates the photographable range of the plurality of imaging devices and the moving route of the mobile object.
- an imaging device for photographing the moving object is selected from among a plurality of imaging devices.
- Patent Document 2 discloses a technique related to a guide information providing device.
- the guidance information providing device identifies the large-scale facility where the mobile phone terminal is located and the current position therein based on the SSID (Service Set Identifier) of the access point and the received electric field strength received from the mobile phone terminal.
- SSID Service Set Identifier
- an object of the present disclosure is to provide a guidance device, system, method, and guidance device, system, and method for streamlining processing when guiding a user moving with a wireless communication terminal from a current position to an appropriate destination. , to provide the program.
- a guide device includes: a first identifying means for identifying a first imaging device installed in an area corresponding to a wireless base station connected to a wireless terminal carried by a user; Referring to a storage device in which feature information based on body images of a plurality of users is registered, performing a first authentication for a region including a person's body included in a first image captured by the first imaging device.
- a first authentication control means for controlling; a second specifying means for specifying a first current position of a user who has succeeded in the first authentication based on the imaging range of the first imaging device when the first authentication is successful; guidance means for notifying the wireless terminal of a route from the first current position to the user's destination and starting guidance to the user to the destination; a third identifying means for identifying a second imaging device installed in an area included in the route;
- a second authentication control means for controlling the authentication of When the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the user determining means for determining that the destination has been reached; Prepare.
- a guidance system includes: a storage device in which feature information based on body images of a plurality of users is registered; a wireless terminal carried by a predetermined user; a first imaging device and a second imaging device installed at a predetermined point; a guide device; with The guide device a first identifying means for identifying the first photographing device installed in an area corresponding to a radio base station connected to the radio terminal; a first authentication control means for referring to the storage device and controlling first authentication for a region including a person's body included in a first image captured by the first imaging device; a second specifying means for specifying a first current position of a user who has succeeded in the first authentication based on the imaging range of the first imaging device when the first authentication is successful; guidance means for notifying the wireless terminal of a route from the first current position to the user's destination and starting guidance to the user to the destination; a third identifying means for identifying a second imaging device installed in an area included in the route; When the second image captured
- a second authentication control means for controlling the authentication of When the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the user determining means for determining that the destination has been reached; Prepare.
- a guidance method includes: the computer identifying a first imaging device installed in an area corresponding to a wireless base station connected to a wireless terminal carried by a user; Referring to a storage device in which feature information based on body images of a plurality of users is registered, performing a first authentication for a region including a person's body included in a first image captured by the first imaging device.
- a non-transitory computer-readable medium storing a guidance program according to the fourth aspect of the present disclosure a first identification process for identifying a first imaging device installed in an area corresponding to a wireless base station connected to a wireless terminal carried by a user; Referring to a storage device in which feature information based on body images of a plurality of users is registered, performing a first authentication for a region including a person's body included in a first image captured by the first imaging device.
- a first authentication control process to control; a second identification process for identifying a first current position of a user who has successfully passed the first authentication based on the shooting range of the first imaging device when the first authentication is successful; guidance processing of notifying the wireless terminal of a route from the first current position to the user's destination and starting guidance to the user to the destination; a third identification process for identifying a second imaging device installed in an area included in the route;
- the storage device is referred to, and the second image for the region including the body of the person included in the second image is obtained.
- a second authentication control process for controlling the authentication of
- the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the user a determination process for determining that the destination has been reached; run on the computer.
- FIG. 2 is a block diagram showing the configuration of the guide device according to the first embodiment
- FIG. 4 is a flow chart showing the flow of a guidance method according to the first embodiment
- FIG. 11 is a block diagram showing the overall configuration of a guidance system according to a second embodiment
- FIG. 11 is a diagram for explaining an outline of a facility according to the second embodiment
- FIG. FIG. 11 is a block diagram showing the configuration of an authentication device according to the second embodiment
- FIG. FIG. 7 is a block diagram showing the configuration of a guide device according to a second embodiment
- FIG. FIG. 12 is a sequence diagram showing the flow of user information registration processing according to the second embodiment
- 9 is a flow chart showing the flow of face information registration processing by the authentication device according to the second embodiment
- FIG. 12 is a flow chart showing the flow of arrival determination processing according to the third embodiment;
- FIG. FIG. 16 is a flow chart showing the flow of route guidance setting processing according to example 4-1 of the fourth embodiment;
- FIG. 16 is a flow chart showing the flow of route guidance setting processing according to example 4-2 of the fourth embodiment;
- FIG. is a flow chart showing the flow of route guidance setting processing according to example 4-3 of the fourth embodiment;
- FIG. 14 is a diagram showing an example of route information candidates according to the fourth embodiment;
- FIG. 16 is a flow chart showing the flow of route guidance setting processing according to the fifth embodiment;
- FIG. 1 is a block diagram showing the configuration of a guide device 1 according to the first embodiment.
- the guidance device 1 is an information processing device for guiding a user traveling with a wireless terminal (not shown) on a route to a desired destination.
- the guidance device 1 is connected to a plurality of radio base stations (not shown), a plurality of photographing devices (not shown), a storage device (not shown), etc. via a communication network (not shown).
- a radio base station is installed at a predetermined point, establishes a radio connection with a radio terminal existing within a coverage area, and performs radio communication.
- the radio base station relays communication between the radio terminal and the guidance device 1 .
- the radio base station transmits to the guidance device 1 information on connection with the radio terminal, including its own identification information, received radio wave intensity of the radio wave at the radio terminal, and the like.
- the imaging device is a monitoring camera or the like installed at a point within the coverage area of any one of the above wireless base stations.
- the photographing device transmits the photographed image to the guidance device 1 .
- the storage device is a database in which feature information based on body images of multiple users is registered.
- the storage device may perform biometric authentication or person recognition by matching a body image and its feature information input from the outside using registered feature information. In this case, the storage device may be called an authentication device.
- the storage device may be built in the guidance device 1 .
- the guidance device 1 includes a first identification unit 11, a first authentication control unit 12, a second identification unit 13, a guidance unit 14, a third identification unit 15, a second authentication control unit 16, and a determination unit 17.
- the first identifying unit 11 identifies the first photographing device installed in the area corresponding to the wireless base station connected to the wireless terminal carried by the user.
- the first authentication control unit 12 refers to a storage device in which feature information based on body images of a plurality of users is registered, and identifies the body of a person included in the first image captured by the first imaging device. Control the first authentication for the containing realm.
- the second specifying unit 13 specifies the first current position of the user who has succeeded in the first authentication based on the imaging range of the first imaging device.
- the guidance unit 14 notifies the wireless terminal of the route from the first current position to the user's destination, and starts guiding the user to the destination.
- the user's destination may be specified by the user through the wireless terminal, preset in the guidance device 1, or determined by the guidance device 1 based on a predetermined criterion.
- a third identifying unit 15 identifies a second imaging device installed in an area included in the route.
- the second authentication control unit 16 refers to the storage device and identifies the body of the person included in the second image. Controls secondary authentication for the containing realm. If the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the determination unit 17 determines that the user is Determine that the destination has been reached.
- the first authentication control unit 12 or the second authentication control unit 16 uses the feature information registered in the storage device and the feature information of the region including the person's body extracted from the first or second image. You may control 1st or 2nd authentication by collating with. Alternatively, the first authentication control unit 12 or the second authentication control unit 16 transmits the image of the region including the body of the person extracted from the first or second image and the feature information to the authentication device described above. It is also possible to cause the authentication device to perform the authentication.
- FIG. 2 is a flow chart showing the flow of the guidance method according to the first embodiment.
- the first identifying unit 11 identifies the first photographing device installed in the area corresponding to the wireless base station connected to the wireless terminal carried by the user (S11).
- the first authentication control unit 12 refers to the storage device in which the feature information based on the body images of a plurality of users is registered, and identifies the person included in the first image captured by the first imaging device. (S12).
- the second specifying unit 13 specifies the first current position of the user who has succeeded in the first authentication based on the imaging range of the first imaging device (S13).
- the guiding unit 14 notifies the wireless terminal of the route from the first current position to the user's destination, and starts guiding the user to the destination (S14). Also, the third identifying unit 15 identifies the second photographing device installed in the area included in the route. (S15).
- the second authentication control unit 16 refers to the storage device to identify the body of the person included in the second image. (S16). Then, if the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the determination unit 17 It is determined that the user has arrived at the destination (S17).
- the user's current position is determined within the coverage area of the radio base station from the information of the radio base station connected to the radio terminal carried by the user. identify something. Then, the user's current position can be narrowed down to the imaging range of the imaging device by authentication based on the image captured by the imaging device installed within the coverage area of the radio base station. Therefore, the current position of the user can be specified with high accuracy. Then, the guidance device 1 derives a route from the current position to the destination, and guides the user along the route to the destination.
- the guide device 1 identifies the second image capturing device installed in the area included in the route, thereby narrowing down the image capturing devices to be used for identifying the current position by authenticating the user until the destination is reached. be able to.
- the guidance device 1 narrows down, from among the many photographing devices installed at various points, the photographing devices on the route to the destination of the user who has succeeded in the first authentication, thereby streamlining the arrival determination process. can.
- a user who has successfully authenticated an image captured by the narrowed-down second photographing device matches the user authenticated at the departure point, and the second photographing device is installed near the destination. , it can be determined that the user has reached the destination. Therefore, the processing (guidance and confirmation of arrival at the destination) when guiding the user moving with the wireless communication terminal from the current position to the appropriate destination can be made more efficient.
- the guide device 1 includes a processor, memory, and storage device (not shown). Further, the storage device stores a computer program in which processing of the guidance method according to the present embodiment is implemented. Then, the processor loads a computer program or the like from the storage device into the memory and executes the computer program. Thereby, the processor includes the first identification unit 11, the first authentication control unit 12, the second identification unit 13, the guide unit 14, the third identification unit 15, the second authentication control unit 16, and the determination unit. 17 functions are realized.
- each component of the guidance device 1 may be realized by dedicated hardware.
- part or all of each component of each device may be implemented by general-purpose or dedicated circuitry, processors, etc., or combinations thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus.
- a part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs.
- a processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a quantum processor (quantum computer control chip), or the like can be used.
- the second embodiment is a specific example of the first embodiment described above.
- the second embodiment shows an example of guiding the user indoors on a route to a desired destination, where the positioning accuracy of the satellite positioning system is lower than outdoors, compared to outdoors.
- the second embodiment can also be applied outdoors.
- FIG. 3 is a block diagram showing the overall configuration of the guidance system 1000 according to the second embodiment.
- the guidance system 1000 is an information system that guides users U1 and U2 in the facility 200 on a route from their current position to a desired destination, and performs accurate arrival determination.
- Facility 200 is, for example, a building that includes a railway station and commercial facilities, but is not limited to this.
- the guidance system 1000 includes radio base stations 231 and 232, cameras 241 to 244, a facility management server 300, an authentication device 400 and a guidance device 500.
- Wireless base stations 231 and 232, cameras 241 to 244, facility management server 300, authentication device 400, and guidance device 500 are connected via network N so as to be able to communicate with each other.
- the network N is a wired or wireless communication line or communication network, such as an in-store LAN (Local Area Network), the Internet, a wireless communication network, a mobile phone network, or the like.
- the network N does not care about the type of communication protocol.
- the facility 200 has wireless base stations 231 and 232 and cameras 241 to 244 installed.
- the facility 200 includes a coverage area 210 that is a radio communication range of a radio base station 231 and a coverage area 220 of a radio base station 232 .
- Cover areas 210 and 220 generally have different wireless communication ranges, but they may partially overlap.
- the radio base station 231 establishes a radio connection with the radio terminal 101 existing within the coverage area 210, performs radio communication with the radio terminal 101, and relays communication between the radio terminal 101 and the guidance device 500 or the like via the network N. do.
- the radio base station 232 establishes a radio connection with the radio terminal 102 existing within the coverage area 220, performs radio communication with the radio terminal 102, and relays communication between the radio terminal 102 and the guidance device 500 or the like via the network N. do.
- Cameras 241 to 244 are imaging devices that monitor the inside of facility 200 .
- the camera 241 and the like photograph a predetermined photographing range within the facility 200 and transmit the photographed image to the guidance device 500 via the network N.
- FIG. Cameras 241 and 242 are installed within the coverage area 210 .
- Cameras 243 and 244 are installed within the coverage area 220 . Also, although the cameras 241 to 244 generally have different photographing ranges, the photographing ranges may partially overlap.
- the users U1 and U2 are users of the facility 200.
- User U1 carries wireless terminal 101 and is within coverage area 210 of wireless base station 231 .
- the user U1 is not within the photographing range of the camera 241 installed in the same cover area 210, and the image photographed by the camera 241 includes the face, body shape, etc. of the user U1. Make it not exist.
- a user U2 carries a wireless terminal 102 and is present within the coverage area 220 of a wireless base station 232 .
- user U2 exists within the imaging range of camera 244 installed within cover area 220 . Therefore, it is assumed that the image captured by the camera 244 includes the face, body shape, and the like of the user U2.
- the user U2 is not within the imaging range of the camera 243 installed in the same cover area 220, and the image captured by the camera 243 includes the face, body shape, etc. of the user U2. Make it not exist.
- the wireless terminals 101 and 102 are information terminals capable of wireless communication, such as smartphones, tablet terminals, and wearable terminals.
- a wireless terminal 101 or the like establishes a wireless connection with a wireless base station within the coverage area, and communicates with the guidance device 500 or the like on the network N via the wireless base station. After establishing a wireless connection with the wireless base station, the wireless terminal 101 or the like measures the strength of the radio wave received from the wireless base station.
- the wireless terminal 101 or the like accepts a desired destination in response to the operation of the user U1 or the like, and sends a route guidance request including the destination, connection information with the connected wireless base station, and received radio wave intensity. 500.
- the wireless terminal 101 or the like receives the route information candidates from the guidance device 500 and displays them on the screen.
- the wireless terminal 101 or the like transmits the route information selected by the user to the guidance device 500, receives guidance information to the destination from the guidance device 500, and outputs the guidance information by display or voice.
- the radio terminal 101 and the like transmit the current position notification to the guidance device 500 after the guidance is started until the arrival notification is received.
- the current position notification includes connection information with the connected wireless base station and received radio wave intensity.
- the current position notification may include a terminal ID, a user ID, a guidance ID, and the like.
- FIG. 4 is a diagram for explaining the outline of the facility 200 according to the second embodiment.
- the facility 200 has multiple floors such as floors B1, F1, and F2, and the accuracy of position determination by the satellite positioning system is lower than outdoors.
- floors B1, F1, and F2 For example, it is assumed that a plurality of platforms B11 and B12 of a railway station are present on floor B1.
- Radio base stations 233 and 234 and cameras 250 to 253 are installed on floor B1.
- the wireless base station 233 establishes a wireless communication connection with the wireless terminal 101 within the coverage area 211 and performs wireless communication.
- Cameras 250 and 251 are installed within the coverage area 211 .
- user U1 carrying wireless terminal 101 is present within the imaging range of home B11 and camera 250 .
- the radio base station 234 puts the coverage area 212 within the radio communication range.
- Cameras 252 and 253 are installed within the coverage area 212 .
- the escalator E1 on the home B11 of the floor B1 is a moving means and a moving route to the floor F1.
- Elevators E2 and E3 of platform B12 on floor B1 are a means of transportation and a movement route to floors F1 and F2.
- Wireless base stations 235 and 236 and cameras 254 to 256 are installed on floor F1.
- the radio base station 235 puts the coverage area 213 within the radio communication range.
- a camera 254 is installed within the coverage area 213 .
- the wireless base station 236 places the coverage area 214 within the wireless communication range.
- Cameras 255 and 256 are installed within the coverage area 214 .
- Wireless base stations 237 and 238 and cameras 257 to 259 are installed on floor F2.
- a plurality of shops such as the shop 261 are installed on the floor F2.
- the radio base station 237 puts the coverage area 215 within the radio communication range.
- a camera 257 is installed within the coverage area 215 .
- the radio base station 237 establishes a radio communication connection with the radio terminal 102 within the coverage area 215 and performs radio communication.
- a camera 257 is installed within the coverage area 215 .
- user U2 carrying wireless terminal 102 is present in front of store 261 on floor F2 and within the shooting range of camera 257 .
- the wireless base station 238 places the coverage area 216 within the wireless communication range.
- Cameras 258 and 259 are installed within the coverage area 216 .
- the facility management server 300 is a computer server that manages various information about the facility 200 .
- the facility management server 300 stores in-facility map information 310 .
- the in-facility map information 310 is map information in the facility 200, and includes, for example, two-dimensional or three-dimensional coordinate information indicating the layout of each of the floors B1, F1, and F2 and the positions of the stores 261 and the like.
- the in-facility map information 310 indicates the latest information such as the layout of the facility 200 that has been changed due to construction or the like, temporary passage information, and the like.
- the facility management server 300 transmits in-facility map information 310 to the guidance device 500 via the network N in response to a reference request from the guidance device 500 .
- the authentication device 400 is an information processing device that manages the user's facial feature information and performs face authentication. In addition, in response to a face authentication request received from the outside, the authentication device 400 compares the face image or face feature information included in the request with the face feature information of each user, and requests the matching result (authentication result). Reply to original.
- FIG. 5 is a block diagram showing the configuration of the authentication device 400 according to the second embodiment.
- Authentication device 400 includes face information DB 410 , face detection section 420 , feature point extraction section 430 , registration section 440 , and authentication section 450 .
- the face information DB 410 associates and stores a user ID 411 and face feature information 412 of the user ID.
- the facial feature information 412 is a set of feature points extracted from the facial image.
- the authentication device 400 may delete the facial feature information 412 in the facial feature DB 410 in response to a request from a user or the like corresponding to the facial feature information 412 .
- authentication device 400 may delete facial feature information 412 after a certain period of time has passed since registration.
- the face detection unit 420 detects a face area included in a registration image for registering face information, and outputs it to the feature point extraction unit 430 .
- Feature point extraction section 430 extracts feature points from the face area detected by face detection section 420 and outputs facial feature information to registration section 440 . Further, feature point extraction section 430 extracts feature points included in the facial image received from store management apparatus 500 or the like, and outputs facial feature information to authentication section 450 .
- the registration unit 440 newly issues a user ID 411 when registering facial feature information.
- the registration unit 440 associates the issued user ID 411 with the facial feature information 412 extracted from the registered image and registers them in the facial information DB 410 .
- Authentication unit 450 performs face authentication using facial feature information 412 . Specifically, the authentication unit 450 collates the facial feature information extracted from the facial image with the facial feature information 412 in the facial information DB 410 . If the verification is successful, the authentication unit 450 identifies the user ID 411 associated with the verified facial feature information 412 .
- the authenticating unit 450 replies to the requester as a face authentication result indicating whether or not the facial feature information matches. Whether the facial feature information matches or not corresponds to the success or failure of the authentication. Note that matching of facial feature information (matching) means a case where the degree of matching is equal to or greater than a threshold. Also, the face authentication result shall include the specified user ID when the face authentication is successful.
- the guiding device 500 is an example of the guiding device 1 described above.
- the guidance device 500 is an information processing device for guiding a route to a desired destination within the facility 200 to the user U1 or the like who moves with the wireless terminal 101 or the like.
- the guidance device 500 may be made redundant by a plurality of servers, and each functional block may be realized by a plurality of computers.
- FIG. 6 is a block diagram showing the configuration of the guide device 500 according to the second embodiment.
- Guidance device 500 includes storage unit 510 , memory 520 , communication unit 530 and control unit 540 .
- the storage unit 510 is an example of a storage device such as a hard disk or flash memory.
- the storage unit 510 stores a program 511 , user information 512 , base station information 513 , camera information 514 and guidance management information 515 .
- the program 511 is a computer program in which user information registration processing, route guidance setting processing, arrival determination processing, and the like according to the second embodiment are implemented.
- the user information 512 is information of users registered as users of the facility 200 .
- the user information 512 is information in which a user ID 5121, personal information 5122 and terminal ID 5123 are associated with each other.
- User ID 5121 is user identification information.
- the user ID 5121 is, for example, a member ID of a member of the facility 200 or the like.
- the user ID 5121 is information identically or uniquely corresponding to the user ID 411 managed in association with the facial feature information 412 in the face information DB 410 of the authentication device 400 . Therefore, the user information 512 can be said to be information associated with the feature information for registration of the user via the user ID 5121 .
- Personal information 5122 includes name, age, sex, address, payment information, and the like.
- the payment information includes credit card information, bank account information, and the like.
- the terminal ID 5123 is identification information of the wireless terminal carried by the user. Note that the personal information 5122 and the terminal ID 5123 are not essential in this embodiment.
- the base station information 513 is management information of the wireless base stations installed in the facility 200 .
- the base station information 513 is information that associates a base station ID 5131, a coverage area 5132, and camera IDs 51331 . . . 5133n (n is a natural number of 1 or more).
- the base station ID 5131 is identification information of the wireless base station.
- Base station ID 5131 is, for example, SSID.
- the coverage area 5132 is information that defines the wireless communication area of the wireless base station. Cover area 5132 is, for example, a region defined by two-dimensional or three-dimensional coordinates.
- the camera ID 51331 and the like are identification information of one or more cameras installed within the cover area 5132 .
- the camera information 514 is management information of the surveillance cameras installed in the facility 200 .
- the camera information 514 is information in which the camera ID 5141 and the shooting range 5142 are associated with each other.
- a camera ID 5141 is identification information of a surveillance camera. Note that the camera ID 5141 may be defined in two or more base station information 513 if it belongs to multiple coverage areas.
- the shooting range 5142 is information that defines the shooting range of the surveillance camera.
- the imaging range 5142 is, for example, an area defined by two-dimensional or three-dimensional coordinates. Note that the shooting range 5142 is assumed to be a range narrower than the cover area 5132 .
- the guidance management information 515 is management information such as route information for guiding the user.
- the guidance management information 515 is information in which a guidance ID 5151, a user ID 5152, route information 5153, a departure point 5154, a departure time 5155, a destination 5156 and an arrival time 5157 are associated with each other.
- Guidance ID 5151 is identification information of guidance management information and route information.
- the guide ID 5151 may also be called a route ID.
- the user ID 5152 is identification information of a user to whom the route information is guided, and is information corresponding to the user ID 5121 described above.
- the route information 5153 is information indicating a route from the starting point 5154 to the destination 5156 within the facility 200 .
- the route information 5153 includes floors, location information (coordinates) of passing points within the floors, means of transportation between floors (elevators, etc.), and the like.
- the place of departure 5154 is the position information of the place of departure of the user who is the target of guidance.
- the starting point 5154 may be the current location when the user requested route guidance.
- the departure time 5155 is the time when the route information is generated, the time when the user selects the recommended route information, and the guidance is started.
- the destination 5156 is location information of the destination specified in the route guidance request.
- the arrival time 5157 is the time when it is determined that the user has arrived at the destination.
- the guidance management information 515 may separately include an arrival flag.
- the memory 520 is a volatile storage device such as RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 540 operates.
- a communication unit 530 is a communication interface with the network N. FIG.
- the control unit 540 is a processor that controls each component of the guide device 500, that is, a control device.
- the control unit 540 loads the program 511 from the storage unit 510 into the memory 520 and executes the program 511 .
- the control unit 540 realizes the functions of the acquisition unit 541 , the registration unit 542 , the identification unit 543 , the authentication control unit 544 , the guide unit 545 and the determination unit 546 .
- the acquisition unit 541 receives a user information registration request from the wireless terminal 101 or the like via the wireless base station 231 or the like and the network N. Also, the acquisition unit 541 receives a route guidance request from the wireless terminal 101 or the like via the wireless base station 231 or the like and the network N. FIG. In addition, the acquisition unit 541 acquires captured surveillance images (first image and second image) from the camera 241 or the like via the network N. FIG. Also, the acquisition unit 541 receives a current position notification from the wireless terminal 101 or the like via the wireless base station 231 or the like and the network N. FIG.
- the registration unit 542 performs user information registration processing. Specifically, registration unit 542 registers facial feature information in authentication apparatus 400 for the face image included in the user information registration request, and acquires the user ID issued at the time of registration. Then, the registration unit 542 associates the user ID with the personal information and the terminal ID included in the registration request to generate the user information 512 and registers it in the storage unit 510 .
- the specifying unit 543 is an example of the first specifying unit 11, the second specifying unit 13, and the third specifying unit 15 described above.
- the specifying unit 543 specifies a part of the area covered by the wireless base station based on the connection information (SSID, etc.) and received radio wave intensity included in the route guidance request.
- the identifying unit 543 identifies an area corresponding to the wireless base station connected to the wireless terminal.
- the specifying unit 543 then specifies the first camera installed in the specified area.
- the specifying unit 543 determines the first current status of the user who has succeeded in the first authentication based on the shooting range of the specified first camera. Locate. The specifying unit 543 then specifies the second camera installed in the area included in the route to be guided. At the same time, the specifying unit 543 associates the second camera with the user ID that has succeeded in the first authentication, and stores the associated user ID in the storage unit 510 or the memory 520 .
- the specifying unit 543 specifies the second current position of the user who has succeeded in the second authentication based on the shooting range of the second camera.
- the authentication control unit 544 is an example of the first authentication control unit 12 and the second authentication control unit 16 described above.
- the authentication control unit 544 refers to the face information DB 410 of the authentication device 400 to refer to the first and second images for the regions including the person's body included in the first and second images captured by the first and second cameras. 2 authentication.
- authentication control section 544 extracts a person's face area as a face image from the first and second images, and transmits a face authentication request including the face image to authentication device 400 .
- Authentication control unit 544 then receives the result of face authentication from authentication device 400 .
- the authentication control unit 544 may specify feature information corresponding to a user who has successfully completed the first authentication from the face information DB 410 of the authentication device 400 to control the second authentication. Specifically, authentication control section 544 may transmit to authentication device 400 a face authentication request including the face image extracted from the second image and the user ID for which the first authentication was successful. As a result, authentication device 400 can perform one-to-one face authentication with facial feature information corresponding to the specified user ID. Therefore, the cost of authentication processing can be reduced, and authentication efficiency can be improved.
- the guide portion 545 is an example of the guide portion 14 described above.
- the guidance unit 545 derives one or more pieces of route information from the first current position (departure point) to the destination, and registers the route information and the like in the guidance management information.
- Guidance unit 545 then notifies the wireless terminal of the derived route information.
- the guidance unit 545 starts guiding the user to the destination along the selected route information.
- the guidance unit 545 transmits display information and voice information for guiding to the destination along the route information to the wireless terminal as guidance information.
- the determination unit 546 is an example of the determination unit 17 described above.
- the determination unit 546 determines whether the user who succeeded in the first authentication matches the user who succeeded in the second authentication. Specifically, when the user associated with the second camera and the user who succeeded in the second authentication match, the determination unit 546 determines whether the user who succeeded in the first authentication It is determined that the successful user matches. Also, the determination unit 546 determines whether the destination is included in the area where the second camera is installed. Specifically, determination unit 546 determines whether the second current position is included in the destination. If the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the determination unit 546 determines that the user is Determine that the destination has been reached.
- the determination unit 546 determines that the first authentication is successful if the second authentication is successful. It may be determined that the user who performed the second authentication matches the user who succeeded in the second authentication.
- FIG. 7 is a sequence diagram showing the flow of user information registration processing according to the second embodiment.
- the user U1 uses the wireless terminal 101 or another information processing device to register the user information of the facility 200.
- the wireless terminal 101 or the like acquires the face image of the user U1.
- the wireless terminal 101 captures the face of the user U1 by the operation of the user U1 and acquires the face image.
- the wireless terminal 101 receives input of personal information from the user U1.
- the wireless terminal 101 sends a registration request for user information including the face image, personal information, and the terminal ID of the wireless terminal 101 via the wireless base station and the network N which are connected at that time, according to the operation of the user U1. and transmits it to the guidance device 500 .
- the guidance device 500 receives a registration request for user information including the face image of the user U1 from the wireless terminal 101 or the like via the network N (S21).
- guidance device 500 extracts a face image from the registration request, and transmits a face information registration request including the face image to authentication device 400 via network N (S22).
- authentication device 400 performs face information registration processing.
- FIG. 8 is a flow chart showing the flow of face information registration processing by the authentication device according to the second embodiment.
- the authentication device 400 receives a face information registration request (S201). For example, the authentication device 400 receives a face information registration request via the network N from the guide device 500 .
- the face detection unit 420 detects a face area from the face image included in the face information registration request (S202).
- the feature point extraction unit 430 extracts feature points (facial feature information) from the face area detected in step S202 (S203).
- the registration unit 440 issues a user ID 411 (S204).
- the registration unit 440 associates the extracted facial feature information 412 with the issued user ID 411 and registers them in the facial information DB 410 (S205).
- the registration unit 440 returns the issued user ID 411 to the request source (for example, the guidance device 500) (S206).
- the authentication device 400 may perform face information registration processing in response to a face information registration request received from an arbitrary information registration terminal.
- the information registration terminal is an information processing device such as a personal computer, a smart phone, or a tablet terminal.
- the information registration terminal may be the wireless terminal 101 or the like.
- Guidance device 500 receives the face information registration result (user ID) from authentication device 400 via network N (S23).
- Guidance device 500 then extracts the personal information and the terminal ID from the registration request. Then, the guidance device 500 registers the user information 512 associated with the received user ID 5121, personal information 5122 and terminal ID 5123 in the storage unit 510 (S24).
- FIG. 9 is a sequence diagram showing the flow of setting and starting route guidance according to the second embodiment.
- a case will be described in which user U1 in facility 200 moves from near the imaging range of camera 242 to a store near the imaging range of camera 244 .
- wireless connection is established with the wireless base station 231 (S301).
- wireless terminal 101 acquires and stores the SSID of wireless base station 231 .
- the wireless terminal 101 receives radio waves from the wireless base station 231, measures the received radio wave intensity, and stores it.
- the radio base station 231 acquires and stores the terminal ID of the radio terminal 101 .
- the wireless terminal 101 accepts the destination (store name, etc.) according to the operation of the user U1, and transmits a route guidance request to the wireless base station 231 (S302).
- the wireless terminal 101 includes the destination, connection information (SSID, etc.) with the wireless base station 231, and received radio wave intensity in the route guidance request.
- the radio base station 231 then transmits the route guidance request received from the radio terminal 101 to the guidance device 500 via the network N (S303).
- FIG. 10 is a flowchart showing the flow of route guidance setting processing according to the second embodiment.
- the guidance device 500 receives a route guidance request from the radio base station 231 via the network N (S321).
- the guidance device 500 identifies the first camera (S322).
- the guidance device 500 selects the coverage of the wireless base station 231 from the base station information 513 based on the connection information (such as SSID, base station ID 5131) and the received radio wave intensity included in the received route guidance request. A part of the area 5132 is specified.
- the guide device 500 identifies the camera ID 51331 etc.
- the guidance device 500 identifies the camera ID of the imaging range including the identified area from the imaging range 5142 associated with the identified camera ID 5141 .
- the camera ID specified in this way is the first camera.
- guide device 500 specifies camera 242 as the first camera.
- the cameras 241 to 244 in the facility 200 regularly take pictures and transmit the taken images to the guidance device 500.
- the first camera (camera 242) captures an image of the imaging range (S305 in FIG. 9) and transmits the captured image to the guidance device 500 via the network N (S306 in FIG. 9).
- the guide device 500 acquires the captured image from the first camera (S323). Specifically, the guidance device 500 acquires the surveillance image captured by the camera 242 via the network N. FIG. Alternatively, the guide device 500 acquires, via the network N, surveillance images captured by the cameras 241 to 244 inside the facility 200 . At this time, the guidance device 500 may select the monitoring image acquired from the first camera among the acquired monitoring images as the captured image (first image) in step S323.
- the guidance device 500 extracts the face image from the captured image (S324). Specifically, guidance device 500 detects a face region of a person from the first image, and extracts the face region from the first image as a face image. Subsequently, the guide device 500 transmits a face authentication request including the face image to the authentication device 400 via the network N (S325, S307 in FIG. 9). In response, the authentication device 400 performs face authentication processing (S308 in FIG. 9). Then, the authentication device 400 transmits the face authentication result to the guide device 500 via the network N (S309 in FIG. 9).
- FIG. 11 is a flow chart showing the flow of face authentication processing by the authentication device according to the second embodiment.
- the authentication device 400 receives a face authentication request from the guide device 500 via the network N (S211).
- authentication device 400 extracts facial feature information from the face image included in the face authentication request in the same manner as in steps S202 and S203 described above.
- the authentication unit 450 of the authentication device 400 compares the facial feature information extracted from the face image included in the face authentication request with the facial feature information 412 of the face information DB 410 (S212), and calculates the matching degree. Then, the authentication unit 450 determines whether or not the degree of matching is equal to or greater than the threshold (S213).
- the authentication unit 450 identifies the user ID 411 associated with the facial feature information 412 (S214). Then, the authentication unit 450 returns the result of the face authentication including the result of the successful face authentication and the identified user ID 411 to the guidance device 500 via the network N (S215). If the degree of matching is less than the threshold in step S213, the authentication unit 450 returns the result of face authentication including the failure of the face authentication to the guidance device 500 via the network N (S216).
- Guidance device 500 receives the face authentication result from authentication device 400 via network N (S326). Then, the guidance device 500 determines whether or not the face authentication is successful (S327). Specifically, the guide device 500 refers to the face authentication result, and determines that the face authentication has succeeded if the user ID is included in the face authentication result. If it is determined that the face authentication has failed, the guidance device 500 returns to the wireless terminal 101 via the network N and the wireless base station 231 that route guidance cannot be performed because the user has failed face authentication. good.
- the guidance device 500 identifies the user's current position from the shooting range of the first camera (S328). Specifically, the guide device 500 acquires the in-facility map information 310 from the facility management server 300 via the network N.
- FIG. Guidance device 500 also identifies coordinate information where user U1 exists within facility 200 from shooting range 5142 of camera 242, the position of the body region of user U1 in the first image, and the facility map information 310. and the coordinate information is used as the current position.
- the guide device 500 derives route information (S329). Specifically, guidance device 500 sets the identified current position as the starting point. Further, the guidance device 500 acquires the destination from the route guidance request, and refers to the in-facility map information 310 to specify coordinate information corresponding to the destination (store name). Then, the guide device 500 refers to the in-facility map information 310 and derives route information from the departure point to the destination. At this time, the guidance device 500 may derive a plurality of pieces of route information as recommendation candidates.
- the guidance device 500 registers the derived route information and the like in the guidance management information 515 (S330). Specifically, guidance device 500 issues guidance ID 5151 and identifies the user ID of user U1 who has successfully completed face authentication. The guide device 500 then registers the issued guide ID 5151 , the specified user ID 5152 , the derived route information 5153 , the guide management information 515 in which the departure point 5154 and the destination 5156 are associated with each other in the storage unit 510 .
- the guide device 500 identifies the second camera on the derived route (S331). Specifically, the guidance device 500 refers to the facility map information 310 and identifies the cameras on the route of the derived route information. Here, it is assumed that the guidance device 500 has identified the cameras 243 and 244 as the second cameras. Then, the guide device 500 associates (the camera ID of) the second camera with the user ID for which face authentication has succeeded, and stores them in the storage unit 510 or the memory 520 (S332). As a result, the guidance device 500 can grasp that the user U1 is moving along the route when the user U1 succeeds in the face authentication at each camera on the route of the route information.
- the guidance device 500 notifies the wireless terminal 101 of the derived route information (S333).
- the guidance device 500 transmits one or more recommended candidates for route information derived in step S329 to the radio base station 231 via the network N (S310).
- the radio base station 231 transmits the received recommendation candidate of the route information to the radio terminal 101 (S311).
- the wireless terminal 101 receives recommended route information candidates from the wireless base station 231 and displays them on the screen.
- the wireless terminal 101 receives selection of route information from the user U1 (S312).
- the wireless terminal 101 transmits (identification information of) the selected route information to the wireless base station 231 (S313).
- the radio base station 231 transmits the received selected route information to the guidance device 500 via the network N (S314).
- the guidance device 500 receives the selected route information from the radio base station 231 via the network N, and saves the current time in the departure time 5155 of the guidance management information 515 corresponding to the selected route information. do. Then, the guidance device 500 starts guidance for the selected route information (S315). Specifically, the guidance device 500 transmits guidance information for guiding to the destination along the route information to the wireless base station 231 via the network N (S316). The radio base station 231 then transmits the received guide information to the radio terminal 101 (S317). In response to this, the wireless terminal 101 displays the received guide information on the screen or outputs it by voice. Then, the user U1 starts moving to the destination based on the plan information. That is, the wireless terminal 101 moves together with the user U1 (S318).
- FIG. 12 is a sequence diagram showing the flow of arrival determination processing according to the second embodiment.
- the wireless terminal 101 carried by the user U1 exists within the coverage area 220 after FIG.
- the wireless terminal 101 transmits a current position notification to the wireless base station 232 (S342).
- the wireless terminal 101 includes connection information (SSID, etc.) with the wireless base station 232 and received radio wave intensity in the local position notification.
- the radio base station 232 transmits the local position notification received from the radio terminal 101 to the guidance device 500 via the network N (S343).
- FIG. 13 is a flowchart showing the flow of arrival determination processing according to the second embodiment.
- the guide device 500 receives a current position notification from the radio base station 231 via the network N (S351).
- the guidance device 500 identifies the second camera (S352).
- Guidance device 500 identifies a partial region in coverage area 5132 of wireless base station 232 and identifies a camera ID that includes that region in its imaging range, in the same manner as in step S322 described above.
- guide device 500 specifies camera 244 as the second camera.
- the guidance device 500 acquires the captured image from the second camera (S353). Specifically, the guidance device 500 acquires the surveillance image captured by the camera 244 via the network N. FIG. Then, the guidance device 500 performs the same processing as steps S324 to S327 described above. That is, the guidance device 500 extracts a face image from the captured image (S354), and transmits a face authentication request including the face image to the authentication device 400 via the network N (S355, S307 in FIG. 9). In response, the authentication device 400 performs face authentication processing (S308 in FIG. 9). Then, the authentication device 400 transmits the face authentication result to the guide device 500 via the network N (S309 in FIG. 9). Guidance device 500 receives the face authentication result from authentication device 400 via network N (S356). Then, the guide device 500 determines whether or not the face authentication has succeeded (S357). Here, it is assumed that the face authentication has succeeded.
- the guidance device 500 identifies the user ID associated with the second camera (S358). That is, guidance device 500 reads from storage unit 510 or memory 520 the user ID of user U1 associated with the second camera (cameras 243 and 244) in step S332 described above.
- step S357 the face authentication is successful, and after step S358, the guidance device 500 determines whether the specified user ID (successful in the first authentication) matches the user ID for which the face authentication is successful. is determined (S359). For example, when a user other than the user U1 is photographed by the camera 243 or 244, which is the second camera, and face authentication succeeds, it is determined in step S359 that the faces do not match. If NO in step S357 or S359, the process returns to step S351.
- the guidance device 500 identifies the user's current position from the imaging range of the second camera, as in step S328 described above (S360). Then, the guidance device 500 determines whether or not the identified current position is the destination (S361). Specifically, the guidance device 500 determines whether or not the coordinate information between the destination 5156 of the guidance management information 515 and the specified current position is within a predetermined range. If it is outside the predetermined range, it is determined that the user has not arrived at the destination, and the process returns to step S351. On the other hand, if the user's current position is within the destination and the predetermined range, the guidance device 500 determines that the user has arrived at the destination (S362).
- the guidance device 500 registers the current time as the arrival time 5157 of the guidance management information 515 .
- the guidance device 500 then ends the guidance (S363).
- guidance device 500 notifies wireless terminal 101 of an arrival notification.
- guidance device 500 transmits an arrival notification to radio base station 232 via network N (S347).
- the radio base station 232 then transmits the received arrival notification to the radio terminal 101 (S348).
- the wireless terminal 101 displays the arrival notification received from the wireless base station 232 on the screen.
- steps S331 and S332 in the route guidance setting process of FIG. It is stored in association with the user ID. Then, in the arrival determination process of FIG. 13, by reading out the user ID that has succeeded in the first authentication, it is possible to compare it with the user ID that has succeeded in the second authentication. Therefore, if another user is identified by the second authentication, it can be determined that the destination has not been reached. In addition, since the second camera is narrowed down to cameras on the route, authentication processing is not performed using images captured by other cameras, and processing efficiency can be improved.
- FIG. 14 is a flow chart showing the flow of another example of arrival determination processing according to the second embodiment.
- arrival determination process of FIG. 13 is improved to further increase the processing efficiency. Description of the same processing as in FIG. 13 will be omitted.
- the guidance device 500 After identifying the user ID associated with the second camera in step S358, the guidance device 500 performs steps S354 and S355a. That is, the guidance device 500 designates the user ID identified in step S358 and transmits a face authentication request including a face image to the authentication device 400 (S355a). As a result, the authentication device 400 performs face authentication using the facial feature information 412 associated with the specified user ID 411 among the facial feature information 412 in the face information DB 410 . That is, since the authentication device 400 performs one-to-one face authentication processing, the authentication processing time can be shortened and the processing efficiency is improved as compared with the case of performing one-to-N face authentication.
- step S359 of FIG. 13 the processing efficiency can be further improved as compared with the processing of FIG.
- FIG. 15 is a diagram showing an example of route guidance according to the second embodiment.
- user U1-1 carrying wireless terminal 101-1 moves to destination P2 on next platform B12 while being at departure point P1 on platform B11 on floor B1.
- the user U1-2 and the wireless terminal 101-2 are the same as the user U1-1 and the wireless terminal 101-1, and the state when they move to the destination P2 is illustrated.
- the starting point P1 is within the cover area 211 and within the imaging range of the camera 250 .
- the wireless terminal 101-1 establishes a wireless connection with the wireless base station 233. Then, the wireless terminal 101-1 accepts the input of the destination P2 from the user U1-1, and transmits to the wireless base station 233 a route guidance request including designation of the destination P2, connection information, and received radio wave intensity.
- guidance device 500 receives a route guidance request from radio base station 233 and performs route guidance setting processing as described above. At this time, the guide device 500 identifies the camera 250 within the cover area 211 as the first camera from the connection information and the received radio wave intensity. At this time, camera 250 photographs user U 1 - 1 and transmits the photographed image to guidance device 500 . Thereby, the guide device 500 acquires an image captured by the first camera.
- Guide device 500 identifies the current position of user U1-1 as departure point P1 within the shooting range of camera 250.
- FIG. Guidance device 500 derives route information R1 for moving from departure point P1 to destination P2, notifies wireless terminal 101-1 of the information, and starts guidance to destination P2.
- the guidance device 500 identifies the cameras 252, 255, 254, 251, and 253 as the second camera group from the in-facility map information 310, the route information R1, and the position information of the destination P2.
- Guidance device 500 also associates and stores the second camera group and the user ID of user U1-1.
- the user U1-1 moves along the route information R1. Specifically, the user U1-1 moves from the starting point P1 to the escalator E1 on B11.
- wireless terminal 101 - 1 may establish a wireless connection with wireless base station 234 and transmit a current position notification to guidance device 500 .
- Camera 252 also takes an image of user U1-1.
- guide device 500 identifies the current location of user U1-1 from the image captured by camera 252 through face authentication. However, since the imaging range of camera 252 is different from destination P2, guidance device 500 does not determine that user U1-1 has arrived at destination P2 (NO in S361 of FIG. 13).
- wireless terminal 101-1 communicates with wireless base station 236 in coverage area 214, wireless base station 235 in coverage area 213, and wireless base station 233 in coverage area 211 in accordance with the movement of user U1-1. Switch the connection destination. Then, wireless terminal 101-1 may transmit the current position notification to guidance device 500 each time. In this case, user U1-1's face recognition for images taken by cameras 255, 254, and 251, which are the second cameras, is successful. However, since the imaging range of each camera is different from destination P2, guidance device 500 does not determine that user U1-1 has arrived at destination P2 (NO in S361 of FIG. 13).
- the wireless terminal 101-1 establishes a wireless connection with the wireless base station 234, and transmits a current position notification to the guidance device 500.
- the face recognition of user U1-1 on the image captured by camera 253, which is the second camera is successful.
- the user who succeeded in face recognition at the starting point P1 matches the user who succeeded in face recognition for the image captured by the second camera.
- guidance device 500 determines that user U1-1 has arrived at destination P2. End guidance.
- facility 200 is, for example, a station building that includes a railway station and commercial facilities.
- the structure of the station premises is becoming more complicated due to the expansion and renovation of station buildings and the opening of new lines. Therefore, people who have not visited the station often, foreign tourists, and the like often get lost in the station premises.
- map applications since the location information of the wireless terminal is determined by GPS, it is difficult to distinguish between layers. Accurate route guidance becomes difficult.
- the platforms are different even if they are on the same floor but are close to each other in a straight line. Even if the homes are different, the coverage area of the radio base station may be common. Therefore, it may not be possible to accurately determine that the user has moved from the home of the starting point and arrived at another target home on the same level only from the connection information of the wireless terminal and the received radio wave intensity.
- the correspondence relationship between the wireless base station installed in the facility and the plurality of cameras installed in its coverage area (for example, the base station information 513 and the camera information 514 in FIG. 6) is held in advance.
- the floor in the facility by the installation position of each camera. Therefore, by using the connection information between the wireless terminal carried by the user and the wireless base station, and the received radio wave intensity of the wireless terminal, the existence range of the wireless terminal within the coverage area can be narrowed down to some extent. Then, the user's current position can be accurately identified to the hierarchical level or the area within the floor by facial recognition of the image captured by the camera within the narrowed existence range.
- the latest in-facility map information 310 it is possible to derive realistic route information from the user's departure point to the destination.
- the second camera installed in each covered area on the route with the user ID for which the face authentication was successful at the departure point, it can be used to track the current position of the moving user. It is possible to narrow down the cameras that can be used and reduce unnecessary face recognition processing.
- the users who have succeeded in the first authentication and the second authentication match, and the current position where the second authentication has succeeded matches the destination, it is possible to accurately determine that the destination has been reached.
- the third embodiment is an improved example of the second embodiment described above.
- a third identifying unit according to the third embodiment identifies an imaging device installed in an area corresponding to the destination on the route as the second imaging device. Then, when the user who succeeded in the first authentication matches the user who succeeded in the second authentication, the determination unit determines that the user has arrived at the destination.
- FIG. 16 is a diagram showing an example of route guidance setting processing according to the third embodiment.
- FIG. 16 differs from FIG. 10 in that S331 is replaced with S331b. Since other processes are the same as those in FIG. 10, overlapping descriptions will be omitted as appropriate.
- the guide device 500 identifies the second camera installed in the area corresponding to the destination (S331b).
- the guidance device 500 refers to the facility map information 310 and specifies only the camera 253 that includes the destination P2 in its shooting range as the second camera. In other words, the guidance device 500 narrows down the camera corresponding to the destination among the plurality of cameras on the route among the plurality of cameras in the facility 200 .
- the guidance device 500 associates and stores the camera ID of the camera 253, which is the second camera, and the user ID for which the face authentication for the captured image of the camera 250 has succeeded (S332).
- FIG. 17 is a flowchart showing the flow of arrival determination processing according to the third embodiment.
- the guidance device 500 identifies only the camera 253 as the second camera. Therefore, after step S353, face authentication processing is not performed on the captured images captured by a camera other than the camera 253. FIG. Therefore, the cost of face authentication can be reduced.
- step S358 the guidance device 500 reads from the storage unit 510 or the memory 520 the user ID of the user U1-1 associated with the camera 253 in step S332 described above.
- the imaging range of the camera 253 includes the destination P2. Therefore, if the user ID that has successfully passed face authentication (second authentication) for the image captured by camera 253 matches the user ID (user U1-1) that has successfully passed first authentication (YES in S359), user U1 -1 can be considered to have arrived at destination P2. Therefore, the processing of steps S360 and S361 in FIG. 13 described above can be omitted.
- Embodiment 4 is an improved example of Embodiment 2 or 3 described above.
- the facility is a railway station
- idle time may occur due to train transfers.
- it is possible to drop in at any place in the facility during free time while moving from the getting-off platform to the next boarding platform.
- an appropriate spot such as a store
- the travel time from the current position to the place to drop by, the staying time at that place, and the travel time from that place to the destination are taken into account, it is difficult to judge whether there is spare time.
- the guidance unit based on at least one of the idle time until the user arrives at the destination from the first current position, or the attribute information of the user, elect the land. Then, the guidance unit derives the route from the first current position to the destination via the stopover place, notifies the wireless terminal of the derived route, and starts guiding the user to the stopover place. do.
- the guidance unit derives the route from the first current position to the destination via the stopover place, notifies the wireless terminal of the derived route, and starts guiding the user to the stopover place. do.
- the guidance unit derives the route from the first current position to the destination via the stopover place, notifies the wireless terminal of the derived route, and starts guiding the user to the stopover place. do.
- the user can directly move to a place not specified, and the user can spend a meaningful time and experience.
- the free time can be used effectively.
- the user can have a meaningful experience by knowing the existence of stores and places that match his/her interests and tastes, and moving and staying there.
- the guidance unit selects a plurality of candidates for intermediate stays based on at least one of the free time and attribute information, and selects a destination from the first current position via at least one of the candidates for intermediate stays. It is good to derive multiple routes to Then, the guidance unit notifies the wireless terminal of the plurality of derived routes. In this way, by recommending route candidates that pass through a plurality of stopover points, the user can select a stopover point and route that suit his/her preferences from among various options.
- the guiding unit may analyze the feature information corresponding to the user who has successfully completed the first authentication, and extract the attribute information. As a result, the user can move by knowing the place of stay on the way, which is automatically taken into consideration the latent interest, etc., without inputting the attribute information by himself/herself.
- FIG. 18 is a flow chart showing the flow of route guidance setting processing according to example 4-1 of the fourth embodiment. It should be noted that redundant description of the same processing as in FIG. 10 will be omitted as appropriate.
- the guidance device 500 analyzes the face image and extracts the user's attribute information (S371a). Specifically, the guidance device 500 extracts the user's age, gender, nationality, race, preferences, etc. from the face image as attribute information using a known image analysis technique. Note that the guidance device 500 may acquire attribute information input by the user.
- the guidance device 500 selects a candidate for an intermediate stop based on the in-facility map information 310 and attribute information (S372a).
- Guidance device 500 may select a plurality of candidates.
- the guidance device 500 may use a recommendation model that inputs attribute information and outputs candidates for intermediate stops such as shops.
- the recommendation model may be a program module in which a predetermined logic is implemented, or a trained AI (Artificial intelligence) model that has been trained using combinations of attribute information and shops as teacher data.
- the guidance device 500 derives a plurality of pieces of route information from the current position to the destination via the candidates for the intermediate stop (S373). Thereafter, steps S330 to S332 of FIG. 10 described above are performed. Then, the guidance device 500 notifies the wireless terminal of a plurality of pieces of route information (S374). After that, the guidance device 500 receives the selected route from the wireless terminal and starts guidance.
- FIG. 19 is a flowchart showing the flow of route guidance setting processing according to example 4-2 of the fourth embodiment. It should be noted that redundant description of the same processing as in FIG. 10 will be omitted as appropriate.
- the guidance device 500 receives a route guidance request including the estimated time of arrival in addition to the user's destination, connection information, received radio wave intensity, from the wireless terminal via the wireless base station and network N (S321c). Thereafter, steps S322 to S328 of FIG. 10 described above are performed. Then, the guidance device 500 calculates the free time from the current time and the estimated arrival time included in the route guidance request (S371b). Note that the guidance device 500 may acquire the free time itself from the user.
- the guide device 500 selects a candidate for an en route stop based on the in-facility map information 310 and the free time (S372b).
- Guidance device 500 may select a plurality of candidates. For example, the guidance device 500 considers the travel time from the current position to the place of intermediate stay, the travel time from the place of intermediate stay to the destination, and the stay time at the place of intermediate stay, so as to satisfy the calculated vacant time. A place is elected as a candidate for a stopover.
- the guidance device 500 derives a plurality of pieces of route information from the current position to the destination via the candidates for the intermediate stop (S373). Thereafter, steps S330 to S332 of FIG. 10 described above are performed. Then, the guidance device 500 notifies the wireless terminal of a plurality of pieces of route information (S374). After that, the guidance device 500 receives the selected route from the wireless terminal and starts guidance.
- FIG. 20 is a flowchart showing the flow of route guidance setting processing according to example 4-3 of the fourth embodiment. It should be noted that redundant description of the same processing as in FIG. 10 will be omitted as appropriate.
- the guidance device 500 performs steps S321c and S322 to S328 described above. Then, the guidance device 500 analyzes the face image and extracts the attribute information of the user (S371a). At the same time, the guidance device 500 calculates the free time from the current time and the estimated arrival time included in the route guidance request (S371b).
- the guidance device 500 selects a candidate for an intermediate stop based on the in-facility map information 310, free time, and attribute information (S372c).
- Guidance device 500 may select a plurality of candidates.
- the guidance device 500 may use a recommendation model that inputs free time and attribute information and outputs candidates for intermediate stops such as shops.
- the recommendation model may be a program module in which a predetermined logic is implemented, or a learned AI (Artificial intelligence) model that has learned combinations of free time, attribute information, shops, etc. as teacher data.
- the guidance device 500 derives a plurality of pieces of route information from the current position to the destination via the candidates for the intermediate stop (S373). Thereafter, steps S330 to S332 of FIG. 10 described above are performed. Then, the guidance device 500 notifies the wireless terminal of a plurality of pieces of route information (S374). After that, the guidance device 500 receives the selected route from the wireless terminal and starts guidance.
- FIG. 21 is a diagram showing an example of route information candidates according to the fourth embodiment.
- the user U1-1 carrying the wireless terminal 101-1 moves to the destination P2 of the adjacent platform B12 while being at the departure point P1 of the platform B11 on the floor B1.
- the user U1-1 has a waiting time of 15 minutes or more until the estimated time of arrival at the destination P2.
- the wireless terminal 101-1 accepts input of the destination P2 and the estimated arrival time from the user U1-1, and sends a route guidance request including the designation of the destination P2 and the estimated arrival time, connection information, and received radio wave intensity to the wireless base station 233.
- Send to Guidance device 500 performs route guidance setting processing similar to that of FIG. 20 described above, derives a plurality of pieces of route information R2a and R2b, and transmits them to wireless terminal 101-1.
- the route information R2a is a route for moving from the departure point P1 to the destination point P2 via the stopover point P3.
- the stopover point P3 is the store 261 on the floor F2. Therefore, the route information R2a moves from the departure point P1 to the floor B1 to F1 by the escalator E1, moves to the elevator E2 on the floor F1, moves from the floor F1 to F2 by the elevator E2, and moves to the store 261 on the floor F2. including route.
- the route information R2a includes a route to go down from the floor F2 to B1 by the elevator E2, move on the platform B12 on the floor B1, and arrive at the destination P2.
- the route information R2b is a route for moving from the departure point P1 to the destination point P2 via the stopover point P4.
- the stopover point P4 is the store 262 on the floor F1. Therefore, the route information R2b includes a route from the departure point P1 to the store 262 on the escalator E1 from the floor B1 to the floor F1.
- the route information R2b includes a route to go down from floor F1 to B1 by elevator E3, move on platform B12 on floor B1, and arrive at destination P2.
- the guidance device 500 analyzes the face image of the user U1-1 and extracts the age (age group), gender, etc. as attribute information.
- guidance device 500 may acquire the purpose of the free time together with the free time from user U1-1.
- the purposes of the vacant time include, but are not limited to, waiting for a train change, or finding a vehicle that the user wants to see but do not board.
- the guidance device 500 should select a cafe, sweets shop, etc. as a place to stay on the way. Also, if the attribute information is 40's, male, purpose is waiting for a train transfer, and free time is 20 minutes, the guidance device 500 may select a convenience store or the like as a place to stay on the way. If the attribute information is 30's, male, purpose is to see a vehicle, and free time is 15 minutes, the guide device 500 may select a list of vehicle viewing spots or the like as a place to stay on the way. Also, if the attribute information is foreign nationality, the guidance device 500 may select a currency exchange office or the like as a place to stay on the way.
- the fifth embodiment is a modification of the fourth embodiment described above.
- a place to stop by on the way to the destination (stopping place on the way) is selected and recommended together with the route information.
- the fifth embodiment eliminates the need to input a destination, and selects places to stop by (including destinations and places to stay on the way) according to the user's free time and attributes, and recommends them along with route information.
- the guide device includes at least the guide unit according to the fifth embodiment together with the above-described first identification unit, first authentication control unit, and second identification unit. Further, the guidance unit selects a destination based on at least one of the user's free time and attribute information, derives a route from the current position to the destination, and notifies the wireless terminal of the derived route. and start guiding the user to the destination. Alternatively, the guidance unit selects an intermediate stop based on at least one of the user's free time and attribute information, and derives a route from the current position to the current position via the intermediate stop. Then, the derived route is notified to the wireless terminal, and guidance to the user's stopover point is started.
- FIG. 22 is a flowchart showing the flow of route guidance setting processing according to the fifth embodiment.
- the current position is the above-described departure point and also the destination at the same time. It should be noted that the current position does not have to be the destination, and the destination may simply be selected according to the free time input by the user, and a route from the current position to the destination may be recommended.
- the guidance device 500 transmits a route guidance request including the estimated arrival time until the user returns to the current position in addition to the connection information of the wireless terminal and the received radio wave intensity from the wireless terminal via the wireless base station and the network N. Receive (S321d). Thereafter, steps S322 to S328 of FIG. 10 described above are performed. Then, the guidance device 500 analyzes the face image and extracts the attribute information of the user (S371a). At the same time, the guidance device 500 calculates the free time from the current time and the estimated arrival time included in the route guidance request (S371b). Note that the guidance device 500 may acquire the free time itself from the user.
- the guidance device 500 selects a candidate for an intermediate stop based on the in-facility map information 310, free time, and attribute information (S372c).
- the guidance device 500 derives a plurality of pieces of route information from the current position to the current position via candidates for intermediate stays (S373d). Thereafter, steps S330 to S332 of FIG. 10 described above are performed. Then, the guidance device 500 notifies the wireless terminal of a plurality of pieces of route information (S374). After that, the guidance device 500 receives the selected route from the wireless terminal and starts guidance.
- the present embodiment can be applied when the starting point and destination are the same and there is free time (when it is necessary to return by a fixed time). And this embodiment can produce the same effect as Embodiment 4 mentioned above.
- the first authentication is performed by one-to-many matching, but the present invention is not limited to this.
- the feature information to be authenticated may be narrowed down using the correspondence between the user ID 5121 and the terminal ID 5123 of the user information 512 . That is, it is assumed that the storage device (user information 512 of storage unit 510 or face information DB 410) is registered in association with wireless terminals and users.
- the first identification unit identifies the user from the wireless terminal by referring to the storage device.
- the first authentication control unit preferably controls the first authentication by designating feature information corresponding to the user from the storage device.
- the guidance device 500 designates the identified user ID and transmits a face authentication request including a face image to the authentication device 400.
- FIG. the authentication device 400 performs face authentication using the facial feature information 412 associated with the specified user ID 411 among the facial feature information 412 in the face information DB 410 . That is, since the authentication device 400 performs one-to-one face authentication processing, the authentication processing time can be shortened and the processing efficiency is improved as compared with the case of performing one-to-N face authentication. In this way, by narrowing down the feature information that is the target of the first authentication, the authentication process can be made more efficient.
- the first and second authentications may be biometrics, eg facial authentication.
- the feature information is biometric information, for example, facial feature information.
- the biometric information may be data (feature amounts) calculated from physical features unique to an individual, such as facial feature information, fingerprints, voiceprints, veins, retinas, irises, and palm patterns. I do not care.
- the first and second authentication may be authentication based on a person's external shape.
- the feature information is information about the external shape of the person, for example, information indicating features such as body shape, height, and clothing.
- the authentication device 400 and the guide device 500 are described as separate information processing devices in the second to fifth embodiments described above, they may be the same.
- the guidance device 500 may register facial feature information in association with the user ID 5121 of the user information 512 .
- the control unit 540 may further include the functions of the face detection unit 420, the feature point extraction unit 430, the registration unit 440, and the authentication unit 450 shown in FIG.
- the program includes instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments.
- the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
- computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
- the program may be transmitted on a transitory computer-readable medium or communication medium.
- transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
- Appendix A1 a first identifying means for identifying a first imaging device installed in an area corresponding to a wireless base station connected to a wireless terminal carried by a user; Referring to a storage device in which feature information based on body images of a plurality of users is registered, performing a first authentication for a region including a person's body included in a first image captured by the first imaging device.
- a first authentication control means for controlling; a second specifying means for specifying a first current position of a user who has succeeded in the first authentication based on the imaging range of the first imaging device when the first authentication is successful; guidance means for notifying the wireless terminal of a route from the first current position to the user's destination and starting guidance to the user to the destination; a third identifying means for identifying a second imaging device installed in an area included in the route;
- a second authentication control means for controlling the authentication of When the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the user determining means for determining that the destination has been reached;
- a guiding device comprising a (Appendix A2)
- the third identifying means is storing the second photographing device in association with the user who succeeded in the first authentication;
- the determination means is when the user associated with the second photographing device and the user who succeeded in the second authentication match, the user who succeeded in the first authentication and the user who succeeded in the second authentication
- the guide device according to appendix A1.
- the second authentication control means controls the second authentication by designating the characteristic information corresponding to the user who has succeeded in the first authentication from the storage device, The guidance device according to appendix A1 or A2, wherein, when the second authentication is successful, the determination means determines that the user who succeeded in the first authentication matches the user who succeeded in the second authentication.
- the second identifying means when the second authentication is successful, identifies a second current position of the user who has succeeded in the second authentication based on the photographing range of the second photographing device, If the user who succeeded in the first authentication matches the user who succeeded in the second authentication and the second current position is included in the destination, the determination means determines that the user is the The guidance device according to any one of Appendices A1 to A3, wherein it is determined that the destination has been reached.
- the third identifying means is identifying an imaging device installed in an area corresponding to the destination on the route as the second imaging device; The determining means determines that the user has arrived at the destination when the user who has succeeded in the first authentication matches the user who has succeeded in the second authentication. 3.
- the storage device registers the wireless terminal and the user in association with each other;
- the first identifying means identifies the user from the wireless terminal by referring to the storage device,
- the guidance device according to any one of Appendices A1 to A5, wherein the first authentication control means designates the feature information corresponding to the user from the storage device and controls the first authentication. .
- the guiding means are based on at least one of the idle time until the user arrives at the destination from the first current position, or attribute information of the user, a stopover place other than the destination is selected; deriving the route from the current position of 1 to the destination via the stopover place; notifying the wireless terminal of the derived route;
- the guidance device according to any one of Appendices A1 to A6, wherein guidance to the stopover point is started for the user.
- the guiding means are Based on at least one of the free time or the attribute information, select a plurality of candidates for the intermediate stopover, deriving a plurality of routes from the first current position to the destination via at least one of the candidates for the intermediate stopover; The guidance device according to appendix A7, which notifies the wireless terminal of the plurality of derived routes.
- the guiding means are The guidance device according to appendix A7 or A8, wherein the attribute information is extracted by analyzing the feature information corresponding to the user who has succeeded in the first authentication.
- the feature information is facial feature information, The guidance device according to any one of Appendices A1 to A9, wherein the first authentication and the second authentication are face authentication.
- the feature information is feature information related to the external shape of a person, The guide device according to any one of Appendixes A1 to A9, wherein the first authentication and the second authentication are authentications based on external shape.
- Appendix B1 a storage device in which feature information based on body images of a plurality of users is registered; a wireless terminal carried by a predetermined user; a first imaging device and a second imaging device installed at a predetermined point; a guide device; with The guide device a first identifying means for identifying the first photographing device installed in an area corresponding to a radio base station connected to the radio terminal; a first authentication control means for referring to the storage device and controlling first authentication for a region including a person's body included in a first image captured by the first imaging device; a second specifying means for specifying a first current position of a user who has succeeded in the first authentication based on the imaging range of the first imaging device when the first authentication is successful; guidance means for notifying the wireless terminal of
- a second authentication control means for controlling the authentication of
- the user who succeeded in the first authentication matches the user who succeeded in the second authentication, and the destination is included in the area where the second photographing device is installed, the user determining means for determining that the destination has been reached; guidance system.
- the second identifying means when the second authentication is successful, identifies a second current position of the user who has succeeded in the second authentication based on the photographing range of the second photographing device, If the user who succeeded in the first authentication matches the user who succeeded in the second authentication and the second current position is included in the destination, the determination means determines that the user is the The guidance system according to Appendix B1 for determining that the destination has been reached.
- (Appendix C1) the computer identifying a first imaging device installed in an area corresponding to a wireless base station connected to a wireless terminal carried by a user; Referring to a storage device in which feature information based on body images of a plurality of users is registered, performing a first authentication for a region including a person's body included in a first image captured by the first imaging device.
- Appendix D1 a first identification process for identifying a first imaging device installed in an area corresponding to a wireless base station connected to a wireless terminal carried by a user; Referring to a storage device in which feature information based on body images of a plurality of users is registered, performing a first authentication for a region including a person's body included in a first image captured by the first imaging device.
- a first authentication control process to control; a second identification process for identifying a first current position of a user who has successfully passed the first authentication based on the shooting range of the first imaging device when the first authentication is successful; guidance processing of notifying the wireless terminal of a route from the first current position to the user's destination and starting guidance to the user to the destination; a third identification process for identifying a second imaging device installed in an area included in the route;
- the storage device is referred to, and the second image for the region including the body of the person included in the second image is obtained.
- a non-transitory computer-readable medium storing a guidance program that causes a computer to execute
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
案内装置(1)は、無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御しと、第1の認証に成功した場合、第1の撮影装置の撮影範囲に基づき第1の認証に成功したユーザの第1の現在位置を特定し、第1の現在位置からユーザの目的地までのルートを無線端末へ通知して、ユーザに対して目的地までの案内を開始し、ルートに含まれるエリアに設置された第2の撮影装置を特定し、案内の開始後に第2の撮影装置により撮影された第2の画像が取得された場合、第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御し、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致し、かつ、第2の撮影装置が設置されたエリアに目的地が含まれる場合に、ユーザが目的地に到着したと判定する。
Description
本発明は、案内装置、システム、方法、及び、プログラムに関し、特に、ユーザに移動先へのルートを案内する案内装置、システム、方法、及び、プログラムに関する。
近年、大規模な駅において駅舎の増改築や新路線の開通により駅構内構造が複雑化している。ここで、駅構内においては、GPS(Global Positioning System)等の衛星測位システムによる現在位置の測定精度が不十分なため、施設内での現在位置の特定方法が求められている。
特許文献1には、移動体追跡装置に関する技術が開示されている。当該移動体追跡装置は、移動体と共に移動する無線端末装置から受信した電波の電波強度に基づき、移動体の現在位置を推定し、複数の撮像装置の撮影可能範囲と、移動体の移動経路とに基づき、複数の撮像装置の中から、移動体を撮影させる撮像装置を選択する。
特許文献2には、案内情報提供装置に関する技術が開示されている。当該案内情報提供装置は、携帯電話端末から受信したアクセスポイントのSSID(Service Set Identifier)と受信電界強度に基づき、携帯電話端末が存在する大規模施設とその中の現在位置を特定する。
ここで、無線通信端末と共に移動するユーザに対して現在位置から適切な移動先までの案内と移動先への到着確認が求められる。しかしながら、上述した特許文献1及び2にかかる技術は、到着確認の効率性に改善の余地がある。
本開示の目的は、上述した課題を鑑み、無線通信端末と共に移動するユーザに対して現在位置から適切な移動先までを案内する際の処理を効率化するための案内装置、システム、方法、及び、プログラムを提供することにある。
本開示の第1の態様にかかる案内装置は、
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定手段と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える。
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定手段と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える。
本開示の第2の態様にかかる案内システムは、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置と、
所定のユーザが携帯する無線端末と、
所定の地点に設置された第1の撮影装置及び第2の撮影装置と、
案内装置と、
を備え、
前記案内装置は、
前記無線端末と接続された無線基地局に対応するエリアに設置された前記第1の撮影装置を特定する第1の特定手段と、
前記記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える。
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置と、
所定のユーザが携帯する無線端末と、
所定の地点に設置された第1の撮影装置及び第2の撮影装置と、
案内装置と、
を備え、
前記案内装置は、
前記無線端末と接続された無線基地局に対応するエリアに設置された前記第1の撮影装置を特定する第1の特定手段と、
前記記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える。
本開示の第3の態様にかかる案内方法は、
コンピュータが、
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定し、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御し、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定し、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始し、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定し、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御し、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する。
コンピュータが、
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定し、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御し、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定し、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始し、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定し、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御し、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する。
本開示の第4の態様にかかる案内プログラムが格納された非一時的なコンピュータ可読媒体は、
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定処理と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御処理と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定処理と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内処理と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定処理と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御処理と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定処理と、
をコンピュータに実行させる。
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定処理と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御処理と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定処理と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内処理と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定処理と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御処理と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定処理と、
をコンピュータに実行させる。
本開示により、無線通信端末と共に移動するユーザに対して現在位置から適切な移動先までを案内する際の処理を効率化するための案内装置、システム、方法、及び、プログラムを提供することができる。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1は、本実施形態1にかかる案内装置1の構成を示すブロック図である。案内装置1は、無線端末(不図示)を携帯して移動するユーザに対して、所望の目的地までのルートを案内するための情報処理装置である。ここで、案内装置1は、通信ネットワーク(不図示)を介して、複数の無線基地局(不図示)、複数の撮影装置(不図示)、記憶装置(不図示)等と接続される。無線基地局は、所定の地点に設置され、カバーエリア内に存在する無線端末と無線接続を確立し、無線通信を行う。そして、無線基地局は、無線端末と案内装置1との通信を中継する。無線基地局は、自身の識別情報を含む無線端末との接続情報や、無線端末における無線電波の受信電波強度等を、案内装置1へ送信する。撮影装置は、上記のいずれかの無線基地局のカバーエリア内の地点に設置された監視カメラ等である。撮影装置は、撮影した画像を案内装置1へ送信する。記憶装置は、複数のユーザの身体画像に基づく特徴情報が登録されたデータベースである。記憶装置は、外部から入力された身体画像やその特徴情報に対して、登録された特徴情報を用いて照合を行うことで、生体認証や人物認識を行ってもよい。この場合、記憶装置は認証装置と呼んでも良い。または、記憶装置は、案内装置1に内蔵されたものであっても良い。
図1は、本実施形態1にかかる案内装置1の構成を示すブロック図である。案内装置1は、無線端末(不図示)を携帯して移動するユーザに対して、所望の目的地までのルートを案内するための情報処理装置である。ここで、案内装置1は、通信ネットワーク(不図示)を介して、複数の無線基地局(不図示)、複数の撮影装置(不図示)、記憶装置(不図示)等と接続される。無線基地局は、所定の地点に設置され、カバーエリア内に存在する無線端末と無線接続を確立し、無線通信を行う。そして、無線基地局は、無線端末と案内装置1との通信を中継する。無線基地局は、自身の識別情報を含む無線端末との接続情報や、無線端末における無線電波の受信電波強度等を、案内装置1へ送信する。撮影装置は、上記のいずれかの無線基地局のカバーエリア内の地点に設置された監視カメラ等である。撮影装置は、撮影した画像を案内装置1へ送信する。記憶装置は、複数のユーザの身体画像に基づく特徴情報が登録されたデータベースである。記憶装置は、外部から入力された身体画像やその特徴情報に対して、登録された特徴情報を用いて照合を行うことで、生体認証や人物認識を行ってもよい。この場合、記憶装置は認証装置と呼んでも良い。または、記憶装置は、案内装置1に内蔵されたものであっても良い。
案内装置1は、第1の特定部11、第1の認証制御部12、第2の特定部13、案内部14、第3の特定部15、第2の認証制御部16及び判定部17を備える。第1の特定部11は、ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する。第1の認証制御部12は、複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する。第2の特定部13は、第1の認証に成功した場合、第1の撮影装置の撮影範囲に基づき第1の認証に成功したユーザの第1の現在位置を特定する。案内部14は、第1の現在位置からユーザの目的地までのルートを無線端末へ通知して、ユーザに対して目的地までの案内を開始する。ここで、ユーザの目的地は、無線端末を通じてユーザから指定されたものか、案内装置1に予め設定されたものか、案内装置1が所定の基準で決定したものであるとよい。第3の特定部15は、ルートに含まれるエリアに設置された第2の撮影装置を特定する。第2の認証制御部16は、案内の開始後に第2の撮影装置により撮影された第2の画像が取得された場合、記憶装置を参照して、第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する。判定部17は、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致し、かつ、第2の撮影装置が設置されたエリアに目的地が含まれる場合に、ユーザが目的地に到着したと判定する。
ここで、第1の認証制御部12又は第2の認証制御部16は、記憶装置に登録された特徴情報と、第1又は第2の画像から抽出された人物の身体を含む領域の特徴情報とを照合することで、第1又は第2の認証を制御してもよい。または、第1の認証制御部12又は第2の認証制御部16は、第1又は第2の画像から抽出された人物の身体を含む領域の画像や特徴情報を、上述した認証装置へ送信して、認証装置に認証を行わせても良い。
図2は、本実施形態1にかかる案内方法の流れを示すフローチャートである。まず、第1の特定部11は、ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する(S11)。次に、第1の認証制御部12は、複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する(S12)。そして、第2の特定部13は、第1の認証に成功した場合、第1の撮影装置の撮影範囲に基づき第1の認証に成功したユーザの第1の現在位置を特定する(S13)。そして、案内部14は、第1の現在位置からユーザの目的地までのルートを無線端末へ通知して、ユーザに対して目的地までの案内を開始する(S14)。また、第3の特定部15は、ルートに含まれるエリアに設置された第2の撮影装置を特定する。(S15)。
案内の開始後に、第2の認証制御部16は、第2の撮影装置により撮影された第2の画像が取得された場合、記憶装置を参照して、第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する(S16)。そして、判定部17は、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致し、かつ、第2の撮影装置が設置されたエリアに目的地が含まれる場合に、ユーザが目的地に到着したと判定する(S17)。
このように、本実施形態1では、まず、衛星測位システムを用いずに、ユーザが携帯する無線端末に接続された無線基地局の情報から、ユーザの現在位置が無線基地局のカバーエリア内であることを特定する。そして、当該無線基地局のカバーエリア内に設置された撮影装置により撮影された画像に基づく認証により、ユーザの現在位置を当該撮影装置の撮影範囲内に絞り込むことができる。そのため、ユーザの現在位置を精度良く特定できる。その上で、案内装置1は、現在位置から目的地までのルートを導出し、ユーザに対してルートに沿って目的地までの移動を案内(誘導)する。
このとき、案内装置1は、ルートに含まれるエリアに設置された第2の撮影装置を特定することで、目的地に到着するまで、当該ユーザの認証による現在位置の特定に用いる撮影装置を絞り込むことができる。つまり、案内装置1は、あらゆる地点に設置された多数の撮影装置の中から、第1の認証に成功したユーザの目的地へのルート上の撮影装置に絞り込むことで、到着判定処理を効率化できる。そして、絞り込まれた第2の撮影装置による撮影画像の認証に成功したユーザが、出発地で認証されたユーザと一致し、かつ、第2の撮影装置が目的地付近に設置されたものである場合に、ユーザが目的地に到着した判定できる。そのため、無線通信端末と共に移動するユーザに対して現在位置から適切な移動先までを案内する際の処理(案内と移動先への到着確認)を効率化できる。
尚、案内装置1は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる案内方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラム等を前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、第1の特定部11、第1の認証制御部12、第2の特定部13、案内部14、第3の特定部15、第2の認証制御部16及び判定部17の機能を実現する。
または、案内装置1の各構成要素は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、量子プロセッサ(量子コンピュータ制御チップ)等を用いることができる。
<実施形態2>
本実施形態2は、上述した実施形態1の具体例である。本実施形態2は、屋外と比べて衛星測位システムによる位置特定の精度が低い屋内で、ユーザに対して、所望の目的地までのルートを案内する例を示す。但し、本実施形態2は屋外にも適用可能である。
本実施形態2は、上述した実施形態1の具体例である。本実施形態2は、屋外と比べて衛星測位システムによる位置特定の精度が低い屋内で、ユーザに対して、所望の目的地までのルートを案内する例を示す。但し、本実施形態2は屋外にも適用可能である。
図3は、本実施形態2にかかる案内システム1000の全体構成を示すブロック図である。案内システム1000は、施設200内にいるユーザU1やU2に対して、現在位置から所望の目的地までのルートを案内し、正確な到着判定を行う情報システムである。施設200は、例えば、鉄道の駅と商業施設とを含むビルであるが、これに限定されない。
案内システム1000は、無線基地局231及び232、カメラ241~244、施設管理サーバ300、認証装置400及び案内装置500を備える。無線基地局231及び232、カメラ241~244、施設管理サーバ300、認証装置400及び案内装置500のそれぞれは、ネットワークNを介して通信可能に接続されている。ここで、ネットワークNは、有線又は無線の通信回線又は通信ネットワークであり、例えば店舗内LAN(Local Area Network)、インターネット、無線通信回線網、携帯電話回線網等である。ネットワークNは、通信プロトコルの種別を問わない。
施設200は、無線基地局231及び232、カメラ241~244が設置されている。施設200は、無線基地局231の無線通信圏であるカバーエリア210と、無線基地局232のカバーエリア220とを含む。カバーエリア210と220は、概ね無線通信圏の範囲が異なるものとするが、一部の範囲が重なっても構わない。無線基地局231は、カバーエリア210内に存在する無線端末101と無線接続を確立し、無線端末101と無線通信を行い、ネットワークNを介して無線端末101と案内装置500等との通信を中継する。無線基地局232は、カバーエリア220内に存在する無線端末102と無線接続を確立し、無線端末102と無線通信を行い、ネットワークNを介して無線端末102と案内装置500等との通信を中継する。
カメラ241から244は、施設200内を監視する撮影装置である。カメラ241等は、施設200内の所定の撮影範囲を撮影し、ネットワークNを介して案内装置500へ、撮影した画像を送信する。カメラ241及び242は、カバーエリア210内に設置されている。カメラ243及び244は、カバーエリア220内に設置されている。また、カメラ241から244のそれぞれは、概ね撮影範囲が異なるものとするが、一部の撮影範囲が重なっても構わない。
ユーザU1及びU2は、施設200の利用客とする。ユーザU1は、無線端末101を携帯し、無線基地局231のカバーエリア210内に存在する。特に、この例では、ユーザU1は、カバーエリア210内に設置されたカメラ242の撮影範囲に存在するものとする。そのため、カメラ242により撮影された画像には、ユーザU1の顔や身体形状等が含まれるものとする。一方、この例では、ユーザU1は、同じカバーエリア210内に設置されたカメラ241の撮影範囲に存在せず、カメラ241により撮影された画像には、ユーザU1の顔や身体形状等が含まれないものとする。
ユーザU2は、無線端末102を携帯し、無線基地局232のカバーエリア220内に存在する。特に、この例では、ユーザU2は、カバーエリア220内に設置されたカメラ244の撮影範囲に存在するものとする。そのため、カメラ244により撮影された画像には、ユーザU2の顔や身体形状等が含まれるものとする。一方、この例では、ユーザU2は、同じカバーエリア220内に設置されたカメラ243の撮影範囲に存在せず、カメラ243により撮影された画像には、ユーザU2の顔や身体形状等が含まれないものとする。
無線端末101及び102は、無線通信可能な情報端末であり、例えば、スマートフォン、タブレット端末、ウェアラブル端末等である。無線端末101等は、カバーエリア内の無線基地局と無線接続を確立し、無線基地局を介してネットワークN上の案内装置500等と通信を行う。無線端末101等は、無線基地局との無線接続の確立後、無線基地局から受信した電波強度を測定する。無線端末101等は、ユーザU1等の操作に応じて、希望する目的地を受け付け、目的地、接続された無線基地局との接続情報、及び、受信した電波強度を含むルート案内要求を案内装置500へ送信する。そして、無線端末101等は、案内装置500からルート情報の候補を受信し、画面に表示する。無線端末101等は、ユーザにより選択されたルート情報を、案内装置500へ送信し、案内装置500から目的地までの案内情報を受信し、案内情報を表示又は音声で出力する。また、無線端末101等は、案内開始後、到着通知を受けるまで、現在位置通知を案内装置500へ送信する。現在位置通知は、接続された無線基地局との接続情報、及び、受信した電波強度を含む。また、現在位置通知は、端末ID、ユーザID、案内ID等を含んでも良い。
図4は、本実施形態2にかかる施設200の概要を説明するための図である。施設200は、フロアB1、F1及びF2といった多階層であり、屋外と比べて衛星測位システムによる位置特定の精度が低いものとする。フロアB1には、例えば、鉄道の駅の複数のホームB11及びB12が存在するものとする。フロアB1には、無線基地局233及び234、カメラ250~253が設置されている。無線基地局233は、カバーエリア211内の無線端末101と無線通信の接続を確立し、無線通信を行う。カメラ250及び251は、カバーエリア211内に設置されている。この例では、無線端末101を携帯するユーザU1は、ホームB11及びカメラ250の撮影範囲内に存在することを示す。無線基地局234は、カバーエリア212を無線通信圏内とする。カメラ252及び253は、カバーエリア212内に設置されている。フロアB1のホームB11上のエスカレータE1は、フロアF1への移動手段及び移動経路である。フロアB1のホームB12のエレベータE2及びE3は、フロアF1及びF2への移動手段及び移動経路である。
フロアF1には、無線基地局235及び236、カメラ254~256が設置されている。無線基地局235は、カバーエリア213を無線通信圏内とする。カメラ254は、カバーエリア213内に設置されている。無線基地局236は、カバーエリア214を無線通信圏内とする。カメラ255及び256は、カバーエリア214内に設置されている。
フロアF2には、無線基地局237及び238、カメラ257~259が設置されている。また、フロアF2には、店舗261等の複数の店舗等が設置されている。無線基地局237は、カバーエリア215を無線通信圏内とする。カメラ257は、カバーエリア215内に設置されている。無線基地局237は、カバーエリア215内の無線端末102と無線通信の接続を確立し、無線通信を行う。カメラ257は、カバーエリア215内に設置されている。この例では、無線端末102を携帯するユーザU2は、フロアF2の店舗261の前、及び、カメラ257の撮影範囲内に存在することを示す。無線基地局238は、カバーエリア216を無線通信圏内とする。カメラ258及び259は、カバーエリア216内に設置されている。
図3に戻り説明を続ける。
施設管理サーバ300は、施設200の各種情報を管理するコンピュータサーバである。施設管理サーバ300は、施設内地図情報310を記憶する。施設内地図情報310は、施設200内の地図情報であり、例えば上述したフロアB1、F1及びF2のそれぞれのレイアウト、店舗261等の位置等を示す2次元又は3次元の座標情報を含む。特に、施設内地図情報310は、施設200が工事等により変更されたレイアウトや、一時的な通路の情報等の最新情報を示すものとする。施設管理サーバ300は、案内装置500からの参照要求に応じて、ネットワークNを介して案内装置500へ、施設内地図情報310を送信する。
施設管理サーバ300は、施設200の各種情報を管理するコンピュータサーバである。施設管理サーバ300は、施設内地図情報310を記憶する。施設内地図情報310は、施設200内の地図情報であり、例えば上述したフロアB1、F1及びF2のそれぞれのレイアウト、店舗261等の位置等を示す2次元又は3次元の座標情報を含む。特に、施設内地図情報310は、施設200が工事等により変更されたレイアウトや、一時的な通路の情報等の最新情報を示すものとする。施設管理サーバ300は、案内装置500からの参照要求に応じて、ネットワークNを介して案内装置500へ、施設内地図情報310を送信する。
認証装置400は、ユーザの顔特徴情報を管理し、顔認証を行う情報処理装置である。また、認証装置400は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行い、照合結果(認証結果)を要求元へ返信する。
図5は、本実施形態2にかかる認証装置400の構成を示すブロック図である。認証装置400は、顔情報DB410と、顔検出部420と、特徴点抽出部430と、登録部440と、認証部450とを備える。顔情報DB410は、ユーザID411と当該ユーザIDの顔特徴情報412とを対応付けて記憶する。顔特徴情報412は、顔画像から抽出された特徴点の集合である。尚、認証装置400は、顔特徴情報412に対応するユーザ等からの要望に応じて、顔特徴DB410内の顔特徴情報412を削除してもよい。または、認証装置400は、登録から一定期間経過後に顔特徴情報412を削除してもよい。
顔検出部420は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部430に出力する。特徴点抽出部430は、顔検出部420が検出した顔領域から特徴点を抽出し、登録部440に顔特徴情報を出力する。また、特徴点抽出部430は、店舗管理装置500等から受信した顔画像に含まれる特徴点を抽出し、認証部450に顔特徴情報を出力する。
登録部440は、顔特徴情報の登録に際して、ユーザID411を新規に発行する。登録部440は、発行したユーザID411と、登録画像から抽出した顔特徴情報412とを対応付けて顔情報DB410へ登録する。認証部450は、顔特徴情報412を用いた顔認証を行う。具体的には、認証部450は、顔画像から抽出された顔特徴情報と、顔情報DB410内の顔特徴情報412との照合を行う。認証部450は、照合に成功した場合、照合された顔特徴情報412に対応付けられたユーザID411を特定する。認証部450は、顔特徴情報の一致の有無を顔認証結果として要求元に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する(一致有)とは、一致度が閾値以上である場合をいうものとする。また、顔認証結果は、顔認証に成功した場合、特定されたユーザIDを含むものとする。
図3に戻り説明を続ける。
案内装置500は、上述した案内装置1の一例である。案内装置500は、無線端末101等を携帯して移動するユーザU1等に対して、施設200内の所望の目的地までのルートを案内するための情報処理装置である。案内装置500は、複数台のサーバに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。
案内装置500は、上述した案内装置1の一例である。案内装置500は、無線端末101等を携帯して移動するユーザU1等に対して、施設200内の所望の目的地までのルートを案内するための情報処理装置である。案内装置500は、複数台のサーバに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。
図6は、本実施形態2にかかる案内装置500の構成を示すブロック図である。案内装置500は、記憶部510、メモリ520、通信部530及び制御部540を備える。記憶部510は、ハードディスク、フラッシュメモリ等の記憶装置の一例である。記憶部510は、プログラム511、ユーザ情報512、基地局情報513、カメラ情報514及び案内管理情報515を記憶する。プログラム511は、本実施形態2にかかるユーザ情報の登録処理、ルート案内設定処理及び到着判定処理等が実装されたコンピュータプログラムである。
ユーザ情報512は、施設200の利用者として登録したユーザの情報である。ユーザ情報512は、ユーザID5121、個人情報5122及び端末ID5123を対応付けた情報である。ユーザID5121は、ユーザの識別情報である。ユーザID5121は、例えば、施設200の会員の会員ID等である。ユーザID5121は、認証装置400の顔情報DB410内で顔特徴情報412に対応付けて管理されるユーザID411と同一又は一意に対応する情報である。そのため、ユーザ情報512は、ユーザID5121を介してユーザの登録用の特徴情報と対応付けられた情報といえる。個人情報5122は、氏名、年齢、性別、住所、決済情報等である。決済情報は、クレジットカードの情報や銀行の引き落とし口座情報等である。端末ID5123は、ユーザが携帯する無線端末の識別情報である。尚、本実施形態において個人情報5122や端末ID5123は必須ではない。
基地局情報513は、施設200に設置された無線基地局の管理情報である。基地局情報513は、基地局ID5131、カバーエリア5132、カメラID51331・・・5133n(nは1以上の自然数。)を対応付けた情報である。基地局ID5131は、無線基地局の識別情報である。基地局ID5131は、例えば、SSIDである。カバーエリア5132は、無線基地局の無線通信圏を定義した情報である。カバーエリア5132は、例えば、二次元又は三次元座標で定義された領域である。カメラID51331等は、カバーエリア5132内に設置された1以上のカメラの識別情報である。
カメラ情報514は、施設200に設置された監視カメラの管理情報である。カメラ情報514は、カメラID5141及び撮影範囲5142を対応付けた情報である。カメラID5141は、監視カメラの識別情報である。尚、カメラID5141は、複数のカバーエリアに属する場合、2以上の基地局情報513に定義されてもよい。撮影範囲5142は、監視カメラの撮影範囲を定義した情報である。撮影範囲5142は、例えば、二次元又は三次元座標で定義された領域である。尚、撮影範囲5142は、カバーエリア5132より狭い範囲であるものとする。
案内管理情報515は、ユーザへ案内するルート情報等の管理情報である。案内管理情報515は、案内ID5151、ユーザID5152、ルート情報5153、出発地5154、出発時刻5155、目的地5156及び到着時刻5157を対応付けた情報である。案内ID5151は、案内管理情報、ルート情報の識別情報である。案内ID5151は、ルートIDと呼んでも良い。ユーザID5152は、ルート情報の案内対象であるユーザの識別情報であり、上述したユーザID5121に対応する情報である。ルート情報5153は、施設200内の出発地5154から目的地5156までの経路を示す情報である。ルート情報5153は、フロア、フロア内で通過する地点の位置情報(座標)、フロア間の移動手段(エレベータ等)等を含む。出発地5154は、案内対象であるユーザの出発地の位置情報である。出発地5154は、ユーザがルート案内要求を行った際の現在位置であってもよい。出発時刻5155は、ルート情報の生成時刻、ユーザが推薦されたルート情報を選択し、案内が開始された時刻等である。目的地5156は、ルート案内要求に指定された目的地の位置情報である。到着時刻5157は、ユーザが目的地に到着したと判定された時刻である。尚、案内管理情報515は、別途、到着フラグを含んでも良い。
メモリ520は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部540の動作時に一時的に情報を保持するための記憶領域である。通信部530は、ネットワークNとの通信インタフェースである。
制御部540は、案内装置500の各構成を制御するプロセッサつまり制御装置である。制御部540は、記憶部510からプログラム511をメモリ520へ読み込ませ、プログラム511を実行する。これにより、制御部540は、取得部541、登録部542、特定部543、認証制御部544、案内部545及び判定部546の機能を実現する。
取得部541は、無線端末101等から無線基地局231等及びネットワークNを介して、ユーザ情報の登録要求を受信する。また、取得部541は、無線端末101等から無線基地局231等及びネットワークNを介して、ルート案内要求を受信する。また、取得部541は、カメラ241等からネットワークNを介して、撮影された監視画像(第1の画像や第2の画像)を取得する。また、取得部541は、無線端末101等から無線基地局231等及びネットワークNを介して、現在位置通知を受信する。
登録部542は、ユーザ情報の登録処理を行う。具体的には、登録部542は、ユーザ情報の登録要求に含まれる顔画像について、認証装置400へ顔特徴情報を登録し、登録時に発行されたユーザIDを取得する。そして、登録部542は、ユーザIDと、登録要求に含まれる個人情報及び端末IDを対応付けてユーザ情報512を生成し、記憶部510に登録する。
特定部543は、上述した第1の特定部11、第2の特定部13及び第3の特定部15の一例である。特定部543は、ルート案内要求に含まれる接続情報(SSID等)や受信電波強度等に基づいて、無線基地局のカバーエリアのうち一部の領域を特定する。つまり、特定部543は、無線端末と接続された無線基地局に対応するエリアを特定する。そして、特定部543は、特定されたエリアに設置された第1のカメラを特定する。
また、特定部543は、ルート案内要求に応じて行われた第1の認証に成功した場合、特定された第1のカメラの撮影範囲に基づき第1の認証に成功したユーザの第1の現在位置を特定する。そして、特定部543は、案内対象のルートに含まれるエリアに設置された第2のカメラを特定する。併せて、特定部543は、第2のカメラと第1の認証に成功したユーザIDとを対応付けて記憶部510又はメモリ520に保存する。
また、特定部543は、案内の開始後に行われた第2の認証に成功した場合、第2のカメラの撮影範囲に基づき第2の認証に成功したユーザの第2の現在位置を特定する。
認証制御部544は、上述した第1の認証制御部12及び第2の認証制御部16の一例である。認証制御部544は、認証装置400の顔情報DB410を参照して、第1及び第2のカメラにより撮影された第1及び第2の画像に含まれる人物の身体を含む領域に対する第1及び第2の認証を制御する。具体的には、認証制御部544は、第1及び第2の画像から人物の顔領域を顔画像として抽出し、顔画像を含めた顔認証要求を認証装置400へ送信する。そして、認証制御部544は、認証装置400から顔認証結果を受信する。
さらに、認証制御部544は、認証装置400の顔情報DB410の中から第1の認証に成功したユーザに対応する特徴情報を指定して、第2の認証を制御してもよい。具体的には、認証制御部544は、第2の画像から抽出した顔画像と第1の認証に成功したユーザIDとを含めた顔認証要求を認証装置400へ送信してもよい。これにより、認証装置400は、指定されたユーザIDに対応する顔特徴情報との1対1の顔認証を行うことができる。そのため、認証処理のコストを低減し、認証効率を向上できる。
案内部545は、上述した案内部14の一例である。案内部545は、第1の現在位置(出発地)から目的地までの1以上のルート情報を導出し、案内管理情報にルート情報等を登録する。そして、案内部545は、導出したルート情報を無線端末へ通知する。その後、案内部545は、無線端末から選択されたルート情報を受け付けた場合、ユーザに対して、選択されたルート情報に沿って目的地までの案内を開始する。具体的には、案内部545は、ルート情報に沿って目的地まで誘導するための表示情報や音声情報を案内情報として無線端末へ送信する。
判定部546は、上述した判定部17の一例である。判定部546は、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致するか否かを判定する。具体的には、判定部546は、第2のカメラに対応付けられたユーザと第2の認証に成功したユーザとが一致する場合に、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致すると判定する。また、判定部546は、第2のカメラが設置されたエリアに目的地が含まれるか否かを判定する。具体的には、判定部546は、第2の現在位置が目的地に含まれるか否かを判定する。判定部546は、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致し、かつ、第2の撮影装置が設置されたエリアに目的地が含まれる場合に、ユーザが目的地に到着したと判定する。
または、上述したように第1の認証に成功したユーザIDを指定して第2の認証が行われた場合、判定部546は、第2の認証に成功した場合に、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致すると判定してもよい。
図7は、本実施形態2にかかるユーザ情報登録処理の流れを示すシーケンス図である。ここでは、ユーザU1が無線端末101又は他の情報処理装置を用いて、施設200のユーザ情報を登録するものとする。まず、無線端末101等は、ユーザU1の顔画像を取得する。例えば、無線端末101は、ユーザU1の操作によりユーザU1の顔を撮影し、顔画像を取得する。また、無線端末101は、ユーザU1から個人情報の入力を受け付ける。そして、無線端末101は、ユーザU1の操作に応じて、顔画像、個人情報及び無線端末101の端末IDを含めたユーザ情報の登録要求を、その時に接続中の無線基地局及びネットワークNを介して、案内装置500へ送信する。
これに応じて、案内装置500は、無線端末101等からネットワークNを介して、ユーザU1の顔画像を含むユーザ情報の登録要求を受信する(S21)。次に、案内装置500は、登録要求から顔画像を抽出し、顔画像を含めた顔情報登録要求を、ネットワークNを介して認証装置400へ送信する(S22)。これに応じて、認証装置400は、顔情報登録処理を行う。
図8は、本実施形態2にかかる認証装置による顔情報登録処理の流れを示すフローチャートである。まず、認証装置400は、顔情報登録要求を受信する(S201)。例えば、認証装置400は、案内装置500からネットワークNを介して顔情報登録要求を受信する。次に、顔検出部420は、顔情報登録要求に含まれる顔画像から顔領域を検出する(S202)。そして、特徴点抽出部430は、ステップS202で検出した顔領域から特徴点(顔特徴情報)を抽出する(S203)。そして、登録部440は、ユーザID411を発行する(S204)。そして、登録部440は、抽出した顔特徴情報412と発行したユーザID411を対応付けて顔情報DB410に登録する(S205)。その後、登録部440は、発行したユーザID411を要求元(例えば、案内装置500)へ返信する(S206)。尚、認証装置400は、任意の情報登録端末から受信した顔情報登録要求に応じて顔情報登録処理を行っても良い。例えば、情報登録端末は、パーソナルコンピュータ、スマートフォン又はタブレット端末等の情報処理装置である。また、情報登録端末は、無線端末101等であってもよい。
図7に戻り説明を続ける。
案内装置500は、認証装置400からネットワークNを介して顔情報登録結果(ユーザID)を受信する(S23)。そして、案内装置500は、登録要求から個人情報及び端末IDを抽出する。そして、案内装置500は、受信したユーザID5121、個人情報5122及び端末ID5123を対応付けたユーザ情報512を記憶部510に登録する(S24)。
案内装置500は、認証装置400からネットワークNを介して顔情報登録結果(ユーザID)を受信する(S23)。そして、案内装置500は、登録要求から個人情報及び端末IDを抽出する。そして、案内装置500は、受信したユーザID5121、個人情報5122及び端末ID5123を対応付けたユーザ情報512を記憶部510に登録する(S24)。
図9は、本実施形態2にかかるルート案内の設定及び開始の流れを示すシーケンス図である。ここでは、施設200内のユーザU1がカメラ242の撮影範囲付近から、カメラ244の撮影範囲付近の店舗へ移動する場合について説明する。まず、ユーザU1が携帯する無線端末101は、カバーエリア210内に存在するため、無線基地局231との間で無線接続を確立する(S301)。これに応じて、無線端末101は、無線基地局231のSSIDを取得し、保存する。以降、無線端末101は、無線基地局231からの電波を受信し、受信電波強度を計測し、保存する。また、無線基地局231は、無線端末101の端末IDを取得し、保存する。
次に、無線端末101は、ユーザU1の操作に応じて、目的地(店舗名等)を受け付け、ルート案内要求を無線基地局231へ送信する(S302)。このとき、無線端末101は、目的地、無線基地局231との接続情報(SSID等)及び受信電波強度をルート案内要求に含める。そして、無線基地局231は、無線端末101から受信したルート案内要求を、ネットワークNを介して案内装置500へ送信する(S303)。
そして、案内装置500は、ルート案内設定処理を行う(S304)。図10は、本実施形態2にかかるルート案内設定処理の流れを示すフローチャートである。まず、案内装置500は、無線基地局231からネットワークNを介してルート案内要求を受信する(S321)。次に、案内装置500は、第1のカメラを特定する(S322)。具体的には、案内装置500は、受信したルート案内要求に含まれる接続情報(SSID等、基地局ID5131)や受信電波強度等に基づいて、基地局情報513の中から無線基地局231のカバーエリア5132のうち一部の領域を特定する。そして、案内装置500は、無線基地局231のカバーエリア5132に対応付けられたカメラID51331等を特定し、カメラID51331等に対応するカメラ情報514内のカメラID5141を特定する。そして、案内装置500は、特定したカメラID5141に対応付けられた撮影範囲5142の中から、上記で特定した領域を含む撮影範囲のカメラIDを特定する。このようにして特定されたカメラIDが第1のカメラである。ここでは、案内装置500は、カメラ242を第1のカメラとして特定したものとする。
尚、施設200内のカメラ241~244は、定期的に、撮影を行い、撮影した画像を案内装置500へ送信する。例えば、第1のカメラ(カメラ242)は、撮影範囲を撮影し(図9のS305)、撮影画像をネットワークNを介して案内装置500へ送信する(図9のS306)。
その後、案内装置500は、第1のカメラから撮影画像を取得する(S323)。具体的には、案内装置500は、カメラ242により撮影された監視画像を、ネットワークNを介して取得する。または、案内装置500は、施設200内のカメラ241~244のそれぞれにより撮影された監視画像を、ネットワークNを介して取得する。このとき、案内装置500は、取得した監視画像のうち第1のカメラから取得した監視画像を、ステップS323の撮影画像(第1の画像)として選択してもよい。
そして、案内装置500は、撮影画像から顔画像を抽出する(S324)。具体的には、案内装置500は、第1の画像から人物の顔領域を検出し、第1の画像から顔領域を顔画像として抽出する。続いて、案内装置500は、顔画像を含めた顔認証要求を、ネットワークNを介して認証装置400へ送信する(S325、図9のS307)。これに応じて、認証装置400は、顔認証処理を行う(図9のS308)。そして、認証装置400は、顔認証結果を、ネットワークNを介して案内装置500を送信する(図9のS309)。
図11は、本実施形態2にかかる認証装置による顔認証処理の流れを示すフローチャートである。まず、認証装置400は、案内装置500からネットワークNを介して、顔認証要求を受信する(S211)。次に、認証装置400は、顔認証要求に含まれる顔画像に対して、上述したステップS202及びS203と同様に、顔特徴情報を抽出する。そして、認証装置400の認証部450は、顔認証要求に含まれる顔画像から抽出した顔特徴情報を、顔情報DB410の顔特徴情報412と照合し(S212)、一致度を算出する。そして、認証部450は、一致度が閾値以上か否かを判定する(S213)。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が閾値以上である場合、認証部450は、顔特徴情報412に対応付けられたユーザID411を特定する(S214)。そして、認証部450は、顔認証に成功した旨と特定したユーザID411とを含めた顔認証結果を、ネットワークNを介して案内装置500へ返信する(S215)。ステップS213で一致度が閾値未満である場合、認証部450は、顔認証に失敗した旨を含めた顔認証結果を、ネットワークNを介して案内装置500へ返信する(S216)。
図10に戻り説明を続ける。
案内装置500は、認証装置400からネットワークNを介して、顔認証結果を受信する(S326)。そして、案内装置500は、顔認証に成功したか否かを判定する(S327)。具体的には、案内装置500は、顔認証結果を参照し、顔認証結果にユーザIDが含まれていれば、顔認証に成功したと判定する。尚、顔認証に失敗したと判定した場合、案内装置500は、ユーザが顔認証に失敗したためルート案内を行えない旨を、ネットワークN及び無線基地局231を介して無線端末101へ返信してもよい。
案内装置500は、認証装置400からネットワークNを介して、顔認証結果を受信する(S326)。そして、案内装置500は、顔認証に成功したか否かを判定する(S327)。具体的には、案内装置500は、顔認証結果を参照し、顔認証結果にユーザIDが含まれていれば、顔認証に成功したと判定する。尚、顔認証に失敗したと判定した場合、案内装置500は、ユーザが顔認証に失敗したためルート案内を行えない旨を、ネットワークN及び無線基地局231を介して無線端末101へ返信してもよい。
ここでは、顔認証結果に顔認証に成功した旨とユーザU1のユーザIDが含まれていたものとして説明を続ける。ステップS327で顔認証(第1の認証)に成功した場合、案内装置500は、第1のカメラの撮影範囲から、ユーザの現在位置を特定する(S328)。具体的には、案内装置500は、施設管理サーバ300からネットワークNを介して施設内地図情報310を取得する。また、案内装置500は、カメラ242の撮影範囲5142と、第1の画像内のユーザU1の身体領域の位置と、施設内地図情報310から、施設200内でユーザU1が存在する座標情報を特定し、当該座標情報を現在位置とする。
そして、案内装置500は、ルート情報を導出する(S329)。具体的には、案内装置500は、特定した現在位置を出発地とする。また、案内装置500は、ルート案内要求から目的地を取得し、施設内地図情報310を参照して目的地(店舗名)に対応する座標情報を特定する。そして、案内装置500は、施設内地図情報310を参照し、出発地から目的地までのルート情報を導出する。このとき、案内装置500は、複数のルート情報を推薦候補として導出してもよい。
そして、案内装置500は、案内管理情報515に、導出したルート情報等を登録する(S330)。具体的には、案内装置500は、案内ID5151を発行し、顔認証に成功したユーザU1のユーザIDを特定する。そして、案内装置500は、発行した案内ID5151、特定したユーザID5152、導出したルート情報5153、出発地5154及び目的地5156を対応付けた案内管理情報515を記憶部510に登録する。
続いて、案内装置500は、導出したルート上の第2のカメラを特定する(S331)。具体的には、案内装置500は、設内地図情報310を参照し、導出したルート情報の経路上のカメラを特定する。ここでは、案内装置500は、カメラ243及び244を第2のカメラとして特定したものとする。そして、案内装置500は、第2のカメラ(のカメラID)と、顔認証に成功したユーザIDとを対応付けて記憶部510又はメモリ520に保存する(S332)。これにより、案内装置500は、ルート情報の経路上の各カメラにおいて、ユーザU1が顔認証に成功することにより、ユーザU1がルートに沿って移動していることを把握することができる。
その後、案内装置500は、導出したルート情報を無線端末101へ通知する(S333)。図9に戻り説明を続ける。具体的には、案内装置500は、ステップS329で導出した1以上のルート情報の推薦候補を、ネットワークNを介して無線基地局231へ送信する(S310)。そして、無線基地局231は、受信したルート情報の推薦候補を、無線端末101へ送信する(S311)。これに応じて、無線端末101は、無線基地局231からルート情報の推薦候補を受信し、画面に表示する。そして、無線端末101は、ユーザU1からルート情報の選択を受け付ける(S312)。そして、無線端末101は、選択されたルート情報(の識別情報)を無線基地局231へ送信する(S313)。そして、無線基地局231は、受信した選択されたルート情報を、ネットワークNを介して案内装置500へ送信する(S314)。
これに応じて、案内装置500は、無線基地局231からネットワークNを介して選択されたルート情報を受信し、選択されたルート情報に対応する案内管理情報515の出発時刻5155に現在時刻を保存する。そして、案内装置500は、選択されたルート情報について案内を開始する(S315)。具体的には、案内装置500は、ルート情報に沿って目的地まで誘導するための案内情報を、ネットワークNを介して無線基地局231へ送信する(S316)。そして、無線基地局231は、受信した案内情報を、無線端末101へ送信する(S317)。これに応じて、無線端末101は、受信した案内情報を画面に表示や音声出力する。そして、ユーザU1は、案情報に基づき、目的地へ移動を開始する。つまり、無線端末101は、ユーザU1と共に移動する(S318)。
以降、無線端末101は、カバーエリア210の圏外になり、他のカバーエリア内に入る度に、当該カバーエリアの無線基地局と無線接続を確立し、現地位置通知を当該無線基地局を介して案内装置500へ送信する。これに応じて、案内装置500は、現地位置通知に応じて案内情報を無線端末101へ送信する。
図12は、本実施形態2にかかる到着判定処理の流れを示すシーケンス図である。ここでは、図9の後に、ユーザU1が移動し、カバーエリア220内のカメラ244の撮影範囲付近に到着したものとする。まず、ユーザU1が携帯する無線端末101は、カバーエリア220内に存在するため、無線基地局232との間で無線接続を確立する(S341)。次に、無線端末101は、現在位置通知を無線基地局232へ送信する(S342)。このとき、無線端末101は、無線基地局232との接続情報(SSID等)及び受信電波強度を現地位置通知に含める。そして、無線基地局232は、無線端末101から受信した現地位置通知を、ネットワークNを介して案内装置500へ送信する(S343)。
そして、案内装置500は、到着判定処理を行う(S344)。図13は、本実施形態2にかかる到着判定処理の流れを示すフローチャートである。まず、案内装置500は、無線基地局231からネットワークNを介して現在位置通知を受信する(S351)。次に、案内装置500は、第2のカメラを特定する(S352)。案内装置500は、上述したステップS322と同様に、無線基地局232のカバーエリア5132のうち一部の領域を特定し、当該領域を撮影範囲に含むカメラIDを特定する。ここでは、案内装置500は、カメラ244を第2のカメラとして特定したものとする。
その後、案内装置500は、第2のカメラから撮影画像を取得する(S353)。具体的には、案内装置500は、カメラ244により撮影された監視画像を、ネットワークNを介して取得する。そして、案内装置500は、上述したステップS324からS327と同様に、処理を行う。すなわち、案内装置500は、撮影画像から顔画像を抽出し(S354)、顔画像を含めた顔認証要求を、ネットワークNを介して認証装置400へ送信する(S355、図9のS307)。これに応じて、認証装置400は、顔認証処理を行う(図9のS308)。そして、認証装置400は、顔認証結果を、ネットワークNを介して案内装置500を送信する(図9のS309)。案内装置500は、認証装置400からネットワークNを介して、顔認証結果を受信する(S356)。そして、案内装置500は、顔認証に成功したか否かを判定し(S357)、ここでは、顔認証に成功したものとする。
また、ステップS352の後、案内装置500は、第2のカメラに対応付けられたユーザIDを特定する(S358)。つまり、案内装置500は、上述したステップS332で第2のカメラ(カメラ243や244)と対応付けたユーザU1のユーザIDを、記憶部510又はメモリ520から読み出す。
そして、ステップS357で顔認証に成功し、かつ、ステップS358の後、案内装置500は、特定した(第1の認証に成功した)ユーザIDと顔認証に成功したユーザIDが一致するか否かを判定する(S359)。例えば、第2のカメラであるカメラ243又は244により、ユーザU1以外のユーザが撮影されたことにより、顔認証に成功した場合、ステップS359では一致しないと判定される。ステップS357又はS359でNOと判定された場合、ステップS351へ戻る。
一方、ステップS359で一致すると判定された場合、案内装置500は、上述したステップS328と同様に、第2のカメラの撮影範囲から、ユーザの現在位置を特定する(S360)。そして、案内装置500は、特定した現在位置が目的地か否かを判定する(S361)。具体的には、案内装置500は、案内管理情報515の目的地5156と、特定した現在位置との座標情報が所定範囲内であるか否かを判定する。所定範囲外である場合、ユーザが目的地に到着していないと判定し、ステップS351へ戻る。一方、ユーザの現在位置が目的地と所定範囲内である場合、案内装置500は、ユーザが目的地に到着したと判定する(S362)。具体的には、案内装置500は、案内管理情報515の到着時刻5157に現在時刻を登録する。そして、案内装置500は、案内を終了する(S363)。具体的には、案内装置500は、到着通知を無線端末101へ通知する。図12に戻り説明を続ける。具体的には、案内装置500は、到着通知を、ネットワークNを介して無線基地局232へ送信する(S347)。そして、無線基地局232は、受信した到着通知を、無線端末101へ送信する(S348)。これに応じて、無線端末101は、無線基地局232から受信した到着通知を画面に表示する。
このように、本実施形態では、図10のルート案内設定処理の段階でステップS331及びS332にて、ルート上の第2のカメラを特定し、第2のカメラに、第1の認証に成功したユーザIDを対応付けて保存している。そして、図13の到着判定処理において、第1の認証に成功したユーザIDを読み出すことで、第2の認証に成功したユーザIDとの比較を可能としている。そのため、仮に、第2の認証で他のユーザが特定された場合には、目的地には未到着と判定できる。また、第2のカメラをルート上のカメラに絞り込んでいるため、他のカメラでの撮影画像により認証処理を行うことはなく、処理効率を高めることができる。
図14は、本実施形態2にかかる到着判定処理の他の例の流れを示すフローチャートである。ここでは、図13の到着判定処理を改良し、さらに処理効率を高めた例を説明する。尚、図13と同様の処理については説明を省略する。
ステップS358で、第2のカメラに対応付けられたユーザIDを特定した後、案内装置500は、ステップS354及びS355aを行う。すなわち、案内装置500は、ステップS358で特定したユーザIDを指定して、顔画像を含めた顔認証要求を認証装置400へ送信する(S355a)。これにより、認証装置400は、顔情報DB410内の顔特徴情報412のうち、指定されたユーザID411に対応付けられた顔特徴情報412を用いて、顔認証を行う。つまり、認証装置400は、1対1の顔認証処理を行うため、1対Nの顔認証を行う場合と比べて、認証処理時間を短縮でき、処理効率が向上する。そして、第2の顔認証の成功自体が、第1の認証に成功したユーザと、第2の認証に成功したユーザとが一致することとみなすことができる。よって、図13のステップS359の判定処理を省略できる。そのため、図13の処理と比べてさらに処理効率を向上できる。
図15は、本実施形態2にかかるルート案内の例を示す図である。ここでは、無線端末101-1を携帯したユーザU1-1は、フロアB1のホームB11の出発地P1にいる状態で、隣のホームB12の目的地P2へ移動するものとする。尚、ユーザU1-2及び無線端末101-2は、ユーザU1-1及び無線端末101-1と同一であり、これらが目的地P2へ移動したときの状態を図示したものとする。そして、出発地P1は、カバーエリア211内であり、カメラ250の撮影範囲内とする。
このとき、無線端末101-1は、無線基地局233と無線接続を確立する。そして、無線端末101-1は、ユーザU1-1から目的地P2の入力を受け付け、目的地P2の指定や接続情報、受信電波強度を含むルート案内要求を無線基地局233へ送信する。これに応じて、案内装置500は、無線基地局233からルート案内要求を受信し、上述したようにルート案内設定処理を行う。このとき、案内装置500は、接続情報及び受信電波強度から、カバーエリア211内のカメラ250を第1のカメラと特定する。このとき、カメラ250は、ユーザU1-1を撮影し、撮影画像を案内装置500へ送信する。これにより、案内装置500は、第1のカメラにより撮影された画像を取得する。そして、案内装置500は、ユーザU1-1の現在位置を、カメラ250の撮影範囲内の出発地P1として特定する。そして、案内装置500は、出発地P1から目的地P2まで移動するためのルート情報R1を導出し、無線端末101-1へ通知し、目的地P2までの案内を開始する。このとき、案内装置500は、施設内地図情報310と、ルート情報R1、目的地P2の位置情報から、カメラ252、255、254、251、253を第2のカメラ群として特定する。また、案内装置500は、第2のカメラ群とユーザU1-1のユーザIDとを対応付けて保存する。
その後、ユーザU1-1は、ルート情報R1に沿って移動する。具体的には、ユーザU1-1は、B11上で出発地P1からエスカレータE1まで移動する。このとき、無線端末101-1は無線基地局234と無線接続を確立し、現在位置通知を案内装置500へ送信してもよい。また、カメラ252は、ユーザU1-1を撮影する。その場合、案内装置500は、カメラ252の撮影画像から顔認証によりユーザU1-1の現在位置を特定する。但し、カメラ252の撮影範囲は、目的地P2とは異なるため、案内装置500は、ユーザU1-1が目的地P2に到着したとは判定しない(図13のS361でNO)。
以降、ユーザU1-1は、ルート情報R1に従って、エスカレータE1でフロアF1へ移動し、フロアF1内でエレベータE2に乗り、フロアB1のホームB12まで下りる。そして、ユーザU1-1は、ホームB12上を目的地P2まで移動する。この間、無線端末101-1は、ユーザU1-1の移動に応じて、カバーエリア214内で無線基地局236、カバーエリア213内で無線基地局235、カバーエリア211内で無線基地局233と無線接続先を切り替える。そして、無線端末101-1は、都度、現在位置通知を案内装置500へ送信してもよい。その場合、第2のカメラであるカメラ255、254、251による撮影画像に対するユーザU1-1の顔認証に成功する。但し、各カメラの撮影範囲は、目的地P2とは異なるため、案内装置500は、ユーザU1-1が目的地P2に到着したとは判定しない(図13のS361でNO)。
その後、ユーザU1-1は、ルート情報R1に沿ってカバーエリア212に入り、無線端末101-1は無線基地局234と無線接続を確立し、現在位置通知を案内装置500へ送信する。この場合、第2のカメラであるカメラ253による撮影画像に対するユーザU1-1の顔認証に成功する。つまり、出発地P1の顔認証に成功したユーザと、第2のカメラの撮影画像に対する顔認証に成功したユーザとが一致する。また、カメラ253の撮影範囲に目的地P2が含まれるため、案内装置500は、ユーザU1-1が目的地P2に到着したと判定し。案内を終了する。
上述したように施設200は、例えば、鉄道の駅と商業施設を含む駅ビルである。そして、大規模な駅では、駅舎の増改築や新路線の開通により駅構内構造が複雑化している。そのため、当該駅をあまり訪れたことのない人や外国人観光客等は、駅構内で道に迷ってしまうことが多い。しかしながら、一般的な地図アプリケーションでは、無線端末の位置情報をGPSで測位するため、階層の区別が困難であり、特に、地下などを含む施設内では、測位精度が極端に低下し、施設内の正確なルート案内が困難となる。また、複雑な構造の駅構内では、同一階層であっても直線距離が近いとしてもホームが異なる場合もある。ホームが異なったとしても無線基地局のカバーエリアが共通する場合もある。よって、無線端末の接続情報や受信電波強度だけでは、ユーザが出発地のホームから移動して目的である同一階層の他のホームへ到着したことを正確に判定できない場合がある。
これに対して本実施形態では、施設内に設置された無線基地局とそのカバーエリア内に設置された複数のカメラとの対応関係(例えば、図6の基地局情報513及びカメラ情報514)を予め保持している。特に、各カメラの設置位置により施設内の階層も特定できる。そのため、ユーザが携帯する無線端末と無線基地局との接続情報や、無線端末の受信電波強度を用いることで、カバーエリア内の無線端末の存在範囲をある程度、絞り込める。そして、絞り込んだ存在範囲内のカメラの撮影画像に対する顔認証によりユーザの現在位置を階層レベルやフロア内の領域まで正確に特定できる。さらに、最新の施設内地図情報310を入手することで、ユーザの出発地から目的地までの現実的なルート情報を導出できる。また、ルート上の各カバーエリアに設置された第2のカメラと出発地での顔認証に成功したユーザIDとを対応付けておくことで、移動中のユーザの現在位置を追跡するために用いられるカメラを絞り込み、不要な顔認証処理を減少できる。さらに、第1の認証と第2の認証に成功したユーザが一致し、第2の認証に成功した現在位置が目的地と一致する場合に、目的地へ到着したことを正確に判定できる。特に、階層の違いや、同一階層で無線基地局のカバーエリアが共通する異なるホームなどの場合に、現在位置の違いを正確に把握でき、到着判定を正確に行うことができる。以上のことから、本実施形態により、無線通信端末と共に移動するユーザに対して現在位置から適切な移動先までを案内する際の処理を効率化し、正確な到着判定を実現できる。
<実施形態3>
本実施形態3は、上述した実施形態2の改良例である。本実施形態3にかかる第3の特定部は、ルートのうち目的地に対応するエリアに設置された撮影装置を第2の撮影装置として特定する。そして、判定部は、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致する場合、ユーザが目的地に到着したと判定する。
本実施形態3は、上述した実施形態2の改良例である。本実施形態3にかかる第3の特定部は、ルートのうち目的地に対応するエリアに設置された撮影装置を第2の撮影装置として特定する。そして、判定部は、第1の認証に成功したユーザと第2の認証に成功したユーザとが一致する場合、ユーザが目的地に到着したと判定する。
図16は、本実施形態3にかかるルート案内設定処理の例を示す図である。図16は、上述した図10との違いとして、S331がS331bに置き換わったものである。それ以外の処理は図10と同様のため、重複する説明は適宜、省略する。
ステップS330の後、案内装置500は、目的地に対応するエリアに設置された第2のカメラを特定する(S331b)。例えば、案内装置500は、設内地図情報310を参照し、目的地P2を撮影範囲に含むカメラ253のみを第2のカメラとして特定する。つまり、案内装置500は、施設200内の複数のカメラの中で、ルート上の複数のカメラのうち、目的地に対応するカメラに絞り込む。そして、案内装置500は、第2のカメラであるカメラ253のカメラIDと、カメラ250の撮影画像に対する顔認証に成功したユーザIDとを対応付けて保存する(S332)。
図17は、本実施形態3にかかる到着判定処理の流れを示すフローチャートである。ここでは、ステップS352において、案内装置500は、カメラ253のみを第2のカメラとして特定する。そのため、ステップS353以降は、カメラ253以外で撮影された撮影画像に対しては顔認証処理を行わない。よって、顔認証のコストを低減できる。
また、ステップS358において、案内装置500は、上述したステップS332でカメラ253と対応付けたユーザU1-1のユーザIDを、記憶部510又はメモリ520から読み出す。
ここで、カメラ253(第2のカメラ)の撮影範囲は、目的地P2を含む。そのため、カメラ253の撮影画像に対する顔認証(第2の認証)に成功したユーザIDが、第1の認証に成功したユーザID(ユーザU1-1)と一致する場合(S359でYES)、ユーザU1-1が目的地P2に到着したとみなすことができる。そのため、上述した図13のステップS360及びS361の処理を省略することができる。
そのため、本実施形態3により、上述した実施形態2と比べて、さらに処理効率を向上させることができる。
<実施形態4>
本実施形態4は、上述した実施形態2又は3の改良例である。例えば、施設が鉄道の駅である場合には、電車の乗換のために空き時間が発生する場合がある。その場合、降車ホームから次の乗車ホームへ移動する間に、空き時間に施設内の任意の場所に立ち寄ることも可能である。しかしながら、ユーザは乗換で滞在する駅構内で空き時間を過ごすべき適切な地点(店舗等)がどこに存在するかを探しにくいという問題がある。また、現在位置から立ち寄る場所への移動時間とその場所での滞在時間、さらにその場所から目的地への移動時間を加味した場合、空き時間に余裕があるのかを判断することが困難である。特に、工事中の駅ビル等の場合、店舗の位置や経路が頻繁に変更されるため、存在が分っている店舗であっても、最新の位置や経路により待ち時間内に辿り着き、滞在する時間があるのかを判断することも困難である。または、時間的な制約が少なくても、乗換で下車した駅の場合、自身の潜在的なニーズに合致する店舗が存在するかを知ることが難しいという問題がある。
本実施形態4は、上述した実施形態2又は3の改良例である。例えば、施設が鉄道の駅である場合には、電車の乗換のために空き時間が発生する場合がある。その場合、降車ホームから次の乗車ホームへ移動する間に、空き時間に施設内の任意の場所に立ち寄ることも可能である。しかしながら、ユーザは乗換で滞在する駅構内で空き時間を過ごすべき適切な地点(店舗等)がどこに存在するかを探しにくいという問題がある。また、現在位置から立ち寄る場所への移動時間とその場所での滞在時間、さらにその場所から目的地への移動時間を加味した場合、空き時間に余裕があるのかを判断することが困難である。特に、工事中の駅ビル等の場合、店舗の位置や経路が頻繁に変更されるため、存在が分っている店舗であっても、最新の位置や経路により待ち時間内に辿り着き、滞在する時間があるのかを判断することも困難である。または、時間的な制約が少なくても、乗換で下車した駅の場合、自身の潜在的なニーズに合致する店舗が存在するかを知ることが難しいという問題がある。
そこで、本実施形態4にかかる案内部は、ユーザが第1の現在位置から目的地に到着するまでの空き時間、又は、ユーザの属性情報の少なくともいずれかに基づいて、目的地以外の途中滞在地を選出する。そして、案内部は、第1の現在位置から途中滞在地を経由した目的地までの前記ルートを導出し、導出したルートを無線端末へ通知し、ユーザに対して途中滞在地までの案内を開始する。このように、ユーザの空き時間又は属性情報から途中滞在地を割り出し、ユーザへ案内することで、ユーザが直接、指定していない場所へ移動でき、ユーザは有意義な時間や体験を過ごすことができる場合がある。例えば、適切な途中滞在地を知り、移動して滞在することで、空き時間を有効活用できる。また、ユーザの属性情報から適切な途中滞在地を推薦されることで、ユーザは、興味や趣向に合致した店舗や地点の存在を知り、移動して滞在することで、有意義な体験をできる。
さらに、案内部は、空き時間又は属性情報の少なくともいずれかに基づいて、複数の途中滞在地の候補を選出し、第1の現在位置から途中滞在地の候補の少なくともいずれかを経由した目的地までの複数のルートを導出するとよい。そして、案内部は、導出した複数のルートを無線端末へ通知する。このように、複数の途中滞在地を経由するルートの候補を推薦することで、ユーザは様々な選択肢の中から自身の好みに合った途中滞在地及びルートを選択できる。
また、案内部は、第1の認証に成功したユーザに対応する特徴情報を解析して、属性情報を抽出するとよい。これにより、ユーザは、自身で属性情報を入力せずに、潜在的な興味等が自動的に加味された途中滞在地を知り、移動することができる。
<実施例4-1>
実施例4-1では、ユーザの属性情報に基づいて途中滞在地を選出及び推薦する場合を説明する。図18は、本実施形態4の実施例4-1にかかるルート案内設定処理の流れを示すフローチャートである。尚、図10と同様の処理については、適宜、重複する説明を省略する。
実施例4-1では、ユーザの属性情報に基づいて途中滞在地を選出及び推薦する場合を説明する。図18は、本実施形態4の実施例4-1にかかるルート案内設定処理の流れを示すフローチャートである。尚、図10と同様の処理については、適宜、重複する説明を省略する。
まず、上述した図10のステップS321からS328が行われる。その後、案内装置500は、顔画像を解析してユーザの属性情報を抽出する(S371a)。具体的には、案内装置500は、公知の画像解析技術を用いて、顔画像からユーザの年齢、性別、国籍、人種、嗜好等を属性情報として抽出する。尚、案内装置500は、ユーザから入力された属性情報を取得してもよい。
次に、案内装置500は、施設内地図情報310及び属性情報に基づいて、途中滞在地の候補を選出する(S372a)。案内装置500は、複数の候補を選出してもよい。例えば、案内装置500は、属性情報を入力し、店舗等の途中滞在地の候補を出力する推薦モデルを用いても良い。推薦モデルは、所定のロジックが実装されたプログラムモジュールや、属性情報と店舗等の組を教師データとして学習した学習済みのAI(Artificial intelligence)モデル等であってもよい。
そして、案内装置500は、現在位置から途中滞在地の候補を経由した目的地までの複数のルート情報を導出する(S373)。その後、上述した図10のステップS330からS332が行われる。そして、案内装置500は、複数のルート情報を無線端末へ通知する(S374)。その後、案内装置500は、無線端末から選択ルートを受け付け、案内を開始する。
<実施例4-2>
実施例4-2では、ユーザの空き時間に基づいて途中滞在地を選出及び推薦する場合を説明する。図19は、本実施形態4の実施例4-2にかかるルート案内設定処理の流れを示すフローチャートである。尚、図10と同様の処理については、適宜、重複する説明を省略する。
実施例4-2では、ユーザの空き時間に基づいて途中滞在地を選出及び推薦する場合を説明する。図19は、本実施形態4の実施例4-2にかかるルート案内設定処理の流れを示すフローチャートである。尚、図10と同様の処理については、適宜、重複する説明を省略する。
まず、案内装置500は、ユーザの目的地、接続情報、受信電波強度に加えて、到着予定時刻を含むルート案内要求を、無線端末から無線基地局及びネットワークNを介して受信する(S321c)。その後、上述した図10のステップS322からS328が行われる。そして、案内装置500は、現在時刻と、ルート案内要求に含まれる到着予定時刻から、空き時間を算出する(S371b)。尚、案内装置500は、空き時間自体を、ユーザから取得してもよい。
次に、案内装置500は、施設内地図情報310及び空き時間に基づいて、途中滞在地の候補を選出する(S372b)。案内装置500は、複数の候補を選出してもよい。例えば、案内装置500は、現在位置から途中滞在地への移動時間、途中滞在地から目的地への移動時間、及び、途中滞在地での滞在時間を考慮し、算出した空き時間を満たすような場所を、途中滞在地の候補として選出する。
そして、案内装置500は、現在位置から途中滞在地の候補を経由した目的地までの複数のルート情報を導出する(S373)。その後、上述した図10のステップS330からS332が行われる。そして、案内装置500は、複数のルート情報を無線端末へ通知する(S374)。その後、案内装置500は、無線端末から選択ルートを受け付け、案内を開始する。
<実施例4-3>
実施例4-3では、ユーザの属性情報及び空き時間に基づいて途中滞在地を選出及び推薦する場合を説明する。図20は、本実施形態4の実施例4-3にかかるルート案内設定処理の流れを示すフローチャートである。尚、図10と同様の処理については、適宜、重複する説明を省略する。
実施例4-3では、ユーザの属性情報及び空き時間に基づいて途中滞在地を選出及び推薦する場合を説明する。図20は、本実施形態4の実施例4-3にかかるルート案内設定処理の流れを示すフローチャートである。尚、図10と同様の処理については、適宜、重複する説明を省略する。
まず、案内装置500は、上述したステップS321cと、S322からS328を行う。そして、案内装置500は、顔画像を解析してユーザの属性情報を抽出する(S371a)。併せて、案内装置500は、現在時刻と、ルート案内要求に含まれる到着予定時刻から、空き時間を算出する(S371b)。
ステップS371a及びS371bの後、案内装置500は、施設内地図情報310、空き時間及び属性情報に基づいて、途中滞在地の候補を選出する(S372c)。案内装置500は、複数の候補を選出してもよい。例えば、案内装置500は、空き時間及び属性情報を入力し、店舗等の途中滞在地の候補を出力する推薦モデルを用いても良い。推薦モデルは、所定のロジックが実装されたプログラムモジュールや、空き時間及び属性情報と店舗等の組を教師データとして学習した学習済みのAI(Artificial intelligence)モデル等であってもよい。
そして、案内装置500は、現在位置から途中滞在地の候補を経由した目的地までの複数のルート情報を導出する(S373)。その後、上述した図10のステップS330からS332が行われる。そして、案内装置500は、複数のルート情報を無線端末へ通知する(S374)。その後、案内装置500は、無線端末から選択ルートを受け付け、案内を開始する。
図21は、本実施形態4にかかるルート情報の候補の例を示す図である。ここでは、上述した図15と同様に、無線端末101-1を携帯したユーザU1-1は、フロアB1のホームB11の出発地P1にいる状態で、隣のホームB12の目的地P2へ移動するものとする。但し、ユーザU1-1は、目的地P2への到着予定時刻まで待ち時間が15分以上あるものとする。
無線端末101-1は、ユーザU1-1から目的地P2と到着予定時刻の入力を受け付け、目的地P2及び到着予定時刻の指定や接続情報、受信電波強度を含むルート案内要求を無線基地局233へ送信する。案内装置500は、上述した図20と同様のルート案内設定処理を行い、複数のルート情報R2a及びR2bを導出し、無線端末101-1へ送信する。
ここで、ルート情報R2aは、出発地P1から途中滞在地P3を経由して目的地P2へ移動する際のルートである。途中滞在地P3は、フロアF2の店舗261である。そのため、ルート情報R2aは、出発地P1からエスカレータE1でフロアB1からF1へ昇り、フロアF1上でエレベータE2へ移動し、エレベータE2でフロアF1からF2へ昇り、フロアF2上で店舗261まで移動する経路を含む。ルート情報R2aを選択する場合、ユーザU1-1は、途中滞在地P3が示す店舗261で所定時間、滞在することができる。その後、ルート情報R2aは、エレベータE2でフロアF2からB1へ降り、フロアB1のホームB12上を移動して目的地P2に到着する経路を含む。
また、ルート情報R2bは、出発地P1から途中滞在地P4を経由して目的地P2へ移動する際のルートである。途中滞在地P4は、フロアF1の店舗262である。そのため、ルート情報R2bは、出発地P1からエスカレータE1でフロアB1からF1へ昇り、フロアF1上で店舗262まで移動する経路を含む。ルート情報R2bを選択する場合、ユーザU1-1は、途中滞在地P4が示す店舗262で所定時間、滞在することができる。その後、ルート情報R2bは、エレベータE3でフロアF1からB1へ降り、フロアB1のホームB12上を移動して目的地P2に到着する経路を含む。
例えば、案内装置500は、ユーザU1-1の顔画像を解析して、年代(年齢層)、性別等を属性情報として抽出する。また、案内装置500は、ユーザU1-1から空き時間と共に空き時間の目的を取得してもよい。空き時間の目的は、例えば、電車の乗換待ちや、乗車はしないが見たい車両がある、といったことが挙げられるが、これらに限定されない。
例えば、属性情報が20代、女性、目的が電車の乗換待ち、空き時間が40分である場合、案内装置500は、途中滞在地として、カフェやスイーツ店などを選出するとよい。また、属性情報が40代、男性、目的が電車の乗換待ち、空き時間が20分である場合、案内装置500は、途中滞在地として、コンビニエンスストアなどを選出するとよい。また、属性情報が30代、男性、目的が見たい車両がある、空き時間が15分である場合、案内装置500は、途中滞在地として、車両鑑賞スポット一覧などを選出するとよい。また、属性情報が外国籍である場合、案内装置500は、途中滞在地として、両替所などを選出するとよい。
このように、本実施形態によりユーザの属性情報や目的地への到着予定時刻までの空き時間を考慮して、ユーザにとって適切な途中滞在地の候補を推薦することができる。これにより、店舗等の利用を促し、ユーザの利便性が向上し、店舗の売り上げ向上にも貢献し得る。
<実施形態5>
本実施形態5は、上述した実施形態4の変形例である。上述した実施形態4では、目的地の入力を前提とし、目的地まで移動する間に立ち寄る場所(途中滞在地)を選出し、ルート情報と共に推薦するものであった。本実施形態5では、目的地の入力を不要とし、ユーザの空き時間や属性に応じて、立ち寄る場所(目的地や途中滞在地を含む)を選出し、ルート情報と共に推薦するものである。
本実施形態5は、上述した実施形態4の変形例である。上述した実施形態4では、目的地の入力を前提とし、目的地まで移動する間に立ち寄る場所(途中滞在地)を選出し、ルート情報と共に推薦するものであった。本実施形態5では、目的地の入力を不要とし、ユーザの空き時間や属性に応じて、立ち寄る場所(目的地や途中滞在地を含む)を選出し、ルート情報と共に推薦するものである。
本実施形態5にかかる案内装置は、上述した第1の特定部、第1の認証制御部、第2の特定部と共に、本実施形態5にかかる案内部を少なくとも備える。また、当該案内部は、ユーザの空き時間、又は、属性情報の少なくともいずれかに基づいて、目的地を選出し、現在位置から目的地までのルートを導出し、導出したルートを無線端末へ通知し、ユーザに対して目的地までの案内を開始する。または、当該案内部は、ユーザの空き時間、又は、属性情報の少なくともいずれかに基づいて、途中滞在地を選出し、現在位置から途中滞在地を経由して現在位置へ戻るためのルートを導出し、導出したルートを無線端末へ通知し、ユーザに対して途中滞在地までの案内を開始する。
図22は、本実施形態5にかかるルート案内設定処理の流れを示すフローチャートである。ここでは、ユーザは、現在位置で一定の待ち時間が発生するが、所定の時刻までに現在位置に戻ってくる必要がある場合を示す。つまり、現在位置が上述した出発地であり、同時に、目的地でもある場合を示す。尚、現在位置が目的地である必要はなく、単に、ユーザから入力された空き時間に応じて、目的地を選出し、現在位置から目的地までのルートを推薦してもよい。
まず、案内装置500は、無線端末の接続情報、受信電波強度に加えて、ユーザが現在位置まで戻るまでの到着予定時刻を含むルート案内要求を、無線端末から無線基地局及びネットワークNを介して受信する(S321d)。その後、上述した図10のステップS322からS328が行われる。そして、案内装置500は、顔画像を解析してユーザの属性情報を抽出する(S371a)。併せて、案内装置500は、現在時刻と、ルート案内要求に含まれる到着予定時刻から、空き時間を算出する(S371b)。尚、案内装置500は、空き時間自体を、ユーザから取得してもよい。
ステップS371a及びS371bの後、案内装置500は、施設内地図情報310、空き時間及び属性情報に基づいて、途中滞在地の候補を選出する(S372c)。
そして、案内装置500は、現在位置から途中滞在地の候補を経由して現在位置へ戻るまでの複数のルート情報を導出する(S373d)。その後、上述した図10のステップS330からS332が行われる。そして、案内装置500は、複数のルート情報を無線端末へ通知する(S374)。その後、案内装置500は、無線端末から選択ルートを受け付け、案内を開始する。
このように、本実施形態は、上述した出発地と目的地が同じ場合で、空き時間がある場合(決まった時刻までに戻る必要がある場合)に適用可能である。そして、本実施形態は、上述した実施形態4と同様の効果を奏することができる。
<その他の実施形態>
尚、上述した各実施形態では、第1の認証を1対多の照合で行っていたが、これに限定されない。例えば、ユーザ情報512のユーザID5121と端末ID5123の対応付けを用いて、認証対象の特徴情報を絞り込んでも良い。すなわち、記憶装置(記憶部510のユーザ情報512又は顔情報DB410)は、無線端末とユーザとが対応付けて登録されているものとする。この場合、第1の特定部は、記憶装置を参照して、無線端末からユーザを特定する。そして、第1の認証制御部は、記憶装置の中からユーザに対応する特徴情報を指定して、第1の認証を制御するとよい。例えば、ルート案内要求に無線端末の端末IDが含まれているものとし、上述した図10のステップS321の後に、案内装置500は、ユーザ情報512を参照し、ルート案内要求に含まれる端末IDに対応付けられたユーザIDを特定する。そして、ステップS325を図14のステップS355aに置き換えて、案内装置500は、特定したユーザIDを指定して、顔画像を含めた顔認証要求を認証装置400へ送信する。これにより、認証装置400は、顔情報DB410内の顔特徴情報412のうち、指定されたユーザID411に対応付けられた顔特徴情報412を用いて、顔認証を行う。つまり、認証装置400は、1対1の顔認証処理を行うため、1対Nの顔認証を行う場合と比べて、認証処理時間を短縮でき、処理効率が向上する。このように、第1の認証の対象である特徴情報を絞り込むことで、認証処理をさらに効率化できる。
尚、上述した各実施形態では、第1の認証を1対多の照合で行っていたが、これに限定されない。例えば、ユーザ情報512のユーザID5121と端末ID5123の対応付けを用いて、認証対象の特徴情報を絞り込んでも良い。すなわち、記憶装置(記憶部510のユーザ情報512又は顔情報DB410)は、無線端末とユーザとが対応付けて登録されているものとする。この場合、第1の特定部は、記憶装置を参照して、無線端末からユーザを特定する。そして、第1の認証制御部は、記憶装置の中からユーザに対応する特徴情報を指定して、第1の認証を制御するとよい。例えば、ルート案内要求に無線端末の端末IDが含まれているものとし、上述した図10のステップS321の後に、案内装置500は、ユーザ情報512を参照し、ルート案内要求に含まれる端末IDに対応付けられたユーザIDを特定する。そして、ステップS325を図14のステップS355aに置き換えて、案内装置500は、特定したユーザIDを指定して、顔画像を含めた顔認証要求を認証装置400へ送信する。これにより、認証装置400は、顔情報DB410内の顔特徴情報412のうち、指定されたユーザID411に対応付けられた顔特徴情報412を用いて、顔認証を行う。つまり、認証装置400は、1対1の顔認証処理を行うため、1対Nの顔認証を行う場合と比べて、認証処理時間を短縮でき、処理効率が向上する。このように、第1の認証の対象である特徴情報を絞り込むことで、認証処理をさらに効率化できる。
尚、上述した第1及び第2の認証は、身体画像から人物の身体的特徴を示す特徴情報を抽出し、予め登録された特徴情報と抽出された特徴情報との照合を行い、一致度が閾値以上である場合に認証に成功したとみなすものとする。第1及び第2の認証は、生体認証、例えば顔認証であってもよい。その場合、特徴情報は、生体情報、例えば顔特徴情報となる。尚、生体情報は、顔の特徴情報、指紋、声紋、静脈、網膜、瞳の虹彩、手のひらの模様(パターン)といった個人に固有の身体的特徴から計算されるデータ(特徴量)を用いても構わない。
または、第1及び第2の認証は、人物の外観形状に基づく認証であってもよい。その場合、特徴情報は、人物の外観形状に関する情報、例えば、体形、身長、服装等の特徴を示す情報となる。
尚、上述した実施形態2から5において、認証装置400と案内装置500とは別の情報処理装置として説明したが、同一であってもよい。例えば、案内装置500は、ユーザ情報512のユーザID5121に顔特徴情報をさらに対応付けて登録してもよい。その場合、制御部540は、図5の顔検出部420、特徴点抽出部430、登録部440及び認証部450の機能をさらに備えていれば良い。
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定手段と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える案内装置。
(付記A2)
前記第3の特定手段は、
前記第2の撮影装置と前記第1の認証に成功したユーザとを対応付けて保存し、
前記判定手段は、
前記第2の撮影装置に対応付けられたユーザと前記第2の認証に成功したユーザとが一致する場合に、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致すると判定する
付記A1に記載の案内装置。
(付記A3)
前記第2の認証制御手段は、前記記憶装置の中から前記第1の認証に成功したユーザに対応する前記特徴情報を指定して、前記第2の認証を制御し、
前記判定手段は、前記第2の認証に成功した場合、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致すると判定する
付記A1又はA2に記載の案内装置。
(付記A4)
前記第2の特定手段は、前記第2の認証に成功した場合、前記第2の撮影装置の撮影範囲に基づき当該第2の認証に成功したユーザの第2の現在位置を特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の現在位置が前記目的地に含まれる場合、前記ユーザが前記目的地に到着したと判定する
付記A1乃至A3のいずれか1項に記載の案内装置。
(付記A5)
前記第3の特定手段は、
前記ルートのうち前記目的地に対応するエリアに設置された撮影装置を前記第2の撮影装置として特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致する場合、前記ユーザが前記目的地に到着したと判定する
付記A1乃至A3のいずれか1項に記載の案内装置。
(付記A6)
前記記憶装置は、前記無線端末と前記ユーザとが対応付けて登録されており、
前記第1の特定手段は、前記記憶装置を参照して、前記無線端末から前記ユーザを特定し、
前記第1の認証制御手段は、前記記憶装置の中から前記ユーザに対応する前記特徴情報を指定して、前記第1の認証を制御する
付記A1乃至A5のいずれか1項に記載の案内装置。
(付記A7)
前記案内手段は、
前記ユーザが前記第1の現在位置から前記目的地に到着するまでの空き時間、又は、前記ユーザの属性情報の少なくともいずれかに基づいて、前記目的地以外の途中滞在地を選出し、前記第1の現在位置から前記途中滞在地を経由した前記目的地までの前記ルートを導出し、
前記導出したルートを前記無線端末へ通知し、
前記ユーザに対して前記途中滞在地までの案内を開始する
付記A1乃至A6のいずれか1項に記載の案内装置。
(付記A8)
前記案内手段は、
前記空き時間又は前記属性情報の少なくともいずれかに基づいて、複数の前記途中滞在地の候補を選出し、
前記第1の現在位置から前記途中滞在地の候補の少なくともいずれかを経由した前記目的地までの複数のルートを導出し、
前記導出した複数のルートを前記無線端末へ通知する
付記A7に記載の案内装置。
(付記A9)
前記案内手段は、
前記第1の認証に成功したユーザに対応する前記特徴情報を解析して、前記属性情報を抽出する
付記A7又はA8に記載の案内装置。
(付記A10)
前記特徴情報は、顔の特徴情報であり、
前記第1の認証及び前記第2の認証は、顔認証である
付記A1乃至A9のいずれか1項に記載の案内装置。
(付記A11)
前記特徴情報は、人物の外観形状に関する特徴情報であり、
前記第1の認証及び前記第2の認証は、外観形状に基づく認証である
付記A1乃至A9のいずれか1項に記載の案内装置。
(付記B1)
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置と、
所定のユーザが携帯する無線端末と、
所定の地点に設置された第1の撮影装置及び第2の撮影装置と、
案内装置と、
を備え、
前記案内装置は、
前記無線端末と接続された無線基地局に対応するエリアに設置された前記第1の撮影装置を特定する第1の特定手段と、
前記記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える案内システム。
(付記B2)
前記第2の特定手段は、前記第2の認証に成功した場合、前記第2の撮影装置の撮影範囲に基づき当該第2の認証に成功したユーザの第2の現在位置を特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の現在位置が前記目的地に含まれる場合、前記ユーザが前記目的地に到着したと判定する
付記B1に記載の案内システム。
(付記C1)
コンピュータが、
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定し、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御し、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定し、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始し、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定し、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御し、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する、
案内方法。
(付記D1)
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定処理と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御処理と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定処理と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内処理と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定処理と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御処理と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定処理と、
をコンピュータに実行させる案内プログラムが格納された非一時的なコンピュータ可読媒体。
(付記A1)
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定手段と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える案内装置。
(付記A2)
前記第3の特定手段は、
前記第2の撮影装置と前記第1の認証に成功したユーザとを対応付けて保存し、
前記判定手段は、
前記第2の撮影装置に対応付けられたユーザと前記第2の認証に成功したユーザとが一致する場合に、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致すると判定する
付記A1に記載の案内装置。
(付記A3)
前記第2の認証制御手段は、前記記憶装置の中から前記第1の認証に成功したユーザに対応する前記特徴情報を指定して、前記第2の認証を制御し、
前記判定手段は、前記第2の認証に成功した場合、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致すると判定する
付記A1又はA2に記載の案内装置。
(付記A4)
前記第2の特定手段は、前記第2の認証に成功した場合、前記第2の撮影装置の撮影範囲に基づき当該第2の認証に成功したユーザの第2の現在位置を特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の現在位置が前記目的地に含まれる場合、前記ユーザが前記目的地に到着したと判定する
付記A1乃至A3のいずれか1項に記載の案内装置。
(付記A5)
前記第3の特定手段は、
前記ルートのうち前記目的地に対応するエリアに設置された撮影装置を前記第2の撮影装置として特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致する場合、前記ユーザが前記目的地に到着したと判定する
付記A1乃至A3のいずれか1項に記載の案内装置。
(付記A6)
前記記憶装置は、前記無線端末と前記ユーザとが対応付けて登録されており、
前記第1の特定手段は、前記記憶装置を参照して、前記無線端末から前記ユーザを特定し、
前記第1の認証制御手段は、前記記憶装置の中から前記ユーザに対応する前記特徴情報を指定して、前記第1の認証を制御する
付記A1乃至A5のいずれか1項に記載の案内装置。
(付記A7)
前記案内手段は、
前記ユーザが前記第1の現在位置から前記目的地に到着するまでの空き時間、又は、前記ユーザの属性情報の少なくともいずれかに基づいて、前記目的地以外の途中滞在地を選出し、前記第1の現在位置から前記途中滞在地を経由した前記目的地までの前記ルートを導出し、
前記導出したルートを前記無線端末へ通知し、
前記ユーザに対して前記途中滞在地までの案内を開始する
付記A1乃至A6のいずれか1項に記載の案内装置。
(付記A8)
前記案内手段は、
前記空き時間又は前記属性情報の少なくともいずれかに基づいて、複数の前記途中滞在地の候補を選出し、
前記第1の現在位置から前記途中滞在地の候補の少なくともいずれかを経由した前記目的地までの複数のルートを導出し、
前記導出した複数のルートを前記無線端末へ通知する
付記A7に記載の案内装置。
(付記A9)
前記案内手段は、
前記第1の認証に成功したユーザに対応する前記特徴情報を解析して、前記属性情報を抽出する
付記A7又はA8に記載の案内装置。
(付記A10)
前記特徴情報は、顔の特徴情報であり、
前記第1の認証及び前記第2の認証は、顔認証である
付記A1乃至A9のいずれか1項に記載の案内装置。
(付記A11)
前記特徴情報は、人物の外観形状に関する特徴情報であり、
前記第1の認証及び前記第2の認証は、外観形状に基づく認証である
付記A1乃至A9のいずれか1項に記載の案内装置。
(付記B1)
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置と、
所定のユーザが携帯する無線端末と、
所定の地点に設置された第1の撮影装置及び第2の撮影装置と、
案内装置と、
を備え、
前記案内装置は、
前記無線端末と接続された無線基地局に対応するエリアに設置された前記第1の撮影装置を特定する第1の特定手段と、
前記記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える案内システム。
(付記B2)
前記第2の特定手段は、前記第2の認証に成功した場合、前記第2の撮影装置の撮影範囲に基づき当該第2の認証に成功したユーザの第2の現在位置を特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の現在位置が前記目的地に含まれる場合、前記ユーザが前記目的地に到着したと判定する
付記B1に記載の案内システム。
(付記C1)
コンピュータが、
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定し、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御し、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定し、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始し、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定し、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御し、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する、
案内方法。
(付記D1)
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定処理と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御処理と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定処理と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内処理と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定処理と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御処理と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定処理と、
をコンピュータに実行させる案内プログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 案内装置
11 第1の特定部
12 第1の認証制御部
13 第2の特定部
14 案内部
15 第3の特定部
16 第2の認証制御部
17 判定部
1000 案内システム
N ネットワーク
U1 ユーザ
U1-1 ユーザ
U1-2 ユーザ
U2 ユーザ
101 無線端末
101-1 無線端末
101-2 無線端末
102 無線端末
200 施設
210 カバーエリア
220 カバーエリア
211 カバーエリア
212 カバーエリア
213 カバーエリア
214 カバーエリア
215 カバーエリア
216 カバーエリア
231 無線基地局
232 無線基地局
233 無線基地局
234 無線基地局
235 無線基地局
236 無線基地局
237 無線基地局
238 無線基地局
241 カメラ
242 カメラ
243 カメラ
244 カメラ
250 カメラ
251 カメラ
252 カメラ
253 カメラ
254 カメラ
255 カメラ
256 カメラ
257 カメラ
258 カメラ
259 カメラ
B1 フロア
B11 ホーム
B12 ホーム
F1 フロア
E1 エスカレータ
E2 エレベータ
E3 エレベータ
F2 フロア
261 店舗
262 店舗
R1 ルート情報
P1 出発地
P2 目的地
P3 途中滞在地
P4 途中滞在地
R2a ルート情報
R2b ルート情報
300 施設管理サーバ
310 施設内地図情報
400 認証装置
410 顔情報DB
411 ユーザID
412 顔特徴情報
420 顔検出部
430 特徴点抽出部
440 登録部
450 認証部
500 案内装置
510 記憶部
511 プログラム
512 ユーザ情報
5121 ユーザID
5122 個人情報
5123 端末ID
513 基地局情報
5131 基地局ID
5132 カバーエリア
51331 カメラID
5133n カメラID
514 カメラ情報
5141 カメラID
5142 撮影範囲
515 案内管理情報
5151 案内ID
5152 ユーザID
5153 ルート情報
5154 出発地
5155 出発時刻
5156 目的地
5157 到着時刻
520 メモリ
530 通信部
540 制御部
541 取得部
542 登録部
543 特定部
544 認証制御部
545 案内部
546 判定部
11 第1の特定部
12 第1の認証制御部
13 第2の特定部
14 案内部
15 第3の特定部
16 第2の認証制御部
17 判定部
1000 案内システム
N ネットワーク
U1 ユーザ
U1-1 ユーザ
U1-2 ユーザ
U2 ユーザ
101 無線端末
101-1 無線端末
101-2 無線端末
102 無線端末
200 施設
210 カバーエリア
220 カバーエリア
211 カバーエリア
212 カバーエリア
213 カバーエリア
214 カバーエリア
215 カバーエリア
216 カバーエリア
231 無線基地局
232 無線基地局
233 無線基地局
234 無線基地局
235 無線基地局
236 無線基地局
237 無線基地局
238 無線基地局
241 カメラ
242 カメラ
243 カメラ
244 カメラ
250 カメラ
251 カメラ
252 カメラ
253 カメラ
254 カメラ
255 カメラ
256 カメラ
257 カメラ
258 カメラ
259 カメラ
B1 フロア
B11 ホーム
B12 ホーム
F1 フロア
E1 エスカレータ
E2 エレベータ
E3 エレベータ
F2 フロア
261 店舗
262 店舗
R1 ルート情報
P1 出発地
P2 目的地
P3 途中滞在地
P4 途中滞在地
R2a ルート情報
R2b ルート情報
300 施設管理サーバ
310 施設内地図情報
400 認証装置
410 顔情報DB
411 ユーザID
412 顔特徴情報
420 顔検出部
430 特徴点抽出部
440 登録部
450 認証部
500 案内装置
510 記憶部
511 プログラム
512 ユーザ情報
5121 ユーザID
5122 個人情報
5123 端末ID
513 基地局情報
5131 基地局ID
5132 カバーエリア
51331 カメラID
5133n カメラID
514 カメラ情報
5141 カメラID
5142 撮影範囲
515 案内管理情報
5151 案内ID
5152 ユーザID
5153 ルート情報
5154 出発地
5155 出発時刻
5156 目的地
5157 到着時刻
520 メモリ
530 通信部
540 制御部
541 取得部
542 登録部
543 特定部
544 認証制御部
545 案内部
546 判定部
Claims (15)
- ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定手段と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える案内装置。 - 前記第3の特定手段は、
前記第2の撮影装置と前記第1の認証に成功したユーザとを対応付けて保存し、
前記判定手段は、
前記第2の撮影装置に対応付けられたユーザと前記第2の認証に成功したユーザとが一致する場合に、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致すると判定する
請求項1に記載の案内装置。 - 前記第2の認証制御手段は、前記記憶装置の中から前記第1の認証に成功したユーザに対応する前記特徴情報を指定して、前記第2の認証を制御し、
前記判定手段は、前記第2の認証に成功した場合、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致すると判定する
請求項1又は2に記載の案内装置。 - 前記第2の特定手段は、前記第2の認証に成功した場合、前記第2の撮影装置の撮影範囲に基づき当該第2の認証に成功したユーザの第2の現在位置を特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の現在位置が前記目的地に含まれる場合、前記ユーザが前記目的地に到着したと判定する
請求項1乃至3のいずれか1項に記載の案内装置。 - 前記第3の特定手段は、
前記ルートのうち前記目的地に対応するエリアに設置された撮影装置を前記第2の撮影装置として特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致する場合、前記ユーザが前記目的地に到着したと判定する
請求項1乃至3のいずれか1項に記載の案内装置。 - 前記記憶装置は、前記無線端末と前記ユーザとが対応付けて登録されており、
前記第1の特定手段は、前記記憶装置を参照して、前記無線端末から前記ユーザを特定し、
前記第1の認証制御手段は、前記記憶装置の中から前記ユーザに対応する前記特徴情報を指定して、前記第1の認証を制御する
請求項1乃至5のいずれか1項に記載の案内装置。 - 前記案内手段は、
前記ユーザが前記第1の現在位置から前記目的地に到着するまでの空き時間、又は、前記ユーザの属性情報の少なくともいずれかに基づいて、前記目的地以外の途中滞在地を選出し、前記第1の現在位置から前記途中滞在地を経由した前記目的地までの前記ルートを導出し、
前記導出したルートを前記無線端末へ通知し、
前記ユーザに対して前記途中滞在地までの案内を開始する
請求項1乃至6のいずれか1項に記載の案内装置。 - 前記案内手段は、
前記空き時間又は前記属性情報の少なくともいずれかに基づいて、複数の前記途中滞在地の候補を選出し、
前記第1の現在位置から前記途中滞在地の候補の少なくともいずれかを経由した前記目的地までの複数のルートを導出し、
前記導出した複数のルートを前記無線端末へ通知する
請求項7に記載の案内装置。 - 前記案内手段は、
前記第1の認証に成功したユーザに対応する前記特徴情報を解析して、前記属性情報を抽出する
請求項7又は8に記載の案内装置。 - 前記特徴情報は、顔の特徴情報であり、
前記第1の認証及び前記第2の認証は、顔認証である
請求項1乃至9のいずれか1項に記載の案内装置。 - 前記特徴情報は、人物の外観形状に関する特徴情報であり、
前記第1の認証及び前記第2の認証は、外観形状に基づく認証である
請求項1乃至9のいずれか1項に記載の案内装置。 - 複数のユーザの身体画像に基づく特徴情報が登録された記憶装置と、
所定のユーザが携帯する無線端末と、
所定の地点に設置された第1の撮影装置及び第2の撮影装置と、
案内装置と、
を備え、
前記案内装置は、
前記無線端末と接続された無線基地局に対応するエリアに設置された前記第1の撮影装置を特定する第1の特定手段と、
前記記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御手段と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定手段と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内手段と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定手段と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御手段と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定手段と、
を備える案内システム。 - 前記第2の特定手段は、前記第2の認証に成功した場合、前記第2の撮影装置の撮影範囲に基づき当該第2の認証に成功したユーザの第2の現在位置を特定し、
前記判定手段は、前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の現在位置が前記目的地に含まれる場合、前記ユーザが前記目的地に到着したと判定する
請求項12に記載の案内システム。 - コンピュータが、
ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定し、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御し、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定し、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始し、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定し、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御し、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する、
案内方法。 - ユーザが携帯する無線端末と接続された無線基地局に対応するエリアに設置された第1の撮影装置を特定する第1の特定処理と、
複数のユーザの身体画像に基づく特徴情報が登録された記憶装置を参照して、前記第1の撮影装置により撮影された第1の画像に含まれる人物の身体を含む領域に対する第1の認証を制御する第1の認証制御処理と、
前記第1の認証に成功した場合、前記第1の撮影装置の撮影範囲に基づき当該第1の認証に成功したユーザの第1の現在位置を特定する第2の特定処理と、
前記第1の現在位置から前記ユーザの目的地までのルートを前記無線端末へ通知して、前記ユーザに対して前記目的地までの案内を開始する案内処理と、
前記ルートに含まれるエリアに設置された第2の撮影装置を特定する第3の特定処理と、
前記案内の開始後に前記第2の撮影装置により撮影された第2の画像が取得された場合、前記記憶装置を参照して、当該第2の画像に含まれる人物の身体を含む領域に対する第2の認証を制御する第2の認証制御処理と、
前記第1の認証に成功したユーザと前記第2の認証に成功したユーザとが一致し、かつ、前記第2の撮影装置が設置されたエリアに前記目的地が含まれる場合に、前記ユーザが前記目的地に到着したと判定する判定処理と、
をコンピュータに実行させる案内プログラムが格納された非一時的なコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/043570 WO2023095318A1 (ja) | 2021-11-29 | 2021-11-29 | 案内装置、システム及び方法、並びに、コンピュータ可読媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/043570 WO2023095318A1 (ja) | 2021-11-29 | 2021-11-29 | 案内装置、システム及び方法、並びに、コンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023095318A1 true WO2023095318A1 (ja) | 2023-06-01 |
Family
ID=86539284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/043570 WO2023095318A1 (ja) | 2021-11-29 | 2021-11-29 | 案内装置、システム及び方法、並びに、コンピュータ可読媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023095318A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016121174A1 (ja) * | 2015-01-30 | 2016-08-04 | ソニー株式会社 | 情報処理システムおよび制御方法 |
JP2019215840A (ja) * | 2018-06-06 | 2019-12-19 | 日本信号株式会社 | 案内システム |
JP2021096804A (ja) * | 2019-12-14 | 2021-06-24 | 横浜特殊船舶株式会社 | ユーザー認証システムおよび駐車場管理システム |
-
2021
- 2021-11-29 WO PCT/JP2021/043570 patent/WO2023095318A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016121174A1 (ja) * | 2015-01-30 | 2016-08-04 | ソニー株式会社 | 情報処理システムおよび制御方法 |
JP2019215840A (ja) * | 2018-06-06 | 2019-12-19 | 日本信号株式会社 | 案内システム |
JP2021096804A (ja) * | 2019-12-14 | 2021-06-24 | 横浜特殊船舶株式会社 | ユーザー認証システムおよび駐車場管理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151481B1 (en) | Ticketless entry and tracking | |
US7454216B2 (en) | in-facility information provision system and in-facility information provision method | |
CN111401159A (zh) | 酒店鉴权管理方法、系统、酒店管理系统以及用户终端 | |
US20210014678A1 (en) | Proximity-based shared transportation reservations | |
US10948309B2 (en) | Navigation method, shopping cart and navigation system | |
JP6769475B2 (ja) | 情報処理システム、認証対象の管理方法、及びプログラム | |
JPWO2019181364A1 (ja) | 店舗管理装置および店舗管理方法、プログラム | |
US10810450B2 (en) | Methods and systems for improved biometric identification | |
JP2017059060A (ja) | 生体照合システム、生体照合方法、生体照合装置及び制御プログラム | |
US10348723B2 (en) | Method for biometric recognition of a user amongst a plurality of registered users to a service, employing user localization information | |
JP7505557B2 (ja) | 情報処理装置、顔認証促進システム、情報処理方法、プログラム | |
CN114282734A (zh) | 室内参观引导方法、装置、电子设备与存储介质 | |
WO2021191986A1 (ja) | 訪問支援装置、訪問支援方法、プログラムが記憶された非一時的なコンピュータ可読媒体 | |
WO2021176593A1 (ja) | 滞在管理装置、滞在管理方法、プログラムが格納された非一時的なコンピュータ可読媒体、及び滞在管理システム | |
WO2023095318A1 (ja) | 案内装置、システム及び方法、並びに、コンピュータ可読媒体 | |
JP5316181B2 (ja) | ツアー参加者管理システム、ツアー参加者管理サーバ、ツアー参加者管理方法、およびプログラム | |
JP7067593B2 (ja) | 情報処理システム、認証対象の管理方法、及びプログラム | |
JP7359293B2 (ja) | 座席案内装置、システム、方法及びプログラム | |
WO2021241293A1 (ja) | 行動体特定システム | |
WO2021192155A1 (ja) | 案内装置、案内システム、案内方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体 | |
CN113888763A (zh) | 信息处理系统、信息处理装置、以及信息处理方法 | |
KR101861248B1 (ko) | 여행 가이드 서비스 장치 및 그 동작 방법 | |
US20240243923A1 (en) | Facility usage control apparatus, system, method, and computer readable medium | |
JP7485042B2 (ja) | 情報処理装置、顔認証促進システム、情報処理方法、プログラム | |
WO2021192313A1 (ja) | 座席案内装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21965688 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2023563468 Country of ref document: JP Kind code of ref document: A |