WO2021250817A1 - 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体 - Google Patents

画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021250817A1
WO2021250817A1 PCT/JP2020/022860 JP2020022860W WO2021250817A1 WO 2021250817 A1 WO2021250817 A1 WO 2021250817A1 JP 2020022860 W JP2020022860 W JP 2020022860W WO 2021250817 A1 WO2021250817 A1 WO 2021250817A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point
face
captured
user
Prior art date
Application number
PCT/JP2020/022860
Other languages
English (en)
French (fr)
Inventor
理沙 田川
憲由 平本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/022860 priority Critical patent/WO2021250817A1/ja
Priority to JP2022530431A priority patent/JPWO2021250817A5/ja
Priority to US18/009,097 priority patent/US20230230302A1/en
Publication of WO2021250817A1 publication Critical patent/WO2021250817A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4015Transaction verification using location information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • the present invention relates to an image providing device, an image providing system, an image providing method and a non-temporary computer-readable medium, and in particular, an image providing device, an image providing system, an image providing method and a non-temporary computer for providing an image.
  • an image providing device an image providing system, an image providing method and a non-temporary computer for providing an image.
  • readable media Regarding readable media.
  • Patent Document 1 in a so-called stamp rally (point rally) in which the purpose is achieved by visiting a plurality of points, face recognition is performed by a camera installed at each point to confirm the visit at each point.
  • stamp rally point rally
  • face recognition is performed by a camera installed at each point to confirm the visit at each point.
  • Patent Document 1 was insufficient in utilizing the stamp rally. For example, it was not possible to provide the user with a record of visiting each point.
  • This disclosure is made in order to solve such a problem, and is an image providing device and an image providing device for providing an image recording a visit of each point to a user who actually visited each point.
  • the purpose is to provide a system, an image providing method, and a non-temporary computer-readable medium.
  • the image providing device is A registration means for registering a plurality of shot images taken by a predetermined user at each of a plurality of points and each shooting time in a storage means in association with each other. From the plurality of captured images, points that are two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user at a specific point of a predetermined value or more. Specific means to identify the captured image and An output means for outputting the specified two or more point-shooting images so as to be displayed in the order of the shooting times. To prepare for.
  • the image providing system is Multiple first imaging devices installed at each of the multiple points, A second imaging device installed at a specific point, An image providing device connected to the plurality of first photographing devices and the second photographing device, and Equipped with The image providing device is Memories and A registration means in which a predetermined user registers a plurality of captured images captured by each of the plurality of first imaging devices in the storage means in association with each shooting time.
  • An acquisition means for acquiring a first image captured by the user by the second imaging device, and From the plurality of captured images, two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user by the second imaging device of a predetermined value or more.
  • An output means for outputting the specified two or more point-shooting images so as to be displayed in the order of the shooting times. To prepare for.
  • the image providing method is The computer A predetermined user registers a plurality of captured images taken at each of a plurality of points in a storage device in association with each shooting time. From the plurality of captured images, points that are two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user at a specific point of a predetermined value or more. Identify the captured image and The images taken at two or more specified points are output so as to be displayed in the order of the shooting times.
  • the non-temporary computer-readable medium in which the image providing program according to the fourth aspect of the present disclosure is stored is a human-readable medium.
  • a registration process in which a predetermined user registers a plurality of captured images taken at each of a plurality of points in a storage means in association with each shooting time. From the plurality of captured images, points that are two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user at a specific point of a predetermined value or more.
  • the present disclosure provides an image providing device, an image providing system, an image providing method, and a non-temporary computer-readable medium for providing an image recording a visit to each point to a user who actually visited each point. be able to.
  • FIG. 1 is a block diagram showing a configuration of an image providing device 10 according to the first embodiment.
  • the image providing device 10 is an information processing device for providing a composite image of images taken at each point to a user who has taken a picture including himself / herself at each of a plurality of points at a specific point.
  • the image providing device 10 is connected to a network (not shown).
  • the network may be wired or wireless.
  • the network is connected to a photographing device (not shown) installed at each point.
  • the photographing device may be a face recognition terminal, a digital signage with a camera, or the like.
  • the image providing device 10 includes a storage unit 11, a registration unit 12, a specific unit 13, a generation unit 14, and an output unit 15.
  • the storage unit 11 is a storage area for storing captured images.
  • the registration unit 12 registers a plurality of captured images taken by a predetermined user at each of the plurality of points in the storage unit 11 in association with each shooting time.
  • the specific unit 13 is a plurality of captured images of two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user at a specific point of a predetermined value or more. Identify the point-taken image.
  • the specific point may or may not be included in a plurality of points.
  • the generation unit 14 generates a composite image including two or more specified point-captured images.
  • the composite image is an image in which the images taken at each point are individually and identifiablely composited. Further, the composite image may be an image in which a predetermined template and an image taken at each point are composited.
  • the output unit 15 outputs the specified two or more point-shooting images so as to be displayed in the order of the shooting time, and then outputs the composite image.
  • the output destination of the point-captured image and the composite image is, for example, a face recognition terminal installed at a specific point, a digital signage, an image storage server, an information processing terminal owned by the user, or the like.
  • FIG. 2 is a flowchart showing the flow of the image providing method according to the first embodiment.
  • the registration unit 12 registers a plurality of captured images captured by a predetermined user at each of the plurality of points in the storage unit 11 in association with each shooting time (S11).
  • the specific unit 13 includes a face area having a degree of coincidence with the user's face area included in the specific image taken by the user at a specific point from a plurality of captured images of a predetermined value or more.
  • the point-captured image which is the above image, is specified (S12).
  • the generation unit 14 generates a composite image including the specified point-captured image (S13).
  • the output unit 15 outputs the specified two or more point-shooting images so as to be displayed in the order of the shooting time (S14). After that, the output unit 15 outputs a composite image (S15).
  • a user who actually visits each point with an image including a photographed image (taken at each point) which is a record of the visit at each point.
  • a user who visits each point in a tourist spot can acquire an image at the return point, which is an automatically aggregated image taken only at the site.
  • the user can see the captured images (point-captured images) taken by himself / herself at each point in the order of the shooting times, and can effectively look back on the memories of the trip.
  • the generation unit 14 is not essential. In that case, the output unit 15 does not output the composite image. Further, in this case, steps S13 and S15 in FIG. 2 are not performed.
  • the image providing device 10 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the image providing method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the functions of the registration unit 12, the specific unit 13, the generation unit 14, and the output unit 15.
  • the registration unit 12, the specific unit 13, the generation unit 14, and the output unit 15 may each be realized by dedicated hardware.
  • a part or all of each component of each device may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by the combination of the circuit or the like and the program described above.
  • a processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
  • each component of the image providing device 10 when a part or all of each component of the image providing device 10 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged. It may be distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client-server system and a cloud computing system.
  • the function of the image providing device 10 may be provided in the SaaS (Software as a Service) format.
  • FIG. 3 is a block diagram showing the overall configuration of the image providing system 1000 according to the second embodiment.
  • the image providing system 1000 includes an authentication device 100, an image providing device 200, an image storage server 300, a face recognition terminal 400 to 40n (n is a natural number of 2 or more), and a user terminal 500.
  • the authentication device 100, the image providing device 200, the image storage server 300, the face recognition terminals 400 to 40n, and the user terminal 500 are each connected via the network N.
  • the network N is a wired or wireless communication line.
  • each of the face recognition terminals 400, 401, 402, ... 40n is installed at points A0, A1, A2, ... An.
  • the points A0 to An are different tourist spots in a certain area A.
  • points A0 to An are checkpoints for stamp rally by face recognition in area A. Therefore, the user U visits A1 to An-1 with the point A0 as the starting point, and sets the point An as the final point.
  • the point An is assumed to be a "specific point".
  • the point An is the final destination of the stamp rally by face recognition.
  • the point An may be a boarding gate of an airport or an exit of a theme park. Alternatively, the point An may be the boarding gate of the airport.
  • the face recognition terminal 40n may be a digital signage or the like installed in front of the boarding gate of the airport, in front of the boarding gate, or in the airport facility. Then, the user U registers his / her face information at the point A0, takes a commemorative photo at the points A1 to An-1 using the face recognition terminal, and when the face authentication is successful at the point An, the photographed image of each point. After seeing the display according to the shooting order, it is possible to acquire the aggregated composite image.
  • the face information may be registered on any face authentication terminal or user terminal 500 desired by the user U.
  • the authentication device 100 is an information processing device that stores facial feature information of a plurality of persons. Further, the authentication device 100 collates the face image or face feature information included in the request with the face feature information of each user in response to the face recognition request received from the outside, and requests the collation result (authentication result). Reply to the original.
  • FIG. 4 is a block diagram showing the configuration of the authentication device 100 according to the second embodiment.
  • the authentication device 100 includes a face information DB (DataBase) 110, a face detection unit 120, a feature point extraction unit 130, a registration unit 140, and an authentication unit 150.
  • the face information DB 110 stores the user ID 111 and the face feature information 112 of the user ID in association with each other.
  • the face feature information 112 is a set of feature points extracted from the face image.
  • the authentication device 100 may delete the face feature information 112 in the face feature DB 110 in response to a request from the registered user of the face feature information 112. Alternatively, the authentication device 100 may be deleted after a certain period of time has elapsed from the registration of the face feature information 112.
  • the face detection unit 120 detects a face area included in the registered image for registering face information and outputs it to the feature point extraction unit 130.
  • the feature point extraction unit 130 extracts feature points from the face region detected by the face detection unit 120, and outputs face feature information to the registration unit 140. Further, the feature point extraction unit 130 extracts the feature points included in the face image received from the image providing device 200, and outputs the face feature information to the authentication unit 150.
  • the registration unit 140 newly issues the user ID 111 when registering the facial feature information.
  • the registration unit 140 registers the issued user ID 111 and the face feature information 112 extracted from the registered image in the face information DB 110 in association with each other.
  • the authentication unit 150 performs face authentication using the face feature information 112. Specifically, the authentication unit 150 collates the face feature information extracted from the face image with the face feature information 112 in the face information DB 110.
  • the authentication unit 150 returns to the image providing device 200 whether or not the facial feature information matches.
  • the presence or absence of matching of facial feature information corresponds to the success or failure of authentication.
  • the fact that the facial feature information matches (with matching) means that the degree of matching is equal to or higher than a predetermined value.
  • FIG. 5 is a flowchart showing the flow of the face information registration process according to the second embodiment.
  • the authentication device 100 acquires the registered image included in the face information registration request (S21). For example, the authentication device 100 receives a face information registration request from the face authentication terminal 400, the user terminal 500, or the like via the network N.
  • the face detection unit 120 detects the face region included in the registered image (S22).
  • the feature point extraction unit 130 extracts feature points from the face region detected in step S22, and outputs face feature information to the registration unit 140 (S23).
  • the registration unit 140 issues the user ID 111, associates the user ID 111 with the face feature information 112, and registers the user ID 111 in the face information DB 110 (S24).
  • the authentication device 100 may receive the face feature information 112 from the user terminal 500 or the like and register it in the face information DB 110 in association with the user ID 111.
  • FIG. 6 is a flowchart showing the flow of face recognition processing by the authentication device 100 according to the second embodiment.
  • the feature point extraction unit 130 acquires a face image for authentication included in the face authentication request (S31).
  • the authentication device 100 receives a face authentication request from the image providing device 200 via the network N, and extracts face feature information from the face image included in the face authentication request as in steps S21 to S23.
  • the authentication device 100 may receive face feature information from the image providing device 200.
  • the authentication unit 150 collates the acquired face feature information with the face feature information 112 of the face information DB 110 (S32).
  • the authentication unit 150 identifies the user ID 111 of the user whose face feature information matches (S34). , The user ID 111 specified that the face authentication was successful is returned to the image providing device 200 (S35). When there is no matching face feature information (No in S33), the authentication unit 150 returns to the image providing device 200 that the face authentication has failed (S36).
  • the authentication unit 150 does not need to try to collate with all the face feature information 112 in the face information DB 110.
  • the authentication unit 150 may preferentially try to collate with the face feature information registered in the period from the day when the face recognition request is received to several days before.
  • the authentication unit 150 will use the facial feature information of the reserved user. It is advisable to try collation with priority. These can improve the collation speed. Further, when the above-mentioned priority collation fails, it is advisable to perform collation with all the remaining facial feature information.
  • Each of the face recognition terminals 400, 401, 402, ... 40n is an information processing device including a camera and a display device.
  • the face recognition terminal 400 captures a registered image used for face recognition of the user U.
  • the face authentication terminal 400 transmits a face information registration request including a registered image to the authentication device 100 via the network N.
  • the user U may take a registered image using the user terminal 500 and register the face information.
  • the face recognition terminals 401 to 40n take an authentication face image used for the face recognition of the user U.
  • a photographed image taken for a commemorative photograph of the user U at each installed point is used as an image for authentication.
  • the face recognition terminal 401 and the like transmit a face recognition request including an image for authentication to the image providing device 200 via the network N.
  • the face recognition terminal 401 and the like shall include the point ID that identifies the point where the face recognition terminal 401 or the like is installed in the face recognition request. Further, the face recognition terminal 401 and the like may include the shooting time in the face recognition request.
  • the face recognition terminal 401 and the like receive the face recognition result from the image providing device 200 via the network N and display it on the screen.
  • the face authentication terminal 401 and the like may have a function of a payment device that performs electronic payment by face authentication. In that case, when the face authentication terminal 401 or the like succeeds in face authentication, electronic payment is performed and the payment history is transmitted to the image providing device 200 via the network N.
  • the face recognition terminal 40n does not necessarily have to make a payment. Then, the face recognition terminal 40n transmits a composite image request together with the face recognition request. Alternatively, the face recognition terminal 40n transmits a composite image request when the face recognition is successful. Then, the face recognition terminal 40n receives the access information of the composite image or the storage destination of the composite image from the image providing device 200 via the network N and displays it on the screen.
  • FIG. 7 is a block diagram showing the configuration of the face authentication terminal 400 according to the second embodiment. Since the same applies to the face recognition terminals 401 to 40n, these illustrations are omitted.
  • the face recognition terminal 400 includes a camera 410, a storage unit 420, a communication unit 430, a display unit 440, and a control unit 450.
  • the camera 410 is a photographing device that photographs according to the control of the control unit 450.
  • the storage unit 420 is a storage device that stores a program for realizing each function of the face recognition terminal 400.
  • the communication unit 430 is a communication interface with the network N.
  • the display unit 440 is at least a display device. Alternatively, the display unit 440 may be an input / output unit including a display device and an input device, for example, a touch panel.
  • the control unit 450 controls the hardware of the face authentication terminal 400.
  • the control unit 450 includes a shooting control unit 451, a registration unit 452, an authentication control unit 453, a display control unit 454, and a settlement unit 455.
  • the settlement unit 455 is not essential.
  • the authentication control unit 453 is not essential in the face recognition terminal 400 installed at the point A0.
  • the registration unit 452 is not essential in the face recognition terminals 401 to 40n installed from the points A1 to An.
  • the shooting control unit 451 controls the camera 410 and shoots the registered image or the authentication image of the user U.
  • the registered image and the authentication image are images including at least the face area of the user.
  • the captured image (authentication image) at the point A1 or the like may include a landscape or the like peculiar to the point in the background.
  • the shooting control unit 451 outputs the registered image to the registration unit 452. Further, the photographing control unit 451 outputs the authentication image to the authentication control unit 453. Further, the photographing control unit 451 may photograph the user U at the time of payment by the camera 410.
  • the registration unit 452 transmits a face information registration request including a registered image to the authentication device 100 via the network N.
  • the authentication control unit 453 transmits a face recognition request including an authentication image to the image providing device 200 via the network N, receives the face recognition result, and outputs the face recognition result to the display control unit 454 and the settlement unit 455. .
  • the authentication control unit 453 transmits the above-mentioned composite image request to the image providing device 200 via the network N, receives the access information of the composite image or the storage destination of the composite image, and outputs the composite image to the display control unit 454.
  • the authentication control unit 453 of the face recognition terminal 40n receives the point-captured image from the image providing device 200 via the network N and outputs it to the display control unit 454.
  • the display control unit 454 displays the display content according to the face authentication result on the display unit 440. Further, the display control unit 454 of the face recognition terminal 40n displays the point-captured images on the display unit 440 in the order of receiving them. Further, the display control unit 454 displays the composite image or the access information of the storage destination of the composite image on the display unit 440.
  • the payment unit 455 performs electronic payment by a predetermined electronic payment means and transmits the payment history to the image providing device 200 via the network N.
  • the user terminal 500 is an information terminal owned by the user U.
  • the user terminal 500 is, for example, a mobile phone terminal, a smartphone, a tablet terminal, a PC (Personal Computer) on which or connected to a camera, and the like.
  • the user terminal 500 is associated with the user ID or face feature information of the user U. That is, the user terminal 500 is a display terminal that can be specified by the user ID or face feature information in the image providing device 200.
  • the user terminal 500 is a terminal in which the user U has already logged in with his / her own user ID.
  • the user terminal 500 transmits the registered image used for the face authentication of the user U to the authentication device 100, and requests the face information registration.
  • the user terminal 500 may transmit the face feature information extracted from the registered image to the authentication device 100 to request the face information registration. Further, the user terminal 500 reads the access information of the storage destination of the composite image and accesses the image storage server 300 corresponding to the access information via the network N. Then, the user terminal 500 acquires the composite image from the save destination and displays it.
  • FIG. 8 is a block diagram showing the configuration of the user terminal 500 according to the second embodiment.
  • the user terminal 500 includes a camera 510, a storage unit 520, a communication unit 530, a display unit 540, and a control unit 550.
  • the camera 510 is a photographing device that photographs according to the control of the control unit 550.
  • the storage unit 520 is a storage device that stores a program for realizing each function of the face authentication terminal 500.
  • the communication unit 530 is a communication interface with the network N.
  • the display unit 540 is an input / output unit including a display device and an input device, for example, a touch panel.
  • the control unit 550 controls the hardware of the user terminal 500.
  • the control unit 550 includes a shooting control unit 551, a registration unit 552, an acquisition unit 553, and a display control unit 554.
  • the shooting control unit 551 controls the camera 510 and shoots the registered image of the user U.
  • the shooting control unit 551 outputs the registered image to the registration unit 552.
  • the shooting control unit 551 shoots the access information of the storage destination of the composite image displayed on the display unit 440 of the face authentication terminal 40n installed at the point An by the camera 510, and outputs the shot image to the acquisition unit 553.
  • the registration unit 552 transmits a face information registration request including a registered image to the authentication device 100 via the network N.
  • the acquisition unit 553 analyzes the captured image, restores it to the access information, and accesses the address indicated by the access information via the network N.
  • the access information is, for example, a QR (Quick Response) code (registered trademark) in which the URL (Uniform Resource Locator) of the storage destination of the composite image of the image storage server 300 is two-dimensionally bar-coded.
  • the acquisition unit 553 analyzes the QR code, converts it into a URL, and accesses the converted URL.
  • the acquisition unit 553 acquires a composite image from the access destination via the network N and outputs it to the display control unit 554.
  • the display control unit 554 displays the composite image on the display unit 540.
  • the image providing device 200 When the user U who visits An from the point A0 succeeds in face recognition at the point An, the image providing device 200 generates a composite image in which the photographed images (point photographed images) taken by the user U at each point are aggregated. , An information processing device provided to the user U. In particular, the image providing device 200 displays a plurality of point-captured images in the order of shooting time.
  • the image providing device 200 may be made redundant to a plurality of servers, and each functional block may be realized by a plurality of computers.
  • the image storage server 300 is one or more file servers for storing the composite image 310 generated by the image providing device 200.
  • the image storage server 300 provides the composite image 310 to the requester via the network N. For example, when the image storage server 300 receives a request from the user terminal 500 to a predetermined storage destination in the server via the network N, the image storage server 300 reads out the composite image 310 stored in the storage destination specified by the request. The composite image 310 is included in the response and transmitted to the user terminal 500 via the network N.
  • FIG. 9 is a block diagram showing the configuration of the image providing device 200 according to the second embodiment.
  • the image providing device 200 includes a storage unit 210, a memory 220, a communication unit 230, and a control unit 240.
  • the storage unit 210 is a storage device for a hard disk, a flash memory, or the like.
  • the storage unit 210 stores the program 211, the history information 212, and the point information 213.
  • the program 211 is a computer program in which the processing of the image providing method according to the second embodiment is implemented.
  • the history information 212 is the action history of the user U using the face recognition terminal at each point. That is, the history information 212 is a success history of face authentication of the user U by the face authentication terminal 401 or the like, a payment history at each point, and the like. Specifically, the history information 212 is information in which the user ID 2121, the point ID 2122, the date and time 2123, the captured image 2124, and the payment information 2125 are associated with each other. The payment information 2125 is not essential.
  • the user ID 2121 is information that identifies the user U, and is a user ID included in the face authentication result when the face authentication is successful.
  • the point ID 2122 is information for identifying the point where the face recognition terminal that has taken the photographed image for face recognition is installed.
  • the date and time 2123 is the date and time when the captured image for face recognition was taken or the date and time when the face recognition was performed, and in the present embodiment, both dates and times are referred to as "shooting time".
  • the captured image 2124 is an image captured by the user U by the face recognition terminal installed at the point indicated by the point ID 2122.
  • the payment information 2125 is a history of payments made by the user U by face authentication by the face authentication terminal installed at the point indicated by the point ID 2122.
  • the payment information 2125 includes, for example, a payment amount, a product, and the like.
  • the point information 213 is information in which the point IDs 2131 of each point A0 to An and the access information 2132 are associated with each other.
  • the access information is an example of the first access information, for example, link information to WEB information corresponding to each point A0 to An, and specifically, a URL or the like.
  • the memory 220 is a volatile storage device such as a RAM (RandomAccessMemory), and is a storage area for temporarily holding information when the control unit 240 operates.
  • the communication unit 230 is a communication interface with the network N.
  • the control unit 240 is a processor, that is, a control device that controls each configuration of the image providing device 200.
  • the control unit 240 reads the program 211 from the storage unit 210 into the memory 220, and executes the program 211.
  • the control unit 240 realizes the functions of the acquisition unit 241, the authentication control unit 242, the registration unit 243, the specific unit 244, the generation unit 245, and the output unit 246.
  • the acquisition unit 241 receives a face authentication request from the face authentication terminals 401 to 40n via the network N, acquires a captured image included in the face authentication request, and transfers the acquired captured image to the authentication control unit 242 and the registration unit 243. Output. Further, the acquisition unit 241 acquires the point ID from the received face authentication request. Further, the acquisition unit 241 receives the composite image request from the face recognition terminal 40n via the network N. Further, the acquisition unit 241 acquires the payment history from the face recognition terminals 401 to 40n via the network N, and outputs the payment history to the registration unit 243.
  • the authentication control unit 242 controls face recognition for the face area of the user U included in the captured image. That is, the authentication control unit 242 controls face recognition for the face region of the user U included in each of the plurality of captured images captured at the points A1 to An-1. Further, the authentication control unit 242 controls face recognition for the face area of the user U included in the specific image taken at the point An. That is, the authentication control unit 242 causes the authentication device 100 to perform face recognition on the captured image acquired by the acquisition unit 241. For example, the authentication control unit 242 transmits a face authentication request including the acquired captured image to the authentication device 100 via the network N, and receives the face authentication result from the authentication device 100.
  • the authentication control unit 242 may detect the face region of the user U from the captured image and include the image of the face region in the face authentication request. Alternatively, the authentication control unit 242 may extract the face feature information from the face region and include the face feature information in the face authentication request.
  • the registration unit 243 is an example of the registration unit 12 described above.
  • the registration unit 243 registers the history of face authentication and payment at the point A1 or the like in the storage unit 210 as history information 212.
  • the registration unit 243 registers the captured image at the point where the face authentication is successful and the capture time at least in association with each other in the storage unit 210. Further, the registration unit 243 registers the action history of the user U at each point in the storage unit 210 in association with the captured image corresponding to the point.
  • the registration unit 243 has a user ID 2121 that has succeeded in face authentication, a point ID 2122 included in the face authentication request, a date and time 2123 indicating the shooting time, a captured image 2124 included in the face authentication request, and payment information 2125 by face authentication. Are associated with each other and stored in the storage unit 210.
  • the specific unit 244 is an example of the above-mentioned specific unit 13.
  • the specifying unit 244 identifies the above-mentioned point-photographed image from the captured images 2124 of the history information 212. Specifically, the specifying unit 244 specifies the user ID included in the face authentication result, and specifies the captured image associated with the specified user ID as the point captured image.
  • the user ID is included in the face authentication result, it is the case where the face authentication by the authentication device 100 is successful.
  • the user ID is the user ID 111 in the face information DB 110 of the authentication device 100.
  • successful face recognition means that the degree of coincidence between the face feature information extracted from the face area of the user U included in the captured image at the point An and the face feature information 112 in the face information DB 110 is equal to or more than a predetermined value. Is. Therefore, the specifying unit 244 specifies, among the plurality of captured images, two or more images including the face region whose degree of coincidence with the user's face region included in the specific image is equal to or higher than a predetermined value as the point captured image. I can say.
  • the history information 212 is associated with a plurality of captured images 2124 for the same set of user ID 2121 and point ID 2122.
  • the date and time 2123 and the payment information 2125 will be different. Therefore, when a plurality of captured images are associated with the specified set of user ID and point ID, the specific unit 244 selects one image per point ID and uses it as the second image.
  • the selection method is arbitrary. As a result, the composite image includes the captured images at various points without concentrating the captured images at one place. Therefore, it is possible to provide a memorial photograph that is more demanded by the user.
  • the identification unit 244 specifies the above-mentioned point-captured image when the predetermined provision condition of the composite image is satisfied in addition to the case where the face authentication at the point An is successful.
  • the provision condition may be, for example, a case where, among a plurality of points, the number of points where face recognition has been successful is a predetermined number or more.
  • the provision condition may be a case where the action history satisfies the first condition. That is, the history information 212 may satisfy some condition.
  • the first condition includes, for example, that the total amount of payment history by the user is a predetermined amount or more.
  • the specific unit 244 calculates the total of the payment information 2125 associated with the user ID 2121 that has succeeded in face authentication among the history information 212, and if the total amount is equal to or more than the predetermined amount, the first condition is set. It is determined that the condition is satisfied. Further, the first condition may be that the payment amount by face recognition is equal to or more than the predetermined amount at each of the points. In this case, first, the specifying unit 244 specifies the payment amount of each of the payment information 2125 associated with the user ID 2121 that has succeeded in face authentication in the history information 212. Then, the specifying unit 244 determines that the first condition is satisfied when each specified settlement amount is equal to or more than a predetermined amount.
  • the composite image may be provided (satisfying the first condition). For example, this corresponds to a case where a user makes a payment using a face recognition terminal installed in each facility such as a shopping mall, a theme park, or a zoo, and the purchase amount at each facility is at least X yen or more. The same applies not only to facilities but also to tourist spots.
  • the first point is a theme park including a plurality of stores
  • the second point is a shopping mall including a plurality of stores.
  • the first condition may be that the settlement amount at each store at each point is a predetermined amount or more.
  • the first condition may be that the total amount of payments at the stores at each point is equal to or greater than the predetermined amount. For example, if the total payment amount at 3 of the 10 stores existing at the point A1 is 10,000 yen or more, the first condition may be satisfied.
  • the first condition may be that the highest payment amount among the stores to which the store belongs is a predetermined amount or more at each point. For example, if the payment amount at one of the ten stores existing at the point A1 is 10,000 yen or more, the first condition may be satisfied.
  • the first condition may be that payment history exists at all stores.
  • the specifying unit 244 may specify the attribute information of the user U when the face authentication at the point An is successful, and may specify the point captured image when the specified attribute information satisfies the second condition.
  • the attribute information may be the status information of the user U or the like.
  • the status information is, for example, a rank, grade (business / first class), etc. determined by the amount used by the airline company, miles earned, contracts, and the like.
  • the second condition indicates, for example, that the status is equal to or higher than a predetermined value.
  • the attribute information is whether or not the member is registered
  • the second condition indicates that the member is a pre-registered member. If the attribute information is a member attribute of the theme park, the second condition may be an annual pass member.
  • the attribute information may be flight information (including boarding time) of the user U.
  • the second condition may be 30 minutes or more before the boarding time. The time is arbitrary. As a result, it is possible to prevent the user U from being late for boarding.
  • the attribute information may be the completed state of each procedure at the airport, such as whether or not each of check-in, baggage deposit, and security inspection has been completed.
  • the second condition may be that the user has checked in, checked in luggage, and has been inspected for security at the airport.
  • each procedure at the airport may be performed by face recognition, and the history by face recognition may be saved.
  • the specifying unit 244 may acquire the history of each procedure of the user U as attribute information from the management server of the airport. For example, it is assumed that the second condition has been checked in. Then, the user U performs face authentication at the signage (face recognition terminal 40n) installed in the check-in lobby. At this time, the specific unit 244 acquires from the airport management server whether or not the user U has checked in as attribute information. If the check-in has been completed, the specific unit 244 shall satisfy the second condition and the provision condition. As a result, check-in can be promoted by providing the composite image to the user as an incentive.
  • the generation unit 245 is an example of the above-mentioned generation unit 14.
  • the generation unit 245 reads the point-photographed image (photographed image 2124) specified by the specific unit 244 from the history information 212, combines these with a predetermined template so as to aggregate them into one image, and generates a composite image. .. Further, the generation unit 245 may read the access information 2132 corresponding to the point ID 2122 associated with the specified photographed image 2124 from the point information 213 and incorporate it into the corresponding photographed image 2124 to generate a composite image. For example, the generation unit 245 sets the access information 2132 as a link destination in the captured image 2124. Further, the generation unit 245 may include in the composite image a shooting period obtained from the user name corresponding to the user who succeeded in face recognition and the date and time corresponding to each shot image.
  • the output unit 246 is an example of the output unit 15 described above.
  • the output unit 246 outputs the specified two or more point-shooting images so as to be displayed in the order of the shooting time. At this time, the output unit 246 hides the first point-shooting image after displaying the first point-shooting image corresponding to the first shooting time, and after the first shooting time. It is preferable to output so as to display the second point shooting image corresponding to the second shooting time. Alternatively, the output unit 246 displays the first point-shooting image corresponding to the first shooting time, and then the second after the first shooting time while displaying the first point-shooting image. It may be output so as to display the second point shooting image corresponding to the shooting time of.
  • the output unit 246 transmits the composite image generated by the generation unit 245 to the storage destination of the image storage server 300 via the network N.
  • the generation unit 245 generates the second access information indicating the storage destination of the composite image in the image storage server 300.
  • the second access information may be, for example, a two-dimensional bar code or the like.
  • the output unit 246 transmits the second access information to the face authentication terminal 40n via the network N. That is, the output unit 246 presents the second access information to the user U.
  • the output unit 246 may transmit the composite image to the face recognition terminal 40n via the network N.
  • FIG. 10 is a flowchart showing the flow of the photographed image registration process according to the second embodiment.
  • the acquisition unit 241 receives the face recognition request from the request source via the network N and acquires the captured image (S401).
  • the request source is one of the face recognition terminals 401 to 40n-1.
  • the authentication control unit 242 transmits a face recognition request to the authentication device 100 via the network N (S402).
  • the authentication control unit 242 includes at least one of the captured image acquired in step S401, the face region extracted from the captured image, and the face feature information extracted from the face region in the face authentication request.
  • the authentication control unit 242 receives the face authentication result from the authentication device 100 via the network N (S403).
  • the face authentication result includes the case where the face authentication is successful and the user ID, and includes the case where the face authentication fails.
  • the authentication control unit 242 determines whether or not the face authentication is successful (S404). When it is determined that the face authentication has failed, the output unit 246 outputs that the face authentication has failed (S409). Specifically, the output unit 246 transmits a message indicating that the face authentication has failed to the requester via the network N.
  • the specifying unit 244 identifies the user ID that succeeded in the face authentication (S405). Specifically, the specific unit 244 extracts the user ID included in the face authentication result. Then, the output unit 246 outputs that the face authentication is successful (S406). Specifically, the output unit 246 transmits a message indicating that the face authentication is successful to the requester via the network N.
  • the payment process is performed on the face recognition terminal 401 or the like that is the request source.
  • the acquisition unit 241 acquires the payment history from the face authentication terminal 401 or the like via the network N (S407).
  • the registration unit 243 registers the history information 212 in which the user ID specified in step S405, the shooting image acquired in step S401, and the shooting time are associated with each other in the storage unit 210 (S408).
  • the registration unit 243 registers the history information 212 by further associating the point ID included in the face authentication request and the payment history acquired in step S407.
  • FIG. 11 is a flowchart showing the flow of the image providing process according to the second embodiment.
  • the acquisition unit 241 receives a face authentication request and a composite image request from the face authentication terminal 40n via the network N, and acquires a captured image from the face authentication request (S501).
  • the authentication control unit 242 transmits a face recognition request to the authentication device 100 via the network N (S502).
  • the authentication control unit 242 includes at least one of the captured image acquired in step S501, the face region extracted from the captured image, and the face feature information extracted from the face region in the face authentication request.
  • the authentication control unit 242 receives the face authentication result from the authentication device 100 via the network N (S503).
  • the authentication control unit 242 determines whether or not the face authentication is successful (S504). When it is determined that the face recognition is successful, the specific unit 244 determines whether or not the condition for providing the composite image is satisfied (S505). When it is determined that the provision condition is satisfied, the identification unit 244 identifies the captured image 2124 corresponding to the user ID 2121 that has succeeded in face authentication (S506). Then, the generation unit 245 generates a composite image using the specified photographed image 2124 (S507).
  • the output unit 246 outputs the composite image to the storage destination of the image storage server 300 (S508). Then, the generation unit 245 generates access information indicating the storage destination (S509).
  • the output unit 246 outputs (transmits) the specified photographed image (point photographed image) to the face recognition terminal 40n via the network N in the order of the photographing time (S510).
  • the output unit 246 refers to the history information 212, sorts the specified plurality of point-captured images in ascending order according to the associated date and time 2123, and outputs the point-captured images in ascending order.
  • the output unit 246 outputs (transmits) the composite image to the face recognition terminal 40n via the network N (S511). Then, the output unit 246 outputs (transmits) the access information to the face authentication terminal 40n via the network N (S512).
  • step S510 may be executed in parallel with steps S507 to S509. Further, step S511 is not essential.
  • step S504 If the face authentication fails in step S504, or if it is determined in step S505 that the provision condition is not satisfied, the output unit 246 cannot provide the composite image to the face authentication terminal 40n via the network N. A message indicating that effect is transmitted (S513).
  • FIG. 12, FIG. 13, FIG. 14, FIG. 15 and FIG. 16 are sequence diagrams showing the flow of the image providing process according to the second embodiment.
  • the face authentication terminal 400 photographs the user U (S601) and transmits a face information registration request including the captured image to the authentication device 100 via the network N (S602).
  • the authentication device 100 registers the face information (face feature information) of the user U based on the captured image included in the received face information registration request (S603).
  • the user U moves to the point A1.
  • the face authentication terminal 401 photographs the user U (S604) and transmits a face authentication request including the captured image to the image providing device 200 via the network N (S605).
  • the image providing device 200 transmits a face authentication request for the face area of the user U in the captured image included in the received face authentication request to the authentication device 100 via the network N (S606).
  • the authentication device 100 performs face authentication on the face area of the user U in the captured image included in the received face authentication request (S607).
  • the face recognition is successful.
  • the authentication device 100 transmits the face authentication result including the fact that the face authentication was successful and the user ID to the image providing device 200 via the network N (S608).
  • the image providing device 200 transmits the face authentication result to the face authentication terminal 401 via the network N (S609).
  • the face recognition terminal 401 does not perform payment processing. Therefore, the image providing device 200 registers the history information 212 about the user who succeeded in face authentication in the storage unit 210 (S610). Then, the user U moves to the point A2.
  • the face authentication terminal 402 photographs the user U (S611) and transmits a face authentication request including the captured image to the image providing device 200 via the network N (S612).
  • the image providing device 200 transmits a face authentication request for the face area of the user U in the captured image included in the received face authentication request to the authentication device 100 via the network N (S613).
  • the authentication device 100 performs face authentication on the face area of the user U in the captured image included in the received face authentication request (S614).
  • the face recognition is successful.
  • the authentication device 100 transmits the face authentication result including the fact that the face authentication was successful and the user ID to the image providing device 200 via the network N (S615).
  • the image providing device 200 transmits the face authentication result to the face authentication terminal 402 via the network N (S616).
  • the face recognition terminal 402 performs a payment process for the user U (S617), and transmits a history registration request including the payment history to the image providing device 200 via the network N (S618).
  • the history registration request shall include, for example, a user ID, a point ID, a date and time, and payment information.
  • the image providing device 200 generates the history information 212 based on the received history registration request and registers it in the storage unit 210 (S619). Then, the user U moves to the point An.
  • the face authentication terminal 40n photographs the user U (S621), and transmits the face authentication request including the captured image and the composite image request to the image providing device 200 via the network N (S622).
  • the image providing device 200 transmits a face authentication request for the face area of the user U in the captured image included in the received face authentication request to the authentication device 100 via the network N (S623).
  • the authentication device 100 performs face authentication on the face area of the user U in the captured image included in the received face authentication request (S624).
  • the authentication device 100 transmits the face authentication result including the fact that the face authentication was successful and the user ID to the image providing device 200 via the network N (S625).
  • the image providing device 200 determines the providing condition (S626). Here, it is assumed that the provision conditions are satisfied. Subsequently, the image providing device 200 identifies a captured image corresponding to the user who has succeeded in face recognition (S627), and generates a composite image (S628). Then, the image providing device 200 transmits the composite image to the image storage server 300 on the network N (S629). The image storage server 300 stores the received composite image in a predetermined storage destination (S630). Here, the image providing device 200 generates access information indicating the storage destination of the composite image, and generates a download guidance screen including the access information (S631).
  • the image providing device 200 sorts the images taken at a plurality of points in ascending order of the shooting time.
  • the image providing device 200 transmits the first point-captured image corresponding to the earliest first shooting time to the face recognition terminal 40n via the network N (S632-1).
  • the face recognition terminal 40n displays the received first point-captured image (S633-1).
  • the image providing device 200 transmits a second point captured image corresponding to the second imaging time, which is the earliest after the first imaging time, to the face recognition terminal 40n via the network N (S632-2). ..
  • the face recognition terminal 40n displays the received second point captured image (S633-2).
  • the image providing device 200 executes the same for the specified point-captured image. After that, the image providing device 200 transmits the image taken at the specific point taken at the point An to the face recognition terminal 40n via the network N (S632-n). As a result, the face recognition terminal 40n displays the received image captured at a specific point (S633-n). Then, the image providing device 200 transmits the composite image to the face recognition terminal 40n via the network N (S634). As a result, the face recognition terminal 40n displays the received composite image (S635).
  • FIG. 17 is a diagram showing a display example according to the shooting time of the point-shooting image according to the second embodiment.
  • the point-shooting images are individually displayed in steps S633-1 to S633-4, the point-shooting images displayed immediately before are hidden and the point-shooting images at the next time are displayed. Show that. The same applies to the image taken at a specific point in step S633-n. After that, it is shown that the composite image is displayed in step S635.
  • FIG. 18 is a diagram showing another display example according to the shooting time of the point-shooting image according to the second embodiment.
  • the point-captured images are displayed in the order of the shooting times in steps S633-1 to S633-4, the point-captured images at the next time are displayed while the previously displayed point-captured images are displayed. Indicates that it is displayed. In this case, either step S633-n or S635 may be executed.
  • FIG. 19 is a diagram showing another display example according to the shooting time of the point-shooting image according to the second embodiment.
  • the difference from FIG. 17 is that the images taken at each point to be displayed are displayed in full screen.
  • the image providing device 200 transmits the download guidance screen to the face authentication terminal 40n via the network N (S636).
  • the face recognition terminal 40n displays the received download guidance screen (S637).
  • FIG. 20 is a diagram showing an example of the download guidance screen 610 according to the second embodiment.
  • the download guidance screen 610 indicates that it is displayed on the face recognition terminal 40n.
  • the download guidance screen 610 includes (second) access information 611. That is, it indicates that the access information 611 is presented to the user U.
  • the user terminal 500 reads the access information 611 in the download guidance screen 610 displayed on the face authentication terminal 40n in response to the operation of the user U (S638). Then, the user terminal 500 analyzes the read access information 611, and transmits a composite image acquisition request to the image storage server 300 via the network N based on the analysis result (S639).
  • the composite image acquisition request may simply be an access (request message) from the user terminal 500 to a predetermined storage destination of the image storage server 300.
  • the image storage server 300 reads the composite image stored in the storage destination indicated by the composite image acquisition request from the user terminal 500, and transmits a response including the composite image to the user terminal 500 via the network N (S640).
  • the user terminal 500 displays the received composite image (S641).
  • FIG. 21 is a diagram showing an example of a composite image 620 according to the second embodiment.
  • the composite image 620 includes the photographed images 621 to 62n together with the name of the user U and the photographing period.
  • the captured image 621 is an image captured by the user U at the point A1.
  • the photographed image 622 is an image taken by the user U at the point A2
  • the photographed image 623 is the point A3
  • the photographed image 624 is the point A4
  • the photographed image 62n is the point An.
  • a link to a website corresponding to the shooting point may be set for each shot image.
  • the information on the tourist spots at each point can be referred to even after the trip, and it becomes easy for the user to introduce the places actually visited.
  • the composite image 620 may include access information 611.
  • the generation unit 245 generates the access information 611 in advance in step S628, and generates the composite image 620 including the access information 611. Also, there is no need to have a download guide screen. In that case, in step S631, the generation unit 245 may add the access information 611 to the composite image 620. Then, the output unit 246 transmits the composite image 620 including the access information 611 to the face authentication terminal 40n in step S632, and the face authentication terminal 40n displays the access information 611 together with the composite image 620 in step S633. Therefore, the user U can download the composite image 620 to his / her own user terminal 500 via the access information 611 after confirming the contents of the composite image 620.
  • the user can download not only the composite image but also a moving image displaying the point shot image (and the composite image) according to the shooting time.
  • the generation unit 245 generates moving image data that displays the specified plurality of captured images 2124 according to the imaging time.
  • the moving image data may include an image taken at a specific point or a composite image.
  • the output unit 246 outputs the moving image data to the storage destination of the image storage server 300.
  • the generation unit 245 generates access information indicating the storage destination of the moving image data.
  • the output unit 246 outputs the access information indicating the storage destination of the moving image data together with the access information indicating the storage destination of the composite image, or instead, as described above.
  • the user U who visits each point acquires a composite image obtained by aggregating the captured images taken when face recognition is performed in each place by face recognition at a specific point. Can be done. Therefore, the user U can easily introduce the place he / she actually visited, and can easily publish the composite image 620 on SNS (Social Networking Service) or the like. Therefore, visits to each point are promoted, which can contribute to the revitalization of the economy.
  • SNS Social Networking Service
  • Such a composite image can be acquired as a memory photograph of the trip, it is possible to promote the user U to pre-register his / her face information at the point A0. In addition, it can contribute to the spread of stamp rally by face recognition. In addition, depending on the conditions for providing the composite image, it is possible to promote visiting more points and making payments at each point.
  • FIG. 22 is a block diagram showing the overall configuration of the image providing system 2000 according to the third embodiment.
  • the authentication device 100 and the face recognition terminal 400 are deleted, and the image providing device 200 is replaced with the image providing device 200a, as compared with the image providing system 1000 described above. Since the other configurations are the same as those in the second embodiment, overlapping description will be omitted as appropriate.
  • the point A0 for pre-registering the facial feature information becomes unnecessary, and the point A1 becomes the starting point of the stamp rally.
  • FIG. 23 is a block diagram showing the configuration of the image providing device 200a according to the third embodiment.
  • the image providing device 200a is different from the above-mentioned image providing device 200 in that the program 211a, the face feature information 2121a, the authentication control unit 242a, the registration unit 243a, and the specific unit 244a.
  • the program 211a is a computer program in which the processing of the image providing method according to the third embodiment is implemented.
  • the face feature information 2121a is the face feature information of the user U extracted from the captured images at each point. That is, the history information 212 according to the present embodiment uses the face feature information as an example of the user ID.
  • the registration unit 243a extracts face feature information from the face area of the user U included in each of the plurality of captured images, the extracted face feature information 2121a, the extraction source captured image 2124, and the capture time (date and time) of the captured image. It is registered in the history information 212 in association with 2123).
  • the authentication control unit 242a extracts face feature information from the face area of the user U included in the captured image taken at a specific point, and collates it with the face feature information registered in the history information 212.
  • the specifying unit 244a specifies a captured image associated with the facial feature information having a degree of coincidence with the facial feature information extracted from the face region of the user U included in the specific image of a predetermined value or more as a point captured image.
  • FIG. 24 is a flowchart showing the flow of the photographed image registration process (registration of facial feature information) according to the third embodiment.
  • the acquisition unit 241 receives the face recognition request from the request source via the network N and acquires the captured image (S401).
  • the request source is one of the face recognition terminals 401 to 40n-1.
  • the registration unit 243a extracts facial feature information from the facial area in the acquired captured image (S402a).
  • the face authentication terminal 401 and the like perform electronic payment and transmit the payment history to the image providing device 200a.
  • the acquisition unit 241 acquires the payment history from the request source (S407). That is, in this embodiment, payment by face recognition is not performed.
  • the registration unit 243a registers the history information 212 in which the extracted facial feature information, the photographed image, and the payment history are associated with each other in the storage unit 210 (S408a).
  • the image providing device 200a extracts the face feature information from the captured image captured by the face authentication terminal 401 to 40n-1 each time, and includes it in the history information 212 instead of the user ID. And register.
  • FIG. 25 is a flowchart showing the flow of the image providing process according to the third embodiment.
  • the authentication control unit 242a extracts face feature information from the face region in the captured image (photographed by the face recognition terminal 40n at the point An) (S502a). Then, the authentication control unit 242a collates the extracted face feature information with the face feature information 2121a in the history information 212 (S502b).
  • the authentication control unit 242a determines whether or not the degree of matching of the facial feature information is equal to or higher than a predetermined value (S502c). When it is determined that the degree of coincidence is equal to or greater than a predetermined value, the specific unit 244a determines whether or not the condition for providing the composite image is satisfied (S505). When it is determined that the provision condition is satisfied, the specifying unit 244a identifies the captured image 2124 associated with the face feature information 2121a having a degree of coincidence with the face feature information extracted in step S502a of a predetermined value or more (S506a). After that, it is the same as FIG.
  • the user U who visits each point can acquire a composite image that aggregates the photographed images taken in each place by face matching at a specific point. Further, unlike the second embodiment, since the face feature information does not need to be registered in advance, it can contribute to the spread of the stamp rally.
  • the fourth embodiment is a modification of the second and third embodiments described above, and does not require prior registration of facial feature information.
  • the point A1 is set as the start point of the stamp rally, and the face recognition is performed at the subsequent points using the face feature information extracted from the captured image at the point A1. Since the image providing system 2000 and the image providing device 200a according to the fourth embodiment are the same as those in FIGS. 22 and 23, illustration and description thereof will be omitted. Further, in the fourth embodiment, the image providing device 200a has the photographed image registration process (registration of face feature information) of FIG. 24 described above for the photographed image photographed by the face authentication terminal 401 installed at the point A1. Shall be carried out.
  • the image providing device 200a performs the next captured image registration process (collation of face feature information) with respect to the captured images captured by the face recognition terminals 402 to 40n-1 installed at the points A2 to An-1. Assumed to be performed.
  • FIG. 26 is a flowchart showing the flow of the photographed image registration process (collation of facial feature information) according to the fourth embodiment.
  • the user U has already taken a picture at the point A1 by the face authentication terminal 401, and the image providing device 200a has registered the history information 212 associated with the face feature information 2121a of the user U. Then, for example, it is assumed that the user U is photographed by the face recognition terminal 402 at the point A2.
  • the authentication control unit 242a extracts face feature information from the face area in the acquired captured image (S402a). Then, the authentication control unit 242a collates the extracted face feature information with the face feature information 2121a in the history information 212 (S402b).
  • the authentication control unit 242a determines whether or not the degree of matching of the facial feature information is equal to or higher than a predetermined value (S402c). If it is determined that the degree of coincidence is equal to or higher than a predetermined value, the above-mentioned steps S406 and S407 are performed. Then, the registration unit 243a registers the history information 212 in which the extracted facial feature information, the photographed image, and the payment history are associated with each other in the storage unit 210 (S408b). In addition, the registration unit 243a correlates the face feature information extracted from the photographed image at the point A1 and registered with the photographed image acquired in step S401, instead of the face feature information extracted in step S402a.
  • the registration unit 243a stores the history information 212 in which the extracted facial feature information, the photographed image, and the payment history are associated with each other, as in step S408b. It may be registered in the unit 210. That is, even if the face information is not registered at the point A1, the face information is registered when the face authentication terminal is used for the first time at a subsequent point.
  • the flow of the image providing process according to the fourth embodiment is the same as that of FIG. 25 described above.
  • the image providing device 200a extracts facial feature information from the captured image captured by the face authentication terminal 401 to 40n-1 each time.
  • the image providing device 200a performs face authentication on the captured image taken from the face recognition terminal 402 other than the face recognition terminal 401 at the point A1, that is, at 40n-1 from the face recognition terminal 402.
  • face recognition can be realized without prior registration.
  • the present embodiment can also be expressed as follows. That is, the registration means extracts the user's first facial feature information from the first photographed image taken at the first point among the plurality of points, and the first photographed image and the first photographed image.
  • the facial feature information of No. 1 is associated with the first time when the first captured image was captured and registered in the storage means.
  • the registration means extracts the user's second facial feature information from the second photographed image taken after the first photographed image at the second point among the plurality of points, and said that.
  • the degree of coincidence between the second facial feature information and the first facial feature information is equal to or greater than a predetermined value
  • the second captured image and the second time when the second captured image is captured are described as described above. It is registered in the storage means in association with the first facial feature information.
  • the authentication control means may use the authentication control means. Judge that face recognition was successful. Then, when the face authentication is successful, the specific means obtains the first captured image and the second captured image associated with the first facial feature information from the plurality of captured images. Each is specified as the point-photographed image.
  • FIG. 27 is a block diagram showing the configuration of the image providing device 200b according to the fifth embodiment.
  • the image providing device 200b is different from the above-mentioned image providing device 200 in that the program 211b, the face information 214, the authentication control unit 242b, and the registration unit 243b are different.
  • the program 211b is a computer program in which the processing of the image providing method according to the fifth embodiment is implemented.
  • the face information 214 corresponds to the face information DB 110 of the above-mentioned authentication device 100, and a plurality of user IDs 2141 and face feature information 2142 are associated with each other.
  • the authentication control unit 242b controls face authentication by collating the face feature information extracted from the user's face area included in the acquired captured image with the face feature information 2142 stored in the storage unit 210.
  • the registration unit 243b has functions equivalent to the face detection unit 120, the feature point extraction unit 130, and the registration unit 140 described above, in addition to the functions of the registration unit 243 described above. That is, the registration unit 243b detects the face area from the captured image included in the face information registration request received from the face recognition terminal 400 or the like, extracts the face feature information, issues the user ID, and issues the user ID 2141 and the face feature information. The face information 214 associated with 2142 is registered in the storage unit 210.
  • FIG. 28 is a flowchart showing the flow of the photographed image registration process (collation of facial feature information) according to the fifth embodiment.
  • steps S402 to S404 in FIG. 10 described above are replaced with steps S402a, S402d, and S402c.
  • the authentication control unit 242b extracts face feature information from the face area in the acquired captured image (S402a). Then, the authentication control unit 242b collates the extracted face feature information with the face feature information 2142 in the face information 214 (S402d).
  • the authentication control unit 242b determines whether or not the degree of matching of the facial feature information is equal to or higher than a predetermined value (S402c). If it is determined that the degree of coincidence is equal to or higher than a predetermined value, the above-mentioned steps S405, S406 and S407 are performed. Then, the registration unit 243b registers the history information 212 in which the user ID specified in step S405 and the captured image acquired in step S401 are associated with each other in the storage unit 210 (S408).
  • the above-mentioned steps S402a, S402d and S402c are performed instead of the steps S502, S503 and S504 in FIG. That is, the authentication control unit 242b controls face authentication by collating the face feature information extracted from the user's face region included in the specific image with the face feature information 2142 stored in the storage unit 210. Then, when it is determined that the provision condition is satisfied, the identification unit 244b identifies the user ID 2141 that has succeeded in face authentication from the face information 214.
  • the face recognition terminal 40n installed at the point An may be equipped with a smile engine that determines whether or not the user included in the image captured by the camera 410 is smiling.
  • the face recognition terminal 40n is determined to be smiling, the captured image is included in the face recognition request and transmitted to the image providing device 200 or the like via the network N.
  • the smile engine may set a smile point according to the degree of smile. In that case, the face recognition terminal 40n includes a smile point in the face recognition request.
  • the image providing device 200 may be equipped with a smile engine. In this case, the image providing device 200 performs face authentication when the user included in the captured image included in the face authentication request received from the face authentication terminal 401 or the like is smiling. Further, the image providing device 200 may select a photo frame (template) according to the smile point when generating the composite image and use it for the composite.
  • a photo frame template
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical discs), CD-ROMs (ReadOnlyMemory), CD-Rs, Includes CD-R / W, DVD (DigitalVersatileDisc), semiconductor memory (for example, mask ROM, PROM (ProgrammableROM), EPROM (ErasablePROM), flash ROM, RAM (RandomAccessMemory)).
  • magnetic recording media eg, flexible discs, magnetic tapes, hard disk drives
  • magneto-optical recording media eg, magneto-optical discs
  • CD-ROMs ReadOnlyMemory
  • CD-Rs Includes CD-R / W, DVD (DigitalVersatileDisc)
  • semiconductor memory for example, mask ROM, PROM (ProgrammableROM), EPROM (ErasablePROM), flash
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) A registration means for registering a plurality of shot images taken by a predetermined user at each of a plurality of points and each shooting time in a storage means in association with each other. From the plurality of captured images, points that are two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user at a specific point of a predetermined value or more. Specific means to identify the captured image and An output means for outputting the specified two or more point-shooting images so as to be displayed in the order of the shooting times. An image providing device.
  • an authentication control means for controlling face recognition for the user's face area included in the specific image is provided.
  • the image providing device according to Appendix 1 or 2 wherein the specific means identifies the point-captured image when the face recognition is successful.
  • the authentication control means is The image providing device according to Appendix 3, which controls the face recognition using an authentication device that stores face feature information of a plurality of persons.
  • the storage means stores facial feature information of a plurality of persons and stores the facial feature information.
  • the authentication control means controls the face authentication by collating the face feature information extracted from the user's face region included in the specific image with the face feature information stored in the storage means.
  • the image providing device described in. (Appendix 6)
  • the authentication control means is Controlling the face recognition for the user's face area included in each of the plurality of captured images,
  • the registration means is The photographed image at the point where the face recognition is successful is associated with the photographed time and registered in the storage means.
  • the image providing device according to any one of Supplementary note 3 to 5.
  • the specific means is The image according to Appendix 6 for specifying the point-captured image when the face recognition is successful at the specific point and the number of points where the face recognition is successful is equal to or more than a predetermined number among the plurality of points.
  • Providing equipment. (Appendix 8)
  • the registration means is The user's first facial feature information is extracted from the first captured image captured at the first of the plurality of points, and the first captured image, the first facial feature information, and the first face feature information are extracted.
  • the captured image of 1 is registered in the storage means in association with the first time when the captured image was captured.
  • the second facial feature information of the user is extracted from the second captured image captured after the first captured image, and the second facial feature information is combined with the second facial feature information.
  • the degree of coincidence with the first facial feature information is equal to or greater than a predetermined value
  • the second captured image and the second time when the second captured image is captured are referred to as the first facial feature information.
  • the authentication control means is When the degree of matching between the third face feature information extracted from the user's face area included in the specific image and the first face feature information is equal to or more than a predetermined value, it is determined that the face authentication is successful.
  • the specific means is When the face recognition is successful, each of the first captured image and the second captured image associated with the first face feature information is used as the point captured image from the plurality of captured images.
  • the image providing device according to Appendix 3 to be specified.
  • the registration means is The user's action history at each point is registered in the storage means in association with the captured image corresponding to the point.
  • the specific means is The image providing device according to any one of Supplementary note 3 to 8, which specifies the image captured at the point when the face recognition is successful at the specific point and the action history satisfies the first condition.
  • the specific means is If the face recognition is successful, the attribute information of the user is specified.
  • the image providing device according to any one of Supplementary note 3 to 10, which specifies the point-captured image when the specified attribute information satisfies the second condition.
  • the registration means is The storage means is to extract face feature information from the face area of the user included in each of the plurality of shot images, and to associate the extracted face feature information with the shot image of the extraction source and the shot time of the shot image.
  • Register with The specific means is In Appendix 1 or 2, the captured image associated with the facial feature information having a degree of matching with the facial feature information extracted from the user's face region included in the specific image is equal to or higher than a predetermined value is specified as the point captured image.
  • the image providing device described. (Appendix 13) The storage means Further storing the first access information to each of the plurality of points, The generation means is The first access information at the point where the specified point-captured image was taken is acquired from the storage means.
  • the image providing device according to any one of Supplementary note 3 to 12, wherein the composite image is generated by incorporating the acquired first access information into the specified point-captured image.
  • the output means is The composite image is output to the save destination, and the composite image is output.
  • the generation means is A second access information indicating the save destination of the composite image is generated, and the second access information is generated.
  • the output means is The image providing device according to any one of Supplementary note 2 or Supplementary note 3 to 13 that cites Supplementary note 2 that presents the second access information to the user.
  • (Appendix 15) The image providing device according to any one of Supplementary note 1 to 14, wherein the specific point is a boarding gate of an airport.
  • (Appendix 16) The image providing device according to any one of Supplementary note 1 to 14, wherein the specific point is an exit of a theme park.
  • the output means is After displaying the first point-shooting image corresponding to the first shooting time, the first point-shooting image is hidden and corresponds to the second shooting time after the first shooting time.
  • the image providing device according to any one of Supplementary note 1 to 16, which outputs an image captured at a second point so as to be displayed.
  • the output means is After displaying the first point-shooting image corresponding to the first shooting time, the second shooting time corresponding to the second shooting time after the first shooting time while displaying the first-point shooting image.
  • the image providing device according to any one of Supplementary note 1 to 16, which outputs an image captured at a point of 2 to be displayed.
  • An image providing device connected to the plurality of first photographing devices and the second photographing device, and Equipped with The image providing device is Memories and A registration means in which a predetermined user registers a plurality of captured images captured by each of the plurality of first imaging devices in the storage means in association with each shooting time.
  • An output means for outputting the specified two or more point-shooting images so as to be displayed in the order of the shooting times.
  • Image providing system equipped with. The image providing device is Further provided with a generation means for generating a composite image including the specified two or more point-captured images.
  • the computer A predetermined user registers a plurality of captured images taken at each of a plurality of points in a storage device in association with each shooting time.
  • points that are two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user at a specific point of a predetermined value or more From the plurality of captured images, points that are two or more images including a face region having a degree of coincidence with the user's face region included in the specific image captured by the user at a specific point of a predetermined value or more.
  • Image providing device 11 Storage unit 12 Registration unit 13 Specific unit 14 Generation unit 15 Output unit 1000 Image providing system 100 Authentication device 110 Face information DB 111 User ID 112 Face feature information 120 Face detection unit 130 Feature point extraction unit 140 Registration unit 150 Authentication unit 200 Image provider 200a Image provider 200b Image provider 210 Storage unit 211 Program 211a Program 211b Program 212 History information 2121 User ID 2121a Face feature information 2122 Point ID 2123 Date and time 2124 Photographed image 2125 Payment information 213 Point information 2131 Point ID 2132 Access information 214 Face information 2141 User ID 2142 Face feature information 220 Memory 230 Communication unit 240 Control unit 241 Acquisition unit 242 Authentication control unit 242a Authentication control unit 242b Authentication control unit 243 Registration unit 243a Registration unit 243b Registration unit 244 Specific unit 244a Specific unit 245 Generation unit 246 Output unit 300 Image Storage server 310 Composite image 400 Face authentication terminal 401 Face authentication terminal 402 Face authentication terminal 40n Face authentication terminal 410 Camera 420 Storage unit 430 Communication unit 440

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

画像提供装置(10)は、複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶部(11)に登録する登録部(12)と、複数の撮影画像の中から、特定の地点でユーザが撮影された特定画像に含まれるユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定部(13)と、特定した2以上の地点撮影画像について撮影時刻の順序で表示させるように出力する出力部(15)と、を備える。

Description

画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
 本発明は、画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体に関し、特に、画像提供を行うための画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体に関する。
 特許文献1には、複数の地点を訪問することで目的を達成するいわゆるスタンプラリー(ポイントラリー)において、各地点に設置されたカメラで顔認証を行うことにより各地点での訪問の確証とする技術が開示されている。
特開2013-41416号公報
 ここで、特許文献1に開示された技術では、スタンプラリーの活用が不十分であった。例えば、各地点を訪問した記録をユーザに提供することができなかった。
 本開示は、このような問題点を解決するためになされたものであり、各地点を実際に訪問したユーザに対して各地点の訪問を記録した画像を提供するための画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体を提供することを目的とする。
 本開示の第1の態様にかかる画像提供装置は、
 複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録手段と、
 前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
 を備える。
 本開示の第2の態様にかかる画像提供システムは、
 複数の地点のそれぞれに設置された複数の第1の撮影装置と、
 特定の地点に設置された第2の撮影装置と、
 前記複数の第1の撮影装置並びに前記第2の撮影装置と接続された画像提供装置と、
 を備え、
 前記画像提供装置は、
 記憶手段と、
 所定のユーザが前記複数の第1の撮影装置のそれぞれにより撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて前記記憶手段に登録する登録手段と、
 前記第2の撮影装置により前記ユーザが撮影された第1の画像を取得する取得手段と、
 前記複数の撮影画像の中から、前記第2の撮影装置により前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
 を備える。
 本開示の第3の態様にかかる画像提供方法は、
 コンピュータが、
 所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶装置に登録し、
 前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定し、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する。
 本開示の第4の態様にかかる画像提供プログラムが格納された非一時的なコンピュータ可読媒体は、
 所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録処理と、
 前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定処理と、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力処理と、
 をコンピュータに実行させる。
 本開示により、各地点を実際に訪問したユーザに対して各地点の訪問を記録した画像を提供するための画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体を提供することができる。
本実施形態1にかかる画像提供装置の構成を示すブロック図である。 本実施形態1にかかる画像提供方法の流れを示すフローチャートである。 本実施形態2にかかる画像提供システムの全体構成を示すブロック図である。 本実施形態2にかかる認証装置の構成を示すブロック図である。 本実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。 本実施形態2にかかる顔認証処理の流れを示すフローチャートである。 本実施形態2にかかる顔認証端末の構成を示すブロック図である。 本実施形態2にかかるユーザ端末の構成を示すブロック図である。 本実施形態2にかかる画像提供装置の構成を示すブロック図である。 本実施形態2にかかる撮影画像登録処理の流れを示すフローチャートである。 本実施形態2にかかる画像提供処理の流れを示すフローチャートである。 本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。 本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。 本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。 本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。 本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。 本実施形態2にかかる地点撮影画像の撮影時刻に従った表示例を示す図である。 本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。 本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。 本実施形態2にかかるダウンロード案内画面の例を示す図である。 本実施形態2にかかる合成画像の例を示す図である。 本実施形態3にかかる画像提供システムの全体構成を示すブロック図である。 本実施形態3にかかる画像提供装置の構成を示すブロック図である。 本実施形態3にかかる撮影画像登録処理(顔特徴情報の登録)の流れを示すフローチャートである。 本実施形態3にかかる画像提供処理の流れを示すフローチャートである。 本実施形態4にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。 本実施形態5にかかる画像提供装置の構成を示すブロック図である。 本実施形態5にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。
 以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
 図1は、本実施形態1にかかる画像提供装置10の構成を示すブロック図である。画像提供装置10は、複数の地点のそれぞれにおいて自身を含む撮影を行ったユーザに対して、各地点での撮影画像をまとめた合成画像を特定の地点において提供するための情報処理装置である。ここで、画像提供装置10は、ネットワーク(不図示)に接続される。ネットワークは、有線であっても無線であってもよい。また、当該ネットワークには、各地点に設置された撮影装置(不図示)と接続されている。尚、撮影装置は、顔認証端末、カメラ付きのデジタルサイネージ等であっても良い。
 画像提供装置10は、記憶部11と、登録部12と、特定部13と、生成部14と、出力部15とを備える。記憶部11は、撮影画像を記憶するための記憶領域である。登録部12は、複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶部11に登録する。特定部13は、複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれるユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する。尚、特定の地点は、複数の地点に含まれていてもいなくてもよい。生成部14は、特定した2以上の地点撮影画像を含めた合成画像を生成する。ここで、合成画像は、各地点撮影画像が個別に識別可能に合成された画像とする。また、合成画像は、所定のテンプレートと各地点撮影画像とが合成された画像であってもよい。出力部15は、特定した2以上の地点撮影画像について撮影時刻の順序で表示させるように出力し、その後、合成画像を出力する。尚、地点撮影画像及び合成画像の出力先は、例えば、特定の地点に設置された顔認証端末、デジタルサイネージ、画像保存サーバ、又は、ユーザが所持する情報処理端末等である。
 図2は、本実施形態1にかかる画像提供方法の流れを示すフローチャートである。まず、登録部12は、複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶部11に登録する(S11)。次に、特定部13は、複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれるユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する(S12)。そして、生成部14は、特定した地点撮影画像を含めた合成画像を生成する(S13)。そして、出力部15は、特定した2以上の地点撮影画像について撮影時刻の順序で表示させるように出力する(S14)。その後、出力部15は、合成画像を出力する(S15)。
 このように、本実施形態により、各地点を実際に訪問したユーザに対して各地点の訪問の記録である(各地点で撮影された)撮影画像を含む画像を提供することができる。例えば、観光地の各地点を訪問したユーザは、現地でしか取れない撮影画像を自動的に集約した画像を帰りの地点において取得できる。特に、ユーザは、各地点で自身が撮影された撮影画像(地点撮影画像)を撮影時刻の順序に従って見ることができ、旅の思い出を効果的に振り返ることができる。
 尚、本実施形態1において、生成部14は必須ではない。その場合、出力部15は、合成画像の出力を行わない。また、この場合、図2のステップS13及びS15は行われない。
 尚、画像提供装置10は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる画像提供方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、登録部12、特定部13、生成部14及び出力部15の機能を実現する。
 または、登録部12、特定部13、生成部14及び出力部15は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
 また、画像提供装置10の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、画像提供装置10の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
 実施形態2は、上述した実施形態1の具体例である。図3は、本実施形態2にかかる画像提供システム1000の全体構成を示すブロック図である。画像提供システム1000は、認証装置100、画像提供装置200、画像保存サーバ300、顔認証端末400~40n(nは2以上の自然数。)及びユーザ端末500を備える。認証装置100、画像提供装置200、画像保存サーバ300、顔認証端末400~40n及びユーザ端末500のそれぞれは、ネットワークNを介して接続されている。ここで、ネットワークNは、有線又は無線の通信回線である。
 また、顔認証端末400、401、402、・・・40nのそれぞれは、地点A0、A1、A2、・・・Anに設置されている。ここで、地点A0~Anは、ある地域Aにおける異なる観光スポットであるとする。また、地点A0~Anは、地域Aにおける顔認証によるスタンプラリーのチェックポイントとする。そのため、ユーザUは、地点A0を出発地点として、A1~An-1を訪問し、地点Anを最終地点とする。ここで、地点Anは、「特定の地点」であるものとする。例えば、地点Anは、顔認証によるスタンプラリーの最終目的地とする。また、例えば、地点Anは、空港の搭乗ゲート又はテーマパークの出口であってもよい。または、地点Anは、空港の搭乗口であってもよい。つまり、顔認証端末40nは、空港の搭乗ゲート前や搭乗口前その他空港施設内に設置されたデジタルサイネージ等であってもよい。そして、ユーザUは、地点A0において自身の顔情報を登録し、地点A1~An-1で顔認証端末を用いて記念撮影を行い、地点Anにおいて顔認証に成功した場合、各地点の撮影画像を撮影順序に従った表示を見て、その後、集約した合成画像を取得できるものとする。尚、顔情報の登録は、ユーザUが希望する任意の顔認証端末又はユーザ端末500で行っても良い。
 認証装置100は、複数の人物の顔特徴情報を記憶する情報処理装置である。また、認証装置100は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行い、照合結果(認証結果)を要求元へ返信する。
 図4は、本実施形態2にかかる認証装置100の構成を示すブロック図である。認証装置100は、顔情報DB(DataBase)110と、顔検出部120と、特徴点抽出部130と、登録部140と、認証部150とを備える。顔情報DB110は、ユーザID111と当該ユーザIDの顔特徴情報112とを対応付けて記憶する。顔特徴情報112は、顔画像から抽出された特徴点の集合である。尚、認証装置100は、顔特徴情報112の登録ユーザからの要望に応じて、顔特徴DB110内の顔特徴情報112を削除してもよい。または、認証装置100は、顔特徴情報112の登録から一定期間経過後に削除してもよい。
 顔検出部120は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部130に出力する。特徴点抽出部130は、顔検出部120が検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を出力する。また、特徴点抽出部130は、画像提供装置200から受信した顔画像に含まれる特徴点を抽出し、認証部150に顔特徴情報を出力する。
 登録部140は、顔特徴情報の登録に際して、ユーザID111を新規に発行する。登録部140は、発行したユーザID111と、登録画像から抽出した顔特徴情報112とを対応付けて顔情報DB110へ登録する。認証部150は、顔特徴情報112を用いた顔認証を行う。具体的には、認証部150は、顔画像から抽出された顔特徴情報と、顔情報DB110内の顔特徴情報112との照合を行う。認証部150は、顔特徴情報の一致の有無を画像提供装置200に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する(一致有)とは、一致度が所定値以上である場合をいうものとする。
 図5は、本実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。まず、認証装置100は、顔情報登録要求に含まれる登録画像を取得する(S21)。例えば、認証装置100は、顔情報登録要求を、顔認証端末400又はユーザ端末500等からネットワークNを介して受け付ける。次に、顔検出部120は、登録画像に含まれる顔領域を検出する(S22)。次に、特徴点抽出部130は、ステップS22で検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を出力する(S23)。最後に、登録部140は、ユーザID111を発行し、当該ユーザID111と顔特徴情報112とを対応付けて顔情報DB110に登録する(S24)。なお、認証装置100は、ユーザ端末500等から顔特徴情報112を受信し、ユーザID111と対応付けて顔情報DB110に登録してもよい。
 図6は、本実施形態2にかかる認証装置100による顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部130は、顔認証要求に含まれる認証用の顔画像を取得する(S31)。例えば、認証装置100は、画像提供装置200からネットワークNを介して顔認証要求を受信し、顔認証要求に含まれる顔画像からステップS21からS23のように顔特徴情報を抽出する。または、認証装置100は、画像提供装置200から顔特徴情報を受信してもよい。次に、認証部150は、取得した顔特徴情報を、顔情報DB110の顔特徴情報112と照合する(S32)。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合(S33のYes)、認証部150は、顔特徴情報が一致したユーザのユーザID111を特定し(S34)、顔認証に成功した旨と特定したユーザID111とを画像提供装置200に返信する(S35)。一致する顔特徴情報が存在しない場合(S33のNo)、認証部150は、顔認証に失敗した旨を画像提供装置200に返信する(S36)。
 尚、ステップS32において、認証部150は、顔情報DB110内の全ての顔特徴情報112との照合を試みる必要はない。例えば、認証部150は、顔認証要求を受け付けた当日から数日前までの期間に登録が行われた顔特徴情報と優先的に照合を試みるとよい。または、当該期間以前に顔特徴情報の登録が行われていたとしても、予め特定日に所定の遅延を訪問する旨を予約していた場合、認証部150は、予約したユーザの顔特徴情報と優先的に照合を試みるとよい。これらにより、照合速度が向上し得る。また、上記優先的な照合に失敗した場合、残り全ての顔特徴情報と照合を行うようにするとよい。
 図3に戻り説明を続ける。顔認証端末400、401、402、・・・40nのそれぞれは、カメラと表示装置を含む情報処理装置である。
 顔認証端末400は、ユーザUの顔認証に用いる登録画像を撮影する。顔認証端末400は、登録画像を含めた顔情報登録要求をネットワークNを介して認証装置100へ送信する。尚、ユーザUは、ユーザ端末500を用いて登録画像を撮影し、顔情報登録を行っても良い。
 顔認証端末401~40nは、ユーザUの顔認証に用いる認証用の顔画像を撮影する。例えば、顔認証端末401等は、設置された各地点においてユーザUの記念撮影用に撮影した撮影画像を認証用の画像とする。顔認証端末401等は、認証用の画像を含めた顔認証要求をネットワークNを介して画像提供装置200へ送信する。このとき、顔認証端末401等は、自身が設置された地点を識別する地点IDを顔認証要求に含めるものとする。また、顔認証端末401等は、撮影時刻を顔認証要求に含めてもよい。また、顔認証端末401等は、画像提供装置200からネットワークNを介して顔認証結果を受信し、画面に表示する。ここで、顔認証端末401等は、顔認証による電子決済を行う決済装置の機能を有していてもよい。その場合、顔認証端末401等は、顔認証に成功した場合に、電子決済を行い、決済履歴をネットワークNを介して画像提供装置200へ送信する。尚、顔認証端末40nは、必ずしも決済を行う必要はない。そして、顔認証端末40nは、顔認証要求と共に合成画像要求を送信する。または、顔認証端末40nは、顔認証に成功した場合に、合成画像要求を送信する。そして、顔認証端末40nは、画像提供装置200からネットワークNを介して合成画像又は合成画像の保存先のアクセス情報を受信し、画面に表示する。
 次に、顔認証端末400について詳細に説明する。図7は、本実施形態2にかかる顔認証端末400の構成を示すブロック図である。尚、顔認証端末401~40nについても同等であるため、これらの図示を省略する。顔認証端末400は、カメラ410と、記憶部420と、通信部430と、表示部440と、制御部450とを備える。
 カメラ410は、制御部450の制御に応じて撮影を行う撮影装置である。記憶部420は、顔認証端末400の各機能を実現するためのプログラムが格納される記憶装置である。通信部430は、ネットワークNとの通信インタフェースである。表示部440は、少なくとも表示装置である。または、表示部440は、表示装置と入力装置を含む入出力部、例えば、タッチパネルであってもよい。制御部450は、顔認証端末400が有するハードウェアの制御を行う。制御部450は、撮影制御部451と、登録部452と、認証制御部453と、表示制御部454と、決済部455とを備える。但し、決済部455は必須ではない。また、認証制御部453は、地点A0に設置された顔認証端末400において必須ではない。また、登録部452は、地点A1からAnに設置された顔認証端末401~40nにおいて必須ではない。
 撮影制御部451は、カメラ410を制御し、ユーザUの登録画像又は認証用画像を撮影する。登録画像及び認証用画像は、少なくとも当該ユーザの顔領域を含む画像である。尚、地点A1等における撮影画像(認証用画像)は、背景に当該地点に特有の風景等を含んでもよい。撮影制御部451は、登録画像を登録部452へ出力する。また、撮影制御部451は、認証用画像を認証制御部453へ出力する。また、撮影制御部451は、カメラ410により決済時のユーザUを撮影してもよい。
 登録部452は、登録画像を含む顔情報登録要求をネットワークNを介して認証装置100へ送信する。認証制御部453は、認証用画像を含む顔認証要求をネットワークNを介して画像提供装置200へ送信し、顔認証結果を受信し、顔認証結果を表示制御部454及び決済部455へ出力する。また、認証制御部453は、上述した合成画像要求をネットワークNを介して画像提供装置200へ送信し、合成画像又は合成画像の保存先のアクセス情報を受信し、表示制御部454へ出力する。また、顔認証端末40nの認証制御部453は、画像提供装置200からネットワークNを介して地点撮影画像を受信し、表示制御部454へ出力する。
 表示制御部454は、顔認証結果に応じた表示内容を表示部440へ表示する。また、顔認証端末40nの表示制御部454は、地点撮影画像を受信した順序で表示部440へ表示する。また、表示制御部454は、合成画像を又は合成画像の保存先のアクセス情報を表示部440へ表示する。
 決済部455は、顔認証結果が顔認証の成功を示す場合、所定の電子決済手段による電子決済を行い、決済履歴をネットワークNを介して画像提供装置200へ送信する。
 図3に戻り説明を続ける。ユーザ端末500は、ユーザUが所持する情報端末である。ユーザ端末500は、例えば、携帯電話端末、スマートフォン、タブレット端末、カメラを搭載又は接続したPC(Personal Computer)等である。ユーザ端末500は、ユーザUのユーザID又は顔特徴情報と対応付けられている。つまり、ユーザ端末500は、画像提供装置200においてユーザID又は顔特徴情報により特定可能な表示端末である。例えば、ユーザ端末500は、ユーザUが自身のユーザIDによりログイン済みの端末である。
 ユーザ端末500は、ユーザUの顔認証に用いる登録画像を認証装置100に送信し、顔情報登録要求を行う。なお、ユーザ端末500は、登録画像から抽出された顔特徴情報を認証装置100に送信し、顔情報登録要求を行ってもよい。また、ユーザ端末500は、合成画像の保存先のアクセス情報を読み取り、アクセス情報に対応する画像保存サーバ300に対してネットワークNを介してアクセスする。そして、ユーザ端末500は、保存先から合成画像を取得し、表示する。
 次に、ユーザ端末500について詳細に説明する。図8は、本実施形態2にかかるユーザ端末500の構成を示すブロック図である。ユーザ端末500は、カメラ510と、記憶部520と、通信部530と、表示部540と、制御部550とを備える。
 カメラ510は、制御部550の制御に応じて撮影を行う撮影装置である。記憶部520は、顔認証端末500の各機能を実現するためのプログラムが格納される記憶装置である。通信部530は、ネットワークNとの通信インタフェースである。表示部540は、表示装置と入力装置を含む入出力部、例えば、タッチパネルである。制御部550は、ユーザ端末500が有するハードウェアの制御を行う。制御部550は、撮影制御部551と、登録部552と、取得部553と、表示制御部554とを備える。
 撮影制御部551は、カメラ510を制御し、ユーザUの登録画像を撮影する。撮影制御部551は、登録画像を登録部552へ出力する。撮影制御部551は、地点Anに設置された顔認証端末40nの表示部440に表示された合成画像の保存先のアクセス情報をカメラ510により撮影し、撮影画像を取得部553へ出力する。
 登録部552は、登録画像を含む顔情報登録要求をネットワークNを介して認証装置100へ送信する。取得部553は、撮影画像を解析してアクセス情報に復元し、アクセス情報が示すアドレスに対してネットワークNを介してアクセスを行う。ここで、アクセス情報は、例えば、画像保存サーバ300の合成画像の保存先のURL(Uniform Resource Locator)を二次元バーコード化したQR(Quick Response)コード(登録商標)とする。その場合、取得部553は、QRコードを解析してURLに変換し、変換後のURLに対してアクセスを行う。取得部553は、アクセス先からネットワークNを介して合成画像を取得し、表示制御部554へ出力する。表示制御部554は、合成画像を表示部540へ表示する。
 図3に戻り説明を続ける。画像提供装置200は、地点A0からAnを訪問したユーザUが地点Anにおいて顔認証に成功した場合、ユーザUが各地点で撮影された撮影画像(地点撮影画像)を集約した合成画像を生成し、ユーザUに対して提供する情報処理装置である。特に、画像提供装置200は、複数の地点撮影画像を撮影時刻の順序に従って表示させる。画像提供装置200は、複数台のサーバに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。
 画像保存サーバ300は、画像提供装置200により生成された合成画像310を保存するための1台以上のファイルサーバである。画像保存サーバ300は、ネットワークNを介して要求元に対して合成画像310を提供する。例えば、画像保存サーバ300は、ユーザ端末500からネットワークNを介してサーバ内の所定の保存先へのリクエストを受信した場合、当該リクエストで指定された保存先に保存された合成画像310を読み出し、合成画像310を応答に含めてネットワークNを介してユーザ端末500へ送信する。
 次に、画像提供装置200について詳細に説明する。図9は、本実施形態2にかかる画像提供装置200の構成を示すブロック図である。画像提供装置200は、記憶部210と、メモリ220と、通信部230と、制御部240とを備える。記憶部210は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部210は、プログラム211と、履歴情報212と、地点情報213とを記憶する。プログラム211は、本実施形態2にかかる画像提供方法の処理が実装されたコンピュータプログラムである。
 履歴情報212は、各地点における顔認証端末を利用したユーザUの行動履歴である。すなわち、履歴情報212は、顔認証端末401等によるユーザUの顔認証の成功履歴、各地点における決済履歴等である。具体的には、履歴情報212は、ユーザID2121、地点ID2122、日時2123、撮影画像2124及び決済情報2125を対応付けた情報である。尚、決済情報2125は必須ではない。ユーザID2121は、ユーザUを識別する情報であり、顔認証に成功した場合に顔認証結果に含まれるユーザIDである。地点ID2122は、顔認証用の撮影画像を撮影した顔認証端末が設置された地点を識別する情報である。日時2123は、顔認証用の撮影画像が撮影された日時又は顔認証が行われた日時であり、本実施形態ではいずれの日時も「撮影時刻」と呼ぶものとする。撮影画像2124は、地点ID2122が示す地点に設置された顔認証端末によりユーザUが撮影された画像である。決済情報2125は、地点ID2122が示す地点に設置された顔認証端末によりユーザUが顔認証により行った決済の履歴である。決済情報2125は、例えば、決済金額、商品等を含む。
 地点情報213は、各地点A0~Anの地点ID2131と、アクセス情報2132とを対応付けた情報である。アクセス情報は、第1のアクセス情報の一例であり、例えば各地点A0~Anに対応したWEB情報へのリンク情報であり、具体的にはURL等である。
 メモリ220は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部240の動作時に一時的に情報を保持するための記憶領域である。通信部230は、ネットワークNとの通信インタフェースである。
 制御部240は、画像提供装置200の各構成を制御するプロセッサつまり制御装置である。制御部240は、記憶部210からプログラム211をメモリ220へ読み込ませ、プログラム211を実行する。これにより、制御部240は、取得部241、認証制御部242、登録部243、特定部244、生成部245及び出力部246の機能を実現する。
 取得部241は、ネットワークNを介して顔認証端末401~40nから顔認証要求を受信し、顔認証要求に含まれる撮影画像を取得し、取得した撮影画像を認証制御部242及び登録部243へ出力する。また、取得部241は、受信した顔認証要求から地点IDを取得する。また、取得部241は、ネットワークNを介して顔認証端末40nから合成画像要求を受信する。また、取得部241は、ネットワークNを介して顔認証端末401~40nから決済履歴を取得し、決済履歴を登録部243へ出力する。
 認証制御部242は、撮影画像に含まれるユーザUの顔領域に対する顔認証を制御する。つまり、認証制御部242は、地点A1~Anー1で撮影された複数の撮影画像のそれぞれに含まれるユーザUの顔領域に対する顔認証を制御する。また、認証制御部242は、地点Anで撮影された特定画像に含まれるユーザUの顔領域に対する顔認証を制御する。すなわち、認証制御部242は、取得部241により取得された撮影画像について、認証装置100に対して顔認証を行わせる。例えば、認証制御部242は、取得された撮影画像を含めた顔認証要求を、ネットワークNを介して認証装置100へ送信し、認証装置100から顔認証結果を受信する。尚、認証制御部242は、撮影画像からユーザUの顔領域を検出し、顔領域の画像を顔認証要求に含めてもよい。または、認証制御部242は、顔領域から顔特徴情報を抽出し、顔特徴情報を顔認証要求に含めてもよい。
 登録部243は、上述した登録部12の一例である。登録部243は、地点A1等における顔認証及び決済の履歴を履歴情報212として記憶部210に登録する。登録部243は、顔認証に成功した地点における撮影画像と撮影時刻を少なくとも対応付けて記憶部210に登録する。また、登録部243は、各地点におけるユーザUの行動履歴を、地点に対応する撮影画像と対応付けて記憶部210に登録する。具体的には、登録部243は、顔認証に成功したユーザID2121、顔認証要求に含まれる地点ID2122、撮影時刻を示す日時2123、顔認証要求に含まれる撮影画像2124、顔認証による決済情報2125を対応付けて記憶部210に保存する。
 特定部244は、上述した特定部13の一例である。特定部244は、地点Anにおける顔認証に成功した場合、履歴情報212の撮影画像2124の中から、上述した地点撮影画像を特定する。具体的には、特定部244は、顔認証結果に含まれるユーザIDを特定し、特定したユーザIDと対応付けられた撮影画像を地点撮影画像として特定する。ここで、顔認証結果にユーザIDが含まれる場合は、認証装置100における顔認証に成功した場合である。そして、当該ユーザIDは、認証装置100の顔情報DB110内のユーザID111である。また、顔認証に成功するとは、地点Anにおける撮影画像に含まれるユーザUの顔領域から抽出された顔特徴情報と、顔情報DB110内の顔特徴情報112との一致度が所定値以上の場合である。よって、特定部244は、複数の撮影画像のうち、特定画像に含まれるユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像を地点撮影画像として特定するものといえる。
 尚、ユーザUは1地点において複数回撮影を行う場合もある。その場合、履歴情報212には、同一のユーザID2121及び地点ID2122の組に対して複数の撮影画像2124が対応付けられていることとなる。この場合、日時2123や決済情報2125が異なることとなる。そこで、特定部244は、特定したユーザID及び地点IDの組に、複数の撮影画像が対応付けられている場合、地点ID当たり1画像を選択して第2の画像とするものとする。尚、選択の仕方は任意である。これにより、合成画像に、1つの場所の撮影画像が集中することなく、様々な地点の撮影画像が含まれる。よって、思い出写真としてよりユーザに求められるものを提供できる。
 特定部244は、地点Anにおける顔認証に成功した場合に加えて、合成画像の所定の提供条件を満たす場合に、上述した地点撮影画像を特定する。ここで、提供条件は、例えば、複数の地点のうち顔認証に成功していた地点が所定数以上である場合であってもよい。また、提供条件は、行動履歴が第1の条件を満たす場合であってもよい。つまり、履歴情報212が何らかの条件を満たす場合であってもよい。第1の条件は、例えば、ユーザによる決済履歴の総額が所定金額以上であることを含む。この場合、特定部244は、履歴情報212のうち顔認証に成功したユーザID2121と対応付けられた決済情報2125の合計を算出し、合計額が所定金額以上である場合に、第1の条件を満たすと判定する。また、第1の条件は、顔認証による決済額が各地点のそれぞれにおいて所定金額以上であることであってもよい。この場合、まず、特定部244は、履歴情報212のうち顔認証に成功したユーザID2121と対応付けられた決済情報2125のそれぞれの決済金額を特定する。そして、特定部244は、特定した各決済金額が所定金額以上である場合、第1の条件を満たすと判定する。つまり、当該ユーザが訪問し、顔認証による決済を行った全ての地点において所定金額以上である場合、(第1の条件を満たし)合成画像を提供するようにしてもよい。例えば、ユーザがショッピングモールやテーマパークや動物園等の各施設において設置された顔認証端末により決済を行い、各施設における購入金額が最低X円以上である場合がこれに該当する。また、施設に限らず、観光地においても同様である。
 尚、複数の地点が存在し、各地点に複数の店舗が存在する場合であっても構わない。例えば、第1の地点が複数店舗を含むテーマパークであり、第2の地点が複数店舗を含むショッピングモールが挙げられる。その場合、第1の条件は、各地点における各店舗のそれぞれにおける決済金額が所定金額以上であることであってもよい。または、第1の条件は、地点ごとの店舗における決済金額の合計額が所定金額以上であることであってもよい。例えば、地点A1に存在する10店舗のうち3店舗での決済金額の合計が1万円以上であれば、第1の条件を満たすとしてもよい。または、第1の条件は、地点ごとにおいて、所属する店舗のうち最高の決済額が所定金額以上であることであってもよい。例えば、地点A1に存在する10店舗のうち1店舗での決済金額が1万円以上であれば、第1の条件を満たすとしてもよい。または、第1の条件は、全店舗で決済履歴が存在することとしても構わない。
 また、特定部244は、地点Anにおける顔認証に成功した場合にユーザUの属性情報を特定し、特定した属性情報が第2の条件を満たす場合、地点撮影画像を特定してもよい。ここで、属性情報とは、ユーザUのステータス情報等であってもよい。ステータス情報とは、例えば、航空会社における利用量、獲得マイル又は契約等により決まるランク、グレード(ビジネス/ファーストクラス)等である。また、第2の条件とは、例えば、ステータスが所定値以上であることを示す。また、属性情報が会員登録の有無である場合、第2の条件は、事前登録された会員であることを示す。また、属性情報がテーマパークの会員属性である場合、第2の条件は年間パス会員であることとしてもよい。また、属性情報は、ユーザUのフライト情報(搭乗時間を含む)であってもよい。その場合、第2の条件は、搭乗時間の30分以上前であることとしてもよい。尚、時間は任意である。これにより、ユーザUが搭乗に遅れることを回避できる。また、地点Anが空港の場合、属性情報は、チェックイン、荷物預け、セキュリティ検査のそれぞれの済か否か等の空港における各手続の完了状態であってもよい。その場合、第2の条件は、当該ユーザがその空港にてチェックイン済、荷物預け済及びセキュリティ検査済である場合としてもよい。尚、空港における各手続が顔認証により行われ、顔認証による履歴が保存されていても良い。その場合、空港の管理サーバにおいて航空券やパスポートと顔情報とが対応付けて登録されていればよい。そのため、特定部244は、空港の管理サーバから、ユーザUの各手続の履歴を属性情報として取得すればよい。例えば、第2の条件をチェックイン済みであることとする。そして、ユーザUは、チェックインロビーに設置されたサイネージ(顔認証端末40n)において顔認証を行う。このとき、特定部244は、空港の管理サーバから、ユーザUがチェックイン済か否かを属性情報として取得する。そして、特定部244は、チェックイン済みである場合、第2の条件及び提供条件を満たすものとする。これにより、ユーザへの合成画像の提供をインセンティブとしてチェックインを促進できる。
 生成部245は、上述した生成部14の一例である。生成部245は、特定部244により特定された地点撮影画像(撮影画像2124)を履歴情報212から読み出し、これらと所定のテンプレートとを一画像に集約するように合成して、合成画像を生成する。さらに、生成部245は、特定された撮影画像2124に対応付けられた地点ID2122に対応するアクセス情報2132を地点情報213から読み出し、対応する撮影画像2124に組み込んで合成画像を生成してもよい。例えば、生成部245は、撮影画像2124におけるリンク先としてアクセス情報2132を設定する。また、生成部245は、顔認証に成功したユーザに対応するユーザ名や各撮影画像に対応する日時から求まる撮影期間を合成画像に含めても良い。
 出力部246は、上述した出力部15の一例である。出力部246は、特定した2以上の地点撮影画像について撮影時刻の順序で表示させるように出力する。このとき、出力部246は、第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を非表示、かつ、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力するとよい。または、出力部246は、第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を表示させたままで当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力してもよい。
 また、出力部246は、生成部245により生成された合成画像をネットワークNを介して画像保存サーバ300の保存先へ送信する。このとき、生成部245は、画像保存サーバ300における合成画像の保存先を示す第2のアクセス情報を生成する。ここで、第2のアクセス情報は、例えば、二次元バーコード等であってもよい。そして、出力部246は、第2のアクセス情報をネットワークNを介して顔認証端末40nへ送信する。つまり、出力部246は、第2のアクセス情報をユーザUに対して提示する。または、出力部246は、合成画像をネットワークNを介して顔認証端末40nへ送信してもよい。
 図10は、本実施形態2にかかる撮影画像登録処理の流れを示すフローチャートである。まず、取得部241は、上述したように要求元からネットワークNを介して顔認証要求を受信して撮影画像を取得する(S401)。ここでは、要求元は、顔認証端末401から40n-1のいずれかとする。
 次に、認証制御部242は、認証装置100に対してネットワークNを介して顔認証要求を送信する(S402)。このとき、認証制御部242は、ステップS401で取得した撮影画像、当該撮影画像から抽出した顔領域、又は、当該顔領域から抽出した顔特徴情報の少なくともいずれかを顔認証要求に含める。そして、認証制御部242は、認証装置100からネットワークNを介して顔認証結果を受信する(S403)。顔認証結果は、顔認証に成功した場合、その旨及びユーザIDを含み、顔認証に失敗した場合、その旨を含む。
 認証制御部242は、顔認証に成功したか否かを判定する(S404)。顔認証に失敗したと判定した場合、出力部246は、顔認証に失敗した旨を出力する(S409)。具体的には、出力部246は、ネットワークNを介して要求元に対して顔認証に失敗した旨を示すメッセージを送信する。
 ステップS404において顔認証に成功したと判定した場合、特定部244は、顔認証に成功したユーザIDを特定する(S405)。具体的には、特定部244は、顔認証結果に含まれるユーザIDを抽出する。そして、出力部246は、顔認証に成功した旨を出力する(S406)。具体的には、出力部246は、ネットワークNを介して要求元に対して顔認証に成功した旨を示すメッセージを送信する。
 その後、要求元である顔認証端末401等において決済処理が行われる。取得部241は、顔認証端末401等からネットワークNを介して決済履歴を取得する(S407)。そして、登録部243は、ステップS405で特定したユーザIDと、ステップS401で取得した撮影画像と、撮影時刻とを対応付けた履歴情報212を記憶部210へ登録する(S408)。併せて、登録部243は、顔認証要求に含まれる地点ID、ステップS407で取得した決済履歴をさらに対応付けて履歴情報212を登録する。
 図11は、本実施形態2にかかる画像提供処理の流れを示すフローチャートである。まず、取得部241は、顔認証端末40nからネットワークNを介して顔認証要求及び合成画像要求を受信し、顔認証要求から撮影画像を取得する(S501)。
 次に、認証制御部242は、認証装置100に対してネットワークNを介して顔認証要求を送信する(S502)。このとき、認証制御部242は、ステップS501で取得した撮影画像、当該撮影画像から抽出した顔領域、又は、当該顔領域から抽出した顔特徴情報の少なくともいずれかを顔認証要求に含める。そして、認証制御部242は、認証装置100からネットワークNを介して顔認証結果を受信する(S503)。
 認証制御部242は、顔認証に成功したか否かを判定する(S504)。顔認証に成功したと判定した場合、特定部244は、合成画像の提供条件を満たすか否かを判定する(S505)。提供条件を満たすと判定した場合、特定部244は、顔認証に成功したユーザID2121に対応する撮影画像2124を特定する(S506)。そして、生成部245は、特定した撮影画像2124を用いて合成画像を生成する(S507)。
 続いて、出力部246は、合成画像を画像保存サーバ300の保存先へ出力する(S508)。そして、生成部245は、保存先を示すアクセス情報を生成する(S509)。ここで、出力部246は、特定した撮影画像(地点撮影画像)を撮影時刻の順序でネットワークNを介して顔認証端末40nへ出力(送信)する(S510)。例えば、出力部246は、履歴情報212を参照し、特定した複数の地点撮影画像を、対応付けられた日時2123により昇順でソートし、昇順で順次、地点撮影画像を出力する。その後、出力部246は、合成画像をネットワークNを介して顔認証端末40nへ出力(送信)する(S511)。そして、出力部246は、アクセス情報をネットワークNを介して顔認証端末40nへ出力(送信)する(S512)。尚、ステップS510は、ステップS507からS509と並行して実行してもよい。また、ステップS511は必須ではない。
 尚、ステップS504において顔認証に失敗した場合、又は、ステップS505において提供条件を満たさないと判定した場合、出力部246は、ネットワークNを介して顔認証端末40nに対して合成画像を提供不可の旨を示すメッセージを送信する(S513)。
 図12、図13、図14、図15及び図16は、本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。まず、地点A0において、顔認証端末400は、ユーザUを撮影し(S601)、撮影画像を含む顔情報登録要求をネットワークNを介して認証装置100へ送信する(S602)。そして、認証装置100は、受信した顔情報登録要求に含まれる撮影画像に基づいて、ユーザUの顔情報(顔特徴情報)を登録する(S603)。そして、ユーザUは、地点A1に移動する。
 次に、地点A1において、顔認証端末401は、ユーザUを撮影し(S604)、撮影画像を含む顔認証要求をネットワークNを介して画像提供装置200へ送信する(S605)。画像提供装置200は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域に対する顔認証要求をネットワークNを介して認証装置100へ送信する(S606)。そして、認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S607)。ここでは、顔認証に成功したものとする。認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して画像提供装置200へ送信する(S608)。画像提供装置200は、顔認証結果をネットワークNを介して顔認証端末401へ送信する(S609)。尚、顔認証端末401は、決済処理を行わないものとする。そこで、画像提供装置200は、顔認証に成功したユーザについての履歴情報212を記憶部210へ登録する(S610)。そして、ユーザUは、地点A2に移動する。
 続いて、地点A2において、顔認証端末402は、ユーザUを撮影し(S611)、撮影画像を含む顔認証要求をネットワークNを介して画像提供装置200へ送信する(S612)。画像提供装置200は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域に対する顔認証要求をネットワークNを介して認証装置100へ送信する(S613)。そして、認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S614)。ここでは、顔認証に成功したものとする。認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して画像提供装置200へ送信する(S615)。画像提供装置200は、顔認証結果をネットワークNを介して顔認証端末402へ送信する(S616)。ここで、顔認証端末402は、ユーザUについて決済処理を行い(S617)、決済履歴を含めた履歴登録要求をネットワークNを介して画像提供装置200へ送信する(S618)。履歴登録要求には、例えば、ユーザID、地点ID、日時及び決済情報を含むものとする。画像提供装置200は、受信した履歴登録要求に基づいて履歴情報212を生成し、記憶部210へ登録する(S619)。そして、ユーザUは、地点Anに移動する。
 そして、地点Anにおいて、顔認証端末40nは、ユーザUを撮影し(S621)、撮影画像を含む顔認証要求及び合成画像要求をネットワークNを介して画像提供装置200へ送信する(S622)。画像提供装置200は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域に対する顔認証要求をネットワークNを介して認証装置100へ送信する(S623)。そして、認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S624)。ここでは、顔認証に成功したものとする。認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して画像提供装置200へ送信する(S625)。
 そして、画像提供装置200は、提供条件を判定する(S626)。ここでは、提供条件を満たすものとする。続いて、画像提供装置200は、顔認証に成功したユーザに対応する撮影画像を特定し(S627)、合成画像を生成する(S628)。そして、画像提供装置200は、合成画像をネットワークNを画像保存サーバ300へ送信する(S629)。画像保存サーバ300は、受信した合成画像を所定の保存先へ保存する(S630)。ここで、画像提供装置200は、合成画像の保存先を示すアクセス情報を生成し、当該アクセス情報を含むダウンロード案内画面を生成する(S631)。
 そして、画像提供装置200は、複数の地点撮影画像を撮影時刻の昇順でソートする。画像提供装置200は、最も早い第1の撮影時刻に対応する第1の地点撮影画像をネットワークNを介して顔認証端末40nへ送信する(S632-1)。これにより、顔認証端末40nは、受信した第1の地点撮影画像を表示する(S633-1)。次に、画像提供装置200は、第1の撮影時刻の次に早い第2の撮影時刻に対応する第2の地点撮影画像をネットワークNを介して顔認証端末40nへ送信する(S632-2)。これにより、顔認証端末40nは、受信した第2の地点撮影画像を表示する(S633-2)。以降、画像提供装置200は、特定された地点撮影画像分、同様に実行する。その後、画像提供装置200は、地点Anで撮影された特定地点撮影画像をネットワークNを介して顔認証端末40nへ送信する(S632-n)。これにより、顔認証端末40nは、受信した特定地点撮影画像を表示する(S633-n)。そして、画像提供装置200は、合成画像をネットワークNを介して顔認証端末40nへ送信する(S634)。これにより、顔認証端末40nは、受信した合成画像を表示する(S635)。
 ここで、図17は、本実施形態2にかかる地点撮影画像の撮影時刻に従った表示例を示す図である。図17では、ステップS633-1~S633-4にて地点撮影画像を個別に表示する際に、直前に表示された地点撮影画像を非表示とし、次の時刻の地点撮影画像を表示していることを示す。ステップS633-nの特定地点撮影画像も同様である。その後、ステップS635にて合成画像が表示されたことを示す。
 図18は、本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。図18では、ステップS633-1~S633-4にて地点撮影画像を撮影時刻の順序に従って表示する際に、直前に表示された地点撮影画像を表示させたままで、次の時刻の地点撮影画像を表示していることを示す。この場合、ステップS633-n又はS635のいずれか一方を実行すればよい。
 図19は、本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。図19では、図17との違いとして、表示する各地点撮影画像を全画面で表示させたものである。
 その後、図16において、画像提供装置200は、ダウンロード案内画面をネットワークNを介して顔認証端末40nへ送信する(S636)。これにより、顔認証端末40nは、受信したダウンロード案内画面を表示する(S637)。
 図20は、本実施形態2にかかるダウンロード案内画面610の例を示す図である。ダウンロード案内画面610は、顔認証端末40nに表示されていることを示す。ダウンロード案内画面610は、(第2の)アクセス情報611を含む。つまり、アクセス情報611がユーザUに提示されたことを示す。
 ここで、図16において、ユーザ端末500は、ユーザUの操作に応じて顔認証端末40nに表示されたダウンロード案内画面610内のアクセス情報611を読み取る(S638)。そして、ユーザ端末500は、読み取ったアクセス情報611を解析して、解析結果に基づきネットワークNを介して画像保存サーバ300に対して合成画像取得要求を送信する(S639)。尚、合成画像取得要求は、単に、ユーザ端末500から画像保存サーバ300の所定の保存先へのアクセス(リクエストメッセージ)であってもよい。画像保存サーバ300は、ユーザ端末500からの合成画像取得要求が示す保存先に格納された合成画像を読み出し、合成画像を含めた応答をネットワークNを介してユーザ端末500へ送信する(S640)。ユーザ端末500は、受信した合成画像を表示する(S641)。
 図21は、本実施形態2にかかる合成画像620の例を示す図である。合成画像620は、ユーザUの氏名や撮影期間と共に、撮影画像621~62nを含む。例えば、撮影画像621は、地点A1でユーザUが撮影された画像である。同様に、撮影画像622は地点A2、撮影画像623は地点A3、撮影画像624は地点A4、撮影画像62nは地点AnでそれぞれユーザUが撮影された画像である。尚、各撮影画像には、撮影地点に対応するウェブサイトへのリンクが設定されていてもよい。これにより、旅行後も各地点の観光スポットの情報を参照でき、ユーザが実際に巡った地を紹介し易くなる。
 尚、合成画像620には、アクセス情報611が含まれていても良い。例えば、生成部245は、ステップS628において予めアクセス情報611を生成し、アクセス情報611を含めて合成画像620を生成する。また、ダウンロード案内画面はなくてもよい。その場合、ステップS631において生成部245は、合成画像620にアクセス情報611を追加してもよい。そして、出力部246は、ステップS632においてアクセス情報611を含めた合成画像620を顔認証端末40nへ送信し、ステップS633において顔認証端末40nは、合成画像620と共にアクセス情報611を表示する。そのため、ユーザUは、合成画像620の内容を確認した上で、アクセス情報611を介して自身のユーザ端末500へ合成画像620をダウンロードできる。
 また、ユーザがダウンロードできるのは、合成画像に限らず、撮影時刻に従って地点撮影画像(及び合成画像)を表示する動画であってもよい。その場合、例えば、生成部245は、特定した複数の撮影画像2124を撮影時刻に従って表示する動画データを生成する。尚、動画データは、図17から図19に示したように、特定地点撮影画像や合成画像を含むものであってもよい。そして、出力部246は、動画データを画像保存サーバ300の保存先へ出力する。そして、生成部245は、動画データの保存先を示すアクセス情報を生成する。その後、出力部246は、合成画像の保存先を示すアクセス情報と共に、又は代わりに、動画データの保存先を示すアクセス情報を、上述したように出力する。
 このように、本実施形態により、各地点を訪問したユーザUは、特定の地点での顔認証により、各地で顔認証を行った際に撮影された撮影画像を集約した合成画像を取得することができる。そのため、ユーザUは、自身が実際に巡った地を紹介し易くなり、合成画像620をSNS(Social Networking Service)等で公開し易くなる。よって、各地点への訪問が促進され、経済の活性化に寄与できる。
 また、旅の思い出写真としてこのような合成画像を取得できるため、ユーザUが地点A0において自身の顔情報を事前登録することを促進できる。また、顔認証によるスタンプラリーの普及に寄与できる。また、合成画像の提供条件により、より多くの地点を訪問することや、各地点で決済を行うことを促進できる。
<実施形態3>
 本実施形態3は、上述した実施形態2の変形例であり、顔特徴情報の事前登録が不要なものである。図22は、本実施形態3にかかる画像提供システム2000の全体構成を示すブロック図である。画像提供システム2000は、上述した画像提供システム1000と比べて、認証装置100及び顔認証端末400が削除され、画像提供装置200が画像提供装置200aに置き換わったものである。尚、それ以外の構成は、実施形態2と同等であるため重複する説明を適宜省略する。ここでは、顔特徴情報の事前登録のための地点A0が不要となり、地点A1がスタンプラリーの開始地点となる。
 図23は、本実施形態3にかかる画像提供装置200aの構成を示すブロック図である。画像提供装置200aは、上述した画像提供装置200と比べて、プログラム211a、顔特徴情報2121a、認証制御部242a、登録部243a及び特定部244aが異なる。プログラム211aは、本実施形態3にかかる画像提供方法の処理が実装されたコンピュータプログラムである。
 顔特徴情報2121aは、各地点の撮影画像から抽出されたユーザUの顔特徴情報である。つまり、本実施形態にかかる履歴情報212は、ユーザIDの一例として顔特徴情報を用いるものである。
 登録部243aは、複数の撮影画像のそれぞれに含まれるユーザUの顔領域から顔特徴情報を抽出し、当該抽出した顔特徴情報2121aと抽出元の撮影画像2124と当該撮影画像の撮影時刻(日時2123)とを対応付けて履歴情報212に登録する。認証制御部242aは、特定の地点で撮影された撮影画像に含まれるユーザUの顔領域から顔特徴情報を抽出し、履歴情報212に登録された顔特徴情報と照合を行う。特定部244aは、特定画像に含まれるユーザUの顔領域から抽出された顔特徴情報との一致度が所定値以上の顔特徴情報と対応付けられた撮影画像を地点撮影画像として特定する。
 図24は、本実施形態3にかかる撮影画像登録処理(顔特徴情報の登録)の流れを示すフローチャートである。まず、取得部241は、上述したように要求元からネットワークNを介して顔認証要求を受信して撮影画像を取得する(S401)。ここでは、要求元は、顔認証端末401から40n-1のいずれかとする。
 次に、登録部243aは、取得した撮影画像内の顔領域から顔特徴情報を抽出する(S402a)。ここで、顔認証端末401等は、電子決済を行い、決済履歴を画像提供装置200aへ送信する。そして、取得部241は、要求元から決済履歴を取得する(S407)。つまり、本実施形態では、顔認証による決済を行わない。そして、登録部243aは、抽出した顔特徴情報と撮影画像と決済履歴とを対応付けた履歴情報212を記憶部210に登録する(S408a)。
 このように、本実施形態では、画像提供装置200aは、顔認証端末401から40n-1において撮影された撮影画像について、都度、顔特徴情報を抽出し、ユーザIDの代わりに履歴情報212に含めて登録する。
 図25は、本実施形態3にかかる画像提供処理の流れを示すフローチャートである。ここでは、上述した図11との違いを中心に説明する。ステップS501の後、認証制御部242aは、(地点Anの顔認証端末40nで撮影された)撮影画像内の顔領域から顔特徴情報を抽出する(S502a)。そして、認証制御部242aは、抽出した顔特徴情報と、履歴情報212内の顔特徴情報2121aとを照合する(S502b)。
 認証制御部242aは、顔特徴情報の一致度が所定値以上であるか否かを判定する(S502c)。一致度が所定値以上であると判定した場合、特定部244aは、合成画像の提供条件を満たすか否かを判定する(S505)。提供条件を満たすと判定した場合、特定部244aは、ステップS502aで抽出した顔特徴情報との一致度が所定値以上の顔特徴情報2121aと対応付けられた撮影画像2124を特定する(S506a)。以降は、図11と同様である。
 このように、本実施形態では、各地点を訪問したユーザUは、特定の地点での顔照合により、各地で撮影された撮影画像を集約した合成画像を取得することができる。また、実施形態2と異なり、顔特徴情報の事前登録が不要であるため、スタンプラリーの普及に寄与できる。
<実施形態4>
 本実施形態4は、上述した実施形態2及び3の変形例であり、顔特徴情報の事前登録が不要なものである。具体的には、地点A1がスタンプラリーの開始地点とし、地点A1における撮影画像から抽出された顔特徴情報を用いて、以後の地点での顔認証を行うものである。尚、本実施形態4にかかる画像提供システム2000及び画像提供装置200aは、図22及び図23と同等であるため、図示及び説明を省略する。また、本実施形態4では、地点A1に設置された顔認証端末401により撮影された撮影画像に対して、画像提供装置200aは、上述した図24の撮影画像登録処理(顔特徴情報の登録)を実施するものとする。一方、地点A2~An-1に設置された顔認証端末402~40n-1により撮影された撮影画像に対して、画像提供装置200aは、次の撮影画像登録処理(顔特徴情報の照合)を行うものとする。
 図26は、本実施形態4にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。前提として、ユーザUは、地点A1で顔認証端末401により撮影済みであり、画像提供装置200aは、ユーザUの顔特徴情報2121aが対応付けれた履歴情報212を登録済みとする。そして、例えば、地点A2において顔認証端末402によりユーザUが撮影されたものとする。
 ステップS401の後、認証制御部242aは、取得した撮影画像内の顔領域から顔特徴情報を抽出する(S402a)。そして、認証制御部242aは、抽出した顔特徴情報と、履歴情報212内の顔特徴情報2121aとを照合する(S402b)。
 認証制御部242aは、顔特徴情報の一致度が所定値以上であるか否かを判定する(S402c)。一致度が所定値以上であると判定した場合、上述したステップS406及びS407を行う。そして、登録部243aは、抽出した顔特徴情報と撮影画像と決済履歴とを対応付けた履歴情報212を記憶部210に登録する(S408b)。尚、登録部243aは、ステップS402aで抽出した顔特徴情報に代えて、地点A1での撮影画像から抽出され、登録済みである顔特徴情報と、ステップS401で取得した撮影画像とを対応付けて履歴情報212として記憶部210に登録してもよい。尚、ステップS402cで一致度が所定値未満であると判定した場合、登録部243aは、ステップS408bと同様に、抽出した顔特徴情報と撮影画像と決済履歴とを対応付けた履歴情報212を記憶部210に登録してもよい。つまり、地点A1で顔情報の登録が行われなかった場合でも、以後の地点で初めて顔認証端末を利用した際に、顔情報が登録される。尚、本実施形態4にかかる画像提供処理の流れは、上述した図25と同様である。
 このように、本実施形態では、画像提供装置200aは、顔認証端末401から40n-1において撮影された撮影画像について、都度、顔特徴情報を抽出する。但し、地点A1の顔認証端末401以外、つまり、顔認証端末402から40n-1において撮影された撮影画像について、画像提供装置200aは、顔認証を行う。これにより、顔認証によるスタンプラリーを事前登録なしに実現できる。
 尚、本実施形態は、次のようにも表現できる。すなわち、前記登録手段は、前記複数の地点のうち第1の地点において撮影された第1の撮影画像から前記ユーザの第1の顔特徴情報を抽出し、当該第1の撮影画像と当該第1の顔特徴情報と当該第1の撮影画像が撮影された第1の時刻とを対応付けて前記記憶手段に登録する。そして、前記登録手段は、前記複数の地点のうち第2の地点において、前記第1の撮影画像の後に撮影された第2の撮影画像から前記ユーザの第2の顔特徴情報を抽出し、当該第2の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、当該第2の撮影画像と当該第2の撮影画像が撮影された第2の時刻とを前記第1の顔特徴情報と対応付けて前記記憶手段に登録する。そして、前記認証制御手段は、前記特定画像に含まれる前記ユーザの顔領域から抽出された第3の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、前記顔認証に成功したと判定する。そして、前記特定手段は、前記顔認証に成功した場合、前記複数の撮影画像の中から、前記第1の顔特徴情報と対応付けられた前記第1の撮影画像及び前記第2の撮影画像のそれぞれを前記地点撮影画像として特定する。
<実施形態5>
 本実施形態5は、上述した実施形態2の変形例である。図27は、本実施形態5にかかる画像提供装置200bの構成を示すブロック図である。画像提供装置200bは、上述した画像提供装置200と比べて、プログラム211b、顔情報214、認証制御部242b及び登録部243bが異なる。プログラム211bは、本実施形態5にかかる画像提供方法の処理が実装されたコンピュータプログラムである。
 顔情報214は、上述した認証装置100の顔情報DB110に相当するものであり、複数のユーザID2141と顔特徴情報2142が対応付けられている。
 認証制御部242bは、取得した撮影画像に含まれるユーザの顔領域から抽出された顔特徴情報と、記憶部210に記憶された顔特徴情報2142とを照合することにより顔認証を制御する。
 登録部243bは、上述した登録部243の機能に加え、上述した顔検出部120、特徴点抽出部130及び登録部140相当の機能を有する。つまり、登録部243bは、顔認証端末400等から受信した顔情報登録要求に含まれる撮影画像から顔領域を検出し、顔特徴情報を抽出し、ユーザIDを発行し、ユーザID2141と顔特徴情報2142とを対応付けた顔情報214を記憶部210に登録する。
 図28は、本実施形態5にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。図28は、上述した図10のステップS402~S404がステップS402a、S402d及びS402cに置き換わったものである。
 ステップS401の後、認証制御部242bは、取得した撮影画像内の顔領域から顔特徴情報を抽出する(S402a)。そして、認証制御部242bは、抽出した顔特徴情報と、顔情報214内の顔特徴情報2142とを照合する(S402d)。
 認証制御部242bは、顔特徴情報の一致度が所定値以上であるか否かを判定する(S402c)。一致度が所定値以上であると判定した場合、上述したステップS405、S406及びS407を行う。そして、登録部243bは、ステップS405で特定したユーザIDと、ステップS401で取得した撮影画像を対応付けた履歴情報212を記憶部210へ登録する(S408)。
 また、本実施形態の画像提供処理では、図11のステップS502、S503及びS504に代えて、上述したステップS402a、S402d及びS402cを行う。つまり、認証制御部242bは、特定画像に含まれるユーザの顔領域から抽出された顔特徴情報と、記憶部210に記憶された顔特徴情報2142とを照合することにより顔認証を制御する。そして、提供条件を満たすと判定した場合、特定部244bは、顔情報214から顔認証に成功したユーザID2141を特定する。
 このように、本実施形態5においても上述した実施形態2と同様の効果を奏することができる。
<その他の実施形態>
 尚、上述した各実施形態は、次のように変更してよい。例えば、地点Anに設置された顔認証端末40nは、カメラの410による撮影画像に含まれるユーザが笑顔であるか否かを判定する笑顔エンジンを搭載していてもよい。この場合、顔認証端末40nは、笑顔と判定された場合に、撮影画像を顔認証要求に含めてネットワークNを介して画像提供装置200等へ送信する。また、笑顔エンジンは、笑顔の度合いに応じて笑顔ポイントを設定してもよい。その場合、顔認証端末40nは、顔認証要求に笑顔ポイントを含める。
 または、画像提供装置200が笑顔エンジンを搭載していてもよい。この場合、画像提供装置200は、顔認証端末401等から受信した顔認証要求に含まれる撮影画像に含まれるユーザが笑顔である場合に、顔認証を行う。また、画像提供装置200は、合成画像を生成する際に、笑顔ポイントに応じたフォトフレーム(テンプレート)を選択し、合成に用いても良い。
 尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
 上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
 (付記1)
 複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録手段と、
 前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
 を備える画像提供装置。
 (付記2)
 前記特定した2以上の地点撮影画像を含めた合成画像を生成する生成手段をさらに備え、
 前記出力手段は、前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力した後、前記合成画像を出力する
 付記1に記載の画像提供装置。
 (付記3)
 前記特定画像に含まれる前記ユーザの顔領域に対する顔認証を制御する認証制御手段をさらに備え、
 前記特定手段は、前記顔認証に成功した場合に、前記地点撮影画像を特定する
 付記1又は2に記載の画像提供装置。
 (付記4)
 前記認証制御手段は、
 複数の人物の顔特徴情報を記憶した認証装置を用いて前記顔認証を制御する
 付記3に記載の画像提供装置。
 (付記5)
 前記記憶手段は、複数の人物の顔特徴情報を記憶し、
 前記認証制御手段は、前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報と、前記記憶手段に記憶された顔特徴情報とを照合することにより前記顔認証を制御する
 付記3に記載の画像提供装置。
 (付記6)
 前記認証制御手段は、
 前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域に対する前記顔認証を制御し、
 前記登録手段は、
 前記顔認証に成功した地点における撮影画像と前記撮影時刻とを対応付けて前記記憶手段に登録する、
 付記3乃至5のいずれか1項に記載の画像提供装置。
 (付記7)
 前記特定手段は、
 前記特定の地点において前記顔認証に成功し、かつ、前記複数の地点のうち前記顔認証に成功していた地点が所定数以上である場合、前記地点撮影画像を特定する
 付記6に記載の画像提供装置。
 (付記8)
 前記登録手段は、
 前記複数の地点のうち第1の地点において撮影された第1の撮影画像から前記ユーザの第1の顔特徴情報を抽出し、当該第1の撮影画像と当該第1の顔特徴情報と当該第1の撮影画像が撮影された第1の時刻とを対応付けて前記記憶手段に登録し、
 前記複数の地点のうち第2の地点において、前記第1の撮影画像の後に撮影された第2の撮影画像から前記ユーザの第2の顔特徴情報を抽出し、当該第2の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、当該第2の撮影画像と当該第2の撮影画像が撮影された第2の時刻とを前記第1の顔特徴情報と対応付けて前記記憶手段に登録し、
 前記認証制御手段は、
 前記特定画像に含まれる前記ユーザの顔領域から抽出された第3の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、前記顔認証に成功したと判定し、
 前記特定手段は、
 前記顔認証に成功した場合、前記複数の撮影画像の中から、前記第1の顔特徴情報と対応付けられた前記第1の撮影画像及び前記第2の撮影画像のそれぞれを前記地点撮影画像として特定する
 付記3に記載の画像提供装置。
 (付記9)
 前記登録手段は、
 各地点における前記ユーザの行動履歴を、地点に対応する撮影画像と対応付けて前記記憶手段に登録し、
 前記特定手段は、
 前記特定の地点において前記顔認証に成功し、かつ、前記行動履歴が第1の条件を満たす場合、前記地点撮影画像を特定する
 付記3乃至8のいずれか1項に記載の画像提供装置。
 (付記10)
 前記第1の条件は、前記ユーザによる決済履歴が所定金額以上であることを含む
 付記9に記載の画像提供装置。
 (付記11)
 前記特定手段は、
 前記顔認証に成功した場合、前記ユーザの属性情報を特定し、
 前記特定した属性情報が第2の条件を満たす場合、前記地点撮影画像を特定する
 付記3乃至10のいずれか1項に記載の画像提供装置。
 (付記12)
 前記登録手段は、
 前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域から顔特徴情報を抽出し、当該抽出した顔特徴情報と抽出元の撮影画像と当該撮影画像の撮影時刻とを対応付けて前記記憶手段に登録し、
 前記特定手段は、
 前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報との一致度が所定値以上の顔特徴情報と対応付けられた撮影画像を前記地点撮影画像として特定する
 付記1又は2に記載の画像提供装置。
 (付記13)
 前記記憶手段は、
 前記複数の地点のそれぞれへの第1のアクセス情報をさらに記憶し、
 前記生成手段は、
 前記特定した地点撮影画像が撮影された地点における前記第1のアクセス情報を前記記憶手段から取得し、
 前記特定した地点撮影画像に前記取得した第1のアクセス情報を組み込んで前記合成画像を生成する
 付記2又は付記2を引用する付記3乃至12のいずれか1項に記載の画像提供装置。
 (付記14)
 前記出力手段は、
 前記合成画像を前記保存先へ出力し、
 前記生成手段は、
 前記合成画像の保存先を示す第2のアクセス情報を生成し、
 前記出力手段は、
 前記第2のアクセス情報を前記ユーザに対して提示する
 付記2又は付記2を引用する付記3乃至13のいずれか1項に記載の画像提供装置。
 (付記15)
 前記特定の地点は、空港の搭乗ゲートである
 付記1乃至14のいずれか1項に記載の画像提供装置。
 (付記16)
 前記特定の地点は、テーマパークの出口である
 付記1乃至14のいずれか1項に記載の画像提供装置。
 (付記17)
 前記出力手段は、
 第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を非表示、かつ、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
 付記1乃至16のいずれか1項に記載の画像提供装置。
 (付記18)
 前記出力手段は、
 第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を表示させたままで当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
 付記1乃至16のいずれか1項に記載の画像提供装置。
 (付記19)
 複数の地点のそれぞれに設置された複数の第1の撮影装置と、
 特定の地点に設置された第2の撮影装置と、
 前記複数の第1の撮影装置並びに前記第2の撮影装置と接続された画像提供装置と、
 を備え、
 前記画像提供装置は、
 記憶手段と、
 所定のユーザが前記複数の第1の撮影装置のそれぞれにより撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて前記記憶手段に登録する登録手段と、
 前記第2の撮影装置により前記ユーザが撮影された第1の画像を取得する取得手段と、
 前記複数の撮影画像の中から、前記第2の撮影装置により前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
 を備える画像提供システム。
 (付記20)
 前記画像提供装置は、
 前記特定した2以上の地点撮影画像を含めた合成画像を生成する生成手段をさらに備え、
 前記出力手段は、前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力した後、前記合成画像を出力する
 付記19に記載の画像提供システム。
 (付記21)
 コンピュータが、
 所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶装置に登録し、
 前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定し、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する、
 画像提供方法。
 (付記22)
 所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録処理と、
 前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定処理と、
 前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力処理と、
 をコンピュータに実行させる画像提供プログラムが格納された非一時的なコンピュータ可読媒体。
 以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 10 画像提供装置
 11 記憶部
 12 登録部
 13 特定部
 14 生成部
 15 出力部
 1000 画像提供システム
 100 認証装置
 110 顔情報DB
 111 ユーザID
 112 顔特徴情報
 120 顔検出部
 130 特徴点抽出部
 140 登録部
 150 認証部
 200 画像提供装置
 200a 画像提供装置
 200b 画像提供装置
 210 記憶部
 211 プログラム
 211a プログラム
 211b プログラム
 212 履歴情報
 2121 ユーザID
 2121a 顔特徴情報
 2122 地点ID
 2123 日時
 2124 撮影画像
 2125 決済情報
 213 地点情報
 2131 地点ID
 2132 アクセス情報
 214 顔情報
 2141 ユーザID
 2142 顔特徴情報
 220 メモリ
 230 通信部
 240 制御部
 241 取得部
 242 認証制御部
 242a 認証制御部
 242b 認証制御部
 243 登録部
 243a 登録部
 243b 登録部
 244 特定部
 244a 特定部
 245 生成部
 246 出力部
 300 画像保存サーバ
 310 合成画像
 400 顔認証端末
 401 顔認証端末
 402 顔認証端末
 40n 顔認証端末
 410 カメラ
 420 記憶部
 430 通信部
 440 表示部
 450 制御部
 451 撮影制御部
 452 登録部
 453 認証制御部
 454 表示制御部
 455 決済部
 500 ユーザ端末
 510 カメラ
 520 記憶部
 530 通信部
 540 表示部
 550 制御部
 551 撮影制御部
 552 登録部
 553 取得部
 554 表示制御部
 A0 地点
 A1 地点
 A2 地点
 An 地点
 610 ダウンロード案内画面
 611 アクセス情報
 620 合成画像
 621 撮影画像
 622 撮影画像
 623 撮影画像
 624 撮影画像
 62n 撮影画像
 N ネットワーク
 U ユーザ

Claims (22)

  1.  複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録手段と、
     前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
     前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
     を備える画像提供装置。
  2.  前記特定した2以上の地点撮影画像を含めた合成画像を生成する生成手段をさらに備え、
     前記出力手段は、前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力した後、前記合成画像を出力する
     請求項1に記載の画像提供装置。
  3.  前記特定画像に含まれる前記ユーザの顔領域に対する顔認証を制御する認証制御手段をさらに備え、
     前記特定手段は、前記顔認証に成功した場合に、前記地点撮影画像を特定する
     請求項1又は2に記載の画像提供装置。
  4.  前記認証制御手段は、
     複数の人物の顔特徴情報を記憶した認証装置を用いて前記顔認証を制御する
     請求項3に記載の画像提供装置。
  5.  前記記憶手段は、複数の人物の顔特徴情報を記憶し、
     前記認証制御手段は、前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報と、前記記憶手段に記憶された顔特徴情報とを照合することにより前記顔認証を制御する
     請求項3に記載の画像提供装置。
  6.  前記認証制御手段は、
     前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域に対する前記顔認証を制御し、
     前記登録手段は、
     前記顔認証に成功した地点における撮影画像と前記撮影時刻とを対応付けて前記記憶手段に登録する、
     請求項3乃至5のいずれか1項に記載の画像提供装置。
  7.  前記特定手段は、
     前記特定の地点において前記顔認証に成功し、かつ、前記複数の地点のうち前記顔認証に成功していた地点が所定数以上である場合、前記地点撮影画像を特定する
     請求項6に記載の画像提供装置。
  8.  前記登録手段は、
     前記複数の地点のうち第1の地点において撮影された第1の撮影画像から前記ユーザの第1の顔特徴情報を抽出し、当該第1の撮影画像と当該第1の顔特徴情報と当該第1の撮影画像が撮影された第1の時刻とを対応付けて前記記憶手段に登録し、
     前記複数の地点のうち第2の地点において、前記第1の撮影画像の後に撮影された第2の撮影画像から前記ユーザの第2の顔特徴情報を抽出し、当該第2の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、当該第2の撮影画像と当該第2の撮影画像が撮影された第2の時刻とを前記第1の顔特徴情報と対応付けて前記記憶手段に登録し、
     前記認証制御手段は、
     前記特定画像に含まれる前記ユーザの顔領域から抽出された第3の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、前記顔認証に成功したと判定し、
     前記特定手段は、
     前記顔認証に成功した場合、前記複数の撮影画像の中から、前記第1の顔特徴情報と対応付けられた前記第1の撮影画像及び前記第2の撮影画像のそれぞれを前記地点撮影画像として特定する
     請求項3に記載の画像提供装置。
  9.  前記登録手段は、
     各地点における前記ユーザの行動履歴を、地点に対応する撮影画像と対応付けて前記記憶手段に登録し、
     前記特定手段は、
     前記特定の地点において前記顔認証に成功し、かつ、前記行動履歴が第1の条件を満たす場合、前記地点撮影画像を特定する
     請求項3乃至8のいずれか1項に記載の画像提供装置。
  10.  前記第1の条件は、前記ユーザによる決済履歴が所定金額以上であることを含む
     請求項9に記載の画像提供装置。
  11.  前記特定手段は、
     前記顔認証に成功した場合、前記ユーザの属性情報を特定し、
     前記特定した属性情報が第2の条件を満たす場合、前記地点撮影画像を特定する
     請求項3乃至10のいずれか1項に記載の画像提供装置。
  12.  前記登録手段は、
     前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域から顔特徴情報を抽出し、当該抽出した顔特徴情報と抽出元の撮影画像と当該撮影画像の撮影時刻とを対応付けて前記記憶手段に登録し、
     前記特定手段は、
     前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報との一致度が所定値以上の顔特徴情報と対応付けられた撮影画像を前記地点撮影画像として特定する
     請求項1又は2に記載の画像提供装置。
  13.  前記記憶手段は、
     前記複数の地点のそれぞれへの第1のアクセス情報をさらに記憶し、
     前記生成手段は、
     前記特定した地点撮影画像が撮影された地点における前記第1のアクセス情報を前記記憶手段から取得し、
     前記特定した地点撮影画像に前記取得した第1のアクセス情報を組み込んで前記合成画像を生成する
     請求項2又は請求項2を引用する請求項3乃至12のいずれか1項に記載の画像提供装置。
  14.  前記出力手段は、
     前記合成画像を前記保存先へ出力し、
     前記生成手段は、
     前記合成画像の保存先を示す第2のアクセス情報を生成し、
     前記出力手段は、
     前記第2のアクセス情報を前記ユーザに対して提示する
     請求項2又は請求項2を引用する請求項3乃至13のいずれか1項に記載の画像提供装置。
  15.  前記特定の地点は、空港の搭乗ゲートである
     請求項1乃至14のいずれか1項に記載の画像提供装置。
  16.  前記特定の地点は、テーマパークの出口である
     請求項1乃至14のいずれか1項に記載の画像提供装置。
  17.  前記出力手段は、
     第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を非表示、かつ、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
     請求項1乃至16のいずれか1項に記載の画像提供装置。
  18.  前記出力手段は、
     第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を表示させたままで当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
     請求項1乃至16のいずれか1項に記載の画像提供装置。
  19.  複数の地点のそれぞれに設置された複数の第1の撮影装置と、
     特定の地点に設置された第2の撮影装置と、
     前記複数の第1の撮影装置並びに前記第2の撮影装置と接続された画像提供装置と、
     を備え、
     前記画像提供装置は、
     記憶手段と、
     所定のユーザが前記複数の第1の撮影装置のそれぞれにより撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて前記記憶手段に登録する登録手段と、
     前記第2の撮影装置により前記ユーザが撮影された第1の画像を取得する取得手段と、
     前記複数の撮影画像の中から、前記第2の撮影装置により前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
     前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
     を備える画像提供システム。
  20.  前記画像提供装置は、
     前記特定した2以上の地点撮影画像を含めた合成画像を生成する生成手段をさらに備え、
     前記出力手段は、前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力した後、前記合成画像を出力する
     請求項19に記載の画像提供システム。
  21.  コンピュータが、
     所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶装置に登録し、
     前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定し、
     前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する、
     画像提供方法。
  22.  所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録処理と、
     前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定処理と、
     前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力処理と、
     をコンピュータに実行させる画像提供プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/022860 2020-06-10 2020-06-10 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体 WO2021250817A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/022860 WO2021250817A1 (ja) 2020-06-10 2020-06-10 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
JP2022530431A JPWO2021250817A5 (ja) 2020-06-10 画像提供装置、画像提供システム、画像提供方法及び画像提供プログラム
US18/009,097 US20230230302A1 (en) 2020-06-10 2020-06-10 Image providing apparatus, image providing system, image providing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/022860 WO2021250817A1 (ja) 2020-06-10 2020-06-10 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021250817A1 true WO2021250817A1 (ja) 2021-12-16

Family

ID=78845552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022860 WO2021250817A1 (ja) 2020-06-10 2020-06-10 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
US (1) US20230230302A1 (ja)
WO (1) WO2021250817A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057472A1 (ja) * 2022-09-15 2024-03-21 日本電気株式会社 情報処理装置、認証システム、認証方法及び非一時的なコンピュータ可読媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041416A (ja) * 2011-08-16 2013-02-28 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2015128259A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像処理装置、撮影装置、撮影システム、画像処理方法、コンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041416A (ja) * 2011-08-16 2013-02-28 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2015128259A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像処理装置、撮影装置、撮影システム、画像処理方法、コンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057472A1 (ja) * 2022-09-15 2024-03-21 日本電気株式会社 情報処理装置、認証システム、認証方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US20230230302A1 (en) 2023-07-20
JPWO2021250817A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
US8594702B2 (en) Context server for associating information based on context
US20160191434A1 (en) System and method for improved capture, storage, search, selection and delivery of images across a communications network
CN110175849B (zh) 收款方法、装置、设备、服务器及系统
US20150120342A1 (en) Method and apparatus for self-portrait event check-in
JP6776700B2 (ja) 災害用情報管理システム、および、災害用情報管理方法
US20150120343A1 (en) Method and apparatus for socially contingent event admission purchase
WO2021250817A1 (ja) 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
US20240087312A1 (en) Information processing device, system, method, and non-transitory computer-readable medium storing program
US20150221054A1 (en) Virtual property system
WO2021250814A1 (ja) 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
JP7452622B2 (ja) 提示制御装置、システム、方法及びプログラム
JP7322961B2 (ja) データ記録装置および方法
JP7367847B2 (ja) 推薦制御装置、システム、方法及びプログラム
WO2021199182A1 (ja) 広告評価装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7287572B2 (ja) 訪問推進装置、システム、方法及びプログラム
CN110214337B (zh) 图像呈现系统、图像呈现方法、程序及记录介质
JP7077075B2 (ja) オンラインサービスシステム、オンラインサービス提供方法、コンテンツ管理装置及びコンピュータプログラム
KR102118441B1 (ko) 자연공원 관광서비스 관리서버
JP7400944B2 (ja) 推薦制御装置、システム、方法及びプログラム
WO2022176339A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
WO2022038661A1 (ja) 推薦装置、推薦システム、推薦方法及び非一時的なコンピュータ可読媒体
JP7351410B2 (ja) 推薦装置、システム、方法及びプログラム
JP6946483B2 (ja) ダイレクトメール発送支援システム、ダイレクトメール発送支援方法、及びダイレクトメール発送支援プログラム
WO2021199109A1 (ja) 情報処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US20160085770A1 (en) System and method of digital image matching with subject descriptors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20939681

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530431

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20939681

Country of ref document: EP

Kind code of ref document: A1