WO2018181095A1 - 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法 - Google Patents

閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法 Download PDF

Info

Publication number
WO2018181095A1
WO2018181095A1 PCT/JP2018/011978 JP2018011978W WO2018181095A1 WO 2018181095 A1 WO2018181095 A1 WO 2018181095A1 JP 2018011978 W JP2018011978 W JP 2018011978W WO 2018181095 A1 WO2018181095 A1 WO 2018181095A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
browsing
posting
mobile terminal
information
Prior art date
Application number
PCT/JP2018/011978
Other languages
English (en)
French (fr)
Inventor
修一 倉林
Original Assignee
株式会社Ｃｙｇａｍｅｓ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｃｙｇａｍｅｓ filed Critical 株式会社Ｃｙｇａｍｅｓ
Priority to KR1020197032339A priority Critical patent/KR102164472B1/ko
Priority to CN201880035471.2A priority patent/CN110692081B/zh
Publication of WO2018181095A1 publication Critical patent/WO2018181095A1/ja
Priority to US16/588,226 priority patent/US11062137B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0225—Avoiding frauds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Definitions

  • the present invention relates to a system, a program, a mobile terminal device, a server, and a method for confirming the viewing of posted items.
  • Patent Document 1 discloses a system which gives a privilege when the specific image
  • Patent Document 2 discloses a system that provides a point for a net game by specifying a position using GPS and executing a check-in process for confirming that a registered store or the like has been visited.
  • Patent Document 3 discloses a system that gives a privilege when a specific image is captured by a mobile terminal device and the captured image is a correct image.
  • a poster or the like on which a characteristic image is printed is posted using the mobile terminal device. It is possible to confirm the visit of the user by capturing the image and transmitting it to the server. However, a poster image taken by another person can be easily obtained by copying or the like, and by transmitting this to the server, a privilege can be obtained illegally without actually visiting the posting place. In addition, when the same printed matter printed in large numbers is posted at multiple locations, only the images captured from the posted items identify where the posted images posted by the user are posted. I can't do it.
  • BLE Bluetooth (registered trademark) Low Energy) beacon or short-range wireless communication (NFC (Near Field Radio Communication)
  • NFC Near Field Radio Communication
  • an ultra-small device called a BLE beacon can broadcast a BLE advertising packet in which a UUID or URL is embedded to the surroundings, and allow the mobile terminal device that has received the BLE beacon to perform an operation according to the current position.
  • NFC establishes a secure communication session ad hoc between a mobile terminal device equipped with NFC and an NFC reader. As a result, it is possible to easily realize the function of obtaining browsing authentication at a predetermined position simply by bringing the mobile terminal close to the NFC reader without additional processing such as pairing.
  • a beacon can be received using an unauthorized application, and one device acts as a proxy for a plurality of devices by sniffing to transfer the beacon to the network and exists in a remote place. Authentication for the user can be obtained.
  • NFC has realized a high security mechanism
  • portable terminal devices such as a smart phone carrying NFC, are limited. Therefore, when the NFC method is adopted, it is difficult to provide a service to a large number of users.
  • NFC is used in a payment system, there are users who feel resistance to the act of easily holding a smartphone over an NFC reader.
  • the system according to an embodiment of the present invention is a system used for confirming that a user of a mobile terminal device has visited and viewed posted items posted at a plurality of locations
  • the system includes a mobile terminal device and a server
  • the mobile terminal device includes a mobile terminal control unit, a mobile terminal communication unit, an imaging unit, a mobile terminal storage unit, and a position information acquisition unit
  • the server includes a server control unit and a server.
  • a communication unit and a server storage unit that stores an authenticated image of each posting location in association with the location information of the posting location
  • the mobile terminal control unit uses the location information acquisition unit to store the location of the mobile terminal Information
  • a reference posted image that is an image of a posted message stored in the portable terminal storage unit is compared with an image of a space captured by the imaging unit, and the reference posted image It is determined whether or not a display object is captured in a predetermined area in the image of the captured space. If it is determined that the display object is captured in the area, the display object is captured in the area.
  • a reference image which is an image of a space including a posted item and a space including a peripheral part of the posted item, and is compared with a reference item image of the posting item and an image of the posted item in the browsing image.
  • generating normalization information for normalizing the browsing image and transmitting a browsing confirmation request including the browsing image, the normalization information, and the mobile terminal position information to the server using the mobile terminal communication unit
  • the server control unit receives the browsing confirmation request using the server communication unit, determines whether the browsing image included in the browsing confirmation request is processed, and the browsing image is processed.
  • a normalized image obtained by normalizing the browsing image based on the normalization information is generated, and the mobile phone Based on the terminal position information and the position information associated with the authenticated image, one or more authenticated images corresponding to the browse image are selected from the authenticated images stored in the server storage unit, and the normalization is performed.
  • An image is compared with the selected one or more authenticated images, a similarity between the normalized image and the authenticated image is calculated, and whether the browse image is valid based on the similarity If the browsing image is determined to be valid, the browsing by the user is determined to be valid browsing, and if the browsing image is determined to be incorrect, the browsing by the user is determined to be illegal browsing.
  • the generation of the normalization information by the portable terminal control unit is to compare the reference posting image and the browsing image to generate arrangement information indicating an arrangement of the posting image in the browsing image.
  • the normalized information includes the arrangement information
  • the authenticated image stored in the server storage unit is a normalized image of a peripheral part of the posting
  • the server control unit is based on the normalization information.
  • the normalization may include extracting an image of a peripheral portion of the posting item from the browsing images based on the placement information of the posting item.
  • the generation of the normalization information by the mobile terminal control unit is performed by calculating a difference between luminance and color of the image of the posting in the reference posted image and the browsing image, and calculating the difference between the calculated luminance and color.
  • Generating the optical correction information based on, the normalization information includes the optical correction information
  • the server control unit generating the normalized image based on the normalization information includes the optical correction. It may include correcting the brightness and color of the browse image based on the information.
  • the server control unit calculates the similarity between the normalized image and the authenticated image by dividing the browse image and the authenticated image into two or more regions, respectively, Calculating the similarity for each corresponding area of the authenticated image, and calculating the similarity between the browsing image and the authenticated image based on the similarity for each area and the weight assigned to each area, The weighting may be determined based on a variation in similarity between corresponding regions in the authenticated image.
  • the server control unit associates the normalized image as an authenticated image with the location information of the posting place in the server storage unit. You may remember.
  • the portable terminal storage unit stores images of two or more types of posted items in association with posted item identification information indicating the types of posted items, and the browsing confirmation request is a posting of a posted item imaged in the area
  • One or more authentications further including object identification information, wherein the authenticated image stored in the server storage unit is associated with the posted item identification information, and corresponds to the browsing image from the authenticated image stored in the server storage unit
  • Selecting the completed image may include selecting an authenticated image associated with the posted object identification information included in the browsing confirmation request.
  • a portable terminal device is used for confirming that a user of a portable terminal device has visited and viewed posted items posted at a plurality of places.
  • a portable terminal device comprising a terminal communication unit, an imaging unit, a portable terminal storage unit, and a position information acquisition unit, wherein the portable terminal control unit acquires portable terminal position information using the position information acquisition unit, and
  • a reference notice image that is an image of a notice stored in the terminal storage unit is compared with an image of the space captured by the imaging unit, and an image of the space in which the posting of the reference notice image is captured It is determined whether or not an image is captured in a predetermined area of the image, and if it is determined that the posting is imaged in the area, the posting imaged in the area and a peripheral portion of the posting object
  • the browsing confirmation request including the browsing image
  • the server is a server used for confirming that a user of a mobile terminal device has visited and viewed a posting posted at a plurality of places, the mobile terminal
  • the apparatus transmits a browsing confirmation request including a browsing image, normalization information, and mobile terminal position information, and the browsing image includes a posted object posted in a predetermined place and an image of a peripheral part, and the normalization information Is information for normalizing the browsing image
  • the mobile terminal position information is information indicating the position of the mobile terminal device
  • the server is a server control unit, a server communication unit, and posted items at each posting place
  • a server storage unit that stores the authenticated image associated with the location information of the posting location
  • the server control unit includes the browsing image, the normalized information, and the mobile terminal location information
  • a normalized image obtained by normalizing the browsing image based on the normalization information is generated, and the mobile terminal position information and the authenticated Based on the positional information associated with the image, one or more authenticated images corresponding to the browse image are selected from the authenticated images stored in the server storage unit, and the normalized image is the selected 1 Compared with the above authenticated image, the similarity between the normalized image and the authenticated image is calculated, and it is determined whether the browse image is valid based on the similarity. Determined to be legitimate When determining determines viewing by the user as a legitimate browsing, when the viewing image is determined not to be legitimate, the viewing by the user and unauthorized viewing.
  • the program for the mobile terminal device is a program used for confirming that the user of the mobile terminal device visited and viewed the postings posted at a plurality of places.
  • the program acquires mobile terminal position information using the position information acquisition unit in a mobile terminal device including a mobile terminal communication unit, an imaging unit, a mobile terminal storage unit, and a position information acquisition unit;
  • the reference bulletin image that is the image of the bulletin board stored in the portable terminal storage unit is compared with the image of the space captured by the imaging unit, and the posting of the reference bulletin image is captured in the space Determining whether or not an image is captured in a predetermined area of the image, and determining that the posting is imaged in the area, and a posting imaged in the area and
  • the program for the server in one embodiment of the present invention is a program used for confirming that the user of the mobile terminal device has visited and viewed the postings posted at a plurality of places.
  • the portable terminal device transmits a browsing confirmation request including a browsing image, normalization information, and portable terminal position information, and the browsing image includes a posted item posted in a predetermined place and an image of a peripheral portion.
  • the normalization information is information for normalizing the browsing image
  • the mobile terminal position information is information indicating the position of the mobile terminal device
  • the program is a server communication unit and posting of each posting place
  • a server including a server storage unit that stores an authenticated image of an object in association with position information of a posting place, the browsing image, the normalized information, and the mobile terminal position information.
  • Receiving a browsing confirmation request using the server communication unit determining whether a browsing image included in the browsing confirmation request has been processed, and determining that the browsing image has been processed.
  • a case in which browsing by the user is determined to be unauthorized browsing and a step of generating a normalized image obtained by normalizing the browsing image based on the normalization information when it is determined that the browsing image has not been processed.
  • a method executed in a mobile terminal is used for confirming that a user of a mobile terminal device has visited and viewed a posting posted in a plurality of places.
  • a method executed by a mobile terminal device including a communication unit, an imaging unit, a mobile terminal storage unit, and a position information acquisition unit, the step of acquiring mobile terminal position information using the position information acquisition unit, and the mobile terminal
  • a reference posted image that is an image of a posted item stored in the storage unit is compared with an image of the space captured by the imaging unit, and the posted item of the reference posted image in the image of the captured space
  • a step of determining whether or not an image is captured in a predetermined area; and if it is determined that the posting is imaged in the area, the posting imaged in the area and the periphery of the posting Including
  • the step of capturing a browsing image that is an image of a space is compared with a reference posting image of the posting and a posting image in the browsing image, and the browsing image is normalized based on the
  • a method executed by a server is used to confirm that a user of a mobile terminal device has visited and viewed a posting posted at a plurality of places and executed by the server.
  • the mobile terminal device transmits a browsing confirmation request including position information of a posting included in a browsing image based on a browsing image, normalized information, and mobile terminal position information, and the browsing image Includes a posting posted at a predetermined place and an image of the peripheral part, the normalization information is information for normalizing the browsed image, and the mobile terminal position information indicates the position of the mobile terminal device
  • the server includes a server communication unit and a server storage unit that stores an authenticated image associated with the posted information at each posting location in association with the location information of the posting location, and the method includes: Receiving the browsing confirmation request including the browsing image, the normalized information, and the mobile terminal position information using the server communication unit, and determining whether the browsing image included in the browsing confirmation request has been processed And when determining that the browsing image has been processed, determining when browsing by the user is unauthorized
  • a browsing confirmation system that prevents a malicious user from obtaining unauthorized authentication can be realized at low cost.
  • the present invention can be implemented at low cost because it can be used for posters such as posters that have high tamper resistance to prevent fraud and can be easily copied.
  • the portable terminal device used in the present invention does not require a special function, it is possible to provide a browsing confirmation service to a large number of users. If it is set as the structure which registers the image once authenticated to the server as an authenticated image, the browsing confirmation system grows autonomously and can implement fraud detection with higher accuracy.
  • FIG. 1 is an overall configuration of a system according to an embodiment of the present invention. It is a hardware block diagram of the portable terminal device which concerns on one Embodiment of this invention. It is a hardware block diagram of the server which concerns on one Embodiment of this invention. It is a functional block diagram of the portable terminal device which concerns on one Embodiment of this invention. It is a functional block diagram of a server concerning one embodiment of the present invention. It is a flowchart which shows the information processing which concerns on one Embodiment of this invention. It is a flowchart which shows the information processing of the portable terminal device which concerns on one Embodiment of this invention. It is a figure which shows the example of a screen display which concerns on one Embodiment of this invention.
  • the viewing confirmation system 100 can be realized by a system including one or more mobile terminal devices 120 and a server 130 connected via a network 110.
  • the mobile terminal device 120 in the present embodiment is a device that captures an image and transmits it to the server 130 via the network 110. It can be a device.
  • the mobile terminal device 120 includes a processing device 201, a display device 202, an input device 203, an imaging device 204, a position information acquisition device 205, a storage device 206, a communication device 207, and a bus 208.
  • the storage device 206 stores a program 209.
  • the processing device 201 executes an application such as a web browser based on the program 209, input data from the input device 203, imaging data from the imaging device 204, data received from the position information acquisition device 205 or the communication device 207, and the like. Various processes such as image processing are performed.
  • the processing device 201 includes a processor that controls each device included in the mobile terminal device 120, and performs various processes using a register included in the processor and the storage device 206 as a work area. Each of these components is connected by the bus 208, but may be individually connected as necessary.
  • the display device (display) 202 displays an image captured by the application screen or the imaging device 204 under the control of the processing device 201.
  • a liquid crystal display is preferable, but a display using an organic EL, a plasma display, or the like may be used.
  • the input device 203 has a function of receiving input from the user, such as a touch panel, a touch pad, and an input button.
  • the touch panel also functions as the display device 202, and the display device 202 and the input device 203 are integrated.
  • the display device 202 and the input device 203 may be in separate forms arranged at different positions.
  • the imaging device 204 captures still images or moving images in the real space area.
  • the position information acquisition device 205 acquires information indicating the current position of the mobile terminal device, and can be a device that specifies the position based on, for example, a GPS sensor or a WiFi SSID.
  • the storage device 206 includes a hard disk, a main memory, and a buffer memory.
  • the hard disk may be any nonvolatile storage or nonvolatile memory as long as it can store information, and may be removable.
  • the mobile terminal device 120 when it is a smartphone, it includes ROM and RAM.
  • the storage device 206 stores a program 209 and various data that can be referred to when the program is executed.
  • the program 209 includes programs and data for an operating system or any application that requires player input, such as a video game or web browser.
  • the communication device 207 performs wireless communication such as mobile communication, wireless LAN, and wired communication using an Ethernet (registered trademark) cable, a USB cable, or the like.
  • the program can be downloaded from the server 130 and stored in the storage device 206.
  • the program may be stored in an optical disk such as a CD / DVD, an optical drive may be connected to the communication device 207, and the program or the like may be read from the optical disk and stored in the storage device 206.
  • FIG. 3 is a block diagram showing a hardware configuration of the server 130 according to the present embodiment.
  • the server 130 includes a processing device 301, a display device 302, an input device 303, a storage device 306, and a communication device 307. Each of these components is connected by a bus 308, but each may be individually connected as necessary.
  • the processing device 301 includes a processor that controls each device included in the server 130, and performs various processes using the storage device 306 as a work area.
  • the display device 302 has a function of displaying information to the server user.
  • the input device 303 has a function of accepting input from the user, such as a keyboard and a mouse.
  • the storage device 306 includes a hard disk, a main memory, and a buffer memory.
  • a program 309 is stored in the hard disk.
  • the hard disk may be any nonvolatile storage or nonvolatile memory as long as it can store information, and may be removable.
  • the storage device 306 stores a program 309 and various types of data that can be referred to when the program is executed.
  • the communication device 307 performs wired communication using an Ethernet (registered trademark) cable, mobile communication, wireless communication such as a wireless LAN, and connects to the network 110.
  • Ethernet registered trademark
  • FIG. 4 shows an example of a functional block diagram of the mobile terminal device 120 of the present invention.
  • the mobile terminal device 120 includes a mobile terminal control unit 401, a mobile terminal display unit 402, a mobile terminal input unit 403, an imaging unit 404, a position information acquisition unit 405, a mobile terminal storage unit 406, and a mobile terminal communication unit 407.
  • the mobile terminal display unit 402 displays information to be presented to the user.
  • the portable terminal input unit 403 receives input from the user.
  • the imaging unit 404 captures a still image or a moving image in the real space area.
  • the position information acquisition unit 405 acquires current position information of the mobile terminal device 120.
  • the portable terminal storage unit 406 stores a reference posting image, which is an image of a posting posted at a predetermined posting location, in association with posting identification information (ID) indicating the type of the posting.
  • ID posting identification information
  • the reference bulletin board image can be downloaded from the server 130 to the storage unit 406 of the mobile terminal device 120 by being included in the browsing confirmation application, for example.
  • the reference bulletin image stored in the portable terminal storage unit 406 can be updated at a predetermined timing based on information received from the server 130 via the communication unit 407.
  • the reference posting image can be downloaded and updated at the update timing of a game event for granting a privilege or at regular intervals.
  • a reference posted image may be downloaded when accessing a website for taking a browsing image.
  • the control unit 401 of the mobile terminal acquires the mobile terminal location information using the location information acquisition unit 405, and uses the reference bulletin image stored in the mobile terminal storage unit 406 and the space image captured by the imaging unit 404. In comparison, it is determined whether or not the posting of the reference posting image is captured in a predetermined area in the image of the captured space.
  • the mobile terminal control unit 401 determines that the posting is captured in a predetermined area, the mobile terminal control unit 401 is a browsing image that is an image of a space including the posting captured in the predetermined area and the peripheral portion of the posting.
  • the browsing confirmation request including the browsing image, the normalized information, and the mobile terminal position information is transmitted to the server 130 via the network 110 using the mobile terminal communication unit 407.
  • the type of the posting included in the image captured by the imaging unit 404 is specified, and the specified type of posting ID is included in the viewing confirmation request.
  • the mobile terminal control unit 401 is realized by executing the program 209 included in the hardware configuration illustrated in FIG. 2 by the processing device 201, but is also realized by preparing an integrated circuit or the like. it can.
  • the mobile terminal display unit 402, the mobile terminal input unit 403, the imaging unit 404, the location information acquisition unit 405, the mobile terminal storage unit 406, and the mobile terminal communication unit 407 are the display device 202, the input device 203, It is realized by each hardware of the imaging device 204, the position information acquisition device 205, the storage device 206, and the communication device 207, but is realized by the program 209 being executed by the processing device 201 or the like and cooperating with each hardware. Also good.
  • FIG. 5 shows an example of a functional block diagram of the server 130 of the present invention.
  • the server 130 includes a server control unit 501, a server display unit 502, a server input unit 503, a server storage unit 506, and a server communication unit 507.
  • the server display unit 502 displays information for presentation to the server user.
  • the server input unit 503 receives input from the user.
  • the server storage unit 506 stores a reference posting image, which is an image of a posting posted at a predetermined posting location, in association with the posting ID. In the case where there is only one type of reference posting image, the reference posting image need not be stored in association with the posting ID. Further, the server storage unit 506 also stores one or more authenticated images that are normalized images of the browse images determined to be valid. The authenticated image is stored in association with the position information of the posting location of the posting included in the authenticated image.
  • the position information acquired by the mobile terminal device 120 when the browsing image is captured can be used, or the position information of another stored authenticated image can be used.
  • the location information of the authenticated image stored first may be input by the administrator.
  • the server communication unit 507 transmits and receives information wirelessly or by wire.
  • the server control unit 501 transmits the reference bulletin image stored in the storage unit 506 to the portable terminal device 120 via the communication unit 507 together with the associated bulletin ID. . Further, at a predetermined timing such as a timing at which the reference bulletin image is updated, the reference bulletin image is read from the storage unit 506 and transmitted to the mobile terminal device 120 to update the reference bulletin image in the mobile terminal device 120. be able to.
  • the server control unit 501 receives the browsing confirmation request transmitted from the mobile terminal device 120 using the server communication unit 507, determines whether the browsing image included in the received browsing confirmation request has been processed, and browses. If it is determined that the image has been processed, it is determined that browsing by the user is unauthorized browsing. If it is determined that the browse image has not been processed, a normalized image obtained by normalizing the browse image based on the normalization information is generated, and the positional information included in the browsing confirmation request and the positional information associated with the authenticated image Based on the above, one or more authenticated images corresponding to the browse image are selected from the authenticated images stored in the server storage unit 506.
  • the authenticated image is selected based on the posting ID included in the browsing confirmation request and the posting ID stored in the server storage unit 506.
  • the one or more selected authenticated images and the normalized image are compared, the similarity between the normalized image and the authenticated image is calculated, and whether or not the browsing image is valid is determined based on the similarity. To do.
  • it is determined that the browsing image is valid it is determined that browsing by the user is valid browsing, and when it is determined that the browsing image is not valid, browsing by the user is determined as illegal browsing.
  • the server control unit 501 is realized by the processing device 301 executing the program 309 included in the hardware configuration illustrated in FIG. 3, but can also be realized by preparing an integrated circuit or the like.
  • the server display unit 502, the server input unit 503, the server storage unit 506, and the server communication unit 507 are realized by the hardware of the display device 302, the input device 303, the storage device 306, and the communication device 307 described in FIG.
  • the program 309 may be executed by the processing device 301 or the like and cooperate with each hardware.
  • FIG. 6 shows a flowchart of operations of the mobile terminal device 120 and the server 130 in the present embodiment.
  • the user in order to acquire items in an online game that is being played by a user of a smartphone that is the mobile terminal device 120, the user is required to browse posters that are posted in a plurality of places.
  • An example will be described.
  • the user actually visits the poster posting location, images the poster with a viewing confirmation application, transmits it to the server 130, and when the server 130 authenticates as a legitimate browsing image, the user actually visits the location. It is recognized that the poster has been viewed, and the item is distributed to the user's game account.
  • the posted material is a poster printed on paper, but may be a display device such as a liquid crystal panel or a signboard as long as it is posted to present information or the like.
  • the user downloads and installs a viewing confirmation application as the program 209 to the mobile terminal device 120, visits any posting place, and browses the poster.
  • the mobile terminal device 120 starts a browsing confirmation request process (S601).
  • the control unit 401 of the mobile terminal device 120 uses the imaging unit 404 to capture images of the poster and its surroundings as browsing images, and sends a browsing confirmation request including the browsing image to the server 130 as a communication unit 407. To send through.
  • the server 130 receives the browsing confirmation request and executes a browsing confirmation process (S602).
  • the server 130 determines whether browsing by the user is illegal. In the case where the user makes a browsing confirmation request by falsely assuming that the user has visited the posting place even though the user has not actually visited the posting place, the browsing is regarded as an illegal browsing. When the user actually visits and browses the place where the posted material is posted and makes a browsing confirmation request, this browsing is legitimate browsing.
  • the server 130 performs processing based on the determination result of whether or not browsing is illegal.
  • FIG. 7 shows more specific processing contents of the browsing confirmation request processing (S601) in the present embodiment.
  • the browsing confirmation request process is started.
  • the mobile terminal control unit 401 acquires the current location information of the mobile terminal device 120 using the location information acquisition unit 405 (S701), and sets the counter d for the reference bulletin image to 0 (S702).
  • D reference bulletin images are stored in the storage unit 406, and it is sequentially determined whether any of these images is included in the image captured by the user.
  • the reference bulletin image is a comparison target in the order of stored memory numbers.
  • the user points the image capturing unit 404 of the mobile terminal device 120 toward the poster and tries to image the poster.
  • the imaging unit 404 images the real space in the directed direction (S703).
  • the d-th (0 ⁇ d ⁇ D) reference display image stored in the storage unit 406 is compared with the captured image of the space captured by the image capturing unit 404 (S704). It is determined whether or not the posting (poster) in the reference posting image is captured within a predetermined area in the captured space image (S705).
  • the predetermined area where the poster is to be imaged is an area smaller than the entire area that can be imaged by the imaging unit 404. Therefore, the imaging unit 404 captures the poster within a predetermined area and simultaneously captures the peripheral part of the poster.
  • the user's image is actually a poster image obtained by duplication, and actually visited the posting place. It is difficult to determine whether the image is a poster image captured in this way.
  • the captured images are substantially the same even if the posters are posted at different posting places. For this reason, it is impossible to prevent a user who visits one posting location and captures a browsing image from using the browsing image as a browsing image at another posting location.
  • the image including the periphery of the poster is not completely the same when the shooting time is different because, for example, a passerby is reflected or the position of the shade changes.
  • the peripheral part of the poster is different for each posting place of the poster, the image including the peripheral part of the poster is different for each posting place. Therefore, in the present invention, it is possible to determine whether or not the browsing image is an image obtained by duplication by capturing the poster image and the peripheral portion of the poster together, and for each imaging location. It is possible to determine a legitimate browsing image by distinguishing them.
  • the counter d is counted up (S706) and should be determined. It is determined whether all reference bulletin images and captured images have been compared (S707). If not all are determined, it is determined whether the next reference bulletin image is captured in the captured image (S704, S705). When it is determined that all reference bulletin images and captured images have been compared (S707), the counter d is reset (S702), and an image of a new space is captured (S703). The comparison with the reference bulletin board image is executed. The processing of S702 to S705 is repeatedly executed until it is determined that any of the reference posting images is captured in a predetermined area in the captured space image.
  • FIG. 8 shows a display screen 800 of the browsing confirmation application displayed on the display unit 402 as one embodiment.
  • the display unit 402 instructs the frame 801 indicating the predetermined area in which the poster 802 is to be placed and the entire poster to be placed in the frame together with the image of the space captured by the imaging unit 404. Display a message to do.
  • the entire imaging area 803 of the imaging unit 404 is displayed on the display unit 402, and the frame 801 is an area smaller than the entire area.
  • the poster 802 is stored in the frame 801, an image 805 around the poster 802 is displayed in the outer region of the frame 801.
  • the user moves the mobile terminal device 120. This makes it possible to obtain a captured image in which the relative positional relationship between the poster image and the peripheral image is constant. That is, geometric normalization can be performed.
  • the process (S704, S705) for determining whether or not the posting of the reference posted image is captured in a predetermined area in the captured space image is performed using, for example, an ORB (Oriented FAST and Rotated BRIEF) feature amount.
  • ORB Oriented FAST and Rotated BRIEF
  • characteristic points (key points) in the reference bulletin image are detected in advance and stored in the storage unit 406 as a part of the browsing confirmation application.
  • the feature points (key points) of the pre-stored reference bulletin image are superimposed on a predetermined area (frame 801), and the feature points of the image obtained by the imaging unit 404 are within the predetermined area.
  • the posting of the reference posting image is captured in a predetermined area in the image of the captured space. It is not necessary for the feature point of the reference posted object image and the feature point of the captured image to completely overlap. For example, when a predetermined number of feature points overlap each other within a predetermined shift range, it can be determined that the posting is imaged in the predetermined area.
  • the poster of the reference bulletin image is captured in the predetermined area in the captured space image ( S705), a poster imaged in a predetermined area and an image of a space including its peripheral part are captured as a browsing image for subsequent processing (S708).
  • the posting ID associated with the reference posting image of the poster determined to be captured in the browsing image is specified.
  • the load is distributed to each mobile terminal device even when a large number of browsing confirmation requests are made at the same time. Can reduce the load.
  • the process of taking a captured image when a poster fits within a predetermined frame as a browse image is automatically executed by the mobile terminal device 120 regardless of a user input, and normalization for the browse image is performed.
  • the process proceeds to the step of generating information (S709).
  • the process returns to S702, and when an input for transmission to the server 130 is received, the process proceeds to the next step (S709). May be.
  • the reference poster image of the poster is compared with the poster image of the browse image, and normalization information for normalizing the browse image based on the reference post image is generated.
  • the reference bulletin image to be compared for normalization information generation is the reference bulletin image of the poster that is determined to be captured in the predetermined area of the browse image in S705.
  • the image of the poster and the peripheral portion of the poster depends on the relative position between the poster and the imaging unit 404 when imaging the poster, the difference in characteristics of the imaging unit 404 between the models of the mobile terminal device 120, the difference in the light source state, etc. Even the same poster and peripheral images are different images.
  • the comparison between the browsing image and the browsing image that has already been determined to be legitimate reduces the commonality between the two, even though both are images of the postings posted in the same place, There is a high possibility that it is not determined that the images are taken at the same place. Even if there is a difference in characteristics of the imaging unit 404 or a difference in light source state, the geometrical and optical relationship between the posted image and the peripheral image is fixed. Therefore, in the present invention, normalization of the browse image with the reference bulletin image as a reference point effectively eliminates a decrease in commonality due to a difference in imaging environment.
  • the normalization information for geometric normalization includes geometric correction information that specifies the geometric relationship between the poster image portion and the peripheral image portion in the browse image.
  • geometric normalization is performed by guiding the position of the mobile terminal device 120 when the poster is imaged.
  • the layout of the poster in the captured image is set to a predetermined layout, that is, geometric normalization is performed. Do.
  • the mobile terminal control unit 401 compares the reference display image and the browse image, specifies the arrangement of the poster image in the browse image, and generates geometric correction information.
  • the arrangement of the poster portion in the predetermined area is specified by comparing the browse image with the reference display image of the poster stored in the portable terminal storage unit 406 by key point matching. Then, arrangement information for specifying the arrangement of the poster part in the browse image is generated as the geometric correction information.
  • the arrangement information includes the coordinates (x, y) of the lower left corner of the poster portion in the browsed image, and the width (w) and height (h) of the poster portion.
  • Normalization information for optical normalization includes optical correction information obtained by calculating differences in brightness and color of the poster image in the reference display image and the browsing image. By generating the optical correction information, it is possible to determine whether or not the browse image is valid even if there is a difference in the characteristics of the imaging unit 404 or a difference in the light source state between the models of the mobile terminal device 120. It becomes possible.
  • a poster image Q obtained by cutting out a poster portion from a browse image is generated based on the arrangement information that is the geometric correction information described above. Then, the average luminance difference between the generated poster image Q and the reference posted image T of the poster stored in the storage unit 406 is calculated as a real number of ⁇ 1 to 1.
  • This average luminance difference averageBrightnessDiff (T, Q) is defined as follows.
  • T i is the i-th pixel in the reference display object image T
  • Q i is the i-th pixel in the poster image Q cut out from the browsing image.
  • brightness () is a function that calculates the brightness of a pixel given as an argument.
  • N is the total number of pixels in the image. The images passed to this function are preferably normalized to have the same number of pixels.
  • the godlove color difference formula (Godlove, IH: Improved Color-Difference Formula, with Applications to the Perceptibility and Acceptability of Fadings, Journal, which is a color distance system in a uniform color space. of the Optical Society of America, 41 (11), pp.760-770, (1951)) and CIE2000 (Luo, MR, Cui, G., & Rigg, B., "The development of the CIE 2000 color- difference formula: CIEDE2000 ", Color Research & Application, Volume 26, Issue 5, October 2001, pp. 340-350, DOI: 10.1002 / col.1049).
  • the godlove color difference equation ⁇ godlove that is generally known as a distance in the HSV space can be defined as follows.
  • the average color difference averageColorDiff (T, Q) between the reference display image T and the poster image Q cut out from the browsing image can be defined as follows.
  • the normalization information includes geometric correction information and optical correction information.
  • the arrangement information of the poster part in the browse image is used as geometric correction information, and the average luminance difference averageBrightnessDiff (T, Q) and the average color difference averageColorDiff (T, Q) are used as optical correction information.
  • the geometric correction information and the optical correction information may be included as the normalization information, or only one of the luminance correction information and the color correction information may be included as the optical correction information.
  • the control unit 401 of the mobile terminal device 120 transmits a browsing confirmation request to the server 130 via the network 110 using the communication unit 407 (S710).
  • the browsing confirmation request includes a user ID for identifying the user, a posting ID of the reference posting image, a browsing image, normalization information, and mobile terminal position information.
  • the bulletin board ID of the reference bulletin board image is a bulletin board ID associated with the reference bulletin board image of the poster that is determined to be captured in the predetermined area of the browse image in S705.
  • cheat action that is, detection of an action to request a browsing confirmation using a copied or processed image and acquire a privilege even though the poster is not actually browsed, is performed in two stages. Run separately.
  • the browsing image has been illegally processed.
  • a browsing image having an outlier or an over-approximation value is detected using one or more authenticated images stored in the server, and a browsing image and other browsing images that are not captured at the posting location Browsing images that have a high possibility of being illegally acquired by copying or the like are detected.
  • the server 130 receives the browsing confirmation request transmitted from the mobile terminal device 120 via the communication unit 507. Then, it is verified whether or not the browsing image included in the received browsing confirmation request has been illegally processed (S902).
  • S902 To verify whether an image has been tampered with, A. E. Dirik and N. Memon, "Image tamper detection based on demosaicingartifacts," 2009 16th IEEE International Conference on Image Processing (ICIP), Cairo, 2009 , Pp. 1497-1500 and Minati Mishra, Flt. Lt. Dr. M. C. Adhikary, "Digital Image Tamper DetectionTechniques-A Comprehensive Study," International Journal of ComputerScience and Business Informatics. As shown in: 1694-2108, June 2013, various methods are known. In the present invention, any method may be used as long as it verifies whether or not an image has been illegally processed.
  • an unauthorized request process is performed assuming that the browse confirmation request is an unauthorized request due to unauthorized browsing (S903). For example, the user's online game account is suspended based on the user ID included in the browsing confirmation request.
  • the browse image is normalized based on the normalization information included in the browse confirmation request, and a normalized image is generated (S904).
  • geometric normalization is performed based on arrangement information that is geometric correction information included in the normalization information.
  • the arrangement information includes the coordinates (x, y) of the lower left corner of the poster portion in the browse image, and the width (w) and height (h) of the poster portion.
  • the server control unit 501 performs geometric normalization by extracting an image other than the poster, that is, a peripheral image of the poster, from the browse image based on the arrangement information.
  • optical normalization is performed on the extracted peripheral image based on the optical correction information included in the normalization information.
  • Optical normalization is divided into luminance correction and color correction.
  • luminance correction In the brightness correction, each pixel of the peripheral image is corrected based on the following formula.
  • r, g, b are RGB values of a specific pixel of the peripheral image to be corrected, and each element of the matrix obtained by this function brightnessCompensation (r, g, b, BC) Let r, g, and b be corrected.
  • the calculation result of r, g, b is preferably saturated at the upper limit value 255 and the lower limit value 0.
  • BC is a coefficient for luminance correction, and in the present embodiment, BC is a value obtained by the above average luminance difference averageBrightnessDiff (T, Q).
  • Color correction is performed by calculating the distance in the color space and the moving direction (vector) based on averageColorDiff (T, Q), and using the combined feature vector.
  • the authenticated image is an image based on an image that has been determined to be legitimate as a browsing image of a posting posted at a predetermined posting location.
  • the authenticated image is an image obtained by normalizing the browse image determined to be a valid image by the normalization process described in connection with S904. Since the authenticated image includes the peripheral image of the poster, even if the type of the posted material is the same, the image is different for each posting place. Further, even in the same posting place, different authenticated images are maintained while maintaining a certain degree of similarity depending on the imaging time or the like.
  • the authenticated image can be based on an image captured by an administrator of the system browsing in advance at a posting location. Further, as will be described later, the number of authenticated images stored in the server storage unit 506 is increased by registering a new authenticated image based on an image determined to be valid among the browse images transmitted by the user. Can continue.
  • the authenticated image is stored in the server storage unit 506 in association with the posting ID and the position information.
  • the position information is information indicating the posting location, and in the present embodiment, the position information is latitude and longitude.
  • the location information of the posting location the mobile terminal location information acquired by the mobile terminal device 120 when the browsing image is captured can be used, or the location information of the authenticated image that is already stored can be used.
  • the location information of the authenticated image stored first may be input by the administrator.
  • the server control unit 501 selects one or more authenticated images corresponding to the browsing confirmation request based on the posting ID and the position information included in the browsing confirmation request. For example, among the authenticated images associated with the same posting ID as the posting ID included in the browsing confirmation request, the latitude and longitude of which the difference is within a predetermined value compared to the latitude and longitude in the mobile terminal position information Select an authenticated image associated with the location information. As the number of selected authenticated images is increased, the accuracy of the browsing confirmation process is improved. However, even if there is only one, the browsing confirmation process can be performed.
  • the similarity between the normalized image and the selected authenticated image is calculated (S906).
  • a normalized image is divided into a plurality of regions, and color information is analyzed for each region.
  • the area division and the color information analysis are executed by the same method, and the result is stored in the server storage unit 506 in advance.
  • the normalized image can be divided into four regions 1001 to 1004 excluding the poster portion 1100.
  • the color-analyzed image I can be defined as follows.
  • r j is a histogram of the jth region divided from the image I, and J is the number of regions.
  • h b is the b-th value of the histogram, and B is the number of bins.
  • Various feature amounts can be used as the feature amount of the histogram r j .
  • a luminance histogram of 0 to 255 may be used, or a color histogram obtained by dividing R, G, and B values into 0 to 255, respectively.
  • it may be a histogram indicating the area ratio after clustering into a specific color set, or may be a texture feature amount without using color information.
  • the distance distance (Q, M) as the similarity between the normalized image Q and the authenticated image M is defined as follows.
  • distance (Q, M) is a function that returns a real number from 0 to 1.
  • Q [0 + j, b] means the bth value in the histogram of the jth region of the normalized image Q
  • M [0 + j, b] is the jth region of the authenticated image M.
  • B is the number of bins in the histogram of the normalized image Q and the authenticated image M
  • J is the number of regions. This function uses the difference value (histogram intersection) of the color histogram shown in Equation (8) to evaluate the compatibility between regions.
  • the difference value of the color histogram in this embodiment calculates the difference between histograms for each corresponding region of the normalized image Q and the authenticated image M.
  • the difference between the histograms is L 1 norm. Accordingly, since the difference between the histograms is 2 at the maximum, 2 is normalized to 0 to 1 using 2 as the denominator. Since the square of the histogram difference is obtained for each region constituting the peripheral image, the distance as the similarity can be obtained as the square root of the sum of these values.
  • the formula for distance (Q, M) is called Root Mean Squared Error (RMSE), which uses the distance between each data value and other data values to calculate the difference between the standard query and the search target.
  • RMSE Root Mean Squared Error
  • An index indicating a standard size is applied to a distance metric of image type difference.
  • Earth Mover's Distance [Ofir Pele and Michael Werman. 2008.A Linear Time Histogram Metric for Improved SIFT Matching.In Proceedings of the 10th European Conference on Computer Vision : Part III (ECCV '08), David Forsyth, Philip Torr, and Andrew Zisserman (Eds.). Springer-Verlag, Berlin, Heidelberg, 495-508 and Ofir Pele and Michael Werman, Fast and Robust Earth Mover's Distances, In Proceedings Obviously, it can be realized by using other functions such as a conformity evaluation function using the IEEE 12th International Conference on Computer Vision, November 2009).
  • the distance distance (Q, M) of the normalized image for each of the selected one or more authenticated images M is calculated.
  • the distance is 0, it means that both images are the most similar, and that the larger the image, the less similar.
  • the average distance averageDistance (Q) of the calculated distance is defined as follows.
  • S is the number of selected authenticated images
  • M s is the sth selected authenticated image.
  • the outlier threshold is the maximum value of the distance that can be considered as an image including the background of a poster in which two images are posted at the same place. When the distance is longer than this, since the commonality is low, it is considered that the images do not include the background of the poster posted at the same place.
  • the excess similarity threshold is a minimum value of distance that one is considered not to be a copy of the other viewed image. If the distance is smaller than this, one is considered to be a duplicate of the other because it is excessively similar.
  • the average distance to the center of gravity image group of the authenticated images can be used instead of using the average distance to all the authenticated images.
  • a distance between authenticated images for a predetermined posting location is calculated in advance, and an image group having a small average distance is set as a center-of-gravity image group at the posting location.
  • a distance matrix having a distance defined between two authenticated images as shown in Table 1 as an element is created.
  • P images exist as authenticated images a P ⁇ P symmetric matrix with the distance between images as an element is obtained. Since the diagonal elements indicate the distance between the same images, they are all 0. Table 1 is obtained by adding an average distance to the rightmost row.
  • G z is the z-th authenticated image in the array G.
  • This extraction of the center-of-gravity image group can be performed as selection of the authenticated image in S905. That is, in this equation, the distance average between the image selected as the center of gravity and the normalized image Q is obtained.
  • the comparison operation is performed only with the image group serving as the center of gravity, the amount of calculation can be reduced and the determination process can be speeded up.
  • FIG. 11 shows the visualization of the distance between images in the present invention.
  • One point in the figure corresponds to one image.
  • (A) shows a state when there is one authenticated image stored in the server storage unit 506.
  • Table 1 shows the number of registered authenticated images that increase from (b) to (e). Such mutual distance can be calculated. Although it is possible to calculate the distance from the browsing image even if there is only one registered authenticated image, the greater the number of registered authenticated images, the less sensitive to noise and the more accurate High similarity determination is possible.
  • the similarity can be calculated using a distance weigthedDistance (Q, M) weighted for each divided area.
  • the weighted distance weightedDistance (Q, M) between the normalized image Q and the authenticated image M stored in the server storage unit 506 is a function that returns a real number from 0 to 1, and can be defined as follows.
  • dist (Q j , M j ) is a function for calculating the similarity of the jth region, for example, a function for calculating the distance between the jth regions.
  • Q j is the normalized image Q of the j th region
  • M j is the authenticated image of the j th region
  • w j indicates the weight for the j th region. This weight is obtained by comparing the corresponding areas of the authenticated images associated with the same position information among the authenticated images stored in the server storage unit 506 and calculating the distance matrix of each image.
  • a distance matrix is generated by calculating a distance between regions of each image using a suitability evaluation function such as a difference value of the color histogram described above.
  • the surrounding areas that are likely to change and the peripheral areas that are difficult to change are detected at the poster posting location, and it is difficult to change (difference in similarity between images).
  • Set the corresponding weight Regions with a large average distance and low condensability (regions where the similarity between images varies) are easy to change, and regions with a small average distance and high condensability (similarity between images vary).
  • the non-changeable area is an area that hardly changes. A high weight is given to a region that hardly changes, and a low weight is given to a region that easily changes.
  • FIG. 12 schematically shows the distance between authenticated images in each area.
  • (A) to (d) map the authenticated images in the upper left area (a), the upper right area (b), the lower left area (c), and the lower right area (d), and show the distance relationship between them.
  • Yes In the upper left area (a), since the authenticated images are close to each other, the average distance is small, and it can be seen that the area has high condensability (area where the similarity between images does not vary).
  • the lower right region (d) since the points where the verified images are mapped are dispersed, the average distance is large and the condensability is low (region where the similarity between images varies). I understand.
  • the variation in similarity between authenticated images in each area depends on the location of the periphery of the poster. For example, it is assumed that a poster is posted beside the entrance of the department store, the entrance of the department store is imaged on the right side periphery of the poster, and only the wall of the department store is imaged on the left side periphery. Since department store users frequently enter and exit the entrance of the department store, the image of the right peripheral part varies greatly each time an image is taken. On the other hand, since the brightness of the department store wall changes according to the weather and time, the image of the left peripheral portion does not differ greatly each time an image is taken. In particular, if optical normalization is performed, the change is very small.
  • the normalized image of the browse image is registered in the server storage unit 506 as an authenticated image in association with the position information of the poster posting location. Used as an authenticated image for a browsing confirmation request. This allows the system to grow autonomously.
  • a process for granting a privilege is executed based on the user ID for the user who transmitted the browse image. For example, points in an online game played by a user are given to the user's account.
  • the administrator of the server 130 is notified that the browse image is determined to be illegal (S910). Then, the administrator determines whether or not the browsing image is illegal with the naked eye. Accordingly, it can be prevented that the image is erroneously determined to be illegal even though it is actually a legitimate browsing image. In particular, when the number of authenticated images stored in the server storage unit 506 is small, re-determination by the administrator is effective because the reliability of determination based on similarity is low.
  • the server input unit 503 When the administrator confirms that the image is an unauthorized image, the server input unit 503 inputs that the image is an unauthorized image (S911), and an unauthorized request process is executed in S903. On the other hand, if the administrator determines that the image is valid, the server input unit 503 inputs that the image is valid (S911), and the normalized image is registered as a new authenticated image in S908. Then, a privilege grant process (S909) is performed.
  • S903 may be executed without notifying the administrator.
  • S904 to S909 may be batch processing that collectively processes a plurality of browsing confirmation requests accumulated at predetermined intervals.
  • the privilege granting process is executed assuming that the browsing confirmation is valid, and then in the batch process.
  • an unauthorized request process such as account suspension is executed (S903).
  • both geometric normalization and optical normalization are performed, but it is obvious that the present invention can be realized by any one of them.
  • optical normalization only one of luminance normalization and color normalization may be performed.
  • the normalized image and the authenticated image may be images including posted items.
  • the case where two or more types of posting images are stored in the mobile terminal storage unit and the server storage unit has been described.
  • the processing related to the posting ID can be omitted.
  • the processing related to the position information can be omitted. It is also possible to obtain the browsing image by associating the position information with the reference bulletin image and comparing only the reference bulletin image in the vicinity of the position of the mobile terminal image captured by the mobile terminal device.
  • the example in which the distance or the average distance is used as the similarity between images has been described. However, any image may be used as long as the similarity between images can be evaluated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)

Abstract

掲示物の閲覧確認のためのシステム、プログラム、携帯端末装置、サーバ及び方法を提供すること。　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるシステムであって、前記システムは携帯端末装置及びサーバを備え、前記携帯端末装置は、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備え、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶するサーバ記憶部を備え、前記携帯端末制御部は、閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信し、前記サーバ制御部は、閲覧確認要求に基づいて閲覧画像が正当であるか否かを判定するシステム。

Description

閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
　本発明は、掲示物の閲覧確認のためのシステム、プログラム、携帯端末装置、サーバ及び方法に関する。
　店舗等の所定の場所を訪れた者に対して店舗やオンラインゲームにおける特典を与えるサービスが知られている。特許文献１においては、店舗内に投影された特定の映像を携帯端末装置で撮像すると特典を与えるシステムが開示されている。特許文献２は、ＧＰＳを用いて位置を特定し、登録された店舗等を訪問したことを確認するチェックイン処理を実行してネットゲームのためのポイントを提供するシステムを開示する。また、特許文献３は、特定の画像を携帯端末装置で撮像させて、撮像された画像が正しい画像である場合に特典を付与するシステムを開示する。
特開２０１６－０６２２７３号公報 特開２０１３－０００５５２号公報 特開２００９－１６９５８６号公報
　所定の場所を訪れた携帯端末装置のユーザに対して店舗やゲーム等の特典を与えるサービスを提供する際に、特徴的な画像を印刷したポスター等を掲示し、これを携帯端末装置を用いて撮像させてサーバへ送信させることにより、ユーザの訪問を確認することが可能ではある。しかし、他人が撮像したポスターの画像を複製等によって容易に入手することができ、これをサーバへ送信することにより、実際に掲示場所を訪問しなくとも不正に特典を取得することができる。また、多数印刷された同一の掲示物を複数の場所に掲示した場合に、掲示物を撮像した画像のみでは、ユーザが撮像した掲示物がいずれの場所に掲示された掲示物であるのかを識別することはできない。場所を識別する二次元コードを掲示物に貼付することにより、撮像された画像の掲示位置を特定することが可能である。しかし、掲示場所毎に異なる二次元コードを作成して各掲示物に貼付する必要があるため、単価を大きく上昇させるとともに既存の掲示物の製造・流通経路を変更することを要求する。
　ＧＰＳを用いてユーザ等の位置を特定するシステムを採用した場合、悪意のある者が位置情報を改竄することによって、実際には掲示場所を訪れていないにもかかわらず、そこを訪れたと偽って特典を不正に取得されるおそれがある。
　ＢＬＥ（Bluetooth（登録商標） Low Energy）ビーコンや近距離型の無線通信（ＮＦＣ（Near Field Radio Communication））を用いて、所定の場所にユーザが訪問したことを検知することも可能である。例えば、ＢＬＥビーコンと呼ばれる超小型デバイスが、ＵＵＩＤやＵＲＬを埋め込んだＢＬＥのAdvertisingパケットを周囲にブロードキャストし、これを受信した携帯端末装置に現在位置に応じた動作を取らせることが可能である。ＮＦＣは、ＮＦＣを搭載する携帯端末装置と、ＮＦＣリーダとの間においてセキュアな通信セッションをアドホックに確立する。これにより、ペアリング等の追加処理なくＮＦＣリーダに携帯端末を近づけるだけで、所定位置での閲覧の認証を得る機能を容易に実現することができる。
　しかし、ＢＬＥビーコンやＮＦＣのための装置は印刷物と比較して高価であり、全国に数千件の装置を設置した場合のコストは高額になる。また、ＢＬＥビーコン方式では、不正なアプリケーションを用いてビーコンを受信することができ、そのビーコンをネットワーク上に転送するスニッフィングにより、１台のデバイスが複数のデバイスの代理を行い、遠隔地に存在するユーザのための認証を得ることができる。ＮＦＣは高いセキュリティ機構を実現しているが、ＮＦＣを搭載するスマートフォン等の携帯端末装置は限定されている。したがって、ＮＦＣ方式を採用した場合、多数の利用者へサービスを提供することは難しい。さらに、ＮＦＣは決済システムに用いられているため、安易にスマートフォンをＮＦＣリーダにかざす、という行為に抵抗を感じる利用者もいる。
　本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、本発明の一実施態様におけるシステムは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるシステムであって、前記システムは携帯端末装置及びサーバを備え、前記携帯端末装置は、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備え、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶するサーバ記憶部を備え、前記携帯端末制御部は、前記位置情報取得部を用いて携帯端末位置情報を取得し、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信し、前記サーバ制御部は、前記閲覧確認要求を前記サーバ通信部を用いて受信し、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する。
　前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像と前記閲覧画像とを比較して、前記閲覧画像における掲示物の画像の配置を示す配置情報を生成することを含み、前記正規化情報は前記配置情報を含み、前記サーバ記憶部に記憶された認証済画像は掲示物の周辺部の正規化された画像であり、前記サーバ制御部が前記正規化情報に基づいて正規化することは、前記掲示物の配置情報に基づいて前記閲覧画像のうち前記掲示物の周辺部の画像を抽出することを含むようにしてもよい。
　前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像及び前記閲覧画像における掲示物の画像の輝度及び色彩の差分を演算して、演算された輝度及び色彩の差分に基づく光学的補正情報を生成することを含み、前記正規化情報は前記光学的補正情報を含む、前記サーバ制御部が前記正規化情報に基づいて正規化画像を生成することは、前記光学的補正情報に基づいて、前記閲覧画像の輝度及び色彩を補正することを含んでもよい。
　また、前記サーバ制御部が前記正規化画像と前記認証済画像との類似性を演算することは、前記閲覧画像及び認証済画像をそれぞれ２以上の領域に分割し、前記分割された閲覧画像及び認証済画像の対応する領域毎の類似性を演算し、前記領域毎の類似性及び各領域に割り当てられた重み付けに基づいて閲覧画像と認証済画像との類似性を演算すること、を含み、前記重み付けは認証済画像における対応する領域間の類似性のばらつきに基づいて決定されるようにしてもよい。
　さらに、前記サーバ制御部は、前記類似性に基づいて前記閲覧画像が正当であると判定された場合、前記サーバ記憶部に前記正規化画像を認証済画像として掲示場所の位置情報に紐付けて記憶してもよい。
　前記携帯端末記憶部は２種類以上の掲示物の画像を掲示物の種類を示す掲示物識別情報と紐付けて記憶し、前記閲覧確認要求は、前記領域内に撮像されている掲示物の掲示物識別情報を更に含み、前記サーバ記憶部に記憶される認証済画像は掲示物識別情報に紐付けられ、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択することは、前記閲覧確認要求に含まれる掲示物識別情報に紐付けられた認証済画像を選択することを含んでもよい。
　本発明の一実施態様における携帯端末装置は、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置であって、前記携帯端末制御部が、前記位置情報取得部を用いて携帯端末位置情報を取得し、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する。
　本発明の一実施態様におけるサーバは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるサーバであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記サーバ制御部は、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信し、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する。
　さらに本発明の一実施態様における携帯端末装置のためのプログラムは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記プログラムは、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置に、前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、を実行させる。
　さらに本発明の一実施態様におけるサーバのためのプログラムは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記プログラムは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備えるサーバに、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、を実行させる。
　本発明の一実施態様の携帯端末において実行される方法は、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置によって実行される方法であって、前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、を含む。
　本発明の一実施態様のサーバによって実行される方法は、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、サーバによって実行される方法であって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報に基づく閲覧画像に含まれる掲示物の位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記前記サーバは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記方法は、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、を含む。
　本発明によれば、悪意のある利用者が不正に認証を得ることを防止する閲覧確認システムを安価に実現することができる。本発明は、不正を防止する高い耐タンパ性を有するとともに、複製が容易なポスター等の掲示物を用いることができるから、安価に実現することができる。また、本発明において用いられる携帯端末装置は特殊な機能を必要としないから、多数の利用者へ閲覧確認サービスを提供することができる。一度認証された画像を認証済画像としてサーバに登録する構成とすれば、閲覧確認システムは自律的に成長し、より精度の高い不正検出を実現することができる。
本発明の一実施形態に係るシステムの全体構成である。 本発明の一実施形態に係る携帯端末装置のハードウェア構成図である。 本発明の一実施形態に係るサーバのハードウェア構成図である。 本発明の一実施形態に係る携帯端末装置の機能ブロック図である。 本発明の一実施形態に係るサーバの機能ブロック図である。 本発明の一実施形態に係る情報処理を示すフローチャートである。 本発明の一実施形態に係る携帯端末装置の情報処理を示すフローチャートである。 本発明の一実施形態に係る画面表示例を示す図である。 本発明の一実施形態に係るサーバの情報処理を示すフローチャートである。 本発明の一実施形態に係る正規化画像の分割を示す図である。 本発明の一実施形態に係る画像間距離の概念を示す図である。 本発明の一実施形態に係る各領域毎の認証済画像間の凝縮性を模式的に示した図である。
　以下、図面を参照して、本発明の一つの実施形態を説明する。本実施形態に係る閲覧確認システム１００は、図１に示すように、ネットワーク１１０を介して接続された１以上の携帯端末装置１２０とサーバ１３０を備えるシステムによって実現することができる。
　本実施形態における携帯端末装置１２０は、掲示物を撮像してネットワーク１１０を介してサーバ１３０へ送信する装置であり、例えば、携帯電話機、スマートフォン、タブレット端末、携帯ゲーム機及びデジタルカメラ等の携帯型装置とすることができる。携帯端末装置１２０は、処理装置２０１、表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６、通信装置２０７及びバス２０８を備える。記憶装置２０６はプログラム２０９を格納する。
　処理装置２０１は、プログラム２０９、入力装置２０３からの入力データ、撮像装置２０４からの撮像データ、位置情報取得装置２０５または通信装置２０７から受信したデータ等に基づいて、ウェブブラウザ等のアプリケーションの実行、画像処理などの各種の処理を行う。処理装置２０１は、携帯端末装置１２０が備える各装置を制御するプロセッサを備えており、プロセッサが含むレジスタや記憶装置２０６をワーク領域として各種処理を行う。これらの各構成部はバス２０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
　表示装置（ディスプレイ）２０２は、処理装置２０１の制御に従って、アプリケーション画面や撮像装置２０４によって撮像された画像を表示する。好ましくは液晶ディスプレイであるが、有機ＥＬを用いたディスプレイやプラズマディスプレイ等であってもよい。
　入力装置２０３は、タッチパネル、タッチパッド、入力ボタン等のようにユーザからの入力を受け付ける機能を有するものである。携帯端末装置１２０が入力装置２０３としてタッチパネルを備える場合、タッチパネルは表示装置２０２としても機能し、表示装置２０２と入力装置２０３は一体となった構造である。表示装置２０２と入力装置２０３は、別の位置に配置される別個の形態であってもかまわない。撮像装置２０４は、実空間領域の静止画ないし動画を撮像するものである。位置情報取得装置２０５は、携帯端末装置の現在位置を示す情報を取得するものであり、例えばＧＰＳセンサやＷｉＦｉのＳＳＩＤ等に基づいて位置を特定する装置とすることができる。
　記憶装置２０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。例えば携帯端末装置１２０がスマートフォンである場合はＲＯＭ及びＲＡＭを含む。記憶装置２０６には、プログラム２０９や当該プログラムの実行に伴って参照されうる各種のデータが記憶される。プログラム２０９は、オペレーティングシステム、またはビデオゲーム、ウェブブラウザ等のプレイヤ入力を要求するあらゆるアプリケーションのためのプログラムやデータを含む。
　通信装置２０７は、移動体通信、無線ＬＡＮ等の無線通信やイーサネット（登録商標）ケーブル、ＵＳＢケーブル等を用いた有線通信を行う。この通信装置２０７によって、プログラムをサーバ１３０からダウンロードして、記憶装置２０６に格納することもできる。ＣＤ／ＤＶＤ等の光学ディスクにプログラムを格納し、通信装置２０７に光学ドライブを接続して、光学ディスクからプログラム等を読み込んで記憶装置２０６に格納してもよい。
　図３は本実施形態に係るサーバ１３０のハードウェア構成を示すブロック図である。サーバ１３０は、処理装置３０１、表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７を備える。これらの各構成部はバス３０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
　処理装置３０１は、サーバ１３０が備える各装置を制御するプロセッサを備えており、記憶装置３０６をワーク領域として各種処理を行う。表示装置３０２はサーバのユーザに情報を表示する機能を有する。入力装置３０３はキーボードやマウス等のようにユーザからの入力を受け付ける機能を有するものである。
　記憶装置３０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ハードディスクにはプログラム３０９が記憶される。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。記憶装置３０６には、プログラム３０９や当該プログラムの実行に伴って参照され得る各種のデータが記憶される。
　通信装置３０７はイーサネット（登録商標）ケーブル等を用いた有線通信や移動体通信、無線ＬＡＮ等の無線通信を行い、ネットワーク１１０へ接続する。
　図４は本発明の携帯端末装置１２０の機能ブロック図の一例を示す。携帯端末装置１２０は、携帯端末制御部４０１、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５、携帯端末記憶部４０６及び携帯端末通信部４０７を備える。
　携帯端末表示部４０２はユーザに提示するための情報を表示する。携帯端末入力部４０３はユーザからの入力を受け付ける。撮像部４０４は実空間領域の静止画ないし動画を撮像する。位置情報取得部４０５は携帯端末装置１２０の現在位置情報を取得する。
　携帯端末記憶部４０６は、所定の掲示場所に掲示された掲示物の画像である基準掲示物画像を掲示物の種類を示す掲示物識別情報（ＩＤ）に紐付けて記憶する。本実施形態においては、掲示物の種類が複数あるものとするが、１種類だけであってもかまわない。する。基準掲示物画像が１種類しかない場合は、基準掲示物画像は掲示物ＩＤと紐付けて記憶されなくともよい。基準掲示物画像は、例えば、サーバ１３０から閲覧確認用アプリケーションに含めて携帯端末装置１２０の記憶部４０６にダウンロードすることができる。携帯端末記憶部４０６に記憶された基準掲示物画像は、サーバ１３０から通信部４０７を介して受信される情報に基づいて、所定のタイミングで更新することができる。例えば、特典付与のためのゲームイベントの更新のタイミングや一定期間毎に基準掲示物画像をダウンロードして更新することができる。閲覧確認用アプリケーションをウェブブラウザとして、閲覧画像を撮影するためのウェブサイトへアクセスした際に基準掲示物画像をダウンロードしてもよい。
　携帯端末の制御部４０１は、位置情報取得部４０５を用いて携帯端末位置情報を取得し、携帯端末記憶部４０６に記憶された基準掲示物画像と撮像部４０４によって撮像された空間の画像とを比較して、基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する。そして、携帯端末制御部４０１は、掲示物が所定の領域内に撮像されていると判定すると、所定の領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、この掲示物の基準掲示物画像と取り込まれた閲覧画像における掲示物の画像とを比較して、基準掲示物画像を基準として閲覧画像を正規化するための正規化情報を生成し、閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を携帯端末通信部４０７を用いてサーバ１３０へネットワーク１１０を介して送信する。本実施形態においては、撮像部４０４によって撮像された画像に含まれる掲示物の種類を特定し、特定された種類の掲示物ＩＤを閲覧確認要求に含める。
　本実施形態において携帯端末制御部４０１は、図２に記載されたハードウェア構成に含まれるプログラム２０９が処理装置２０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５及び携帯端末記憶部４０６及び携帯端末通信部４０７はそれぞれ図２に記載した表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６及び通信装置２０７の各ハードウェアによって実現されるが、プログラム２０９が処理装置２０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
　図５は本発明のサーバ１３０の機能ブロック図の一例を示す。サーバ１３０は、サーバ制御部５０１、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７を備える。
　サーバ表示部５０２はサーバのユーザに提示するために情報を表示する。サーバ入力部５０３はユーザからの入力を受け付ける。サーバ記憶部５０６は、所定の掲示場所に掲示された掲示物の画像である基準掲示物画像を掲示物ＩＤに紐付けて記憶する。基準掲示物画像が１種類しかない場合においては、基準掲示物画像は掲示物ＩＤと紐付けて記憶されなくともよい。さらにサーバ記憶部５０６は、正当と判定された閲覧画像の正規化画像である１つ以上の認証済画像もまた記憶する。認証済画像は当該認証済画像に含まれる掲示物の掲示場所の位置情報に紐付けて記憶する。掲示場所の位置情報は、閲覧画像を撮像した際に携帯端末装置１２０によって取得された位置情報を用いることもできるし、他の記憶されている認証済画像の位置情報を用いることもできる。最初に記憶された認証済画像の位置情報は管理者によって入力してもよい。サーバ通信部５０７は無線または有線によって情報を送受信する。
　サーバ制御部５０１は、携帯端末装置１２０からの要求に応じて記憶部５０６に記憶された基準掲示物画像をその紐付けられた掲示物ＩＤとともに通信部５０７を介して携帯端末装置１２０へ送信する。また、基準掲示物画像が更新されたタイミング等の所定のタイミングで、記憶部５０６から基準掲示物画像を読み出し、携帯端末装置１２０へ送信し、携帯端末装置１２０における基準掲示物画像の更新を行うことができる。
　サーバ制御部５０１は、携帯端末装置１２０から送信された閲覧確認要求をサーバ通信部５０７を用いて受信し、受信した閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する。閲覧画像が加工されていないと判定した場合、閲覧画像を正規化情報に基づいて正規化した正規化画像を生成し、閲覧確認要求に含まれる位置情報、認証済画像に紐付けられた位置情報に基づいて、サーバ記憶部５０６に記憶された認証済画像から閲覧画像に対応する１以上の認証済画像を選択する。本実施形態においては、認証済画像は、閲覧確認要求に含まれる掲示物ＩＤ及びサーバ記憶部５０６に記憶された掲示物ＩＤにも基づいて選択される。この選択された１以上の認証済画像と正規化画像を比較して、正規化画像と認証済画像との類似性を演算し、類似性に基づいて閲覧画像が正当であるか否かを判定する。閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する。
　本実施形態においてサーバ制御部５０１は、図３に記載されたハードウェア構成に含まれるプログラム３０９が処理装置３０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７はそれぞれ図３に記載した表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７の各ハードウェアによって実現されるが、プログラム３０９が処理装置３０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
　次に、本実施形態における携帯端末装置１２０及びサーバ１３０の動作のフローチャートを図６に示した。本実施形態においては、携帯端末装置１２０であるスマートフォンのユーザがプレイしているオンラインゲームにおけるアイテムを取得するために、ユーザは複数の場所に掲示された掲示物であるポスターを閲覧することを求められている場合を例にとって説明する。ユーザはポスターの掲示場所を実際に訪れ、閲覧確認用アプリケーションでポスターを撮像して、サーバ１３０へ送信し、サーバ１３０において正当な閲覧画像として認証がなされると、ユーザが実際にその場所を訪問してポスターを閲覧したと認められ、このユーザのゲームアカウントに対してアイテムが配布される。本実施形態において掲示物は紙に印刷されたポスターとするが、情報等を提示するために掲示するものであれば液晶パネル等の表示装置や看板であってもよい。
　まず、本実施形態においてユーザはプログラム２０９として閲覧確認用アプリケーションを携帯端末装置１２０にダウンロードしてインストールし、いずれかの掲示場所を訪れてポスターを閲覧する。ユーザがポスターの画像を撮像するために携帯端末装置１２０における閲覧確認用アプリケーションを起動すると、携帯端末装置１２０が閲覧確認要求処理（Ｓ６０１）を開始する。閲覧確認要求処理において携帯端末装置１２０の制御部４０１が撮像部４０４を用いて、ポスター及びその周辺部の画像を閲覧画像として撮像し、この閲覧画像を含む閲覧確認要求をサーバ１３０へ通信部４０７を介して送信する。
　サーバ１３０は閲覧確認要求を受信して、閲覧確認処理を実行する（Ｓ６０２）。閲覧確認処理においてサーバ１３０は、ユーザによる閲覧が不正であるか否かを判定する。ユーザが実際に掲示場所を訪れていないにもかかわらず、掲示場所を訪れたものと偽って閲覧確認要求を行った場合には、この閲覧は不正な閲覧とする。ユーザが掲示物が掲示されている場所を実際に訪れて閲覧して閲覧確認要求を行った場合には、この閲覧は正当な閲覧とする。サーバ１３０は閲覧が不正であるか否かの判定結果に基づく処理を行う。
　本実施形態における閲覧確認要求処理（Ｓ６０１）のより具体的な処理内容を図７に示す。ユーザが携帯端末装置１２０における閲覧確認用アプリケーションを起動すると、閲覧確認要求処理が開始される。
　携帯端末制御部４０１は位置情報取得部４０５を用いて現在の携帯端末装置１２０の位置情報を取得し（Ｓ７０１）、基準掲示物画像のためのカウンタｄを０にセットする（Ｓ７０２）。本実施形態においては記憶部４０６にはＤ個の基準掲示物画像が記憶され、これらのいずれかがユーザによって撮像された画像に含まれているかを順次判定する。基準掲示物画像は例えば格納されたメモリ番号順に比較の対象とされる。
　ユーザは携帯端末装置１２０の撮像部４０４をポスターに向けて、ポスターの撮像を試みる。撮像部４０４は向けられた方向の実空間を撮像する（Ｓ７０３）。そして、記憶部４０６に記憶された基準掲示物画像のうちのｄ番目（０≦ｄ＜Ｄ）の基準掲示物画像と撮像部４０４によって撮像された空間の撮像画像と比較して（Ｓ７０４）、基準掲示物画像内の掲示物（ポスター）が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する（Ｓ７０５）。ポスターが撮像されるべき所定の領域は、撮像部４０４によって撮像可能な領域の全体よりも小さい領域とする。したがって、撮像部４０４はポスターを所定の領域内で撮像するとともにポスターの周辺部も同時に撮像する。
　ユーザによって撮像されたポスターの画像と正当であると既に認定されたポスターの画像とを比較するだけでは、ユーザの画像が、複製によって取得されたポスターの画像であるのか、実際に掲示場所を訪れて撮像されたポスターの画像であるのかを判定することは困難である。また、同じポスターが複数箇所に掲示されている場合には、異なる掲示場所に掲示されたポスターであってもその撮像画像は実質的に同じ画像となる。このため一つの掲示場所を訪れて閲覧画像を撮像したユーザが、この閲覧画像を他の掲示場所の閲覧画像として利用することを防止することはできない。しかし、ポスターの周辺を含んだ画像は、例えば、通行人が映り込んだり、日陰の位置が変わったりするため、撮影する時間が異なれば、完全に同じ画像とはならない。また、ポスターの周辺部はポスターの掲示場所毎に異なるから、ポスターの周辺部を含む画像は掲示場所毎に異なるものとなる。そこで、本発明においては、ポスターの画像とともにポスターの周辺部も併せて撮像させることにより、閲覧画像が複製によって取得された画像であるか否かを判定することを可能とするとともに、撮像場所毎に区別して正当な閲覧画像を判定することを可能とする。
　ｄ番目の基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されていると判定されない場合には（Ｓ７０５）、カウンタｄをカウントアップし（Ｓ７０６）、判定すべきすべての基準掲示物画像と撮像画像とを比較したかを判定する（Ｓ７０７）。すべてについて判定していない場合には次の基準掲示物画像が撮像画像に掲示物が撮像されているかを判定する（Ｓ７０４、Ｓ７０５）。すべての基準掲示物画像と撮像画像との比較を行ったと判定された場合には（Ｓ７０７）、カウンタｄをリセットし（Ｓ７０２）、新たな空間の画像を撮像し（Ｓ７０３）、この撮像画像に対して基準掲示物画像との比較を実行する。いずれかの基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されていると判定されるまでＳ７０２～Ｓ７０５の処理を繰り返し実行する。
　図８に１つの実施例としての表示部４０２に表示される閲覧確認用アプリケーションの表示画面８００を示す。図８（ａ）に示すように、表示部４０２は、撮像部４０４によって撮像された空間の画像とともに、ポスター８０２を納めるべき所定の領域を示す枠８０１及びポスター全体を枠内に入れるように指示するメッセージを表示する。ここでは表示部４０２には撮像部４０４の撮像領域の全体８０３が表示され、枠８０１はこの全体の領域よりも小さい領域である。このため、ポスター８０２が枠８０１に収められた際には枠８０１の外側領域にはポスター８０２の周辺の画像８０５が表示される。枠８０１内にポスターを収めるように指示されることにより、ユーザは携帯端末装置１２０を移動させる。これにより、ポスター画像と周辺画像との相対的な位置関係が一定な撮像画像を得ることを可能とする。すなわち、幾何学的正規化を行うことができる。
　基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する処理（Ｓ７０４、Ｓ７０５）は、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量を用いたキーポイントマッチング技術を用いることにより実現できる。具体的には、基準掲示物画像内の特徴的な点（キーポイント）を予め検出して閲覧確認用アプリケーションの一部として記憶部４０６に格納しておく。そして、この予め格納された基準掲示物画像の特徴点（キーポイント）を所定の領域（枠８０１）内に重畳させ、撮像部４０４が撮像して得た画像の特徴点がこの所定の領域内に重畳された特徴点と重なっている場合、基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されていると判定する。基準掲示物画像の特徴点と撮像された画像の特徴点とは完全に重なる必要はない。例えば、所定数の特徴点が所定のずれの範囲で重なった場合には、所定の領域内に掲示物が撮像されていると判定することができる。
　ユーザが携帯端末装置１２０を動かして、所定の領域内にポスターを納めることに成功すると、基準掲示物画像のポスターが撮像された空間の画像における所定の領域内に撮像されていると判定され（Ｓ７０５）、所定の領域内に撮像されたポスター及びその周辺部を含む空間の画像が、以降の処理のために閲覧画像として取り込まれる（Ｓ７０８）。本実施形態においては、閲覧画像に撮像されていると判定されたポスターの基準掲示物画像に紐付けられた掲示物ＩＤを特定する。本実施形態においては、各携帯端末装置が掲示物の種類を特定する処理を実行するから、大量の閲覧確認要求が同時になされた場合であっても各携帯端末装置へ負荷が分散され、サーバへの負荷を軽減することができる。
　本実施形態において、ポスターが所定の枠内に収まったときの撮像画像を閲覧画像として取り込む処理はユーザの入力によらず携帯端末装置１２０によって自動的に実行され、この閲覧画像のための正規化情報を生成するステップ（Ｓ７０９）へ移行する。図８（ｂ）に示すように、閲覧画像の取り込みに成功したことをユーザに伝えるためのメッセージとともに閲覧画像をサーバに送信して閲覧確認要求を送信するか再度撮影し直すかを問い合わせるメッセージを表示部４０２に表示し、入力部４０３が再度取り直すための入力を受け付けた場合にはＳ７０２へ戻り、サーバ１３０へ送信するための入力を受け取った場合に次のステップ（Ｓ７０９）へ移行するようにしてもよい。
　Ｓ７０９において、ポスターの基準掲示物画像と閲覧画像におけるポスターの画像とを比較して、基準掲示物画像を基準として閲覧画像を正規化するための正規化情報を生成する。正規化情報生成のために比較される基準掲示物画像はＳ７０５において閲覧画像の所定の領域内に撮像されていると判定されたポスターの基準掲示物画像である。ポスター及びポスターの周辺部を撮像した画像は、ポスターを撮像する際のポスターと撮像部４０４との相対的位置、携帯端末装置１２０の機種間の撮像部４０４の特性差や光源状態の差等によって、同じポスター及び周辺部の画像であっても異なる画像となる。このため、閲覧画像と既に正当であると判定された閲覧画像とを比較しただけでは、両者が同じ場所に掲示された掲示物の画像であるにもかかわらず、両者の共通性が低くなり、同じ場所で撮影された画像であると判定されない可能性が高くなる。撮像部４０４の特性の違いや光源状態の違いがある場合であっても、掲示物画像と周辺画像との幾何学的、光学的関係は固定される。そこで本発明においては、基準掲示物画像を基準点として閲覧画像を正規化することにより、撮像環境の相違による共通性の低下を効果的に排除する。
　本実施形態においては正規化として幾何学的正規化及び光学的正規化を行う。幾何学的正規化のための正規化情報は、閲覧画像におけるポスター画像部分と周辺画像部分との幾何学的関係を特定する幾何学的補正情報を含む。前述のとおり、本実施形態においては、ポスターを撮像する際に携帯端末装置１２０の位置を誘導することにより、撮像画像中のポスターの配置を所定の配置にする、すなわち、幾何学的正規化を行う。しかし、基準掲示物画像の特徴点と撮像された画像の特徴点とが完全に一致することを要求しない場合には、閲覧画像におけるポスターの配置は完全に一定ではない。そこで、携帯端末制御部４０１が基準掲示物画像と閲覧画像とを比較して、閲覧画像におけるポスター画像の配置を特定し、幾何学的補正情報を生成する。
　具体的には、閲覧画像と携帯端末記憶部４０６に格納されたポスターの基準掲示物画像とをキーポイントマッチングにより比較して所定の領域内のポスター部分の配置を特定する。そして、幾何学的補正情報として、閲覧画像におけるポスター部分の配置を特定する配置情報を生成する。配置情報は、閲覧画像におけるポスター部分の左下端の座標（ｘ，ｙ）とポスター部分の幅（ｗ）及び高さ（ｈ）を含む。
　光学的正規化のため正規化情報は、基準掲示物画像及び閲覧画像におけるポスターの画像の輝度や色彩の差分を演算して得られた光学的補正情報を含む。光学的補正情報を生成することにより、携帯端末装置１２０の機種間の撮像部４０４の特性差や光源状態の差があっても、閲覧画像が正当なものであるか否かを判定することが可能となる。
　本実施形態においては光学的補正情報を生成するために、前述の幾何学的補正情報である配置情報に基づいて、閲覧画像からポスター部分を切り出したポスター画像Ｑを生成する。そして、この生成されたポスター画像Ｑと記憶部４０６に格納されたこのポスターの基準掲示物画像Ｔとの平均輝度差分を－１～１の実数として計算する。この平均輝度差分averageBrightnessDiff(T,Q)を、次のように定義する。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｔiは基準掲示物画像Ｔにおけるｉ番目のピクセルであり、Ｑiは閲覧画像から切り出したポスター画像Ｑにおけるｉ番目のピクセルである。brightness()は、引数として与えられたピクセルの輝度を算出する関数である。Ｎは画像のピクセル総数である。この関数へ渡される画像は、同一のピクセル数となるように正規化されていることが好ましい。
　また、色彩差分の計算においては、均等性のある色空間上での色の距離系である、godlove色差式（Godlove, I. H.: Improved Color-Difference Formula, with Applications to the Perceptibility and Acceptability of Fadings, Journal of the Optical Society of America, 41(11), pp.760-770, (1951)）や、CIE2000（Luo, M. R., Cui, G., & Rigg, B., "The development of the CIE 2000 colour-difference formula: CIEDE2000", Color Research & Application, Volume 26, Issue 5, October 2001, pp. 340-350, DOI: 10.1002/col.1049）を用いることができる。例えば、ＨＳＶ空間上の距離として一般的に知られるgodlove色差式Δgodloveは、次のように定義できる。
Figure JPOXMLDOC01-appb-M000002
　この色差式を用いて、基準掲示物画像Ｔと閲覧画像から切り出したポスター画像Ｑとの平均色彩差分averageColorDiff(T,Q)は、次のように定義できる。
Figure JPOXMLDOC01-appb-M000003
　前述のとおり、本実施形態においては、正規化情報として幾何学的補正情報と光学的補正情報とを含む。閲覧画像におけるポスター部分の配置情報を幾何学的補正情報とし、平均輝度差分averageBrightnessDiff(T,Q)及び平均色彩差分averageColorDiff(T,Q)を光学的補正情報とする。しかし、正規化情報として幾何学的補正情報及び光学的補正情報の一方のみ含んでもよいし、光学的補正情報として輝度補正情報及び色彩補正情報の一方のみを含んでもよい。
　次に、携帯端末装置１２０の制御部４０１は通信部４０７を用いて閲覧確認要求をサーバ１３０へネットワーク１１０を介して送信する（Ｓ７１０）。閲覧確認要求は、ユーザを識別するユーザＩＤ、基準掲示物画像の掲示物ＩＤ、閲覧画像、正規化情報及び携帯端末位置情報を含む。基準掲示物画像の掲示物ＩＤはＳ７０５において閲覧画像の所定の領域内に撮像されていると判定されたポスターの基準掲示物画像に紐付けられた掲示物ＩＤである。
　次に、図９に示したフローチャートに基づいて、サーバ１３０で実行される閲覧確認処理（Ｓ６０２）の具体的な処理を説明する。本実施形態では、チート行為、すなわち、ポスターを実際に閲覧していないにもかかわらず、複製や加工された画像を用いて閲覧確認要求を行い特典を取得しようとする行為の検出を２段階に分けて実行する。
　第１の段階においては閲覧画像を不正に加工したことを検出する。第２の段階においてはサーバに格納された１以上の認証済画像を用いて外れ値または過剰近似値を持つ閲覧画像を検出し、掲示場所で撮像された画像ではない閲覧画像及び他の閲覧画像の複製等によって不正に取得した可能性が高い閲覧画像を検出する。
　Ｓ９０１において、サーバ１３０は、携帯端末装置１２０から送信された閲覧確認要求を通信部５０７を介して受信する。そして、受信された閲覧確認要求に含まれる閲覧画像が不正に加工されていないかを検証する（Ｓ９０２）。画像が不正に加工されたか否かを検証する方法としては、A. E. Dirik and N. Memon, "Image tamper detection based on demosaicingartifacts," 2009 16th IEEE International Conference on Image Processing(ICIP), Cairo, 2009, pp. 1497-1500やMinati Mishra, Flt. Lt. Dr. M. C. Adhikary, "Digital Image Tamper DetectionTechniques - A Comprehensive Study," International Journal of ComputerScience and Business Informatics, Vol.2, No.1. ISSN: 1694-2108 , June 2013に示されているとおり、様々な方法が知られている。本発明においては、画像が不正に加工されたか否かを検証する方法であればいかなる方法であってもよい。
　閲覧画像が不正に加工されていると判定された場合には、閲覧確認要求は不正な閲覧による不正な要求であるとして、不正要求処理を行う（Ｓ９０３）。例えば、閲覧確認要求に含まれるユーザＩＤに基づいて、当該ユーザのオンラインゲームアカウントを使用停止にする。
　閲覧画像が不正に加工されていないと判定された場合には、閲覧確認要求に含まれる正規化情報に基づいて閲覧画像を正規化し、正規化画像を生成する（Ｓ９０４）。閲覧画像を正規化することにより、撮像環境の相違による共通性の低下を効果的に排除する。本実施形態においてはまず、正規化情報に含まれる幾何学的補正情報である配置情報に基づいて幾何学的正規化を行う。前述のとおり、配置情報は、閲覧画像におけるポスター部分の左下端の座標（ｘ，ｙ）とポスター部分の幅（ｗ）及び高さ（ｈ）を含む。サーバ制御部５０１が配置情報に基づいて閲覧画像からポスター以外の画像、すなわち、ポスターの周辺画像を抽出することにより、幾何学的正規化を行う。
　次に、抽出された周辺画像に対して正規化情報に含まれる光学的補正情報に基づいて光学的正規化を行う。光学的正規化は輝度補正と色彩補正に分けられる。輝度補正は、周辺画像の各ピクセルを以下の式に基づいて補正する。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｒ,ｇ,ｂは、補正対象となる周辺画像のある特定のピクセルのＲＧＢの値であり、この関数brightnessCompensation(r, g, b, BC)によって得られた行列の各要素を輝度補正されたｒ,ｇ,ｂとする。ｒ,ｇ,ｂの演算結果は、上限値２５５、下限値０で飽和することが好ましい。ＢＣは輝度補正のための係数であり、本実施形態においては前述の平均輝度差分averageBrightnessDiff(T,Q)で得られた値とする。
　色彩補正は、averageColorDiff(T,Q)に基づいて色空間上の距離と移動方向（ベクトル）を算出し、そのベクトルと合成した特徴ベクトルを用いて行う。
　次に、正規化画像に対応する１つ以上の認証済画像をサーバ記憶部５０６から選択して読み出す（Ｓ９０５）。認証済画像は、所定の掲示場所に掲示された掲示物の閲覧画像として正当なものと判定された画像に基づく画像である。本実施形態においては、認証済画像は正当な画像と判定された閲覧画像を、Ｓ９０４に関連して説明した正規化処理により正規化した画像である。認証済画像はポスターの周辺画像を含むから、掲示物の種類が同じであっても掲示場所毎に異なる画像となる。また、同じ掲示場所であっても撮像時間等によってある程度の類似性を保ちつつも異なる認証済画像となる。認証済画像は、本システムの管理者が予め掲示場所にて閲覧して撮像した画像に基づくものとすることができる。さらに、後述するとおり、ユーザによって送信された閲覧画像のうち正当なものと判定された画像に基づいて新たな認証済画像を登録することによって、サーバ記憶部５０６に記憶された認証済画像を増やしていくことができる。認証済画像は、掲示物ＩＤ及び位置情報に紐付けてサーバ記憶部５０６に記憶される。位置情報はその掲示場所を示す情報であり、本実施形態においては緯度及び経度とする。掲示場所の位置情報は、閲覧画像を撮像した際に携帯端末装置１２０によって取得された携帯端末位置情報を用いることもできるし、既に記憶されている認証済画像の位置情報を用いることもできる。最初に記憶された認証済画像の位置情報は管理者によって入力してもよい。
　サーバ制御部５０１は、閲覧確認要求に含まれる掲示物ＩＤ及び位置情報に基づいて当該閲覧確認要求に対応する認証済画像を１つ以上選択する。例えば、閲覧確認要求に含まれる掲示物ＩＤと同じ掲示物ＩＤに紐付けられた認証済画像のうち携帯端末位置情報における緯度及び経度と比較してその差が所定値以内となる緯度及び経度の位置情報に紐付けられている認証済画像を選択する。選択される認証済画像が多いほど閲覧確認処理の正確性は向上するが、１つであっても閲覧確認処理を行うことはできる。
　次に正規化画像と選択された認証済画像との類似性を演算する（Ｓ９０６）。類似性演算においては、正規化画像を複数の領域に分割し、領域毎に色彩情報を分析する。サーバ記憶部５０６に格納された認証済画像についても領域分割及び色彩情報分析を同様の方法により実行し、その結果を予めサーバ記憶部５０６に格納しておく。正規化画像の分割は例えば図１０に示したように、ポスター部分１１００を除いた正規化画像を１００１～１００４という４つの領域に分割することができる。色彩分析された画像Ｉは次のように定義できる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ここでｒjは画像Iから分割されたｊ番目の領域のヒストグラムであり、Ｊは領域数である。ｈbはヒストグラムのｂ番目の値であり、Ｂはビン数である。なお、ヒストグラムｒjの特徴量として様々な特徴量を用いることができる。例えば、０～２５５の輝度のヒストグラムとしてもよいし、Ｒ，Ｇ，Ｂ値をそれぞれ０～２５５に分けた色彩のヒストグラムとしてもよい。また、特定の色集合にクラスタリングした後の面積比を示すヒストグラムとしてもよいし、色情報を使用せずに、テクスチャ特徴量としてもよい。
　次に、正規化画像と選択された認証済画像との類似性を演算する。本実施形態においては、正規化画像Ｑと認証済画像Ｍとの類似性としての距離distance(Q,M)を次のように定義する。distance(Q,M)は０から１までの実数を返す関数である。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｑ[0+j,b]は正規化画像Ｑのｊ番目の領域のヒストグラムにおけるｂ番目の値を意味し、Ｍ[0+j,b]は認証済画像Ｍのｊ番目の領域のヒストグラムにおけるｂ番目の値を意味する。Ｂは正規化画像Ｑおよび認証済画像Ｍのヒストグラムのビン数であり、Ｊは領域数である。この関数は、領域間の適合性評価のために式（８）に示すカラーヒストグラムの差分値（ヒストグラム・インターセクション）を用いている。
Figure JPOXMLDOC01-appb-M000008
　本実施形態におけるカラーヒストグラムの差分値は、正規化画像Ｑ及び認証済画像Ｍの対応する領域毎にヒストグラム間の差分を演算する。ヒストグラム間の差分はＬ1ノルムを１とする。したがって、ヒストグラム間の差分は最大で２であるため、２を分母として０～１に正規化する。このヒストグラム差分の二乗が、周辺画像を構成する領域毎に得られるため、それらを合計した値の平方根として、類似性としての距離を求めることができる。distance(Q,M)の式は、平均二乗誤差平方根（Root Mean Squared Error, RMSE）と呼ばれる、各データ値と他のデータ値の距離を用いて、標準的なクエリと検索対象との差の標準的な大きさを示す指数を、画像式差の距離計量に応用したものである。この実施例以外の方法としては、例えば、ヒストグラム差分の代わりに、Earth Mover's Distance（[Ofir Pele and Michael Werman. 2008. A Linear Time Histogram Metric for Improved SIFT Matching. In Proceedings of the 10th European Conference on Computer Vision: Part III (ECCV '08), David Forsyth, Philip Torr, and Andrew Zisserman (Eds.). Springer-Verlag, Berlin, Heidelberg, 495-508及びOfir Pele and Michael Werman, Fast and Robust Earth Mover's Distances, In Proceedings of the IEEE 12th International Conference on Computer Vision, November 2009）を用いた適合性評価関数等の他
の関数を用いても実現できることは明らかである。
　上述の方法により、選択された１つ以上の認証済画像Ｍの各々に対する正規化画像の距離distance(Q,M)を演算する。距離が０の場合には両画像は最も類似していることを意味し、大きくなるほど類似していないことを意味する。そして、演算された距離の平均距離averageDistance（Q）を以下のように定義する。
Figure JPOXMLDOC01-appb-M000009
　ここで、Ｓは選択された認証済画像の数であり、Ｍsはｓ番目の選択された認証済画像である。この平均距離が外れ閾値よりも大きい場合は、この正規化画像に対応する閲覧画像は不正であると判定する。また、いずれかの認証済画像との距離distance(Q,M)が過剰類似閾値以下である場合は、不正であると判定する。すなわち、平均距離が外れ閾値以下であり、すべての認証済画像との距離が過剰類似閾値より大きい場合に正当な閲覧画像と判定する。
　同じ場所に掲示されたポスターの背景を含む画像には共通性があるべきであるが、過剰に類似している場合は他の閲覧画像の複製の可能性が高い。外れ閾値は、２つの画像が同じ場所に掲示されたポスターの背景を含む画像と考えられる距離の最大値である。これよりも距離が大きい場合には共通性が低いため、同じ場所に掲示されたポスターの背景を含む画像ではないと考えられる。過剰類似閾値は、一方が他方の閲覧画像の複製ではないと考えられる距離の最小値である。これよりも距離が小さい場合には過剰に類似しているため一方は他方の複製であると考えられる。
　本実施形態においては、正規化画像及び認証済画像を４つの領域に分割する形態を説明したが、分割しなくとも本発明は実施可能である。
　また、別の実施例として、すべての認証済画像との平均距離を用いるのではなく、認証済画像のうちの重心画像群との平均距離を用いることもできる。所定の掲示場所のための認証済画像同士の距離を予め演算してその平均距離が小さい画像群を当該掲示場所における重心画像群とする。例えば、表１に示すような２つの認証済画像間で定義された距離を要素とする距離行列を作成する。Ｐ個の画像が認証済画像として存在するとき、画像間の距離を要素としたＰ×Ｐ対称行列となる。対角要素は同一画像同士の距離を示すため、すべて０となる。表１はこれに最右行として平均距離を加えたものである。
Figure JPOXMLDOC01-appb-T000010
　この距離行列に基づいて平均距離が最も小さいＺ個の画像を抽出して重心画像群として、この重心画像群を格納する配列Ｇの各要素である認証済画像と正規化画像Ｑとの平均距離を以下の式により求めることができる。
Figure JPOXMLDOC01-appb-M000011
　ここで、Ｇzは配列Ｇにおけるｚ番目の認証済画像である。この重心画像群の抽出はＳ９０５における認証済画像の選択として行うことができる。すなわち、この式では、重心として選択されている画像と、正規化画像Ｑとの距離平均を求めている。この方法では、重心となる画像群とのみ比較演算を行うため、計算量を削減し、判定処理を高速化することができる。
　本発明における画像間の距離を可視化したものを図１１に示す。図中の一つの点は一つの画像に対応している。（ａ）はサーバ記憶部５０６に格納されている認証済画像が１つのときの状態を示しており、（ｂ）～（ｅ）にかけて登録認証済画像が増えていくと、表１に示したような互いの距離を演算できるようになる。登録された認証済画像が一つであっても閲覧画像との距離の演算は可能であるが、登録された認証済画像の数が多ければ多いほど、ノイズの影響を受けにくくなり、より精度の高い類似性判定が可能となる。
　さらに変形例として、分割された領域毎に重み付けされた距離weigthedDistance(Q,M)を用いて類似性を演算することもできる。正規化画像Ｑとサーバ記憶部５０６に格納された認証済画像Ｍとの重み付き距離weightedDistance(Q,M)は、０から１までの実数を返す関数であり、次のように定義できる。
Figure JPOXMLDOC01-appb-M000012
　ここで、dist(Qj,Mj)はｊ番目の領域の類似性を計算する関数であり、例えば、ｊ番目の領域間の距離を計算する関数である。Ｑjはｊ番目の領域の正規化画像Ｑであり、Ｍjはｊ番目の領域の認証済画像であり、ｗjはｊ番目の領域のための重みを示す。この重みはサーバ記憶部５０６に格納されている認証済画像のうち同じ位置情報に紐付けられた認証済画像の対応する領域間の比較を行い、各画像の距離行列を算出することにより求めたものである。具体的には、前述のカラーヒストグラムの差分値等の適合性評価関数を用いて、各画像の領域間の距離を算出し、距離行列を生成する。この距離行列の平均距離を求めることにより、ポスターの掲示場所で、変化しやすい周辺の領域と、変化しにくい周辺の領域を検出し、変化のしにくさ（画像間の類似性のばらつき）に応じた重みを設定する。平均距離が大きく、凝縮性が低い領域（画像間の類似性がばらついている領域）は変化のしやすい領域であり、平均距離が小さく、凝縮性が高い領域変化（画像間の類似性がばらついていない領域）は変化のしにくい領域である。変化のしにくい領域については高い重みを与え、変化のしやすい領域については低い重みを与える。
　図１２に各領域の認証済画像間の距離を模式的に示した。（ａ）～（ｄ）はそれぞれ左上領域（ａ）、右上領域（ｂ）、左下領域（ｃ）、右下領域（ｄ）における各認証済画像を写像して、互いの距離関係を示している。左上領域（ａ）においては各認証済画像同士が近接しているため平均距離が小さく、凝縮性が高い領域（画像間の類似性がばらついていない領域）であることが分かる。一方、右下領域（ｄ）においては確認証済画像を写像した点同士が分散しているため、平均距離が大きく凝縮性が低い領域（画像間の類似性がばらついている領域）であることが分かる。
　各領域における認証済画像間の類似性のばらつきは、ポスターの周辺部がどのような場所であるかに依存する。例えば、ポスターがデパートの入口脇に掲示され、ポスターの右側周辺部にはデパートの入口が撮像され、左側周辺部にはデパートの壁のみが撮像されているとする。デパートの入り口にはデパート利用者が頻繁に出入りするため、右側周辺部の画像は撮像するたびに大きく異なるものとなる。一方、デパートの壁は天気や時刻に従って明度等が変化する程度であるため、左側周辺部の画像は撮像されるたびに大きく異なることはない。特に、光学的正規化を行えば、その変化は非常に小さいものとなる。
　本変形例においては、変化のしやすい領域においては、正規化画像と認証済画像との距離が大きかったとしても、それはそもそも変化のしやすい領域であることに起因するもの、例えば通行人が映り込んだことに起因するものであると考えられるから、そのような領域における距離は全体としての類似性判断への影響を小さくする。一方、変化の小さい領域での正規化画像と認証済画像との距離が大きい場合には、類似性判断において意味のある相違に起因する、例えば、異なる掲示場所の画像であることに起因する可能性が高いから、重み付けを大きくする。このように各領域の変化のしやすさに基づいて、重み付けを与えることにより、閲覧画像の正当性判断をより正確に行うことが可能となる。
　Ｓ９０７において閲覧画像が正当であると判断された場合、Ｓ９０８において当該閲覧画像の正規化画像をサーバ記憶部５０６に認証済画像としてポスターの掲示場所の位置情報に紐付けて登録し、これ以降の閲覧確認要求に対する認証済画像として使用される。これによりシステムは自律的に成長することが可能となる。Ｓ９０９において、当該閲覧画像を送信したユーザに対して、ユーザＩＤに基づいて特典付与のための処理を実行する。例えば、ユーザがプレイするオンラインゲームにおけるポイントを当該ユーザのアカウントに対して付与する。
　Ｓ９０７において閲覧画像が不正であると判断された場合、当該閲覧画像が不正なものと判定されたことをサーバ１３０の管理者に通知する（Ｓ９１０）。そして、管理者に肉眼で閲覧画像が不正なものであるか否かの判定を行わせる。これによって、実際には正当な閲覧画像であるにもかかわらず誤って不正なものと判定されることを防止することができる。特に、サーバ記憶部５０６に格納されている認証済画像が少ない場合には、類似性に基づく判定の信頼性が低いため、管理者による再判定は有効である。
　そして、管理者によって不正画像であることが確認されると、サーバ入力部５０３によって不正画像であるとの入力がなされ（Ｓ９１１）、Ｓ９０３において不正要求処理が実行される。一方、管理者によって正当な画像であると判定されると、サーバ入力部５０３によって正当な画像であるとの入力がなされ（Ｓ９１１）、Ｓ９０８において正規化画像が新たな認証済画像として登録された後、特典付与処理（Ｓ９０９）が実行される。
　他の実施例として、Ｓ９０７において正当な画像ではないと判定された場合には、管理者に通知せずに、不正要求処理（Ｓ９０３）を実行してもよい。さらに他の実施例として、Ｓ９０４～Ｓ９０９については、所定間隔毎に蓄積された複数の閲覧確認要求に対して一括で処理を行うバッチ処理としてもよい。この場合には、Ｓ９０２において、閲覧画像が不正に加工されていないと判定された閲覧確認要求に対しては、閲覧確認が正当なものであるとして特典付与処理を実行し、その後、バッチ処理において不正な閲覧画像であることが判定された場合には、アカウントの停止等の不正要求処理を実行する（Ｓ９０３）。このようなバッチ処理とすることにより、ユーザへのレスポンス性能を高めることができる。
　本実施形態においては、幾何学的正規化及び光学的正規化の両方を行ったが、これらのいずれか一方でも本発明を実現できることは明らかである。さらに、光学的正規化については輝度による正規化及び色彩による正規化のいずれか一方のみを行ってもよい。また正規化画像及び認証済画像は掲示物を含んだ画像とすることもできる。
　本実施形態においては、２種類以上の掲示物の画像が携帯端末記憶部及びサーバ記憶部に格納されている場合について説明したが、１種類のみの掲示物の画像が記憶されている場合には、掲示物ＩＤに関する処理は省略することができる。また、掲示場所が１カ所のみである場合には位置情報に関する処理を省略することもできる。基準掲示物画像に位置情報を紐付けて、携帯端末装置によって撮像された画像携帯端末位置近傍の基準掲示物画像とのみを比較して閲覧画像を取得することもできる。上述の実施形態においては、画像間の類似性として距離や平均距離を用いた例を説明したが、画像間の類似性を評価できるものであればどのようなのであってもよい。
　以上に説明した処理または動作において、矛盾が生じない限りにおいて、処理または動作を自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
１００　閲覧確認システム
１１０　ネットワーク
１２０　携帯端末装置
１３０　サーバ
２０１　処理装置
２０２　表示装置
２０３　入力装置
２０４　撮像装置
２０５　位置情報取得装置
２０６　記憶装置
２０７　通信装置
２０８　バス
２０９　プログラム
３０１　処理装置
３０２　表示装置
３０３　入力装置
３０６　記憶装置
３０７　通信装置
３０８　バス
３０９　プログラム
４０１　携帯端末制御部
４０２　携帯端末表示部
４０３　携帯端末入力部
４０４　撮像部
４０５　位置情報取得部
４０６　携帯端末記憶部
４０７　携帯端末通信部
５０１　サーバ制御部
５０２　サーバ表示部
５０３　サーバ入力部
５０６　サーバ記憶部
５０６　サーバ記憶
５０７　サーバ通信部
８００　表示画面
８０１　枠
８０２　ポスター
８０３　撮像領域
８０５　ポスター周辺
１０００　正規化画像
１００１　分割領域
１００２　分割領域
１００３　分割領域
１００４　分割領域
１１００　ポスター部分

Claims (12)

  1. 　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるシステムであって、前記システムは携帯端末装置及びサーバを備え、前記携帯端末装置は、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備え、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶するサーバ記憶部を備え、
    　前記携帯端末制御部は、
    　　前記位置情報取得部を用いて携帯端末位置情報を取得し、
    　　前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、
    　　前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、
    　　前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、
    　　前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信し、
    　前記サーバ制御部は、
    　　前記閲覧確認要求を前記サーバ通信部を用いて受信し、
    　　前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、
    　　前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、
    　　前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、
    　　前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、
    　　前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、
    　　前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    　　前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、
    　　前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する、
    　ことを特徴とするシステム。
  2. 　前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像と前記閲覧画像とを比較して、前記閲覧画像における掲示物の画像の配置を示す配置情報を生成することを含み、
    　前記正規化情報は前記配置情報を含み、
    　前記サーバ記憶部に記憶された認証済画像は掲示物の周辺部の正規化された画像であり、
    　前記サーバ制御部が前記正規化情報に基づいて正規化することは、前記掲示物の配置情報に基づいて前記閲覧画像のうち前記掲示物の周辺部の画像を抽出することを含む、
    　ことを特徴とする請求項１に記載のシステム。
  3. 　前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像及び前記閲覧画像における掲示物の画像の輝度及び色彩の差分を演算して、演算された輝度及び色彩の差分に基づく光学的補正情報を生成することを含み、
    　前記正規化情報は前記光学的補正情報を含み、
    　前記サーバ制御部が前記正規化情報に基づいて正規化画像を生成することは、前記光学的補正情報に基づいて、前記閲覧画像の輝度及び色彩を補正することを含む、
    　ことを特徴とする請求項１または２に記載のシステム。
  4. 　前記サーバ制御部が前記正規化画像と前記認証済画像との類似性を演算することは、
    　前記閲覧画像及び認証済画像をそれぞれ２以上の領域に分割し、
    　前記分割された閲覧画像及び認証済画像の対応する領域毎の類似性を演算し、
    　前記領域毎の類似性及び各領域に割り当てられた重み付けに基づいて閲覧画像と認証済画像との類似性を演算すること、を含み、
    　前記重み付けは認証済画像における対応する領域間の類似性のばらつきに基づいて決定される、
    　ことを特徴とする請求項１から３のいずれか１項に記載のシステム。
  5. 　前記サーバ制御部は、前記類似性に基づいて前記閲覧画像が正当であると判定された場合、前記サーバ記憶部に前記正規化画像を認証済画像として掲示場所の位置情報に紐付けて記憶する、ことを特徴とする請求項１から４のいずれか１項に記載のシステム。
  6. 　前記携帯端末記憶部は２種類以上の掲示物の画像を掲示物の種類を示す掲示物識別情報と紐付けて記憶し、
    　前記閲覧確認要求は、前記領域内に撮像されている掲示物の掲示物識別情報を更に含み、
    　前記サーバ記憶部に記憶される認証済画像は掲示物識別情報に紐付けられ、
    　前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択することは、前記閲覧確認要求に含まれる掲示物識別情報に紐付けられた認証済画像を選択することを含む、
    　ことを特徴とする請求項１から５のいずれか１項に記載のシステム。
  7. 　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置であって、前記携帯端末制御部が、
    　前記位置情報取得部を用いて携帯端末位置情報を取得し、
    　前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、
    　前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、
    　前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、
    　前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する、
    　ことを特徴とする携帯端末装置。
  8. 　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるサーバであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記サーバ制御部は、
    　前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信し、
    　前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、
    　前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、
    　前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、
    　前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、
    　前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、
    　前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    　前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、
    　前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する、
    　ことを特徴とするサーバ。
  9. 　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記プログラムは、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置に、
    　前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、
    　前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、
    　前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、
    　前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、
    　前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、
    　を実行させる、ことを特徴とするプログラム。
  10. 　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記プログラムは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備えるサーバに、
    　前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、
    　前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、
    　前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    　前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、
    　前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、
    　前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、
    　前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    　前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、
    　前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    　を実行させることを特徴とするプログラム。
  11. 　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置によって実行される方法であって、
    　前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、
    　前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、
    　前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、
    　前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、
    　前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、
    　を含む、ことを特徴とする方法。
  12. 　複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、サーバによって実行される方法であって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報に基づく閲覧画像に含まれる掲示物の位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記前記サーバは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記方法は、
    　前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、
    　前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、
    　前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    　前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、
    　前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、
    　前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、
    　前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    　前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、
    　前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    　を含むことを特徴とする方法。
PCT/JP2018/011978 2017-03-31 2018-03-26 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法 WO2018181095A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020197032339A KR102164472B1 (ko) 2017-03-31 2018-03-26 열람 확인을 위한 시스템, 휴대 단말 장치, 서버, 프로그램 및 방법
CN201880035471.2A CN110692081B (zh) 2017-03-31 2018-03-26 用于查看确认的系统、便携式终端装置、服务器、程序和方法
US16/588,226 US11062137B2 (en) 2017-03-31 2019-09-30 System, portable terminal device, server, program, and method for viewing confirmation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017071393A JP6181893B1 (ja) 2017-03-31 2017-03-31 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP2017-071393 2017-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/588,226 Continuation US11062137B2 (en) 2017-03-31 2019-09-30 System, portable terminal device, server, program, and method for viewing confirmation

Publications (1)

Publication Number Publication Date
WO2018181095A1 true WO2018181095A1 (ja) 2018-10-04

Family

ID=59604965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011978 WO2018181095A1 (ja) 2017-03-31 2018-03-26 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Country Status (5)

Country Link
US (1) US11062137B2 (ja)
JP (1) JP6181893B1 (ja)
KR (1) KR102164472B1 (ja)
CN (1) CN110692081B (ja)
WO (1) WO2018181095A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6925901B2 (ja) * 2017-03-31 2021-08-25 株式会社Ｃｙｇａｍｅｓ 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP6517298B2 (ja) 2017-10-10 2019-05-22 株式会社Ｃｙｇａｍｅｓ 対象物取得確認のためのシステム、サーバ、プログラム及び方法
JP6677788B1 (ja) * 2018-11-29 2020-04-08 株式会社Ｃｙｇａｍｅｓ 情報処理プログラム、情報処理方法およびゲーム装置
JP6736751B1 (ja) 2019-12-11 2020-08-05 株式会社Ｃｙｇａｍｅｓ 既知の画像を用いた画像撮影の安定化のための方法、プログラム、電子装置
JP7446107B2 (ja) 2019-12-27 2024-03-08 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231450A (ja) * 2009-03-26 2010-10-14 Seiko Epson Corp 撮影データ認証装置、撮影データ認証システム、撮影データ認証方法及びプログラム
JP2011060072A (ja) * 2009-09-11 2011-03-24 Nec Biglobe Ltd 到達確認システム、サーバ、端末、到達確認システムの制御方法、及びプログラム
JP2017010284A (ja) * 2015-06-22 2017-01-12 オカムラ印刷株式会社 情報処理システム、情報処理装置、情報処理プログラム、携帯端末装置およびその制御プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4481529B2 (ja) * 2001-06-26 2010-06-16 キヤノン株式会社 データ保存サービス装置、その制御方法、及びプログラム
JP2004157938A (ja) * 2002-11-08 2004-06-03 Hitachi Ltd 画像情報管理方法、システム、プログラム、ならびに記録媒体
JP4514134B2 (ja) * 2005-01-24 2010-07-28 株式会社コナミデジタルエンタテインメント ネットワークシステム、サーバ装置、不正利用検出方法、ならびに、プログラム
JP4922953B2 (ja) 2008-01-15 2012-04-25 日本写真印刷株式会社 特典付与システム
CN103324928A (zh) * 2010-09-21 2013-09-25 株式会社锦宫事务 透明薄片
JP2013000552A (ja) 2011-06-10 2013-01-07 Kazuyuki Fukushima シミュレーションゲーム装置
JP5698293B2 (ja) * 2013-03-25 2015-04-08 富士フイルム株式会社 携帯型医用画像表示端末及びその作動方法
US10262427B2 (en) * 2014-09-01 2019-04-16 Nec Corporation Determination method, determination system, determination device, and program
JP6455040B2 (ja) 2014-09-17 2019-01-23 株式会社リコー 店舗集客支援システム、サーバ装置、プログラムおよび方法
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231450A (ja) * 2009-03-26 2010-10-14 Seiko Epson Corp 撮影データ認証装置、撮影データ認証システム、撮影データ認証方法及びプログラム
JP2011060072A (ja) * 2009-09-11 2011-03-24 Nec Biglobe Ltd 到達確認システム、サーバ、端末、到達確認システムの制御方法、及びプログラム
JP2017010284A (ja) * 2015-06-22 2017-01-12 オカムラ印刷株式会社 情報処理システム、情報処理装置、情報処理プログラム、携帯端末装置およびその制御プログラム

Also Published As

Publication number Publication date
CN110692081B (zh) 2022-12-20
CN110692081A (zh) 2020-01-14
US11062137B2 (en) 2021-07-13
JP2018173811A (ja) 2018-11-08
KR102164472B1 (ko) 2020-10-12
JP6181893B1 (ja) 2017-08-16
KR20190137122A (ko) 2019-12-10
US20200026921A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6181893B1 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
US9767124B2 (en) Information processing system and information processing method
US7992181B2 (en) Information presentation system, information presentation terminal and server
US10062099B2 (en) Product identification based on location associated with image of product
US20150088637A1 (en) Information processing system, information processing method, and non-transitory computer readable storage medium
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
KR101738443B1 (ko) 증강 현실 콘텐츠를 스크리닝하는 방법, 장치, 및 시스템
US11281908B2 (en) System, server, program, and method for confirming acquisition of target object
KR20180100074A (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
JP2010230813A (ja) 情報提供装置、情報提供方法およびプログラム
KR20130126532A (ko) 피사체의 촬영을 통한 피사체 소스정보의 제공방법 및 이를 위한 서버와 휴대용 단말기
US20140019378A1 (en) Evaluation system, method, and computer-readable recording medium
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
JP6925901B2 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP2014002612A (ja) 評価システム、プログラム
KR20210094396A (ko) 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버
KR102469244B1 (ko) 이미지 프로세싱에 기반하여 오프라인 광고 성과 데이터를 수집하는 방법
JP6019888B2 (ja) 評価システム、情報処理装置
JP5966714B2 (ja) 評価システム、プログラム
JP2019125394A (ja) 対象物取得確認のためのシステム、サーバ、プログラム及び方法
KR20080036231A (ko) 정보 제시 시스템, 정보 제시 단말기 및 서버
JP2023136582A (ja) 情報処理装置、情報処理システム、及び情報処理プログラム
JP2014021772A (ja) 評価システム、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18777175

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20197032339

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18777175

Country of ref document: EP

Kind code of ref document: A1