WO2019074011A1 - 対象物取得確認のためのシステム、サーバ、プログラム及び方法 - Google Patents

対象物取得確認のためのシステム、サーバ、プログラム及び方法 Download PDF

Info

Publication number
WO2019074011A1
WO2019074011A1 PCT/JP2018/037779 JP2018037779W WO2019074011A1 WO 2019074011 A1 WO2019074011 A1 WO 2019074011A1 JP 2018037779 W JP2018037779 W JP 2018037779W WO 2019074011 A1 WO2019074011 A1 WO 2019074011A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
type
feature
determined
objects
Prior art date
Application number
PCT/JP2018/037779
Other languages
English (en)
French (fr)
Inventor
修一 倉林
Original Assignee
株式会社Ｃｙｇａｍｅｓ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｃｙｇａｍｅｓ filed Critical 株式会社Ｃｙｇａｍｅｓ
Priority to KR1020207009797A priority Critical patent/KR102420331B1/ko
Priority to CN201880079702.XA priority patent/CN111465963B/zh
Publication of WO2019074011A1 publication Critical patent/WO2019074011A1/ja
Priority to US16/843,485 priority patent/US11281908B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Definitions

  • the present invention relates to a system, a server, a program and a method for confirming that a user has acquired an object.
  • Patent Document 1 a notice stored in a portable terminal storage unit when providing a service for giving a user such as an online game privilege to a user of a portable terminal visiting a place where a predetermined notice is posted
  • the reference image that is an image of the message that the message is captured within the imaging area
  • the image of the message and its periphery are imaged, and this is already authenticated as a normalized image that is normalized.
  • a system is disclosed that verifies a user's visit based on its similarity compared to an authenticated image stored on a server.
  • the system is for confirming that a predetermined place has been visited, and it is an object of privilege provision for a check-in service for confirming a user who has acquired by purchasing a product etc. and having an advantage. It is not always suitable for accurately identifying the type of an object such as a commodity.
  • a system is a system including a portable terminal device and a server for confirming that one of a plurality of types of objects has been acquired.
  • the portable terminal device is configured to generate an image of a space captured by the imaging device of the portable terminal device based on the local feature amount of the shape for detecting the plurality of types of objects.
  • an object of a type It is determined whether or not an object of a type is imaged, and if it is determined that an object of any type is imaged, an image determined to be imaged of the object is an acquisition object Captured as an image, and transmitted the acquisition target object image to the server, the server receives the transmitted acquisition target object image, and the image characteristic of one type of target object among the plurality of types of target objects.
  • the feature correlation amount of the acquisition object image with respect to the one type of object is determined based on the amount, and the acquisition object image is the one type of object based on the determined feature correlation amount. It is determined whether or not the image is captured.
  • the image feature amount of the one type of object includes an inherent feature amount and a non-unique feature amount, and the inherent feature amount includes a characteristic color value indicating a color that is a feature of the one type of object;
  • the non-unique feature amount includes non-feature color values indicating a color that is not a feature of the one type of object, and the feature correlation amount is an image feature of the one type of object in the acquired object image.
  • the non-unique feature amount is not included in the color value indicating the color common to the plurality of types of objects and the unique feature amount of the one type of object but is included in the unique feature amounts of other types of objects It may include at least one of the color values.
  • the image feature amount of the one type of object includes a histogram of the shape included in the reference image of the type of object, and the feature correlation amount is included in the histogram of the reference image and the acquisition object image It may be determined based on the difference between the shape and the histogram.
  • One type of the plurality of types of objects may be designated by the user in advance via the mobile terminal device.
  • the acquisition object image is an image obtained by imaging the one type of object is performed for each of the plurality of types of objects, and an image obtained by imaging an object having the highest correlation It may be determined that
  • the local feature may be a common local feature of the plurality of types of objects or may be a unique local feature of each of the plurality of types of objects.
  • the server in one embodiment of the present invention is a server used in a system for confirming that one of a plurality of types of objects has been acquired, and the server is used by a portable terminal device.
  • An acquisition target object image determined to be imaged that has been imaged is received from the portable terminal device, and the image characteristic amount of one type of target object among the plurality of types of target objects is received.
  • the feature correlation amount of the acquisition object image for one type of object is determined, and the acquisition object image is an image obtained by imaging the one type of object based on the determined feature correlation amount. It is determined whether or not.
  • a set of programs according to an embodiment of the present invention is a set of programs for confirming that one of a plurality of types of objects has been acquired, and one or more In the computer, based on the local feature amount of the shape for detecting the plurality of types of objects, the image of the space captured by the imaging device of the portable terminal device is one of the types of the plurality of types of objects
  • a step of determining whether an object is being imaged or not, and when it is determined that an object of any type is being imaged, an image determined to be imaging of the object is obtained as an object of acquisition A step of capturing as an image, and determining a feature correlation amount of the acquisition object image with respect to the one type of object based on an image feature amount of the one type of the plurality of types of objects; If, on the basis of the feature relative amount the determined, to execute the steps determines whether the acquired object image is an image obtained by capturing the one type of object.
  • a program according to an embodiment of the present invention is a program for confirming that an object of any type among a plurality of types of objects has been acquired, and an object imaged by a mobile terminal device in a server An acquisition object image determined to be imaged is received from the portable terminal device, and based on the image feature amount of the one type of the plurality of types of the object, the one type of The feature correlation amount of the acquisition target object image with respect to the target object is determined, and based on the determined feature correlation amount, whether or not the acquisition target object image is an image obtained by imaging the one type of target object Make a decision.
  • a method is a method for confirming that one of a plurality of types of objects has been acquired, and one or more computers are provided with the plurality of types of objects. Whether or not an object of any of a plurality of types of objects is imaged in the image of the space captured by the imaging device of the mobile terminal device based on the local feature amount of the shape for detecting the object Determining whether an object of any type is captured, capturing an image determined to be capturing the object as an acquisition object image, and Determining a feature correlation amount of the acquired object image for the one type of object based on an image feature amount of one type of the object, and the determined feature correlation To the quantity Zui and to execute the steps determines whether the acquired object image is an image obtained by imaging an object of the one type.
  • a method is a method for confirming that an object of any type among a plurality of types of objects has been acquired, and an object captured by a mobile terminal device in a server.
  • An acquisition object image determined to be imaged is received from the portable terminal device, and based on the image feature amount of the one type of the plurality of types of the object, the one type of The feature correlation amount of the acquisition target object image with respect to the target object is determined, and based on the determined feature correlation amount, whether or not the acquisition target object image is an image obtained by imaging the one type of target object Make a decision.
  • the present invention it is possible to inexpensively realize a system for identifying the type of an object acquired by the user from among objects such as a plurality of types of goods and confirming that the user has acquired the object. To be possible.
  • FIG. 1 is an overall configuration of a system according to an embodiment of the present invention. It is a hardware block diagram of the portable terminal device which concerns on one Embodiment of this invention. It is a hardware block diagram of the server which concerns on one Embodiment of this invention. It is a functional block diagram of the portable terminal device concerning one embodiment of the present invention. It is a functional block diagram of the server concerning one embodiment of the present invention. It is a flowchart which shows the information processing which concerns on one Embodiment of this invention. It is a flowchart which shows the information processing of the portable terminal device which concerns on one Embodiment of this invention. It is a figure which shows the example of a screen display which concerns on one Embodiment of this invention.
  • FIG. 6 is a diagram visualizing features and non-features of an object according to an embodiment of the present invention. It is a figure which shows the concept of the window which concerns on one Embodiment of this invention. It is the figure which showed typically the shape feature-value extraction method which concerns on one Embodiment of this invention. It is the figure which showed typically the shape feature-value extraction method which concerns on one Embodiment of this invention. It is the figure which showed typically the shape feature-value extraction method which concerns on one Embodiment of this invention. It is the figure which showed typically the shape feature-value extraction method which concerns on one Embodiment of this invention. It is the figure which showed typically the shape feature-value extraction method which concerns on one Embodiment of this invention. It is the figure which showed typically the shape feature-value extraction method which concerns on one Embodiment of this invention.
  • the acquisition confirmation system 100 for an object can be realized by a system including one or more mobile terminal devices 120 and a server 130 connected via a network 110, as shown in FIG.
  • the object may be anything as long as it can confirm that the user has acquired it.
  • the item in the online game corresponding to the product is a reward Granted as
  • the object does not have to be a product.
  • the card may be distributed free of charge at an event.
  • the portable terminal device 120 in the present embodiment is an apparatus for capturing an image of an object and transmitting it to the server 130 via the network 110, and, for example, a portable type such as a portable telephone, a smart phone, a tablet terminal, a portable game machine, and a digital camera. It can be an apparatus.
  • the portable terminal device 120 includes a processing device 201, a display device 202, an input device 203, an imaging device 204, a position information acquisition device 205, a storage device 206, a communication device 207, and a bus 208.
  • the storage device 206 stores the program 209.
  • the processing device 201 executes an application such as a web browser based on the program 209, input data from the input device 203, imaging data from the imaging device 204, data received from the position information acquisition device 205 or the communication device 207, etc. Perform various processing such as image processing.
  • the processing device 201 includes a processor that controls each device included in the mobile terminal device 120, and performs various processes using a register included in the processor and the storage device 206 as a work area. Each of these components is connected by a bus 208, but may be individually connected as needed.
  • the display device (display) 202 displays an application screen and an image captured by the imaging device 204 according to the control of the processing device 201.
  • a liquid crystal display is preferable, but a display using an organic EL, a plasma display, or the like may be used.
  • the input device 203 has a function of receiving an input from the user, such as a touch panel, a touch pad, and an input button.
  • the portable terminal device 120 includes a touch panel as the input device 203
  • the touch panel also functions as the display device 202, and the display device 202 and the input device 203 are integrated.
  • the display device 202 and the input device 203 may be separate forms disposed at different positions.
  • the imaging device 204 captures a still image or a moving image of a real space area.
  • the position information acquisition device 205 acquires information indicating the current position of the mobile terminal device, and can be a device that specifies the position based on, for example, a GPS sensor or the SSID of WiFi.
  • the storage device 206 includes a hard disk, a main memory, and a buffer memory.
  • the hard disk may be any non-volatile storage or non-volatile memory as long as it can store information, and may be removable.
  • the portable terminal device 120 when it is a smart phone, it includes a ROM and a RAM.
  • the storage device 206 stores a program 209 and various data that can be referred to with the execution of the program.
  • the program 209 includes programs and data for an operating system or any application requiring player input, such as a video game, a web browser, and the like.
  • the communication device 207 performs wireless communication such as mobile communication and wireless LAN, and wired communication using an Ethernet (registered trademark) cable, a USB cable, and the like.
  • the communication device 207 can also download a program from the server 130 and store it in the storage device 206.
  • a program may be stored in an optical disc such as a CD / DVD, an optical drive may be connected to the communication device 207, and the program may be read from the optical disc and stored in the storage device 206.
  • FIG. 3 is a block diagram showing the hardware configuration of the server 130 according to the present embodiment.
  • the server 130 includes a processing device 301, a display device 302, an input device 303, a storage device 306, and a communication device 307. These components are connected by a bus 308, but may be connected individually as needed.
  • the processing device 301 includes a processor that controls each device included in the server 130, and performs various processes with the storage device 306 as a work area.
  • the display device 302 has a function of displaying information to the server user.
  • the input device 303 has a function of receiving an input from a user, such as a keyboard and a mouse.
  • the storage device 306 includes a hard disk, a main memory, and a buffer memory.
  • a program 309 is stored on the hard disk.
  • the hard disk may be any non-volatile storage or non-volatile memory as long as it can store information, and may be removable.
  • the storage device 306 stores a program 309 and various data that can be referred to with the execution of the program.
  • the communication device 307 performs wired communication using an Ethernet (registered trademark) cable or the like, mobile communication, and wireless communication such as a wireless LAN, and connects to the network 110.
  • Ethernet registered trademark
  • wireless communication such as a wireless LAN
  • FIG. 4 shows an example of a functional block diagram of the mobile terminal device 120 of the present invention.
  • the mobile terminal device 120 includes a mobile terminal control unit 401, a mobile terminal display unit 402, a mobile terminal input unit 403, an imaging unit 404, a position information acquisition unit 405, a mobile terminal storage unit 406, and a mobile terminal communication unit 407.
  • the portable terminal display unit 402 displays information to be presented to the user.
  • the portable terminal input unit 403 receives an input from the user.
  • the imaging unit 404 captures a still image or a moving image of the real space area.
  • the position information acquisition unit 405 acquires current position information of the mobile terminal device 120.
  • the portable terminal storage unit 406 stores a reference image, which is an image of each object, in association with object identification information (ID) indicating the type of the object.
  • ID object identification information
  • the reference image can be downloaded from, for example, the server 130 into the acquisition confirmation application to the storage unit 406 of the mobile terminal device 120. It is preferable to update the reference image stored in the portable terminal storage unit 406 at a predetermined timing based on the information received from the server 130 via the communication unit 407. For example, it is possible to download and update the reference image at an update timing of an event for giving a benefit or every fixed period.
  • the reference image may be downloaded when the acquisition confirmation application is used as a web browser and a website for capturing a browse image is accessed.
  • the control unit 401 of the mobile terminal device 120 selects one of a plurality of types of objects in the image of the space captured by the imaging unit 404 of the mobile terminal device based on the local feature amount of the shape for detecting the object. It is determined whether or not an object of the type is imaged, and when it is determined that an object of any type is imaged, an image determined to be imaged of the object is acquired It is captured as an object image, and the acquired captured object image is transmitted to the server 130.
  • the mobile terminal position information can also be acquired using the position information acquisition unit 405 and transmitted to the server 130 together with the captured image.
  • the portable terminal control unit 401 is realized by the processing device 201 executing the program 209 included in the hardware configuration described in FIG. 2, but is also realized by preparing an integrated circuit or the like. it can.
  • the mobile terminal display unit 402, the mobile terminal input unit 403, the imaging unit 404, the position information acquisition unit 405, the mobile terminal storage unit 406, and the mobile terminal communication unit 407 are the display device 202, the input device 203, and the like described in FIG.
  • the program 209 is executed by the processing device 201 or the like and realized by cooperating with the hardware. It is also good.
  • FIG. 5 shows an example of a functional block diagram of the server 130 of the present invention.
  • the server 130 includes a server control unit 501, a server display unit 502, a server input unit 503, a server storage unit 506, and a server communication unit 507.
  • the server display unit 502 displays information for presentation to a user such as a server administrator.
  • the server input unit 503 receives an input from the user.
  • the server storage unit 506 stores a reference image, which is an image of an object, and an image feature of the object in association with an object ID. When there is only one type of object, the reference image and the image feature amount may not be stored in association with the object ID. Furthermore, the server storage unit 506 also stores the image feature amount for each object in association with the object ID.
  • the server control unit 501 transmits the reference image stored in the storage unit 506 to the portable terminal device 120 via the communication unit 507 together with the linked object ID.
  • the reference image can be read from the storage unit 506 at a predetermined timing such as the timing at which the reference image is updated, transmitted to the mobile terminal device 120, and the reference image in the mobile terminal device 120 can be updated.
  • the server control unit 501 receives the acquisition confirmation request transmitted from the mobile terminal device 120 using the server communication unit 507, and, based on the image feature amount of one type of object among a plurality of types of objects, Determine the feature correlation amount of the acquisition object image for the object of the type, and determine whether the acquisition object image is an image of the object of the type, based on the determined feature correlation amount. judge. Furthermore, it may be determined whether or not this acquisition target object image is an image acquired illegally. If it is determined that the target object is captured in the acquisition target object image and it is determined that the image is not an illegally acquired image, it is determined that the user has acquired the target object, and the corresponding benefit etc. Give.
  • the server control unit 501 is realized by executing the program 309 included in the hardware configuration described in FIG. 3 by the processing device 301, but can also be realized by preparing an integrated circuit or the like.
  • the server display unit 502, the server input unit 503, the server storage unit 506, and the server communication unit 507 are realized by the respective hardware of the display device 302, the input device 303, the storage device 306 and the communication device 307 described in FIG.
  • the program 309 may be executed by the processing device 301 or the like and realized by cooperating with each hardware.
  • FIG. 6 shows a flowchart of the operation of the portable terminal device 120 and the server 130 in the present embodiment.
  • the user purchases and obtains one of a plurality of products that are objects of a plurality of types.
  • the case where it is asked to do is explained to an example.
  • the items in the online game given for each type of product are different, it is necessary to specify which product the user has acquired.
  • the user actually visits a store that sells the target product, purchases one of the products, acquires it, images the acquired product using the mobile terminal device 120, and transmits it to the server 130 Do.
  • the server 130 determines whether the acquired product is a product of any type among target products having a plurality of products, and if it is determined that the captured product is one type of the target product, the user can It is determined that the item has been acquired, and an item corresponding to the item type is distributed to the game account of the user.
  • the user downloads and installs the acquisition confirmation application as the program 209 on the portable terminal device 120, visits one of the stores, and purchases a product.
  • the acquisition confirmation application in the portable terminal device 120 is activated to capture an image of the acquired product
  • the portable terminal device 120 starts acquisition confirmation request processing (S601).
  • the control unit 401 of the portable terminal device 120 captures an image including a product using the imaging unit 404, captures it as an acquisition target object image, and transmits an acquisition confirmation request including the acquisition target object image to the server 130. Transmit via the communication unit 407.
  • the server 130 receives the acquisition confirmation request and executes acquisition confirmation processing (S602).
  • acquisition confirmation processing the server 130 determines whether the product imaged by the user is any one of a plurality of types of products targeted for benefit provision.
  • a more specific process content of the acquisition confirmation request process (S601) in the present embodiment is shown in FIG.
  • acquisition confirmation request processing S601 is started.
  • the portable terminal control unit 401 sets a counter d for the reference image to 0 (S701).
  • a reference image is stored in association with each object ID of D types of objects (goods) to be provided with benefits, Based on the determination, it is determined whether the image captured by the user includes a product as an object.
  • the reference image is, for example, an object of comparison in order of object ID numbers.
  • the user directs the imaging unit 404 of the mobile terminal device 120 to the acquired commodity to try to image the commodity.
  • the imaging unit 404 captures an image of the real space in the directed direction (S702).
  • the captured image is preferably one frame of a moving image, but may be an image captured by still image shooting.
  • the d-th (0 ⁇ d ⁇ D) reference image of the reference images stored in the storage unit 406 is compared with the captured image of the space captured by the imaging unit 404 (S703), It is determined whether or not the object linked to is captured within a predetermined region in the image of the space in which the object is captured (S705).
  • the comparison between the reference image and the captured image of the space captured by the imaging unit 404 is performed based on the local feature amount of the shape.
  • the shape includes not only the shape of the product but also the shape and pattern of characters such as logos and product names described in the product.
  • the local feature amount it can be determined at a high speed whether a product is captured in the captured image.
  • the local feature amount is preferably calculated in advance and stored in the storage unit 406 in advance.
  • the user is guided to move the position and angle of the mobile terminal device 120 so that the product is captured in the predetermined area, and the area in which the product is captured is limited to the predetermined area.
  • the position and size of the product in the captured image are geometrically normalized, and the amount of information processing for the subsequent product type identification is reduced.
  • the predetermined area where the product is to be imaged is an area smaller than the entire area that can be imaged by the imaging unit 404, and the product is imaged within the predetermined area and the peripheral portion of the product is simultaneously imaged.
  • the image of the peripheral area can be used for detection of a fraudulently acquired object image (S 907) described later.
  • the counter d is counted up (S705), and the D type to be determined is determined. It is determined whether the reference image of all the objects of and the captured image have been compared (S706). If not determined for all, it is determined whether the next reference image is an object being captured in the captured image (S703, S704). If it is determined that all the reference images and the captured image have been compared (S706), the counter d is reset (S701), and an image of a new space is captured (S703). Perform a comparison with the reference image. The processing of S701 to S706 is repeatedly executed until it is determined that the target object of any one of the reference images is captured within a predetermined region in the image of the captured space.
  • FIG. 8 shows a display screen 800 of the acquisition confirmation application displayed on the display unit 402 as one embodiment.
  • the target object is a hamburger.
  • the display unit 402 places a frame 801 indicating a predetermined area for containing the hamburger 802 as an object and an object in a frame together with the image of the space captured by the imaging unit 404. Display the message to instruct.
  • the entire imaging area 803 of the imaging unit 404 is displayed on the display unit 402, and the frame 801 is an area smaller than the entire area. Therefore, when the hamburger 802 is placed in the frame 801, an image 805 around the hamburger 802 is displayed in the outer area of the frame 801.
  • the user moves the portable terminal device 120.
  • the determination process (S703, S704) using the local feature to determine whether or not the target image of the reference image is captured within a predetermined area in the image of the space in which the target object is captured is, for example, ORB (Oriented FAST and Rotated) BRIEF) It can be realized by using a key point matching technique using feature quantities. Specifically, characteristic points (key points) as local feature amounts in the reference image are detected in advance and stored in the storage unit 406 as part of the acquisition confirmation application. Then, the feature points (key points) of the reference image stored in advance are superimposed in a predetermined area (frame 801), and the feature points of the image obtained by imaging by the imaging unit 404 are superimposed in the predetermined area.
  • ORB Oriented FAST and Rotated BRIEF
  • the target object of the reference image is captured within a predetermined region in the image of the space in which the target object is captured.
  • the feature points of the reference image and the feature points of the captured image do not have to completely overlap. For example, when a predetermined number of feature points overlap in a predetermined shift range, it can be determined that an object is captured in a predetermined area.
  • the acquisition of the acquisition target object image is to store the pickup image in the storage unit 406 for the subsequent processing. Since each mobile terminal device performs processing for capturing an acquisition target object image, even if a large number of acquisition confirmation requests are made simultaneously, the load is distributed to each mobile terminal device, and the load on the server can be reduced. it can.
  • a message for informing the user that the acquisition of the acquisition object image is successful the message asking whether the acquisition object image is transmitted to the server and the acquisition confirmation request is transmitted or recaptured again.
  • the process returns to S701, and when an input for transmitting to the server 130 is received, the control unit 401 of the portable terminal device 120 is received.
  • the acquisition confirmation request includes a user ID identifying a user and an acquisition target object image.
  • the reference image of the predetermined object and the captured image are compared to determine whether the object is imaged in the predetermined area, but a plurality of types of objects having common features are determined.
  • the determination may be made based on data representing feature quantities indicating common features. In this case, all objects having this common feature are detected. Which of these objects is captured in the acquired object image is specified by the process described later.
  • the feature correlation amount of the acquired object image with respect to the k-th object is determined based on the image feature amount of the k-th object of the reference image (S902), and the determined feature correlation amount It is determined whether the product included in the acquisition target object image is any one type of the target product based on (S903). Thereafter, it is determined whether the image has not been tampered with, or whether the image is an unauthorized image such as a duplicate of an image captured by another user (S 907). If one type of target is included in the acquisition target object image and it is not an incorrect image, a privilege corresponding to the type is given to the user (S 908).
  • these processes will be described in detail.
  • the server control unit 501 sets a counter k for the type of object to 0 (S901).
  • the unique feature amount and the non-unique feature amount for each of a plurality of types of objects to be provided with benefits are linked to the object IDs of the respective objects and stored in the storage unit 506. It stores and sequentially determines whether any of these objects are included in the image captured by the user.
  • both the unique feature and the non-unique feature are unique to each object, only the unique feature is unique to each object, and the non-unique feature is shared for all types. It may be
  • the objects to be compared in S902 and S903 can be, for example, in the order of object ID numbers.
  • the unique feature amount is an amount indicating a feature appropriate for identifying a type of an object
  • the non-unique feature amount is an amount indicating an inappropriate feature to identify the type of the object.
  • the unique feature amount and the non-unique feature amount are feature amounts of the color of the image representing the object.
  • the unique feature amount is a table including one or more characteristic RGB values of the object among the RGB values of each pixel of the image representing the object. For example, it is possible to create a table by extracting the RGB values of pixels which are considered characteristic by visual observation and the RGB values of pixels which are considered not characteristic from an image obtained by imaging the object.
  • This table may be created based on the reference image of each object, but since the RGB values in the object image also change depending on the color of illumination at the time of imaging, etc., the object is imaged under various illumination conditions It is preferable to create a table including a plurality of unique feature quantities based on the plurality of images.
  • the server control unit 501 determines the feature correlation amount of the obtained object image of the object based on the unique feature amount and the non-unique feature amount of the object.
  • the area ratio between the unique feature and the non-unique feature extracted based on the unique feature of the object and the non-unique feature is taken as the feature correlation amount for the subject.
  • color differences between all the RGB values in the table of the unique feature amount and the non-unique feature amount of the object and the RGB values of each pixel in the obtained object image are calculated.
  • the table including the RGB value having the smallest color difference with the RGB value at a certain pixel is the unique feature amount table
  • the pixel is set as the unique feature portion (unique feature pixel) and the non-unique feature amount table Make the pixel a non-unique feature (non-unique pixel). Then, the area ratio of the extracted unique feature to the non-unique feature is calculated.
  • the godlove color difference equation (Godlove, IH: Improved Color-Difference Formula, with Applications to Perceptibility and Acceptability of Fadings, Journal of the), which is a distance system of colors on a uniform color space.
  • CIE 2000 Lio, MR, Cui, G. & Rigg, B., "The development of the CIE 2000 colour-difference formula CIEDE 2000 ", Color Research & Application, Volume 26, Issue 5, October 2001, pp. 340-350, DOI: 10.1002 / col. 1049
  • the godlove color difference equation ⁇ godlove generally known as a distance on the HSV space can be defined as follows.
  • FIG. 10 is a diagram visualizing the unique feature and the non-unique feature determined by the process of this embodiment.
  • unique features pixels
  • pixels are shown in white and non-unique features (pixels) in black.
  • a portion having RGB values close to the RGB values included in the unique feature amount table that is, a character portion which is a feature color portion of the object is extracted as the unique feature portion and included in the non-unique feature amount table
  • a portion having RGB values close to the RGB values being read that is, a background portion which is not the characteristic color of the object is extracted as the non-unique feature.
  • the area ratio of the extracted unique feature to the non-unique feature which is the feature correlation amount, is, for example, the area ratio of the white portion to the black portion in FIG.
  • the difference between the unique feature table and the RGB values in the unique feature table is within the threshold without using the non-unique feature table, it can be determined as an unique feature, otherwise it may be determined as a non-unique feature.
  • the RGB value of each pixel of the imaged image changes depending on the illumination condition. Therefore, there is a high possibility that an erroneous determination may be made if it is determined whether or not an inherent feature portion is determined based only on whether the inherent feature amount is within a certain range. For example, when the acquired object image photographed under illumination close to green, which is a characteristic color, is determined, all the pixels become colors close to the unique feature amount, so all pixels are determined to be unique features There is a risk of being
  • the non-unique feature amount table as well, it is possible to perform determination more accurately by performing relative determination of which of the unique feature amount and the non-unique feature amount is closer to It becomes. For example, if a non-unique feature amount is extracted based on an image captured under green illumination, pixels of a greenish background color may be obtained even for an acquisition target object image captured under green illumination. Since the color is close to the RGB values included in the non-unique feature amount table, it can be determined as a non-unique feature portion. The accuracy can be further improved by creating these tables based on images captured under various illuminations. Moreover, the accuracy can be further enhanced by inserting a color not included in the object as the non-unique feature amount.
  • step S903 it is determined whether the k-th object is imaged based on the determined feature correlation amount of the acquired object image with respect to the k-th object. If the feature correlation amount is within a predetermined range for the target object, it is determined that a CHEESE BURGER is captured in the acquisition target object image.
  • the process proceeds to fraud detection (S 907), and if it is determined that the k-th object is not captured, the counter k is counted up (S 904) If it has not been determined for all the types K (S 905), the process returns to S 902 to execute the determination processing again for the next type. If it is not determined that the object is imaged even though the determination is made for all types K, it is determined that an error is detected because no object of any type is detected (S906) An error message is transmitted to the terminal device 120, and a notification that the object has not been detected is notified (S910).
  • the fraud detection detects that the image of the object to be acquired has been tampered with and that the image obtained by another user has been illegally acquired by copying or the like.
  • A. E. Dirik and N. Memon "Image tamper detection based on demosaicingartifacts," 2009 16th IEEE International Conference on Image Processing (ICIP), Cairo, 2009 , Pp. 1497-1500 and Minati Mishra, Ft. Lt. Dr. M. C.
  • the browsed image When it is determined that the browsed image has not been tampered with, it has been illegally acquired, for example, by duplicating an image captured by another user based on the image of the peripheral part of the object included in the acquisition object image It is determined whether it is a thing. An image including the periphery of the object may be reflected by a passerby, or the position of a shade may change, so the same image may not be obtained if the time for shooting is different. Further, since the peripheral part of the product is different for each imaging location of the product, it is different for each captured image.
  • the acquisition target object image stored in the server storage unit 506 and stored in the server storage unit 506, which is already included in the acquisition confirmation request that has already been determined to be a valid acquisition confirmation request By comparing the object image with the already obtained acquired object image, it is possible to determine whether it is an image acquired by duplication. If the similarity between the two is higher than a certain level, it is judged as an incorrect image.
  • the fraud detection based on the peripheral image can be realized, for example, by the method described in Patent Document 1 (Japanese Patent No. 6181893).
  • Patent Document 1 Japanese Patent No. 6181893
  • the peripheral portion of the object is also imaged simultaneously, and the fraud detection disclosed in Patent Document 1 Methods can be incorporated to perform fraud detection.
  • the present embodiment uses a local feature amount that is a robust feature amount that is resistant to rotation and movement for detecting an object region in which an objective image is included in a captured image, and an object included in a detected object region
  • the matching process using two feature quantities is performed, in which global color feature quantities are used for object identification to determine one of the variations. This makes it possible to identify various types of objects at high speed and with high accuracy.
  • the object is a product packaged in a packaging sheet, etc.
  • noise such as deformation or dirt due to folding of the packaging sheet is included a lot, and the product type can be accurately determined only by the existing feature amount matching. Can not.
  • this embodiment even if a large amount of noise is included, it is possible to specify the type of the object at high speed with high accuracy.
  • the k-th object is determined. It has been determined that the target object has been imaged, it is also possible to calculate feature correlation amounts for all of a plurality of types of objects and to determine that the target object with the highest correlation is being imaged. For example, it is assumed that an object with the smallest difference between the prestored predetermined value Ak for the k-th object and the area ratio Ck calculated for the acquisition object image is captured in the acquisition object image It can be decided.
  • the image feature quantity used to obtain the feature correlation quantity in S902 is the color feature quantity, but the feature correlation quantity can also be determined using the shape feature quantity. For example, a window of N ⁇ N pixels can be defined and sequentially applied to each pixel of the reference image to extract the pattern of the shape, and based on this, the feature amount of the shape can be obtained.
  • N 2 and a case of a black and white image is taken as an example.
  • the pattern of pixels included in this window becomes a pattern of 2 quadruplicate for each pixel is white or black, the identification number PID in each pattern ( Assign 0-15).
  • PID the identification number in each pattern
  • the window 1100 is applied to the reference image 1200 shown in FIG. 12A.
  • the upper left pixel 1101 of the window 1100 is aligned with the upper left pixel 1201 of the reference image 1200 (FIG. 12B), and the upper left 2 ⁇ 2 pixel pattern of the reference image 1200 is extracted, and the PID of the extracted pattern Count up one counter.
  • the window 1100 is moved one pixel at a time, this process is performed on all the pixels of the reference image, and the number of patterns corresponding to each PID is counted, and the counter CPID_0 to Get CPID_15. Then, with the counters CPID_0 to CPID_15 as bins, a shape histogram as an image feature amount for the type of the object is acquired.
  • a shape histogram is created using this window 1100 also for the acquired object image. Then, the difference between the shape histogram of the acquired object image and the shape histogram of the reference image is calculated, and this is used as the feature correlation amount (S902). Then, if the difference value that is the feature correlation amount is within the predetermined range, it is determined that the target object is captured in the acquisition target object image, and if it is out of the range, it is determined that it is not captured. (S903).
  • the smaller the difference value that is the feature correlation amount the higher the correlation.
  • the server 130 determines whether the object is captured in the acquired object image based only on the image feature amount of the object specified based on this. Since the determination may be made, faster processing can be realized.
  • the portable terminal device 120 transmits the confirmation request
  • the position information acquired by the position information acquiring unit 405 at the time of imaging the acquisition target object image is included in the acquisition confirmation request and transmitted, and the server 130 receives the benefit.
  • the assignment it is checked whether the user has already checked in based on the image captured near the position for the type of the object. If the check-in has already been performed, the privilege is not given, and if the check-in has not been made, the privilege is given and then the user is already checked in at the corresponding position.
  • the information shown is stored in the server storage unit 506.
  • the mobile terminal device 120 may execute the acquisition confirmation process.
  • the unique feature amount and the non-unique feature amount for each of a plurality of types of objects to be benefited It is realizable by stringing to thing ID and memorize
  • the portable terminal device 120 does not transmit the acquisition confirmation request to the server 130 after the image of the space including the target and its peripheral portion captured in the predetermined area in S707 is captured as the acquisition target image.
  • the portable terminal device 120 can execute the processing of S901 to S909 as acquisition confirmation processing based on the acquired acquisition target object image instead of the server 130, and can confirm that the user has acquired the target object. It is determined that a benefit is given as a result of confirmation as to whether or not the user has acquired an object on the display unit 402 of the portable terminal device 120 without performing notification transmission (S910), and that the request is a fraud check request. You can display messages such as events.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

対象物取得確認のためのシステム、サーバ、プログラム及び方法を提供する。複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための携帯端末装置及びサーバを備えたシステムであって、携帯端末装置は、複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、対象物が撮像されていると判定された画像を取得対象物画像として取り込み、サーバへ送信し、サーバは、送信された取得対象物画像を受信し、複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該対象物に対する取得対象物画像の特徴相関量を決定し、取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、システム。

Description

対象物取得確認のためのシステム、サーバ、プログラム及び方法
　本発明は、ユーザが対象物を取得したことを確認するためのシステム、サーバ、プログラム及び方法に関する。
　店舗等の所定の場所を訪れたユーザに対してオンラインゲーム等の特典を与えるチェックインサービスが知られている。特許文献１においては、所定の掲示物が掲示された場所を訪れた携帯端末装置のユーザに対してオンラインゲームの特典等を与えるサービスを提供する際に、携帯端末記憶部に記憶された掲示物の画像である基準画像に基づいて当該掲示物が撮像領域内に撮像されていると判定されると、掲示物とその周辺部を撮像させ、これを正規化した正規化画像と既に認証されてサーバに格納された認証済画像と比較して、その類似性に基づいて、ユーザの訪問を確認するシステムが開示されている。
特許第６１８１８９３号
　しかし、当該システムは所定の場所を訪れたことを確認するためのものであり、商品を購入等して取得したユーザを確認して特典を与えるチェックインサービスのために、特典付与の対象となっている商品等の対象物の種類を精度良く識別することには必ずしも適していない。
　商品の種類を識別する二次元コードを商品包装等に貼付することにより、撮像された画像の商品種類を特定することが可能である。しかし、二次元コードによって商品の種類を識別するためには、商品毎に異なる二次元コードが包装用紙等に表示されていなければならない。既存の包装用紙のデザインを変更させ二次元コードを印刷させることは単価を大きく上昇させるから、期間が限定されたイベント等のために実現することは困難である。また、既存の包装用紙に各商品等を識別する二次元コードを貼付する場合には、その作業のために単価が大きく上昇するとともに、商品の製造・流通経路を変更することを要求するため現実的ではない。
　本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、本発明の一実施態様におけるシステムは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための携帯端末装置及びサーバを備えたシステムであって、前記携帯端末装置は、前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込み、前記取得対象物画像を前記サーバへ送信し、前記サーバは、前記送信された取得対象物画像を受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する。
　前記１つの種類の対象物の画像特徴量は固有特徴量及び非固有特徴量を含み、前記固有特徴量は前記１つの種類の対象物の特徴である色彩を示す特徴的色彩値を含み、前記非固有特徴量は当該１つの種類の対象物の特徴ではない色彩を示す非特徴的色彩値を含み、前記特徴相関量は、前記取得対象物画像における、前記１つの種類の対象物の画像特徴量に基づいて前記１つの種類の対象物の特徴である色彩を示すと決定された特徴部の量と前記１つの種類の対象物の特徴でない色彩を示すと決定された非特徴部の量との比であり、前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記特徴相関量が所定の範囲内であるか否かによって決定してもよい。
　前記非固有特徴量は、前記複数種類の対象物に共通する色彩を示す色彩値及び前記１つの種類の対象物の固有特徴量には含まれず他の種類の対象物の固有特徴量に含まれる色彩値の少なくとも一方を含んでもよい。
　前記１つの種類の対象物の画像特徴量は当該種類の対象物の基準画像に含まれる形状についてのヒストグラムを含み、前記特徴相関量は、前記基準画像のヒストグラムと前記取得対象物画像に含まれる形状についてのヒストグラムとの差分に基づいて決定されるようにすることもできる。
　当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定することは、前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定することとしてもよい。
　前記複数種類の対象物のうちの１つの種類は前記携帯端末装置を介して予めユーザによって指定されることができる。
　前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記複数種類の対象物の各々について行い、最も相関性が高い対象物を撮像した画像であると判定してもよい。
　前記局所特徴量は、前記複数種類の対象物の共通する局所特徴量であるかまたは前記複数種類の各対象物に固有の局所特徴量とすることができる。
　また、本発明の一実施態様におけるサーバは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのシステムにおいて使用されるサーバであって、携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する。
　さらに、本発明の一実施態様における１組のプログラムは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための１組のプログラムであって、１以上のコンピュータに、前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する段階と、を実行させる。
　本発明の一実施態様におけるプログラムは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのプログラムであって、サーバに、携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、ことを実行させる。
　本発明の一実施態様における方法は、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、１以上のコンピュータに、前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、前記決定された特徴相関量に基づいて、前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定する段階と、を実行させる。
　本発明の一実施態様における方法は、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、サーバに、携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、ことを実行させる。
　本発明によれば、複数種類の商品等の対象物の中からユーザが取得した対象物の種類を識別して、ユーザが当該対象物を取得したことを確認するシステムを安価に実現することを可能とする。
本発明の一実施形態に係るシステムの全体構成である。 本発明の一実施形態に係る携帯端末装置のハードウェア構成図である。 本発明の一実施形態に係るサーバのハードウェア構成図である。 本発明の一実施形態に係る携帯端末装置の機能ブロック図である。 本発明の一実施形態に係るサーバの機能ブロック図である。 本発明の一実施形態に係る情報処理を示すフローチャートである。 本発明の一実施形態に係る携帯端末装置の情報処理を示すフローチャートである。 本発明の一実施形態に係る画面表示例を示す図である。 本発明の一実施形態に係る画面表示例を示す図である。 本発明の一実施形態に係るサーバの情報処理を示すフローチャートである。 本発明の一実施形態に係る対象物の特徴部及び非特徴部を可視化した図である。 本発明の一実施形態に係るウィンドウの概念を示す図である。 本発明の一実施形態に係る形状特徴量抽出方法を模式的に示した図である。 本発明の一実施形態に係る形状特徴量抽出方法を模式的に示した図である。 本発明の一実施形態に係る形状特徴量抽出方法を模式的に示した図である。 本発明の一実施形態に係る形状特徴量抽出方法を模式的に示した図である。
　以下、図面を参照して、本発明の一つの実施形態を説明する。本実施形態に係る対象物の取得確認システム１００は、図１に示すように、ネットワーク１１０を介して接続された１以上の携帯端末装置１２０とサーバ１３０を備えるシステムによって実現することができる。対象物は、ユーザが取得したことを確認することができるものであればどのようなものであってもかまわない。本実施形態においては、チェックインサービスの対象となる商品とし、オンラインゲームのユーザが当該商品を店舗において購入して取得したことが確認されると、当該商品に対応する当該オンラインゲームにおけるアイテムが特典として付与される。対象物は必ずしも商品である必要はない。例えば、イベントで無料配布されるカード等であってもよい。
　本実施形態における携帯端末装置１２０は、対象物を撮像してネットワーク１１０を介してサーバ１３０へ送信する装置であり、例えば、携帯電話機、スマートフォン、タブレット端末、携帯ゲーム機及びデジタルカメラ等の携帯型装置とすることができる。携帯端末装置１２０は、処理装置２０１、表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６、通信装置２０７及びバス２０８を備える。記憶装置２０６はプログラム２０９を格納する。
　処理装置２０１は、プログラム２０９、入力装置２０３からの入力データ、撮像装置２０４からの撮像データ、位置情報取得装置２０５または通信装置２０７から受信したデータ等に基づいて、ウェブブラウザ等のアプリケーションの実行、画像処理などの各種の処理を行う。処理装置２０１は、携帯端末装置１２０が備える各装置を制御するプロセッサを備えており、プロセッサが含むレジスタや記憶装置２０６をワーク領域として各種処理を行う。これらの各構成部はバス２０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
　表示装置（ディスプレイ）２０２は、処理装置２０１の制御に従って、アプリケーション画面や撮像装置２０４によって撮像された画像を表示する。好ましくは液晶ディスプレイであるが、有機ＥＬを用いたディスプレイやプラズマディスプレイ等であってもよい。
　入力装置２０３は、タッチパネル、タッチパッド、入力ボタン等のようにユーザからの入力を受け付ける機能を有するものである。携帯端末装置１２０が入力装置２０３としてタッチパネルを備える場合、タッチパネルは表示装置２０２としても機能し、表示装置２０２と入力装置２０３は一体となった構造である。表示装置２０２と入力装置２０３は、別の位置に配置される別個の形態であってもかまわない。撮像装置２０４は、実空間領域の静止画ないし動画を撮像するものである。位置情報取得装置２０５は、携帯端末装置の現在位置を示す情報を取得するものであり、例えばＧＰＳセンサやＷｉＦｉのＳＳＩＤ等に基づいて位置を特定する装置とすることができる。
　記憶装置２０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。例えば携帯端末装置１２０がスマートフォンである場合はＲＯＭ及びＲＡＭを含む。記憶装置２０６には、プログラム２０９や当該プログラムの実行に伴って参照されうる各種のデータが記憶される。プログラム２０９は、オペレーティングシステム、またはビデオゲーム、ウェブブラウザ等のプレイヤ入力を要求するあらゆるアプリケーションのためのプログラムやデータを含む。
　通信装置２０７は、移動体通信、無線ＬＡＮ等の無線通信やイーサネット（登録商標）ケーブル、ＵＳＢケーブル等を用いた有線通信を行う。この通信装置２０７によって、プログラムをサーバ１３０からダウンロードして、記憶装置２０６に格納することもできる。ＣＤ／ＤＶＤ等の光学ディスクにプログラムを格納し、通信装置２０７に光学ドライブを接続して、光学ディスクからプログラム等を読み込んで記憶装置２０６に格納してもよい。
　図３は本実施形態に係るサーバ１３０のハードウェア構成を示すブロック図である。サーバ１３０は、処理装置３０１、表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７を備える。これらの各構成部はバス３０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
　処理装置３０１は、サーバ１３０が備える各装置を制御するプロセッサを備えており、記憶装置３０６をワーク領域として各種処理を行う。表示装置３０２はサーバのユーザに情報を表示する機能を有する。入力装置３０３はキーボードやマウス等のようにユーザからの入力を受け付ける機能を有するものである。
　記憶装置３０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ハードディスクにはプログラム３０９が記憶される。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。記憶装置３０６には、プログラム３０９や当該プログラムの実行に伴って参照され得る各種のデータが記憶される。
　通信装置３０７はイーサネット（登録商標）ケーブル等を用いた有線通信や移動体通信、無線ＬＡＮ等の無線通信を行い、ネットワーク１１０へ接続する。
　図４は本発明の携帯端末装置１２０の機能ブロック図の一例を示す。携帯端末装置１２０は、携帯端末制御部４０１、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５、携帯端末記憶部４０６及び携帯端末通信部４０７を備える。
　携帯端末表示部４０２はユーザに提示するための情報を表示する。携帯端末入力部４０３はユーザからの入力を受け付ける。撮像部４０４は実空間領域の静止画ないし動画を撮像する。位置情報取得部４０５は携帯端末装置１２０の現在位置情報を取得する。
　携帯端末記憶部４０６は、各対象物の画像である基準画像を対象物の種類を示す対象物識別情報（ＩＤ）に紐付けて記憶する。本実施形態においては、対象物の種類が複数あるものとするが、１種類だけであっても動作可能である。対象物が１種類しかない場合は、基準画像は対象物ＩＤと紐付けて記憶されなくともよい。基準画像は、例えば、サーバ１３０から取得確認用アプリケーションに含めて携帯端末装置１２０の記憶部４０６にダウンロードすることができる。携帯端末記憶部４０６に記憶された基準画像は、サーバ１３０から通信部４０７を介して受信される情報に基づいて、所定のタイミングで更新することが好ましい。例えば、特典付与のためのイベントの更新のタイミングや一定期間毎に基準画像をダウンロードして更新することができる。取得確認用アプリケーションをウェブブラウザとして、閲覧画像を撮影するためのウェブサイトへアクセスした際に基準画像をダウンロードしてもよい。
　携帯端末装置１２０の制御部４０１は、対象物を検出するための形状についての局所特徴量に基づいて、携帯端末装置の撮像部４０４によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込み、前記取り込まれた取得対象物画像をサーバ１３０へ送信する。また、位置情報取得部４０５を用いて携帯端末位置情報を取得し、撮像画像とともにサーバ１３０へ送信することもできる。
　本実施形態において携帯端末制御部４０１は、図２に記載されたハードウェア構成に含まれるプログラム２０９が処理装置２０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５及び携帯端末記憶部４０６及び携帯端末通信部４０７はそれぞれ図２に記載した表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６及び通信装置２０７の各ハードウェアによって実現されるが、プログラム２０９が処理装置２０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
　図５は本発明のサーバ１３０の機能ブロック図の一例を示す。サーバ１３０は、サーバ制御部５０１、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７を備える。
　サーバ表示部５０２はサーバ管理者等のユーザに提示するために情報を表示する。サーバ入力部５０３はユーザからの入力を受け付ける。サーバ記憶部５０６は、対象物の画像である基準画像及び対象物の画像特徴量を対象物ＩＤに紐付けて記憶する。対象物が１種類しかない場合においては、基準画像及び画像特徴量は対象物ＩＤと紐付けて記憶されなくともよい。さらにサーバ記憶部５０６は、各対象物のための画像特徴量もまた対象物ＩＤに紐付けて記憶する。
　サーバ制御部５０１は、携帯端末装置１２０からの要求に応じて記憶部５０６に記憶された基準画像をその紐付けられた対象物ＩＤとともに通信部５０７を介して携帯端末装置１２０へ送信する。また、基準画像が更新されたタイミング等の所定のタイミングで、記憶部５０６から基準画像を読み出し、携帯端末装置１２０へ送信し、携帯端末装置１２０における基準画像の更新を行うことができる。
　サーバ制御部５０１は、携帯端末装置１２０から送信された取得確認要求をサーバ通信部５０７を用いて受信し、複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該種類の対象物に対する当該取得対象物画像の特徴相関量を決定し、この決定された特徴相関量に基づいて、取得対象物画像が当該種類の対象物を撮像した画像であるか否かを判定する。さらに、この取得対象物画像が不正に取得された画像であるか否かについて判定してもよい。取得対象物画像に対象物が撮像されており、不正に取得された画像ではないと判定された場合には、当該ユーザが当該対象物を取得したことが確認されたとして、対応する特典等を付与する。
　本実施形態においてサーバ制御部５０１は、図３に記載されたハードウェア構成に含まれるプログラム３０９が処理装置３０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７はそれぞれ図３に記載した表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７の各ハードウェアによって実現されるが、プログラム３０９が処理装置３０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
　次に、本実施形態における携帯端末装置１２０及びサーバ１３０の動作のフローチャートを図６に示した。本実施形態においては、携帯端末装置１２０であるスマートフォンのユーザがプレイしているオンラインゲームにおけるアイテムを取得するために、ユーザは複数種類の対象物である商品のうちのいずれかを購入して取得することを求められている場合を例にとって説明する。ここでは、商品の種類毎に与えられるオンラインゲームにおけるアイテムが異なるため、ユーザがいずれの商品を取得したのかを特定しなければならない。
　ユーザは対象となっている商品を販売している店舗を実際に訪れ、いずれかの商品を購入して取得し、当該取得した商品を携帯端末装置１２０を用いて撮像して、サーバ１３０へ送信する。サーバ１３０は、取得された商品が複数ある対象商品のうちいずれかの種類の商品であるかが判定され、撮像された商品が対象商品のある１つの種類であると決定されると、ユーザがその商品を取得したと認められ、当該商品種類に対応するアイテムがこのユーザのゲームアカウントに対して配布される。以下に、これらの処理の内容を具体的に説明する。
　まず、本実施形態においてユーザは、プログラム２０９として取得確認用アプリケーションを携帯端末装置１２０にダウンロードしてインストールし、いずれかの店舗を訪れて商品を購入する。ユーザが取得した商品の画像を撮像するために携帯端末装置１２０における取得確認用アプリケーションを起動すると、携帯端末装置１２０が取得確認要求処理（Ｓ６０１）を開始する。取得確認要求処理において携帯端末装置１２０の制御部４０１が撮像部４０４を用いて、商品を含む画像を撮像して取得対象物画像として取り込み、この取得対象物画像を含む取得確認要求をサーバ１３０へ通信部４０７を介して送信する。
　サーバ１３０は取得確認要求を受信して、取得確認処理を実行する（Ｓ６０２）。取得確認処理においてサーバ１３０は、ユーザによって撮像された商品が、特典付与の対象となっている複数種類の商品のうちのいずれか１つの種類であるかを判定する。
　本実施形態における取得確認要求処理（Ｓ６０１）のより具体的な処理内容を図７に示す。ユーザが携帯端末装置１２０における取得確認用アプリケーションを起動すると、取得確認要求処理Ｓ６０１が開始される。
　携帯端末制御部４０１は基準画像のためのカウンタｄを０にセットする（Ｓ７０１）。本実施形態においては、携帯端末装置１２０の記憶部４０６には、特典付与の対象となるＤ個の種類の対象物（商品）の各対象物ＩＤに紐付けて基準画像が記憶され、これらに基づいて、ユーザによって撮像された画像に対象物である商品が含まれているか否かを判定する。基準画像は例えば対象物ＩＤ番号順に比較の対象とされる。
　ユーザは携帯端末装置１２０の撮像部４０４を取得した商品に向けて、商品の撮像を試みる。撮像部４０４は向けられた方向の実空間を撮像する（Ｓ７０２）。撮像された画像は動画の１フレームとすることが好ましいが、静止画撮影によって撮像された画像であってもよい。そして、記憶部４０６に記憶された基準画像のうちのｄ番目（０≦ｄ＜Ｄ）の基準画像と撮像部４０４によって撮像された空間の撮像画像とを比較して（Ｓ７０３）、当該基準画像に紐付けられた対象物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する（Ｓ７０５）。
　本実施形態において、基準画像と撮像部４０４によって撮像された空間の撮像画像との比較は形状についての局所特徴量に基づいて実行される。ここで形状は商品の形状の他に商品に記載されたロゴや商品名等の文字の形状や模様等も含む。局所特徴量を用いることにより、撮像された画像内に商品が撮像されているか否かを高速に判定することができる。局所特徴量は予め算出して記憶部４０６に予め記憶しておくことが好ましい。
　ここでは局所特徴量を用いて大まかに対象物が撮像されているか否かを判定するため、比較している基準画像の対象物と類似するその他の対象物や対象物以外のものが撮像されている場合であっても、比較対象の基準画像の対象物が撮像されていると判定される可能性がある。本発明においては、局所特徴量を用いた判定におけるこのような誤判定の可能性を許容する。局所特徴量を用いることで高速に対象物が撮像されていると推定される領域を特定し、より精度の高い識別を行うための特徴相関量を用いた演算を行う対象を限定することで演算量を削減し、高速に対象物の種類を特定することを可能とする。
　本実施形態においては、所定領域内に商品が撮像されるように携帯端末装置１２０の位置及び角度を移動させるようにユーザを誘導して、商品が撮像される領域を所定領域内に限定させる。これにより、撮像画像内の商品の位置及びサイズを幾何学的に正規化し、これ以降の商品種類識別のための情報処理量を削減する。
　商品が撮像されるべき所定の領域は、撮像部４０４によって撮像可能な領域の全体よりも小さい領域とし、商品を所定の領域内に撮像するとともに商品の周辺部も同時に撮像する。周辺領域の画像は後述する不正取得対象物画像の検出（Ｓ９０７）に利用することができる。
　ｄ番目の基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定されない場合には（Ｓ７０４）、カウンタｄをカウントアップし（Ｓ７０５）、判定すべきＤ種類のすべての対象物の基準画像と撮像画像とを比較したかを判定する（Ｓ７０６）。すべてについて判定していない場合には次の基準画像が撮像画像に対象物が撮像されているかを判定する（Ｓ７０３、Ｓ７０４）。すべての基準画像と撮像画像との比較を行ったと判定された場合には（Ｓ７０６）、カウンタｄをリセットし（Ｓ７０１）、新たな空間の画像を撮像し（Ｓ７０３）、この撮像画像に対して基準画像との比較を実行する。いずれかの基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定されるまでＳ７０１～Ｓ７０６の処理を繰り返し実行する。
　図８に１つの実施例としての表示部４０２に表示される取得確認用アプリケーションの表示画面８００を示す。対象物はハンバーガーとする。図８Ａに示すように、表示部４０２は、撮像部４０４によって撮像された空間の画像とともに、対象物であるハンバーガー８０２を納めるべき所定の領域を示す枠８０１及び対象物を枠内に入れるように指示するメッセージを表示する。ここでは表示部４０２には撮像部４０４の撮像領域の全体８０３が表示され、枠８０１はこの全体の領域よりも小さい領域である。このため、ハンバーガー８０２が枠８０１に収められた際には枠８０１の外側領域にはハンバーガー８０２の周辺の画像８０５が表示される。枠８０１内にハンバーガーを収めるように指示されることにより、ユーザは携帯端末装置１２０を移動させる。
　基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する局所特徴量を用いた判定処理（Ｓ７０３、Ｓ７０４）は、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量を用いたキーポイントマッチング技術を用いることにより実現できる。具体的には、基準画像内の局所特徴量としての特徴的な点（キーポイント）を予め検出して取得確認用アプリケーションの一部として記憶部４０６に格納しておく。そして、この予め格納された基準画像の特徴点（キーポイント）を所定の領域（枠８０１）内に重畳させ、撮像部４０４が撮像して得た画像の特徴点がこの所定の領域内に重畳された特徴点と重なっている場合、基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定する。基準画像の特徴点と撮像された画像の特徴点とは完全に重なる必要はない。例えば、所定数の特徴点が所定のずれの範囲で重なった場合には、所定の領域内に対象物が撮像されていると判定することができる。
　ユーザが携帯端末装置１２０を動かして、所定の領域内に対象物を納めることに成功すると、基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定され（Ｓ７０４）、所定の領域内に撮像された対象物及びその周辺部を含む空間の画像が取得対象物画像として取り込まれる（Ｓ７０７）。本実施形態において取得対象物画像の取り込みは、これ以降の処理のために撮像画像を記憶部４０６に記憶することである。各携帯端末装置が取得対象物画像を取り込む処理を実行するから、大量の取得確認要求が同時になされた場合であっても各携帯端末装置へ負荷が分散され、サーバへの負荷を軽減することができる。
　図８Ｂに示すように、取得対象物画像の取り込みに成功したことをユーザに伝えるためのメッセージとともに取得対象物画像をサーバに送信して取得確認要求を送信するか再度撮影し直すかを問い合わせるメッセージを表示部４０２に表示し、入力部４０３が再度取り直すための入力を受け付けた場合にはＳ７０１へ戻り、サーバ１３０へ送信するための入力を受け取った場合には、携帯端末装置１２０の制御部４０１は通信部４０７を用いて、取得確認要求をネットワーク１１０を介して送信するサーバ１３０へ送信する（Ｓ７０８）。取得確認要求は、ユーザを識別するユーザＩＤ及び取得対象物画像を含む。
　本実施形態においては、所定の対象物の基準画像と撮像画像とを比較して所定領域内に対象物が撮像されているか否かの判定を行ったが、共通する特徴を有する複数種類の対象物については、共通する特徴を示した特徴量を表すデータに基づいて判定を行ってもよい。この場合には、この共通する特徴を有する全ての対象物が検出される。取得対象物画像にこれらの対象物のうちのいずれが撮像されているのかは後述する処理によって特定される。
　次に、図９に示したフローチャートに基づいて、サーバ１３０で実行される取得確認処理（Ｓ６０２）の具体的な処理を説明する。本実施形態では、ｋ番目の対象物の基準画像の画像特徴量に基づいて、ｋ番目の種類の対象物に対する取得対象物画像の特徴相関量を決定し（Ｓ９０２）、決定された特徴相関量に基づいて、取得対象物画像に含まれる商品が対象商品のいずか１つの種類であるか否かを判定する（Ｓ９０３）。その後、その画像が不正に加工されていないか、さらに他のユーザによって撮像された画像の複製等の不正な画像であるか否かを判定する（Ｓ９０７）。取得対象物画像に対象物の１つの種類が含まれていて、不正な画像でない場合には、当該種類に対応する特典がユーザに付与される（Ｓ９０８）。以下、これらの処理について詳細に説明する。
　サーバ制御部５０１は対象物の種類のためのカウンタｋを０にセットする（Ｓ９０１）。本実施形態においては記憶部５０６には、特典付与の対象となる複数種類の対象物の各々についての固有特徴量及び非固有特徴量が各対象物の対象物ＩＤに紐付けて記憶部５０６に記憶され、これらの対象物のいずれかがユーザによって撮像された画像に含まれているかを順次判定する。ここでは、固有特徴量及び非固有特徴量の両方を各対象物に固有のものとするが、固有特徴量のみを各対象物に対して固有とし、非固有特徴量は全種類に対して共有としてもよい。Ｓ９０２及びＳ９０３において比較の対象となる対象物は、例えば対象物ＩＤ番号順とすることができる。
　固有特徴量はある対象物の種類を識別するために適切な特徴を示す量であり、非固有特徴量はその対象物の種類を識別するために不適切な特徴を示す量である。本実施形態においては、固有特徴量及び非固有特徴量は、対象物を表す画像の色彩についての特徴量とする。ここでは固有特徴量は、対象物を表す画像の各ピクセルのＲＧＢ値のうち、当該対象物の特徴的なＲＧＢ値を１以上含んだテーブルとする。例えば、対象物を撮像した画像から目視にて特徴的と思われるピクセルのＲＧＢ値及び特徴的ではないと思われるピクセルのＲＧＢ値を抽出してテーブルを作成することができる。このテーブルは、各対象物の基準画像に基づいて作成してもよいが、対象物画像におけるＲＧＢ値は撮像した際の照明の色等によっても変化するから、様々な照明条件において対象物を撮像した複数の画像に基づいて複数の固有特徴量を含んだテーブルを作成することが好ましい。
　一例として、対象物であるハンバーガーの包装用紙に商品名が記載されている場合に、商品種類毎に商品名の文字色が異なるものの、包装用紙の背景色は共通である場合を考える。この場合には、各商品に固有の文字色を示すＲＧＢ値を含んだ固有特徴量テーブルを作成し、背景色を示すＲＧＢ値を含んだ非固有特徴量テーブルを作成する。さらに、ある商品の文字色と他の商品の文字色とは異なるから、他の商品の文字色を示すＲＧＢ値は、その商品については非固有特徴量のテーブルに含ませることができる。その商品以外のための文字色はその商品に含まれていない色であるから、このような特徴量を非固有特徴量に含めることにより、商品識別を誤る確率を減少させることができる。
　本実施形態においては、商品名「ＣＨＥＥＳＥ ＢＵＲＧＥＲ」の文字は緑色、商品名「ＨＵＭＢＥＲＧＥＲ」の文字は紫色とし、ＣＨＥＥＥＳＥ ＢＵＲＧＥＲ及びＨＵＭＢＥＲＧＥＲの両方の包装用紙の背景色は茶色であるとする。このときの、ＣＨＥＥＳＥ ＢＵＲＧＥＲの固有特徴量テーブル及び非固有特徴量テーブルを表１及び表２に示す。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
　表１はＣＨＥＥＥＳＥ ＢＵＲＧＥＲの固有特徴量を示すテーブルである。例えば、ＩＤ＝０の１３１，１５０、８７はＣＨＥＥＥＳＥ ＢＵＲＧＥＲの文字色として使用される緑色を示す１つのＲＧＢ値である。照明条件によって、同じ印刷された緑色であってもその撮像された画像におけるＲＧＢ値は異なるものとなるから、緑を示す他の複数のＲＧＢ値も含まれている。表２はＣＨＥＥＳＥ ＢＵＲＧＥＲの非固有特徴量を示すテーブルである。例えば、ＩＤ＝０の１０７，７１，５４は、ＣＨＥＥＳＥ ＢＵＲＧＥＲとＨＵＭＢＥＲＧＥＲの両方の包装用紙に共通の茶色を示すＲＧＢ値である。さらに、ＣＨＥＥＳＥ ＢＵＲＧＥＲの包装用紙には含まれない、ＨＵＭＢＥＲＧＥＲの文字色である赤色を示すＲＧＢ値を含んでもよい。
　サーバ制御部５０１は、これらの対象物の固有特徴量及び非固有特徴量に基づいて、その対象物についての取得対象物画像の特徴相関量を決定する。本実施形態においては、対象物の固有特徴量及び非固有特徴量に基づいて抽出された固有特徴部と非固有特徴部との面積比を当該対象物に対する特徴相関量とする。
　まず、対象物の固有特徴量及び非固有特徴量のテーブルにおけるすべてのＲＧＢ値と取得対象物画像における各ピクセルのＲＧＢ値との色彩差分を算出する。あるピクセルにおけるＲＧＢ値との色彩差分が最も小さいＲＧＢ値を含むテーブルが固有特徴量テーブルである場合には、そのピクセルを固有特徴部（固有特徴ピクセル）とし、非固有特徴量テーブルである場合には、そのピクセルを非固有特徴部（非固有ピクセル）とする。そして、抽出された固有特徴部と非固有特徴部との面積比を算出する。
　色彩差分の計算においては、均等性のある色空間上での色の距離系である、godlove色差式（Godlove, I. H.: Improved Color-Difference Formula, with Applications to the Perceptibility and Acceptability of Fadings, Journal of the Optical Society of America, 41(11), pp.760-770, (1951)）や、CIE2000（Luo, M. R., Cui, G., & Rigg, B., "The development of the CIE 2000 colour-difference formula: CIEDE2000", Color Research & Application, Volume 26, Issue 5, October 2001, pp. 340-350, DOI: 10.1002/col.1049）を用いることができる。例えば、ＨＳＶ空間上の距離として一般的に知られるgodlove色差式Δgodloveは、次のように定義できる。
Figure JPOXMLDOC01-appb-M000003
　図１０に、本実施形態の処理によって決定された固有特徴部及び非固有特徴部を可視化した図を示す。ここでは、固有特徴部（ピクセル）を白色及び非固有特徴部（ピクセル）を黒色で示した。このように、固有特徴量テーブルに含まれるＲＧＢ値に近いＲＧＢ値を有する部分、すなわち対象物の特徴的な色の部分である文字部分が固有特徴部として抽出され、非固有特徴量テーブルに含まれるＲＧＢ値に近いＲＧＢ値を有する部分、すなわち、対象物の特徴的な色ではない背景部分が非固有特徴部として抽出されていることが分かる。特徴相関量である抽出された固有特徴部と非固有特徴部との面積比は、例えば、図１０における白色部分と黒色部分の面積比である。
　非固有特徴量テーブルを使用しないで、固有特徴量テーブルのＲＧＢ値との差が閾値内であれば固有特徴部と判定し、それ以外の場合には非固有特徴部と判定することもできる。しかし、前述したとおり、同一種類の対象物を撮像した場合であっても、照明条件によって撮像された画像の各ピクセルのＲＧＢ値は変化する。そのため、固有特徴量から一定の範囲内であるかのみによって固有特徴部か否かの判定を行うと誤判定される可能性が高まる。例えば、特徴的な色である緑に近い照明下で撮影された取得対象物画像の判定を行うと、すべてのピクセルが固有特徴量に近い色となるから、全てのピクセルが固有特徴部と判定される恐れがある。
　一方、本実施形態のように、非固有特徴量テーブルも用いて、固有特徴量と非固有特徴量のいずれに近いかの相対的な判定を行うことにより、より正確に判定を行うことが可能となる。例えば、緑の照明下において撮像された画像に基づいて非固有特徴量が抽出されていれば、緑の照明下で撮像された取得対処物画像であっても、緑がかった背景色のピクセルは非固有特徴量テーブルに含まれるＲＧＢ値に近い色となるから、非固有特徴部と判定することが可能となる。様々な照明下において撮像した画像に基づいて、これらのテーブルを作成することによりその精度をより高めることができる。また、非固有特徴量として、対象物に含まれていない色を入れることにより、さらにその精度を高めることができる。
　Ｓ９０３において、決定されたｋ番目の対象物に対する取得対象物画像の特徴相関量に基づいて、ｋ番目の対象物が撮像されているか否かについて判定する。この特徴相関量が当該対象物のために予め定められた範囲内である場合には、取得対象物画像にはＣＨＥＥＳＥ ＢＵＲＧＥＲが撮像されていると判定する。
　そして、ｋ番目の対象物が撮像されていると判定された場合には、不正検出（Ｓ９０７）へ移行し、撮像されていないと判定された場合には、カウンタｋをカウントアップし（Ｓ９０４）、まだすべての種類Ｋについて判定していなければ（Ｓ９０５）、次の種類について再度判定処理を実行するためにＳ９０２へ戻る。すべての種類Ｋについて判定を行ったにもかかわらず、対象物が撮像されていると判定されなかった場合には、いずれの種類の対象物も検出できなかったからエラーと決定し（Ｓ９０６）、携帯端末装置１２０へエラーメッセージを送信し、対象物が検出できなかった旨の通知を行う（Ｓ９１０）。
　ｋ番目の対象物が撮像されていると判定された場合には、不正取得対象物画像であるか否かの判定処理を行う（Ｓ９０７）。不正検出は、取得対象物画像を不正に加工したこと及び他のユーザが撮像した画像を複製する等によって不正に取得したことを検出する。画像が不正に加工されたか否かを検証する方法としては、A. E. Dirik and N. Memon, "Image tamper detection based on demosaicingartifacts," 2009 16th IEEE International Conference on Image Processing(ICIP), Cairo, 2009, pp. 1497-1500やMinati Mishra, Flt. Lt. Dr. M. C. Adhikary, "Digital Image Tamper DetectionTechniques - A Comprehensive Study," International Journal of ComputerScience and Business Informatics, Vol.2, No.1. ISSN: 1694-2108 , June 2013に示されているとおり、様々な方法が知られている。本発明においては、画像が不正に加工されたか否かを検証する方法であればいかなる方法であってもよい。
　閲覧画像が不正に加工されていないと判定された場合には、取得対象物画像に含まれる対象物の周辺部の画像に基づいて他のユーザが撮像した画像を複製する等によって不正に取得したものであるか否かを判定する。対象物の周辺を含んだ画像は、通行人が映り込んだり、日陰の位置が変わったりするため、撮影する時間が異なれば、完全に同じ画像とはならない。また、商品の周辺部は商品の撮像場所毎に異なるから、撮像画像毎に異なるものとなる。本発明において既に正当な取得確認要求であると判定された取得確認要求に含まれていた取得対象物画像をサーバ記憶部５０６に格納して蓄積しておき、判定の対象となっている取得対象物画像を既に確認済の取得対象物画像と比較することによって、複製によって取得された画像であるか否かを判定することが可能である。両者の類似性が一定以上に高ければ不正な画像と判定する。
　この周辺画像に基づいた不正検出は、例えば、特許文献１（特許第６１８１８９３号）に記載された方法によって実現することができる。本実施形態においては、撮像部４０４によって撮像可能な領域の全体よりも小さい所定の領域内に対象物を撮像させるから、対象物の周辺部も同時に撮像され、特許文献１に開示された不正検出方法を組み込んで不正検出を行うことができる。
　不正取得対象画像検出（Ｓ９０７）において、不正な取得対象物画像ではないと判定された場合には、ｋ番目の対象物をユーザが取得したことが確認されたものとして、ｋ番目の対象物に対応する特典を付与するための処理を実行し（Ｓ９０８）、特典付与が行われた旨の通知を携帯端末装置１２０へ送信する（Ｓ９１０）。不正な取得対象物画像であると判定された場合には、不正取得対象物画像のための処理を実行し（Ｓ９０９）、不正取得対象画像であると判定された旨の通知を携帯端末装置１２０へ送信する（Ｓ９１０）。
　本実施形態は、撮像された画像中に対物象が含まれる対象物領域検出のために回転や移動に強いロバストな特徴量である局所特徴量を用い、検出した対象物領域に含まれる対象物がバリエーション中のいずれかを確定させるための対象物識別のための大域的な色彩特徴量を用いるという、２つの特徴量を用いたマッチング処理を行う。これにより、多種類の対象物を高速・高精度に識別することを可能とする。変化やノイズには強いが識別性は十分に高くない局所特徴量と、識別性は高いものの変化やノイズには弱い大域的な色彩特徴量とを連結することにより、識別性とノイズ耐性の両方を同時に実現することを可能とする。
　特に、対象物が包装用紙に包装された商品である場合などは、包装用紙の折り畳みによる変形や汚れなどのノイズが多く含まれ、既存の特徴量マッチングのみでは正確に商品種類を確定することができない。しかしながら、本実施形態を用いることにより、ノイズが多く含まれている場合であっても、高い精度で高速に対象物の種類を特定することができる。
　本実施形態においては、Ｓ９０３において、ｋ番目の対象物に対する取得対象物画像の特徴相関量に基づいて取得対象物画像にｋ番目の対象物が撮像されていると判定されると、当該ｋ番目の対象物が撮像されたものと決定したが、複数種類のすべての対象物に対して特徴相関量を算出し、最も相関性の高い対象物が撮像されていると決定することもできる。例えば、ｋ番目の対象物のための予め記憶された所定値Ａｋと取得対象物画像のために算出された面積比Ｃｋとの差が最も小さい対象物が取得対象物画像に撮像されていると決定することができる。
　本実施形態においては、Ｓ９０２において特徴相関量を得るために用いられる画像特徴量を色彩の特徴量としたが、形状の特徴量を用いて特徴相関量を決定することもできる。例えば、Ｎ×Ｎピクセルのウィンドウを定義し、基準画像の各ピクセルに対して順次適用して、形状のパターンを抽出して、これに基づいて形状の特徴量とすることができる。
　説明を簡単にするためＮを２とし、白黒画像を対象とした場合を例にとって説明する。図１１に示すように２×２ピクセルのウィンドウ１１００を定義し、このウィンドウに含まれるピクセルのパターンは、各ピクセルが白または黒となるため２4通りのパターンとなり、各パターンに識別番号ＰＩＤ（０～１５）を割り当てる。例えば、すべてのピクセル（１１０１～１１０４）が白のパターンはＰＩＤ＝０、右下のピクセル（１１０１）のみが黒の場合はＰＩＤ＝１、全てのピクセルが黒の場合はＰＩＤ＝１５とする。
　そして、図１２Ａに示す基準画像１２００に対してウィンドウ１１００を適用する。まず、基準画像１２００の左上のピクセル１２０１にウィンドウ１１００の左上のピクセル１１０１を位置合わせして（図１２Ｂ）、基準画像１２００の左上の２×２ピクセルのパターンを抽出し、抽出されたパターンのＰＩＤのカウンタを１カウントアップする。ここでは、基準画像１２００の左上の２×２ピクセルはすべて白であるから、ＰＩＤ＝０のカウンタＣＰＩＤ＿０を１つインクリメントする。図１２Ｃ及びＤに示すとおり、ウィンドウ１１００を１ピクセルずつ移動させて、この処理を基準画像のすべてのピクセルに対して実行し、各ＰＩＤに対応するパターンがそれぞれいくつあったかをカウントし、カウンタＣＰＩＤ＿０～ＣＰＩＤ＿１５を取得する。そして、このカウンタＣＰＩＤ＿０～ＣＰＩＤ＿１５をビンとして、この対象物の種類についての画像特徴量としての形状ヒストグラムを取得する。
　取得対象物画像に対してもこのウィンドウ１１００を用いて形状ヒストグラムを作成する。そして、取得対象物画像の形状ヒストグラムと基準画像の形状ヒストグラムとの差分を算出してこれを特徴相関量とする（Ｓ９０２）。そして、特徴相関量である差分値が所定の範囲内である場合には、取得対象物画像にその対象物が撮像されている判定され、範囲外であった場合には撮像されていないと判定される（Ｓ９０３）。ここでは特徴相関量である差分値が小さいほど相関性が高い。
　さらに、変形例として、ユーザがいずれの対象物を取得したのかを予め特定してもよい。この場合には、特定された対象物の局所特徴量のみに基づいて、所定領域内に対象物が撮像されているのかの確認処理を行い、取得確認要求には、指定された対象物の種類を特定する対象物ＩＤを含めてサーバ１３０へ送信し、サーバ１３０はこれに基づいて特定された対象物の画像特徴量のみに基づいて取得対象物画像に対象物が撮像されているか否かを判定すればよいため、より高速の処理を実現することできる。
　また、１人のユーザが所定の店舗において１つの種類の対象物を取得してチェックイン処理を行うことについて回数制限を行うことも可能である。この場合には、携帯端末装置１２０が確認要求を送信する際に、取得対象物画像の撮像時に位置情報取得部４０５によって取得された位置情報を取得確認要求に含めて送信し、サーバ１３０は特典付与を行う際に、当該対象物の種類について当該ユーザが既に当該位置付近において撮像された画像に基づいてチェックインを行っていないかを確認する。既にチェックインを行っていた場合には、特典付与は行わず、まだチェックインを行っていない場合には、特典付与を行った後、当該ユーザについては当該位置で既にチェックインを行ったことを示す情報をサーバ記憶部５０６に記憶する。
　共通の特徴を含む複数種類の対象物の１つのカテゴリがある場合には、例えば、取得確認処理（Ｓ６０２）の開始時に、色彩等の共通特徴量に基づいて取得対象物画像に含まれる対象物がそのカテゴリのいずれか１つであることを決定して、そのカテゴリ内の対象物についてのみＳ７０１以降の処理を実行することもできる。多数の対象物がある場合には、比較の対象を削減することができるため、処理を高速化することができる。
　本実施形態においては、サーバ１３０が取得確認処理（Ｓ６０２）を実行する場合について説明したが、携帯端末装置１２０が取得確認処理を実行してもよい。例えば、携帯端末装置１２０の記憶部４０６に、対象物の基準画像に加えて、特典付与の対象となる複数種類の対象物の各々についての固有特徴量及び非固有特徴量を各対象物の対象物ＩＤに紐付けて記憶することで実現できる。これらの情報は、サーバ１３０から定期的に取得して更新することが好ましい。携帯端末装置１２０は、Ｓ７０７において所定の領域内に撮像された対象物及びその周辺部を含む空間の画像が取得対象物画像として取り込んだ後、取得確認要求をサーバ１３０へ送信しない。サーバ１３０に代わって携帯端末装置１２０が、当該取り込んだ取得対象物画像に基づいて、取得確認処理としてＳ９０１～Ｓ９０９の処理を実行し、ユーザが対象物を取得したことを確認することができる。通知送信（Ｓ９１０）は実行せずに、携帯端末装置１２０の表示部４０２に、ユーザが対象物を取得したか否かの確認の結果として、特典が付与されたこと、不正確認要求と判定されたこと等のメッセージを表示することができる。
　以上に説明した処理または動作において、矛盾が生じない限りにおいて、処理または動作を自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
１００　取得確認システム
１１０　ネットワーク
１２０　携帯端末装置
１３０　サーバ
２０１　処理装置
２０２　表示装置
２０３　入力装置
２０４　撮像装置
２０５　位置情報取得装置
２０６　記憶装置
２０７　通信装置
２０８　バス
２０９　プログラム
３０１　処理装置
３０２　表示装置
３０３　入力装置
３０６　記憶装置
３０７　通信装置
３０８　バス
３０９　プログラム
４０１　末制御部
４０２　表示部
４０３　入力部
４０４　撮像部
４０５　位置情報取得部
４０６　記憶部
４０７　通信部
５０１　制御部
５０２　表示部
５０３　入力部
５０６　記憶部
５０７　通信部
８００　表示画面
８０１　枠
８０２　対象物
８０３　全体画像
８０５　周辺画像
１１００　ウィンドウ
１１０１　ピクセル
１１０２　ピクセル
１１０３　ピクセル
１１０４　ピクセル
１２００　基準画像
１２０１　ピクセル

Claims (13)

  1. 　複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための携帯端末装置及びサーバを備えたシステムであって、
    　前記携帯端末装置は、
    　　前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、
    　　いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込み、
    　　前記取得対象物画像を前記サーバへ送信し、
    　前記サーバは、
    　　前記送信された取得対象物画像を受信し、
    　　前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    　　前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    　ことを特徴とするシステム。
  2. 　前記１つの種類の対象物の画像特徴量は固有特徴量及び非固有特徴量を含み、
    　前記固有特徴量は前記１つの種類の対象物の特徴である色彩を示す特徴的色彩値を含み、前記非固有特徴量は当該１つの種類の対象物の特徴ではない色彩を示す非特徴的色彩値を含み、
    　前記特徴相関量は、前記取得対象物画像における、前記１つの種類の対象物の画像特徴量に基づいて前記１つの種類の対象物の特徴である色彩を示すと決定された特徴部の量と前記１つの種類の対象物の特徴でない色彩を示すと決定された非特徴部の量との比であり、
    　前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記特徴相関量が所定の範囲内であるか否かによって決定する、
    　ことを特徴とする請求項１に記載のシステム。
  3. 　前記非固有特徴量は、前記複数種類の対象物に共通する色彩を示す色彩値及び前記１つの種類の対象物の固有特徴量には含まれず他の種類の対象物の固有特徴量に含まれる色彩値の少なくとも一方を含む、ことを特徴とする請求項２に記載のシステム。
  4. 　前記１つの種類の対象物の画像特徴量は当該種類の対象物の基準画像に含まれる形状についてのヒストグラムを含み、
    　前記特徴相関量は、前記基準画像のヒストグラムと前記取得対象物画像に含まれる形状についてのヒストグラムとの差分に基づいて決定される、
    　ことを特徴とする請求項１に記載のシステム。
  5. 　当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定することは、前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定することである、ことを特徴とする請求項１から４のいずれか１項に記載のシステム。
  6. 　前記複数種類の対象物のうちの１つの種類は前記携帯端末装置を介して予めユーザによって指定される、請求項１から５のいずれか１項に記載のシステム。
  7. 　前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記複数種類の対象物の各々について行い、最も相関性が高い対象物を撮像した画像であると判定することを特徴とする請求項１から５のいずれか１項に記載のシステム。
  8. 　前記局所特徴量は、前記複数種類の対象物の共通する局所特徴量であるかまたは前記複数種類の各対象物に固有の局所特徴量である、ことを特徴とする請求項１から７のいずれか１項に記載のシステム。
  9. 　複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのシステムにおいて使用されるサーバであって、
    　携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、
    　前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    　前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    　ことを特徴とするサーバ。
  10. 　複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための１組のプログラムであって、１以上のコンピュータに、
    　　前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、
    　　いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、
    　　前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、
    　　前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する段階と、
    　を実行させるプログラム。
  11. 　複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのプログラムであって、サーバに、
    　携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、
    　前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    　前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    　ことを実行させるプログラム。
  12. 　複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、１以上のコンピュータに、
    　　前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、
    　　いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、
    　　前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、
    　　前記決定された特徴相関量に基づいて、前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定する段階と、
    　を実行させる方法。
  13. 　複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、サーバに、
    　携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、
    　前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    　前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    　ことを実行させる方法。
PCT/JP2018/037779 2017-10-10 2018-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法 WO2019074011A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020207009797A KR102420331B1 (ko) 2017-10-10 2018-10-10 대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법
CN201880079702.XA CN111465963B (zh) 2017-10-10 2018-10-10 用于确认对象物的获取的系统、服务器、程序和方法
US16/843,485 US11281908B2 (en) 2017-10-10 2020-04-08 System, server, program, and method for confirming acquisition of target object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017196974A JP6517298B2 (ja) 2017-10-10 2017-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法
JP2017-196974 2017-10-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/843,485 Continuation US11281908B2 (en) 2017-10-10 2020-04-08 System, server, program, and method for confirming acquisition of target object

Publications (1)

Publication Number Publication Date
WO2019074011A1 true WO2019074011A1 (ja) 2019-04-18

Family

ID=66101532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037779 WO2019074011A1 (ja) 2017-10-10 2018-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法

Country Status (5)

Country Link
US (1) US11281908B2 (ja)
JP (1) JP6517298B2 (ja)
KR (1) KR102420331B1 (ja)
CN (1) CN111465963B (ja)
WO (1) WO2019074011A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
JP7309151B2 (ja) * 2020-01-20 2023-07-18 ピーエフ株式会社 広告効果促進装置、広告効果促進装置用プログラム、記憶媒体及び広告効果促進方法
CN115108117B (zh) * 2022-05-26 2023-06-27 盈合(深圳)机器人与自动化科技有限公司 一种切割方法、系统、终端及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
JP2013054529A (ja) * 2011-09-02 2013-03-21 Morpho Inc 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
JP2016006679A (ja) * 2011-09-27 2016-01-14 インテル・コーポレーション 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1008642C2 (nl) 1998-03-19 1999-09-23 Oce Tech Bv Digitale kopieerinrichting met een persoonlijk gegevens-opslagsysteem.
JP2001157199A (ja) * 1999-11-26 2001-06-08 Canon Inc 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び記憶媒体
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
JP4344869B2 (ja) * 2007-02-16 2009-10-14 三菱電機株式会社 計測装置
US20090272801A1 (en) * 2008-04-30 2009-11-05 Connell Ii Jonathan H Deterring checkout fraud
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP6071288B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2014106597A (ja) * 2012-11-26 2014-06-09 Toyota Motor Corp 自律移動体、物体情報取得装置、および物体情報取得方法
CN103606160B (zh) * 2013-12-02 2018-04-13 苏州比特速浪电子科技有限公司 图像处理装置及图像处理方法
JP2015176272A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP6181893B1 (ja) 2017-03-31 2017-08-16 株式会社Ｃｙｇａｍｅｓ 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
JP2013054529A (ja) * 2011-09-02 2013-03-21 Morpho Inc 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
JP2016006679A (ja) * 2011-09-27 2016-01-14 インテル・コーポレーション 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体

Also Published As

Publication number Publication date
US20200242362A1 (en) 2020-07-30
JP2019070964A (ja) 2019-05-09
US11281908B2 (en) 2022-03-22
KR102420331B1 (ko) 2022-07-13
JP6517298B2 (ja) 2019-05-22
CN111465963A (zh) 2020-07-28
CN111465963B (zh) 2023-11-24
KR20200051014A (ko) 2020-05-12

Similar Documents

Publication Publication Date Title
JP6806127B2 (ja) 検索システム、検索方法、及びプログラム
US10210527B2 (en) Open registry for identity of things including social record feature
CN102663600B (zh) 基于数字水印和条码的防伪系统及其防伪方法和应用
US20180336734A1 (en) Augmented Reality System, Method, and Apparatus for Displaying an Item Image in a Contextual Environment
US11281908B2 (en) System, server, program, and method for confirming acquisition of target object
US20160358158A1 (en) Open registry for identity of things including item location feature
CN110033293B (zh) 获取用户信息的方法、装置及系统
KR101710733B1 (ko) 객체 식별을 이용하는 타깃화된 광고
WO2018181095A1 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
JP6261060B2 (ja) 情報処理装置
US9177199B2 (en) Semantic magazine pages
CN106056183B (zh) 印刷机器可读图像的印刷介质及扫描该图像的系统和方法
CN110880139B (zh) 一种商品展示方法、装置、终端、服务器及存储介质
JP2014127168A (ja) 自動販売機管理装置、そのデータ処理方法、およびプログラム
US20190156316A1 (en) Imaging a package to identify contents associated with the package
KR20120132179A (ko) 촬영 이미지를 이용한 의사 전달 방법 및 장치
TW201832106A (zh) 真偽查詢伺服器、真偽查詢系統、真偽查詢方法及記錄真偽查詢程式之電腦可讀取式記錄媒體
US9712693B2 (en) Information provision apparatus, information provision method, and non-transitory storage medium
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
JP2019125394A (ja) 対象物取得確認のためのシステム、サーバ、プログラム及び方法
JP6925901B2 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
WO2013147004A1 (ja) デジタルサイネージシステム、デジタルサイネージ、物品情報提示方法及びプログラム
US9268464B1 (en) Link determination and usage using image recognition
KR102469244B1 (ko) 이미지 프로세싱에 기반하여 오프라인 광고 성과 데이터를 수집하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18866003

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207009797

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18866003

Country of ref document: EP

Kind code of ref document: A1