WO2016158121A1 - 情報処理装置、情報処理方法、および情報処理システム - Google Patents

情報処理装置、情報処理方法、および情報処理システム Download PDF

Info

Publication number
WO2016158121A1
WO2016158121A1 PCT/JP2016/055715 JP2016055715W WO2016158121A1 WO 2016158121 A1 WO2016158121 A1 WO 2016158121A1 JP 2016055715 W JP2016055715 W JP 2016055715W WO 2016158121 A1 WO2016158121 A1 WO 2016158121A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
receipt
processing apparatus
information processing
code
Prior art date
Application number
PCT/JP2016/055715
Other languages
English (en)
French (fr)
Inventor
順 多田
直孝 竹下
Original Assignee
フェリカネットワークス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェリカネットワークス株式会社 filed Critical フェリカネットワークス株式会社
Priority to JP2017509394A priority Critical patent/JP6784664B2/ja
Priority to US15/560,441 priority patent/US10726408B2/en
Publication of WO2016158121A1 publication Critical patent/WO2016158121A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/209Specified transaction journal output feature, e.g. printed receipt or voice output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/04Payment circuits
    • G06Q20/047Payment circuits using payment protocols involving electronic receipts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/10Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
    • G06Q20/102Bill distribution or payments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327Short range or proximity payments by means of M-devices
    • G06Q20/3276Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G06V30/2247Characters composed of bars, e.g. CMC-7
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and an information processing system.
  • a technology related to one-dimensional barcodes recognized from captured images has been developed.
  • a technique related to the one-dimensional barcode for example, a technique described in Patent Document 1 below can be cited.
  • a character string that is read by an OCR Optical Character Recognition
  • a captured image obtained by capturing a receipt such as a paper medium, and a database in which the product name is defined.
  • OCR Optical Character Recognition
  • the product name is interrupted due to, for example, occurrence of a character recognition error due to OCR or restriction of the print area of the receipt.
  • the product name setting unique to retail for example, notation fluctuation, kana, kanji, half-width, full-width, description rule, shortening rule, etc.
  • a new and improved information processing apparatus and information processing method capable of estimating a purchased product based on receipt information indicating a result of reading characters from a captured image obtained by capturing a receipt And an information processing system are proposed.
  • the receipt information indicating the result of reading characters from the first captured image in which the receipt is captured, and the second captured image in which the one-dimensional code or the two-dimensional code of the product is captured are one-dimensional.
  • An information processing apparatus includes an estimation unit that estimates a purchased product indicated by the receipt information based on code information indicating a result of detecting a code or a two-dimensional code.
  • An information processing method executed by an information processing apparatus includes a step of estimating a purchased product indicated by the receipt information based on code information indicating a result of detecting a one-dimensional code or a two-dimensional code.
  • receipt information indicating a result of reading characters from a first captured image in which a receipt is captured and a one-dimensional code or a two-dimensional code of a product are captured.
  • An information processing system is provided that estimates a purchased product indicated by the receipt information based on code information indicating a result of detecting a one-dimensional code or a two-dimensional code from the second captured image.
  • the information processing apparatus estimates the purchased product indicated by the receipt information based on the receipt information and the code information (estimation process).
  • the receipt information according to the present embodiment is data indicating a result of reading characters from a captured image obtained by capturing a receipt such as a paper medium.
  • the text data which show the read character (a number and a symbol are also included. The same hereafter) are mentioned, for example.
  • a captured image obtained by capturing a receipt may be referred to as a “first captured image”.
  • the information processing apparatus uses any technique that can detect characters from an image such as OCR from the acquired first captured image. Use it to read characters and generate receipt information. Then, the information processing apparatus according to the present embodiment uses the generated receipt information for the estimation process according to the present embodiment.
  • the information processing apparatus uses the acquired receipt information for the estimation process according to the present embodiment.
  • the first captured image or receipt information is acquired from an external device by, for example, wireless communication or wired communication via a network (or directly).
  • the information processing apparatus communicates with an external apparatus via a communication unit (described later) or a connected external communication device.
  • a wired network such as a LAN (Local Area Network) and a WAN (Wide Area Network)
  • a wireless network such as a wireless LAN (WLAN)
  • TCP / IP Internet using a communication protocol such as Transmission Control Protocol / Internet Protocol
  • the code information according to the present embodiment is data indicating a result of detecting the one-dimensional code or the two-dimensional code from the captured image obtained by capturing the one-dimensional code or the two-dimensional code of the product.
  • Examples of the code information according to the present embodiment include data indicating a code related to a product indicated by a one-dimensional code such as a barcode or a two-dimensional code such as a CP code.
  • Examples of the code related to the product according to the present embodiment include a JAN (Japanese Article Number) code and an EAN (European Article Number) code.
  • data indicating the result of detecting the one-dimensional code or the two-dimensional code indicated by the code information according to the present embodiment may be indicated as “code indicated by the code information”.
  • a captured image obtained by capturing a one-dimensional code or a two-dimensional code of a product may be referred to as a “second captured image”.
  • the second captured image according to the present embodiment is, for example, a captured image including one one-dimensional code or two-dimensional code (that is, one-dimensional code or two-dimensional code for each product is captured, respectively).
  • a captured image including a plurality of one-dimensional codes and two-dimensional codes that is, a captured image obtained by capturing a plurality of one-dimensional codes and two-dimensional codes at a time).
  • the information processing apparatus can detect the code indicated by the one-dimensional code or the two-dimensional code from the acquired second captured image.
  • Code information is generated by arbitrary image processing.
  • the information processing apparatus uses the generated code information for the estimation process according to the present embodiment.
  • the information processing apparatus uses the acquired code information for the estimation process according to the present embodiment.
  • the second captured image or code information is acquired from an external device by, for example, wireless communication or wired communication via a network (or directly).
  • the information processing apparatus communicates with an external apparatus via a communication unit (described later) or a connected external communication device.
  • the information processing apparatus uses, for example, the first captured image or receipt information and the second captured image or code information acquired in the same transaction for the estimation process.
  • the information processing apparatus for example, the first captured image or receipt information and the second captured image or code information acquired within a predetermined period set from the same external apparatus. May be used for the estimation process.
  • the information processing apparatus estimates the purchased product indicated by the receipt information based on the receipt information and the code information as described above.
  • the information processing apparatus according to the present embodiment specifies, for example, a code that can identify a product such as a JAN code or an EAN code corresponding to the purchased product indicated by the receipt information,
  • the purchased product indicated by the receipt information is estimated by specifying the product name, the purchase store, the purchase price, etc. corresponding to the purchased product shown.
  • the information processing apparatus is specified from, for example, a character string indicated by receipt information and a code indicated by code information (a detection result of a one-dimensional code or a two-dimensional code indicated by code information). Match the character string corresponding to the product.
  • the code information indicates a code related to a product such as a JAN code or an EAN code
  • a code such as a JAN code corresponds to a character string corresponding to the product (for example, a character string indicating a product name).
  • the processing related to specifying the character string corresponding to the product matching the code indicated by the code information may be performed by the information processing apparatus according to the present embodiment, or an external apparatus of the information processing apparatus according to the present embodiment such as a server. May be performed.
  • the information processing apparatus for example, a character string corresponding to a product specified from a character string indicated by the receipt information and a code indicated by the code information specified as described above by forward matching or partial matching. And match. Further, the information processing apparatus according to the present embodiment may perform collation by another collation method such as complete matching.
  • the information processing apparatus When the character string indicated by the receipt information is matched with the character string corresponding to the product specified from the code indicated by the code information, the information processing apparatus according to the present embodiment is specified from the code indicated by the code information. It is estimated that the product to be purchased is the purchased product indicated by the receipt information.
  • the information processing apparatus estimates the purchased product indicated by the receipt information based on the receipt information and the code information as the estimation process, for example, as described above.
  • the information processing apparatus has purchased the purchase information indicated by the receipt information by matching the character string indicated by the receipt information with the character string corresponding to the product specified from the code indicated by the code information. Estimate the product.
  • the code information indicates a code related to a product such as a JAN code or an EAN code
  • a database in which a code such as a JAN code is associated with a character string corresponding to the product is used.
  • a character string corresponding to a product that matches the code indicated by the code information.
  • the information processing apparatus can estimate a purchased product based on receipt information indicating a result of reading characters from a captured image obtained by capturing a receipt.
  • estimation processing according to the present embodiment is not limited to the example shown above.
  • the information processing apparatus can perform, for example, the following processes (a) to (d) as estimation processes.
  • the information processing apparatus includes the character string and code information indicated by the receipt information from which the product is estimated. Are recorded in association with each other.
  • the information processing apparatus according to the present embodiment includes, for example, a storage unit (described later) included in the information processing apparatus according to the present embodiment, an external recording medium connected to the information processing apparatus according to the present embodiment, a server, and the like.
  • the character string indicated by the receipt information and the code information are recorded in association with each other on a recording medium included in the external device.
  • the information processing apparatus generates or updates data in any format that can be stored in association with the character string indicated by the receipt information and the code information, such as a table format or a database format, for example.
  • the character string indicated by the receipt information and the code information are recorded in association with each other.
  • data stored in association with the character string indicated by the receipt information and the code information is referred to as “reference information”.
  • the product name is interrupted due to a restriction on the print area of the receipt, etc. It is possible that the same product is represented by a plurality of character strings, for example, by setting a unique product name.
  • the information processing apparatus estimates a purchased product
  • the character string indicated by the receipt information and the code information are associated with each other and recorded in the reference information, for example, characters by OCR It is possible to learn a recognition error pattern, a notation pattern due to a restriction on the receipt print area, and a retail-specific product name setting pattern.
  • the information processing apparatus uses, for example, the reference information stored in the recording medium.
  • the purchased product indicated by the receipt information is estimated. That is, the information processing apparatus according to the present embodiment, for example, in addition to the product estimation based on the character string indicated by the receipt information and the character string corresponding to the product specified from the code indicated by the code information as described above. Further, the product is estimated based on the character string indicated by the receipt information and the reference information.
  • the information processing apparatus When estimating a product based on reference information, extracts, for example, code information associated with a character string indicated by receipt information from the reference information. And the information processing apparatus which concerns on this embodiment estimates the purchased goods which receipt information shows based on the code information extracted from reference information, for example.
  • the information processing apparatus according to the present embodiment uses, for example, code information extracted from reference information, or a product name specified based on the code information, as a product estimation result. Further, the information processing apparatus according to the present embodiment collates, for example, a character string indicated by the receipt information with a character string corresponding to the product specified from the code indicated by the code information extracted from the reference information. May be estimated.
  • the information processing apparatus When the process is performed using the reference information as the estimation process, for example, the information processing apparatus according to the present embodiment first estimates a product based on the reference information. Further, when the product is not estimated based on the reference information, the information processing apparatus according to the present embodiment converts the character string indicated by the receipt information and the character string corresponding to the product specified from the code indicated by the code information. Based on the product estimation.
  • the estimation process when the process is performed using the reference information is not limited to the above.
  • the information processing apparatus is based on “estimation of a product based on reference information”, “a character string indicated by receipt information, and a character string corresponding to a product specified from a code indicated by code information. "Product estimation” may be performed in parallel.
  • the information processing apparatus is a character string corresponding to a product specified from a result of “estimation of a product based on reference information”, “a character string indicated by receipt information, and a code indicated by code information”
  • the product is estimated using one of the results of the “estimation of the product based on”.
  • the learning result (reference information) is used based on the receipt information even when the second captured image or code information is not acquired. Products can be estimated.
  • the information processing apparatus when a plurality of character strings corresponding to the product specified from the code indicated by the code information are collated with the character string indicated by the receipt information, the information processing apparatus according to the present embodiment, for example, The number indicating the price corresponding to the character string indicated by the receipt information is extracted from the receipt information.
  • the information processing apparatus acquires, for example, information related to sales corresponding to the product specified from the code indicated by the code information.
  • information related to sales for example, information indicating a product (for example, a product name, a code such as a JAN code, etc.) and information indicating a price such as a regular price or a market price of the product are included.
  • An associated database can be mentioned.
  • information related to sales according to the present embodiment may be associated with information indicating a retailer (for example, a retail chain name) and additional information related to a product such as a manufacturer.
  • FIG. 1 is an explanatory diagram for explaining processing related to the information processing method according to the present embodiment, and shows an example of information related to sales according to the present embodiment.
  • FIG. 1 an example of a database in which information related to sales is recorded in association with information indicating products, information indicating prices, and the like (an example of so-called product master data and POS (Point Of Sales) master data) Is shown.
  • the information related to sales according to the present embodiment is not limited to the example shown in FIG.
  • the information regarding sales according to the present embodiment may be data indicating the contents of a retailer's leaflet.
  • the information processing apparatus uses, for example, data indicating a price corresponding to the code indicated by the code information (for example, “manufacturer retail price” shown in FIG. 1) from information relating to sales such as a database shown in FIG. 1. , Data indicating “average unit price”).
  • the information processing apparatus acquires data indicating a price corresponding to the code indicated by the code information by communicating with an external apparatus such as a server managed by a retailer that stores information related to sales, for example. To do.
  • the information processing apparatus specifies data indicating a price having the smallest difference from the number indicating the price extracted from the receipt information from the data indicating the acquired price. Then, the information processing apparatus according to the present embodiment collates the character string corresponding to the product specified from the code indicated by the code information corresponding to the data indicating the specified price with the character string indicated by the receipt information. The purchased product indicated by the receipt information is estimated as a character string.
  • the information processing apparatus can further increase the estimation accuracy of a product.
  • the information processing apparatus estimates a retailer who has sold a product based on receipt information, and based on information related to sales corresponding to the estimated retailer, It is also possible to estimate purchased products.
  • the information processing apparatus estimates the retailer corresponding to the receipt information by searching the set retailer name from the character string indicated by the receipt information.
  • the information processing apparatus has information related to sales corresponding to the estimated retailer (for example, in the example shown in FIG. 1, information related to sales whose retail chain name matches the estimated retailer).
  • information related to sales corresponding to the estimated retailer for example, in the example shown in FIG. 1, information related to sales whose retail chain name matches the estimated retailer.
  • collation with the character string indicated by the receipt information is performed.
  • the information processing apparatus performs, for example, a receipt matching by matching the product name shown in FIG. 1 and the character string indicated by the receipt information. Estimate the purchased product indicated by the information.
  • the information processing apparatus When a plurality of product names are detected as a result of matching between the product name shown in FIG. 1 and the character string indicated by the receipt information, the information processing apparatus according to the present embodiment is configured as shown in (b) above. Similar to the processing according to the second example, estimation using a price is performed.
  • the estimation processing according to the third example is particularly effective when processing receipt information based on a receipt issued by a retailer operating the same notation of the receipt and the notation in the product master data. It is processing.
  • (D) Fourth Example of Estimation Processing The information processing apparatus according to the present embodiment performs estimation processing according to the first example shown in (a) to estimation processing according to the third example shown in (c). Of these, two or more processes may be combined.
  • the information processing apparatus performs, for example, the above estimation process as a process related to the information processing method according to the present embodiment.
  • the information processing apparatus can further perform one or more of (1) confirmation processing, (2) execution processing, and (3) electronic payment processing described below. .
  • the contents of the receipt indicated by the receipt information may be as follows. ⁇ Include characters due to misrecognition of characters by OCR. ⁇ Includes the contents of fake receipts (such as receipts with rewritten dates, prices, product names, etc., or fictitious receipts). ⁇ Indicates the contents of another person's receipt. ⁇ Indicates the contents of the receipt for which the product was previously estimated.
  • the information processing apparatus confirms the content of the receipt indicated by the receipt information by combining information (data) other than the receipt information.
  • the contents of the receipt confirmed by the information processing apparatus according to the present embodiment for example, “whether the reading result of the character from the first captured image is correct” or “purchase the product related to the receipt corresponding to the receipt information”.
  • the person who applied for the execution of the process in the information processing apparatus according to the present embodiment is the same person or "whether the product purchased based on the receipt information has already been estimated" Of 1 or 2 or more.
  • receipt information including characters due to a character recognition error by the OCR, or receipt information indicating the contents of a forged receipt Can be determined.
  • the person who purchased the product related to the receipt corresponding to the receipt information is the same person as the person who applied for the execution of the process in the information processing apparatus according to the present embodiment”.
  • receipt information indicating the contents of another person's receipt can be determined.
  • the receipt information indicating the contents of the receipt from which the product was previously estimated can be determined. .
  • Information other than the receipt information used in the confirmation process by the information processing apparatus according to the present embodiment includes, for example, information related to a settlement history.
  • Examples of information related to the payment history according to the present embodiment include payment amount, date and time, data indicating a payment person, and information depending on a payment method.
  • Examples of the information that depends on the payment method when a credit card payment is made include data indicating a credit card number, data indicating a transaction number, and data indicating a credit card brand type.
  • the information processing apparatus acquires information related to the settlement history through communication with the following external apparatus (or external device), for example.
  • the acquired information regarding the payment history may be information indicating a history of payment by electronic money performed in the information processing apparatus according to the present embodiment, for example.
  • ⁇ Security chips such as IC chips compatible with NFC and SIM (Subscriber Identity Module) cards built into mobile phones and smartphones.
  • the acquisition method of the information regarding the payment history which concerns on this embodiment is not restricted above.
  • the information related to the settlement history is information indicating a history of settlement by electronic money performed in the information processing apparatus according to the present embodiment
  • the information processing apparatus according to the present embodiment performs settlement by electronic money.
  • the information processing apparatus confirms whether “the estimation of the purchased product based on the receipt information has already been performed” by confirming whether or not the information related to the previously referred payment history is referred to again. Check.
  • the case where the information related to the payment history referred to before is referred to again corresponds to the case where the estimation of the purchased product based on the receipt information has already been performed.
  • information other than the receipt information used in the confirmation process by the information processing apparatus according to the present embodiment is not limited to the information related to the settlement history.
  • the information other than the receipt information may further include identification information indicating a person who applies for execution of processing in the information processing apparatus according to the present embodiment, and position information indicating a settled position.
  • Examples of the identification information indicating the person who makes the application include data indicating registration contents for receiving a service provided by the information processing method according to the present embodiment (for example, data indicating a user name).
  • the information processing apparatus for example, collates receipt information, information related to the settlement history as described above, and identification information indicating the person who applied for the “information related to the receipt corresponding to the receipt information”. It is possible to confirm whether the person who purchased the product and the person who applies for the execution of the process in the information processing apparatus according to the present embodiment are the same person.
  • position information indicating the settled position for example, position data of a position detecting device such as a GPS (Global Positioning System) device provided in a device used for settlement at a settlement place such as a retail store can be cited.
  • a position detecting device such as a GPS (Global Positioning System) device provided in a device used for settlement at a settlement place such as a retail store can be cited.
  • GPS Global Positioning System
  • the device used for the payment at the payment place is a portable device such as a mobile phone or a smartphone
  • the device detects, for example, the position in addition to the payment history when the payment is detected.
  • Log information as a log.
  • the device such as the mobile phone or the smartphone detects, for example, that a payment has been made based on monitoring a security chip provided or a signal from an external device such as a reader / writer.
  • the information processing apparatus acquires position information together with information related to the settlement history from the device such as the mobile phone or the smartphone.
  • the information processing apparatus uses the receipt information, the information related to the payment history as described above, and the position information to confirm that the payment was made near the place where the payment was made. To do.
  • the information processing apparatus for example, such as receipt information indicating the contents of a forged receipt or receipt information indicating the contents of another person's receipt. Incorrect receipt information can be discriminated.
  • the information processing apparatus performs a process corresponding to the estimation result of the purchased product by the estimation process.
  • a process related to cashback according to the estimated product can be cited.
  • Examples of the cash back method according to the present embodiment include various methods such as cash back by electronic money, cash back by transfer to a bank account, and cash back via a credit card company.
  • the process corresponding to the estimation result of the purchased product according to the present embodiment is not limited to the process related to the cashback.
  • the process corresponding to the estimation result of the purchased product according to the present embodiment may be a distribution process that distributes coupon information or recommendation information associated with the estimated product.
  • the process corresponding to the estimation result of the purchased goods which concerns on this embodiment is a process which concerns on the cash back according to the estimated goods is mainly mentioned as an example.
  • the information processing apparatus performs processing related to cashback according to the estimated product (based on the estimation result of the purchased product) based on the estimation result of the purchased product by the estimation process.
  • An example of corresponding processing is performed.
  • the information processing apparatus performs processing related to cash back according to the estimated product
  • the store is used as in the case where the above-described “method of discounting at the time of purchase at a retail store” is used. No system changes are required and there is no impact on store clerk operations.
  • the information processing apparatus performs the following processing as processing corresponding to the estimation result of the purchased product.
  • processing related to cashback according to the estimated product is taken as an example, but as described above, the processing corresponding to the estimation result of the purchased product according to the present embodiment is the estimated product. It is not limited to the processing related to the cash back according to.
  • the information processing apparatus receives cashback with an applicant who applies for cashback (an example of a person who applies for execution of processing in the information processing apparatus). Cash back is executed after ensuring the same identity as the person in charge.
  • the information processing apparatus specifies, for example, a user who provides a result of the process corresponding to the estimation result based on identification information indicating a person who applies for execution of the process in the information processing apparatus according to the present embodiment.
  • identification information indicating the applicant for example, data indicating registration contents for receiving a service provided by the information processing method according to the present embodiment (for example, indicating a user name) Data).
  • the information processing apparatus provides, for example, the processing result corresponding to the estimation result to the identified user. For example, when processing related to cashback according to the estimated product is performed, cashback is performed for the identified user.
  • the information processing apparatus includes, for example, identification information indicating the applicant and account information for cashback (for example, data indicating a cashback method and data indicating a cashback destination) Etc.) is referenced, the cashback account information corresponding to the specified user is specified. Then, the information processing apparatus according to the present embodiment cashes back the amount corresponding to the purchased product based on the specified account information.
  • identification information indicating the applicant and account information for cashback for cashback (for example, data indicating a cashback method and data indicating a cashback destination) Etc.)
  • the cashback account information corresponding to the specified user is specified.
  • the information processing apparatus cashes back the amount corresponding to the purchased product based on the specified account information.
  • the information processing apparatus specifies a user who provides a processing result corresponding to the estimation result based on information related to the settlement history corresponding to the content of the receipt indicated by the receipt information. And the result of the process corresponding to an estimation result is provided with respect to the identified user.
  • the information processing apparatus specifies a user who provides a result of a process corresponding to an estimation result by identifying a person associated with an electronic money ID indicated by information related to a settlement history, for example. To do. Then, the information processing apparatus according to the present embodiment cashes back the electronic money corresponding to the purchased product with respect to the electronic money ID.
  • the cashback is performed on the electronic money ID indicated by the information related to the settlement history, so that the identity of the applicant applying for cashback and the person receiving cashback is more securely secured. be able to.
  • the information processing apparatus when the application for cash back is performed from an application such as a smartphone, the information processing apparatus according to the present embodiment has an amount corresponding to the purchased product with respect to the security chip included in the smartphone. By cashing back the electronic money, it is possible to more securely secure the identity of the applicant applying for the cashback and the person receiving the cashback.
  • the information processing apparatus executes cash back after eliminating the acquisition of a plurality of incentives by the same person.
  • the information processing apparatus includes identification information indicating a person who applies for execution of processing in the information processing apparatus according to the present embodiment and account information for cashback. Using the table (or database) associated with “”, the person who receives cash back is specified.
  • the information processing apparatus does not permit association of a plurality of pieces of identification information with account information in the table or the like. That is, even if a person who applies for execution of processing in the information processing apparatus according to the present embodiment creates a plurality of login ID accounts, the same account information is already registered in the table or the like. The identification information and account information are not registered in the table or the like.
  • a security chip provided in a device such as a smartphone that cannot install a plurality of applications related to the same service in one device may be limited as a cash back destination.
  • a cashback destination By limiting the cashback destination as described above, it is possible to eliminate applications for cashback from the same application installed in a single device.
  • the information processing apparatus acquires the ID of the security chip included in the smartphone, and cashback has already been performed. It may be determined whether the device is a device. If the information processing apparatus according to the present embodiment determines that the apparatus has already been cashed back, the information processing apparatus does not perform cashback for the apparatus.
  • SDK Software Development Kit
  • the setting conditions for the cash back according to the present embodiment are set by, for example, the user's operation of the information processing apparatus according to the present embodiment.
  • the cashback setting condition according to the present embodiment is based on setting information (data) indicating the cashback setting condition acquired from an external device such as a server of a business operator such as a manufacturer of the product, for example. It may be set.
  • Examples of the setting conditions for cash back according to the present embodiment include the following (i) to (iv).
  • Conditions linked to purchase amount ⁇ Cashback for X [%] of payment amount, cashback for fixed amount, etc.
  • Other conditions ⁇ If purchased by M days, N [%] Cashback, cashback for P [yen] if purchased in the morning, cashback for Q [yen] if purchased in Tokyo, increase by + Y [%] if paid with electronic money
  • Conditions for cashback method ⁇ Specify cashback method for each store, retailer, etc. (for example, only electronic money or house money only) ⁇ Only electronic money used for purchase ⁇ Cashback by directly writing to electronic money stored in a chip whose value is stored in a security chip, etc. (for example, card & mobile) ⁇ Cashback to value managed by server etc.
  • the setting conditions for cash back according to the present embodiment are not limited to the examples shown in (i) to (iv) above.
  • a cashback destination is set in advance as in the account information, so that the cashback operation can be performed without making the user aware of the cashback work. Is possible.
  • an example of automatic cashback at the same time as purchase with electronic money can be realized as follows.
  • -Electronic money type and ID are registered in advance as cash back destinations.
  • the electronic money type, ID, and cashback balance are managed by a server or the like, and are linked with a thin client reader / writer server.
  • a user makes a purchase using electronic money at a retail store or the like.
  • settlement processing with electronic money is performed by a server or the like.
  • the server or the like not only withdraws the amount related to the payment from the value of the electronic money via the thin client type reader / writer, but also checks whether the electronic money card has a cashback balance or the like.
  • cashback is performed via a thin client reader / writer. (Note that the withdrawal process and the cash back process may be performed continuously, or may be performed in a single process by calculating the difference in advance.)
  • the user can receive cash back at the same time as shopping without being aware of the cash back operation.
  • the information processing apparatus can also perform payment with electronic money.
  • the information processing apparatus subtracts the value value of electronic money stored in, for example, an IC chip built in a smartphone or the like according to the payment contents.
  • the information processing apparatus according to the present embodiment can also make a settlement with electronic money in cooperation with, for example, a server of an electronic money business.
  • the information processing apparatus when payment is performed, records the payment history in a recording medium such as a storage unit (described later). Further, in the case where payment is made with electronic money in cooperation with an electronic money business operator's server, the history of payment may be stored in an external device such as the electronic money business operator's server.
  • the information related to the payment history according to the present embodiment includes information related to payment by the electronic payment processing.
  • the information processing apparatus includes, for example, “the above estimation process”, “the above estimation process, and the above process (1) (confirmation process)” as a process related to the information processing method according to the present embodiment.
  • “The above estimation process and the above process (2) (execution process)” "The above estimation process, the above process (1) (confirmation process), and the above (2) process (execution process)”
  • the above estimation process “the above estimation process, and the above process (1) (confirmation process)”, “the above estimation process, and the above process (2) (execution process)”, “the above estimation process,
  • the process (1) (confirmation process) and the process (2) (execution process) ”described above are obtained by dividing the process related to the information processing method according to the present embodiment for convenience. Therefore, the process according to the information processing method according to the present embodiment can be considered, for example, that the “estimation process” is two or more processes (depending on an arbitrary separation method).
  • the process related to the information processing method according to the present embodiment includes, for example, “the above estimation process and the above process (1) (confirmation process)”, “the above estimation process, and the above process (2) (execution).
  • Process) "," the above estimation process, the above process (1) (confirmation process), and the above process (2) (execution process) "can be regarded as a single process. It is also possible to regard it as two or more processes (depending on how they are separated).
  • FIG. 2 is an explanatory diagram showing a first example of processing related to the information processing method according to this embodiment. The example in the case where the estimation process which concerns on a form is performed is shown.
  • a receipt analysis application executed by a processor or the like in a device (hereinafter simply referred to as “applying device”) applying for execution of processing in the information processing apparatus according to the present embodiment is the first image obtained by capturing the receipt. Receipt information is generated by reading one captured image (S100). The first captured image is acquired by, for example, an imaging operation performed by the user by a notification (for example, a visual notification or an audible notification) performed by the receipt analysis application to the user of the application apparatus.
  • a notification for example, a visual notification or an audible notification
  • the receipt analysis application transmits receipt information to the information processing apparatus according to the present embodiment (S102).
  • the information processing apparatus collates each character string for each product included in the receipt information with a database for each retailer as shown in FIG. 1 (S104). For example, the information processing apparatus according to the present embodiment issues a query to a database and searches the database for a JAN code corresponding to each of the character strings.
  • a JAN code corresponding to the character string is obtained from the database (S118).
  • a product included in the receipt information is estimated.
  • the obtained JAN code (an example of the estimation result of the purchased product) is transmitted to an external device such as a coupon providing server that performs processing related to coupon provision, for example. (S120).
  • step S106 If the record corresponding to the character string does not exist in the database as a result of the process in step S104 (S106), the information processing apparatus according to the present embodiment is added to the receipt analysis application executed in the application apparatus. Then, an imaging request for imaging the barcode (an example of a one-dimensional code) of the product corresponding to the receipt information is transmitted (S108).
  • the barcode an example of a one-dimensional code
  • the receipt analysis application that has acquired the imaging request transmitted in step S108 activates an imaging device (or an external imaging device connected to the application apparatus) included in the application apparatus, and the barcode is imaged.
  • an imaging device or an external imaging device connected to the application apparatus
  • the barcode is imaged.
  • barcode information (an example of code information, the same shall apply hereinafter) is generated (S110).
  • the second captured image is acquired by, for example, an imaging operation performed by the user by a notification (for example, a visual notification or an audible notification) given to the user of the application apparatus in response to the imaging request. Is done.
  • the receipt analysis application transmits the barcode information to the information processing apparatus according to the present embodiment (S112).
  • the information processing apparatus that has acquired the barcode information transmitted in step S112, for example, the receipt information character string in which the record did not exist in the database, the JAN code indicated by the acquired barcode information, Are registered in the database in association with each other (S114).
  • a database capable of realizing the learning function is constructed (S116).
  • the information processing apparatus uses a JAN code indicated by barcode information acquired in response to an imaging request as a JAN code corresponding to a character string of receipt information in which no record exists in the database. Estimate the products included in the information. Then, the information processing apparatus according to the present embodiment performs the same process as step S120.
  • the information processing apparatus collates, for example, a character string of receipt information with a character string specified from a JAN code indicated by barcode information acquired in response to an imaging request. By doing so, the product included in the receipt information may be estimated.
  • the information processing apparatus corresponds to the character string of the receipt information in which the record does not exist in the database and the estimated product.
  • the JAN code indicated by the barcode information is registered in the database in association with it.
  • the purchased product indicated by the receipt information is estimated by performing the processing shown in FIG. Needless to say, the process when the estimation process according to the present embodiment is performed is not limited to the example illustrated in FIG. 2.
  • FIG. 3 is an explanatory diagram illustrating a second example of processing according to the information processing method according to this embodiment. The example in the case where the estimation process which concerns on a form, and a confirmation process are performed is shown.
  • the receipt analysis application executed in the application apparatus transmits an electronic money history request including an instruction to transmit the electronic money history to the IC chip provided in the application apparatus (S200).
  • the IC chip transmits the electronic money history to the receipt analysis application (S202).
  • the receipt analysis application determines whether there is a difference between the electronic money history acquired in step S202 and the electronic money history acquired last time (S204).
  • step S204 If it is not determined in step S204 that there is a difference, the receipt analysis application repeats the processing from step S200.
  • the receipt analysis application repeats the process of step S200 at an arbitrary timing that is set, for example, at a fixed interval.
  • step S204 If it is determined in step S204 that there is a difference, the receipt analysis application transmits a request including a command for causing the GPS device or the like to transmit position information (S206).
  • the GPS device or the like that has acquired the request transmitted in step S206 transmits, for example, the position information in which the position is recorded when payment is made to the receipt analysis application (S208).
  • the receipt analysis application that acquired the position information in step S208 stores the electronic money history and the position information in association with each other in the recording medium (S210).
  • the receipt analysis application generates receipt information by reading the first captured image in which the receipt is imaged, similarly to step S100 of FIG. 2 (S212).
  • the receipt analysis application transmits the receipt information and the electronic money history and position information held in association with each other to the information processing apparatus according to the present embodiment (S214).
  • the information processing apparatus that has acquired the receipt information, the electronic money history (an example of information related to the settlement history), and the position information transmitted in step S214 is based on the receipt information, the electronic money history, and the position information.
  • the purchased product indicated by the receipt information, the purchased store, the amount of money, etc. are estimated by analyzing the data relating to purchase by performing the above estimation process and the process (confirmation process) of (1) (S216). ).
  • the information processing apparatus according to the present embodiment uses the electronic money history and position information to perform the process (1) (confirmation process), for example, a receipt indicating the contents of a forged receipt. It is possible to discriminate information, illegal receipt information such as receipt information indicating the contents of another person's receipt, and the like.
  • FIGS. 4A and 4B are explanatory diagrams illustrating a third example of processing related to the information processing method according to this embodiment. The example in the case where the estimation process which concerns on this embodiment, a confirmation process, and an execution process is performed is shown.
  • steps S302 to S306 in FIG. 4A corresponds to an example of processing when the estimation processing according to the present embodiment is performed.
  • steps S308 to S318 in FIG. 4A corresponds to an example of processing when the confirmation processing according to the present embodiment is performed.
  • the processes in steps S320 to S324 in FIG. 4A and the processes in S328 to S344 in FIG. 4B correspond to an example of a process when the execution process according to the present embodiment is performed.
  • 4A and 4B show an example in which the execution process according to the present embodiment is realized by a system having three apparatuses, that is, an information processing apparatus, a coupon distribution server, and a cashback server according to the present embodiment. .
  • the receipt analysis application of the application-side apparatus generates receipt information by reading the first captured image in which the receipt is imaged, similarly to step S100 in FIG. 2 (S302).
  • the receipt analysis application transmits the receipt information and the electronic money history and position information held in association with each other to the information processing apparatus according to the present embodiment (S304).
  • the information processing apparatus that has acquired the receipt information transmitted in step S304 performs the above estimation process based on the receipt information and analyzes the data related to the purchase.
  • the purchased store, the amount, etc. are estimated (S306).
  • the receipt analysis application executed in the application side device transmits an electronic money history request including an instruction to transmit an electronic money history to the IC chip (S308).
  • the IC chip transmits the electronic money history to the receipt analysis application (S310).
  • the receipt analysis application determines whether there is a difference between the electronic money history acquired in step S310 and the previously acquired electronic money history. If it is determined that there is a difference, the electronic money history (information regarding the payment history) is determined. Is transmitted to the information processing apparatus according to the present embodiment (S312).
  • the information processing apparatus manages the electronic money history request including the instruction to transmit the electronic money history corresponding to the acquired electronic money history. (S314).
  • the electronic money management server transmits an electronic money history (an example of information related to a payment history) to the information processing apparatus according to the present embodiment in response to the electronic money history request (S316).
  • an electronic money history an example of information related to a payment history
  • the information processing apparatus that has acquired the electronic money history transmitted in step S316 is based on the receipt information, the electronic money history acquired in step S312 and the electronic money history acquired in step S316.
  • the process (1) (confirmation process) is performed to confirm the contents of the receipt indicated by the receipt information (S318).
  • the information processing apparatus When the content of the receipt is confirmed in step S318 and the receipt is proved, the information processing apparatus according to the present embodiment, for example, the JAN code obtained by the process of step S306 (an example of the estimation result of the purchased product) Such data is transmitted to a coupon providing server that performs processing related to provision of coupons (S320).
  • the coupon providing server that has acquired the data transmitted in step S320 performs processing based on the acquired data and the set coupon distribution conditions, for example (S322). Then, for example, the coupon providing server transmits a coupon corresponding to the purchased product to the application-side device (in FIG. 4A, for convenience, the receipt analysis application of the application-side device) (S324). .
  • the coupon providing server confirms whether or not the conditions necessary for cash back such as the purchase result of the coupon target product are satisfied (S326). If it is determined in step S326 that the condition is satisfied, the coupon providing server transmits the cashback condition (an example of setting information indicating the setting condition for cashback) to the cashback server that performs processing related to cashback. (S328).
  • the cashback condition an example of setting information indicating the setting condition for cashback
  • the cashback server that has acquired the cashback condition transmitted in step S328 transmits the cashback information indicating the candidate cashback destination to the requesting device (in FIG. 4B, the receipt analysis application of the requesting device for convenience). (S330).
  • the receipt analysis application of the device on the application side sets a cashback destination candidate based on, for example, a user operation (S332).
  • a user operation S332
  • cash back to electronic money stored in the IC chip of the requesting device is set as a cash back destination candidate.
  • the receipt analysis application requests the IC chip to read a cashback destination candidate (S334), and the IC chip transmits a service, an ID, and the like to the receipt analysis application in response to the request (S336).
  • the receipt analysis application that acquired the service or ID transmitted in step S336 transmits information indicating the cashback destination to the cashback server as a response to the cashback information transmitted in step S330 (S338).
  • the cashback server that has acquired the information indicating the cashback destination transmitted in step S338 performs processing related to cashback (S340).
  • processing related to cashback S340
  • a case where electronic money is directly cashed back to the IC chip will be described as an example.
  • the cashback server transmits a write request for directly cashing back electronic money to the IC chip to the requesting device (in FIG. 4B, it is indicated as a receipt analysis application of the requesting device for convenience).
  • the write request includes, for example, a write command and a value value.
  • the receipt analysis application that has acquired the write request transmitted in step S342 writes a value value to the IC chip based on the write request (S344).
  • FIG. 5 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
  • the information processing apparatus 100 includes, for example, a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and a user-operable operation unit (see FIG. And a display unit (not shown) for displaying various screens on the display screen.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • a ROM (not shown) stores control data such as a program used by the control unit 104 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • the storage unit (not shown) is a storage unit included in the information processing apparatus 100, and stores various data such as data related to the information processing method according to the present embodiment such as reference information and various applications.
  • examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • an operation input device to be described later can be cited.
  • a display part (not shown), the display device mentioned later is mentioned.
  • FIG. 6 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164.
  • the information processing apparatus 100 connects each component with a bus 166 as a data transmission path, for example.
  • the MPU 150 is composed of, for example, one or two or more processors configured by an arithmetic circuit such as an MPU, various processing circuits, and the like, and functions as the control unit 104 that controls the information processing apparatus 100 as a whole.
  • the MPU 150 serves as, for example, an estimation unit 110, a confirmation unit 112, and a processing unit 114 described later in the information processing apparatus 100.
  • the estimation unit 110, the confirmation unit 112, and the processing unit 114 is a dedicated (or general-purpose) circuit (for example, a processor separate from the MPU 150) capable of realizing the processing of each unit. It may be comprised.
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and stores various data such as data related to the information processing method according to the present embodiment such as reference information and various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 100 or an external display device.
  • the display device 162 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and communicates wirelessly or by wire with an application-side device such as a smartphone or an external device such as a server via a network (or directly). It functions as the communication unit 102 for performing.
  • an application-side device such as a smartphone or an external device such as a server via a network (or directly). It functions as the communication unit 102 for performing.
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • RF Radio Frequency
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration shown in FIG. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG. 6.
  • the information processing apparatus 100 may not include the communication interface 164 when communicating with an external apparatus or the like via a connected external communication device.
  • the communication interface 164 may be configured to be able to communicate with one or more external devices by a plurality of communication methods.
  • the information processing apparatus 100 can have a configuration that does not include the recording medium 156, the operation input device 160, and the display device 162, for example.
  • the configuration shown in FIG. 6 may be realized by one or two or more ICs.
  • the communication unit 102 is a communication unit included in the information processing apparatus 100, and communicates wirelessly or by wire with an application-side device such as a smartphone or an external device such as a server via a network (or directly). Do.
  • the communication of the communication unit 102 is controlled by the control unit 104, for example.
  • examples of the communication unit 102 include a communication antenna and an RF circuit, a LAN terminal, and a transmission / reception circuit, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can have a configuration corresponding to an arbitrary standard capable of performing communication such as a USB terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via a network.
  • the communication unit 102 may be configured to be able to communicate with one or more external devices by a plurality of communication methods.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100. Moreover, the control part 104 is provided with the estimation part 110, the confirmation part 112, and the process part 114, for example, and fulfill
  • the estimation unit 110 plays a role of leading the above estimation process, and estimates the purchased product indicated by the receipt information based on the receipt information and the code information.
  • the estimation unit 110 performs, for example, the estimation process according to the first example shown in (a) to the estimation process according to the fourth example shown in (d).
  • the confirmation unit 112 plays a leading role in performing the process (confirmation process) of (1) above. For example, based on information related to the payment history, information related to the payment history, position information, and the like, the receipt information indicated by the receipt information is displayed. checking the content.
  • the processing unit 114 plays a role of leading the processing (execution processing) of (2) above, and performs processing corresponding to the estimation result of the purchased product.
  • the processing unit 114 for example, a process related to cash back according to the estimated product, a distribution process that distributes coupon information or recommendation information associated with the estimated product, etc. Is mentioned.
  • the control unit 104 includes, for example, an estimation unit 110, a confirmation unit 112, and a processing unit 114, thereby performing processing related to the information processing method according to the present embodiment (the estimation processing, the processing (1) (confirmation processing). , And the processing (execution processing) of (2) above.
  • the information processing apparatus 100 has, for example, the configuration shown in FIG. 5, processing (for example, the estimation processing, the processing (1) (confirmation processing), and the processing (2) described above according to the information processing method according to the present embodiment. (Execution process)).
  • the information processing apparatus 100 can estimate a purchased product based on receipt information indicating a result of reading characters from a captured image obtained by capturing a receipt, for example, with the configuration illustrated in FIG.
  • the information processing apparatus 100 can exhibit the effects exhibited by performing the processing related to the information processing method according to the present embodiment as described above.
  • the information processing apparatus includes one or more of the estimation unit 110, the confirmation unit 112, and the processing unit 114 illustrated in FIG. 5 separately from the control unit 104 (for example, another Processing circuit).
  • the information processing apparatus may be configured not to include one or both of the confirmation unit 112 and the processing unit 114 illustrated in FIG.
  • the information processing apparatus according to the present embodiment can perform the above estimation process even if one or both of the confirmation unit 112 and the processing unit 114 shown in FIG.
  • the purchased product can be estimated based on the receipt information indicating the result of reading the character from the captured image obtained by capturing.
  • the information processing apparatus may further include, for example, an electronic payment processing unit (not shown) that plays a role of leading the processing (3) (electronic payment processing).
  • the electronic payment processing unit (not shown) is realized by, for example, a processor constituting the control unit 104 or a processing circuit (for example, another processor) different from the control unit 104.
  • the above estimation process “the above estimation process, and the above process (1) (confirmation process)”, “the above estimation process, and the above process (2) (execution process)”,
  • the “estimation process, the process (1) (confirmation process), and the process (2) (execution process)” and the like are obtained by separating the process related to the information processing method according to the present embodiment for the sake of convenience. . Therefore, the configuration for realizing the processing according to the information processing method according to the present embodiment is not limited to the estimation unit 110, the confirmation unit 112, and the processing unit 114 illustrated in FIG. It is possible to adopt a configuration according to how to separate such processes.
  • the information processing apparatus when communicating with an external device via an external communication device having the same function and configuration as the communication unit 102, does not include the communication unit 102. Also good.
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • the present embodiment can be applied to various devices capable of performing processing related to the information processing method according to the present embodiment, such as a computer such as a PC (Personal Computer) or a server.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • the information processing apparatus is applied to a system including one or two or more apparatuses that are premised on connection to a network (or communication between apparatuses) such as cloud computing. May be. That is, the information processing apparatus according to the present embodiment described above includes, for example, processes related to the information processing method according to the present embodiment (for example, “the estimation process”, “the estimation process, and (1 ) Process (confirmation process) ",” the above estimation process, and the above process (2) (execution process) ",” the above estimation process, the above process (1) (confirmation process), and the above process (2) ". (Execution process) ”) can also be realized as an information processing system.
  • processes related to the information processing method according to the present embodiment for example, “the estimation process”, “the estimation process, and (1 ) Process (confirmation process) "," the above estimation process, and the above process (2) (execution process) "," the above estimation process, the above process (1) (confirmation process), and the above process (2) ". (Execution process)
  • Programs for causing a computer to function as the information processing apparatus according to the present embodiment for example, “the above estimation process”, “the above estimation process, and the above process (1) (confirmation process)”, “the above estimation process, Information processing according to the present embodiment, such as “the processing (execution processing)” and “the above estimation processing, (1) processing (confirmation processing), and (2) processing (execution processing)”.
  • a program that can execute processing according to the method is executed by a processor or the like in a computer, and is purchased based on receipt information indicating a result of reading characters from a captured image obtained by capturing a receipt. Product can be estimated.
  • an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • a one-dimensional code or a two-dimensional code is obtained from receipt information indicating a result of reading characters from the first picked-up image obtained by picking up a receipt and a second picked-up image obtained by picking up a one-dimensional code or a two-dimensional code of a product.
  • An information processing apparatus comprising: an estimation unit that estimates a purchased product indicated by the receipt information based on code information indicating a detected result.
  • the estimating unit compares the character string indicated by the receipt information with the character string corresponding to the product specified from the detection result of the one-dimensional code or the two-dimensional code indicated by the code information.
  • the estimation unit estimates the purchased product based on a number indicating a price corresponding to a character string indicated by the receipt information indicated by the receipt information and information relating to sales corresponding to the specified product.
  • the information processing apparatus according to (2).
  • the estimation unit estimates a retailer who has sold a product based on the receipt information, and further estimates the purchased product based on information regarding sales corresponding to the estimated retailer. (2) Or the information processing apparatus according to (3).
  • the estimation unit records the character string indicated by the receipt information from which the product is estimated and the code information in association with each other.
  • the estimation unit includes the character string indicated by the receipt information and the one-dimensional code indicated by the code information or Based on the character string corresponding to the product specified from the detection result of the two-dimensional code, or the reference information in which the character string indicated by the receipt information from which the product is estimated and the code information are associated with each other, The information processing apparatus according to (5), wherein the purchased product indicated by the receipt information is estimated.
  • a confirmation unit configured to confirm a content of a receipt indicated by the receipt information based on information relating to a settlement history.
  • the information processing apparatus further confirms a content of the receipt indicated by the receipt information based on position information indicating a settled position.
  • the information processing apparatus according to (7) or (8), wherein the confirmation unit confirms whether a reading result of characters from the first captured image is correct as confirmation of the contents of the receipt.
  • the confirmation unit confirms whether a reading result of characters from the first captured image is correct as confirmation of the contents of the receipt.
  • the person who purchased the product related to the receipt corresponding to the receipt information and the person who applies for the execution of the processing in the information processing apparatus are the same person
  • the information processing apparatus according to any one of (7) to (9).
  • the estimation unit estimates the purchased product based on the receipt information based on the acquired first captured image or the acquired receipt information, and any of (1) to (11) The information processing apparatus as described in any one. (13) When the first captured image is acquired, the estimation unit reads characters from the acquired first captured image to generate the receipt information, The information processing apparatus according to (12), wherein the purchased product is estimated based on the generated receipt information. (14) The estimation unit estimates the purchased product based on the code information based on the acquired second captured image or the acquired code information, and any of (1) to (13) The information processing apparatus as described in any one.
  • the estimation unit detects a one-dimensional code or a two-dimensional code from the acquired second captured image, and generates the code information.
  • the information processing apparatus according to (14), wherein the purchased product is estimated based on the generated code information.
  • It further includes a processing unit that performs processing corresponding to the estimation result of the purchased product, The processor is Based on the identification information indicating the person who applies for the execution of the process in the information processing device, the user who provides the result of the process corresponding to the estimation result is specified, The information processing apparatus according to any one of (1) to (15), wherein a result of a process corresponding to an estimation result is provided to an identified user.
  • a one-dimensional code or a two-dimensional code is obtained from receipt information indicating a result of reading characters from the first picked-up image obtained by picking up a receipt and a second picked-up image obtained by picking up a one-dimensional code or a two-dimensional code of a product.
  • An information processing method executed by an information processing apparatus comprising: estimating a purchased product indicated by the receipt information based on code information indicating a detected result.
  • It has a plurality of devices, and is primary from receipt information indicating a result of reading characters from a first captured image in which a receipt is captured, and a second captured image in which a one-dimensional code or a two-dimensional code of a product is captured.
  • An information processing system for estimating a purchased product indicated by the receipt information based on code information indicating a result of detecting an original code or a two-dimensional code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、レシート情報が示す購入された商品を推定する推定部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、および情報処理システム
 本開示は、情報処理装置、情報処理方法、および情報処理システムに関する。
 撮像された画像から認識される1次元バーコードに関する技術が開発されている。上記1次元バーコードに関する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2005-261645号公報
 購入された商品などをレシートから推定する方法としては、例えば、紙媒体などのレシートを撮像した撮像画像からOCR(Optical Character Recognition)などによって読み取られた文字列と、商品名が規定されているデータベース(またはテーブル。以下、同様とする。)とを照合する方法が考えられる。
 しかしながら、上記のような読み取られた文字列の照合を行う方法が用いられる場合には、例えば、OCRによる文字の認識ミスが発生することや、レシートの印字領域の制限などにより商品名が途切れていること、小売り独自の商品名設定(例えば、表記ゆらぎ、仮名、漢字、半角、全角、記載ルール、短縮ルールなど)がされることなどによって、上記データベースとの照合が正しく行われない恐れがある。
 本開示では、レシートが撮像された撮像画像から文字が読み取られた結果を示すレシート情報に基づいて、購入された商品を推定することが可能な、新規かつ改良された情報処理装置、情報処理方法、および情報処理システムを提案する。
 本開示によれば、レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定する推定部を備える、情報処理装置が提供される。
 また、本開示によれば、レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定するステップを有する、情報処理装置により実行される情報処理方法が提供される。
 また、本開示によれば、複数の装置を有し、レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定する、情報処理システムが提供される。
 本開示によれば、レシートが撮像された撮像画像から文字が読み取られた結果を示すレシート情報に基づいて、購入された商品を推定することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の第1の例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の第2の例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の第3の例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の第3の例を示す説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.本実施形態に係る情報処理方法
  2.本実施形態に係る情報処理装置
  3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
 まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る情報処理方法に係る処理
 上述したように、“レシートを撮像した撮像画像から読み取られた文字列と、商品名が規定されているデータベースとを照合する方法”が用いられる場合には、例えば、OCRによる文字の認識ミスが発生することや、レシートの印字領域の制限などにより商品名が途切れていること、小売り独自の商品名設定がされることなどによって、上記データベースとの照合が正しく行われない恐れがある。
 そこで、本実施形態に係る情報処理装置は、レシート情報と、コード情報とに基づいて、レシート情報が示す購入された商品を推定する(推定処理)。
 ここで、本実施形態に係るレシート情報とは、紙媒体などのレシートが撮像された撮像画像から文字が読み取られた結果を示すデータである。本実施形態に係るレシート情報としては、例えば、読み取られた文字(数字や記号も含む。以下、同様とする。)を示すテキストデータが挙げられる。
 以下では、レシートが撮像された撮像画像を「第1の撮像画像」と示す場合がある。
 本実施形態に係る情報処理装置は、第1の撮像画像が取得された場合には、取得された第1の撮像画像から、OCRなどの画像から文字を検出することが可能な任意の技術を利用して、文字を読み取り、レシート情報を生成する。そして、本実施形態に係る情報処理装置は、生成したレシート情報を、本実施形態に係る推定処理に用いる。
 また、本実施形態に係る情報処理装置は、レシート情報が取得された場合には、取得されたレシート情報を、本実施形態に係る推定処理に用いる。
 第1の撮像画像、またはレシート情報は、例えば、ネットワークを介した(または直接的な)無線通信または有線通信によって、外部装置から取得される。本実施形態に係る情報処理装置は、備えている通信部(後述する)、または、接続されている外部の通信デバイスを介して、外部装置と通信を行う。
 本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
 また、本実施形態に係るコード情報とは、商品の一次元コードまたは二次元コードが撮像された撮像画像から一次元コードまたは二次元コードが検出された結果を示すデータである。本実施形態に係るコード情報としては、例えば、バーコードなどの一次元コードやCPコードなどの二次元コードが示す、商品に関するコードを示すデータが挙げられる。本実施形態に係る商品に関するコードとしては、例えば、JAN(Japanese Article Number)コードや、EAN(European Article Number)コードなどが挙げられる。以下では、本実施形態に係るコード情報が示す一次元コードまたは二次元コードが検出された結果を示すデータを、「コード情報が示すコード」と示す場合がある。
 以下では、商品の一次元コードまたは二次元コードが撮像された撮像画像を「第2の撮像画像」と示す場合がある。
 ここで、本実施形態に係る第2の撮像画像は、例えば、1つの一次元コードまたは二次元コードが含まれている撮像画像(すなわち、商品ごとの一次元コードまたは二次元コードがそれぞれ撮像された撮像画像)であってもよいし、複数の一次元コードや二次元コードが含まれている撮像画像(すなわち、複数の商品の一次元コードや二次元コードが1度に撮像された撮像画像)であってもよい。
 本実施形態に係る情報処理装置は、第2の撮像画像が取得された場合には、取得された第2の撮像画像から、一次元コードまたは二次元コードが示すコードを検出することが可能な任意の画像処理によって、コード情報を生成する。そして、本実施形態に係る情報処理装置は、生成したコード情報を、本実施形態に係る推定処理に用いる。
 また、本実施形態に係る情報処理装置は、コード情報が取得された場合には、取得されたコード情報を、本実施形態に係る推定処理に用いる。
 第2の撮像画像、またはコード情報は、例えば、ネットワークを介した(または直接的な)無線通信または有線通信によって、外部装置から取得される。本実施形態に係る情報処理装置は、備えている通信部(後述する)、または、接続されている外部の通信デバイスを介して、外部装置と通信を行う。
 ここで、本実施形態に係る情報処理装置は、例えば、同一のトランザクションにおいて取得された、第1の撮像画像またはレシート情報と、第2の撮像画像またはコード情報とを推定処理に用いる。また、本実施形態に係る情報処理装置は、例えば、同一の外部装置から設定されている所定の期間内に取得された、第1の撮像画像またはレシート情報と、第2の撮像画像またはコード情報とを推定処理に用いてもよい。
 本実施形態に係る情報処理装置は、上記のようなレシート情報とコード情報とに基づいて、レシート情報が示す購入された商品を推定する。本実施形態に係る情報処理装置は、例えば、レシート情報が示す購入された商品に対応する、JANコードやEANコードのような商品を特定することが可能なコードを特定することや、レシート情報が示す購入された商品に対応する商品名や購入店舗、購入金額などを特定することによって、レシート情報が示す購入された商品を推定する。
 具体的には、本実施形態に係る情報処理装置は、例えば、レシート情報が示す文字列と、コード情報が示すコード(コード情報が示す一次元コードまたは二次元コードの検出結果)から特定される商品に対応する文字列とを照合する。
 ここで、コード情報は、JANコードやEANコードのような商品に関するコードを示すので、例えば、JANコードなどのコードと商品に対応する文字列(例えば、商品名を示す文字列など)とが対応付けられているデータベースを用いることによって、コード情報が示すコードに一致する商品に対応する文字列を、一意に特定することが可能である。コード情報が示すコードに一致する商品に対応する文字列の特定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、サーバなどの本実施形態に係る情報処理装置の外部装置において行われてもよい。
 本実施形態に係る情報処理装置は、例えば、前方一致や、部分一致によって、レシート情報が示す文字列と、上記のように特定されたコード情報が示すコードから特定される商品に対応する文字列とを照合する。また、本実施形態に係る情報処理装置は、例えば、完全一致など他の照合方法によって照合を行ってもよい。
 そして、レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とが照合された場合に、本実施形態に係る情報処理装置は、コード情報が示すコードから特定される商品を、レシート情報が示す購入された商品であると推定する。
 本実施形態に係る情報処理装置は、推定処理として、例えば上記のように、レシート情報とコード情報とに基づいて、レシート情報が示す購入された商品を推定する。
 ここで、本実施形態に係る情報処理装置は、レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とを照合することによって、レシート情報が示す購入された商品を推定する。
 また、上述したように、コード情報は、JANコードやEANコードのような商品に関するコードを示すので、例えば、JANコードなどのコードと商品に対応する文字列とが対応付けられているデータベースを用いることによって、コード情報が示すコードに一致する商品に対応する文字列を、一意に特定することが可能である。
 よって、本実施形態に係る情報処理装置は、レシートが撮像された撮像画像から文字が読み取られた結果を示すレシート情報に基づいて、購入された商品を推定することができる。
 なお、本実施形態に係る推定処理は、上記に示す例に限られない。
 本実施形態に係る情報処理装置は、例えば、下記の(a)~(d)に示すような処理を、推定処理として行うことも可能である。
(a)推定処理の第1の例
 例えば、本実施形態に係る情報処理装置は、例えば、購入された商品が推定された場合には、商品が推定されたレシート情報が示す文字列とコード情報とを、対応付けて記録する。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部(後述する)や、本実施形態に係る情報処理装置に接続されている外部の記録媒体、サーバなどの外部装置が備える記録媒体などに、レシート情報が示す文字列とコード情報とを対応付けて記録する。
 本実施形態に係る情報処理装置は、例えば、テーブル形式やデータベース形式など、レシート情報が示す文字列とコード情報とを対応付けて記憶することが可能な任意の形式のデータを、生成または更新することによって、レシート情報が示す文字列とコード情報とを対応付けて記録する。以下では、レシート情報が示す文字列とコード情報とが対応付けて記憶されているデータを、「参照情報」と示す。
 ここで、第1の撮像画像に基づくレシート情報が示す文字列には、例えば、OCRによる文字の認識ミスが発生することや、レシートの印字領域の制限などにより商品名が途切れていること、小売り独自の商品名設定がされることなどによって、同じ商品が複数の文字列で表されることが起こりうる。
 本実施形態に係る情報処理装置が、購入された商品が推定された場合に、レシート情報が示す文字列とコード情報とを対応付けて、参照情報などに記録することによって、例えば、OCRによる文字の認識ミスパターンや、レシートの印字領域の制限による表記のパターン、小売り独自の商品名設定のパターンを学習することが可能となる。
 また、上記のように、レシート情報が示す文字列とコード情報とが対応付けて記録される場合には、本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている参照情報を用いて、すなわち、学習結果を利用して、レシート情報が示す購入された商品を推定する。つまり、本実施形態に係る情報処理装置は、例えば、上述したような、レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とに基づく商品の推定に加えて、さらに、レシート情報が示す文字列と参照情報とに基づく商品の推定を行う。
 参照情報に基づき商品を推定する場合、本実施形態に係る情報処理装置は、例えば、レシート情報が示す文字列と対応付けられているコード情報を、参照情報から抽出する。そして、本実施形態に係る情報処理装置は、例えば、参照情報から抽出されたコード情報に基づいて、レシート情報が示す購入された商品を推定する。本実施形態に係る情報処理装置は、例えば、参照情報から抽出されたコード情報、または、当該コード情報に基づき特定される商品名などを商品の推定結果とする。また、本実施形態に係る情報処理装置は、例えば、レシート情報が示す文字列と、参照情報から抽出されたコード情報が示すコードから特定される商品に対応する文字列とを照合して、商品を推定してもよい。
 推定処理として、参照情報を利用して処理が行われる場合には、本実施形態に係る情報処理装置は、例えば、まず、参照情報に基づき商品を推定する。また、参照情報に基いて商品が推定されない場合には、本実施形態に係る情報処理装置は、レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とに基づく商品の推定を行う。
 なお、参照情報を利用して処理が行われる場合における推定処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、“参照情報に基づく商品の推定”と、“レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とに基づく商品の推定”とを平行して行ってもよい。“参照情報に基づく商品の推定”と、“レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とに基づく商品の推定”とが平行して行われる場合、本実施形態に係る情報処理装置は、例えば、“参照情報に基づく商品の推定”の結果と、“レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とに基づく商品の推定”の結果とのうちの一方の結果を用いて、商品を推定する。
 上記のように、推定処理として、参照情報を利用して処理が行われるときには、第2の撮像画像またはコード情報が取得されない場合においても、学習結果(参照情報)を利用してレシート情報に基づき商品を推定することができる。
(b)推定処理の第2の例
 レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列とを照合する場合には、照合した結果、レシート情報が示す文字列に対して、コード情報が示すコードから特定される商品に対応する文字列が複数照合されることも起こりうる。ここで、複数照合された、コード情報が示すコードから特定される商品に対応する文字列は、推定される商品を示す文字列の候補に該当する。
 上記のように、レシート情報が示す文字列に対して、コード情報が示すコードから特定される商品に対応する文字列が複数照合された場合には、本実施形態に係る情報処理装置は、例えば、レシート情報から、レシート情報が示す文字列に対応する価格を示す数字を抽出する。
 また、本実施形態に係る情報処理装置は、例えば、コード情報が示すコードから特定される商品に対応する販売に関する情報を取得する。
 ここで、本実施形態に係る販売に関する情報としては、例えば、商品を示す情報(例えば、商品名や、JANコードなどのコードなど)と、商品の定価や市況価格などの価格を示す情報とが対応付けられているデータベース(または、テーブル)が挙げられる。また、本実施形態に係る販売に関する情報には、さらに、小売事業者を示す情報(例えば、小売りチェーン名など)や、メーカーなど商品に関する付加的な情報が対応付けられていてもよい。
 図1は、本実施形態に係る情報処理方法に係る処理を説明するための説明図であり、本実施形態に係る販売に関する情報の一例を示している。図1では、販売に関する情報が、商品を示す情報や価格を示す情報などが対応付けられて記録されているデータベースの一例(いわゆる、商品マスタデータや、POS(Point Of Sales)マスタデータの一例)を示している。
 なお、本実施形態に係る販売に関する情報は、図1に示す例に限られない。例えば、本実施形態に係る販売に関する情報は、小売業者のチラシの内容を示すデータであってもよい。
 本実施形態に係る情報処理装置は、例えば、図1に示すようなデータベースなどの販売に関する情報から、コード情報が示すコードに対応する価格を示すデータ(例えば、図1に示す“メーカー小売価格”、“平均単価”を示すデータ)を取得する。本実施形態に係る情報処理装置は、例えば、販売に関する情報を記憶する、小売業者が管理するサーバなどの外部装置と通信を行うことによって、コード情報が示すコードに対応する価格を示すデータを取得する。
 また、本実施形態に係る情報処理装置は、取得された価格を示すデータの中から、レシート情報から抽出された価格を示す数字との差分が最も小さい価格を示すデータを特定する。そして、本実施形態に係る情報処理装置は、特定された価格を示すデータに対応する、コード情報が示すコードから特定される商品に対応する文字列を、レシート情報が示す文字列と照合された文字列として、レシート情報が示す購入された商品を推定する。
 例えば上記のように販売に関する情報が用いられることによって、レシート情報が示す文字列と、コード情報が示すコードから特定される商品に対応する文字列との照合の精度をより高めることが可能となる。よって、例えば上記のように販売に関する情報が用いられることにより、本実施形態に係る情報処理装置は、商品の推定精度をより高めることができる。」
(c)推定処理の第3の例
 本実施形態に係る情報処理装置は、レシート情報に基づいて商品を販売した小売業者を推定し、推定された小売業者に対応する販売に関する情報に基づいて、購入された商品を推定することも可能である。
 本実施形態に係る情報処理装置は、レシート情報が示す文字列から、設定されている小売業者名を検索することによって、レシート情報に対応する小売業者を推定する。
 そして、本実施形態に係る情報処理装置は、推定された小売業者に対応する販売に関する情報(例えば、図1に示す例では、小売チェーン名が、推定された小売業者と一致する販売に関する情報)を参照して、レシート情報が示す文字列との照合を行う。販売に関する情報が図1に示すデータベースである場合、本実施形態に係る情報処理装置は、例えば、図1に示す商品名と、レシート情報が示す文字列と前方一致による照合を行うことによって、レシート情報が示す購入された商品を推定する。
 なお、図1に示す商品名とレシート情報が示す文字列との照合の結果、複数の商品名が検出された場合には、本実施形態に係る情報処理装置は、上記(b)に示す第2の例に係る処理と同様に、価格を用いた推定を行う。
 第3の例に係る推定処理は、例えば、レシートの表記と商品マスタデータにおける表記とを同一で運用している小売業者において発行されたレシートに基づくレシート情報を処理する場合に、特に有効な推定処理である。
(d)推定処理の第4の例
 本実施形態に係る情報処理装置は、上記(a)に示す第1の例に係る推定処理~上記(c)に示す第3の例に係る推定処理のうちの、2以上の処理を組み合わせた処理を行ってもよい。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上記のような推定処理を行う。
 なお、本実施形態に係る情報処理方法に係る処理は、上記推定処理に限られない。
 例えば、本実施形態に係る情報処理装置は、下記に示す(1)確認処理、(2)実行処理、および(3)電子決済処理のうちの1または2以上を、さらに行うことも可能である。
(1)確認処理
 上記推定処理のように、レシート情報に基づいて処理を行う場合、レシート情報が示すレシートの内容は、下記のようなものである可能性がある。
  ・OCRによる文字の認識ミスによる文字を含む。
  ・偽造されたレシート(日付や金額、商品名などが書き換えられたレシートや、架空のレシートなど)の内容を含む。
  ・他者のレシートの内容を示す。
  ・以前に商品が推定されたレシートの内容を示す。
 そこで、本実施形態に係る情報処理装置は、レシート情報以外の情報(データ)を組み合わせることによって、レシート情報が示すレシートの内容を確認する。
 本実施形態に係る情報処理装置が確認するレシートの内容としては、例えば、“第1の撮像画像からの文字の読み取り結果が正しいか”、“レシート情報に対応するレシートに係る商品の購入を行った者と、本実施形態に係る情報処理装置における処理の実行を申請する者とが同一の者であるか”、“レシート情報に基づき購入された商品の推定が既に行われているか”のうちの、1または2以上が挙げられる。
 “第1の撮像画像からの文字の読み取り結果が正しいか”が確認されることによって、例えば、上記OCRによる文字の認識ミスによる文字を含むレシート情報や、偽造されたレシートの内容を示すレシート情報を、判別することができる。また、“レシート情報に対応するレシートに係る商品の購入を行った者と、本実施形態に係る情報処理装置における処理の実行を申請する者とが同一の者であるか”が確認されることによって、例えば、他者のレシートの内容を示すレシート情報を、判別することができる。また、“レシート情報に基づき購入された商品の推定が既に行われているか”が確認されることによって、例えば、以前に商品が推定されたレシートの内容を示すレシート情報を、判別することができる。
 本実施形態に係る情報処理装置が確認処理において用いるレシート情報以外の情報としては、例えば、決済履歴に関する情報が挙げられる。
 本実施形態に係る決済履歴に関する情報としては、例えば、決済の金額、日時、決済者を示すデータや、決済方法に依存する情報が挙げられる。NFC(Near Field Communication)を利用した電子マネー決済がされた場合における決済方法に依存する情報としては、例えば、リーダ/ライタ(質問器)のIDや、電子マネーID、電子マネー種別を示すデータなどが挙げられる。また、クレジットカード決済がされた場合における決済方法に依存する情報としては、例えば、クレジットカード番号を示すデータや、トランザクション番号を示すデータ、クレジットカードブランド種別を示すデータなどが挙げられる。
 本実施形態に係る情報処理装置は、例えば下記のような外部装置(または外部のデバイス)との通信によって、決済履歴に関する情報を取得する。ここで、取得される決済履歴に関する情報は、例えば、本実施形態に係る情報処理装置において行われる電子マネーによる決済の履歴を示す情報であってもよい。
  ・携帯電話やスマートフォンなどに内蔵されている、NFCに対応するICチップなどのセキュリティチップや、SIM(Subscriber Identity Module)カードなど。
  ・小売事業者のサーバや、決済事業者のサーバ、電子マネー事業者のサーバなど。
 なお、本実施形態に係る決済履歴に関する情報の取得方法は、上記に限られない。例えば、決済履歴に関する情報が、例えば、本実施形態に係る情報処理装置において行われる電子マネーによる決済の履歴を示す情報である場合には、本実施形態に係る情報処理装置は、電子マネーによる決済の履歴を記憶部(後述する)などの記録媒体に記録し、当該記録媒体から、決済履歴に関する情報を取得することも可能である。
 例えば、レシート情報と、上記のような決済履歴に関する情報とを照合することによって、“第1の撮像画像からの文字の読み取り結果が正しいか”を確認することが可能である。
 また、例えば、上記のような決済履歴に関する情報を参照した履歴によって、“レシート情報に基づき購入された商品の推定が既に行われているか”を確認することが可能である。本実施形態に係る情報処理装置は、例えば、以前参照された決済履歴に関する情報が再度参照されたかを確認することによって、“レシート情報に基づき購入された商品の推定が既に行われているか”を確認する。例えば、以前参照された決済履歴に関する情報が再度参照された場合が、レシート情報に基づき購入された商品の推定が既に行われている場合に該当する。
 なお、本実施形態に係る情報処理装置が確認処理において用いるレシート情報以外の情報は、上記決済履歴に関する情報に限られない。
 上記レシート情報以外の情報には、さらに、本実施形態に係る情報処理装置における処理の実行を申請する者を示す識別情報や、決済された位置を示す位置情報が含まれていてもよい。
 上記申請する者を示す識別情報としては、例えば、本実施形態に係る情報処理方法により提供されるサービスを受けるための登録内容を示すデータ(例えば、ユーザ名を示すデータなど)が挙げられる。
 本実施形態に係る情報処理装置は、例えば、レシート情報と、上記のような決済履歴に関する情報と、上記申請する者を示す識別情報とを照合することによって、“レシート情報に対応するレシートに係る商品の購入を行った者と、本実施形態に係る情報処理装置における処理の実行を申請する者とが同一の者であるか”を確認することが可能である。
 また、決済された位置を示す位置情報としては、例えば、小売店などの決済場所において決済に用いられた装置が備える、GPS(Global Positioning System)デバイスなどの位置検出デバイスの位置データが挙げられる。
 上記決済場所において決済に用いられた装置が、携帯電話やスマートフォンなどの可搬型の装置である場合、当該装置は、例えば、決済が行われたことを検知したときに、決済履歴に加え、位置情報をログとして記録する。上記携帯電話やスマートフォンなどの装置は、例えば、備えているセキュリティチップを監視することや、リーダ/ライタなどの外部装置からの信号に基づいて、決済が行われたことを検知する。
 また、本実施形態に係る情報処理装置は、上記携帯電話やスマートフォンなどの装置から、上記決済履歴に関する情報と共に、位置情報を取得する。
 そして、本実施形態に係る情報処理装置は、レシート情報と、上記のような決済履歴に関する情報と、位置情報とを用いて、決済がされた時間に決済がされた場所付近にいたことを確認する。上記のように、位置情報をさらに用いることによって、本実施形態に係る情報処理装置は、例えば、偽造されたレシートの内容を示すレシート情報や、他者のレシートの内容を示すレシート情報のような、不正なレシート情報を、判別することができる。
(2)実行処理
 本実施形態に係る情報処理装置は、上記推定処理による購入された商品の推定結果に対応する処理を行う。
 本実施形態に係る購入された商品の推定結果に対応する処理としては、例えば、推定された商品に応じたキャッシュバックに係る処理が挙げられる。本実施形態に係るキャッシュバックの方法としては、例えば、電子マネーによるキャッシュバックや、銀行口座への振込によるキャッシュバック、クレジットカード事業者などを介したキャッシュバックなど、様々な方法が挙げられる。
 なお、本実施形態に係る購入された商品の推定結果に対応する処理は、上記キャッシュバックに係る処理に限られない。例えば、本実施形態に係る購入された商品の推定結果に対応する処理は、推定された商品に対応付けられているクーポン情報やリコメンド情報を配信する配信処理であってもよい。以下では、本実施形態に係る購入された商品の推定結果に対応する処理が、推定された商品に応じたキャッシュバックに係る処理である場合を主に例に挙げる。
 商品の購入に応じて、購入者にインセンティブを返す方法としては、例えば、“小売店において購入時に値引きを行う方法”が挙げられる。しかしながら、“小売店において購入時に値引きを行う方法”が用いられる場合には、店舗システムの変更が必要であり、また、店員オペレーションに影響を与える恐れがあることなどから、当該方法に対応する小売店を拡大することには、困難が伴う。
 これに対して、本実施形態に係る情報処理装置は、上記推定処理による購入された商品の推定結果に基づき、推定された商品に応じたキャッシュバックに係る処理(購入された商品の推定結果に対応する処理の一例)を行う。
 よって、本実施形態に係る情報処理装置が推定された商品に応じたキャッシュバックに係る処理を行う場合には、上記“小売店において購入時に値引きを行う方法”が用いられる場合のように、店舗システムの変更は必要なく、また、店員オペレーションに影響を与えることもない。
 より具体的には、本実施形態に係る情報処理装置は、購入された商品の推定結果に対応する処理として、下記のような処理を行う。なお、以下では、推定された商品に応じたキャッシュバックに係る処理を例に挙げるが、上述したように、本実施形態に係る購入された商品の推定結果に対応する処理は、推定された商品に応じたキャッシュバックに係る処理に限られない。
(2-1)実行処理の第1の例
 本実施形態に係る情報処理装置は、キャッシュバックを申請する申請者(情報処理装置における処理の実行を申請する者の一例)と、キャッシュバックを受ける者との同一を担保した上で、キャッシュバックを実行する。
 本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置における処理の実行を申請する者を示す識別情報に基づいて、推定結果に対応する処理の結果を提供するユーザを特定する。ここで、上記申請する者を示す識別情報としては、上述したように、例えば、本実施形態に係る情報処理方法により提供されるサービスを受けるための登録内容を示すデータ(例えば、ユーザ名を示すデータなど)が挙げられる。
 そして、本実施形態に係る情報処理装置は、例えば、特定されたユーザに対して、推定結果に対応する処理の結果を提供する。例えば、推定された商品に応じたキャッシュバックに係る処理が行われる場合には、特定されたユーザに対するキャッシュバックが行われる。
 具体的には、本実施形態に係る情報処理装置は、例えば、上記申請する者を示す識別情報と、キャッシュバック用のアカウント情報(例えば、キャッシュバック方法を示すデータや、キャッシュバック先を示すデータなど)とが対応付けられたテーブル(または、データベース)を参照することによって、特定されたユーザに対応するキャッシュバック用のアカウント情報を特定する。そして、本実施形態に係る情報処理装置は、特定されたアカウント情報に基づいて、購入された商品に対応する金額分をキャッシュバックする。
 上記のような、上記申請する者を示す識別情報とキャッシュバック用のアカウント情報とが対応付けられているテーブルなどを用いることによって、キャッシュバックを申請する申請者とキャッシュバックを受ける者との同一を担保することができる。
 なお、キャッシュバックを申請する申請者とキャッシュバックを受ける者との同一を担保する方法は、上記に限られない。
 例えば、本実施形態に係る情報処理装置は、レシート情報が示すレシートの内容に対応する決済履歴に関する情報に基づいて、推定結果に対応する処理の結果を提供するユーザを特定する。そして、特定されたユーザに対して、推定結果に対応する処理の結果を提供する。
 具体例を挙げると、本実施形態に係る情報処理装置は、例えば、決済履歴に関する情報が示す電子マネーIDに対応付けられている者を、推定結果に対応する処理の結果を提供するユーザを特定する。そして、本実施形態に係る情報処理装置は、電子マネーIDに対して、購入された商品に対応する金額分の電子マネーをキャッシュバックする。
 上記具体例のように、決済履歴に関する情報が示す電子マネーIDに対してキャッシュバックがされることによって、キャッシュバックを申請する申請者とキャッシュバックを受ける者との同一を、より強固に担保することができる。
 また、例えば、キャッシュバックの申請が、スマートフォンなどのアプリケーションから行われる場合には、本実施形態に係る情報処理装置は、当該スマートフォンが備えるセキュリティチップに対して、購入された商品に対応する金額分の電子マネーをキャッシュバックすることによって、キャッシュバックを申請する申請者とキャッシュバックを受ける者との同一を、より強固に担保することができる。
(2-2)実行処理の第2の例
 本実施形態に係る情報処理装置は、同一人物による複数のインセンティブの取得を排除した上で、キャッシュバックを実行する。
 上記(2-1)に示すように、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置における処理の実行を申請する者を示す識別情報とキャッシュバック用のアカウント情報とが対応付けられているテーブル(または、データベース)を用いて、キャッシュバックを受ける者を特定する。
 ここで、本実施形態に係る情報処理装置は、例えば、上記テーブルなどにおいて、アカウント情報に対する複数の識別情報の対応付けを許可しない。つまり、仮に、本実施形態に係る情報処理装置における処理の実行を申請する者が、複数のログインIDアカウントを作成したとしても、上記テーブルなどにおいて同一のアカウント情報が既に登録されている場合には、上記テーブルなどへの識別情報とアカウント情報との登録がされない。
 上記のように、上記テーブルなどにおいてアカウント情報に対する複数の識別情報の対応付けが許可されないことによって、同一人物による複数のインセンティブの取得を排除することが可能となる。
 また、例えば、1つの装置に同一のサービスに係るアプリケーションを複数インストールすることができないスマートフォンなどの装置が備えるセキュリティチップなどを、キャッシュバック先として限定してもよい。上記のようにキャッシュバック先が限定されることによって、1つの装置に複数インストールされている同一のアプリケーションからのキャッシュバックの申請を排除することが可能となる。
 よって、1つの装置に同一のサービスに係るアプリケーションを複数インストールすることができないスマートフォンなどの装置が備えるセキュリティチップなどを、キャッシュバック先として限定することによっても、同一人物による複数のインセンティブの取得を排除することが可能である。また、上述したように、例えば、キャッシュバックの申請が、スマートフォンなどのアプリケーションから行われる場合には、当該スマートフォンが備えるセキュリティチップに対して、購入された商品に対応する金額分の電子マネーがキャッシュバックされることによって、キャッシュバックを申請する申請者とキャッシュバックを受ける者との同一を、より強固に担保することが可能である。
 さらに、例えば、キャッシュバックの申請が、スマートフォンなどのアプリケーションから行われる場合には、本実施形態に係る情報処理装置は、当該スマートフォンが備えるセキュリティチップのIDを取得し、既にキャッシュバックが行われている装置であるかを判定してもよい。本実施形態に係る情報処理装置は、既にキャッシュバックが行われている装置であると判定した場合には、当該装置に対するキャッシュバックを行わない。
 よって、上記のような既にキャッシュバックが行われている装置であるか否かの判定を行うことによって、例えば、1つの装置に同一のサービスに係るアプリケーションを複数インストールすることができるか否かによらず、また、異なる複数のアプリケーションからキャッシュバックの申請が可能であるか否かによらず、同一人物による複数のインセンティブの取得を排除することが可能となる。
 なお、異なる複数のアプリケーションからのキャッシュバックの申請は、例えば、異なる複数のアプリケーションからのキャッシュバックの申請を行わせないためのSDK(Software Development Kit)を、アプリケーションの開発者などに配布することによって、抑止することが可能である。
(2-3)実行処理の第3の例
 本実施形態に係る情報処理装置は、設定されているキャッシュバックの設定条件に従って、キャッシュバックを行う。
 ここで、本実施形態に係るキャッシュバックの設定条件は、例えば、本実施形態に係る情報処理装置のユーザの操作によって、設定される。また、本実施形態に係るキャッシュバックの設定条件は、例えば、商品のメーカーなどの事業者のサーバなどの外部装置から取得される、キャッシュバックの設定条件を示す設定情報(データ)に基づいて、設定されてもよい。
 本実施形態に係るキャッシュバックの設定条件としては、例えば下記の(i)~(iv)に示す例が挙げられる。
(i)購入金額と連動する条件
  ・支払金額のX[%]分をキャッシュバック、固定金額分をキャッシュバックなど
(ii)その他条件
  ・M日までに購入されていればN[%]分をキャッシュバック、午前中に購入されていればP[円]分をキャッシュバック、東京で購入されていればQ[円]分をキャッシュバック、電子マネーで支払えば+Y[%]分アップなど
(iii)キャッシュバック方法の条件
  ・店舗や小売事業者などごとのキャッシュバック方法の指定(例えば、電子マネーのみや、ハウスマネーのみなど)
  ・購入に用いられた電子マネーのみ
  ・セキュリティチップなどにバリューが記憶されているチップ内保存型の電子マネーに対して、直接書き込むことによるキャッシュバック(例えば、カード&モバイルに対応)
  ・サーバなどにおいて管理されているバリューへのキャッシュバック(例えば、サーバ管理型電子マネー、ポイントなどに対応)
  ・キャッシュバックを申請する申請者がキャッシュバック方法を選択可能
(iv)キャッシュバックの受け取り条件
  ・キャッシュバックの受け取り期限の設定
  ・一定金額分まで貯まらないと受け取れない設定
 例えば、上記のようなキャッシュバックの設定条件が設定されることによって、例えば、柔軟なキャッシュバックキャンペーンを実現することが可能となる。なお、本実施形態に係るキャッシュバックの設定条件が、上記(i)~(iv)に示す例に限られないことは、言うまでもない。
(2-4)実行処理の第4の例
 本実施形態に係る情報処理装置は、キャッシュバック作業をユーザに意識させずに、キャッシュバックを行わせる。
 例えば、サーバ管理型のアカウントに対してキャッシュバックが行われる場合には、上記アカウント情報のように予めキャッシュバック先が設定されることによって、キャッシュバック作業をユーザに意識させずに、キャッシュバックを行うことが可能である。
 また、例えば、セキュリティチップなどにバリューが記憶されているチップ内保存型の電子マネーに対してキャッシュバックが行われる場合には、例えば下記のように、ユーザは日常で電子マネーを使うだけで、セキュリティチップなどに自動でキャッシュバックがされる。
 例えば、電子マネーによる購入と同時に自動キャッシュバックする例は、下記のように実現することが可能である。
  ・キャッシュバック先として、電子マネー種別やIDを事前に登録される。
  ・キャッシュバックキャンペーンへの応募結果に応じて、キャッシュバック権利をユーザが獲得する。
  ・電子マネー種別とID、およびキャッシュバック残高がサーバなどで管理され、シンクライアント型のリーダ/ライタのサーバと連携がされる。
  ・ユーザは、小売店などで電子マネーを利用して買い物をする。
  ・シンクライアント型のリーダ/ライタが決済に利用される場合、サーバなどで電子マネーによる決済処理が行われる。
  ・サーバなどは、シンクライアント型のリーダ/ライタを介して決済に係る金額分を電子マネーのバリューから引き去るだけでなく、キャッシュバック残高を持った電子マネーカードなどでないかを確認する。
  ・キャッシュバック残高を持っている電子マネーカードなどである場合、シンクライアント型のリーダ/ライタを介してキャッシュバックを行う。
(なお、上記引き去る処理とキャッシュバックに係る処理とは、続けて行われてもよいし、事前に差額を計算して一度の処理で行われてもよい。)
 例えば上記のような処理が行われることによって、ユーザはキャッシュバック動作を意識することなく、買い物と同時にキャッシュバックを受けることができる。
(3)電子決済処理
 本実施形態に係る情報処理装置は、電子マネーによる決済を行うことも可能である。
 本実施形態に係る情報処理装置は、例えば、スマートフォンなどに内蔵されているICチップなどに記憶されている電子マネーのバリュー値を、決済内容に応じて減算させる。本実施形態に係る情報処理装置は、例えば、電子マネー事業者のサーバなどと連携して電子マネーによる決済を行うことも可能である。
 また、本実施形態に係る情報処理装置は、決済が行われると、例えば、決済の履歴を記憶部(後述する)などの記録媒体に記録する。また、電子マネー事業者のサーバなどと連携して電子マネーによる決済が行われる場合には、決済の履歴は、電子マネー事業者のサーバなどの外部装置において記憶されてもよい。
 よって、本実施形態に係る情報処理装において、電子決済処理が行われる場合、本実施形態に係る決済履歴に関する情報には、電子決済処理による決済に関する情報が含まれるる。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、“上記推定処理”や、“上記推定処理、および上記(1)の処理(確認処理)”、“上記推定処理、および上記(2)の処理(実行処理)”、“上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理)”、“上記推定処理、および上記(3)の処理(電子決済処理)”、“上記推定処理、上記(1)の処理(確認処理)、および上記(3)の処理(電子決済処理)”、“上記推定処理、上記(2)の処理(実行処理)、および上記(3)の処理(電子決済処理)”、“上記推定処理、上記(1)の処理(確認処理)、上記(2)の処理(実行処理)、および上記(3)の処理(電子決済処理)”を行う。
 なお、“上記推定処理”や、“上記推定処理、および上記(1)の処理(確認処理)”、“上記推定処理、および上記(2)の処理(実行処理)”、“上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理)”などは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記推定処理”を、(任意の切り分け方によって)2以上の処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記推定処理、および上記(1)の処理(確認処理)”や、“上記推定処理、および上記(2)の処理(実行処理)”、“上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理)”などそれぞれを、1つの処理と捉えることが可能であり、それぞれを(任意の切り分け方によって)2以上の処理と捉えることも可能である。
[2]本実施形態に係る情報処理方法に係る処理の具体例
 次に、上述した本実施形態に係る情報処理方法に係る処理の具体例を示す。
[2-1]本実施形態に係る情報処理方法に係る処理の第1の例
 図2は、本実施形態に係る情報処理方法に係る処理の第1の例を示す説明図であり、本実施形態に係る推定処理が行われる場合の処理の一例を示している。
 本実施形態に係る情報処理装置における処理の実行を申請する側の装置(以下、単に「申請側の装置」と示す。)においてプロセッサなどにより実行されるレシート解析アプリケーションは、レシートが撮像された第1の撮像画像を読み込むことによって、レシート情報を生成する(S100)。第1の撮像画像は、例えば、レシート解析アプリケーションが申請側の装置のユーザに対して行う通知(例えば、視覚的な通知や聴覚的な通知)により当該ユーザが行う撮像操作によって、取得される。
 そして、レシート解析アプリケーションは、レシート情報を本実施形態に係る情報処理装置へ送信する(S102)。
 本実施形態に係る情報処理装置は、レシート情報に含まれる商品ごとの文字列それぞれを、例えば図1に示すような小売事業者別のデータベースと照合する(S104)。本実施形態に係る情報処理装置は、例えば、データベースに対してクエリを発行して、データベースから上記文字列それぞれに対応するJANコードを検索する。
 ステップS104の処理の結果、文字列に対応するレコードがデータベースに存在する場合には、データベースから文字列に対応するJANコードが得られ(S118)、本実施形態に係る情報処理装置では、データベースからJANコードが得られることによって、レシート情報に含まれる商品が推定される。また、本実施形態に係る情報処理装置では、得られたJANコード(購入された商品の推定結果の一例)を、例えば、クーポンの提供に係る処理を行うクーポン提供サーバなどの外部装置へ送信する(S120)。
 また、ステップS104の処理の結果、文字列に対応するレコードがデータベースに存在しない場合には(S106)、本実施形態に係る情報処理装置は、申請側の装置において実行されているレシート解析アプリケーションに、レシート情報に対応する商品のバーコード(一次元コードの一例)を撮像させるための撮像リクエストを送信する(S108)。
 ステップS108において送信された撮像リクエストを取得したレシート解析アプリケーションは、申請側の装置が備える撮像デバイス(または、申請側の装置に接続されている外部の撮像デバイス)を起動させ、バーコードが撮像された第2の撮像画像を読み込むことによって、バーコード情報(コード情報の一例。以下、同様とする。)を生成する(S110)。第2の撮像画像は、例えば、撮像リクエストに応じて申請側の装置のユーザに対して行われた通知(例えば、視覚的な通知や聴覚的な通知)により当該ユーザが行う撮像操作によって、取得される。
 そして、レシート解析アプリケーションは、バーコード情報を本実施形態に係る情報処理装置へ送信する(S112)。
 ステップS112において送信されたバーコード情報を取得した本実施形態に係る情報処理装置は、例えば、レコードがデータベースに存在しなかったレシート情報の文字列と、取得されたバーコード情報が示すJANコードとを、対応付けてデータベースに登録する(S114)。ステップS106~ステップS114の処理が繰り返されることによって、学習機能が実現可能なデータベースが構築される(S116)。
 本実施形態に係る情報処理装置は、例えば、撮像リクエストに応じて取得されたバーコード情報が示すJANコードを、レコードがデータベースに存在しなかったレシート情報の文字列に対応するJANコードとして、レシート情報に含まれる商品を推定する。そして、本実施形態に係る情報処理装置は、ステップS120と同様の処理を行う。
 なお、上述したように、本実施形態に係る情報処理装置は、例えば、レシート情報の文字列と、撮像リクエストに応じて取得されたバーコード情報が示すJANコードから特定される文字列とを照合することによって、レシート情報に含まれる商品を推定してもよい。上記のように照合によりレシート情報に含まれる商品が推定される場合、本実施形態に係る情報処理装置は、レコードがデータベースに存在しなかったレシート情報の文字列と、推定された商品に対応するバーコード情報が示すJANコードとを、対応付けてデータベースに登録する。
 例えば図2に示す処理が行われることによって、レシート情報が示す購入された商品が推定される。なお、本実施形態に係る推定処理が行われる場合の処理が、図2に示す例に限られないことは、言うまでもない。
[2-2]本実施形態に係る情報処理方法に係る処理の第2の例
 図3は、本実施形態に係る情報処理方法に係る処理の第2の例を示す説明図であり、本実施形態に係る推定処理、および確認処理が行われる場合の処理の一例を示している。
 申請側の装置において実行されるレシート解析アプリケーションは、電子マネー履歴を送信させる命令を含む電子マネー履歴リクエストを、申請側の装置が備えるICチップに送信する(S200)。ICチップは、電子マネー履歴リクエストに応じて電子マネー履歴をレシート解析アプリケーションへ送信する(S202)。
 レシート解析アプリケーションは、ステップS202において取得された電子マネー履歴と前回取得された電子マネー履歴とに差分があるかを判定する(S204)。
 ステップS204において差分があると判定されない場合には、レシート解析アプリケーションは、ステップS200からの処理を繰り返す。レシート解析アプリケーションは、例えば、一定間隔など設定されている任意のタイミングで、ステップS200の処理を繰り返す。
 また、ステップS204において差分があると判定された場合には、レシート解析アプリケーションは、GPSデバイスなどに位置情報を送信させる命令を含むリクエストを送信する(S206)。ステップS206において送信されたリクエストを取得したGPSデバイスなどは、例えば、決済がされたときに位置が記録された位置情報を、レシート解析アプリケーションに送信する(S208)。
 ステップS208において位置情報を取得したレシート解析アプリケーションは、電子マネー履歴と位置情報とを対応付けて記録媒体に保持する(S210)。
 また、レシート解析アプリケーションは、図2のステップS100と同様に、レシートが撮像された第1の撮像画像を読み込むことによって、レシート情報を生成する(S212)。
 そして、レシート解析アプリケーションは、レシート情報と、対応付けて保持されている電子マネー履歴および位置情報とを、本実施形態に係る情報処理装置へ送信する(S214)。
 ステップS214において送信されたレシート情報、電子マネー履歴(決済履歴に関する情報の一例)、および位置情報を取得した本実施形態に係る情報処理装置は、レシート情報、電子マネー履歴、および位置情報に基づいて、上記推定処理、および上記(1)の処理(確認処理)を行い購買に係るデータを解析することによって、レシート情報が示す購入された商品や、購入された店舗、金額などを推定する(S216)。ここで、本実施形態に係る情報処理装置は、電子マネー履歴や位置情報を利用して、上記(1)の処理(確認処理)を行うことによって、例えば、偽造されたレシートの内容を示すレシート情報や、他者のレシートの内容を示すレシート情報のような、不正なレシート情報などを、判別することができる。
 例えば図3に示す処理が行われることによって、申請側の装置が備えるICチップにおける電子マネー決済の特色を活かした不正防止が実現される。なお、本実施形態に係る推定処理、および確認処理が行われる場合の処理が、図3に示す例に限られないことは、言うまでもない。
[2-3]本実施形態に係る情報処理方法に係る処理の第3の例
 図4A、図4Bは、本実施形態に係る情報処理方法に係る処理の第3の例を示す説明図であり、本実施形態に係る推定処理、確認処理、および実行処理が行われる場合の処理の一例を示している。
 ここで、図4AのステップS302~S306の処理が、本実施形態に係る推定処理が行われる場合の処理の一例に該当する。また、図4AのステップS308~S318の処理が、本実施形態に係る確認処理が行われる場合の処理の一例に該当する。また、図4AのステップS320~S324、および図4BのS328~S344の処理が、本実施形態に係る実行処理が行われる場合の処理の一例に該当する。図4A、図4Bでは、本実施形態に係る実行処理が、本実施形態に係る情報処理装置、クーポン配信サーバ、およびキャッシュバックサーバという3つの装置を有するシステムによって実現されている例を示している。
 申請側の装置が備えるICチップでは、電子マネーで商品などの購入が行われると、決済に応じた電子マネー履歴を記録する(S300)。
 申請側の装置のレシート解析アプリケーションは、図2のステップS100と同様に、レシートが撮像された第1の撮像画像を読み込むことによって、レシート情報を生成する(S302)。
 そして、レシート解析アプリケーションは、レシート情報と、対応付けて保持されている電子マネー履歴および位置情報とを、本実施形態に係る情報処理装置へ送信する(S304)。
 ステップS304において送信されたレシート情報を取得した本実施形態に係る情報処理装置は、レシート情報に基づいて上記推定処理を行い購買に係るデータを解析することによって、レシート情報が示す購入された商品や、購入された店舗、金額などを推定する(S306)。
 申請側の装置において実行されるレシート解析アプリケーションは、電子マネー履歴を送信させる命令を含む電子マネー履歴リクエストを、ICチップに送信する(S308)。ICチップは、電子マネー履歴リクエストに応じて電子マネー履歴をレシート解析アプリケーションへ送信する(S310)。
 レシート解析アプリケーションは、ステップS310において取得された電子マネー履歴と前回取得された電子マネー履歴とに差分があるかを判定し、差分があると判定された場合に、電子マネー履歴(決済履歴に関する情報の一例)を、本実施形態に係る情報処理装置へ送信する(S312)。
 ステップS312において送信された電子マネー履歴を取得した本実施形態に係る情報処理装置は、取得された電子マネー履歴に対応する電子マネー履歴を送信させる命令を含む電子マネー履歴リクエストを、電子マネーを管理している電子マネー管理サーバに送信する(S314)。
 電子マネー管理サーバは、電子マネー履歴リクエストに応じて電子マネー履歴(決済履歴に関する情報の一例)を、本実施形態に係る情報処理装置へ送信する(S316)。
 ステップS316において送信された電子マネー履歴を取得した本実施形態に係る情報処理装置は、レシート情報、ステップS312において取得された電子マネー履歴、およびステップS316において取得された電子マネー履歴に基づいて、上記(1)の処理(確認処理)を行い、レシート情報が示すレシートの内容を確認する(S318)。
 ステップS318においてレシートの内容が確認され、レシートが証明されると、本実施形態に係る情報処理装置は、例えば、ステップS306の処理により得られたJANコード(購入された商品の推定結果の一例)などのデータを、クーポンの提供に係る処理を行うクーポン提供サーバへ送信する(S320)。
 ステップS320において送信されたデータを取得したクーポン提供サーバは、例えば、取得されたデータと、設定されているクーポン配信条件に基づいて処理を行う(S322)。そして、クーポン提供サーバは、例えば、購入された商品に対応するクーポンを、申請側の装置(図4Aでは、便宜上、申請側の装置のレシート解析アプリケーションと示している。)に送信する(S324)。
 また、クーポン提供サーバは、クーポンの対象商品の購入実績などキャッシュバックに必要な条件を満たしているかを確認する(S326)。ステップS326において条件を満たしていると判定されると、クーポン提供サーバは、キャッシュバックに係る処理を行うキャッシュバックサーバに、キャッシュバック条件(キャッシュバックの設定条件を示す設定情報の一例)を送信する(S328)。
 ステップS328において送信されたキャッシュバック条件を取得したキャッシュバックサーバは、キャッシュバック先の候補先などを示すキャッシュバック情報を、申請側の装置(図4Bでは、便宜上、申請側の装置のレシート解析アプリケーションと示している。)に送信する(S330)。
 申請側の装置のレシート解析アプリケーションは、例えばユーザ操作に基づいて、キャッシュバック先候補を設定する(S332)。以下では、申請側の装置のICチップに記憶されている電子マネーへのキャッシュバックが、キャッシュバック先候補として設定された場合を例に挙げる。
 レシート解析アプリケーションは、ICチップに対して、キャッシュバック先候補の読み込みなどを要求し(S334)、ICチップは、当該要求に応じて、サービスやIDなどをレシート解析アプリケーションに送信する(S336)。
 ステップS336において送信されたサービスやIDなどを取得したレシート解析アプリケーションは、ステップS330において送信されたキャッシュバック情報に対する応答として、キャッシュバック先を示す情報を、キャッシュバックサーバに送信する(S338)。
 ステップS338において送信されたキャッシュバック先を示す情報を取得したキャッシュバックサーバは、キャッシュバックに係る処理を行う(S340)。以下では、電子マネーがICチップに直接キャッシュバックされる場合を例に挙げる。
 キャッシュバックサーバは、電子マネーをICチップに直接キャッシュバックするための書き込み要求を、申請側の装置(図4Bでは、便宜上、申請側の装置のレシート解析アプリケーションと示している。)に送信する(S342)。ここで、書き込み要求には、例えば、書き込み命令と、バリュー値とが含まれる。
 ステップS342において送信された書き込み要求を取得したレシート解析アプリケーションは、書き込み要求に基づいてICチップにバリュー値を書き込む(S344)。
 例えば図4A、図4Bに示す処理が行われることによって、購入に応じたレシートに対応するレシート情報に基づくキャッシュバックが実現される。なお、本実施形態に係る推定処理、確認処理、および実行処理が行われる場合の処理が、図4A、図4Bに示す例に限られないことは、言うまでもない。
(本実施形態に係る情報処理装置)
 次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。以下では、本実施形態に係る情報処理方法に係る処理として、上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理)を行うことが可能な、本実施形態に係る情報処理装置の構成の一例を示す。
 図5は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
 また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
 ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
 記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、参照情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
 操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
 図6は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
 MPU150は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する推定部110、確認部112、および処理部114の役目を果たす。なお、推定部110、確認部112、および処理部114のうちの1または2以上は、各部の処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
 ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
 記録媒体156は、記憶部(図示せず)として機能し、例えば、参照情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
 入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
 また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
 また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
 なお、入出力インタフェース158が、情報処理装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
 通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、スマートフォンなどの申請側の装置や、サーバなどの外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
 情報処理装置100は、例えば図6に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図6に示す構成に限られない。
 例えば、情報処理装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成であってもよい。
 また、情報処理装置100は、例えば、記録媒体156や、操作入力デバイス160、表示デバイス162を備えない構成をとることが可能である。
 また、例えば、図6に示す構成(または変形例に係る構成)は、1、または2以上のICで実現されてもよい。
 再度図5を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、スマートフォンなどの申請側の装置や、サーバなどの外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
 ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部102は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成であってもよい。
 制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、推定部110と、確認部112と、処理部114とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
 推定部110は、上記推定処理を主導的に行う役目を果たし、レシート情報とコード情報とに基づいて、レシート情報が示す購入された商品を推定する。推定部110は、例えば、上記(a)に示す第1の例に係る推定処理~上記(d)に示す第4の例に係る推定処理を行う。
 確認部112は、上記(1)の処理(確認処理)を主導的に行う役目を果たし、例えば、決済履歴に関する情報や、決済履歴に関する情報および位置情報などに基づいて、レシート情報が示すレシートの内容を確認する。
 処理部114は、上記(2)の処理(実行処理)を主導的に行う役目を果たし、購入された商品の推定結果に対応する処理を行う。処理部114は、推定結果に対応する処理として、例えば、推定された商品に応じたキャッシュバックに係る処理や、推定された商品に対応付けられているクーポン情報やリコメンド情報を配信する配信処理などが挙げられる。
 制御部104は、例えば、推定部110、確認部112、および処理部114を備えることによって、本実施形態に係る情報処理方法に係る処理(上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理))を主導的に行う。
 情報処理装置100は、例えば図5に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理))を行う。
 したがって、情報処理装置100は、例えば図5に示す構成によって、レシートが撮像された撮像画像から文字が読み取られた結果を示すレシート情報に基づいて、購入された商品を推定することができる。
 また、例えば図5に示す構成によって、情報処理装置100は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
 なお、本実施形態に係る情報処理装置の構成は、図5に示す構成に限られない。
 例えば、本実施形態に係る情報処理装置は、図5に示す推定部110、確認部112、および処理部114のうちの1または2以上を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。
 また、本実施形態に係る情報処理装置は、図5に示す確認部112と処理部114とのうちの一方または双方を備えない構成であってもよい。図5に示す確認部112と処理部114とのうちの一方または双方を備えない構成であっても、本実施形態に係る情報処理装置は、上記推定処理を行うことが可能であるので、レシートが撮像された撮像画像から文字が読み取られた結果を示すレシート情報に基づいて、購入された商品を推定することができる。
 また、本実施形態に係る情報処理装置は、例えば、上記(3)の処理(電子決済処理)を主導的に行う役目を果たす電子決済処理部(図示せず)をさらに備えていてもよい。電子決済処理部(図示せず)は、例えば、制御部104を構成するプロセッサや、制御部104とは別の処理回路(例えば、別のプロセッサなど)で実現される。
 また、上述したように、“上記推定処理”や、“上記推定処理、および上記(1)の処理(確認処理)”、“上記推定処理、および上記(2)の処理(実行処理)”、“上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理)”などは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図5に示す推定部110、確認部112、および処理部114に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
 また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
 以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PC(Personal Computer)やサーバなどのコンピュータなど、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
 また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、1または2以上の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理(例えば、“上記推定処理”や、“上記推定処理、および上記(1)の処理(確認処理)”、“上記推定処理、および上記(2)の処理(実行処理)”、“上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理)”)を行う情報処理システムとして実現することも可能である。
(本実施形態に係るプログラム)
 コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記推定処理”や、“上記推定処理、および上記(1)の処理(確認処理)”、“上記推定処理、および上記(2)の処理(実行処理)”、“上記推定処理、上記(1)の処理(確認処理)、および上記(2)の処理(実行処理)”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、レシートが撮像された撮像画像から文字が読み取られた結果を示すレシート情報に基づいて、購入された商品を推定することができる。
 また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定する推定部を備える、情報処理装置。
(2)
 前記推定部は、前記レシート情報が示す文字列と、前記コード情報が示す一次元コードまたは二次元コードの検出結果から特定される商品に対応する文字列とを照合することによって、前記購入された商品を推定する、(1)に記載の情報処理装置。
(3)
 照合した結果、前記レシート情報が示す文字列に対して、複数の前記特定される商品に対応する文字列が照合された場合には、
 前記推定部は、前記レシート情報が示す、前記レシート情報が示す文字列に対応する価格を示す数字と、前記特定される商品に対応する販売に関する情報とに基づいて、前記購入された商品を推定する、(2)に記載の情報処理装置。
(4)
 前記推定部は、前記レシート情報に基づいて商品を販売した小売業者を推定し、さらに、推定された小売業者に対応する販売に関する情報に基づいて、前記購入された商品を推定する、(2)、または(3)に記載の情報処理装置。
(5)
 前記推定部は、前記購入された商品が推定された場合には、商品が推定された前記レシート情報が示す文字列と前記コード情報とを、対応付けて記録する、(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
 商品が推定された前記レシート情報が示す文字列と前記コード情報とが対応付けて記録されている場合、前記推定部は、前記レシート情報が示す文字列と、前記コード情報が示す一次元コードまたは二次元コードの検出結果から特定される商品に対応する文字列、または、商品が推定された前記レシート情報が示す文字列と前記コード情報とが対応付けられている参照情報とに基づいて、前記レシート情報が示す購入された商品を推定する、(5)に記載の情報処理装置。
(7)
 決済履歴に関する情報に基づいて、前記レシート情報が示すレシートの内容を確認する確認部をさらに備える、(1)~(6)のいずれか1つに記載の情報処理装置。
(8)
 前記確認部は、さらに決済された位置を示す位置情報に基づいて、前記レシート情報が示すレシートの内容を確認する、(7)に記載の情報処理装置。
(9)
 前記確認部は、前記レシートの内容の確認として、前記第1の撮像画像からの文字の読み取り結果が正しいかを確認する、(7)、または(8)に記載の情報処理装置。
(10)
 前記確認部は、前記レシートの内容の確認として、前記レシート情報に対応するレシートに係る商品の購入を行った者と、前記情報処理装置における処理の実行を申請する者とが同一の者であるかを確認する、(7)~(9)のいずれか1つに記載の情報処理装置。
(11)
 前記確認部は、前記レシートの内容の確認として、前記レシート情報に基づき購入された商品の推定が既に行われているかを確認する、(7)~(10)のいずれか1つに記載の情報処理装置。
(12)
 前記推定部は、取得された前記第1の撮像画像に基づく前記レシート情報、または、取得された前記レシート情報に基づいて、前記購入された商品を推定する、(1)~(11)のいずれか1つに記載の情報処理装置。
(13)
 前記第1の撮像画像が取得された場合、前記推定部は、取得された前記第1の撮像画像から文字を読み取って、前記レシート情報を生成し、
 生成した前記レシート情報に基づいて、前記購入された商品を推定する、(12)に記載の情報処理装置。
(14)
 前記推定部は、取得された前記第2の撮像画像に基づく前記コード情報、または、取得された前記コード情報に基づいて、前記購入された商品を推定する、(1)~(13)のいずれか1つに記載の情報処理装置。
(15)
 前記第2の撮像画像が取得された場合、前記推定部は、取得された前記第2の撮像画像から一次元コードまたは二次元コードを検出して、前記コード情報を生成し、
 生成した前記コード情報に基づいて、前記購入された商品を推定する、(14)に記載の情報処理装置。
(16)
 購入された商品の推定結果に対応する処理を行う処理部をさらに備え、
 前記処理部は、
 前記情報処理装置における処理の実行を申請する者を示す識別情報に基づいて、推定結果に対応する処理の結果を提供するユーザを特定し、
 特定されたユーザに対して、推定結果に対応する処理の結果を提供する、(1)~(15)のいずれか1つに記載の情報処理装置。
(17)
 購入された商品の推定結果に対応する処理を行う処理部をさらに備え、
 前記処理部は、前記レシート情報が示すレシートの内容に対応する決済履歴に関する情報に基づいて、推定結果に対応する処理の結果を提供するユーザを特定し、
 特定されたユーザに対して、推定結果に対応する処理の結果を提供する、(1)~(16)のいずれか1つに記載の情報処理装置。
(18)
 電子マネーによる決済を行う電子決済処理部をさらに備え、
 前記決済履歴に関する情報は、前記電子決済処理部による決済に関する情報である、(17)に記載の情報処理装置。
(19)
 レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定するステップを有する、情報処理装置により実行される情報処理方法。
(20)
 複数の装置を有し、レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定する、情報処理システム。
 100  情報処理装置
 102  通信部
 104  制御部
 110  推定部
 112  確認部
 114  処理部

Claims (20)

  1.  レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定する推定部を備える、情報処理装置。
  2.  前記推定部は、前記レシート情報が示す文字列と、前記コード情報が示す一次元コードまたは二次元コードの検出結果から特定される商品に対応する文字列とを照合することによって、前記購入された商品を推定する、請求項1に記載の情報処理装置。
  3.  照合した結果、前記レシート情報が示す文字列に対して、複数の前記特定される商品に対応する文字列が照合された場合には、
     前記推定部は、前記レシート情報が示す、前記レシート情報が示す文字列に対応する価格を示す数字と、前記特定される商品に対応する販売に関する情報とに基づいて、前記購入された商品を推定する、請求項2に記載の情報処理装置。
  4.  前記推定部は、前記レシート情報に基づいて商品を販売した小売業者を推定し、さらに、推定された小売業者に対応する販売に関する情報に基づいて、前記購入された商品を推定する、請求項2に記載の情報処理装置。
  5.  前記推定部は、前記購入された商品が推定された場合には、商品が推定された前記レシート情報が示す文字列と前記コード情報とを、対応付けて記録する、請求項1に記載の情報処理装置。
  6.  商品が推定された前記レシート情報が示す文字列と前記コード情報とが対応付けて記録されている場合、前記推定部は、前記レシート情報が示す文字列と、前記コード情報が示す一次元コードまたは二次元コードの検出結果から特定される商品に対応する文字列、または、商品が推定された前記レシート情報が示す文字列と前記コード情報とが対応付けられている参照情報とに基づいて、前記レシート情報が示す購入された商品を推定する、請求項5に記載の情報処理装置。
  7.  決済履歴に関する情報に基づいて、前記レシート情報が示すレシートの内容を確認する確認部をさらに備える、請求項1に記載の情報処理装置。
  8.  前記確認部は、さらに決済された位置を示す位置情報に基づいて、前記レシート情報が示すレシートの内容を確認する、請求項7に記載の情報処理装置。
  9.  前記確認部は、前記レシートの内容の確認として、前記第1の撮像画像からの文字の読み取り結果が正しいかを確認する、請求項7に記載の情報処理装置。
  10.  前記確認部は、前記レシートの内容の確認として、前記レシート情報に対応するレシートに係る商品の購入を行った者と、前記情報処理装置における処理の実行を申請する者とが同一の者であるかを確認する、請求項7に記載の情報処理装置。
  11.  前記確認部は、前記レシートの内容の確認として、前記レシート情報に基づき購入された商品の推定が既に行われているかを確認する、請求項7に記載の情報処理装置。
  12.  前記推定部は、取得された前記第1の撮像画像に基づく前記レシート情報、または、取得された前記レシート情報に基づいて、前記購入された商品を推定する、請求項1に記載の情報処理装置。
  13.  前記第1の撮像画像が取得された場合、前記推定部は、取得された前記第1の撮像画像から文字を読み取って、前記レシート情報を生成し、
     生成した前記レシート情報に基づいて、前記購入された商品を推定する、請求項12に記載の情報処理装置。
  14.  前記推定部は、取得された前記第2の撮像画像に基づく前記コード情報、または、取得された前記コード情報に基づいて、前記購入された商品を推定する、請求項1に記載の情報処理装置。
  15.  前記第2の撮像画像が取得された場合、前記推定部は、取得された前記第2の撮像画像から一次元コードまたは二次元コードを検出して、前記コード情報を生成し、
     生成した前記コード情報に基づいて、前記購入された商品を推定する、請求項14に記載の情報処理装置。
  16.  購入された商品の推定結果に対応する処理を行う処理部をさらに備え、
     前記処理部は、
     前記情報処理装置における処理の実行を申請する者を示す識別情報に基づいて、推定結果に対応する処理の結果を提供するユーザを特定し、
     特定されたユーザに対して、推定結果に対応する処理の結果を提供する、請求項1に記載の情報処理装置。
  17.  購入された商品の推定結果に対応する処理を行う処理部をさらに備え、
     前記処理部は、前記レシート情報が示すレシートの内容に対応する決済履歴に関する情報に基づいて、推定結果に対応する処理の結果を提供するユーザを特定し、
     特定されたユーザに対して、推定結果に対応する処理の結果を提供する、請求項1に記載の情報処理装置。
  18.  電子マネーによる決済を行う電子決済処理部をさらに備え、
     前記決済履歴に関する情報は、前記電子決済処理部による決済に関する情報である、請求項17に記載の情報処理装置。
  19.  レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定するステップを有する、情報処理装置により実行される情報処理方法。
  20.  複数の装置を有し、レシートが撮像された第1の撮像画像から文字が読み取られた結果を示すレシート情報と、商品の一次元コードまたは二次元コードが撮像された第2の撮像画像から一次元コードまたは二次元コードが検出された結果を示すコード情報とに基づいて、前記レシート情報が示す購入された商品を推定する、情報処理システム。
PCT/JP2016/055715 2015-03-30 2016-02-25 情報処理装置、情報処理方法、および情報処理システム WO2016158121A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017509394A JP6784664B2 (ja) 2015-03-30 2016-02-25 情報処理装置、情報処理方法、および情報処理システム
US15/560,441 US10726408B2 (en) 2015-03-30 2016-02-25 Information processing apparatus, information processing method, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-068707 2015-03-30
JP2015068707 2015-03-30

Publications (1)

Publication Number Publication Date
WO2016158121A1 true WO2016158121A1 (ja) 2016-10-06

Family

ID=57007033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055715 WO2016158121A1 (ja) 2015-03-30 2016-02-25 情報処理装置、情報処理方法、および情報処理システム

Country Status (3)

Country Link
US (1) US10726408B2 (ja)
JP (1) JP6784664B2 (ja)
WO (1) WO2016158121A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599758A (zh) * 2016-11-29 2017-04-26 努比亚技术有限公司 一种画质处理方法及终端
JP2018197985A (ja) * 2017-05-24 2018-12-13 株式会社アイエスピー レシートを用いたプロジェクトのためのレシート解析システム、方法、及びプログラム
JP2019220057A (ja) * 2018-06-22 2019-12-26 株式会社リサーチ・アンド・イノベーション 購買情報活用システム及び購買情報活用方法、及びプログラム
JP6908200B1 (ja) * 2020-05-28 2021-07-21 日本電気株式会社 サーバ装置、システム、補助金申請方法及びプログラム
JP2021128455A (ja) * 2020-02-12 2021-09-02 株式会社リサーチ・アンド・イノベーション 購買情報管理装置、購買情報管理方法、及びプログラム
JP2021163171A (ja) * 2020-03-31 2021-10-11 Kddi株式会社 情報処理方法及び情報処理装置
JP7150954B1 (ja) 2021-08-30 2022-10-11 PayPay株式会社 付与装置、付与方法及び付与プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6884197B1 (ja) * 2019-12-27 2021-06-09 PayPay株式会社 決済装置、決済方法及び決済プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134492A (ja) * 2008-12-02 2010-06-17 Hitachi Systems & Services Ltd 家計簿自動作成システム
JP2012018493A (ja) * 2010-07-07 2012-01-26 Nec Corp 購買支援システム、購買支援方法、端末装置および商品情報提供サーバ
JP2013105363A (ja) * 2011-11-15 2013-05-30 Seiko Epson Corp レシート管理装置、レシート管理システム、レシート管理装置の制御方法およびプログラム
JP2014049058A (ja) * 2012-09-04 2014-03-17 Softbrain Field Co Ltd マーケティングデータ収集システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004029860A (ja) * 2002-05-20 2004-01-29 Systems Reseach Ltd 商品コードが付された商品、商品情報照会システム、商品情報照会装置及びposシステム
JP2005261645A (ja) 2004-03-18 2005-09-29 Sony Computer Entertainment Inc エンタテインメントシステム用のカード
JP2005326972A (ja) * 2004-05-12 2005-11-24 Sun Corp 購入情報管理装置
US7730336B2 (en) * 2006-05-30 2010-06-01 Ati Technologies Ulc Device having multiple graphics subsystems and reduced power consumption mode, software and methods
JP2012004666A (ja) * 2010-06-14 2012-01-05 Nikon Corp 撮像装置
US20120191817A1 (en) * 2011-01-20 2012-07-26 Eugene Sayan Product tracking based on scanned indicia
JP6196079B2 (ja) * 2013-06-24 2017-09-13 株式会社バンハウス 買い物支援システム
KR20190104451A (ko) * 2014-03-11 2019-09-09 가부시끼가이샤 리서치 앤드 이노베이션 구매 정보 활용 시스템 및 구매 정보 활용 방법 및 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134492A (ja) * 2008-12-02 2010-06-17 Hitachi Systems & Services Ltd 家計簿自動作成システム
JP2012018493A (ja) * 2010-07-07 2012-01-26 Nec Corp 購買支援システム、購買支援方法、端末装置および商品情報提供サーバ
JP2013105363A (ja) * 2011-11-15 2013-05-30 Seiko Epson Corp レシート管理装置、レシート管理システム、レシート管理装置の制御方法およびプログラム
JP2014049058A (ja) * 2012-09-04 2014-03-17 Softbrain Field Co Ltd マーケティングデータ収集システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599758A (zh) * 2016-11-29 2017-04-26 努比亚技术有限公司 一种画质处理方法及终端
JP2018197985A (ja) * 2017-05-24 2018-12-13 株式会社アイエスピー レシートを用いたプロジェクトのためのレシート解析システム、方法、及びプログラム
JP2019220057A (ja) * 2018-06-22 2019-12-26 株式会社リサーチ・アンド・イノベーション 購買情報活用システム及び購買情報活用方法、及びプログラム
JP7304137B2 (ja) 2018-06-22 2023-07-06 株式会社リサーチ・アンド・イノベーション 購買情報活用システム及び購買情報活用方法、及びプログラム
JP2021128455A (ja) * 2020-02-12 2021-09-02 株式会社リサーチ・アンド・イノベーション 購買情報管理装置、購買情報管理方法、及びプログラム
JP7469061B2 (ja) 2020-02-12 2024-04-16 株式会社リサーチ・アンド・イノベーション 購買情報管理装置、購買情報管理方法、及びプログラム
JP2021163171A (ja) * 2020-03-31 2021-10-11 Kddi株式会社 情報処理方法及び情報処理装置
JP6908200B1 (ja) * 2020-05-28 2021-07-21 日本電気株式会社 サーバ装置、システム、補助金申請方法及びプログラム
WO2021240749A1 (ja) * 2020-05-28 2021-12-02 日本電気株式会社 サーバ装置、システム、補助金申請方法及び非一時的なコンピュータ可読媒体
JP7548142B2 (ja) 2020-05-28 2024-09-10 日本電気株式会社 サーバ装置、補助金申請方法及びプログラム
JP7150954B1 (ja) 2021-08-30 2022-10-11 PayPay株式会社 付与装置、付与方法及び付与プログラム
JP2023034048A (ja) * 2021-08-30 2023-03-13 PayPay株式会社 付与装置、付与方法及び付与プログラム

Also Published As

Publication number Publication date
US10726408B2 (en) 2020-07-28
JP6784664B2 (ja) 2020-11-11
US20180075429A1 (en) 2018-03-15
JPWO2016158121A1 (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
JP6784664B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
EP3696779A1 (en) Information processing apparatus
US20110087535A1 (en) Information processing device, information processing system, control method for an information processing device, and a program
US20170293820A1 (en) Image processing device
JP7490988B2 (ja) クーポン発行装置、方法、及び、プログラム
JP6754476B1 (ja) 適用税率判定装置、適用税率判定システム、適用税率判定方法及び適用税率判定プログラム
JP2011086087A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP7310969B2 (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
JP6585388B2 (ja) 決済システム
US10185940B2 (en) Image capture transaction payment
JP2018156602A (ja) 決済処理装置、決済処理方法、プログラム
JP2022141481A (ja) 情報処理装置、プログラム及び情報処理システム
JP2019071006A (ja) 取引装置、システム、方法およびプログラム
WO2019215966A1 (ja) 登録システム、登録方法及びプログラム
JP6825312B2 (ja) 免税処理装置、免税処理方法およびプログラム
JP2017157005A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7099559B2 (ja) 免税処理装置、免税処理方法およびプログラム
JP2022020661A (ja) 監視装置及びプログラム
EP2985726A1 (en) Information processing apparatus and method for updating point by the same
US20180096387A1 (en) System and method for integrating payment transaction by payer with targeted market promotions
US20240054469A1 (en) Store mobile terminal device, customer mobile terminal device, system, method, and recording medium
US20240104546A1 (en) Store mobile terminal device, payment device, system, method, and recording medium
US20240046237A1 (en) Store mobile terminal device, method, and recording medium for stores
JP7464162B2 (ja) 処理装置、処理方法及びプログラム
US20220092573A1 (en) Portable terminal and information processing method for a portable terminal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772005

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017509394

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15560441

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16772005

Country of ref document: EP

Kind code of ref document: A1