JP7021321B1 - Terminal devices, payment methods and payment programs - Google Patents
Terminal devices, payment methods and payment programs Download PDFInfo
- Publication number
- JP7021321B1 JP7021321B1 JP2020166115A JP2020166115A JP7021321B1 JP 7021321 B1 JP7021321 B1 JP 7021321B1 JP 2020166115 A JP2020166115 A JP 2020166115A JP 2020166115 A JP2020166115 A JP 2020166115A JP 7021321 B1 JP7021321 B1 JP 7021321B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- payment
- image
- terminal device
- analysis server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 143
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000005540 biological transmission Effects 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 10
- 238000012546 transfer Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
【課題】各種のコードの読み取り精度を向上させることが可能な端末装置、解析サーバ、決済方法、決済システム及び決済プログラムを提供する。【解決手段】決済システム1において、端末装置100は、支払内容に関する情報を含む画像(例えば、利用者が利用する端末装置100により撮影された画像)を解析サーバ10に送信する送信部と、画像を解析して得られた支払内容に関する情報を受信する受信部と、受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部と、を有する制御部を備える。【選択図】図2PROBLEM TO BE SOLVED: To provide a terminal device, an analysis server, a payment method, a payment system and a payment program capable of improving the reading accuracy of various codes. SOLUTION: In a payment system 1, a terminal device 100 has a transmission unit for transmitting an image including information about payment contents (for example, an image taken by a terminal device 100 used by a user) to an analysis server 10, and an image. It is provided with a control unit having a receiving unit for receiving information on payment contents obtained by analyzing the above, and a payment processing unit for executing payment processing based on the received information on payment contents. [Selection diagram] Fig. 2
Description
本発明は、端末装置、決済方法及び決済プログラムに関する。 The present invention relates to a terminal device , a payment method and a payment program.
従来、紙等の媒体に印刷されたバーコードが示す情報を読み取り、読み取った情報に応じた処理を実現する技術が提供されている。このような技術の一例として、取引対象のパッケージや値札に印刷されたバーコードを読み取ることで、取引対象の価格を取得する技術が提供されている。また、このようなバーコードの読み取り精度を向上させるため、バーコードを読み取る際に、所定の規格に適合したバーコードであるかを判定し、判定結果に応じて、バーコードが示す情報の読み取りを実現する技術が提案されている。 Conventionally, there has been provided a technique for reading information indicated by a barcode printed on a medium such as paper and realizing processing according to the read information. As an example of such a technology, there is provided a technology for acquiring the price of a transaction target by reading a barcode printed on a package or price tag of the transaction target. Further, in order to improve the reading accuracy of such a barcode, when reading the barcode, it is determined whether the barcode conforms to a predetermined standard, and the information indicated by the barcode is read according to the determination result. The technology to realize the above is proposed.
しかしながら、上述した技術では、バーコードやQRコード(登録商標)といった各種のコードの読み取り精度を向上させる余地がある。 However, with the above-mentioned technique, there is room for improving the reading accuracy of various codes such as barcodes and QR codes (registered trademarks).
例えば、一般的なバーコードは、処理に用いる情報と、情報が正しいか否かを判定するためのチェックデジットとを示している。バーコードの読取を行う読取装置は、バーコードを読み取った際、処理に用いる情報が正しく読み込まれたか否かを、チェックデジットを用いて判定することとなる。しかしながら、バーコードが示す情報やチェックデジットを正しく読み取ることができなかったとしても、読取結果となる情報とチェックデジットとが偶然対応してしまった場合は、処理に用いる情報を正しく読み取ったと誤判定してしまう恐れがある。 For example, a general barcode indicates information used for processing and a check digit for determining whether or not the information is correct. When the barcode is read, the reading device that reads the barcode determines whether or not the information used for processing is correctly read by using the check digit. However, even if the information indicated by the barcode or the check digit cannot be read correctly, if the information that is the reading result and the check digit happen to correspond, it is erroneously determined that the information used for processing has been read correctly. There is a risk of doing it.
本願は、上記に鑑みてなされたものであって、各種のコードの読み取り精度を向上させることを目的とする。 The present application has been made in view of the above, and an object thereof is to improve the reading accuracy of various codes.
本願に係る端末装置は、支払内容に関する情報を含む画像を解析サーバに送信する送信部と、前記画像を解析して得られた前記支払内容に関する情報を受信する受信部と、前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部とを有することを特徴とする。 The terminal device according to the present application has a transmission unit that transmits an image including information on payment details to an analysis server, a reception unit that receives information on payment details obtained by analyzing the images, and the payment details received. It is characterized by having a payment processing unit that executes payment processing based on information about the above.
実施形態の一態様によれば、各種のコードの読み取り精度を向上させることができるという効果を奏する。 According to one aspect of the embodiment, there is an effect that the reading accuracy of various codes can be improved.
以下に本願に係る端末装置、解析サーバ、決済方法、決済システム及び決済プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る端末装置、解析サーバ、決済方法、決済システム及び決済プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略さ
れる。
Hereinafter, a terminal device, an analysis server, a payment method, a payment system, and a mode for implementing a payment program (hereinafter referred to as “the embodiment”) according to the present application will be described in detail with reference to the drawings. Note that this embodiment does not limit the terminal device, analysis server, payment method, payment system, and payment program according to the present application. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate explanations are omitted.
〔1.実施形態〕
図1を用いて、本実施形態の端末装置等により実現される決済処理を説明する。図1は、実施形態に係る決済処理の一例を示す図である。なお、図1では、本実施形態に係る決済装置の一例である解析サーバ10、決済サーバ12及び端末装置100によって、実施形態に係る決済処理などが実現されるものとする。
[1. Embodiment]
A payment process realized by the terminal device or the like of the present embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an example of payment processing according to an embodiment. In FIG. 1, it is assumed that the payment processing and the like according to the embodiment are realized by the
図1に示すように、実施形態に係る決済システム1は、解析サーバ10と、決済サーバ12と、端末装置100とを含む。解析サーバ10、決済サーバ12、及び端末装置100は、ネットワークN(例えば、図2参照)を介して有線または無線により相互に通信可能に接続される。ネットワークNは、例えば、インターネットなどのWAN(Wide Area Network)である。なお、図1に示した決済システム1には、複数台の解析サーバ10、決済サーバ12及び複数台の端末装置100が含まれていてもよい。また、解析サーバ10及び決済サーバ12は、物理的又は論理的に同一のサーバ装置やクラウドシステムで実現されてもよい。
As shown in FIG. 1, the payment system 1 according to the embodiment includes an
図1に示す解析サーバ10は、端末装置100の撮像した支払内容に関する情報を含む画像を受信し、受信した画像の解析を行う情報処理装置であり、例えば、サーバ装置やクラウドシステムにより実現される。例えば、解析サーバ10は、受信した画像の中に含まれるバーコード等の支払内容に関する情報を、画像解析して読み取る。読み取った支払内容に関する情報は、画像を撮像した端末装置100に送信する。すなわち、解析サーバ10は、支払内容に関する情報を含む画像を入力とし、支払内容に関する情報を出力とする計算を行う。ここで、支払内容に関する情報とは、例えばQRコード(登録商標)画像やバーコード画像の場合はそのQRコード(登録商標)やバーコードが示すデータ列である。
The
図1に示す決済サーバ12は、端末装置100を用いる電子決済に関する電子決済サービスを提供し、各種の決済を行う情報処理装置であり、例えば、サーバ装置やクラウドシステムにより実現される。例えば、決済サーバ12は、取引対象の提供者や取引対象が提供される利用者の口座を管理しており、利用者からの決済要求に従って、口座間における電子マネーの送金等を行うことで、各種決済を実現する。なお、電子マネーとは、例えば、各種企業が独自に用いるポイントや通貨等であってもよく、日本円やドル等の国家により提供される貨幣を電子的に取引可能としたものであってもよい。
The
図1に示す端末装置100は、利用者によって利用される情報処理装置である。端末装置100は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。また、端末装置100は、解析サーバ10及び/又は決済サーバ12によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図1に示す例では、端末装置100が撮影装置(カメラ)を備えたスマートフォンである場合を示す。
The
ここで、解析サーバ10、決済サーバ12及び端末装置100が実行する決済処理に先立ち、端末装置100を用いた決済(電子決済)の一例について説明する。なお、以下の説明では、店舗に配置された2次元コードであって、店舗を識別する店舗識別情報を用いて、利用者Uが端末装置100を用いた決済を行う例について説明するが、実施形態は、これに限定されるものではない。以下に説明する決済の一例は、任意の利用者Uが任意の端末装置100を用いて、任意の店舗にて決済を行う場合においても適用可能である。また、店舗識別情報は、QRコード(登録商標)のみならず、バーコードや所定のマーク、番号等であってもよい。
Here, an example of payment (electronic payment) using the
例えば、利用者Uが店舗にて各種の商品やサービスといった決済対象の利用や購入に伴う決済を行う場合、利用者Uは、端末装置100に予めインストールされた決済用のアプリケーションを起動する。そして、利用者Uは、アプリケーションを介して、店舗に設置された店舗識別情報を撮影する。このような場合、端末装置100は、決済対象の価格を入力するための画面を表示し、利用者U或いは店舗の店員から決済額の入力を受付ける。そして、端末装置100は、利用者Uを識別する利用者情報と、店舗識別情報(若しくは、店舗識別情報が示す情報、すなわち、店舗を示す情報)と、決済額とを示す決済情報を決済サーバ12へと送信する。
For example, when the user U makes a payment for using or purchasing a payment target such as various products or services at a store, the user U activates a payment application pre-installed on the
このような場合、決済サーバ12は、利用者情報が示す利用者Uの口座から、店舗識別情報が示す店舗の口座へと、決済額が示す額の電子マネーを移行させる。そして、決済サーバ12は、決済が完了した旨の通知を端末装置100へと送信する。このような場合、端末装置100は、決済が完了した旨の画面や所定の音声を出力することで、電子マネーによる決済が行われた旨を通知する。
In such a case, the
なお、端末装置100を用いた決済は、上述した処理に限定されるものではない。例えば、端末装置100を用いた決済は、店舗に設置された店舗端末を用いたものであってもよい。例えば、端末装置100は、利用者Uを識別するための利用者識別情報を画面上に表示させる。このような場合、店舗に設置された店舗端末は、端末装置100に表示された利用者識別情報を読み取り、利用者識別情報と、決済額と、店舗を識別する情報とを示す決済情報を決済サーバ12へと送信する。このような場合、決済サーバ12は、利用者識別情報が示す利用者Uの口座から、店舗の口座へと、決済額が示す額の電子マネーを移行させ、店舗の店舗端末あるいは端末装置100に対し、決済が完了した旨の画面や所定の音声を出力させることで、決済が行われた旨を通知してもよい。
The payment using the
また、端末装置100を用いた決済は、利用者Uが予め電子マネーをチャージした口座から店舗の口座へと電子マネーを移行させる処理のみならず、例えば、利用者Uが予め登録したクレジットカードを用いた決済であってもよい。このような場合、例えば、決済サーバ12は、店舗の口座に対して決済額の電子マネーを送金するとともに、利用者Uのクレジットカードの運用会社に対し、決済額を請求してもよい。
Further, the payment using the
また、端末装置100を用いた決済は、利用者Uの口座から店舗の口座へと電子マネーを移行させる処理のみならず、例えば、利用者Uの口座から所定の取引対象の提供者の口座へと電子マネーを移行させる決済であってもよい。このような場合、利用者Uは、提供者が利用者Uに対して送付した支払帳票(例えば、コンビニ収納代行サービスにおいて用いられる振込票)に含まれるバーコードを、端末装置100が備えたカメラで読み取る。そして、端末装置100は、読み取ったバーコードが示す支払先や支払額を画面に表示し、利用者Uから当該支払先に対する送金を承認する旨の操作を受け付けた場合、利用者識別情報と、支払額と、支払先を識別する情報とを示す決済情報を決済サーバ12へと送信する。このような場合、決済サーバ12は、利用者Uの口座から、支払先の口座へと、支払額が示す額の電子マネーを移行させる。
Further, the payment using the
ここで、従来、バーコードの読み取りを行う際、バーコードが示すチェックデジットを用いてバーコードの読み取りが正しく行われた否かを判定する技術が知られている。しかしながら、チェックデジットを用いる手法では、読取結果となる情報とチェックデジットとが偶然対応してしまった場合は、バーコードを正しく読み取ったと誤判定してしまう恐れがある。 Here, conventionally, when reading a barcode, there is known a technique for determining whether or not the barcode is correctly read by using the check digit indicated by the barcode. However, in the method using the check digit, if the information that is the reading result and the check digit coincide with each other, it may be erroneously determined that the barcode has been read correctly.
また、バーコードの読み取りを行う際、撮影時の照明の具合、撮影時の端末装置100のカメラのブレ、撮影時の被写体のブレ、撮像時のピントの状態、端末装置100のカメラのイメージセンサ等によっては、撮影した画像が明瞭でない場合がありうる。そのような場合、撮影した画像からバーコードを正しく読み取ることが、端末装置100の計算資源では困難又は不可能である場合も考えられる。
Further, when reading the bar code, the lighting condition at the time of shooting, the blurring of the camera of the
そこで、解析サーバ10は、実施形態に係る解析処理を実行する。以下、図1を用いて、解析サーバ10が実行する決済処理について説明する。なお、以下の説明では、端末装置100が利用者Uにより利用される例を示す。また、以下の説明では、端末装置100を利用者Uと同一視する場合がある。すなわち、以下では、利用者Uを端末装置100と読み替えることもできる。
Therefore, the
まず、端末装置100は、所定の取引対象を提供する提供者が利用者Uに対して作成した支払帳票を撮影する(ステップS1)。なお、図1の例では、所定の水道事業者が利用者Uに対して支払帳票R1を作成し、利用者Uに送付したものとする。図1に示すように、支払帳票R1は、支払額(請求額)や、支払先(支払帳票R1を発行した水道事業者)、支払期日などを含む支払内容を示す文字列T1、当該支払内容を示すバーコードBC、並びに、当該支払内容を示す番号(例えば、支払額や、支払帳票R1を発行した水道事業者の識別子、支払期日など)であって、バーコードBCが示す番号BCN(目視可能文字)を含む。図1の例において、利用者Uは、端末装置100に予めインストールされた電子決済用のアプリケーション(解析サーバ10及び/又は決済サーバ12が提供するアプリケーション)を起動し、当該アプリケーションを介して、支払帳票R1の画像を撮影する。
First, the
続いて、端末装置100は、撮影した画像にバーコードBCが含まれているか否かを判定する(ステップS2)。ここで、撮影した画像にバーコードBCが含まれていないと判定された場合、正常にバーコードBCが撮影できなかったとして、再度ステップS1から手順をやり直すように利用者Uに促してもよいし、自動的にステップS1に遷移してもよい。撮影した画像にバーコードBCが含まれていると判定された場合は、端末装置100は、次のステップS3に処理を進める。
Subsequently, the
続いて、端末装置100は、バーコードBCを含む画像を解析サーバ10に送信する(ステップS3)。ここで、解析サーバ10に送信するものはバーコードBCを含む画像に限らなくてもよい。すなわち、バーコードBCを含む画像に添付して、あるいはバーコードBCを含む画像の送信に前後して、コンテキスト情報を送信してもよい。コンテキスト情報とは、例えば、カメラ等の端末装置100のハードウェアに関する情報、ミドルウェア等のソフトウェアに関する情報、端末装置が有する各種のセンサが撮影時に取得したセンサ情報(例えば、撮影場所のGPSデータ、撮影時の端末装置100の姿勢及び姿勢の時間軸に対する変化等に関する情報(端末装置100の姿勢、速度、加速度、角速度、角加速度等)、環境光の状態、ネットワーク接続状況、など)、端末装置100の機種、撮影時間帯、撮影時のフラッシュの状況、撮影時のレンズの焦点距離、撮影時のピントの状態、等である。また、逆に、バーコードを含む画像の中から、支払内容に関する情報以外の情報を削除して送信してもよい。すなわち、支払帳票R1に、利用者Uの個人情報が含まれる場合、その個人情報が支払内容に関する情報ではないときは、個人情報が含まれる部分を解析サーバ10に送信しないとしてもよい。このとき、画像から個人情報が含まれる部分を、画像トリミング等で削除してもよいし、画像中の個人情報が含まれる部分を黒色やモザイク等でマスクしてもよい。
Subsequently, the
続いて、解析サーバ10は、ステップS3で端末装置100から送信されてきた画像を受信し、この画像を解析することで支払内容に関する情報を得る(ステップS4)。例えば、バーコードを含む画像を解析し、バーコードが示す番号情報を読み取る。このとき、画像を撮影した端末装置100の機種に基づいて画像を解析してもよい。例えば、ディープラーニングを使用した画像解析においては、端末装置100の機種ごとに学習済みモデルを用意し、受信した画像を撮影した端末装置100の機種にマッチした学習済みモデルで画像を解析してもよい。
Subsequently, the
続いて、解析サーバ10は、画像を解析して得られた支払内容に関する情報を端末装置100に送信する(ステップS5)。例えば、解析サーバ10は、支払内容に関する情報としてのバーコードが示す番号情報を端末装置100に送信してもよい。ここで、仮にステップS4で解析に失敗した場合は、解析に失敗した旨の情報を端末装置100に送信してよい。また、その際、失敗した原因に関する情報(例えば、画像が暗すぎる、画像が明るすぎる、画像がぶれている、画像のピントが合っていない、画像にバーコードの一部が入っていない、等)を併せて送信してもよい。
Subsequently, the
続いて、端末装置100は、受信した支払内容に関する情報をチェックする(ステップS6)。受信した情報にエラー等が無ければ、受信した支払内容に関する情報を端末装置100の表示部に表示してもよい。ここで、ステップS4で解析に失敗し、ステップS5で解析サーバ10は解析に失敗した旨の情報を端末装置100に送信した場合、ステップS6では画像の解析に失敗した旨の情報を受信することとなる。この際には、画像の解析に失敗した旨の表示を端末装置100の表示部にしてもよい。更に、失敗した原因に関する情報を受信している場合には、どのような原因であったかを端末装置100の表示部に表示してもよい。
Subsequently, the
続いて、端末装置100は、ステップS6で受信した支払内容に関する情報を、決済サーバ12に送信し、決済サーバ12は、受信した支払内容に関する情報に従って、利用者Uの口座から、支払先の口座へと、電子マネーの送金を行う(ステップS7)。例えば、決済サーバ12は、特定した各文字列が示す支払内容と、特定したバーコードの番号が示す支払内容とが一致する場合は、これらの支払内容に基づいて、利用者Uの口座から、支払先である水道事業者(「A市水道」)の口座へと、電子マネーの送金を行う。
Subsequently, the
以上のように、実施形態に係る端末装置100は、支払帳票R1を撮像した画像にバーコード等の支払内容に関する情報が含まれているか否かを判定し、含まれていると判定された場合は、撮像した画像を解析サーバ10に送信する。解析サーバ10は、端末装置100から受信した画像を解析し、支払内容に関する情報が読み取れた場合、読み取れた支払内容に関する情報を端末装置100に送信する。端末装置100は、解析サーバ10から支払内容に関する情報を受信した場合、この情報を決済サーバ12に送信し、決済(送金)処理を実行する。これにより、端末装置100で画像を解析した場合、端末装置100の計算資源では精度の高い解析が困難であり、結果として解析の失敗(誤読)が発生する可能性があるところ、実施形態に係る解析サーバ10は、一般に端末装置100よりも計算資源の確保が容易であり、精度の高い画像解析が可能であるため、解析サーバ10で画像を解析することで、画像解析の失敗(誤読)の可能性を減少させることができる。
As described above, the
〔2.端末装置の構成〕
次に、上述した決済処理を実現するための端末装置100について図2を用いて説明する。図2は、実施形態に係る端末装置の構成例を示す図である。図2に示すように、端末装置100は、通信部110と、記憶部120と、カメラ130と、タッチパネル140と、制御部150とを有する。
[2. Configuration of terminal equipment]
Next, the
(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、電子決済用のアプリケーションを配信する決済サーバ12等との間で情報の送受信を行う。
(About communication unit 110)
The
(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部120は、カメラ130により撮影された画像を記憶する。
(About the storage unit 120)
The
(カメラ130について)
カメラ130は、画像(動画或いは静止画)を撮像するための撮像装置である。カメラ130は、例えば、CCD(Charged-coupled devices)センサやCMOS(Complementary metal-oxide-semiconductor)センサ等の撮像素子により構成される。
(About camera 130)
The
(タッチパネル140について)
タッチパネル140は、液晶ディスプレイ等により実現され、各種情報を表示し、利用者の指や専用ペンで利用者から各種操作を受け付ける入力装置である。
(About touch panel 140)
The
(制御部150について)
制御部150は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部150は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
(About control unit 150)
The
ここで、制御部150は、複数のアプリケーションを実行することにより、端末装置100に関する各種機能を実現することとなる。例えば、図2に示す例において、制御部150は、第1アプリケーション151や第2アプリケーション152を実行している。なお、制御部150は、図2に示すアプリケーション以外にも、任意の機能を発揮するための任意の数のアプリケーションを実行して良い。
Here, the
第1アプリケーション151は、端末装置100のOS(Operating System)となるアプリケーションである。第2アプリケーション152は、上述した決済処理を端末装置100に実行させる。以下、図3を用いて、第2アプリケーション152が有する機能構成の一例ついて説明する。図3は、実施形態に係る第2アプリケーションの構成例を示す図である。図3に示すように、実施形態に係る第2アプリケーション152は、撮影部1521と、送信部1522と、受信部1523と、決済処理部1524と、通知部1525とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
The
(撮影部1521について)
撮影部1521は、画像を撮影する。例えば、図1の例において、撮影部1521は、カメラ130を制御してバーコードを含む支払帳票R1の画像を撮影し、撮影した画像を記憶部120に格納する。
(About the shooting unit 1521)
The photographing
なお、撮影部1521は、端末装置100を用いた電子決済においてカメラ130を制御し、店舗を識別する店舗識別情報の画像を撮影してもよい。
The photographing
(送信部1522について)
送信部1522は、撮影部1521の撮影した支払帳票R1の画像を解析サーバ10に送信する。例えば、送信部1522は、撮影部1521が撮影して記憶部120に格納されている支払帳票R1の画像を、端末装置100の通信部110からネットワークNを介して解析サーバ10に送信する。
(About transmitter 1522)
The
また、送信部1522は、撮影部1521の撮影した支払帳票R1の画像とともに、画像を撮影した際のコンテキストを示すコンテキスト情報を解析サーバ10に送信する。コンテキスト情報は端末装置100のハードウェアに関する情報、ソフトウェアに関する情報、端末装置100に備わる又は接続されているセンサに関する情報等があるが、具体例については上述のとおりなのでここでは繰り返さない。
Further, the
また、送信部1522は、撮影した画像に支払内容に関する情報が含まれているか否かを判定し、含まれていると判定した場合に、画像を解析サーバ10に送信する。例えば、端末装置100は、撮影部1521が撮影して記憶部120に格納した支払帳票R1の画像をチェックし、バーコード等の支払内容に関する情報が含まれているか否かを判定し、含まれていると判定した場合に、記憶部120に格納されている支払帳票R1の画像を端末装置100の通信部110からネットワークNを介して解析サーバ10に送信する。
Further, the
また、送信部1522は、撮影した画像に個人情報が含まれているか否かを判定し、含まれていると判定されば場合は撮影した画像から個人情報を除いた画像を解析サーバ10に送信する。例えば、端末装置100は、撮影部1521が撮影して記憶部120に格納した支払帳票R1の画像をチェックし、画像に個人情報が含まれているか否かを判定し、含まれていると判定した場合に、記憶部120に格納されている支払帳票R1の画像中の個人情報に関する部分をトリミング又はマスク(黒塗り、モザイク等)をすることで個人情報を削除し、削除後の画像を端末装置100の通信部110からネットワークNを介して解析サーバ10に送信する。ここで、画像に含まれる個人情報とは、画像ファイルのExifデータに含まれるGPS情報等、個人のプライバシーに関する情報も含んでよく、これらの情報を削除した後に画像ファイルを解析サーバ10に送信してもよい。
Further, the
また、送信部1522は、撮影した画像とともに、又は撮影した画像に前後して、画像のコンテキスト情報を解析サーバ10に送信する。例えば、端末装置100は、撮影部1521が撮影して記憶部120に格納した支払帳票R1の画像とともに、又は画像の送信に前後して、画像を撮影した際のコンテキスト情報(例えば、フラッシュの程度、画像の解像度、撮影日時、照度センサによる環境の明るさ、加速度センサやジャイロセンサによる手振れの情報、カメラレンズ焦点距離、カメラレンズのピントに関する情報、等)を、端末装置100の通信部110からネットワークNを介して解析サーバ10に送信する。
Further, the
(受信部1523について)
受信部1523は、解析サーバ10が画像解析によって画像から読み取った、支払内容に関する情報を受信する。例えば、端末装置100は、解析サーバ10が支払帳票R1の画像を解析して読み取った支払内容に関する情報を、ネットワークNを介して通信部110を受信部1523として機能させて受信する。
(About receiver 1523)
The receiving
また受信部1523は、支払内容に関する情報とともに、又は支払内容に関する情報に代えて、解析サーバ10で画像を解析する際に発生した解析に関する情報を受信する。例えば、解析サーバ10で画像を解析する際に、画像が不鮮明であるなどの理由で解析が失敗したとする。このような場合、不鮮明であったために解析に失敗した旨を、解析に関する情報として、解析サーバ10はネットワークNを介して端末装置100に送信する。
Further, the receiving
(通知部1525について)
通知部1525は、解析サーバ10で画像を解析する際に発生した解析に関する情報を受信した場合、この解析に関する情報を利用者Uに通知する。例えば、解析サーバ10で画像を解析する際に、画像が不鮮明であることが原因で画像の解析が失敗した場合、不鮮明であったために解析に失敗した旨を、解析に関する情報として、端末装置100は解析サーバ10からネットワークNを介して受信する。端末装置100は、このようにして受信した解析に関する情報を、端末装置100のディスプレイに表示する等して利用者Uに視認可能に通知する。端末装置100は、音や振動を発することで利用者Uに解析に関する情報を通知してもよい。
(About notification unit 1525)
When the
(決済処理部1524について)
決済処理部1524は、各支払内容が一致すると判定された場合は、当該支払内容に従った決済処理を実行する。例えば、図1の例において、決済処理部1524は、撮影した画像に含まれる各文字列が示す支払内容と、特定したバーコードの番号が示す支払内容とが一致する場合は、当該支払内容に従った決済処理を実行する。
(About the payment processing unit 1524)
When it is determined that the payment contents match, the
また、決済処理部1524は、決済処理として、口座間の送金を実現する外部のサーバ装置に対し、支払内容を通知してもよい。例えば、図1の例において、決済処理部1524は、撮影した画像と、特定したバーコードの番号とを含む送金要求であって、当該番号が示す支払内容に対応する送金要求とを、決済サーバ12に送信する。
Further, the
なお、決済処理部1524は、端末装置100を用いた電子決済に関する決済処理を実行してもよい。例えば、決済処理部1524は、利用者Uを識別する利用者情報と、撮影部1521が撮影した店舗識別情報を示す情報と、利用者U或いは店舗の店員から端末装置100に入力された決済額とを示す決済情報を決済サーバ12へと送信する。
The
〔3.解析サーバの構成〕
次に、図4を用いて、解析サーバ10の構成について説明する。図4は、実施形態に係る解析サーバ10の構成例を示す図である。図4に示すように、決済サーバ12は、通信部20と、記憶部30と、制御部40とを有する。
[3. Analysis server configuration]
Next, the configuration of the
(通信部20について)
通信部20は、例えば、NIC等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、端末装置100等との間で情報の送受信を行う。
(About communication unit 20)
The
(記憶部30について)
記憶部30は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
(About the storage unit 30)
The
(制御部40について)
制御部40は、コントローラであり、例えば、CPUやMPU等によって、解析サーバ10内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部40は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。実施形態に係る制御部40は、図4に示すように、受信部41と、解析部42と、送信部43と、学習部44とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(About control unit 40)
The
(受信部41について)
受信部41は、利用者Uが利用する端末装置100が撮影した画像を受信する。例えば、図1の例において、受信部41は、支払帳票R1の画像を端末装置100から受信する。
(About receiver 41)
The receiving
また、受信部41は、利用者Uが利用する端末装置100が撮影した画像に加えて、画像を撮影した際のコンテキストを示すコンテキスト情報を受信してもよい。コンテキスト情報については上述のとおりなのでここでは繰り返さない。
Further, the receiving
(解析部42について)
解析部42は、利用者Uの端末装置100から受信した画像を解析する。例えば、支払帳票R1の画像に含まれるバーコードBCを解析し、バーコードの示すデータ列を読み取る。画像は所定の期間、記憶部30に記憶していてもよい。また、記憶部30に記憶した画像を、後の別の画像の解析の際に利用してもよい。
(About analysis unit 42)
The
また、解析部42は、画像に加えて、コンテキスト情報を受信している場合は、受信画像を解析する際に、コンテキスト情報に基づいて画像から支払内容に関する情報を得てもよい。例えば、端末装置100の所定の機種について、ピントが合わない画像が取得される傾向があることが分かっているという前提があるとき、ある画像とコンテキスト情報を受信した際に、コンテキスト情報を調べたところ所定の機種だと分かった場合、ピントずれを修正するフィルタを画像にかけたうえで画像解析してもよい。
Further, when the
また、解析部42は、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴をモデルに学習させる学習部44で学習されたモデルとコンテキスト情報とに基づいて画像を解析してもよい。
Further, the
(送信部43について)
送信部43は、解析部42が解析した、支払内容に関する情報であるデータ列を、端末装置100に送信する。例えば、図1の例において、送信部43は、端末装置100から送信された画像に含まれるバーコードを解析して得られたデータ列を、端末装置100に送信する。
(About transmitter 43)
The
(学習部44について)
学習部44は、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴をモデルに学習させる。
(About the learning unit 44)
The
また、学習部44は、画像を入力とし、支払内容に関する情報を出力とする学習モデルに学習させてもよい。また、その際は、画像に加え、コンテキスト情報を入力に加えてもよい。また、学習モデルは、端末装置100の機種ごとに作成してもよい。
Further, the
〔4.決済処理のフロー〕
図5を用いて、実施形態に係る端末装置100の決済処理の手順について説明する。図5は、実施形態に係る決済処理の手順の一例を示すフローチャートである。
[4. Payment processing flow]
A procedure for payment processing of the
図6に示すように、端末装置100は、バーコードを含む画像が撮影されたか否かを判定する(ステップS101)。画像が撮影されていない場合(ステップS101;No)、端末装置100は、画像が撮影されるまで待機する。一方、画像が撮影された場合(ステップS101;Yes)、端末装置100は、バーコードを含む画像を解析サーバ10に送信する(ステップS102)。
As shown in FIG. 6, the
続いて、端末装置100は、解析サーバ10から情報を受信したか否かを判定する(ステップS103)。情報を受信していない場合(ステップS103;No)、端末装置100は、情報を受信するまで待機する。一方、情報を受信した場合(ステップS103;Yes)、端末装置100は、解析サーバ10から受信した情報に支払内容に関する情報が含まれているか否かを判定する(ステップS104)。
Subsequently, the
解析サーバ10から受信した情報に支払内容に関する情報が含まれていない場合(ステップS104;No)、端末装置100は、エラー表示をして(ステップS106)、再度バーコードを含む画像を撮影するように利用者に促し、ステップS101を実行する。解析サーバ10から受信した情報に支払内容が含まれている場合(ステップS104;Yes)、端末装置100は、決済処理を実行し(ステップS105)、処理を終了する。
If the information received from the
〔5.変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
[5. Modification example]
The above embodiment shows an example, and various modifications and applications are possible.
〔5-1.コードについて〕
上述の実施形態において、コードがバーコードである例を示したが、コードはこのような例に限定されず、利用者が利用する端末装置が読み取り可能な情報であれば、どのような情報であってもよい。例えば、コードは、2次元コード(例えば、QRコード(登録商標))であってもよい。
[5-1. About the code]
In the above-described embodiment, an example in which the code is a barcode has been shown, but the code is not limited to such an example, and any information can be used as long as the information can be read by the terminal device used by the user. There may be. For example, the code may be a two-dimensional code (for example, a QR code (registered trademark)).
〔5-2.処理態様について〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[5-2. About processing mode]
Of the processes described in the above embodiments, all or part of the processes described as being automatically performed can be performed manually, and conversely, all the processes described as being performed manually. Alternatively, a part thereof can be automatically performed by a known method. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the information shown in the figure.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined as long as the processing contents do not contradict each other.
〔6.効果〕
〔第一の効果〕
上述してきたように、実施形態に係る端末装置100は、支払内容に関する情報を含む画像を解析サーバに送信する送信部と、画像を解析して得られた支払内容に関する情報を受信する受信部と、受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部と、を有する。
[6. effect〕
[First effect]
As described above, the
これにより、端末装置100で行っていた画像の解析処理を解析サーバにさせることができる。
As a result, the analysis server can be made to perform the image analysis processing performed by the
〔第二の効果〕
第一の効果の項目に記載の端末装置100は更に、送信部は画像とともに、画像を撮影した際のコンテキストを示すコンテキスト情報を解析サーバに送信し、受信部は、コンテキスト情報に基づいて画像から得られた支払内容に関する情報を受信してもよい。
[Second effect]
In the
これにより、コンテキスト情報に基づいて画像を解析できるため、より正確な画像解析が可能となる。 As a result, the image can be analyzed based on the context information, so that more accurate image analysis becomes possible.
〔第三の効果〕
第二の効果の項目に記載の端末装置100は更に、送信部はコンテキスト情報として、端末装置の種類を示す情報を前記解析サーバに送信してもよい。
[Third effect]
In the
これにより、端末装置の機種の情報に基づいて画像を解析することができ、解析の精度を向上させることができる。 As a result, the image can be analyzed based on the information of the model of the terminal device, and the accuracy of the analysis can be improved.
〔第四の効果〕
第二又は第三の効果の項目に記載の端末装置100は更に、送信部は、コンテキスト情報として、画像を撮影した際に端末装置が有するセンサが取得したセンサ情報を解析サーバに送信してもよい。
[Fourth effect]
Further, in the
これにより、センサの情報に基づいて画像を解析することができ、解析の精度を向上させることができる。 As a result, the image can be analyzed based on the information of the sensor, and the accuracy of the analysis can be improved.
〔第五の効果〕
第二乃至第四の効果の項目に記載の端末装置100は更に、送信部はコンテキスト情報として、画像を撮影した際に端末装置が実行するソフトウェアを示す情報を解析サーバに送信してもよい。
[Fifth effect]
In the
これにより、端末装置のソフトウェア情報に基づいて画像を解析することができ、解析の精度を向上させることができる。 As a result, the image can be analyzed based on the software information of the terminal device, and the accuracy of the analysis can be improved.
〔第六の効果〕
第一乃至第五の効果の項目に記載の端末装置100は更に、送信部は、画像に支払内容に関する情報が含まれているか否か判定し、含まれていると判定した場合に、画像を解析サーバに送信してもよい。
[Sixth effect]
In the
これにより、支払内容に関する情報が含まれている場合にのみ画像を解析サーバに送信するので、通信コストやサーバの実行コストを削減することができる。 As a result, since the image is transmitted to the analysis server only when the information regarding the payment content is included, the communication cost and the execution cost of the server can be reduced.
〔第七の効果〕
第一乃至第六の効果の項目に記載の端末装置100は更に、送信部は、画像に個人情報が含まれているか否か判定し、含まれていると判定した場合に、画像から個人情報を除いた画像を解析サーバに送信してもよい。
[Seventh effect]
In the
これにより、個人情報を外部のサーバに送信しなくて済むため、個人情報の漏洩のリスクを減少させることができる。 As a result, it is not necessary to send personal information to an external server, so that the risk of leakage of personal information can be reduced.
〔第八の効果〕
第一乃至第七の効果の項目に記載の端末装置100は更に、送信部は、支払内容に関する情報を含む複数の画像を解析サーバに送信し、受信部は、複数の画像を解析して得られた支払内容に関する情報を受信してもよい。
[Eighth effect]
In the
これにより、複数の画像を解析した中から支払内容に関する情報を得られるので、より精度の高い解析が可能となる。 As a result, information on the payment details can be obtained from the analysis of a plurality of images, so that more accurate analysis becomes possible.
〔第九の効果〕
第一乃至第八の効果の項目に記載の端末装置100は更に、受信部は、解析に関する情報を受信し、端末装置は、解析に関する情報を受信した場合に、端末装置の利用者に解析に関する情報に基づいて通知する通知部を更に有してもよい。
[Ninth effect]
In the
これにより、解析に失敗した旨が利用者に知らせることができる。更に失敗の理由を付すことで、より詳細に失敗の原因を知ることができ、失敗しづらい画像の撮影を意識させることができる。 This makes it possible to notify the user that the analysis has failed. Furthermore, by adding the reason for the failure, the cause of the failure can be known in more detail, and it is possible to make people aware of the shooting of an image that is difficult to fail.
〔第十の効果〕
実施形態に係る解析サーバ10は、支払内容に関する情報を含む画像を端末装置から受信する受信部と、受信部で受信した画像を解析して支払内容に関する情報を得る解析部と、解析部で得られた支払内容に関する情報を端末装置に送信する送信部と、を有する。
[Tenth effect]
The
これにより、端末装置100は解析サーバ10に画像解析作業をオフロードすることができる。
As a result, the
〔第十一の効果〕
第十の効果の項目に記載の解析サーバ―10は更に、受信部は、画像とともに、画像を撮影した際のコンテキストを示すコンテキスト情報を受信し、解析部は、コンテキスト情報に基づいて画像から支払内容に関する情報を得てもよい。
[Eleventh effect]
In the analysis server-10 described in the item of the tenth effect, the receiving unit further receives the image and the context information indicating the context when the image is taken, and the analysis unit pays from the image based on the context information. You may get information about the content.
これにより、解析サーバ10は、コンテキスト情報に基づいて画像を解析できるため、精度の高い解析が可能となる。
As a result, the
〔第十二の効果〕
第十一の効果の項目に記載の解析サーバ10は更に、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴をモデルに学習させる学習部を有し、解析部は、コンテキスト情報と、モデルとに基づいて、画像から支払内容に関する情報を得てもよい。
[Twelfth effect]
The
これにより、学習を継続することで、学習の進行に伴って精度の高い画像の解析を期待できる。 As a result, by continuing the learning, highly accurate image analysis can be expected as the learning progresses.
〔7.ハードウェア構成〕
また、上述してきた各実施形態に係る端末装置100、解析サーバ10及び決済サーバ12は、例えば、図6に示すような構成のコンピュータ1000によって実現される。以下、端末装置100を例に挙げて説明する。図6は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、ROM1200、RAM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
[7. Hardware configuration]
Further, the
CPU1100は、ROM1200又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1200は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
The
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス1500は、通信網500(実施形態のネットワークNに対応する)を介して他の機器からデータを受信してCPU1100へ送り、また、通信網500を介してCPU1100が生成したデータを他の機器へ送信する。
The
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。
The
メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1300を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1300上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ1000が端末装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1300上にロードされたプログラムを実行することにより、制御部150の機能を実現する。また、HDD1400には、端末装置100の記憶装置内の各データが格納される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
For example, when the
〔8.その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
[8. others〕
Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the invention. It is possible to carry out the present invention in other modified forms.
また、上述した解析サーバ10及び決済サーバ12は、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
Further, the configuration of the
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。 Further, the "part" described in the claims can be read as "means" or "circuit". For example, the acquisition unit can be read as an acquisition means or an acquisition circuit.
10 解析サーバ
12 決済サーバ
20 通信部
30 記憶部
40 制御部
41 受信部
42 解析部
43 送信部
44 学習部
100 端末装置
110 通信部
120 記憶部
130 カメラ
140 タッチパネル
150 制御部
151 第1アプリケーション
152 第2アプリケーション
1521 撮影部
1522 送信部
1523 受信部
1524 決済処理部
1525 通知部
10
Claims (12)
支払内容に関する情報を含む画像とともに、当該画像を撮影した際のコンテキストを示すコンテキスト情報を解析サーバに送信する送信部と、
前記コンテキスト情報に基づいて前記画像を解析して得られた前記支払内容に関する情報、または、当該解析が失敗した旨の情報であって、失敗した原因に関する情報を受信する受信部と、
前記支払内容に関する情報が受信された場合に、前記支払内容に関する情報に基づいて決済処理を実行する決済処理部と、
前記解析が失敗した旨の情報が受信された場合に、前記端末装置の利用者に前記解析が失敗した旨の情報に基づいて通知する通知部と
を有することを特徴とする端末装置。 It ’s a terminal device,
An image containing information about payment details , as well as a transmitter that sends context information indicating the context when the image was taken to the analysis server, and a transmitter.
A receiving unit that receives information on the payment content obtained by analyzing the image based on the context information , or information on the fact that the analysis has failed and on the cause of the failure.
A payment processing unit that executes payment processing based on the payment content information when the payment content information is received.
A terminal device comprising a notification unit that notifies a user of the terminal device based on the information that the analysis has failed when the information indicating that the analysis has failed is received.
支払内容に関する情報を含む画像とともに、当該画像を撮影した際に前記端末装置が置かれた環境を示すコンテキスト情報を、当該画像を解析して当該支払内容に関する情報を得る解析サーバであって、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴を学習したモデルに基づいて解析を行う解析サーバに送信する送信部と、
前記解析サーバに送信した前記画像を前記コンテキスト情報に基づいて解析して得られた支払内容に関する情報を受信する受信部と、
前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部と
を有することを特徴とする端末装置。 It ’s a terminal device,
An analysis server that analyzes the image to obtain information on the payment details, along with an image containing information on the payment details, and context information indicating the environment in which the terminal device is placed when the image is taken. A transmitter that sends information about the content to an analysis server that analyzes based on a model that has learned the characteristics of the context indicated by the context information when an image that can be analyzed is taken.
A receiving unit that receives information on payment details obtained by analyzing the image transmitted to the analysis server based on the context information.
A terminal device having a payment processing unit that executes payment processing based on the received information on payment details.
ことを特徴とする請求項1または2に記載の端末装置。 The terminal device according to claim 1 or 2 , wherein the transmission unit transmits information indicating the type of the terminal device to the analysis server as the context information.
ことを特徴とする請求項1~3のうちいずれか1つに記載の端末装置。 One of claims 1 to 3 , wherein the transmitting unit transmits the sensor information acquired by the sensor of the terminal device when the image is taken as the context information to the analysis server. The terminal device described in 1.
ことを特徴とする請求項1~4のうちいずれか1つに記載の端末装置。 One of claims 1 to 4 , wherein the transmitting unit transmits, as the context information, information indicating software executed by the terminal device when the image is taken, to the analysis server. The terminal device described in.
ことを特徴とする請求項1~5のうちいずれか1つに記載の端末装置。 Claim 1 is characterized in that the transmitting unit determines whether or not the image contains information regarding the payment content, and if it is determined that the image contains the information, transmits the image to the analysis server. The terminal device according to any one of 5 to 5 .
ことを特徴とする請求項1~6のうちいずれか1つに記載の端末装置。 The transmitting unit determines whether or not the image contains personal information, and if it is determined that the image contains personal information, the transmitting unit transmits an image obtained by removing the personal information from the image to the analysis server. The terminal device according to any one of claims 1 to 6 .
前記受信部は、前記複数の画像を解析して得られた前記支払内容に関する情報を受信する
ことを特徴とする請求項1~7のうちいずれか1つに記載の端末装置。 The transmission unit transmits a plurality of images including information on the payment contents to the analysis server.
The terminal device according to any one of claims 1 to 7 , wherein the receiving unit receives information regarding the payment content obtained by analyzing the plurality of images.
支払内容に関する情報を含む画像とともに、当該画像を撮影した際のコンテキストを示すコンテキスト情報を解析サーバに送信する送信工程と、
前記コンテキスト情報に基づいて前記画像を解析して得られた前記支払内容に関する情報、または、当該解析が失敗した旨の情報であって、失敗した原因に関する情報を受信する受信工程と、
前記支払内容に関する情報が受信された場合に、前記支払内容に関する情報に基づいて決済処理を実行する決済処理工程と、
前記解析が失敗した旨の情報が受信された場合に、前記端末装置の利用者に前記解析が失敗した旨の情報に基づいて通知する通知工程と
を含むことを特徴とする決済方法。 It is a payment method executed by the terminal device.
A transmission process that sends context information indicating the context when the image was taken, along with an image containing information about payment details, to the analysis server.
A receiving process for receiving information on the payment details obtained by analyzing the image based on the context information , or information indicating that the analysis has failed and on the cause of the failure.
A payment processing process that executes payment processing based on the payment content information when the payment content information is received, and
A payment method comprising a notification step of notifying a user of the terminal device based on the information that the analysis has failed when the information that the analysis has failed is received.
前記コンテキスト情報に基づいて前記画像を解析して得られた前記支払内容に関する情報、または、当該解析が失敗した旨の情報であって、失敗した原因に関する情報を受信する受信手順と、
前記支払内容に関する情報が受信された場合に、前記支払内容に関する情報に基づいて決済処理を実行する決済処理手順と、
前記解析が失敗した旨の情報が受信された場合に、端末装置の利用者に前記解析が失敗した旨の情報に基づいて通知する通知手順と
をコンピュータに実行させるための決済プログラム。 A transmission procedure for transmitting to the analysis server context information indicating the context when the image was taken, along with an image containing information on payment details.
A receiving procedure for receiving information on the payment details obtained by analyzing the image based on the context information , or information indicating that the analysis has failed and on the cause of the failure.
A payment processing procedure for executing payment processing based on the payment content information when the payment content information is received, and a payment processing procedure.
A payment program for causing a computer to execute a notification procedure for notifying a user of a terminal device based on the information that the analysis has failed when the information that the analysis has failed is received.
支払内容に関する情報を含む画像とともに、当該画像を撮影した際に前記端末装置が置かれた環境を示すコンテキスト情報を、当該画像を解析して当該支払内容に関する情報を得る解析サーバであって、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴を学習したモデルに基づいて解析を行う解析サーバに送信する送信工程と、
前記解析サーバに送信した前記画像を前記コンテキスト情報に基づいて解析して得られた支払内容に関する情報を受信する受信工程と、
前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理工程と
を含むことを特徴とする決済方法。 It is a payment method executed by the terminal device.
An analysis server that analyzes the image to obtain information on the payment details, along with an image containing information on the payment details, and context information indicating the environment in which the terminal device is placed when the image is taken. A transmission process that sends information about the content to an analysis server that analyzes based on a model that has learned the characteristics of the context indicated by the context information when an image that can be analyzed is taken.
A receiving process for receiving information on payment details obtained by analyzing the image transmitted to the analysis server based on the context information, and
A payment method comprising: a payment processing step of executing payment processing based on the received information regarding payment contents.
前記解析サーバに送信した前記画像を前記コンテキスト情報に基づいて解析して得られた支払内容に関する情報を受信する受信手順と、
前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理手順と
をコンピュータに実行させるための決済プログラム。 An analysis server that analyzes the image to obtain information on the payment details, along with an image containing information on the payment details, and context information indicating the environment in which the terminal device was placed when the image was taken. The transmission procedure to send to the analysis server that analyzes based on the model that learned the characteristics of the context indicated by the context information when the image that can be analyzed is taken, and the transmission procedure.
A receiving procedure for receiving information on payment details obtained by analyzing the image transmitted to the analysis server based on the context information, and a receiving procedure.
A payment program for causing a computer to execute a payment processing procedure that executes payment processing based on the received information on payment details.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166115A JP7021321B1 (en) | 2020-09-30 | 2020-09-30 | Terminal devices, payment methods and payment programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166115A JP7021321B1 (en) | 2020-09-30 | 2020-09-30 | Terminal devices, payment methods and payment programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7021321B1 true JP7021321B1 (en) | 2022-02-16 |
JP2022057720A JP2022057720A (en) | 2022-04-11 |
Family
ID=80948529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020166115A Active JP7021321B1 (en) | 2020-09-30 | 2020-09-30 | Terminal devices, payment methods and payment programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7021321B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006243842A (en) | 2005-02-28 | 2006-09-14 | Mizuho Bank Ltd | Payment method and payment relay server |
JP2011002941A (en) | 2009-06-17 | 2011-01-06 | Blue-Eyes Corp | Debt-workout business proxy system, refund support system, debt-workout business proxy method, and refund support method |
JP2015507297A (en) | 2012-02-10 | 2015-03-05 | シームレス・ディストリビューション・アーベー | Mobile debit slip payment method and system |
JP2017028467A (en) | 2015-07-22 | 2017-02-02 | キヤノン株式会社 | Image processing device and control method for the same |
JP2019125144A (en) | 2018-01-16 | 2019-07-25 | 株式会社富士通アドバンストエンジニアリング | Merchandise information management program, method and device, and merchandise management program, method and device |
JP2019174959A (en) | 2018-03-27 | 2019-10-10 | Awl株式会社 | Commodity shelf position registration program and information processing apparatus |
-
2020
- 2020-09-30 JP JP2020166115A patent/JP7021321B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006243842A (en) | 2005-02-28 | 2006-09-14 | Mizuho Bank Ltd | Payment method and payment relay server |
JP2011002941A (en) | 2009-06-17 | 2011-01-06 | Blue-Eyes Corp | Debt-workout business proxy system, refund support system, debt-workout business proxy method, and refund support method |
JP2015507297A (en) | 2012-02-10 | 2015-03-05 | シームレス・ディストリビューション・アーベー | Mobile debit slip payment method and system |
JP2017028467A (en) | 2015-07-22 | 2017-02-02 | キヤノン株式会社 | Image processing device and control method for the same |
JP2019125144A (en) | 2018-01-16 | 2019-07-25 | 株式会社富士通アドバンストエンジニアリング | Merchandise information management program, method and device, and merchandise management program, method and device |
JP2019174959A (en) | 2018-03-27 | 2019-10-10 | Awl株式会社 | Commodity shelf position registration program and information processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2022057720A (en) | 2022-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104169794B (en) | Guided photography and video on mobile device | |
US8484176B2 (en) | Multi-provider forms processing system with retry upon failure | |
JP6838182B1 (en) | Payment program, payment device and payment method | |
CN112712494B (en) | System and method for providing product image suggestions | |
US20160140595A1 (en) | Method for processing electronic coupons | |
US9026474B2 (en) | Generating printable certificates to verify log authenticity | |
CN116917918A (en) | Embedded card reader security | |
CN110930142A (en) | Information processing method and device, and non-transitory computer-readable storage medium | |
JP7009588B1 (en) | Information processing device, judgment method and judgment program | |
JP2018136680A (en) | Bank system, and method executed by bank system | |
JP2020173625A (en) | Program, information processor, information processing method, and information processing system | |
JP2020129186A (en) | Information processing apparatus, information processing method, and program | |
JP6945704B1 (en) | Terminal device, payment verification method and payment verification program | |
JP7021321B1 (en) | Terminal devices, payment methods and payment programs | |
JP2015046027A (en) | Information acquisition system for insurance policy | |
JP6951509B1 (en) | Transmission program, terminal device and transmission method | |
JP6884197B1 (en) | Payment device, payment method and payment program | |
KR20170084580A (en) | System and method of posting discount information based on user current position and computer readable medium | |
JP6946591B1 (en) | Display program, terminal device and display method | |
JP7136836B2 (en) | Information processing method, information processing device and program | |
JP7364550B2 (en) | Payment programs, payment devices and payment methods | |
JP7448395B2 (en) | Financial information processing equipment and programs | |
JP2024046586A (en) | Portable terminal, information processing method and information processing program | |
JP7009576B1 (en) | Providing equipment, providing method and providing program | |
JP2022042023A (en) | Provision apparatus, provision method and provision program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200930 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7021321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |