JP7019007B1 - 照合システム、照合方法及びプログラム - Google Patents

照合システム、照合方法及びプログラム Download PDF

Info

Publication number
JP7019007B1
JP7019007B1 JP2020162139A JP2020162139A JP7019007B1 JP 7019007 B1 JP7019007 B1 JP 7019007B1 JP 2020162139 A JP2020162139 A JP 2020162139A JP 2020162139 A JP2020162139 A JP 2020162139A JP 7019007 B1 JP7019007 B1 JP 7019007B1
Authority
JP
Japan
Prior art keywords
image
oblique
area
converted
appearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020162139A
Other languages
English (en)
Other versions
JP2022054885A (ja
Inventor
永男 蔡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2020162139A priority Critical patent/JP7019007B1/ja
Priority to TW110121869A priority patent/TWI820433B/zh
Priority to CN202110679276.7A priority patent/CN114283273A/zh
Priority to US17/357,408 priority patent/US11482028B2/en
Priority to EP21181726.7A priority patent/EP3975044B1/en
Application granted granted Critical
Publication of JP7019007B1 publication Critical patent/JP7019007B1/ja
Publication of JP2022054885A publication Critical patent/JP2022054885A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

【課題】電子的本人確認を厳格に行うことができる照合システム、照合方法及びプログラムを提供する。【解決手段】変換画像生成部３２は、斜め画像を変換することで、変換画像を生成する。対象物領域特定部３６は、見本画像における対象物に記載されている文書の定型部分から抽出される特徴と、正面画像の少なくとも一部から抽出される特徴と、に基づいて、正面画像内において対象物が表れている対象物領域を特定する。照合部３８は、正面画像における対象物領域と、当該対象物領域に対応付けられる変換画像における領域と、を照合することで、斜め画像に表れている対象物が正面画像に表れている対象物と同一のものであるか否かを判定する。【選択図】図６

Description

本発明は、照合システム、照合方法及びプログラムに関する。
非特許文献１には、局所画像特徴量の一種であるＳＩＦＴ（Scale Invariant Feature Transform）が記載されている。
また、インターネットを介してユーザから送信された運転免許証等の本人確認書類の画像に基づいてオンラインで当該ユーザの本人確認を行う電子的本人確認（electronic Know Your Customer (eKYC)）の技術が知られている。そして、特許文献１には、ＳＩＦＴ等の局所画像特徴量を用いて、電子的本人確認等における画像処理を高速化する技術が記載されている。また、特許文献２には、電子的本人確認等における画像処理の精度を高めることが可能な技術が記載されている。
国際公開第２０２０／００８６２８号 国際公開第２０２０／００８６２９号
David G. Lowe "Distinctive Image Features from Scale-Invariant Keypoints" International Journal of Computer Vision,2004, 2004年1月5日
電子的本人確認では、本人確認書類等の対象物の原本の画像に対して文字認識を実行することで、当該対象物に記載されている氏名、住所、生年月日等の文字列が抽出される。そして、抽出された文字列に基づいてユーザの本人確認が行われる。
しかし、対象物の原本の画像ではなく、当該対象物のコピーを撮影あるいはスキャンした画像、偽造や改ざんがされた画像、等の不正な画像がユーザから提示されても、電子的本人確認において、提示された画像が不正な画像であることを見破れないことがあった。
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、電子的本人確認を厳格に行うことができる照合システム、照合方法及びプログラムを提供することにある。
本発明に係る照合システムは、対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する正面画像取得手段と、前記記載面を斜め方向から見た様子を表す斜め画像を取得する斜め画像取得手段と、前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する変換画像生成手段と、所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する領域特定手段と、前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する照合手段と、を含む。
本発明の一態様では、前記領域特定手段は、前記変換画像生成手段により前記変換画像が生成された後に、前記対象物領域を特定する。
あるいは、前記変換画像生成手段は、前記領域特定手段により前記対象物領域が特定された後に、前記変換画像を生成する。
この態様では、前記変換画像生成手段は、前記領域特定手段により特定される前記対象物領域から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記変換画像を生成してもよい。
また、本発明の一態様では、前記斜め画像に基づいて、当該斜め画像に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する厚さ判定手段、をさらに含む。
また、本発明の一態様では、前記対象物領域に記載されている文書に含まれる文字を認識する文字認識手段、をさらに含む。
また、本発明に係る照合方法は、対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得するステップと、前記記載面を斜め方向から見た様子を表す斜め画像を取得するステップと、前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成するステップと、所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定するステップと、前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定するステップと、を含む。
また、本発明に係るプログラムは、対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する手順、前記記載面を斜め方向から見た様子を表す斜め画像を取得する手順、前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する手順、所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する手順、前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する手順、をコンピュータに実行させる。
本発明の一実施形態に係る画像処理システムの全体構成の一例を示す図である。 運転免許証が撮影される様子の一例を示す図である。 正面画像の一例を示す図である。 斜め画像の一例を示す図である。 抽出文字データの一例を示す図である。 本発明の一実施形態に係るサーバの機能の一例を示す機能ブロック図である。 変換画像の一例を示す図である。 見本画像の一例を示す図である。 正面画像の一例を示す図である。 変換画像の一例を示す図である。 機械学習モデルの学習の一例を模式的に示す図である。 本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図１は、本発明の一実施形態に係る画像処理システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る画像処理システム１には、例えば、サーバ１０と、ユーザ端末１２と、が含まれる。サーバ１０、及び、ユーザ端末１２は、インターネット等のコンピュータネットワーク１４に接続されている。そのためサーバ１０、及び、ユーザ端末１２は、コンピュータネットワーク１４を介して互いに通信可能となっている。なお、図１では、サーバ１０、及び、ユーザ端末１２を、それぞれ１台ずつ示しているが、これらは複数台ずつあってもよい。
サーバ１０は、サーバコンピュータ等のコンピュータシステムであり、例えば、図１に示すように、プロセッサ１０ａ、記憶部１０ｂ、及び、通信部１０ｃを含む。
プロセッサ１０ａは、例えば、サーバ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子や、ソリッドステートドライブ（ＳＳＤ）などである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。通信部１０ｃは、例えば、有線通信又は無線通信用の通信インタフェースであり、コンピュータネットワーク１４を介して、ユーザ端末１２との間でデータを授受する。
ユーザ端末１２は、ユーザが操作するコンピュータであり、例えば、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータを含む）、パーソナルコンピュータ等である。図１に示すように、ユーザ端末１２は、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、操作部１２ｄ、表示部１２ｅ、及び、撮影部１２ｆを含む。
プロセッサ１２ａは、例えば、ユーザ端末１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子や、ソリッドステートドライブ（ＳＳＤ）などである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。通信部１２ｃは、例えば、有線通信又は無線通信用の通信インタフェースであり、コンピュータネットワーク１４を介して、サーバ１０との間でデータを授受する。
操作部１２ｄは、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等を含む。操作部１２ｄは、操作内容をプロセッサ１２ａに伝達する。表示部１２ｅは、例えば、液晶表示部又は有機ＥＬ表示部等である。撮影部１２ｆは、少なくとも１つのカメラを含み、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどを含む。撮影部１２ｆは、静止画又は動画を撮影し、画像データを生成する。なお、本実施形態では、撮影部１２ｆがユーザ端末１２に含まれる場合を説明するが、撮影部１２ｆは、ユーザ端末１２の外部にあってもよい。
なお、記憶部１０ｂ、１２ｂに記憶されるものとして説明するプログラム及びデータは、ネットワークを介して他のコンピュータから供給されるようにしてもよい。また、サーバ１０、及び、ユーザ端末１２のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、サーバ１０やユーザ端末１２に、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介してサーバ１０やユーザ端末１２に供給されるようにしてもよい。
本実施形態では、ユーザは、インターネットで銀行口座の開設や保険の契約等をするために、撮影部１２ｆで本人確認書類等の対象物の画像を撮影し、撮影した画像をサーバ１０にアップロードする。
本人確認書類は、ユーザを確認可能な書類であればよく、例えば、運転免許証、保険証、住民票、又はパスポートといった書類である。以下の説明では、本実施形態に係る本人確認書類は、運転免許証であることとする。なお、運転免許証は、国や地域ごとに種々の書式が存在するが、説明の都合上、架空の書式の運転免許証を例に挙げる。
図２は、運転免許証２０が撮影される様子を示す図である。図２に示すように、例えば、ユーザは、ユーザ端末１２の撮影部１２ｆを使って、机に置いた運転免許証２０を撮影する。本実施形態では、ユーザは、運転免許証２０を概ね正面（真上）から撮影することで、図３に例示する正面画像２２が撮影部１２ｆに取り込まれる。また、ユーザは、運転免許証２０を斜めから撮影することで、図４に例示する斜め画像２４が撮影部１２ｆに取り込まれる。なお、本実施形態では、正面画像２２や斜め画像２４の解像度は、光学文字認識が可能な程度に担保されており、撮影部１２ｆのピントも運転免許証２０に合っているものとする。
そして、本実施形態に係るユーザ端末１２は、撮影部１２ｆに取り込まれた正面画像２２及び斜め画像２４をサーバ１０にアップロードする。
そして、サーバ１０は、アップロードされた正面画像２２及び斜め画像２４を用いた電子的本人確認（electronic Know Your Customer (eKYC)）を実行する。
例えば、サーバ１０は、正面画像２２に対して光学文字認識を実行し、対象物に印刷された氏名、住所、及び生年月日といった文字を抽出する。図５は、図３に示す正面画像２２から抽出される文字を示す抽出文字データの一例を示す図である。
また、サーバ１０は、学習済の機械学習モデルを用いて、斜め画像２４に写る運転免許証２０にある程度の厚みがあるか否か、ここでは例えば、所定の厚さよりも厚いか否かを判定する。
また、サーバ１０は、正面画像２２と斜め画像２４とを照合することで正面画像２２に表れている対象物と斜め画像２４に表れている対象物とが同一のものであるか否かを判定する。
電子的本人確認において、運転免許証２０の原本の画像ではなく、運転免許証２０のコピーを撮影あるいはスキャンした画像、偽造や改ざんがされた画像、等の不正な画像がユーザから提示されることがある。このような場合に、電子的本人確認において、提示された画像が不正な画像であることを見破れないことがあった。
本実施形態では、同一の対象物を撮影した正面画像２２と斜め画像２４を用いて電子的本人確認を実行することで、電子的本人確認を厳格に行うことができるようになっている。
以下、本実施形態に係るサーバ１０の機能、及び、サーバ１０で実行される処理についてさらに説明する。
図６は、本実施形態に係るサーバ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るサーバ１０で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。
図６に示すように、本実施形態に係るサーバ１０には、機能的には例えば、画像取得部３０、変換画像生成部３２、見本画像記憶部３４、対象物領域特定部３６、照合部３８、機械学習モデル４０、厚さ判定部４２、文字認識部４４が、含まれる。画像取得部３０は、通信部１０ｃを主として実装される。変換画像生成部３２、対象物領域特定部３６、照合部３８、厚さ判定部４２、文字認識部４４は、プロセッサ１０ａを主として実装される。見本画像記憶部３４は、記憶部１０ｂを主として実装される。機械学習モデル４０は、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。
以上の機能は、コンピュータであるサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してサーバ１０に供給されてもよい。
画像取得部３０は、本実施形態では例えば、本人確認書類等の対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像２２を取得する。画像取得部３０は、例えば、ユーザ端末１２から送信される正面画像２２を取得する。なお、本実施形態に係る正面画像２２は厳密に記載面を正面から見た様子を表すものである必要はなく、光学文字認識が可能な程度に記載面を概ね正面から見た様子を表すもので充分である。
なお、本実施形態に係る文書は、所定の書式を有し、レイアウトが予め定められていることとする。即ち、文書は、どこに何が描かれているか予め分かっているものとする。
また、本実施形態に係る文書は、定型部分と非定型部分を含むこととする。定型部分とは、内容が固定された部分であり、他の文書と内容が共通する部分である。別の言い方をすれば、定型部分は、文書に関わらず内容が変わらない部分であり、ユーザに関わらず内容が変わらない部分である。例えば、定型部分は、文書における書式部分であり、特定の文字、記号、図形、枠線、イラスト、又は画像が描かれた部分である。定型部分は、文書固有の情報を含む部分ということもできる。
図３の例であれば、「ＤＲＩＶＥＲ ＬＩＣＥＮＳＥ」というタイトルは、定型部分の一例である。また、「ＮＡＭＥ」、「ＢＩＲＴＨ ＤＡＹ」、「ＡＤＤＲＥＳＳ」、「ＤＡＴＥ」、「ＥＸＰＩＲＥＳ」、及び「ＮＵＭＢＥＲ」といった項目名は、定型部分の一例である。また、「ＪＡＰＡＮ」という国名は、定型部分の一例である。また、「Ｔｏｋｙｏ Ｍｅｔｒｏｐｏｌｉｔａｎ Ｐｕｂｌｉｃ Ｓａｆｅｔｙ Ｃｏｍｍｉｓｓｉｏｎ」という機関の名称は、定型部分の一例である。なお、定型部分は、上記のような文字に限られず、図３の運転免許証２０における日本の国旗を示す画像も、定型部分の一例である。また、上記の項目名等を囲む枠線も、定型部分の一例である。
非定型部分とは、内容が固定されていない部分であり、他の文書とは内容が共通しない部分である。別の言い方をすれば、非定型部分は、文書ごとに内容が変わる部分であり、ユーザごとに内容が変わる部分である。例えば、非定型部分は、文書における書式部分以外の部分であり、ユーザの識別情報や属性等の個人情報などといった情報が印刷された部分である。非定型部分は、ユーザ固有の情報を含む部分ということもできる。
図３の例では、「ＹＡＭＡＤＡ ＴＡＲＯ」という氏名は、非定型部分の一例である。また、「Ｊｕｎｅ ２３，１９８０」という生年月日は、非定型部分の一例である。また、「１－２－３ ＡＢＣＣｉｔｙ Ｔｏｋｙｏ」という住所は、非定型部分の一例である。また、「Ｊｕｌｙ ２５，２０１５」という発行日は、非定型部分の一例である。また、「Ｊｕｌｙ ２５，２０２０」という有効期限日は、非定型部分の一例である。また、「１２３４ ５６７８ ９０１２」という免許証番号は、非定型部分の一例である。なお、非定型部分は、上記のような文字に限られず、図３の運転免許証２０におけるユーザの顔写真も、非定型部分の一例である。その他、ユーザのＩＤや身体的な特徴を示す情報が運転免許証２０に含まれていれば、そのような情報も非定型部分の一例である。
また、画像取得部３０は、本実施形態では例えば、当該記載面を斜め方向から見た様子を表す斜め画像２４を取得する。画像取得部３０は、例えば、ユーザ端末１２から送信される斜め画像２４を取得する。
変換画像生成部３２は、本実施形態では例えば、斜め画像２４を変換することで、斜め画像２４に表れている対象物を正面方向から見た様子を表す、図７に例示されている変換画像５０を生成する。変換画像生成部３２は、例えば、正面画像２２の少なくとも一部から抽出される特徴と斜め画像２４の少なくとも一部から抽出される特徴とに基づいて斜め画像２４を変換することで、図７に例示されている変換画像５０を生成する。
ここで、抽出される特徴とは、例えば、ＯｐｅｎＣＶで実装されているＳＩＦＴ、ＳＵＲＦ、又はＡ－ＫＡＺＥといったアルゴリズムを利用することで抽出される画像特徴量であり、複数の特徴点のそれぞれについての位置座標と当該特徴点の特徴量と、を含む。特徴量は、例えば、上述のアルゴリズムから出力される数値であり、物体の局所的な形状や色彩の特徴を数値化したものである。
変換画像生成部３２は、例えば、上述のアルゴリズムを利用することで、正面画像２２の全体と斜め画像２４の全体のそれぞれから特徴点群を抽出する。変換画像生成部３２は、例えば、正面画像２２及び斜め画像２４のそれぞれから、数十～数千程度あるいはそれ以上の特徴点を抽出する。
そして、変換画像生成部３２は、正面画像２２内の各特徴点について、当該特徴点に対応する斜め画像２４内の特徴点を特定することで、特徴点群のマッチングを行う。マッチングの際には、特徴量が似ている特徴点同士を関連付ければよい。なお、特徴量が似ているとは、特徴量の値が似ていることであり、特徴量の差が小さい（例えば、差が最小となる）ことである。そして、このマッチングによって、正面画像２２内の特徴点と斜め画像２４内の特徴点とが関連付けられることとなる。
そして、変換画像生成部３２は、特徴点群のマッチング結果に基づいて、変換行列を計算する。変換行列は、斜め画像２４内の各特徴点の位置が、正面画像２２におけるマッチング相手の特徴点の位置に近づくように計算される。変換行列の取得方法自体は、種々の方法を適用可能であり、例えば、アフィン変換、線形変換、又は投影変換における変換行列の計算式が利用されてもよい。
そして、変換画像生成部３２は、変換行列に基づいて斜め画像２４を変換することで変換画像５０を生成する。図７に示すように、変換画像５０に表れている文書は、図３に示されている正面画像２２に表れている文書と大まかに似た状態となる。
なお、特徴点群は、画像全体から抽出されてもよいが、一部の領域だけから抽出されてもよい。
なお、ここでは、特徴点群を利用する場合を例に挙げたが、変換画像生成部３２は、画像の特徴となりうる情報に基づいて、斜め画像２４を変換すればよく、特徴点群以外の情報が利用されるようにしてもよい。
なお、斜め画像２４の変換手法は、アフィン変換、線形変換、及び、投影変換には限定されない。斜め画像２４の変換において、回転、拡大・縮小、又は移動が利用されてもよい。また、アフィン変換、線形変換、投影変換、回転、拡大・縮小、移動のうちの一部又は全部の組合せが利用されてもよい。
見本画像記憶部３４は、本実施形態では例えば、図８に示す見本画像５２を記憶する。本実施形態に係る見本画像５２とは、記載面に記載されている文書の歪みと曲がりが全くない又は略ない画像を指す。別の言い方をすれば、見本画像５２は、正面方向又は略正面方向から文書が取り込まれた状態の画像である。正面方向とは、文書の記載面とのなす角度が垂直となる方向であり、正対ということもできる。略正面方向とは、当該角度が垂直とみなせる程度の方向であり、例えば、当該角度が８０°以上の方向である。見本画像５２の書式は、正面画像２２の書式と同じである。このため、見本画像５２の定型部分と、正面画像２２の定型部分と、は同じであり、見本画像５２の非定型部分と、取込画像の非定型部分と、は異なる。なお、見本画像５２は、非定型部分を含まなくてもよい。即ち、見本画像５２は、書式部分だけであってもよい。
図８に示すように、見本画像５２は、角丸四角形の運転免許証５４の形状が保たれており、歪みが全くない又は略ない状態である。また、運転免許証５４の向きがずれておらず、曲がりが全くない又は略ない状態である。このため、見本画像５２の文字は、歪んだり曲がったりしておらず、光学文字認識に適した状態といえる。例えば、見本画像５２は、画像処理システム１の管理者によって予め用意されている。例えば、管理者は、スキャナ等の画像読取装置又は撮影装置で文書が記載された対象物を取り込んで見本画像５２を生成し、見本画像記憶部３４に登録する。
なお、見本画像５２の背景は、例えば黒色や白色などの単色であることが望ましい。
また、本実施形態に係る見本画像５２は、所与の対象物（ここでは例えば運転免許証５４）が既知の領域に表れている画像である。以下、当該領域を、見本対象物領域Ｒ１と呼ぶこととする。すなわち、見本画像５２内における見本対象物領域Ｒ１の位置、形状、及び、大きさは予めわかっている。なお、本実施形態に係る見本対象物領域Ｒ１は、見本画像５２内において表れている運転免許証５４を囲む長方形の領域であることとする。そして、見本対象物領域Ｒ１を示す見本対象物領域データが見本画像記憶部３４に予め記憶される。対象物領域データは、例えば、見本対象物領域Ｒ１の頂点（ここでは例えば、Ｐ１、Ｐ２、Ｐ３、及び、Ｐ４の４頂点）の座標値を示すデータである。
対象物領域特定部３６は、本実施形態では例えば、正面画像２２内において対象物が表れている領域を特定する。図９に示すように、以下、当該領域を正面対象物領域Ｒ２と呼ぶこととする。対象物領域特定部３６は、例えば、見本画像５２における当該対象物に記載されている文書の定型部分から抽出される特徴と、正面画像２２の少なくとも一部から抽出される特徴と、に基づいて、図９に示すように正面対象物領域Ｒ２を特定する。
ここで、抽出される特徴とは、上述の通り、例えば、ＯｐｅｎＣＶで実装されているＳＩＦＴ、ＳＵＲＦ、又はＡ－ＫＡＺＥといったアルゴリズムを利用することで抽出される画像特徴量である。抽出される特徴には、複数の特徴点のそれぞれについての位置座標と当該特徴点の特徴量と、が含まれる。特徴量は、例えば、上述のアルゴリズムから出力される数値であり、物体の局所的な形状や色彩の特徴を数値化したものである。
対象物領域特定部３６は、例えば、見本画像５２から抽出される定型部分の各特徴点について、当該特徴点に対応する正面画像２２内の特徴点を特定することで、特徴点群のマッチングを行う。そして、このマッチングによって、見本画像５２の定型部分内の特徴点と正面画像２２内の特徴点とが関連付けられることとなる。
そして、対象物領域特定部３６は、当該マッチングの結果と、見本画像記憶部３４に記憶されている対象物領域データと、に基づいて、見本対象物領域Ｒ１に対応する正面画像２２内の正面対象物領域Ｒ２を特定する。例えば、対象物領域特定部３６は、正面画像２２内の正面対象物領域Ｒ２の頂点（図９の例では、Ｐ５、Ｐ６、Ｐ７、及び、Ｐ８の４頂点）の座標値を特定する。なお、本実施形態に係る四角形形状の正面対象物領域Ｒ２は、長方形でなくても構わない。例えば、正面画像２２が厳密に記載面を正面から見た様子を表すものではない場合には、正面対象物領域Ｒ２は長方形形状とならないことがある。
また、対象物領域特定部３６は、本実施形態では例えば、正面画像２２における正面対象物領域Ｒ２に対応付けられる、変換画像５０における領域（図１０に示す変換対象物領域Ｒ３）を特定する。本実施形態では例えば、同一座標系に正面画像２２と変換画像５０を配置することで、正面画像２２における正面対象物領域Ｒ２に対応付けられる、変換画像５０における変換対象物領域Ｒ３が特定可能になっている。ここでは例えば、変換対象物領域Ｒ３の頂点（図１０の例では、Ｐ９、Ｐ１０、Ｐ１１、及び、Ｐ１２の４頂点）の座標値が特定される。なお、本実施形態に係る四角形形状の変換対象物領域Ｒ３は、正面対象物領域Ｒ２と同様、長方形でなくても構わない。
照合部３８は、本実施形態では例えば、正面画像２２内の正面対象物領域Ｒ２と変換画像５０内の変換対象物領域Ｒ３とを照合することで、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであるか否かを判定する。
本実施形態では例えば、正面対象物領域Ｒ２の形状及び大きさと変換対象物領域Ｒ３の形状及び大きさとは一致しており、正面対象物領域Ｒ２内の各画素について、当該画素に対応付けられる変換対象物領域Ｒ３内の画素が特定可能となっている。そして、例えば、正面対象物領域Ｒ２内の各画素について、当該画素の画素値と、当該画素に対応付けられる変換対象物領域Ｒ３内の画素の画素値との差が計算される。そして、正面対象物領域Ｒ２内の各画素について計算される画素値の差の合計が計算される。
そして、照合部３８は、計算された合計が所定値よりも小さい場合は、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであると判定される。そうでない場合は、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものでないと判定される。
なお、本実施形態において、照合部３８が、上述のようなテクスチャマッチングに加え、正面画像２２に表れているユーザの顔の画像と変換画像５０に表れているユーザの顔の画像との照合（顔認証）を実行してもよい。そして、計算される画素値の差の合計が所定値よりも小さく、かつ、顔認証にも成功した場合に、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであると判定されてもよい。そして計算される画素値の差の合計が所定値よりも小さくない、あるいは、顔認証に失敗した場合に、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものでないと判定されてもよい。
ここで、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものでないと判定された場合は、照合部３８は、正面画像２２及び斜め画像２４の再アップロード要求をユーザに通知してもよい。
機械学習モデル４０は、本実施形態では例えば、ＣＮＮ（Convolutional Neural Network）等の機械学習モデルである。本実施形態では例えば、画像処理システム１の管理者によって、事前に、機械学習モデル４０の学習が実行されていることとする。図１１に示すように、例えば、本実施形態では例えば、学習入力画像と教師データとを含む訓練データが予め複数準備されている。学習入力画像は、例えば、運転免許証等の対象物の原本を斜め方向から撮影した画像や、薄い用紙を斜め方向から撮影した画像などといった、様々な物体を斜めから撮影した画像である。
そして、例えば、対象物の原本を撮影した学習入力画像には、正例であることを示す教師データ（例えば、値が１である教師データ）が関連付けられる。一方、対象物の原本ではない物体を撮影した学習入力画像には、負例であることを示す教師データ（例えば、値が０である教師データ）が関連付けられる。このようにして、学習入力画像と、当該学習入力画像に関連付けられる教師データと、を含む訓練データが複数生成される。
そして、訓練データに含まれる学習入力画像を機械学習モデル４０に入力した際の出力である出力データを用いて、機械学習モデル４０の学習が実行される。ここで例えば、訓練データに含まれる学習入力画像を機械学習モデル４０に入力した際の出力である出力データと、当該学習データに含まれる教師データと、の差が特定されてもよい。そして特定される差に基づいて誤差逆伝播法（バックプロパゲーション）などの手法を用いて機械学習モデル４０のパラメータの値が更新される教師あり学習が実行されてもよい。
なお、機械学習モデル４０は、以上で説明したような分類モデルである必要はなく、回帰モデルであってもよい。この場合、教師データや出力データの値が、対象物の厚さ自体を示すものであってもよい。
厚さ判定部４２は、本実施形態では例えば、斜め画像２４に基づいて、当該斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する。ここで例えば、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであると判定された際に、厚さ判定部４２による判定が実行されるようにしてもよい。
ここで例えば、機械学習モデル４０が上述の分類モデルであるとする。この場合、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が「１」である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いと判定される。そして、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が「０」である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも薄いと判定される。
また例えば、機械学習モデル４０が上述の回帰モデルであることとする。この場合、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が所定値以上である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いと判定される。そして、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が当該所定値未満である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも薄いと判定される。
ここで、斜め画像２４に表れている対象物の厚さが所定の厚さよりも薄いと判定された場合は、厚さ判定部４２は、正面画像２２及び斜め画像２４の再アップロード要求をユーザに通知してもよい。
文字認識部４４は、本実施形態では例えば、光学文字認識等によって、正面対象物領域Ｒ２に記載されている文書に含まれる文字を認識する。文字認識部４４は、例えば、図５に例示されている抽出文字データを生成する。
ここで、本実施形態に係るサーバ１０で行われる処理の流れの一例を、図１２に例示するフロー図を参照しながら説明する。
まず、画像取得部３０が、図３に例示する正面画像２２、及び、図４に示す斜め画像２４を、ユーザ端末１２から受信する（Ｓ１０１）。
そして、変換画像生成部３２が、Ｓ１０１に示す処理で受信した正面画像２２と斜め画像２４に基づいて、当該斜め画像２４を変換することで、図７に例示する変換画像５０を生成する（Ｓ１０２）。
そして、対象物領域特定部３６が、図８に例示する見本画像５２、対象物領域データ、及び、Ｓ１０１に示す処理で受信した正面画像２２に基づいて、正面画像２２内における正面対象物領域Ｒ２を特定する（Ｓ１０３）。
そして、対象物領域特定部３６が、Ｓ１０３に示す処理で特定された正面対象物領域Ｒ２に対応付けられる、Ｓ１０２に示す処理で生成された変換画像５０内における変換対象物領域Ｒ３を特定する（Ｓ１０４）。
そして、照合部３８が、照合処理を実行することで、Ｓ１０１に示す処理で受信した斜め画像２４に表れている対象物がＳ１０１に示す処理で受信した正面画像２２に表れている対象物と同一のものであるか否かを判定する（Ｓ１０５）。ここでは例えば、Ｓ１０３に示す処理で特定された正面対象物領域Ｒ２内の各画素の画素値と、Ｓ１０４に示す処理で特定された変換対象物領域Ｒ３内の各画素の画素値と、に基づいて、当該判定が実行される。
そして、厚さ判定部４２が、Ｓ１０１に示す処理で受信した斜め画像２４に基づいて、当該斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する厚さ判定処理を実行する（Ｓ１０６）。
そして、文字認識部４４が、光学文字認識等によって、Ｓ１０３に示す処理で特定された正面対象物領域Ｒ２に記載されている文書に含まれる文字を認識する文字認識処理を実行して、図５に例示されている抽出文字データを生成する（Ｓ１０７）。そして、本処理例に示す処理は終了される。
図１２に示す処理では、Ｓ１０２及びＳ１０３に示すように、変換画像生成部３２により変換画像５０が生成された後に、対象物領域特定部３６が、正面対象物領域Ｒ２を特定している。ここで、Ｓ１０２に示す処理とＳ１０３に示す処理の順序が逆であってもよく、対象物領域特定部３６により正面対象物領域Ｒ２が特定された後に、変換画像生成部３２が、変換画像５０を生成してもよい。
そしてこの場合、変換画像生成部３２は、対象物領域特定部３６により特定される正面対象物領域Ｒ２から抽出される特徴と斜め画像２４の少なくとも一部から抽出される特徴とに基づいて、斜め画像２４を変換することで、変換画像５０を生成してもよい。このようにすれば、正面画像２２の全体から特徴点が抽出される場合よりもマッチングに用いられる特徴点数が絞り込まれるため、図１２のＳ１０２に示されている処理よりも軽い処理負荷で、変換画像５０を生成することが可能となる。
本実施形態では、以上で説明したようにして、電子的本人確認において、斜め画像２４に表れている対象物にある程度の厚みがあること、及び、正面画像２２に表れている対象物と斜め画像２４に表れている対象物が同一のものであることを確認される。このようにして、本実施形態によれば、ユーザが対象物の原本を所有していることを厳格に確認することができ、その結果、電子的本人確認をより厳格に行うことができることとなる。
また、画像によって、背景、対象物が表れる領域の大きさ、環境光の当たり方、色、及び、明るさ、などはまちまちである。例えば、正面画像２２を撮影した際の背景と斜め画像２４を撮影した際の背景とが異なることがある。そのため、正面画像２２と斜め画像２４とを単に照合するだけでは、正面画像２２に表れている対象物と斜め画像２４に表れている対象物が同じものであるか否かを的確に判定することができないことがある。
本実施形態では以上のようにして、見本画像５２に基づいて特定される正面対象物領域Ｒ２と変換対象物領域Ｒ３とが照合されるため、正面画像２２に表れている対象物と斜め画像２４に表れている対象物が同一のものであるか否かを的確に判定できることとなる。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、サーバ１０とユーザ端末１２の役割分担は、以上で説明したものに限定されない。例えば、図６に示されている機能の一部又は全部がユーザ端末１２に実装されていてもよい。
また、正面画像２２は、撮影部１２ｆで撮影されたものである必要はなく、スキャナで読み取られたものであってもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
１ 画像処理システム、１０ サーバ、１０ａ プロセッサ、１０ｂ 記憶部、１０ｃ 通信部、１２ ユーザ端末、１２ａ プロセッサ、１２ｂ 記憶部、１２ｃ 通信部、１２ｄ 操作部、１２ｅ 表示部、１２ｆ 撮影部、１４ コンピュータネットワーク、２０ 運転免許証、２２ 正面画像、２４ 斜め画像、３０ 画像取得部、３２ 変換画像生成部、３４ 見本画像記憶部、３６ 対象物領域特定部、３８ 照合部、４０ 機械学習モデル、４２ 厚さ判定部、４４ 文字認識部、５０ 変換画像、５２ 見本画像、５４ 運転免許証。

Claims (8)

  1. 対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する正面画像取得手段と、
    前記記載面を斜め方向から見た様子を表す斜め画像を取得する斜め画像取得手段と、
    前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する変換画像生成手段と、
    所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する領域特定手段と、
    前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する照合手段と、
    を含むことを特徴とする照合システム。
  2. 前記領域特定手段は、前記変換画像生成手段により前記変換画像が生成された後に、前記対象物領域を特定する、
    ことを特徴とする請求項１に記載の照合システム。
  3. 前記変換画像生成手段は、前記領域特定手段により前記対象物領域が特定された後に、前記変換画像を生成する、
    ことを特徴とする請求項１に記載の照合システム。
  4. 前記変換画像生成手段は、前記領域特定手段により特定される前記対象物領域から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記変換画像を生成する、
    ことを特徴とする請求項３に記載の照合システム。
  5. 前記斜め画像に基づいて、当該斜め画像に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する厚さ判定手段、をさらに含む、
    ことを特徴とする請求項１から４のいずれか一項に記載の照合システム。
  6. 前記対象物領域に記載されている文書に含まれる文字を認識する文字認識手段、をさらに含む、
    ことを特徴とする請求項１から５のいずれか一項に記載の照合システム。
  7. 対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得するステップと、
    前記記載面を斜め方向から見た様子を表す斜め画像を取得するステップと、
    前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成するステップと、
    所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定するステップと、
    前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定するステップと、
    を含むことを特徴とする照合方法。
  8. 対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する手順、
    前記記載面を斜め方向から見た様子を表す斜め画像を取得する手順、
    前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する手順、
    所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する手順、
    前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する手順、
    をコンピュータに実行させることを特徴とするプログラム。
JP2020162139A 2020-09-28 2020-09-28 照合システム、照合方法及びプログラム Active JP7019007B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020162139A JP7019007B1 (ja) 2020-09-28 2020-09-28 照合システム、照合方法及びプログラム
TW110121869A TWI820433B (zh) 2020-09-28 2021-06-16 對照系統、對照方法及資訊記錄媒體
CN202110679276.7A CN114283273A (zh) 2020-09-28 2021-06-18 对照系统、对照方法和信息存储介质
US17/357,408 US11482028B2 (en) 2020-09-28 2021-06-24 Verification system, verification method, and information storage medium
EP21181726.7A EP3975044B1 (en) 2020-09-28 2021-06-25 System, program and method for verifying a target region in front and oblique document images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020162139A JP7019007B1 (ja) 2020-09-28 2020-09-28 照合システム、照合方法及びプログラム

Publications (2)

Publication Number Publication Date
JP7019007B1 true JP7019007B1 (ja) 2022-02-14
JP2022054885A JP2022054885A (ja) 2022-04-07

Family

ID=76623937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020162139A Active JP7019007B1 (ja) 2020-09-28 2020-09-28 照合システム、照合方法及びプログラム

Country Status (5)

Country Link
US (1) US11482028B2 (ja)
EP (1) EP3975044B1 (ja)
JP (1) JP7019007B1 (ja)
CN (1) CN114283273A (ja)
TW (1) TWI820433B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6574920B1 (ja) * 2018-07-06 2019-09-11 楽天株式会社 画像処理システム、画像処理方法、及びプログラム
JP7426544B1 (ja) 2022-11-28 2024-02-01 楽天グループ株式会社 画像処理システム、画像処理方法、及びプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5750082A (en) * 1980-09-08 1982-03-24 Canon Inc Electronic desk calculator
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
AU2003225462A1 (en) * 2003-04-04 2004-10-25 Datamark Technologies Pte Ltd A watermarking method and apparatus
WO2006089417A1 (en) 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3d camera and 3d video
NL1028776C2 (nl) 2005-04-14 2006-10-20 Sdu Identification Bv Identificatie en werkwijze voor het vervaardigen daarvan.
EP1977370A4 (en) * 2006-01-23 2011-02-23 Digimarc Corp METHODS, SYSTEMS AND SUB-COMBINATIONS USEFUL WITH PHYSICAL ARTICLES
US8215553B2 (en) * 2006-11-15 2012-07-10 Digimarc Corporation Physical credentials and related methods
JP4807277B2 (ja) * 2007-02-13 2011-11-02 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5365969B2 (ja) * 2007-11-13 2013-12-11 富士ゼロックス株式会社 画像処理装置及びプログラム
US9298979B2 (en) * 2008-01-18 2016-03-29 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses
JP5240093B2 (ja) * 2009-06-25 2013-07-17 株式会社リコー 身分証明書撮影システム、身分証明書撮影方法およびプログラム
US8705836B2 (en) * 2012-08-06 2014-04-22 A2iA S.A. Systems and methods for recognizing information in objects using a mobile device
TW201437925A (zh) * 2012-12-28 2014-10-01 Nec Corp 物體識別裝置、方法及電腦程式產品
JP6362333B2 (ja) * 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9311531B2 (en) * 2013-03-13 2016-04-12 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
GB2500823B (en) * 2013-03-28 2014-02-26 Paycasso Verify Ltd Method, system and computer program for comparing images
US10354472B2 (en) * 2014-06-20 2019-07-16 Facebook, Inc. Self-learning system and methods for automatic document recognition, authentication, and information extraction
US9760788B2 (en) * 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
CN105335702B (zh) * 2015-10-15 2018-11-27 浙江捷尚视觉科技股份有限公司 一种基于统计学习的卡口车型识别方法
EP3467769A4 (en) * 2016-05-27 2019-11-13 Rakuten, Inc. PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
WO2018071768A1 (en) * 2016-10-14 2018-04-19 ID Metrics Group Incorporated Tamper detection for identification documents
CN107729847B (zh) * 2017-10-20 2020-08-04 阿里巴巴集团控股有限公司 一种证件验证、身份验证方法和装置
JP2019109624A (ja) * 2017-12-15 2019-07-04 キヤノン株式会社 情報処理装置、プログラム及び情報処理方法
EP3511868A1 (en) * 2018-01-11 2019-07-17 Onfido Ltd Document authenticity determination
US10839238B2 (en) * 2018-03-23 2020-11-17 International Business Machines Corporation Remote user identity validation with threshold-based matching
CN108764033A (zh) * 2018-04-18 2018-11-06 深圳市商汤科技有限公司 身份验证方法和装置、电子设备、计算机程序和存储介质
CN108805800A (zh) * 2018-04-24 2018-11-13 北京嘀嘀无限科技发展有限公司 图片处理方法、装置及存储介质
WO2020008629A1 (ja) * 2018-07-06 2020-01-09 楽天株式会社 画像処理システム、画像処理方法、及びプログラム
CN109034165B (zh) * 2018-07-06 2022-03-01 北京中安未来科技有限公司 一种证件图像的裁切方法、装置、系统及存储介质
JP6574920B1 (ja) * 2018-07-06 2019-09-11 楽天株式会社 画像処理システム、画像処理方法、及びプログラム
JP6733790B2 (ja) * 2018-12-10 2020-08-05 大日本印刷株式会社 携帯端末、本人確認システム及びプログラム
US20200311844A1 (en) * 2019-03-27 2020-10-01 Uber Technologies, Inc. Identifying duplicate user accounts in an identification document processing system
US10515266B1 (en) * 2019-08-16 2019-12-24 Capital One Services, Llc Document verification by combining multiple images
EP4022474A2 (en) * 2019-08-29 2022-07-06 PXL Vision AG Id verification with a mobile device
JP2023502202A (ja) * 2019-11-26 2023-01-23 アイディー メトリクス グループ インコーポレイテッド 偽造物理的文書の検出のための、データベース、データ構造、およびデータ処理システム

Also Published As

Publication number Publication date
US20220100993A1 (en) 2022-03-31
JP2022054885A (ja) 2022-04-07
TWI820433B (zh) 2023-11-01
CN114283273A (zh) 2022-04-05
TW202213173A (zh) 2022-04-01
EP3975044A1 (en) 2022-03-30
US11482028B2 (en) 2022-10-25
EP3975044B1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
TW567443B (en) Palm office assistants
JP7019007B1 (ja) 照合システム、照合方法及びプログラム
JP6505937B1 (ja) 照合システム、照合方法及び照合プログラム
JP4271097B2 (ja) 画像処理の間のマシン読取り可能なコードの自動修正
US11881043B2 (en) Image processing system, image processing method, and program
TWI725465B (zh) 影像處理系統、影像處理方法及程式產品
JP2007005950A (ja) 画像処理装置及びネットワークシステム
JP5998090B2 (ja) 画像照合装置、画像照合方法、画像照合プログラム
JP5878004B2 (ja) 複数文書認識システム及び複数文書認識方法
JP2019032645A (ja) 書類管理装置、書類管理方法、および、書類管理装置用のプログラム
JP2018181243A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP4741363B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2007079967A (ja) 登録印影照合システム
JP7137171B1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP7231529B2 (ja) 情報端末装置、サーバ及びプログラム
JP7333759B2 (ja) 画像データ生成システム、画像データ生成方法及びコンピュータプログラム
WO2023007631A1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP7316479B1 (ja) 画像処理システム、画像処理方法、及びプログラム
US10264157B2 (en) Image processing apparatus, image processing method and image processing program
JP4431335B2 (ja) 文字列読み取りプログラム
KR101539451B1 (ko) 광학식 문자 판독을 이용한 발급문서 진위확인 시스템 및 방법
JP2023092987A (ja) プログラム、情報処理方法、及び情報処理装置
JP2008097338A (ja) 顔情報システム
Chauhan et al. Attendance System using Face Recognition
JP2023107344A (ja) 処理システム、情報処理装置、制御プログラム、及び、画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220201

R150 Certificate of patent or registration of utility model

Ref document number: 7019007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150