JP7450131B2 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本開示は、画像処理システム、画像処理方法、及びプログラムに関する。

従来、定型文字列及び非定型文字列を含む対象物に関する対象物画像から、非定型文字列を含む非定型領域を特定する技術が知られている。例えば、特許文献１には、ユーザが撮影した本人確認書類に関する対象物画像から抽出された特徴点群と、見本となる本人確認書類に関する見本画像から抽出された特徴点群と、をマッチングして対象物画像を加工したうえで、非定型文字列を含む非定型領域を特定する技術が記載されている。

国際公開第２０２０／００８６２８号公報

定型文字列及び被定型文字列を含む対象物には、種々のフォーマットの対象物が存在するので、対象物画像の中から非定型領域を特定するのは難しい。例えば、対象物画像に対して文字認識を行うことによって、対象物画像から非定型領域を特定することも考えられる。しかしながら、非定型文字列は対象物によって異なるので、文字認識を利用して非定型領域を特定するのも難しい。

本開示の目的の１つは、定型文字列及び非定型文字列を含む対象物に関する対象物画像から、非定型文字列を含む非定型領域を確実に特定することである。

本開示に係る画像処理システムは、定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部と、前記複数の前記文字列領域の中に、前記定型文字列を含む定型領域があるか否かを判定する定型領域判定部と、前記定型領域があると判定された場合に、前記定型領域と所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域として特定する非定型領域特定部と、を含む。

本開示によれば、定型文字列及び非定型文字列を含む対象物に関する対象物画像から、非定型文字列を含む非定型領域を確実に特定できる。

画像処理システムの全体構成の一例を示す図である。 ユーザが保険証を撮影する様子の一例を示す図である。 画像処理システムで実現される機能の一例を示す機能ブロック図である。 対象物画像から検出された文字列領域の一例を示す図である。 定型文字列と同じ文字数の文字列領域の一例を示す図である。 文字列領域に対する文字認識の実行結果の一例を示す図である。 定型領域であると判定された文字列領域の一例を示す図である。 非定型領域の特定方法の一例を示す図である。 非定型領域に対してマスキングが実行された後の保険証画像の一例を示す図である。 画像処理システムで実行される処理の一例を示すフロー図である。 第１の構成に関する変形例における機能ブロック図である。 第２の構成に関する変形例における機能ブロック図である。 非定型領域を整形する処理の一例を示す図である。 非定型領域を整形する処理の一例を示す図である。

［１．画像処理システムの全体構成］
本開示に係る画像処理システムの実施形態の一例を説明する。図１は、画像処理システムの全体構成の一例を示す図である。例えば、画像処理システム１は、ユーザ端末１０及びサーバ２０を含む。ユーザ端末１０及びサーバ２０は、インターネット又はＬＡＮ等のネットワークＮに接続可能である。画像処理システム１は、少なくとも１つのコンピュータを含めばよく、図１の例に限られない。

ユーザ端末１０は、ユーザのコンピュータである。例えば、ユーザ端末１０は、スマートフォン、タブレット端末、パーソナルコンピュータ、又はウェアラブル端末である。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。操作部１４は、タッチパネル等の入力デバイスである。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイである。撮影部１６は、少なくとも１つのカメラを含む。

サーバ２０は、サーバコンピュータである。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。

なお、記憶部１２，２２に記憶されるプログラムは、ネットワークＮを介して供給されてもよい。また、ユーザ端末１０又はサーバ２０に、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）、又は、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラムが、読取部又は入出力部を介して供給されてもよい。

［２．画像処理システムの概要］
本実施形態では、ｅＫＹＣ（electronic Know Your Customer）に画像処理システム１を適用する場合を例に挙げる。ｅＫＹＣは、オンラインで行われる本人確認である。ｅＫＹＣは、任意のサービスで利用可能である。例えば、通信サービス、金融サービス、電子決済サービス、電子商取引サービス、保険サービス、又は行政サービスで、ｅＫＹＣを利用可能である。

ｅＫＹＣでは、ユーザの本人確認書類（身分証明書）が確認される。本人確認書類は、本人であることを証明可能な書類である。本実施形態では、本人確認書類の一例として、保険証を説明する。このため、保険証と記載した箇所は、本人確認書類と読み替えることができる。本人確認書類は、任意の種類であってよく、保険証に限られない。例えば、本人確認書類は、運転免許証、住民票、個人番号カード、又はパスポートであってもよい。

図２は、ユーザが保険証を撮影する様子の一例を示す図である。例えば、ユーザは、撮影部１６で自身の保険証Ｃを撮影する。図２の保険証Ｃは、架空のものである。ユーザ端末１０は、保険証Ｃが示された保険証画像Ｉを生成する。保険証画像Ｉは、サーバ２０にアップロードされる。保険証画像Ｉがアップロードされると、ｅＫＹＣが行われる。ｅＫＹＣは、画像処理を利用して自動的に実行されてもよいし、サービスの管理者による目視により行われてもよい。

例えば、保険証Ｃには、ｅＫＹＣに必要な情報と、ｅＫＹＣに必要のない情報と、の両方が印刷されている。本実施形態では、ｅＫＹＣに必要な情報が、氏名、生年月日、及び性別であるものとする。ｅＫＹＣに必要のない情報が、被保険者が所属する事業所を識別可能な事業所整理番号、同じ事業所内で個人を識別可能な個人番号、及びその他の情報であるものとする。図２では、「Ｓｙｍｂｏｌ」の略である「ＳＢ」の横に印刷された「５３８７１２１１０」が事業所整理番号である。「Ｎｕｍｂｅｒ」の略である「ＮＢ」の横に印刷された「１２３」が個人番号である。

事業所整理番号及び個人番号は、保険の適用を受けるために必要な情報なので、第三者に盗まれると大きな問題が生じる可能性がある。例えば、保険証Ｃがそのまま示された保険証画像Ｉがアップロードされたとする。悪意のある第三者が保険証画像Ｉを不正に入手すると、第三者は、事業所整理番号及び個人番号を知ることができる。この場合、第三者は、事業所整理番号及び個人番号を悪用し、ユーザになりすまして不正に保険の適用を受ける可能性がある。

第三者に事業所整理番号及び個人番号を知られないようにするために、保険証画像Ｉのうち、事業所整理番号及び個人番号の領域にマスキングを実行することが考えられる。適切な領域にマスキングを実行できれば、第三者は、保険証画像Ｉを不正に入手しても、事業所整理番号及び個人番号を知ることができない。本実施形態では、事業所整理番号及び個人番号は、ｅＫＹＣに必要のない情報なので、マスキングを実行してもｅＫＹＣに支障が出ない。

しかしながら、保険証Ｃは、種々のレイアウトが存在するので、保険証画像Ｉのうち、マスキングを実行する領域を特定するのは難しい。この点、互いにレイアウトが異なる保険証Ｃだったとしても、事業所整理番号及び個人番号が、それぞれ「ＳＢ」及び「ＮＢ」の横に印刷されることは同じだったとする。ただし、保険証Ｃのうち、「ＳＢ」及び「ＮＢ」が印刷される位置は、保険証Ｃの発行者によって異なるものとする。

上記の保険証Ｃの場合、保険証画像Ｉの中から、「ＳＢ」及び「ＮＢ」の領域を特定できれば、この領域の隣に対してマスキングを実行することによって、事業所整理番号及び個人番号を第三者に知られないようにすることができると考えられる。ただし、「ＳＢ」及び「ＮＢ」が印刷される位置は、保険証Ｃの発行者によって異なるので、保険証画像Ｉに対して何らかの画像処理を実行して特定する必要がある。

例えば、保険証画像Ｉに対し、全体的に文字認識を行うことによって、「ＳＢ」及び「ＮＢ」の文字列を認識することも考えられる。しかしながら、図２のように、保険証画像Ｉに示された保険証Ｃが曲がっていたり歪んでいたりすると、文字認識の精度が低下する。更に、認識した文字列にシンプルな形状の文字が含まれていると、誤認識の可能性もある。この場合、マスキング自体を実行できなかったり、誤った場所にマスキングされてしまったりする可能性がある。

そこで、本実施形態の画像処理システム１は、保険証画像Ｉの中から「ＳＢ」及び「ＮＢ」の領域を精度よく特定するための第１の構成と、「ＳＢ」及び「ＮＢ」の領域から事業所整理番号及び個人番号の領域を精度よく特定するための第２の構成と、を含むことによって、適切な領域にマスキングできるようになっている。以降、第１の構成及び第２の構成の詳細を説明する。

［３．画像処理システムで実現される機能］
図３は、画像処理システム１で実現される機能の一例を示す機能ブロック図である。本実施形態では、主な画像処理がユーザ端末１０で実行される場合を例に挙げる。

［３－１．ユーザ端末で実現される機能］
データ記憶部１００は、記憶部１２を主として実現される。画像取得部１０１、検出部１０２、文字認識部１０３、定型領域判定部１０４、非定型領域特定部１０５、マスキング実行部１０６、送信部１０７、及び保険証判定部１０８は、制御部１１を主として実現される。主に、検出部１０２、文字認識部１０３、及び定型領域判定部１０４が第１の構成に関係する。主に、検出部１０２、定型領域判定部１０４、及び非定型領域特定部１０５が第２の構成に関係する。

［データ記憶部］
データ記憶部１００は、本実施形態の画像処理に必要なデータを記憶する。例えば、データ記憶部１００は、先述したサービスを利用するためのアプリを記憶する。本実施形態では、このアプリの処理として、画像処理が実行される場合を説明するが、画像処理は、任意のプログラムの処理として実行されてよい。例えば、ブラウザから実行されるスクリプト又は他のプログラムの処理として、画像処理が実行されてもよい。データ記憶部１００は、保険証画像Ｉを記憶してもよい。例えば、データ記憶部１００は、後述の定型文字列を示す情報を記憶してもよい。

［画像取得部］
画像取得部１０１は、保険証画像Ｉを取得する。本実施形態では、保険証画像Ｉは、保険証Ｃが撮影されることによって生成された画像である。このため、画像取得部１０１が、撮影部１６により生成された保険証画像Ｉを取得する場合を説明する。撮影部１６は、画像生成手段の一例である。画像取得部１０１は、スキャナ、コピー機、又は複合機といった他の画像生成手段から、保険証画像Ｉを取得してもよい。画像取得部１０１は、データ記憶部１００に予め記憶された保険証画像Ｉを取得してもよいし、ユーザ端末１０以外の他のコンピュータ又は他の情報記憶媒体から保険証画像Ｉを取得してもよい。

保険証画像Ｉは、対象物画像の一例である。このため、保険証画像Ｉについて説明している箇所は、対象物画像と読み替えることができる。対象物画像は、対象物に関する画像である。対象物画像には、対象物の少なくとも一部が示される。本実施形態では、動画モードで生成された動画に含まれる個々の画像（フレーム）が対象物画像に相当する場合を説明するが、静止画モードで生成された静止画が対象物画像に相当してもよい。対象物画像は、現実空間の様子が示された写真に限られず、コンピュータグラフィックであってもよいし、写真に対して文字列等のデジタル情報が追加された画像であってもよい。

保険証Ｃは、対象物の一例である。このため、保険証Ｃについて説明している箇所は、対象物と読み替えることができる。対象物は、対象物画像に示された物体である。対象物は、画像処理の対象となる物体ということもできる。本実施形態では、対象物画像には現実空間の様子が示されるので、対象物は、現実空間における被写体である。対象物画像がコンピュータグラフィックである場合には、対象物は、仮想空間における３次元モデル又は２次元的な画像である。

例えば、対象物は、保険証Ｃ以外の他の本人確認書類であってもよい。他の本人確認書類の例は、先述した通りである。対象物は、本人確認書類以外の他の物体であってもよい。対象物は、所定のフォーマットを有する物体であればよい。例えば、対象物は、領収書、請求書、申請書、行政文書、決算短信、新聞、雑誌、その他の書籍、看板、ポスター、又は広告であってもよい。

本実施形態では、対象物が定型文字列及び非定型文字列を含む場合を説明するが、対象物は、定型文字列だけを含み、非定型文字列を含まなくてもよい。対象物は、複数の定型文字列と、複数の非定型文字列と、を含んでもよい。対象物は、１つの定型文字列と、１つの非定型文字列と、だけを含んでもよい。対象物に含まれる定型文字列と非定型文字列の数は、互いに異なってもよい。

定型文字列とは、フォーマット部分の文字列である。定型文字列は、文字の並びが固定されている。定型文字列は、保険証Ｃに応じて変わらない文字列である。本実施形態では、対象物が本人確認書類なので、定型文字列は、本人確認のために必要な情報に関する文字列である。この情報は、個人情報と呼ばれることがある。例えば、個人情報は、氏名、生年月日、性別、住所、又は電話番号である。ある保険証Ｃの定型文字列と、他の保険証Ｃの定型文字列と、は同じである。複数の保険証Ｃで共通する文字列は、定型文字列に相当する。即ち、原則としてどの保険証Ｃにも含まれる文字列が、定型文字列に相当する。定型文字列は、コンピュータにより入力された文字列に限られず、手書きの文字列であってもよい。

例えば、定型文字列は、項目名である。図２の例であれば、「ＳＢ」及び「ＮＢ」といった項目名は、ともに定型文字列に相当する。このため、「ＳＢ」及び「ＮＢ」について説明している箇所は、定型文字列と読み替えることができる。例えば、「ＳＢ」は、第１定型文字列の一例である。「ＮＢ」は、第２定型文字列の一例である。保険証Ｃには、３つ以上の定型文字列が含まれてもよく、第３定型文字列以降の定型文字列が存在してもよい。保険証Ｃに印刷された「ＨＥＡＬＴＨ ＩＮＳＵＲＡＮＣＥ ＩＤ ＣＡＲＤ」及び「ＮＡＭＥ」といった項目名を示す他の文字列も、原則として他の保険証Ｃにも存在するのであれば、定型文字列に相当する。ただし、本実施形態では、これらの文字列は特定されないものとする。

非定型文字列とは、フォーマット部分以外の他の部分の文字列である。非定型文字列は、文字の並びが固定されていない。非定型文字列は、保険証Ｃに応じて変わりうる文字列である。非定型文字列は、定型文字列以外の文字列である。本実施形態では、保険証Ｃを一例とする対象物が本人確認書類なので、非定型文字列は、本人確認のために必要な情報に関する文字列である。複数の保険証Ｃの各々のレイアウトが互いに同じだったとしても、非定型文字列は変わりうる。即ち、ある限られた保険証Ｃだけで共通する文字列、又は、他の保険証Ｃとは一切同じにならない文字列が、非定型文字列に相当する。本実施形態では、定型文字列ごとに、非定型文字列が存在する。このため、定型文字列と非定型文字列は、セットである。非定型文字列は、コンピュータにより入力された文字列に限られず、手書きの文字列であってもよい。

例えば、定型文字列が項目名に相当する場合、非定型文字列は、定型文字列が示す項目の具体的な情報である。図２の例であれば、事業所整理番号である「５３８７１２１１０」と、個人番号である「１２３」と、はともに非定型文字列に相当する。このため、これらの番号について説明している箇所は、非定型文字列と読み替えることができる。保険証Ｃに印刷された氏名及び生年月日といった他の文字列も、非定型文字列に相当する。ただし、本実施形態では、他の文字列は、マスキングの対象にはならないので、これらの文字列は特定されないものとする。

［検出部］
検出部１０２は、保険証画像Ｉから、任意の文字列を含む文字列領域を検出する。文字列領域は、保険証画像Ｉのうち、何らかの文字列を含む領域である。文字列は、複数の文字の連なりである。本実施形態では、文字列領域が四角形であるものとするが、文字列領域は、任意の形状であってよい。例えば、文字列形状は、四角形以外の多角形、円形、又は楕円形であってもよい。文字列領域は、バウンディングポリゴン又はバウンディングボックスと呼ばれることもある。文字列領域に含まれる文字列は、単語であってもよいし、単語以外の文字列であってもよい。

検出部１０２は、保険証画像Ｉの中から、何らかの文字と推定される形状が連続した領域を、文字列領域として検出する。ただし、検出部１０２は、具体的に何の文字が含まれるかまでは認識しないものとする。このため、検出部１０２が実行する画像処理は、後述の文字認識部１０３が実行する文字認識とは異なる。例えば、検出部１０２は、文字認識よりも簡易的な画像処理によって、文字列領域を検出してもよい。本実施形態では、検出部１０２が、保険証画像Ｉから、複数の文字列領域を検出する場合を説明するが、検出部１０２は、１つの文字列領域だけを検出してもよい。

図４は、保険証画像Ｉから検出された文字列領域の一例を示す図である。本実施形態では、検出部１０２が、Scene Text Detectionと呼ばれる手法を利用して、保険証画像Ｉから文字列領域Ｒ１～Ｒ３６を検出する場合を例に挙げる。以降、文字列領域Ｒ１～Ｒ３６を区別しない時は、単に文字列領域Ｒという。保険証Ｃのうち、二次元コード等の部分は、文字が含まれないので、文字列領域Ｒとして検出されない。図４では、文字列領域Ｒを見やすくするために保険証Ｃの輪郭のみを点線で示しているが、実際には、保険証画像Ｉから保険証Ｃが消去されるわけではないものとする。この点は、図５等の他の図面も同様である。

Scene Text Detectionは、風景に含まれるテキストを検出する手法である。本実施形態では、Scene Text Detectionの一例として、Youngmin Baekらによる「Character Region Awareness for Text Detection」（https://arxiv.org/pdf/1904.01941v1.pdf）の手法を説明する。Youngmin Baekらの手法では、物体検出手法によって文字列領域Ｒを検出するのではなく、文字と推定される第１領域と、文字間の空白と推定される第２領域と、を検出することによって、文字列領域Ｒが検出される。

例えば、検出部１０２は、文字単位の第１ヒートマップと、文字間の第２ヒートマップと、の２つのヒートマップを出力可能な学習済みの機械学習モデルに対し、保険証画像Ｉを入力する。第１ヒートマップは、文字である確率の高さを示すマップである。例えば、第１ヒートマップでは、あるピクセルが文字を示すピクセルである確率が高いほど、このピクセルの色が濃くなる。第２ヒートマップは、文字間の空白である確率の高さを示すマップである。例えば、第２ヒートマップでは、あるピクセルが文字間の空白を示すピクセルである確率が高いほど、このピクセルの色が濃くなる。

機械学習モデルは、第１ヒートマップ及び第２ヒートマップを出力可能であるが、保険証画像Ｉに何の文字が含まれるかまでは特定しないものとする。検出部１０２は、第１ヒートマップに基づいて、１文字ごとの第１領域を特定する。検出部１０２は、第２ヒートマップに基づいて、文字間の空白である第２領域を特定する。第２領域は、ある文字の第１領域と、次の文字の第１領域と、の間にまたがるように特定される。検出部１０２は、第１領域及び第２領域をつなぐことによって、文字列領域Ｒを検出する。

本実施形態の保険証Ｃには、複数の定型文字列が含まれているので、図４のように、検出部１０２は、複数の文字列領域Ｒを検出する。これらの文字列領域Ｒの中には、最終的に検出したい「ＳＢ」及び「ＮＢ」以外の文字列の文字列領域Ｒも存在する。本実施形態では、「ＳＢ」及び「ＮＢ」といった２文字の定型文字列の文字列領域Ｒを検出することを目的としているので、後述の文字認識部１０３は、定型文字列と同じ文字数の文字列領域Ｒを文字認識の対象とする。検出部１０２は、定型文字列と同じ文字数の文字列領域Ｒだけを検出してもよい。

図５は、定型文字列と同じ文字数の文字列領域Ｒの一例を示す図である。例えば、Youngmin Baekらの手法では、第２領域によって結合された第１領域の数は、文字列領域Ｒに含まれる文字列の文字数を意味する。このため、検出部１０２は、ある文字列領域Ｒを検出する時に特定した第１領域の数を、この文字列領域Ｒに含まれる文字列の文字数として取得する。図５のように、文字列領域Ｒ１～Ｒ３６のうち、定型文字列である「ＳＢ」及び「ＮＢ」と同じ文字数である２文字の文字列領域Ｒは、文字列領域Ｒ３，Ｒ５，Ｒ９，Ｒ１１，Ｒ２４，Ｒ２９，Ｒ３３になる。

なお、Scene Text Detection自体は、種々の手法を利用可能である。例えば、検出部１０２は、Xinyu Zhouらによる「An Efficient and Accurate Scene Text Detector」（https://arxiv.org/pdf/1704.03155v2.pdf）、又は、Zhi Tianらによる「Detecting Text in Natural Image with Connectionist Text Proposal Network」（https://arxiv.org/pdf/1609.03605v1.pdf）といった他のScene Text Detectionの手法を利用して、文字列領域Ｒを検出してもよい。

他にも例えば、検出部１０２は、Scene Text Detection以外の他の手法を利用して、文字列領域Ｒを検出してもよい。例えば、検出部１０２は、物体検出手法によって、文字列領域Ｒを検出してもよい。検出部１０２は、物体検出手法によって、保険証画像Ｉから、物体性の高い場所を囲むバウンディングボックスを検出する。検出部１０２は、文字と思われるサイズのバウンディングボックスが一定の間隔で並ぶ領域を、文字列領域Ｒとして検出してもよい。

他にも例えば、検出部１０２は、文字認識を利用して、文字列領域Ｒを検出してもよい。先述したように、保険証画像Ｉ全体に対して文字認識を実行しても、精度良く文字認識を実行するのは難しい。ただし、具体的な文字を特定できなくても、何らかの文字があることは特定できる可能性がある。このため、検出部１０２は、保険証画像Ｉの中から何らかの文字が特定された領域が一定の間隔で並ぶ領域を、文字列領域Ｒとして検出してもよい。

［文字認識部］
文字認識部１０３は、文字列領域Ｒに対して文字認識を行い、文字列領域Ｒに含まれる１文字ごとに、文字認識の結果に関するスコアを計算する。文字認識は、光学文字認識（OCR）と呼ばれることもある。文字認識は、インテリジェント文字認識（ICR）又はインテリジェント単語認識（IWR）といったように、光学文字認識以外の他の名前で呼ばれることもある。文字認識自体は、種々の手法を利用可能である。例えば、機械学習モデルを利用した手法（いわゆるAI OCRと呼ばれる手法）、テンプレート画像を利用した手法、又は線の形状的な特徴を利用した手法を利用可能である。

文字認識の結果とは、文字認識のアルゴリズムから出力された内容である。例えば、文字列領域Ｒから認識された個々の文字は、文字認識の結果に相当する。本実施形態では、図５のように２文字の文字列領域Ｒに対して文字認識が実行されるので、文字認識部１０３は、文字列領域Ｒから、１文字目の文字と、２文字目の文字と、を認識する。これら２つの文字の組み合わせは、文字認識の結果である。文字列領域Ｒに２文字以上の文字列が含まれる場合も同様に、文字認識部１０３は、文字列領域Ｒに含まれる文字数の分だけ、文字認識の結果を取得する。

スコアは、文字認識の結果の正しさを示す指標である。スコアは、蓋然性と呼ばれることもある。本実施形態では、スコアが数値によって表現される場合を説明するが、スコアは、文字又はその他の記号といった他の指標で表現されてもよい。スコアが高いほど、文字認識の結果が正しいことを意味する。本実施形態では、０～１００の数値範囲でスコアが表現される場合を説明するが、スコアは、他の任意の数値範囲で表現可能である。

スコアの計算方法自体は、種々の計算方法を利用可能である。例えば、機械学習モデルを利用した手法であれば、機械学習モデルの出力層によりスコアが計算される。このスコアは、機械学習モデルが行う文字ラベリングの正しさを示す。例えば、テンプレート画像を利用した手法であれば、テンプレート画像と一致するピクセル数、又は、個々のピクセルにおけるテンプレート画像との色の違いに基づいて、スコアが計算される。例えば、線の形状的な特徴を利用した手法であれば、基準となる形状との違いに基づいて、スコアが計算される。これらの違いが小さいほど、スコアは高くなる。

図６は、文字列領域Ｒに対する文字認識の実行結果の一例を示す図である。本実施形態では、文字認識は、複数の認識可能文字を認識可能である。文字認識部１０３は、１文字ごとに、複数の認識可能文字の各々のスコアを計算する。認識可能文字は、文字認識で認識が可能な文字である。例えば、機械学習モデルを利用した文字認識であれば、機械学習モデルに学習させた文字が認識可能文字に相当する。テンプレート画像を利用した文字認識であれば、テンプレート画像として用意された文字が認識可能文字に相当する。文字の形状を利用した文字認識であれば、基準となる形状が用意された文字が認識可能文字に相当する。

認識可能文字は、文字認識における候補となる文字ということもできる。例えば、英語であれば、アルファベット、数字、及びその他の記号といった数十文字～数百文字程度の認識可能文字が存在する。認識可能文字は、言語又は文字認識手法に応じて異なる。文字認識部１０３は、文字認識の対象となる言語と、文字認識で利用する手法と、に応じた認識可能文字を認識可能である。例えば、日本語であれば、４万文字程度の文字認識が可能なので、文字認識部１０３は、４万文字の各々に対して、スコアを計算してもよい。他の言語の場合も同様に、文字認識部１０３は、その言語における認識可能文字ごとに、スコアを計算する。

例えば、文字認識部１０３は、認識可能文字ごとに、１文字目のスコアと、２文字目のスコアと、を計算する。本実施形態では、英語の保険証Ｃを例に挙げるので、文字認識部１０３は、英語の認識可能文字である数十文字～数百文字程度の文字の各々に対して、１文字目のスコアと、２文字目のスコアと、を計算する。図６の例では、文字列領域Ｒごとに、１文字目のスコアが上位５位までの認識可能文字と、２文字目のスコアが上位５位までの認識可能文字と、が示されているが、他の認識可能文字についてもスコアは計算されているものとする。このため、スコアが６位以降の認識可能文字も存在する。

例えば、文字列領域Ｒ３には、文字列「ＩＤ」が含まれる。ただし、図２のように、保険証画像Ｉにおける保険証Ｃに曲がり及び歪みがあるので、「Ｉ」と「Ｄ」のスコアが１位になるとは限らない。更に、「Ｉ」はシンプルな形状であり、他の文字と誤認識される可能性が高い。このため、文字列領域Ｒ３の１文字目は、スコアが高い順に「１」、「ｌ」、「Ｉ」、「｜」、「Ｌ」となる。１文字目の正解は、３番目にスコアが高い「Ｉ」であるが、似た形状の他の文字のスコアの方が高くなっている。文字列領域Ｒ３の２文字目は、スコアが高い順に「Ｄ」、「Ｏ」、「Ｂ」、「Ｒ」、「β」となる。２文字目の正解は、最もスコアが高い「Ｄ」である。このように、文字列領域Ｒ３の正解である「Ｉ」と「Ｄ」は、両方とも１位になるわけではないが、両方とも上位５位以内には入っている。

他の文字列領域Ｒも同様である。本実施形態では、２文字の他の文字列領域Ｒ５，Ｒ９，Ｒ１１，Ｒ２４，Ｒ２９，Ｒ３３についても、文字列領域Ｒ３と同様に、文字認識部１０３は、１文字目と２文字目の上位５位のスコアの認識可能文字を特定する。本実施形態で特定したい定型文字列である「ＳＢ」を含む文字列領域Ｒ９は、「Ｓ」と「Ｂ」は、両方とも１位になるわけではないが、両方とも上位５位以内には入っている。同様に、本実施形態で特定したい定型文字列である「ＮＢ」を含む文字列領域Ｒ１１は、「Ｎ」と「Ｂ」は、両方とも１位になるわけではないが、両方とも上位５位以内には入っている。

［定型領域判定部］
定型領域判定部１０４は、１文字ごとに計算されたスコアに基づいて、文字列領域Ｒが定型文字列を含む定型領域であるか否かを判定する。本実施形態では、複数の定型文字列が特定対象となるので、定型領域判定部１０４は、定型文字列ごとに、文字列領域Ｒが当該定型文字列を含む定型領域であるか否かを判定する。例えば、定型文字列として「ＳＢ」及び「ＮＢ」があるので、定型領域判定部１０４は、文字列領域Ｒが「ＳＢ」の定型領域であるか否かと、文字列領域Ｒが「ＮＢ」の定型領域であるか否かと、を判定する。

定型領域は、定型文字列を含む文字列領域Ｒである。定型領域判定部１０４は、ある文字列領域Ｒに含まれる１文字ごとに計算されたスコアに基づいて、この文字列領域Ｒに定型文字列が含まれているか否かを判定することになる。本実施形態では、ある文字列領域Ｒの１文字目のスコアと２文字目のスコアとに基づいて、この文字列領域Ｒが定型領域であるか否かを判定する。

本実施形態では、定型領域判定部１０４は、１文字ごとに、複数の認識可能文字の中から、スコアが相対的に高い認識可能文字を、高スコア文字として特定する。例えば、定型領域判定部１０４は、１文字ごとに、当該１文字の中でスコアの順位が基準順位以上の認識可能文字を、高スコア文字として特定する。基準順位は、高スコア文字を特定するための条件となる順位である。図６の例では、基準順位は、５位である。基準順位は、任意の順位を設定可能であり、５位に限られない。例えば、基準順位は、１位～４位又は６位以上であってもよい。

例えば、定型領域判定部１０４は、高スコア文字の組み合わせの中に、定型文字列が存在するか否かを判定することによって、文字列領域Ｒが定型領域であるか否かを判定する。図６の例では、１文字目の上位５位までの文字と、２文字目の上位５位までの文字と、の組み合わせは、２５通り存在する。定型領域判定部１０４は、ある文字列領域Ｒから特定された２５通りの組み合わせの中に、定型文字列と一致するものが存在するか否かを判定する。

なお、定型領域の判定方法は、文字列領域Ｒに含まれる文字数が２文字ではない場合も同様であってよい。更に、定型領域の判定方法は、基準順位が５位ではない場合も同様であってよい。例えば、文字列領域Ｒにｎ（ｎは２以上の整数）文字含まれており、かつ、上位ｍ（ｍは自然数）位のスコアの文字が高スコア文字として特定されたとすると、定型領域判定部１０４は、ｍ^ｎ通りの組み合わせの中に、定型文字列と一致するものが存在するか否かを判定すればよい。

本実施形態では、定型領域判定部１０４は、定型文字列と同じ文字数の文字列領域Ｒが定型領域であるか否かを判定する。定型領域判定部１０４は、定型文字列と異なる文字数の文字列領域Ｒについては、判定対象から除外する。図４の例では、文字列領域Ｒ１～Ｒ３６が検出されているが、定型領域判定部１０４の判定対象となるのは、図５のように、定型文字列と同じ２文字の文字列領域Ｒ３，Ｒ５，Ｒ９，Ｒ１１，Ｒ２４，Ｒ２９，Ｒ３３である。本実施形態では、定型文字列とは異なる文字数の他の文字列領域Ｒは、定型領域の判定対象とはならないものとするが、定型領域判定部１０４は、他の文字列領域Ｒが定型領域であるか否かを判定してもよい。

図７は、定型領域であると判定された文字列領域Ｒの一例を示す図である。例えば、定型領域判定部１０４は、文字列領域Ｒ９の１文字目のスコアが１位の「Ｓ」と、文字列領域Ｒ９の２文字目のスコアが２位の「Ｂ」と、の組み合わせが、特定したい定型文字列である「ＳＢ」と一致すると判定する。このため、定型領域判定部１０４は、文字列領域Ｒ９が「ＳＢ」の定型領域であると判定する。

例えば、定型領域判定部１０４は、文字列領域Ｒ１１の１文字目のスコアが２位の「Ｎ」と、文字列領域Ｒ９の２文字目のスコアが１位の「Ｂ」と、の組み合わせが、特定したい定型文字列である「ＮＢ」と一致すると判定する。このため、定型領域判定部１０４は、文字列領域Ｒ１１が「ＮＢ」の定型領域であると判定する。図７のように、定型領域判定部１０４は、判定対象となった複数の文字列領域Ｒ３，Ｒ５，Ｒ９，Ｒ１１，Ｒ２４，Ｒ２９，Ｒ３３のうち、文字列領域Ｒ９，Ｒ１１が定型領域であると判定する。

本実施形態では、定型領域判定部１０４は、複数の文字列領域Ｒの何れかを選択し、当該選択された文字列領域Ｒが定型領域であるか否かを判定する。本実施形態では、定型領域判定部１０４は、保険証画像Ｉの上から順番に１つずつ文字列領域Ｒを選択し、当該選択された文字列領域Ｒが定型領域であるか否かを判定する。図５の例であれば、定型領域判定部１０４は、文字列領域Ｒ３，Ｒ５，Ｒ９，Ｒ１１，Ｒ２４，Ｒ２９，Ｒ３３の順で１つずつ選択する。文字列領域Ｒの選択順は、任意の順序であってよく、例えば、下から順番に選択されてもよいし、左又は右から順番に選択されてもよい。

例えば、定型領域判定部１０４は、上記のように選択された文字列領域Ｒが定型領域であると判定された場合には、次の文字列領域Ｒを選択せずに処理を終了する。図５の例であれば、定型領域判定部１０４は、文字列領域Ｒ１１に対する判定を実行した時点で、２つの定型文字列が両方とも存在することを確認できたので、文字列領域Ｒ２４，Ｒ２９，Ｒ３３についての判定は実行せずに処理を終了する。即ち、定型領域判定部１０４は、全ての定型領域を特定した場合には、まだ判定対象となっていない文字列領域Ｒが残っていたとしても、残りの文字列領域Ｒについては判定対象とはしない。

例えば、定型領域判定部１０４は、上記のように選択された文字列領域Ｒが定型領域であると判定されない場合には、次の文字列領域Ｒを選択し、当該選択された次の文字列領域Ｒが定型領域であるか否かを判定する。図５の例であれば、定型領域判定部１０４は、１つ目の文字列領域Ｒ３には、「Ｓ」と「Ｂ」の組み合わせも「Ｎ」と「Ｂ」の組み合わせも存在しないことを判定したので、２つ目の文字列領域Ｒ５に対する判定処理を実行する。以降、定型領域判定部１０４は、全ての定型領域を特定するまで、文字列領域Ｒを１つずつ選択して定型領域であるか否かを判定する。

［非定型領域特定部］
非定型領域特定部１０５は、定型領域があると判定された場合に、定型領域と所定の位置関係にある文字列領域Ｒを、非定型文字列を含む非定型領域として特定する。所定の位置関係は、保険証Ｃにおける定型文字列と非定型文字列との位置関係である。所定の位置関係は、定型文字列の位置を基準とした場合に非定型文字列が配置された位置である。位置関係は、相対的な位置ということもできる。

所定の位置関係は、データ記憶部１００に予め定められているものとする。本実施形態のように、複数の定型文字列が保険証Ｃに存在する場合には、定型文字列ごとに、所定の位置関係が定められている。非定型領域特定部１０５は、定型領域判定部１０４により判定された定型領域を基準として、所定の位置関係にある他の位置を特定する。非定型領域特定部１０５は、当該特定された他の位置にある文字列領域Ｒを、この定型領域に対応する非定型領域として特定する。

例えば、非定型領域特定部１０５は、定型領域から所定の方向に所定の距離以内に文字列領域Ｒがある場合に、当該文字列領域Ｒが定型領域と所定の位置関係にあると判定してもよい。即ち、所定の位置関係は、定型領域から所定の方向に所定の距離以内にあることであってもよい。所定の位置関係は、所定の距離以内といった範囲ではなく、あるピンポイントの位置であってもよい。非定型領域特定部１０５は、定型領域から所定の方向に所定の距離以内の範囲を特定し、当該特定された範囲内にある文字列領域Ｒを、この定型領域に対応する非定型領域として特定する。

所定の位置関係に相当する所定の方向及び所定の距離は、予め定められた方向及び距離であればよい。所定の方向及び所定の距離は、保険証Ｃにおける定型文字列及び非定型文字列の実際の位置関係に応じて定めればよい。本実施形態では、定型文字列の右側に非定型文字列が存在するので、所定の方向は、右方向である。例えば、所定の方向は、左方向、上方向、又は下方向といった他の方向であってもよいし、上下左右の何れかの方向から多少ずれた斜め方向であってもよい。所定の距離は、保険証Ｃにおける定型文字列及び非定型文字列の距離として想定しうる距離であればよい。例えば、所定の距離は、１センチメートル～１０センチメートル程度、それ以上の距離、又はそれ以下の距離であってもよい。

図８は、非定型領域の特定方法の一例を示す図である。図８では、文字列領域Ｒのうち、文字列領域Ｒ９～Ｒ１２にのみ符号を付している。本実施形態では、定型領域が四角形なので、非定型領域特定部１０５は、定型領域である文字列領域Ｒ９の少なくとも１つの辺を所定の方向に所定の距離だけ伸ばした線Ｌ１，Ｌ２上又はその付近に文字列領域Ｒがある場合に、当該文字列領域Ｒが定型領域と所定の位置関係にあると判定する。付近とは、線Ｌ１，Ｌ２から所定距離以内の位置である。非定型領域特定部１０５は、辺Ｌ１又は辺Ｌ２の何れか一方のみを利用して、所定の位置関係を判定してもよい。

例えば、非定型領域特定部１０５は、定型領域の互いに対向する２本の辺Ｌ１，Ｌ２を所定の方向に所定の距離だけ伸ばした２本の線上又はその付近に文字列領域Ｒがある場合に、当該文字列領域Ｒが定型領域と所定の位置関係にあると判定する。図８の例では、文字列領域Ｒ１０，Ｒ１１が線Ｌ１、Ｌ２上にあるので、非定型領域特定部１０５は、ひとまず文字列領域Ｒ１０，Ｒ１１が、定型領域である文字列領域Ｒ９と所定の位置関係にあると判定する。

図８では省略しているが、非定型領域特定部１０５は、定型領域である文字列領域Ｒ１１についても同様に、上下の２本の辺を所定の方向に所定の距離だけ伸ばした２本の線上又はその付近に文字列領域Ｒがある場合に、当該文字列領域Ｒが定型領域と所定の位置関係にあると判定する。図８の例では、この線については省略しているが、この線上に文字列領域Ｒ１２だけが存在するものとする。非定型領域特定部１０５は、文字列領域Ｒ１２が、定型領域である文字列領域Ｒ１１と所定の位置関係にあると判定する。

例えば、非定型領域特定部１０５は、複数の文字列領域Ｒのうち、定型領域と所定の第１位置関係にある文字列領域Ｒが１つしか存在しない場合には、当該文字列領域Ｒを非定型領域として特定する。第１位置関係は、上記の説明における所定の位置関係である。図８の例であれば、定型領域の辺を伸ばした線上又はその付近に存在することが、第１位置関係に相当する。非定型領域特定部１０５は、定型領域と第１位置関係にある文字列領域Ｒが複数存在する場合には、当該複数の文字列領域Ｒのうち、定型領域と第２位置関係にある文字列領域Ｒを、非定型領域として特定する。

第２位置関係は、第１位置関係とは異なる基準によって判定される位置関係である。例えば、非定型領域特定部１０５は、定型領域と第１位置関係にある文字列領域Ｒが複数存在する場合に、当該複数の文字列領域Ｒのうち、定型領域に最も近い（相対的に近い）文字列領域Ｒを、定型領域と第２位置関係にある文字列領域Ｒとして特定する。このため、定型領域に近いことが、第２位置関係に相当する。図８の例であれば、線Ｌ１，Ｌ２上又はその付近にある文字列領域Ｒ１０，Ｒ１１のうち、文字列領域Ｒ１０が、定型領域である文字列領域Ｒ１０に最も近いので、文字列領域Ｒ１０が非定型領域として特定される。第２位置関係は、他の位置関係であってもよい。例えば、定型領域の付近に他の定型領域が存在する場合には、第２位置関係は、定型領域から遠いことであってもよい。

図８の例では、非定型領域特定部１０５は、定型領域である文字列領域Ｒ９の辺を伸ばした線Ｌ１，Ｌ２上又はその付近に、２つの文字列領域Ｒ１０，Ｒ１１が存在する。非定型領域特定部１０５は、これら２つの文字列領域Ｒ１０，Ｒ１１のうち、文字列領域Ｒ９に近い文字列領域Ｒ１０を、１つ目の定型領域として特定する。非定型領域特定部１０５は、定型領域である文字列領域Ｒ１１の辺を伸ばした線上Ｌ１，Ｌ２又はその付近に、１つの文字列領域Ｒ１２しか存在しないので、文字列領域Ｒを、２つ目の定型領域として特定する。このため、文字列領域Ｒ１１については、第２位置関係は判定されない。

［マスキング実行部］
図９は、非定型領域に対してマスキングが実行された後の保険証画像Ｉの一例を示す図である。マスキング実行部１０６は、非定型領域に対してマスキングを実行する。マスキングは、非定型領域を見えなくする画像処理である。例えば、所定の色で塗りつぶす処理、何らかの画像若しくはパターンをマッピングする処理、非定型領域を切り取る処理、又はモザイクをかける処理である。図９のように、保険証画像Ｉのうち、非定型領域である文字列領域Ｒ１０，Ｒ１２の部分がマスキングされたので、第三者に「５３８７１２１１０」及び「１２３」の文字列が知られない状態になっている。

［送信部］
送信部１０７は、サーバ２０に、マスキングが実行された保険証画像Ｉを送信する。例えば、送信部１０７は、非定型領域である文字列領域Ｒ１０，Ｒ１２がマスキングされて、第三者に「５３８７１２１１０」及び「１２３」の文字列が知られない状態の保険証画像Ｉを、サーバ２０に送信する。本実施形態では、後述の保険証判定部１０８により保険証画像Ｉに保険証Ｃが含まれると判定された場合に、保険証画像Ｉに対するマスキングが実行されて、送信部１０７は、保険証画像Ｉを送信する。保険証判定部１０８により保険証画像Ｉに保険証Ｃが含まれると判定されない場合には、保険証Ｃの撮影が再度要求されてもよい。

［保険証判定部］
保険証判定部１０８は、複数の定型文字列の中に、定型領域が特定されなかった定型文字列が存在する場合には、保険証画像Ｉに保険証Ｃが含まれていないと判定する。本実施形態では、保険証判定部１０８は、１つ以上の定型文字列の定型領域が特定されなかった場合に、保険証画像Ｉに保険証Ｃが含まれていないと判定する。このため、保険証判定部１０８は、全ての定型文字列の定型領域が特定された場合に、保険証画像Ｉに保険証Ｃが含まれていると判定する。

本実施形態では、保険証Ｃには、複数の非定型文字列が含まれているので、保険証判定部１０８は、複数の非定型文字列の中に、非定型領域が特定されなかった非定型文字列が存在する場合には、保険証画像Ｉに保険証Ｃが含まれていないと判定する。本実施形態では、保険証判定部１０８は、１つ以上の非定型文字列の非定型領域が特定されなかった場合に、保険証画像Ｉに保険証Ｃが含まれていないと判定する。このため、保険証判定部１０８は、全ての非定型文字列の非定型領域が特定された場合に、保険証画像Ｉに保険証Ｃが含まれていると判定する。

［３－２．サーバで実現される機能］
データ記憶部２００は、記憶部２２を主として実現される。受信部２０１は、制御部２１を主として実現される。

［データ記憶部］
本実施形態のデータ記憶部２００は、ｅＫＹＣに必要なデータを記憶する。例えば、データ記憶部２００は、ユーザ端末１０から受信した保険証画像Ｉを記憶する。本実施形態では、マスキングが実行された保険証画像Ｉが送信されるので、データ記憶部２００は、マスキングが実行された保険証画像Ｉを記憶する。

［受信部］
受信部２０１は、ユーザ端末１０から、マスキングが実行された保険証画像Ｉを受信する。受信部２０１は、受信した保険証画像Ｉをデータ記憶部２００に記録する。

［４．画像処理システムで実行される処理］
図１０は、画像処理システム１で実行される処理の一例を示すフロー図である。図１０のように、ユーザ端末１０は、撮影部１６による撮影結果に基づいて、保険証Ｃを含む保険証画像Ｉを取得する（Ｓ１）。ユーザ端末１０は、Scene Text Detectionの手法を利用して、保険証画像Ｉから、複数の文字列領域Ｒを検出する（Ｓ２）。Ｓ２において検出された文字列領域Ｒは、図４のような状態になる。ユーザ端末１０は、Ｓ２で検出された複数の文字列領域Ｒの中から、定型文字列と同じ文字数の文字列領域Ｒを特定する（Ｓ３）。Ｓ３において特定された文字列領域Ｒは、図５のような状態になる。

ユーザ端末１０は、Ｓ３で検出された複数の文字列領域Ｒの各々に対して文字認識を行い、１文字ごとのスコアを計算する（Ｓ４）。Ｓ４において計算されたスコアは、図６のような内容となる。ユーザ端末１０は、Ｓ４で計算された１文字ごとのスコアに基づいて、複数の文字列領域Ｒの各々が定型領域であるか否かを判定する（Ｓ５）。Ｓ５では、先述したように、スコアの上位５位の組み合わせの中に、定型文字列が含まれるか否かが判定される。判定後の文字列領域Ｒは、図７のような状態になる。

ユーザ端末１０は、定型領域であると判定された文字列領域Ｒと所定の位置関係を満たす文字列領域Ｒを、非定型領域として特定する（Ｓ６）。Ｓ６では、図８のように線上又はその付近の文字列領域Ｒが非定型領域として特定される。ユーザ端末１０は、全ての定型領域及び非定型領域が特定されたか否かを判定する（Ｓ７）。何れかの定型領域及び非定型領域が特定されなかったと判定された場合（Ｓ７；Ｎ）、本処理は終了する。この場合、ユーザ端末１０は、保険証Ｃが保険証画像Ｉに撮影されていないことを示すエラーメッセージを表示部１５に表示させてもよい。

全ての定型領域及び非定型領域が特定されたと判定された場合（Ｓ７；Ｙ）、ユーザ端末１０は、非定型領域に対してマスキングを実行する（Ｓ８）。ユーザ端末１０は、サーバ２０に対し、マスキングが実行された保険証画像Ｉを送信する（Ｓ９）。サーバ２０は、マスキングが実行された保険証画像Ｉを受信して記憶部２２に記録し（Ｓ１０）、本処理は終了する。以降、記憶部２２に記録された保険証画像Ｉに基づいて、ｅＫＹＣが行われる。

［第１の構成のまとめ］
以上のように、画像処理システム１は、保険証画像Ｉの中から「ＳＢ」及び「ＮＢ」の領域を精度よく特定するための第１の構成を含む。画像処理システム１は、保険証画像Ｉから検出された文字列領域Ｒに対して文字認識を行う。画像処理システム１は、文字列領域Ｒに含まれる１文字ごとに計算されたスコアに基づいて、文字列領域Ｒが定型領域であるか否かを判定する。これにより、文字認識だけでは定型文字列を特定できないような保険証画像Iだったとしても、保険証画像Ｉから定型領域を確実に特定できる。例えば、保険証画像Ｉにおける保険証Ｃが曲がったり歪んだりしていたりした場合、具体的にどの文字が含まれているかを特定することは難しいが、何らかの文字が含まれているかを特定することはできる。例えば、他の文字と似た文字が定型文字列に含まれる場合、文字認識では誤認識が発生しやすいが、何らかの文字が含まれているかを特定することはできる。これらの場合のように、文字認識を精度良く行うことが難しい場合だったとしても、ひとまずは精度良く検出できる文字列領域Ｒを検出する。その後に行われる文字認識は、あまり精度良く行うことはできないが、文字列全体のスコアではなく、１文字ごとの個別のスコアを利用することによって、高スコア文字の組み合わせの中に定型文字列が含まれていればよいといった判定が可能になるので、定型領域を特定しやすくなる。

また、画像処理システム１は、１文字ごとに、複数の認識可能文字の中から、スコアが相対的に高い認識可能文字を、高スコア文字として特定する。画像処理システム１は、高スコア文字の組み合わせの中に、定型文字列が存在するか否かを判定することによって、文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字列の一部の文字のスコアが多少低くなったとしても、この文字が高スコア文字の組み合わせに含まれていれば、文字列領域Ｒを定型領域として特定できるので、保険証画像Ｉから定型領域を特定しやすくなる。文字列領域Ｒ全体に対して文字認識を行う場合、複数の文字を含む文字列を１セットとして、スコアが計算される。この場合、文字列全体のセットとして文字認識結果が取得されるので、定型文字列全体がセットとして文字認識されなければ、定型領域を特定することが難しい。２文字の文字列領域Ｒ９を例に挙げると、２文字の文字列ごとに、スコアが計算される場合、定型文字列と同じ２文字の文字列のスコアが高くなければ、定型文字列を特定できない。定型文字列「ＳＢ」を例に挙げると、１文字目の「Ｓ」と、２文字目の「Ｂ」と、の両方を含む文字列「ＳＢ」のスコアが高くなければ、定型文字列を特定できない。一方で、第１の構成によれば、図６のように、１文字ごとにスコアが計算されるので、「Ｓ」が１文字目のスコアで１位であるが、「Ｂ」が２文字目のスコアで２位だったとしても、高スコア文字の組み合わせの中に定型文字列が含まれていればよいので、文字列領域Ｒ９が「ＳＢ」を含むことを特定できる。

また、画像処理システム１は、１文字ごとに、当該１文字の中でスコアの順位が基準順位以上の認識可能文字を、高スコア文字として特定する。これにより、定型文字列の一部の文字のスコアの順位が多少低くなったとしても、この文字が高スコア文字の組み合わせに含まれていれば、文字列領域Ｒを定型領域として特定できるので、保険証画像Ｉから定型領域を特定しやすくなる。図６の定型文字列「ＳＢ」のように、「Ｓ」が１文字目のスコアで１位であるが、「Ｂ」が２文字目のスコアで２位であり、互いの順位が異なっていたとしても、文字列領域Ｒ９が「ＳＢ」を含むことを特定できる。図６の定型文字列「ＮＢ」のように、「Ｎ」が１文字目のスコアで２位であり、「Ｂ」が２文字目のスコアで１位であり、互いの順位が異なっていたとしても、文字列領域Ｒ１１が「ＮＢ」を含むことを特定できる。

また、画像処理システム１は、定型文字列と同じ文字数の文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字列と異なる文字数の文字列領域Ｒが判定対象から除外され、不要な処理を実行しないので、ユーザ端末１０の処理負荷を軽減し、かつ、定型領域を特定するまでに要する時間を短縮できる。

また、画像処理システム１は、複数の文字列領域Ｒの何れかを選択し、当該選択された文字列領域Ｒが定型領域であると判定された場合には、次の文字列領域Ｒを選択せずに処理を終了する。画像処理システム１は、当該選択された文字列領域Ｒが定型領域であると判定されない場合には、次の文字列領域Ｒを選択し、当該選択された次の文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型領域が特定された場合には、それ以降の不要な処理を実行しないので、ユーザ端末１０の処理負荷を軽減し、かつ、定型領域を特定するまでに要する時間を短縮できる。

また、画像処理システム１は、複数の定型文字列の中に、定型領域が特定されなかった定型文字列が存在する場合には、保険証画像Ｉに保険証Ｃが含まれていないと判定する。これにより、保険証画像Ｉに保険証Ｃが含まれているか否かを確実に特定できる。例えば、保険証画像Ｉに保険証Ｃが含まれていなかったり、保険証画像Ｉの保険証Ｃが不鮮明だったりすると、ｅＫＹＣを完了できずにやり直しになる可能性がある。保険証画像Ｉに保険証Ｃが含まれているか否かを確実に特定することによって、ｅＫＹＣを確実に完了させることができる。このため、ユーザと、サービスの管理者と、の両方の利便性が高まる。

また、画像処理システム１は、保険証Ｃを一例とする本人確認書類が撮影されることによって生成された画像から検出された文字列領域Ｒが定型領域であるか否かを判定する。これにより、本人確認書類が写された画像から定型領域を確実に特定できる。

［第２の構成のまとめ］
以上のように、画像処理システム１は、「ＳＢ」及び「ＮＢ」の領域から事業所整理番号及び個人番号の領域を精度よく特定するための第２の構成を含む。画像処理システム１は、保険証画像Ｉから検出した複数の文字列領域Ｒの中に定型領域があるか否かを判定する。画像処理システム１は、定型領域があると判定された場合に、定型領域と所定の位置関係にある文字列領域Ｒを、非定型領域として特定する。これにより、比較的特定しやすい定型領域を手掛かりにして非定型領域を特定できるので、保険証画像Ｉから非定型領域を確実に特定できる。即ち、非定型文字列は、何の文字が含まれているか事前に分からないので非定型領域を特定することは難しいが、定型文字列は、何の文字が含まれているか事前に分かっているので、定型領域は、比較的特定しやすい。定型文字列と非定型文字列の位置関係は事前に分かっているので、定型領域を手掛かりにすれば、非定型領域を精度良く特定できる。

また、画像処理システム１は、定型領域から所定の方向に所定の距離以内に文字列領域Ｒがある場合に、当該文字列領域Ｒが定型領域と位置関係にあると判定する。これにより、保険証Ｃにおける定型文字列から所定の方向に所定の距離以内に非定型文字列がある場合に、非定型領域を特定しやすくなる。

また、画像処理システム１は、定型領域の少なくとも１つの辺を方向に距離だけ伸ばした線上又はその付近に文字列領域Ｒがある場合に、当該文字列領域Ｒが定型領域と位置関係にあると判定する。これにより、定型領域の辺を基準にすることによって、非定型領域をより確実に特定できる。比較的簡易な処理によって非定型領域を特定できるので、ユーザ端末１０の処理負荷を軽減し、かつ、非定型領域を特定するまでに要する時間を短縮できる。

また、画像処理システム１は、定型領域の互いに対向する２本の辺を方向に距離だけ伸ばした２本の線上又はその付近に文字列領域Ｒがある場合に、当該文字列領域Ｒが定型領域と位置関係にあると判定する。これにより、定型領域の複数の辺を基準にすることによって、非定型領域をより確実に特定できる。比較的簡易な処理によって非定型領域を特定できるので、ユーザ端末１０の処理負荷を軽減し、かつ、非定型領域を特定するまでに要する時間を短縮できる。

また、画像処理システム１は、複数の文字列領域Ｒのうち、定型領域と所定の第１位置関係にある文字列領域Ｒが１つしか存在しない場合には、当該文字列領域Ｒを非定型領域として特定する。画像処理システム１は、定型領域と第１位置関係にある文字列領域Ｒが複数存在する場合には、当該複数の文字列領域Ｒのうち、定型領域と第２位置関係にある文字列領域Ｒを、非定型領域として特定する。これにより、第１位置関係だけでは非定型領域を特定するのが難しい状況だったとしても、非定型領域を確実に特定できる。

また、画像処理システム１は、定型領域と第１位置関係にある文字列領域Ｒが複数存在する場合に、当該複数の文字列領域Ｒのうち、定型領域に最も近い文字列領域Ｒを、定型領域と第２位置関係にある文字列領域Ｒとして特定する。これにより、非定型領域を確実に特定できる。例えば、図８のように、定型領域である文字列領域Ｒ９の上下の２本の辺を伸ばした線上に文字列領域Ｒ１０，Ｒ１１が存在したとしても、文字列領域Ｒ９に近い文字列領域Ｒ１０を非定型領域とすることができる。

また、画像処理システム１は、複数の非定型文字列の中に、非定型領域が特定されなかった非定型文字列が存在する場合には、保険証画像Ｉに保険証Ｃが含まれていないと判定する。これにより、保険証画像Ｉに保険証Ｃが含まれていることを確実に判定できる。例えば、マスキングが不十分な状態の保険証画像Ｉが送信されることを防止できる。

また、画像処理システム１は、非定型領域に対してマスキングを実行する。これにより、第三者に知られたくない情報をマスキングしたうえで、保険証画像Ｉをアップロードできる。

また、画像処理システム１は、保険証画像Ｉは、本人確認書類が撮影されることによって生成された画像である。これにより、本人確認書類が写された画像から非定型領域を確実に特定できる。

［５．変形例］
なお、本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。

［５－１．第１の構成に関する変形例］
図１１は、第１の構成に関する変形例における機能ブロック図である。第１の構成に関する変形例では、該当基準決定部１０９及び基準数決定部１１０が実現される。該当基準決定部１０９及び基準数決定部１１０は、制御部１１を主として実現される。

［変形例１－１］
例えば、定型領域判定部１０４は、１文字ごとに、当該１文字の中でスコアが基準スコア以上の認識可能文字を、高スコア文字として特定してもよい。即ち、実施形態の図６の例では、上位５位の認識可能文字が高スコア文字として特定されたが、上位何位までを高スコア文字とするかは定めずに、基準スコア以上の認識可能文字であれば、何文字でも高スコア文字としてもよい。基準スコアは、高スコア文字を特定するための基準となるスコアである。基準スコアは、任意の値であってよい。基準スコアは、固定値であってもよいし、可変値であってもよい。

変形例１－１では、基準スコアを８０とする。この場合、各文字列領域Ｒのスコアが図６の例であれば、定型領域判定部１０４は、８０以上のスコアの認識可能文字を、高スコア文字として特定する。このため、文字列領域Ｒや何文字目かによって、高スコア文字の数が変わる。実施形態及び変形例１－１を組み合わせて、定型領域判定部１０４は、スコアが基準スコア以上であり、かつ、基準順位以上の認識可能文字を、高スコア文字として特定してもよい。

変形例１－１の画像処理システム１は、１文字ごとに、当該１文字の中でスコアが基準スコア以上の認識可能文字を、高スコア文字として特定する。これにより、定型文字列の一部の文字の順位が多少低くなったとしても、この文字のスコアが基準スコア以上であれば高スコア文字に分類されるので、保険証画像Ｉから定型領域を特定しやすくなる。

［変形例１－２］
例えば、定型文字列に含まれる個々の文字によっては、他の文字との誤認識が発生しやすい文字も存在する。このため、高スコア文字に該当するための該当基準は、全ての文字で同じにするのではなく、文字に応じて異ならせてもよい。該当基準は、高スコア文字に分類されるためにスコアが満たすべき条件である。実施形態の例であれば、上位５位に入ることが該当基準に相当する。変形例１－１の例であれば、基準スコア以上であることが該当基準に相当する。

画像処理システム１は、該当基準決定部１０９を含む。該当基準決定部１０９は、定型文字列に基づいて、認識可能文字が高スコア文字に該当するための該当基準を決定する。定型文字列と該当基準の関係は、予め定められているものとする。例えば、該当基準決定部１０９は、定型文字列の誤認識のしやすさに基づいて、該当基準を決定する。該当基準決定部１０９は、定型文字列が誤認識される確率が低いほど、該当基準が厳しくなるように該当基準を決定する。逆にいえば、該当基準決定部１０９は、定型文字列が誤認識される確率が高いほど、該当基準が甘くなるように、該当基準を決定する。

該当基準が厳しいとは、該当基準が高くなることである。実施形態の例であれば、基準順位が上がること（基準順位の数値が小さくなること）が、該当基準が厳しいことに相当する。変形例１－１の例であれば、基準スコアが上がることが、該当基準が厳しくなることに相当する。該当基準が甘いとは、該当基準が下がることである。実施形態の例であれば、基準順位が下がること（基準順位の数値が大きくなること）が、該当基準が甘くなることに相当する。変形例１－１の例であれば、基準スコアが下がることが、該当基準が甘くなることに相当する。

例えば、定型文字列が複雑であれば、形状が似た文字が少ないので、他の文字との誤認識が発生しにくいと考えられる。このため、高スコア文字として分類される認識可能文字が少なくなるように、該当基準決定部１０９は、定型文字列の形状が複雑であるほど、該当基準を厳しくする。複雑な形状の文字は、そもそも認識されやすいので、該当基準を厳しくしても、定型領域が特定されないといったことは発生しないと考えられる。

一方、定型文字列が簡単であれば、形状が似た文字が多いので、他の文字との誤認識が発生しやすいと考えられる。このため、高スコア文字として分類される認識可能文字が多くなるように、該当基準決定部１０９は、定型文字列の形状が簡単であるほど、該当基準を甘くする。簡単な形状の文字は、誤認識が発生しやすいので、該当基準を甘くすることによって、本当は認識したい文字が高スコア文字に分類されないといったことを防止できる。

定型領域判定部１０４は、該当基準決定部１０９により決定された該当基準に基づいて、高スコア文字を特定する。該当基準決定部１０９により決定された該当基準が利用されるという点で、実施形態及び変形例１－１とは異なるが、高スコア文字を特定する処理自体は、実施形態及び変形例１－１と同様である。

変形例１－２の画像処理システム１は、定型文字列に基づいて決定された該当基準に基づいて、高スコア文字を特定する。これにより、定型文字列に応じた該当基準で高スコア文字を特定できるので、定型領域をより確実に特定できる。例えば、定型文字列が簡単である場合に、似た文字との誤認識のために、本当は認識したい文字のスコアが６位以降になったとしても、該当基準を甘くすることによって、この文字を高スコア文字に分類できる。このため、文字列領域Ｒにこの文字が含まれていることを特定しやすくなる。

［変形例１－３］
例えば、実施形態では、ある文字列領域Ｒから特定された高スコア文字の組み合わせの中に、定型文字列に含まれる全ての文字が存在することを、定型領域を特定するための条件とする場合を説明した。このような条件を設定すると、定型文字列の文字数が多い場合に、条件が厳しすぎてしまい、定型領域を特定できなくなる可能性もある。例えば、定型文字列が１０文字だったとすると、１０文字全てが高スコア文字の組み合わせに存在しなくても、１０文字のうちの８文字以上が高スコア文字の組み合わせに存在すれば、文字列領域Ｒが定型領域であると思われる。

そこで、定型領域判定部１０４は、定型文字列に含まれる複数の定型文字の中に、高スコア文字の組み合わせの中に存在しない定型文字が存在したとしても、基準数以上の定型文字が組み合わせの中に存在した場合には、文字列領域Ｒが定型領域であると判定してもよい。基準数は、文字列領域Ｒが定型領域であると判定されるための基準となる数である。変形例１－３では、基準数が固定値であるものとするが、基準数は、後述の変形例１－４のように可変値であってもよい。上記の１０文字の定型文字列の例であれば、基準数は、８文字である。基準数は、任意の数であってよい。例えば、基準数は、定型文字列の文字数の７０％程度の数であってもよい。

例えば、定型文字列に含まれる定型文字の文字数をｘ（ｘは２以上の整数）とする。基準数をｙ（ｙはｘよりも小さい整数）とする。定型領域判定部１０４は、ｘ文字の定型文字のうち、高スコア文字の組み合わせに存在する定型文字の数を特定する。定型領域判定部１０４は、当該特定された数がｙ文字以上であれば、文字列領域Ｒが定型領域であると判定する。定型領域判定部１０４は、当該特定された数がｙ文字未満であれば、文字列領域Ｒが定型領域であると判定しない。

変形例１－３の画像処理システム１は、定型文字列に含まれる複数の定型文字の中に、組み合わせの中に存在しない定型文字が存在したとしても、基準数以上の定型文字が組み合わせの中に存在した場合には、文字列領域Ｒが定型領域であると判定する。これにより、定型文字列の文字数が多い場合に、定型領域を特定するための条件が厳しすぎてしまい定型領域を特定できなくなるといったことを防止できる。

［変形例１－４］
例えば、変形例１－３の基準数は、定型文字列に応じた数であってもよい。変形例１－４の画像処理システム１は、基準数決定部１１０を含む。基準数決定部１１０は、定型文字列に基づいて、基準数を決定する。定型文字列と基準数の関係は、予め定められているものとする。例えば、基準数決定部１１０は、定型文字列の誤認識のしやすさに基づいて、基準数を決定する。基準数決定部１１０は、定型文字列が誤認識される確率が高いほど、基準数が少なくなるように基準数を決定する。逆にいえば、基準数決定部１１０は、定型文字列が誤認識される確率が低いほど、基準数が多くなるように基準数を決定する。

例えば、基準数決定部１１０は、定型文字列の文字数の多さに基づいて、基準数を決定してもよい。基準数決定部１１０は、定型文字列の文字数が少ないほど、基準数が少なくなるように基準数を決定する。逆にいえば、基準数決定部１１０は、定型文字列の文字数が多いほど、基準数が多くなるように基準数を決定する。

定型領域判定部１０４は、基準数決定部１１０により決定された基準数に基づいて、文字列領域Ｒが定型領域であるか否かを判定する。基準数決定部１１０により決定された基準数が利用されるという点で、変形例１－３とは異なるが、定型領域を判定する処理自体は、変形例１－３と同様である。

変形例１－４の画像処理システム１は、定型文字列に基づいて決定された基準数に基づいて、文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字列の文字数が多い場合に、定型領域を特定するための条件が厳しすぎてしまい定型領域を特定できなくなるといったことを防止できる。

［変形例１－５］
例えば、実施形態では、認識可能文字ごとにスコアが計算される場合を説明したが、定型文字列は予め分かっているので、文字認識部１０３は、文字列領域Ｒに対し、定型文字列に含まれる複数の定型文字の各々に関する文字認識を行い、定型文字ごとに、スコアを計算してもよい。即ち、文字認識部１０３は、定型文字以外の他の文字についてもスコアを計算するのではなく、定型文字だけについて、スコアを計算してもよい。実施形態で説明した「ＳＢ」及び「ＮＢ」であれば、定型文字は、「Ｓ」、「Ｂ」、「Ｎ」の３種類となる。文字認識部１０３は、これら３種類の定型文字についてのみ、スコアを計算してもよい。

変形例１－５の定型領域判定部１０４は、複数の定型文字の各々のスコアの合計値が基準合計値以上であるか否かを判定することによって、文字列領域Ｒが定型領域であるか否かを判定する。基準合計値は、文字列領域Ｒが定型領域であると判定されるための基準となる数である。変形例１－５では、基準合計値が固定値であるものとするが、基準合計値は、後述の変形例１－６及び変形例１－７のように可変値であってもよい。基準合計値は、任意の数であってよい。例えば、基準合計値は、スコアの合計値の最大値の７０％程度の数であってもよい。

定型領域判定部１０４は、スコアの合計値が基準合計値以上であると判定されない場合に、文字列領域Ｒが定型領域であると判定せず、スコアの合計値が基準合計値以上であると判定された場合に、文字列領域Ｒが定型領域であると判定する。例えば、定型文字列「ＳＢ」であれば、定型領域判定部１０４は、１文字目の「Ｓ」のスコアと、２文字目の「Ｂ」のスコアと、の合計値が基準合計値以上であるか否かを判定する。図６の例であれば、文字列領域Ｒ３，Ｒ５等は、合計値は非常に低くなる。文字列領域Ｒ９は、合計値が高くなるので、定型領域と判定する。

変形例１－５の画像処理システム１は、複数の定型文字の各々のスコアの合計値が基準合計値以上であるか否かを判定することによって、文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字列に含まれる定型文字だけをスコアの計算対象にすることができ、多数の認識可能文字のスコアを計算する必要がなくなるので、ユーザ端末１０の処理負荷を軽減し、かつ、定型領域を特定するまでに要する時間を短縮できる。

［変形例１－６］
例えば、変形例１－５の基準合計値は、定型文字の形状に応じた値であってもよい。定型領域判定部１０４は、複数の定型文字の各々の形状に応じた基準合計値に基づいて、文字列領域Ｒが定型領域であるか否かを判定する。例えば、定型文字列が複雑であれば、形状が似た文字が少ないので、他の文字との誤認識が発生しにくいと考えられる。このため、定型領域判定部１０４は、基準合計値が高くなるように基準合計値を設定する。複雑な形状の文字は、そもそも認識されやすいので、基準合計値を高くしても、定型領域が特定されないといったことは発生しないと考えられる。

一方、定型文字列が簡単であれば、形状が似た文字が多いので、他の文字との誤認識が発生しやすいと考えられる。このため、定型領域判定部１０４は、基準合計値が低くなるように基準合計値を設定する。簡単な形状の文字は、誤認識が発生しやすいので、基準合計値を低くすることによって、定型領域を特定しにくくなるといったことを防止できる。定型文字の形状に応じた基準合計値が設定されるといった点で変形例１－５とは異なるが、定型領域を判定する処理自体は、変形例１－５と同様である。

変形例１－６の画像処理システム１は、複数の定型文字の各々の形状に応じた基準合計値に基づいて、文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字の形状に応じた基準合計値を利用することによって、定型領域をより確実に特定できる。例えば、定型文字列が簡単であったとしても、定型領域を特定しにくくなるといったことを防止できる。

［変形例１－７］
例えば、定型領域判定部１０４は、定型文字列に含まれる定型文字の文字数に応じた基準合計値に基づいて、文字列領域Ｒが定型領域であるか否かを判定してもよい。定型領域判定部１０４は、定型文字列に含まれる定型文字の文字数が多いほど、基準合計値が高くなるように、基準合計値を設定する。逆にいえば、定型領域判定部１０４は、定型文字列に含まれる定期文字の文字数が少ないほど、基準合計値が低くなるように、基準合計値を設定する。定型文字の文字数に応じた基準合計値が設定されるといった点で変形例１－５とは異なるが、定型領域を判定する処理自体は、変形例１－５と同様である。

変形例１－７の画像処理システム１は、定型文字列に含まれる定型文字の文字数に応じた基準合計値に基づいて、文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字の文字数に応じた基準合計値を利用することによって、定型領域をより確実に特定できる。

［変形例１－８］
例えば、実施形態で説明したように、複数の認識可能文字には、定型文字列に含まれる複数の定型文字が含まれている。文字認識部１０３は、文字列領域Ｒに対し、複数の定型文字の各々に関する文字認識を行い、定型文字ごとに、スコアを計算してもよい。定型領域判定部１０４は、定型文字ごとに計算されたスコアに基づいて、文字列領域Ｒが定型領域であるか否かを判定してもよい。この場合のスコアの計算は、変形例１－５と同様に、定型文字だけが対象になる。定型領域判定部１０４は、変形例１－５のようなスコアの合計値ではなく、スコアの平均値等の他の指標に基づいて、文字列領域Ｒが定型領域であるか否かを判定してもよい。

変形例１－８の画像処理システム１は、定型文字ごとに計算されたスコアに基づいて、文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字列に含まれる定型文字だけをスコアの計算対象にすることができ、多数の認識可能文字のスコアを計算する必要がなくなるので、ユーザ端末１０の処理負荷を軽減し、かつ、定型領域を特定するまでに要する時間を短縮できる。

［変形例１－９］
例えば、実施形態では、定型文字列の文字数に応じた文字列領域Ｒが検出される場合を説明したが、検出部１０２は、定型文字列に応じたサイズの文字列領域Ｒを検出してもよい。定型領域判定部１０４は、定型文字列に応じたサイズの文字列領域Ｒが定型領域であるか否かを判定してもよい。定型文字列に応じたサイズは、データ記憶部１００に予め定められているものとする。

例えば、実施形態で説明した「ＳＢ」及び「ＮＢ」といった２文字の定型文字列であれば、２文字程度のサイズが定められている。定型領域判定部１０４は、保険証画像Ｉから検出された全ての文字列領域Ｒのうち、定型文字列に応じたサイズとの違いが所定の違い未満となる文字列領域Ｒを、定型領域であるか否かの判定対象とする。サイズが大きく異なる文字列領域Ｒは、判定対象とはならない。

変形例１－９の画像処理システム１は、定型文字列に応じたサイズの文字列領域Ｒが定型領域であるか否かを判定する。これにより、定型文字列と異なるサイズの文字列領域Ｒが判定対象から除外され、不要な処理を実行しないので、ユーザ端末１０の処理負荷を軽減し、かつ、定型領域を特定するまでに要する時間を短縮できる。

［５－２．第２の構成に関する変形例］
図１２は、第２の構成に関する変形例における機能ブロック図である。第２の構成に関する変形例では、実施形態及び変形例１－１～１－９における文字認識部１０３を、第１文字認識部１０３という。第２の構成に関する変形例では、整形部１１１及び第２文字認識部１１２が実現される。整形部１１１及び第２文字認識部１１２は、制御部１１を主として実現される。

［変形例２－１］
例えば、実施形態では、非定型領域に対し、マスキングが実行される場合を説明した。非定型領域には、マスキング以外の他の画像処理が実行されてもよい。変形例２－１では、非定型領域に対し、文字認識が実行される場合を説明する。実施形態のｅＫＹＣでは、非定型文字列は利用されなかったが、変形例２－１のｅＫＹＣでは、非定型文字列が利用される場合を例に挙げる。例えば、保険証Ｃの事業所整理番号及び個人番号がｅＫＹＣで利用される。

変形例２－１の画像処理システム１は、第２文字認識部１１２を含む。第２文字認識部１１２は、非定型領域に対して文字認識を実行する。文字認識自体は、第１文字認識部１０３と同様であってよい。第２文字認識部１１２は、非定型領域に対して文字認識を実行し、非定型領域に含まれる非定型文字列を認識する。例えば、第２文字認識部１１２は、非定型領域に含まれる１文字ごとに、最もスコアが高い認識可能文字を特定する。第２文字認識部１１２は、最もスコアが高い認識可能文字を並べた文字列を、非定型文字列として認識する。

送信部１０７は、サーバ２０に対し、第２文字認識部１１２により認識された非定型文字列を送信する。受信部は、非定型文字列を受信すると、データ記憶部２００に非定型文字列を記録する。非定型文字列は、ｅＫＹＣで利用される。なお、変形例２－１でも、非定型文字列だけではなく、保険証画像Ｉがサーバ２０に送信されてもよい。

変形例２－１の画像処理システム１は、定型領域と所定の位置関係にある非定型領域に対して文字認識を実行する。これにより、非定型領域を確実に特定したうえで、非定型領域に対して文字認識を実行できるので、非定型文字列を確実に認識できる。

［変形例２－２］
例えば、保険証画像Ｉにおける保険証Ｃが曲がっていたり歪んでいたりすると、非定型領域内の個々の文字も曲がっていたり歪んでいたりすることがある。この場合、変形例２－１のように、非定型領域に対して文字認識を実行しようとしても、非定型文字列を正確に認識できない可能性がある。このため、文字認識がしやすい形状になるように、非定型領域を整形することが考えられる。

しかしながら、非定型文字列は、具体的に何であるか事前に分からないことが多いので、非定型領域の形状及びサイズは、不確定であることが多い。一方、定型文字列は、予め分かっているので、定型領域の形状及びサイズは、予め分かっている。そこで、実際に特定された定型領域と、定型領域の見本に関する見本領域と、の違いに応じた変換を、実際に特定された定型領域に対して実行してもよい。

図１３及び図１４は、非定型領域を整形する処理の一例を示す図である。変形例２－２の画像処理システム１は、整形部１１１を含む。図１３の例では、整形部１１１が、定型領域である文字列領域Ｒ９と、見本領域Ｒ１００と、に基づいて、非定型領域である文字列領域Ｒ１０を整形する場合を説明する。見本領域Ｒ１００は、正面から保険証Ｃが撮影された場合の撮影画像において、定型文字列が表れた領域である。

図１３の例では、見本領域Ｒ１００には、定型文字列である「ＳＢ」が示されている。実施形態の例では、文字列領域Ｒ９だけではなく、文字列領域Ｒ１１も定型領域に相当するので、以降、文字列領域Ｒ９，Ｒ１１を区別しない時は、単に定型領域という。文字列領域Ｒ１１に含まれる定型文字列である「ＮＢ」の見本領域も用意される。以降、図１３の見本領域Ｒ１００ではなく、「ＮＢ」の見本領域も包含した説明をする場合には、Ｒ１００の符号を付さずに見本領域を説明する。

変形例２－２では、定型領域及び見本領域は、四角形である場合を説明する。見本領域は、定型領域と同様、任意の形状であってよい。例えば、見本領域は、長方形又は正方形である。定型領域は、長方形又は正方形であってもよいが、保険証画像Ｉにおける保険証Ｃに曲がり又は歪みが発生している場合には、四隅の角度が９０度ではない四角形になることがある。

整形部１１１は、定型領域と見本領域との違いに基づいて、非定型領域を変換するための変換係数を決定する。例えば、整形部１１１は、見本領域の四隅の点Ｐ１１～Ｐ１４の位置関係と、定型領域の四隅の点Ｐ２１～Ｐ２４の位置関係と、の違いに基づいて、変換係数を決定する。整形部１１１は、当該決定された変換係数に基づいて、定型領域の四隅の点Ｐ４１～Ｐ４４を変換することによって、整形後の定型領域の点Ｐ３１～Ｐ３４を取得する。

例えば、整形部１１１は、定型領域の幅と、見本領域の幅と、に基づいて、非定型領域を整形する。整形部１１１は、定型領域の幅と、見本領域の幅と、の違いに基づいて、変換係数を決定する。整形部１１１は、当該決定された変換係数に基づいて、非定型領域を整形する。図１３の例では、縦幅と横幅の両方が利用される場合を説明するが、縦幅又は横幅の何れか一方のみが利用されて整形されてもよい。

例えば、整形部１１１は、見本領域Ｒ１００の幅ｌｅｎ_ｗ１と幅ｌｅｎ_ｈ１とを計算する。幅ｌｅｎ_ｗ１は、点Ｐ１１と点Ｐ１２との距離、又は、点Ｐ１３と点Ｐ１４との距離である。幅ｌｅｎ_ｈ１は、点Ｐ１１と点Ｐ１３との距離、又は、点Ｐ１２と点Ｐ１４との距離である。整形部１１１は、定型領域である文字列領域Ｒ９の幅ｌｅｎ_ｗ２と幅ｌｅｎ_ｈ２とを計算する。幅ｌｅｎ_ｗ２は、点Ｐ２１と点Ｐ２２との距離、又は、点Ｐ２３と点Ｐ２４との距離である。幅ｌｅｎ_ｈ２は、点Ｐ２１と点Ｐ２３との距離、又は、点Ｐ２２と点Ｐ２４との距離である。

図１３のように、整形部１１１は、幅ｌｅｎ_ｗ１と幅ｌｅｎ_ｗ２との比率ρ_ｗを計算する。整形部１１１は、幅ｌｅｎ_ｈ１と幅ｌｅｎ_ｈ２との比率ρ_ｈを計算する。整形部１１１は、非定型領域である文字列領域Ｒ１００の幅ｌｅｎ_ｗ４と幅ｌｅｎ_ｈ４とを計算する。整形部１１１は、比率ρ_ｗに幅ｌｅｎ_ｗ４を乗じた値を、整形後の非定型領域である文字列領域Ｒ１０ｒの横幅ｌｅｎ_ｗ３とする。整形部１１１は、比率ρ_ｈに幅ｌｅｎ_ｈ４を乗じた値を、文字列領域Ｒ１０ｒの縦幅ｌｅｎ_ｈ３とする。

整形部１１１は、文字列領域Ｒ１０ｒの四隅の点Ｐ３１～Ｐ３４と、文字列領域Ｒ１０の四隅の点Ｐ４１～Ｐ４４と、の位置関係に基づいて、変換係数を計算する。この変換係数は、アフィン変換等の変換で利用される計算式によって計算されるようにすればよい。整形部１１１は、文字列領域Ｒ１０を、当該計算された変換係数で変換することによって整形する。整形部１１１は、文字列領域Ｒ１２についても同様の手順で変換係数を計算し、文字列領域Ｒ１２を変換することによって整形する。整形後の文字列領域Ｒ１０ｒ，Ｒ１２ｒは、図１４の通りとなる。図１４の状態になると、各文字列が正面を向くので、文字認識しやすい状態になる。

以上のように、変形例２－２の保険証Ｃは、実施形態と同様に、第１定型文字列「ＳＢ」、第２定型文字列「ＮＢ」、第１非定型文字列「５３８７１２１１０」、及び第２非定型文字列「１２３」を含む。定型領域判定部１０４は、複数の文字列領域Ｒの中に、第１定型文字列を含む第１定型領域と、第２定型文字列を含む第２定型領域と、があるか否かを判定する。この判定方法は、実施形態で説明した通りである。

非定型領域特定部１０５は、第１定型領域及び第２定型領域があると判定された場合に、第１定型領域と所定の位置関係にある文字列領域Ｒを、第１非定型文字列を含む第１非定型領域として特定する。非定型領域特定部１０５は、第２定型領域と所定の位置関係にある文字列領域Ｒを、第２非定型文字列を含む第２非定型領域として特定する。この特定方法も、実施形態で説明した通りである。

整形部１１１は、第１定型領域と、第１定型領域の見本に関する第１見本領域と、に基づいて、第１非定型領域の整形に関する変換係数を決定する。整形部１１１は、当該決定された変換係数に基づいて、第１非定型領域を整形する。整形部１１１は、当該決定された変換係数に基づいて、第２非定型領域も整形する。例えば、整形部１１１は、図１３の点Ｐ３１～点Ｐ３４の位置関係と、点Ｐ４１～点Ｐ４４の位置関係と、に基づいて決定した変換係数を、文字列領域Ｒ１０の整形だけではなく、文字列領域Ｒ１２の整形でも利用する。第２文字認識部１１２は、整形済みの非定型領域に対し、文字認識を実行する。図１４の例であれば、第２文字認識部１１２は、整形後の文字列領域Ｒ１０ｒ，Ｒ１２ｒの各々に対し、文字認識を実行する。

変形例２－２の画像処理システム１は、定型領域と、見本領域と、に基づいて、非定型領域を整形する。これにより、保険証Ｃを所定の状態で撮影した場合の撮影画像に含まれる非定型文字の領域と同様の形状の非定型領域とすることができる。例えば、変形例２－２のように、非定型領域に対して文字認識を実行する場合には、文字認識をしやすい状態の非定型領域になるので、文字認識の精度が高まる。

また、画像処理システム１は、定型領域の幅と、見本領域の幅と、に基づいて、非定型領域を整形する。幅に着目することによって、簡易的な計算によって整形が可能になり、非定型領域の整形の精度も高まる。

また、画像処理システム１は、第１定型領域と、第１定型領域の見本に関する第１見本領域と、に基づいて決定された変換係数に基づいて、第２非定型領域も整形する。これにより、第２非定型領域の変換係数を計算しなくて済むので、ユーザ端末１０の処理負荷を軽減し、かつ、非定型領域を特定するまでに要する時間を短縮できる。

［変形例２－３］
例えば、変形例２－２のように文字列領域Ｒ１０の変換係数を流用するのではなく、文字列領域Ｒ１２についても、変換係数が計算されてもよい。以降、文字列領域Ｒ１０の変換係数を第１変換係数という。文字列領域Ｒ１２の変換係数を第２変換係数という。第２変換係数の計算方法は、文字列領域Ｒ１１が定型領域に相当し、この定型領域の見本画像が利用されるという点で第１変換係数の計算方法とは異なるが、計算方法自体は同様である。このため、第２変換係数も図１３と同様の流れによって計算される。

整形部１１１は、第１定型領域と、第１定型領域の見本に関する第１見本領域と、に基づいて、第１非定型領域の整形に関する第１変換係数を決定し、当該決定された第１変換係数に基づいて、第１非定型領域を整形する。この流れは、変形例２－２で説明した通りである。整形部１１１は、第２定型領域と、第２定型領域の見本に関する第２見本領域と、に基づいて、第２非定型領域の整形に関する第２変換係数を決定し、当該決定された第２変換係数に基づいて、第２非定型領域を整形する。整形部１１１は、図１３と同様の流れに基づいて第２変換係数を決定し、第２非定型領域を整形すればよい。

変形例２－３の画像処理システム１は、第２定型領域と、第２定型領域の見本に関する第２見本領域と、に基づいて、第２非定型領域の整形に関する第２変換係数を決定し、当該決定された第２変換係数に基づいて、第２非定型領域を整形する。これにより、第２非定型領域用の変換係数が利用されるので、第２非定型領域に対する整形の精度が高まる。

［変形例２－４］
例えば、非定型文字列は、何文字程度であるかは事前に分かることがある。このため、非定型文字列としてあまりにも文字数が多い又は少ない文字列領域Ｒについては、非定型領域の判定から除外してもよい。例えば、保険証Ｃの事業所整理番号であれば、５文字～１０文字程度であることが多い。保険証Ｃの個人番号であれば、１文字～５文字程度であることが多い。このため、１０文字よりも多い文字列領域Ｒが検出された場合には、非定型領域である確率が低いので、非定型領域の判定対象にならないようにしてもよい。

非定型領域特定部１０５は、複数の文字列領域Ｒの中から、非定型文字列に応じた文字数の文字列領域Ｒを特定し、当該特定された文字列領域Ｒが定型領域と位置関係にある場合に、非定型領域として特定する。非定型文字列に応じた文字数は、データ記憶部１００に予め記憶されているものとする。非定型領域特定部１０５は、文字列領域Ｒに含まれる文字数が非定型文字列に応じた文字数であるか否かを判定する。非定型領域特定部１０５は、非定型文字列に応じた文字数の文字列領域Ｒを、非定型領域であるか否かの判定対象とする。非定型領域特定部１０５は、非定型文字列に応じた文字数ではない文字列領域Ｒを、非定型領域であるか否かの判定対象から除外する。

変形例２－４の画像処理システム１は、複数の文字列領域Ｒの中から、非定型文字列に応じた文字数の文字列領域Ｒを特定し、当該特定された文字列領域Ｒが定型領域と位置関係にある場合に、非定型領域として特定する。これにより、非定型文字列とは思われない文字列領域Ｒが判定対象から除外され、不要な処理を実行しないので、ユーザ端末１０の処理負荷を軽減し、かつ、非定型領域を特定するまでに要する時間を短縮できる。

［変形例２－５］
例えば、非定型領域特定部１０５は、複数の文字列領域Ｒの中から、非定型文字列に応じたサイズの文字列領域Ｒを特定し、当該特定された文字列領域Ｒが定型領域と位置関係にある場合に、非定型領域として特定してもよい。例えば、変形例２－４で説明したような文字数ではなく、明らかに１０文字よりも多い文字列のサイズである文字列領域Ｒは、非定型領域の判定対象にならないようにしてもよい。

非定型文字列に応じたサイズは、データ記憶部１００に予め記憶されているものとする。非定型領域特定部１０５は、文字列領域Ｒのサイズが非定型文字列に応じたサイズであるか否かを判定する。非定型領域特定部１０５は、非定型文字列に応じたサイズの文字列領域Ｒを、非定型領域であるか否かの判定対象とする。非定型領域特定部１０５は、非定型文字列に応じたサイズではない文字列領域Ｒを、非定型領域であるか否かの判定対象から除外する。

変形例２－５の画像処理システム１は、非定型領域特定部１０５は、複数の文字列領域Ｒの中から、非定型文字列に応じたサイズの文字列領域Ｒを特定し、当該特定された文字列領域Ｒが定型領域と位置関係にある場合に、非定型領域として特定する。これにより、非定型文字列と異なるサイズの文字列領域Ｒが判定対象から除外され、不要な処理を実行しないので、ユーザ端末１０の処理負荷を軽減し、かつ、非定型領域を特定するまでに要する時間を短縮できる。

［５－３．その他変形例］
例えば、上記変形例を組み合わせてもよい。

例えば、画像処理システム１は、第２の構成を有さずに、第１の構成を有してもよい。この場合、画像処理システム１は、非定型領域を特定せずに、定型領域を特定する。定型領域は、種々の目的で利用可能である。例えば、画像処理システム１は、保険証画像Ｉに保険証Ｃが示されているか否かを判定するために、定型領域を利用してもよい。この場合、非定型領域は特定されずに、保険証Ｃに印刷された定型文字列領域に対応する定型領域が特定された場合に、保険証画像Ｉに保険証Ｃが示されていると判定されてもよい。他にも例えば、画像処理システム１は、保険証画像Ｉにおける保険証Ｃが曲がったり歪んだりしている場合に、定型領域に基づいて、保険証画像Ｉを整形してもよい。この場合、画像処理システム１は、複数の定型領域の位置関係が所定の位置関係になるように、保険証画像Ｉを整形する。

例えば、画像処理システム１は、第１の構成を有さずに、第２の構成を有してもよい。この場合、画像処理システム１は、第１の構成とは異なる他の方法で定型領域を特定し、当該特定された定型領域に基づいて、非定型領域を特定する。他の方法としては、任意の方法を利用可能であり、例えば、テンプレート画像を利用した方法、文字認識を利用した方法、又は機械学習モデルを利用した方法であってもよい。この場合、画像処理システム１は、第１の構成を有しなくても、定型領域を特定できる。このため、画像処理システムは、第１の構成及び第２の構成の両方を含む必要はなく、第１の構成だけを含んでもよいし、第２の構成だけを含んでもよい。

例えば、実施形態では、ユーザ端末１０で主な処理が実行される場合を説明したが、ユーザ端末１０で実行されるものとして説明した処理は、サーバ２０で実行されてもよい。即ち、サーバ２０が第１の構成及び第２の構成を有してもよい。例えば、ユーザ端末１０が第１の構成を有し、サーバ２０が第２の構成を有するといったように、ユーザ端末１０とサーバ２０とで処理が分担されてもよい。逆に、ユーザ端末１０が第２の構成を有し、サーバ２０が第１の構成を有するといったように、ユーザ端末１０とサーバ２０とで処理が分担されてもよい。処理が分担される場合には、ユーザ端末１０とサーバ２０との間で、保険証画像Ｉ等のデータが適宜送信されるようにすればよい。

Claims (16)

1. 定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部と、
   前記複数の文字列領域の各々に対して文字認識を行う文字認識部と、
   前記文字認識部による認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む四角形の定型領域があるか否かを判定する定型領域判定部と、
   前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定部と、
   を含み、
   前記非定型領域特定部は、前記定型領域の互いに対向する２本の辺を所定の方向に所定の距離だけ伸ばした２本の線上又はその付近に前記文字列領域がある場合に、当該文字列領域が前記定型領域と前記位置関係にあると判定する、
   画像処理システム。
2. 定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部と、
   前記複数の文字列領域の各々に対して文字認識を行う文字認識部と、
   前記文字認識部による認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む定型領域があるか否かを判定する定型領域判定部と、
   前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定部と、
   を含み、
   前記非定型領域特定部は、
   前記複数の文字列領域のうち、前記定型領域と所定の第１位置関係にある前記文字列領域が１つしか存在しない場合には、当該文字列領域を前記非定型領域とみなし、
   前記定型領域と前記第１位置関係にある前記文字列領域が複数存在する場合には、当該複数の文字列領域のうち、前記定型領域と第２位置関係にある前記文字列領域を、前記非定型領域とみなす、
   画像処理システム。
3. 定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部と、
   前記複数の文字列領域の各々に対して文字認識を行う文字認識部と、
   前記文字認識部による認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む定型領域があるか否かを判定する定型領域判定部と、
   前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定部と、
   前記定型領域と、前記定型領域の見本に関する見本領域と、に基づいて、前記非定型領域を整形する整形部と、
   を含む画像処理システム。
4. 定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部と、
   前記複数の文字列領域の各々に対して文字認識を行う文字認識部と、
   前記文字認識部による認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む定型領域があるか否かを判定する定型領域判定部と、
   前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定部と、
   を含み、
   前記非定型領域特定部は、
   前記複数の文字列領域の中から、前記非定型文字列に応じた文字数の前記文字列領域を特定し、
   当該特定された文字列領域が前記定型領域と前記位置関係にある場合に、当該特定された文字列領域を前記非定型領域とみなす、
   画像処理システム。
5. 定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部と、
   前記複数の文字列領域の各々に対して文字認識を行う文字認識部と、
   前記文字認識部による認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む定型領域があるか否かを判定する定型領域判定部と、
   前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定部と、
   を含み、
   前記非定型領域特定部は、
   前記複数の文字列領域の中から、前記非定型文字列に応じたサイズとしてデータ記憶部に予め記憶されたサイズの前記文字列領域を特定し、
   当該特定された文字列領域が前記定型領域と前記位置関係にある場合に、当該特定された文字列領域を前記非定型領域とみなす、
   画像処理システム。
6. 定型文字列及び非定型文字列を含む対象物であって、複数の前記非定型文字列が含まれている前記対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部と、
   前記複数の文字列領域の各々に対して文字認識を行う文字認識部と、
   前記文字認識部による認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む定型領域があるか否かを判定する定型領域判定部と、
   前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定部と、
   前記複数の非定型文字列の中に、前記非定型領域とみなす前記文字列領域が特定されなかった前記非定型文字列が存在する場合には、前記対象物画像に前記対象物が含まれていないと判定する対象物判定部と、
   を含む画像処理システム。
7. 前記非定型領域特定部は、前記線上又はその付近に複数の前記文字列領域がある場合に、当該複数の文字列領域のうち、前記定型領域から最も近い前記文字列領域を、前記非定型領域とみなす、
   請求項１に記載の画像処理システム。
8. 前記非定型領域特定部は、前記定型領域と前記第１位置関係にある前記文字列領域が複数存在する場合に、当該複数の文字列領域のうち、前記定型領域に最も近い前記文字列領域を、前記定型領域と前記第２位置関係にある前記文字列領域として特定する、
   請求項２に記載の画像処理システム。
9. 前記定型領域及び前記見本領域は、四角形であり、
   前記整形部は、前記定型領域の幅と、前記見本領域の幅と、に基づいて、前記非定型領域を整形する、
   請求項３に記載の画像処理システム。
10. 前記対象物は、第１定型文字列、第２定型文字列、第１非定型文字列、及び第２非定型文字列を含み、
    前記定型領域判定部は、前記複数の文字列領域の中に、前記第１定型文字列を含む第１定型領域と、前記第２定型文字列を含む第２定型領域と、があるか否かを判定し、
    前記非定型領域特定部は、
    前記第１定型領域及び前記第２定型領域があると判定された場合に、前記第１定型領域と所定の位置関係にある前記文字列領域を、前記第１非定型文字列を含む第１非定型領域とみなし、
    前記第２定型領域と所定の位置関係にある前記文字列領域を、前記第２非定型文字列を含む第２非定型領域とみなし、
    前記整形部は、
    前記第１定型領域と、前記第１定型領域の見本に関する第１見本領域と、に基づいて、前記第１非定型領域の整形に関する変換係数を決定し、
    当該決定された変換係数に基づいて、前記第１非定型領域を整形し、
    当該決定された変換係数に基づいて、前記第２非定型領域も整形する、
    請求項３又は９に記載の画像処理システム。
11. 前記対象物は、第１定型文字列、第２定型文字列、第１非定型文字列、及び第２非定型文字列を含み、
    前記定型領域判定部は、前記複数の文字列領域の中に、前記第１定型文字列を含む第１定型領域と、前記第２定型文字列を含む第２定型領域と、があるか否かを判定し、
    前記非定型領域特定部は、
    前記第１定型領域及び前記第２定型領域があると判定された場合に、前記第１定型領域と所定の位置関係にある前記文字列領域を、前記第１非定型文字列を含む第１非定型領域とみなし、
    前記第２定型領域と所定の位置関係にある前記文字列領域を、前記第２非定型文字列を含む第２非定型領域とみなし、
    前記整形部は、
    前記第１定型領域と、前記第１定型領域の見本に関する第１見本領域と、に基づいて、前記第１非定型領域の整形に関する第１変換係数を決定し、
    当該決定された第１変換係数に基づいて、前記第１非定型領域を整形し、
    前記第２定型領域と、前記第２定型領域の見本に関する第２見本領域と、に基づいて、前記第２非定型領域の整形に関する第２変換係数を決定し、
    当該決定された第２変換係数に基づいて、前記第２非定型領域を整形する、
    請求項３又は９に記載の画像処理システム。
12. 前記画像処理システムは、前記非定型領域に対してマスキングを実行するマスキング実行部を更に含む、
    請求項１～１１の何れかに記載の画像処理システム。
13. 前記画像処理システムは、前記非定型領域に対して文字認識を実行する文字認識部を更に含む、
    請求項１～１２に記載の画像処理システム。
14. 前記対象物は、本人確認書類であり、
    前記定型文字列及び前記非定型文字列は、本人確認のために必要な情報に関する文字列であり、
    前記対象物画像は、前記本人確認書類が撮影されることによって生成された画像である、
    請求項１～１３の何れかに記載の画像処理システム。
15. 定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出ステップと、
    前記複数の文字列領域の各々に対して文字認識を行う文字認識ステップと、
    前記文字認識ステップによる認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む四角形の定型領域があるか否かを判定する定型領域判定ステップと、
    前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定ステップと、
    を含み、
    前記非定型領域特定ステップは、前記定型領域の互いに対向する２本の辺を所定の方向に所定の距離だけ伸ばした２本の線上又はその付近に前記文字列領域がある場合に、当該文字列領域が前記定型領域と前記位置関係にあると判定する、
    画像処理方法。
16. 定型文字列及び非定型文字列を含む対象物に関する対象物画像から、任意の文字列を含む複数の文字列領域を検出する検出部、
    前記複数の文字列領域の各々に対して文字認識を行う文字認識部、
    前記文字認識部による認識結果に基づいて、前記複数の文字列領域の中に、前記定型文字列を含む四角形の定型領域があるか否かを判定する定型領域判定部、
    前記定型領域があると判定された場合に、前記定型領域と、前記対象物における前記定型文字列及び前記非定型文字列の実際の位置関係に応じて定められた所定の位置関係にある前記文字列領域を、前記非定型文字列を含む非定型領域とみなす前記文字列領域として特定する非定型領域特定部、
    としてコンピュータを機能させ、
    前記非定型領域特定部は、前記定型領域の互いに対向する２本の辺を所定の方向に所定の距離だけ伸ばした２本の線上又はその付近に前記文字列領域がある場合に、当該文字列領域が前記定型領域と前記位置関係にあると判定する、
    プログラム。

Images