JP6882362B2

JP6882362B2 - 身元確認書類を含む画像を識別するシステムおよび方法

Info

Publication number: JP6882362B2
Application number: JP2019076627A
Authority: JP
Inventors: ヴィー．シャロフアレクサンダー; エス．ドロゴイドミトリー; エー．チェレシェンコイリヤ
Original assignee: Kaspersky Lab AO
Current assignee: Kaspersky Lab AO
Priority date: 2018-03-30
Filing date: 2019-04-12
Publication date: 2021-06-02
Anticipated expiration: 2039-04-12
Also published as: RU2715515C2; EP3547209A1; RU2018111484A3; CN110321881B; US10867170B2; CN110321881A; US20190303665A1; JP2020057348A; RU2018111484A

Description

本開示は、情報の損失を防止する分野に関し、より詳細には、画像内に個人情報を含む書類を識別するシステムおよび方法に関する。

データ送信チャネルを介して送信される情報量は絶えず増加している。この増加の理由の１つは、写真などの様々な画像を含む画像形式ファイルの寸法（すなわちピクセル数）の増加であり得る。寸法の増加は、容量を増大させ画像の品質を改善したいという願望から生じている。

画像品質の向上により、画像内のオブジェクトの詳細度を高めることができる。詳細度が高くなると、犯罪者が犯罪目的のために利用する可能性もある。たとえば、パスポートのページまたは運転免許証などの他人の個人データを含むオブジェクトが、誤って写真または記録映像のフレームに入り込む可能性がある。オブジェクトの詳細度が高いと、撮像された個人データを含む書類を読み取ることが可能になり、犯罪者に使用される可能性がある。

現在、身元認識を目的として書類の写真またはスキャン画像を分析するための解決策が多く存在する。しかしながら、個人情報が画像内に存在するか否かが正確に分かっていない画像を分析する場合、既知の解決策では役に立たないことが多い。本開示の態様は、この問題を効果的に解決することを可能にする。

本開示の態様は、情報の損失を防止する分野、より詳細には、個人識別書類を含む画像を識別するシステムおよび方法に関する。本開示の技術的結果は、画像送信時に身元確認書類の個人データが使用されないよう防止することにある。当該技術的結果は、身元確認書類を含む画像を識別することによって達成される。

例示的な一態様では、個人識別書類を含む画像を識別する方法を提供する。当該方法は、ハードウェアプロセッサにより、任意の順序で画像ストリームから画像を選択することによって第１の画像群を取得するステップと、第１の画像群に対して第１の画像処理アルゴリズム群を実行することによって書類を含む第１の画像群内の画像を特定するステップと、書類を含まない画像を第１の画像群から除外することによって第２の画像群を生成するステップと、身元確認書類の基本構成要素を含む領域を検索する第２の画像処理アルゴリズム群の符号のカスケードを使用することにより、第２の画像群内の身元確認書類の基本構成要素を含む画像を特定するステップと、ハードウェアプロセッサにより、身元確認書類の基本構成要素を含まない画像を第２の画像群から除外することによって第３の画像群を生成するステップと、ハードウェアプロセッサにより、生成された第３の画像群から、判定規則に基づいて少なくとも１つの身元確認書類を含む少なくとも１つの画像を識別するステップとを含む。

当該方法の別の例示的な態様では、書類を含まない画像は、通常の書類に共通する書類の構成要素を含まない画像として識別される。

当該方法のさらに別の例示的な態様では、書類の構成要素は、書類の背景および書類のテキストのうちの１つまたは複数を備え、構造的書類の検出は、文字またはデータが入っていない書類の背景を含む画像内の小領域の検出を含む。

当該方法の別の例示的な態様では、通常の書類に共通する書類の構成要素は、明るい色の色相の背景、暗い色のテキストのうちの少なくとも１つである。

当該方法のさらに別の例示的な態様では、身元確認書類の構成要素は、顔画像、国または地域の旗、官庁の印章、身元確認書類の項目名を含むテキストのうちの少なくとも１つである。

当該方法のさらに別の例示的な態様では、個人データを含む書類が識別される。

当該方法のさらに別の例示的な態様では、個人データは、特定されたまたは特定可能な実在の人物に直接的または間接的に関連する情報を含む。

当該方法のさらに別の例示的な態様では、書類を含まない画像の識別は、コンピュータビジョンに基づくオブジェクト検索アルゴリズムの実行を含む。

当該方法のさらに別の例示的な態様では、オブジェクト検索アルゴリズムは、OpenCVアルゴリズムおよびLocal Binary Patternアルゴリズムのうちの１つを含む。

本開示の一態様では、任意の順序で画像ストリームから画像を選択することによって第１の画像群を取得することと、第１の画像群に対して第１の画像処理アルゴリズム群を実行することによって書類を含む第１の画像群内の画像を特定することと、書類を含まない画像を第１の画像群から除外することによって第２の画像群を生成することと、身元確認書類の基本構成要素を含む領域を検索する第２の画像処理アルゴリズム群の符号のカスケードを使用することにより、第２の画像群内の身元確認書類の基本構成要素を含む画像を特定することと、身元確認書類の基本構成要素を含まない画像を第２の画像群から除外することによって第３の画像群を生成することと、生成された第３の画像群から、判定規則に基づいて少なくとも１つの身元確認書類を含む少なくとも１つの画像を識別することとを行うように構成されたハードウェアプロセッサを備える、個人識別書類を含む画像を識別するためのシステムが提供される。

例示的な一態様では、個人識別書類を含む画像を識別するための命令を記憶する非一時的コンピュータ可読媒体を提供する。当該命令は、任意の順序で画像ストリームから画像を選択することによって第１の画像群を取得することと、第１の画像群に対して第１の画像処理アルゴリズム群を実行することによって書類を含む第１の画像群内の画像を特定することと、書類を含まない画像を第１の画像群から除外することによって第２の画像群を生成することと、身元確認書類の基本構成要素を含む領域を検索する第２の画像処理アルゴリズム群の符号のカスケードを使用することにより、第２の画像群内の身元確認書類の基本構成要素を含む画像を特定することと、身元確認書類の基本構成要素を含まない画像を第２の画像群から除外することによって第３の画像群を生成することと、生成された第３の画像群から、判定規則に基づいて少なくとも１つの身元確認書類を含む少なくとも１つの画像を識別することとを含む。

上記の例示的な態様の簡略化された概要は、本開示の基本的な理解を提供するものである。この概要は、考えられるすべての態様の包括的な概要ではなく、すべての態様の重要または重大な要素を識別することも、本開示のいずれかまたはすべての態様の範囲を画することも意図していない。その唯一の目的は、以下の本開示のより詳細な説明の前置きとして、１つまたは複数の態様を簡略化された形で提示することである。上記を達成するために、本開示の１つまたは複数の態様は、特許請求の範囲で記載され例示的に提示された特徴を含む。

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の１つまたは複数の例示的な態様を示し、詳細な説明とともに、それらの原理および実装形態を説明するものである。

図１は、身元確認書類の画像の例を示す図である。図２は、本開示の例示的な態様による、身元確認書類を含む画像を識別するシステムを示す図である。図３は、本開示の例示的な態様による、身元確認書類を含む画像のシステムの動作アルゴリズムを示す図である。図４は、本開示の例示的な態様による、汎用コンピュータシステム、パーソナルコンピュータ、またはサーバの一例を表す図である。

例示的な態様は、個人識別書類を含む画像を識別するためのシステム、方法、およびコンピュータプログラム製品の文脈で本明細書に記載される。当業者は、以下の説明が例示的なものにすぎず、決して限定的なものではないことを理解するであろう。他の態様は、本開示の利益を受ける当業者が容易に想起できるであろう。添付の図面に示されたような例示的な態様の実装形態について以下で詳細に参照する。同じまたは同様の要素を指すために、図面および以下の説明全体を通して可能な限り、同じ参照符号を使用する。

一般的な例では、書類は、情報が識別できることを前提として、テキスト、音声記録、画像、および（または）これらの組合せとして任意の所与の形式で登録された物理媒体であり、公共の利用および保管を目的として時間的および空間的に伝達するものである。

身元確認書類は、その書類の所持者の身元の検証を可能にし、個人データを含む特別な種類の書類である（http://enacademic.com/dic.nsf/enwiki/211576）。身元を検証する書類のリストは公開されており更新可能である。

個人データは、特定されたまたは特定可能な実在の人物（個人データの対象者）に直接的または間接的に関連する任意の情報である（連邦法27.07.2006N152-FZ（バージョン22.02.2017）「個人データについて」）。

画像は、グラフィカルファイルフォーマットで記憶された、２次元座標系におけるピクセルの集合のデジタル数値表現を指す。図１は、身元確認書類、特にパスポート１１０、運転免許証１２０、または軍用ＩＤ１３０の画像の例を示す図である。

ユーザの識別、認証、および行動確認のために画像を使用する組織が多く存在する。個人データに不正アクセスする危険性が生じる状況の一例として、身元確認書類との「自撮り」写真がある。この状況では、所持者は、写真に写っている身元確認書類の正当性を確認するために、自分の顔を見せる。たとえば、スマートフォンを使用してその伝送を傍受することによってこの写真にアクセスした犯罪者は、他人の個人データに不正アクセスし、所有者の知らないうちに犯罪目的のためにこれを使用することができる。このような状況が生じることを防止するために、本開示に記載されている方法およびシステムを使用して身元確認書類を含む画像を識別する必要がある。

図２は、身元確認書類を含む画像を識別するためのシステム２００を示す図である。身元確認書類を含む画像２１０を識別するためのシステムは、高速処理モジュール２２０、低速処理モジュール２３０、検証モジュール２４０、および規則のデータベース２５０を備える。

本開示の一態様によれば、高速処理モジュール２２０は、第２の画像群を生成するために、第１の画像群２１０を取得することができる。高速処理モジュール２２０は、所定の処理速度よりも速く画像を処理することができるアルゴリズムを実行し、書類を含まない画像を第１の画像群から除外する。その後、高速処理モジュール２２０は、生成された第２の画像群を低速処理モジュール２３０に転送する。

画像ストリームは、ネットワークによって送信されているか、またはユーザが使用しているコンピュータシステムのメモリに記憶されている一連の画像である。第１の画像群２１０は、任意の順序で画像ストリームから画像を選び出し、それらから第１の画像群を生成することにより、高速処理モジュール２２０によって取得されてもよい。

本開示の一態様によれば、第２の画像群は、書類を含まない画像を第１の画像群から除外することにより、高速処理モジュール２２０によって生成されてもよい。

本開示では、１つまたは複数の書類を含まない画像は、一態様では、（明るい色の色相の背景、または特殊な書類の背景などの）書類の背景および（通常、黒色または青色の）書類のテキストなどの、一般的な書類に共通する書類の構成要素を含まない画像であると見なす。このような書類の構成要素があるかチェックして、書類が画像内で確認できるかどうかを判定するために、画像処理アルゴリズムおよびライブラリが使用される。

書類の背景などの構成要素の存在は、文字またはデータを含まず、書類の背景であることが確認できる特定の色または色合いを含む画像の小領域１４０を検出することによって確認されてもよい。書類の背景を含む画像の小領域１４０は、検索対象として使用されてもよく、オープンコードOpenCV（http://opencv．org/）によるコンピュータビジョンライブラリに基づくアルゴリズムなどの、オブジェクト検索アルゴリズムを使用することによって画像内で検出されてもよい。Local Binary Patternアルゴリズム（LBP、http://media.cs.tsinghua.edu.cn/~ahz/papers/ICB07_demographic.pdf）は、処理が十分に速く、学習させた後は、大量の画像を選り分けて、探索対象オブジェクトを含まない画像を破棄することができる。

書類のテキストなどの構成要素の存在は、テキストを含む画像領域１５０を検出することによって確認してもよい。テキストを含む画像領域１５０は、ストローク幅変換（http://www.math.tau.ac.il/~turkel/imagepapers/text_detection.pdf）などのテキスト領域検索アルゴリズムを使用して検出してもよい。テキストを含む画像領域１５０は、書類の背景を含む画像領域１４０のすぐ近くにあるはずである。したがって、分析対象の画像全体にわたってテキスト領域を検索するためにアルゴリズムを利用する必要はない。

したがって、風景、動物などの写真を含む画像は、第１の画像群から除外される。次いで、高速処理モジュール２２０は、低速処理モジュール２３０に第２の画像群を送信し、第２の画像群は、除外された画像を除く第１の画像群のすべての画像を含む。

低速処理モジュール２３０は、身元確認書類の基本構成要素を含まない画像を第２の画像群から除外することによって第３の画像群を生成するように設計されている。第３の画像群は、次いで検証モジュール２４０に送信される。認識される必要があるオブジェクト（たとえば、身元確認書類の構成要素）は、高速処理モジュール２２０によって識別される単純な背景およびテキストよりも複雑であるため、オブジェクト認識アルゴリズムは、高速処理モジュール２２０が使用するアルゴリズムよりも速度が遅い。前段階の高速処理では、高速処理モジュール２２０はシングルトーンの画像領域およびテキストを検索したが、この段階では、低速処理モジュール２３０は、いわゆる「高速アルゴリズム」では認識できない、顔、印章、紋章、旗などを認識する。

身元確認書類の基本構成要素は、表示される要素であり、主な身元確認書類の特徴である。情報書類の基本構成要素は、所与のフォーマットの顔画像、書類が発行された場所である国または地域の旗、特定のタイプの書類の特徴である慣習的シンボル、官庁の印章、特殊な種類または特殊なフォントの書類の特定の項目名を含むテキストなどであってもよい。

身元確認書類の基本構成要素を含まない画像は、一態様によれば、身元確認書類の基本構成要素を含む画像領域１６０を検索するよう学習させた低速画像処理アルゴリズムの特徴のカスケード（あるいは符号と呼ばれる）を使用して識別され除外される。

本開示の一態様によれば、画像の特徴は、その画像の最も基本的な際立った特徴または属性である。いくつかの特徴は、画像の視覚的分析によって確立されるという意味で自然な特徴であり、いわゆる人工的な特徴であるその他の特徴は、画像の特殊な処理または測定によって取得される。自然な特徴には、画像の様々な領域の輝度および質感、オブジェクトの輪郭の形状などが含まれる。（Pratt U. Digital image processing, translated from the English, M:Mir、１９８２年第２巻４８０ページ、http://sernam.ru/book_prett2.php）。

指向性勾配ヒストグラム（Histogram of Oriented Gradient; HOG）のアルゴリズム（http://www.learnopencv.com/histogram-of-oriented-gradients/）に基づいて構築された、Viola-Jonesアルゴリズムのオンラインアルゴリズム（Haar特徴、http://docs.opencv.org/trunk/d7/d8b/tutorial_py_face_detection.html）としてQ-foundに基づいて構築されたデジタル画像の特徴など、必要な画像を検索するために使用され得る特徴が複数存在する。

したがって、身元確認書類ではない書類を含む画像は、第２の画像群から除外される。これらの書類には、手書きの手紙、印刷されたテキスト書類、本のページなどの写真が含まれ得る。次いで、低速処理モジュール２３０は、生成された第３の画像群を検証モジュール２４０に送信する。

本開示の一態様によれば、検証モジュール２４０は、判定規則に基づいて、生成された第３の画像群から身元確認書類を含む画像を識別することができる。

一態様によれば、身元確認書類を含む画像は、「超」低速画像処理アルゴリズム、ニューラルネット、および判定規則を使用して識別される。これらのアルゴリズムが「超」低速と見なされる理由は、当該アルゴリズムが、１つまたは複数の複合オブジェクト、相対的位置および互いに相対的な回転を検出または認識するために使用され、単純なオブジェクト、形状、およびテキストを処理する他のアルゴリズムよりも画像処理時間が長くなり得るためである。

一態様では、判定規則は一連の条件を含み、画像がこの条件を満たした場合、第３の画像群の画像が身元確認書類を含むか、または身元確認書類であると見なす。第３の画像群の各画像は、所定のしきい値（たとえば、７０％）よりも高い確率で、背景を含む画像領域１４０、テキストを含む画像領域１５０、および身元確認書類の基本構成要素を含む画像の少なくとも１つの領域１６０を含み得る。一般的な場合、身元確認書類を含む画像を識別するためには、国に関係なく書類のタイプに応じて構築された判定規則で十分であろう。たとえば、パスポートタイプの身元確認書類を識別するための判定規則の一例は、所定の色の明るい色合いの書類の背景があること、「性別」項目を判別するテキストがあること、当該身元確認書類を発行した国の旗またはシンボルの形式による基本要素があること、当該身元確認書類の所有者の顔写真があること、などの一連の条件であってもよい。

異なる地域で発行された特定のタイプの身元確認書類は、顔写真などの共通する基本構成要素と、国旗、透かし模様、またはグラフィックシンボルなどの発行地域特有の異なる基本構成要素との両方を有し得る。このような場合、判定規則は、身元確認書類のタイプ別に個別に作成されてもよい。たとえば、運転免許証の判定規則に、旗の表示を義務として追加してもよい。

米国市民のパスポートの判定規則の一例は、薄青色の色相の書類の背景があること、黒色の文字「パスポート番号」があること、縁に透かしのＵＳＡがあること、および、所有者の顔写真があること、という一連の条件でもよい。この例では、この一連の条件が満たされた場合、分析された画像は米国市民のパスポート、すなわち身元確認書類であると判断される。

身元確認書類の別の判定規則は、薄紫色の色相に移行する薄青色の色相の背景があること、青色の文字「ｃｅａｄｕｎａｓｔｉｏｍａｎａ」があること、当該書類の所有者の顔写真があること、内側に白色の「ＩＲＬ」の刻印がある欧州連合の旗があること、という条件を満たさなければならないという必要性を含んでもよい。

判定規則は、特定のタイプの身元確認書類を含む画像を分析することによって作成される。たとえば、千件もの書類を分析すれば、画像の、（所有者に関するデータを含む）共通する領域と、（姓などの書類項目を含む）一定である領域を識別することができる。ロシア連邦の軍用ＩＤの画像の一定である領域を分析すれば、明るいオレンジ色のスペクトルの背景があること、黒い色合いの文字「軍事委員会によって発行された」があること、特殊な枠の中のオレンジ色の星形の透かしがあること、という一連の条件を作成することができる。これらの条件が満たされた場合、分析された画像はロシア連邦の軍用ＩＤ、すなわち身元確認書類として認識される。

同様に、たとえば色や鮮鋭性の欠如、輝度の低下など、低画質の条件下で処理するケースのために、判定規則を作成してもよい。

規則のデータベース２５０は、判定規則を記憶するように設計されている。様々な種類のデータベース、すなわち、階層型データベース（IMS、TDMS、System2000）、ネットワーク型データベース（Cerebrum、Cronospro、DBVist）、リレーショナルデータベース（DB2、Informix、Microsoft SQL Server）、オブジェクト指向データベース（Jasmine、Versant、POET）、オブジェクトリレーショナルデータベース（Oracle Database、PostgreSQL、FirstSQL/J）、機能データベースなどが、規則のデータベース２５０として使用されてもよい。

図３は、身元確認書類を含む画像を識別するためのシステム処理用のアルゴリズムを示す図である。ステップ３１０では、高速処理モジュール２２０が第１の画像群２１０を取得する。ステップ３１１では、高速処理モジュール２２０が、書類を含まない画像を第１の画像群から除外することによって第２の画像群を生成し、生成された第２の画像群を低速処理モジュール２３０に送信する。ステップ３１２では、低速処理モジュール２３０が、身元確認書類の基本構成要素を含まない画像を第２の画像群から除外することによって第３の画像群を生成し、生成された第３の画像群を検証モジュール２４０に送信する。ステップ３１３では、検証モジュール２４０が、判定規則２５０に基づいて、生成された第３の画像群から身元確認書類を含む画像を識別する。

図４は、本開示の態様が例示的な態様に従って実施され得る汎用コンピュータシステム２０を示すブロック図である。コンピュータシステム２０は、システム１００、および／またはその個々の構成要素に対応し得ることに留意されたい。

図示されるように、（パーソナルコンピュータまたはサーバであってもよい）コンピュータシステム２０は、中央処理装置２１、システムメモリ２２、および中央処理装置２１に関連付けられたメモリを含む様々なシステム構成要素を接続するシステムバス２３を含む。当業者なら諒解されるように、システムバス２３は、バスメモリまたはバスメモリコントローラ、周辺バス、および任意の他のバスアーキテクチャと相互作用することができるローカルバスを備えてもよい。システムメモリは、永久メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５を含んでもよい。基本入出力システム（ＢＩＯＳ）２６は、ＲＯＭ２４を使用してオペレーティングシステムをロードするときの手順などの、コンピュータシステム２０の要素間で情報を転送するための基本手順を記憶することができる。

コンピュータシステム２０はまた、データを読み書きするためのハードディスク２７、リムーバブル磁気ディスク２９上で読み書きするための磁気ディスクドライブ２８、ならびにＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、およびその他の光学媒体などのリムーバブル光ディスク３１を読み書きするための光学ドライブ３０を備えてもよい。ハードディスク２７、磁気ディスクドライブ２８、および光学ドライブ３０は、それぞれ、ハードディスクインターフェース３２、磁気ディスクインターフェース３３、および光学ドライブインターフェース３４を介してシステムバス２３に接続されている。ドライブおよび対応するコンピュータ情報媒体は、コンピュータシステム２０のコンピュータ命令、データ構造、プログラムモジュール、およびその他のデータを記憶するための独立電源モジュールである。

例示的な態様は、コントローラ５５を介してシステムバス２３に接続されるハードディスク２７、リムーバブル磁気ディスク２９、およびリムーバブル光ディスク３１を使用するシステムを備える。コンピュータによって読取り可能な形式でデータを記憶することができる任意のタイプの媒体５６（ソリッド・ステート・ドライブ、フラッシュメモリカード、デジタルディスク、ランダムアクセスメモリ（ＲＡＭ）など）も利用され得ることが当業者なら理解されよう。

コンピュータシステム２０は、オペレーティングシステム３５が格納され得るファイルシステム３６、ならびに追加のプログラムアプリケーション３７、その他のプログラムモジュール３８、およびプログラムデータ３９を含む。コンピュータシステム２０のユーザは、キーボード４０、マウス４２、または限定はしないが、マイクロフォン、ジョイスティック、ゲームコントローラ、スキャナなどの当業者に知られている任意の他の入力デバイスを使用して、コマンドおよび情報を入力することができる。このような入力デバイスは、通常、シリアルポート４６を介してコンピュータシステム２０に差し込まれ、シリアルポート４６はシステムバスに接続されているが、入力デバイスが、限定なしで、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他の方法を介して接続されてもよいことを当業者なら諒解されよう。モニタ４７またはその他のタイプの表示デバイスも、ビデオアダプタ４８などのインターフェースを介してシステムバス２３に接続されてもよい。パーソナルコンピュータは、モニタ４７に加え、ラウドスピーカ、プリンタなどの他の周辺出力デバイス（図示せず）を備えていてもよい。

コンピュータシステム２０は、１つまたは複数のリモートコンピュータ４９へのネットワーク接続を使用して、ネットワーク環境で動作することができる。１台（または複数）のリモートコンピュータ４９は、前述のコンピュータシステム２０の特質の説明に記載した要素の大部分またはすべてを備えるローカルコンピュータワークステーションまたはサーバであってもよい。限定はしないが、ルータ、ネットワークステーション、ピアデバイス、またはその他のネットワークノードなどの他のデバイスも、コンピュータネットワーク内に存在し得る。

ネットワーク接続は、ローカルエリアコンピュータネットワーク（ＬＡＮ）５０およびワイドエリアコンピュータネットワーク（ＷＡＮ）を構成することができる。このようなネットワークは、企業のコンピュータネットワークおよび社内ネットワークで使用され、当該ネットワークは一般にインターネットにアクセスできる。パーソナルコンピュータ２０は、ＬＡＮまたはＷＡＮのネットワークでは、ネットワークアダプタまたはネットワークインターフェース５１を介してローカルエリアネットワーク５０に接続されている。ネットワークが使用された場合、コンピュータシステム２０は、インターネットなどのワイドエリアコンピュータネットワークとの通信を可能にする、モデム５４または当業者によく知られたその他のモジュールを利用することができる。モデム５４は、内部デバイスであっても外部デバイスであってもよく、シリアルポート４６によってシステムバス２３に接続されていてもよい。当該ネットワーク接続は、通信モジュールを使用して１つのコンピュータを別のコンピュータに接続させる多くの周知の方法の非限定的な例であることを、当業者なら諒解されよう。

様々な態様では、本明細書に記載されたシステムおよび方法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装されてもよい。ソフトウェアに実装される場合、当該方法は、非一時的コンピュータ可読媒体上の１つまたは複数の命令またはコードとして記憶されてもよい。コンピュータ可読媒体はデータストレージを含む。限定ではなく例として、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、フラッシュメモリ、またはその他のタイプの電気的、磁気的、もしくは光学的な記憶媒体、あるいは命令またはデータ構造の形式で所望のプログラムコードを搬送または記憶するために使用することができ、汎用コンピュータのプロセッサによってアクセスすることができる任意の他の媒体を備えることができる。

様々な態様では、本開示に記載されたシステムおよび方法は、モジュールによって対処することができる。本明細書で使用される「モジュール」という用語は、たとえば、特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などハードウェアを使用して、または、（実行されている間に）マイクロプロセッサシステムを専用デバイスに変換する、マイクロプロセッサシステムおよびモジュールの機能を実装する１組の命令など、ハードウェアおよびソフトウェアの組合せとして、実装された実際のデバイス、構成要素、または構成要素の配列を指す。モジュールはまた、特定の機能をハードウェアのみによって促進し、その他の機能をハードウェアとソフトウェアの組合せによって促進する、２つの組合せとして実装されてもよい。特定の実装形態では、モジュールの少なくとも一部、場合によってすべては、（上記の図４でより詳細に記載されたものなどの）汎用コンピュータのプロセッサ上で実行されてもよい。したがって、各モジュールは様々な適切な構成で実現されてもよく、本明細書に例示された特定の実装形態のいずれにも限定されるべきではない。

明確にするために、態様の一般的な特徴のすべてが本明細書に開示されているわけではない。本開示のいずれの実際の実装形態の開発においても、開発者の具体的な目標を達成するために多くの実装形態固有の決定がなされなければならず、これらの具体的な目標は、実装形態や開発者によって異なるであろう。こうした開発努力は複雑で時間がかかる可能性があるものの、本開示の利益を受ける当業者にとってエンジニアリングの日常的な仕事であろうことが理解される。

さらに、本明細書で使用される表現または用語は、説明のためのものであって、限定するものではないことを理解されたい。このため、本明細書の表現または用語は、当業者の知識と組み合わせて、本明細書に提示される教示および指針に照らして当業者によって解釈されるべきである。さらに、特に明示しない限り、本明細書または特許請求の範囲におけるいずれの用語も、一般的でない意味または特別な意味をもつものではない。

本明細書に開示された様々な態様は、例示として本明細書で言及した既知のモジュールの現在および将来の既知の均等物を包含する。さらに、態様および応用例を示して説明してきたが、本明細書に開示した発明の概念から逸脱することなく、上述されたものよりもはるかに多くの変形例が可能であることが、本開示の利益を受ける当業者には明らかであろう。

Claims

身元確認書類を含む画像を識別する方法であって、
ハードウェアプロセッサにより、任意の順序で画像ストリームから画像を選択することによって第１の画像群を取得するステップと、
前記第１の画像群に対して第１の画像処理アルゴリズム群を実行することによって書類を含む前記第１の画像群内の画像を特定するステップと、
書類を含まない画像を前記第１の画像群から除外することによって第２の画像群を生成するステップと、
身元確認書類の基本構成要素を含む領域を検索する第２の画像処理アルゴリズム群の特徴のカスケードを使用することにより、前記第２の画像群内の身元確認書類の前記基本構成要素を含む画像を特定するステップと、
ハードウェアプロセッサにより、身元確認書類の基本構成要素を含まない画像を前記第２の画像群から除外することによって第３の画像群を生成するステップと、
ハードウェアプロセッサにより、前記生成された第３の画像群から、判定規則に基づいて少なくとも１つの身元確認書類を含む少なくとも１つの画像を識別するステップと
を含む、方法。
書類を含まない画像は、通常の書類に共通する書類の構成要素を含まない画像として識別される、請求項１に記載の方法。
書類の前記構成要素は、書類の背景および書類のテキストのうちの１つまたは複数を備え、前記構成要素の検出は、文字またはデータが入っていない前記書類の背景を含む画像内の小領域の検出を含む、請求項２に記載の方法。
画像の特徴は、自然な特徴および人工的な特徴を含む前記画像の際立った特性または属性を含み、自然な特徴は、前記画像の様々な領域の輝度および質感、ならびに前記画像内のオブジェクトの輪郭の形状を含み、前記人工的な特徴は、少なくともＱ−Ｆｏｕｎｄアルゴリズムまたは指向性勾配ヒストグラムのアルゴリズムを使用して構築される、請求項１に記載の方法。
身元確認書類の構成要素は、顔画像、国または地域の旗、官庁の印章、身元確認書類の項目名を含むテキストのうちの少なくとも１つを備える、請求項１に記載の方法。
個人データを含む書類が識別される、請求項１に記載の方法。
前記個人データは、特定されたまたは特定可能な実在の人物に直接的または間接的に関連する情報を含む、請求項６に記載の方法。
書類を含まない画像の識別は、コンピュータビジョンに基づくオブジェクト検索アルゴリズムの実行を含む、請求項１に記載の方法。
前記オブジェクト検索アルゴリズムは、OpenCVアルゴリズムおよびLocal Binary Patternアルゴリズムのうちの１つを含む、請求項８に記載の方法。
身元確認書類を含む画像を識別するシステムであって、
任意の順序で画像ストリームから画像を選択することによって第１の画像群を取得し、
前記第１の画像群に対して第１の画像処理アルゴリズム群を実行することによって書類を含む前記第１の画像群内の画像を特定し、
書類を含まない画像を前記第１の画像群から除外することによって第２の画像群を生成し、
身元確認書類の基本構成要素を含む領域を検索する第２の画像処理アルゴリズム群の特徴のカスケードを使用することにより、前記第２の画像群内の身元確認書類の前記基本構成要素を含む画像を特定し、
身元確認書類の基本構成要素を含まない画像を前記第２の画像群から除外することによって第３の画像群を生成し、
前記生成された第３の画像群から、判定規則に基づいて少なくとも１つの身元確認書類を含む少なくとも１つの画像を識別する、
ハードウェアプロセッサ
を備える、システム。
書類を含まない画像は、通常の書類に共通する書類の構成要素を含まない画像として識別される、請求項１０に記載のシステム。
書類の前記構成要素は、書類の背景および書類のテキストのうちの１つまたは複数を備え、前記構成要素の検出は、文字またはデータが入っていない前記書類の背景を含む画像内の小領域の検出を含む、請求項１１に記載のシステム。
画像の特徴は、自然な特徴および人工的な特徴を含む前記画像の際立った特性または属性を含み、自然な特徴は、前記画像の様々な領域の輝度および質感、ならびに前記画像内のオブジェクトの輪郭の形状を含み、前記人工的な特徴は、少なくともQ-Foundアルゴリズムまたは指向性勾配ヒストグラムのアルゴリズムを使用して構築される、請求項１０に記載のシステム。
身元確認書類の構成要素は、顔画像、国または地域の旗、官庁の印章、身元確認書類の項目名を含むテキストのうちの少なくとも１つを備える、請求項１０に記載のシステム。
個人データを含む書類が識別される、請求項１０に記載のシステム。
前記個人データは、特定されたまたは特定可能な実在の人物に直接的または間接的に関連する情報を含む、請求項１５に記載のシステム。
書類を含まない画像の識別は、コンピュータビジョンに基づくオブジェクト検索アルゴリズムの実行を含む、請求項１０に記載のシステム。
前記オブジェクト検索アルゴリズムは、OpenCVアルゴリズムおよびLocal Binary Patternアルゴリズムのうちの１つを含む、請求項１７に記載のシステム。
身元確認書類を含む画像を識別するための命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、
任意の順序で画像ストリームから画像を選択することによって第１の画像群を取得することと、
前記第１の画像群に対して第１の画像処理アルゴリズム群を実行することによって書類を含む前記第１の画像群内の画像を特定することと、
書類を含まない画像を前記第１の画像群から除外することによって第２の画像群を生成することと、
身元確認書類の基本構成要素を含む領域を検索する第２の画像処理アルゴリズム群の特徴のカスケードを使用することにより、前記第２の画像群内の身元確認書類の前記基本構成要素を含む画像を特定することと、
身元確認書類の基本構成要素を含まない画像を前記第２の画像群から除外することによって第３の画像群を生成することと、
前記生成された第３の画像群から、判定規則に基づいて少なくとも１つの身元確認書類を含む少なくとも１つの画像を識別することと
を含む、媒体。
書類を含まない画像は、通常の書類に共通する書類の構成要素を含まない画像として識別される、請求項１９に記載の媒体。
書類の前記構成要素は、書類の背景および書類のテキストのうちの１つまたは複数を備え、前記構成要素の検出は、文字またはデータが入っていない前記書類の背景を含む画像内の小領域の検出を含む、請求項２０に記載の媒体。
画像の特徴は、自然な特徴および人工的な特徴を含む前記画像の際立った特性または属性を含み、自然な特徴は、前記画像の様々な領域の輝度および質感、ならびに前記画像内のオブジェクトの輪郭の形状を含み、前記人工的な特徴は、少なくともQ-Foundアルゴリズムまたは指向性勾配ヒストグラムのアルゴリズムを使用して構築される、請求項１９に記載の媒体。
身元確認書類の構成要素は、顔画像、国または地域の旗、官庁の印章、身元確認書類の項目名を含むテキストのうちの少なくとも１つを備える、請求項１９に記載の媒体。
個人データを含む書類が識別される、請求項１９に記載の媒体。
前記第１の画像処理アルゴリズム群は、OpenCVアルゴリズムおよびLocal Binary Patternアルゴリズムのうちの１つを含む、請求項１９に記載の媒体。