JP7426004B2 - 画像処理装置、指紋照合システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、指紋照合システム、画像処理方法およびプログラムに関する。

指紋照合に関連して幾つかの技術が提案されている。
例えば、特許文献１に記載の画像処理装置は、指紋画像などの入力画像のうち局所領域に対応する第１の特徴量ベクトルと、予め特徴が判定された画像から算出された第２の特徴量ベクトルとを比較することで、局所領域の特徴を特定する。特許文献１に記載の画像処理装置はこれにより、例えば、指紋照合でノイズとして扱われる汗腺口の画像を抽出して除去する。

再公表ＷＯ２０１６／１０４７１２号公報

指紋照合を高精度に行う観点から、指紋の分岐点または端点などの特徴点を指紋画像から高精度に抽出できることが望まれる。特徴点の抽出精度を高めるために、指紋画像を画像処理して得られた芯線の画像を手作業で編集する場合がある。この編集作業は作業者にとって負担となり、負担をなるべく軽減できることが望まれる。

本発明の目的の一例は、上述の課題を解決することのできる画像処理装置、指紋照合システム、画像処理方法およびプログラムを提供することである。

本発明の第１の態様によれば、画像処理装置は、指紋画像と、前記指紋画像における芯線を示す芯線情報と、前記指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報と、を少なくとも含むデータを用いた機械学習の結果を用いて、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する前処理手段と、前記前処理手段によって出力された前記出力された画像に基づいて２値の芯線画像を生成する芯線画像生成手段と、を備える。

本発明の第２の態様によれば、画像処理装置は、指紋画像と、前記指紋画像における芯線を示す芯線情報と、前記指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報と、を少なくとも含むデータを用いて機械学習を行う機械学習処理手段と、前記機械学習の結果を用いて、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する前処理手段と、前記前処理手段によって出力された画像に基づいて２値の芯線画像を生成する芯線画像生成手段と、を備える。

本発明の第３の態様によれば、画像処理方法は、指紋画像と、前記指紋画像における芯線を示す芯線情報と、前記指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報と、を少なくとも含むデータを用いた機械学習の結果を用いて、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力し、前記出力された画像に基づいて２値の芯線画像を生成する、ことを含む。

本発明の第４の態様によれば、画像処理方法は、指紋画像と、前記指紋画像における芯線を示す芯線情報と、前記指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報と、を少なくとも含むデータを用いて機械学習を行い、前記機械学習の結果を用いて、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力し、前記出力された画像に基づいて２値の芯線画像を生成する、ことを含む。

本発明の第５の態様によれば、記録媒体は、コンピュータに、指紋画像と、前記指紋画像における芯線を示す芯線情報と、前記指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報と、を少なくとも含むデータを用いた機械学習の結果を用いて、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する処理を、照合対象の指紋画像に適用することにより画像を得て、前記得られた画像に基づいて２値の芯線画像を生成する、ことを実行させるためのプログラムを記憶する。

本発明の第６の態様によれば、記録媒体は、コンピュータに、指紋画像と、前記指紋画像における芯線を示す芯線情報と、前記指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報と、を少なくとも含むデータを用いて機械学習を行い、前記機械学習の結果を用いて、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力し、前記出力された画像に基づいて２値の芯線画像を生成する、ことを実行させるためのプログラムを記憶する。

この発明の実施形態によれば、芯線の画像を編集する作業者の負担を比較的軽くすることができる。

実施形態に係る指紋照合システムの機能構成の例を示す概略ブロック図である。 実施形態に係る機械学習時のデータの入出力の例を示す図である。 実施形態に係る指紋登録時の処理手順の例を示す図である。 実施形態に係る指紋照合時の処理手順の例を示す図である。 実施形態に係る指紋照合システムの装置構成の例を示す図である。 実施形態に係る画像処理装置の機能構成の例を示す概略ブロック図である。 実施形態に係る画像処理装置の構成の例を示す図である。 実施形態に係る画像処理装置の構成の、もう１つの例を示す図である。 実施形態に係る画像処理方法における処理手順の例を示す図である。 実施形態に係る画像処理方法における処理手順の、もう１つの例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の実施形態に係る指紋照合システムの機能構成の例を示す概略ブロック図である。図１に示す構成で、指紋照合装置１００は、通信部（通信手段）１１０と、表示部（表示手段）１２０と、操作入力部（操作入力手段）１３０と、記憶部（記憶手段）１７０と、制御部（制御手段）１８０とを備える。制御部１８０は、機械学習処理部（機械学習処理手段）１８１と、前処理部（前処理手段）１８２と、芯線画像生成部（芯線画像生成手段）１８３と、ゾーン情報生成部（ゾーン情報生成手段）１８４と、編集受付部（編集受付手段）１８５と、特徴点抽出部（特徴点抽出手段）１８６と、指紋照合部（指紋照合手段）１８７とを備える。

指紋照合装置１００は、指紋画像の入力を受けて指紋照合を行う。特に、指紋照合装置１００は、機械学習により芯線画像を生成するための前処理としての画像処理を学習する。
芯線は、隆線の幅方向の中心を示す線である。芯線画像は、芯線を示す２値画像である。隆線を用いるよりも芯線を用いるほうが、線の幅を無視できる点で特徴点をより高精度に抽出し得る。芯線画像の精度を高めるために、自動生成される芯線画像に対して、さらに人手による編集が行われる場合がある。この場合、編集を行う作業者の負担を軽減するために、自動生成される芯線画像の精度が高いことが好ましい。

指紋照合装置１００は、指紋画像と芯線画像とを用いた機械学習にて指紋画像から芯線画像に近い画像を生成する前処理を学習する。そして、指紋照合装置１００は、指紋画像に対して前処理を適用し、前処理後の画像に基づいて芯線画像を生成する。指紋照合装置１００は、芯線画像に近い画像に基づいて芯線画像を生成する。よって、指紋照合装置１００によれば、生の指紋画像（前処理の行われていない指紋画像）に基づいて芯線画像を生成する場合よりも、より高精度な芯線画像を生成できる。これにより、指紋照合装置１００では、自動生成される芯線画像を編集する作業者の負担が比較的小さくて済む。

通信部１１０は、他の装置と通信を行う。例えば、通信部１１０は、スキャナ装置から指紋画像を画像データの形式にて受信する。
また、通信部１１０が、外部サーバから指紋画像を画像データの形式にて受信するようにしてもよい。
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネルなどの表示画面を備え、各種画像を表示する。
例えば、表示部１２０は選択対象画像表示部（選択対象画像表示手段）の例に該当し、同一の指紋画像に複数のアルゴリズムを適用して得られる複数の芯線画像を表示し、それらのうち選択された画像を編集用の画像として表示する。
また、表示部１２０は、前処理後画像表示部（前処理後画像表示手段）の例に該当し、前処理部１８２が行う前処理によって得られる、３階調以上の階調を有し芯線を示す画像を表示する。

操作入力部１３０は、例えばキーボードおよびマウスなどの入力デバイスを備え、ユーザ操作を受け付ける。
例えば、操作入力部１３０は選択操作受付部（選択操作受付手段）の例に該当し、表示部１２０が表示する、編集用の芯線画像の候補のうち何れか１つの画像を選択するユーザ操作を受け付ける。また、操作入力部１３０は、選択された芯線画像を編集するユーザ操作を受け付ける。

記憶部１７０は、各種データを記憶する。例えば、記憶部１７０は、芯線画像取得の元の指紋画像、指紋画像から芯線画像を生成する過程における各種画像、および、芯線画像から抽出される特徴点の情報を記憶する。また、記憶部１７０は、指紋照合装置１００が実行する各種プログラムを記憶する。
さらに記憶部１７０が、指紋照合用の指紋データベース情報を記憶していてもよい。指紋データベース情報は、照合対象の複数の指紋各々の特徴点の情報を含む。あるいは、指紋照合装置１００以外の装置が指紋データベース情報を記憶するようにしてもよい。
記憶部１７０は、指紋照合装置１００が備える記憶デバイスを用いて構成される。

制御部１８０は、指紋照合装置１００の各部を制御して各種処理を実行する。制御部１８０の機能は、指紋照合装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部１７０からプログラムを読み出して実行することで実行される。
機械学習処理部１８１は、機械学習により指紋画像に対する芯線画像を生成するための前処理を学習する。具体的には、機械学習処理部１８１は、指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報とを学習用データとして用いた機械学習により、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する処理を前処理として学習する。

指紋画像の芯線情報は、その指紋画像における芯線を示す情報である。機械学習処理部１８１が、芯線情報として芯線画像を取得するようにしてもよいが、実施形態はこれに限定されない。例えば、機械学習処理部１８１が、指紋画像の芯線の位置を示す座標値を芯線情報として取得するようにしてもよい。
指紋画像のゾーン情報は、その指紋画像のうち指紋照合に有効である部分であるゾーンを示す情報である。指紋照合に有効である部分とは、例えば指紋画像から芯線が比較的明確に抽出されるなど、指紋の特徴点抽出を比較的高精度に抽出できる部分である。指紋照合に有効である部分における特徴点を用いて指紋照合を行うことで、指紋照合を比較的高精度に行えると期待される。

機械学習処理部１８１が、ゾーン情報としてゾーンを示す２値画像であるゾーン画像を取得するようにしてもよいが、実施形態はこれに限定されない。例えば、機械学習処理部１８１が、指紋画像の座標値にて指紋画像のうち指紋照合に有効である部分を示すゾーン情報を取得するようにしてもよい。
機械学習処理部１８１の学習用データの芯線情報（例えば芯線画像）およびゾーン情報（例えばゾーン画像）のうち何れか一方または両方は、上記の作業者など人手によって生成されたものであってもよい。例えば、作業者が指紋画像の隆線をなぞって芯線を描くことで芯線画像を生成するようにしてもよい。
機械学習処理部１８１が機械学習を行う方法は特定の方法に限定されない。例えば、機械学習処理部１８１が、ニューラルネットワークを用いたディープラーニングにて機械学習を行うようにしてもよいが、実施形態はこれに限定されない。

前処理部１８２は、機械学習処理部１８１が機械学習した前処理を、照合対象の指紋画像に適用する。これにより、前処理部１８２は、３階調以上の階調を有し照合対象の指紋画像の芯線を示す画像を出力する。機械学習によって実行可能になる前処理は、機械学習の結果の例に該当する。
前処理部１８２が出力する画像を前処理後画像と称する。
前処理後画像は、入力される指紋画像の隆線を芯線のように細くした、いわば芯線画像に似た指紋画像である。芯線画像が、芯線か芯線以外かを示す２値の画像であるのに対し、前処理後画像は、３階調以上の階調を有する画像（例えば、グレースケールの画像）である。前処理後画像が３階調以上の階調を有することで、前処理後画像を指紋画像として扱って、指紋画像に基づいて２値の芯線画像を生成する方法を適用して芯線画像を得ることができる。
機械学習処理部１８１がディープラーニングにて機械学習を行う場合、前処理部１８２の機能が、機械学習後のニューラルネットワークを用いて実行されてもよい。

芯線画像生成部１８３は、前処理部１８２の処理で得られた前処理後画像に基づいて、２値の芯線画像を生成する。芯線画像生成部１８３が前処理後画像に基づいて２値の芯線画像を生成する方法として、指紋画像に基づいて芯線画像を生成する公知のいろいろな方法を用いることができる。
芯線画像生成部１８３は、指紋画像に基づいて芯線画像を生成する複数の方法を用いて、それぞれ、芯線画像を生成する。

芯線画像生成部１８３は、複数の方法のうち少なくとも１つの方法については、前処理後画像を入力として芯線画像を出力する。芯線画像生成部１８３が、複数の方法の全てについて、前処理後画像を入力として芯線画像を出力するようにしてもよい。あるいは、芯線画像生成部１８３が複数の方法のうち少なくとも１つの方法について、生の指紋画像（前処理部１８２の処理が行われていない指紋画像）を入力として芯線画像を出力するようにしてもよい。芯線画像生成部１８３が、生の指紋画像、前処理後画像のそれぞれを入力として同一の方法を適用し、それぞれ芯線画像を生成するようにしてもよい。

ゾーン情報生成部１８４は、前処理部１８２の処理で得られた前処理後画像に基づいて前処理後画像のゾーン情報を生成する。上記のように前処理後画像は、隆線が芯線のように細くなった指紋画像といえる。したがって、前処理後画像のゾーン情報は、その前処理後画像のうち指紋照合に有効である部分であるゾーンを示す情報である。

編集受付部１８５は、ユーザ操作に基づいて芯線画像を編集する。
具体的には、編集受付部１８５は、芯線画像生成部１８３が生成する複数の芯線画像を表示部１２０に表示させる。そして、編集受付部１８５は、操作入力部１３０が受け付ける、複数の芯線画像のうち何れか１つを選択するユーザ操作に従って、何れか１つの芯線画像を選択する。編集受付部１８５は、選択した芯線画像を表示部１２０に表示させ、操作入力部１３０が受け付ける、芯線画像を編集するユーザ操作に従って芯線画像を編集する。
編集受付部１８５が、操作入力部１３０が受け付けたユーザの操作に応じて、ある方法で生成された芯線画像の一部の領域を、異なる方法で生成された芯線画像に置き換えるよう編集し、編集の過程を表示部１２０に表示させるようにしてもよい。

特徴点抽出部１８６は、編集受付部１８５による編集後の芯線画像から指紋の特徴点を抽出する。
指紋照合部１８７は、特徴点抽出部１８６が抽出した特徴点に基づいて、指紋照合を行う。具体的には、指紋照合部１８７は、特徴点抽出部１８６が抽出した特徴点と、指紋データベース情報に登録されている指紋の各々の特徴点とを比較する。そして、特徴点抽出部１８６は、指紋データベース情報に登録されている指紋のうち、特徴点が所定の条件以上に類似する指紋を、照合対象の指紋と一致する指紋として選択する。指紋照合部１８７は、選択した指紋の情報、あるいは、一致する指紋がなかったことを示す情報を、例えば表示部１２０に表示させる。
指紋照合装置１００の各部のうち、前処理部１８２と芯線画像生成部１８３とを含む構成は、画像処理装置の構成の例に該当する。

図２は、機械学習時のデータの入出力の例を示す図である。
図２の例で、機械学習処理部１８１は、学習用データとして処理前の指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報との入力を受け、その学習用データを用いて、処理前の指紋画像を処理後の指紋画像に変換する画像処理を機械学習する（ステップＳ１１１）。
ステップＳ１１１での機械学習の処理によって、機械学習処理部１８１は、前処理部１８２が行う前処理を機械学習する。従って、処理前の指紋画像は、前処理部１８２への入力である生の指紋画像に対応付けられる。処理後の指紋画像は、前処理部１８２の出力である前処理後画像に対応付けられる。
機械学習処理部１８１は、与えられる学習用データの個数分、ステップＳ１１１による機械学習を繰り返す。

図３は、指紋登録時の処理手順の例を示す図である。
図３の処理で、前処理部１８２は、処理前の指紋画像（生の指紋画像）の入力を受け、入力された指紋画像に対して前処理を行って処理後の指紋画像（前処理後画像）を出力する（ステップＳ２１１）。
ゾーン情報生成部１８４は、前処理後画像を用いて、前処理後画像のゾーン情報を生成する（ステップＳ２２１）。

また、芯線画像生成部１８３は、芯線画像を生成する（ステップＳ２２２）。
上記のように、芯線画像生成部１８３は、指紋画像に基づいて芯線画像を生成する複数の方法を用いて、それぞれ、芯線画像を生成する。芯線画像生成部１８３は、複数の方法のうち少なくとも１つの方法については、前処理後画像を入力として芯線画像を出力する。
芯線画像生成部１８３が生成する芯線画像を、編集前の芯線画像と称する。

編集受付部１８５は、芯線画像生成部１８３が生成する芯線画像をユーザ操作に基づいて編集する（ステップＳ２３１）。
上述したように、編集受付部１８５は、芯線画像生成部１８３が生成する複数の芯線画像を表示部１２０に表示させる。そして、編集受付部１８５は、操作入力部１３０が受け付ける、複数の芯線画像のうち何れか１つを選択するユーザ操作に従って、何れか１つの芯線画像を選択する。編集受付部１８５は、選択した芯線画像を表示部１２０に表示させ、操作入力部１３０が受け付ける、芯線画像を編集するユーザ操作に従って芯線画像を編集する。

表示部１２０が、芯線画像とゾーン情報とを対応付けて表示するように、芯線画像生成部１８３が、前処理画像を入力として出力する芯線画像とゾーン情報とを１つの情報に纏めるようにしてもよい。例えば、芯線画像生成部１８３が、ゾーン情報生成部１８４からのゾーン情報を芯線画像における座標情報の形式にして、芯線画像とゾーン情報とを１つの情報に纏めるようにしてもよい。そして、編集受付部１８５は、纏められた情報に基づいて芯線画像にゾーンを示す画像を重ね合わせた画像を表示部１２０に表示させるようにしてもよい。図３は、この場合のデータの入出力の例を示している。
あるいは、芯線画像生成部１８３が生成する芯線画像とゾーン情報生成部１８４が生成するゾーン情報とを編集受付部１８５が纏めて、芯線画像にゾーンを示す画像を重ね合わせた画像を表示部１２０に表示させるようにしてもよい。

次に、特徴点抽出部１８６が、編集受付部１８５による編集後の芯線画像から指紋の特徴点を抽出する（ステップＳ２３２）。
指紋登録時には、特徴点抽出部１８６は、抽出した特徴点を示す情報を、指紋に関する情報と紐づけて指紋データベース情報に登録する（ステップＳ２３３）。例えば、特徴点抽出部１８６が、抽出した特徴点を示す情報と、元の指紋画像（生の指紋画像）とを紐づけて指紋データベースに登録する。特徴点抽出部１８６が、指紋画像に加えてあるいは代えて、その指紋の持ち主の氏名などその指紋の持ち主に関する情報を、特徴点を示す情報に紐づけて指紋データベース情報に登録するようにしてもよい。
ステップＳ２３３の後、指紋照合装置１００は、図３の処理を終了する。

図４は、指紋照合時の処理手順の例を示す図である。
図４のステップＳ３１１～Ｓ３３２は、図３のステップＳ２１１～Ｓ２３２と同様である。
一方、指紋照合時には、図３のステップＳ２３３における特徴点抽出部１８６による特徴点を示す情報等の登録に代えて、指紋照合部１８７が指紋照合を行う（ステップＳ３３３）。

上記のように指紋照合部１８７は、特徴点抽出部１８６が抽出した特徴点と、指紋データベース情報に登録されている指紋の各々の特徴点とを比較する。そして、特徴点抽出部１８６は、指紋データベース情報に登録されている指紋のうち、特徴点が所定の条件以上に類似する指紋を、照合対象の指紋と一致する指紋として選択する。
ステップＳ３３３の後、指紋照合装置１００は、図４の処理を終了する。

指紋照合装置１００が、複数の装置にて構成されていてもよい。
図５は、実施形態に係る指紋照合システムの装置構成の例を示す図である。図５に示す構成で、指紋照合システム１は、機械学習処理装置２００と、画像処理装置３００と、照合処理装置４００とを備える。
指紋照合システム１では、機械学習処理部１８１が行う処理を機械学習処理装置２００が分担し、指紋照合部１８７が行う処理を照合処理装置４００が行う。画像処理装置３００は、機械学習処理部１８１および指紋照合部１８７が行う処理以外の処理を行う。これにより、指紋照合システム１は、指紋照合装置１００と同様の処理を行う。

図６は、画像処理装置３００の機能構成の例を示す概略ブロック図である。図６に示す構成で、画像処理装置３００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部（制御手段）３８０とを備える。制御部３８０は、前処理部１８２と、芯線画像生成部１８３と、ゾーン情報生成部１８４と、編集受付部１８５と、特徴点抽出部１８６とを備える。

画像処理装置３００では、制御部３８０が、指紋照合装置１００の制御部１８０（図１参照）と異なり機械学習処理部１８１および指紋照合部１８７を備えていない。機械学習処理部１８１の機能は機械学習処理装置２００が分担し、指紋照合部１８７の機能は照合処理装置４００が分担しているためである。
それ以外の点では、画像処理装置３００は指紋照合装置１００と同様である。

ただし、指紋照合装置１００を複数の装置に分ける場合の構成は、図５および図６に示す構成に限定されない。例えば、指紋照合システムが、指紋照合装置１００の処理のうち機械学習処理部１８１の処理を実行する機械学習処理装置と、それ以外の処理を実行する指紋照合装置とで構成されていてもよい。

以上のように、前処理部１８２は、指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報とを学習用データとして用いた機械学習によって学習された、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する処理を、照合対象の指紋画像に適用する。芯線画像生成部１８３は、前処理部１８２の処理で得られた画像に基づいて２値の芯線画像を生成する。

指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報とを学習用データと用いた機械学習によって、指紋画像から芯線画像に近い画像を生成する前処理を学習することができる。前処理部１８２が指紋画像にこの前処理を行い、芯線画像生成部１８３が前処理後の画像（前処理後画像）に基づいて芯線画像を生成することで、指紋照合装置１００は、芯線画像に近い画像に基づいて芯線画像を生成することができる。これにより、指紋照合装置１００は、生の指紋画像（前処理の行われていない指紋画像）に基づいて芯線画像を生成する場合よりも、より高精度な芯線画像を生成できる。これにより、指紋照合装置１００では、自動生成される芯線画像を編集する作業者の負担が比較的小さくて済む。

また、ゾーン情報生成部１８４は、前処理部１８２による前処理で得られた画像に基づいて前処理後画像のゾーン情報を生成する。
芯線画像を編集する作業者は、ゾーン情報生成部１８４が生成するゾーン情報を参照して編集後の芯線画像にゾーン（指紋照合に用いる部分）を設定することができる。指紋照合装置１００によればこの点で、作業者の負担が比較的小さくて済む。

また、表示部１２０は、前処理部１８２および芯線画像生成部１８３による方法を含む複数の方法で生成された複数の芯線画像を表示する。操作入力部１３０は、複数の芯線画像のうち何れかを選択するユーザ操作を受け付ける。
これにより、芯線画像の編集を行う作業者は、複数示される芯線画像のうち編集に最も適した芯線画像を選択して編集することができる。これにより、作業者の負担が比較的小さくて済む。

また、表示部１２０は、前処理後画像を表示する。
前処理後画像は、生の指紋画像における芯線を示す画像であり、芯線画像の編集を行う作業者は、前処理後画像を芯線画像の編集の参考にすることができる。

また、特徴点抽出部１８６は、編集受付部１８５による編集後の芯線画像から特徴点を抽出する。指紋照合部１８７は、抽出された特徴点を用いて指紋照合を行う。
指紋照合装置１００によれば、編集後の芯線画像を用いて特徴点を抽出して指紋照合を行うことで、指紋照合を比較的高精度に行うことができる。かつ、指紋照合装置１００によれば、指紋画像を編集する作業者は、前処理部１８２によって処理された前処理後画像に基づいて芯線画像生成部１８３が生成した芯線画像を編集することができる。芯線画像生成部１８３は、生の指紋画像（前処理の行われていない指紋画像）に基づいて芯線画像を生成する場合よりも、より高精度な芯線画像を生成でき、この点で、作業者の負担が比較的小さくて済む。

次に図７～図１０を参照して、本発明の実施形態の構成について説明する。
図７は、実施形態に係る画像処理装置の構成の例を示す図である。図７に示す画像処理装置１０は、前処理部（前処理手段）１１と、芯線画像生成部（芯線画像生成手段）１２とを備える。
かかる構成で、前処理部１１は、指紋画像と、その指紋画像における芯線を示す芯線情報と、その指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報とを学習用データとして用いた機械学習により学習された、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する処理を、照合対象の指紋画像に適用する。芯線画像生成部１２は、前処理部１１の処理で得られた画像に基づいて２値の芯線画像を生成する。

指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報とを学習用データとして用いた機械学習によって、指紋画像から芯線画像に近い画像を生成する前処理を学習することができる。前処理部１１が指紋画像にこの前処理を行い、芯線画像生成部１２が前処理後の画像に基づいて芯線画像を生成することで、画像処理装置１０は、芯線画像に近い画像に基づいて芯線画像を生成することができる。これにより、画像処理装置１０は、生の指紋画像（前処理の行われていない指紋画像）に基づいて芯線画像を生成する場合よりも、より高精度な芯線画像を生成できる。これにより、画像処理装置１０では、自動生成される芯線画像を編集する作業者の負担が比較的小さくて済む。

図８は、実施形態に係る画像処理装置の構成の、もう１つの例を示す図である。図８に示す画像処理装置２０は、機械学習処理部（機械学習処理手段）２１と、前処理部（前処理手段）２２と、芯線画像生成部（芯線画像生成手段）２３とを備える。
かかる構成で、機械学習処理部２１は、指紋画像と、その指紋画像における芯線を示す芯線情報と、その指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報とを学習用データとして用いた機械学習によって、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する処理を学習する。前処理部２２は、機械学習された処理を、照合対象の指紋画像に適用する。芯線画像生成部２３は、前処理部２２の処理で得られた画像に基づいて２値の芯線画像を生成する。

機械学習処理部２１は、指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報とを学習用データとして用いた機械学習によって、指紋画像から芯線画像に近い画像を生成する前処理を学習することができる。前処理部２２が指紋画像にこの前処理を行い、芯線画像生成部２３が前処理後の画像に基づいて芯線画像を生成することで、画像処理装置２０は、芯線画像に近い画像に基づいて芯線画像を生成することができる。これにより、画像処理装置２０は、生の指紋画像（前処理の行われていない指紋画像）に基づいて芯線画像を生成する場合よりも、より高精度な芯線画像を生成できる。これにより、画像処理装置２０では、自動生成される芯線画像を編集する作業者の負担が比較的小さくて済む。

図９は、実施形態に係る画像処理方法における処理手順の例を示す図である。図９に示す画像処理方法は、前処理を行う工程（ステップＳ１１）と、芯線画像を生成する工程（ステップＳ１２）とを含む。ステップＳ１１では、指紋画像と、その指紋画像における芯線を示す芯線情報と、その指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報とを学習用データとして用いた機械学習により学習された、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する処理を、照合対象の指紋画像に適用する。ステップＳ１２では、ステップＳ１１で得られた画像に基づいて２値の芯線画像を生成する。

指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報とを学習用データとして用いる機械学習によって、指紋画像から芯線画像に近い画像を生成する前処理を学習することができる。ステップＳ１１で、指紋画像にこの前処理を行い、ステップＳ１２で、前処理後の画像に基づいて芯線画像を生成することで、図９の画像処理方法では、芯線画像に近い画像に基づいて芯線画像を生成することができる。これにより、図９の画像処理方法では、生の指紋画像（前処理の行われていない指紋画像）に基づいて芯線画像を生成する場合よりも、より高精度な芯線画像を生成できる。これにより、図９の画像処理方法では、自動生成される芯線画像を編集する作業者の負担が比較的小さくて済む。

図１０は、実施形態に係る画像処理方法における処理手順の、もう１つの例を示す図である。図１０に示す画像処理方法は、機械学習処理を行う工程（ステップＳ２１）と、前処理を行う工程（ステップＳ２２）と、芯線画像を生成する工程（ステップＳ２３）とを含む。ステップＳ２１では、指紋画像と、その指紋画像における芯線を示す芯線情報と、その指紋画像のうち指紋照合に有効である部分であるゾーンを示すゾーン情報とを学習用データとして用いた機械学習により、指紋画像の入力に対して３階調以上の階調を有し芯線を示す画像を出力する処理を学習する。ステップＳ２２では、ステップＳ２１で学習された処理を、照合対象の指紋画像に適用する。ステップＳ２３では、ステップＳ２２の処理で得られた画像に基づいて２値の芯線画像を生成する。

ステップＳ２１では、指紋画像と、その指紋画像の芯線情報と、その指紋画像のゾーン情報とを学習用データとして用いた機械学習によって、指紋画像から芯線画像に近い画像を生成する前処理を学習することができる。ステップＳ２２で、この前処理を指紋画像に行い、ステップＳ２３で、前処理後の画像に基づいて芯線画像を生成することで、図１０の画像処理方法では、芯線画像に近い画像に基づいて芯線画像を生成することができる。これにより、図１０の画像処理方法では、生の指紋画像（前処理の行われていない指紋画像）に基づいて芯線画像を生成する場合よりも、より高精度な芯線画像を生成できる。これにより、図１０の画像処理方法では、自動生成される芯線画像を編集する作業者の負担が比較的小さくて済む。

図１１は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図１１に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記の画像処理装置１０、画像処理装置２０、指紋照合装置１００および画像処理装置３００のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。

画像処理装置１０、画像処理装置２０、指紋照合装置１００または画像処理装置３００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。画像処理装置１０、画像処理装置２０、指紋照合装置１００または画像処理装置３００のユーザインタフェースは、インタフェース７４０が表示デバイスを備えてデータ表示し、また、入力デバイスを備えてデータの入力を受け付けることで実行される。

画像処理装置１０がコンピュータ７００に実装される場合、前処理部１１と、芯線画像生成部１２との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。

画像処理装置２０がコンピュータ７００に実装される場合、機械学習処理部２１と、前処理部２２と、芯線画像生成部２３との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。

指紋照合装置１００がコンピュータ７００に実装される場合、制御部１８０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、記憶部１７０に対応する記憶領域を主記憶装置７２０に確保する。通信部１１０が行う通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。表示部１２０の機能は、インタフェース７４０が表示デバイスを備えて各種画像を表示することで実行される。操作入力部１３０の機能は、インタフェース７４０が入力デバイスを備えてデータの入力を受け付けることで実行される。

画像処理装置３００がコンピュータ７００に実装される場合、制御部３８０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、記憶部１７０に対応する記憶領域を主記憶装置７２０に確保する。通信部１１０が行う通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。表示部１２０の機能は、インタフェース７４０が表示デバイスを備えて各種画像を表示することで実行される。操作入力部１３０の機能は、インタフェース７４０が入力デバイスを備えてデータの入力を受け付けることで実行される。

なお、画像処理装置１０、画像処理装置２０、指紋照合装置１００および画像処理装置３００のうち何れかが行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read only memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

この出願は、２０１９年２月１４日に出願された日本国特願２０１９－０２４８８０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、画像処理装置、指紋照合システム、画像処理方法および記録媒体に適用してもよい。

１ 指紋照合システム
１０、２０、３００ 画像処理装置
１１、２２、１８２ 前処理部（前処理手段）
１２、２３、１８３ 芯線画像生成部（芯線画像生成手段）
２１、１８１ 機械学習処理部（機械学習処理手段）
１００ 指紋照合装置
１１０ 通信部（通信手段）
１２０ 表示部（表示手段）
１３０ 操作入力部（操作入力手段）
１７０ 記憶部（記憶手段）
１８０、３８０ 制御部（制御手段）
１８４ ゾーン情報生成部（ゾーン情報生成手段）
１８５ 編集受付部（編集受付手段）
１８６ 特徴点抽出部（特徴点抽出手段）
１８７ 指紋照合部（指紋照合手段）
２００ 機械学習処理装置
４００ 照合処理装置

Claims (10)

1. 指紋画像と、前記指紋画像における芯線画像と、での機械学習の結果を用いて、指紋画像の入力に対して指紋の隆線の幅方向の中心を示す芯線を示すグレースケール画像を出力する前処理部と、
   前記前処理部の処理で得られた画像に基づいて芯線画像を生成する芯線画像生成部と、
   を備える画像処理装置。
2. 前記前処理部および前記芯線画像生成部による方法を含む複数の方法で生成された複数の芯線画像を表示する選択対象画像表示部と、
   前記複数の芯線画像のうち何れかを選択するユーザ操作を受け付ける選択操作受付部と、
   を備える、請求項１に記載の画像処理装置。
3. 前記前処理部が出力する前記グレースケール画像を表示する前処理後画像表示部
   を備える、請求項１または請求項２に記載の画像処理装置。
4. 請求項１から３の何れか一項に記載の画像処理装置と、
   前記画像処理装置の処理に基づいて得られた芯線画像から特徴点を抽出する特徴点抽出部と、
   抽出された特徴点を用いて指紋照合を行う指紋照合部と、
   を備える指紋照合システム。
5. 指紋画像と、前記指紋画像における芯線画像と、での機械学習を行う機械学習処理部と、
   前記機械学習の結果を用いて、指紋画像の入力に対して指紋の隆線の幅方向の中心を示す芯線を示すグレースケール画像を出力する前処理部と、
   前記前処理部の処理で得られた画像に基づいて芯線画像を生成する芯線画像生成部と、
   を備える画像処理装置。
6. 指紋画像と、前記指紋画像における芯線画像と、での機械学習の結果を用いて、指紋画像の入力に対して指紋の隆線の幅方向の中心を示す芯線を示すグレースケール画像を出力する工程と、
   得られた画像に基づいて芯線画像を生成する工程と、
   を含む画像処理方法。
7. 指紋画像と、前記指紋画像における芯線画像と、での機械学習を行う工程と、
   前記機械学習の結果を用いて、指紋画像の入力に対して指紋の隆線の幅方向の中心を示す芯線を示すグレースケール画像を出力する工程と、
   得られた画像に基づいて芯線画像を生成する工程と、
   を含む画像処理方法。
8. コンピュータに、
   指紋画像と、前記指紋画像における芯線画像と、での機械学習の結果を用いて、指紋画像の入力に対して指紋の隆線の幅方向の中心を示す芯線を示すグレースケール画像を出力する処理を、照合対象の指紋画像に適用する工程と、
   得られた画像に基づいて芯線画像を生成する工程と、
   を実行させるためのプログラム。
9. コンピュータに、
   指紋画像と、前記指紋画像における芯線画像と、での機械学習を行う工程と、
   前記機械学習の結果を用いて、指紋画像の入力に対して指紋の隆線の幅方向の中心を示す芯線を示すグレースケール画像を出力する工程と、
   得られた画像に基づいて芯線画像を生成する工程と、
   を実行させるためのプログラム。
10. 指紋画像と、前記指紋画像における芯線画像と、での機械学習の結果を用いて、指紋画像の入力に対して芯線を示すグレースケール画像を出力する前処理部と、
    前記前処理部の処理で得られた画像に基づいて芯線画像を生成する芯線画像生成部と、
    前記前処理部および前記芯線画像生成部による方法を含む複数の方法で生成された複数の芯線画像を表示する選択対象画像表示部と、
    前記複数の芯線画像のうち何れかを選択するユーザ操作を受け付ける選択操作受付部と、
    を備える画像処理装置。

Images