JP6795243B1 - 鼻紋照合装置および方法並びにプログラム - Google Patents

Abstract

【課題】鼻紋画像の照合を高精度に行うことができる鼻紋照合装置および方法並びにプログラムを提供する。【解決手段】予め撮影された複数の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークに対して、任意の顔を撮影した顔画像を入力することによって顔画像に含まれる鼻紋の位置を推定する鼻紋位置推定部１１と、その推定された鼻紋の位置に基づいて鼻紋領域を特定して、鼻紋領域の鼻紋画像を抽出する鼻紋画像抽出部１２と、予め取得された複数の鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークに対して、照合される複数の鼻紋画像を入力することによって、複数の鼻紋画像の特徴量を取得する鼻紋画像特徴量取得部１３と、複数の鼻紋画像の特徴量に基づいて、複数の鼻紋画像を照合し、その照合の結果を出力する鼻紋画像照合部１４とを備える。【選択図】図１

Description

本発明は、複数の顔画像から抽出された鼻紋の照合を行う鼻紋照合装置および方法並びにプログラムに関するものである。

牛は、人間の指紋と同じく、それぞれ固有の鼻紋を有することから、その固有の鼻紋を使用して個々の牛を識別し、個体管理などが行われている。たとえば牛の鼻紋を予め登録しておき、後日、鼻紋の照合によって牛の個体を識別する鼻紋照合方法が採用されている。

従来は、牛の鼻先に墨を付けて鼻紋拓を採取して予め保存しておき、この保存した鼻紋拓と後日採取した鼻紋拓とを目視により比較することによって照合が行われてきたが、非常に手間がかかり、牛にもストレスがかかってしまう。

そこで、近年、牛の鼻紋をカメラで撮影し、その撮影した画像を比較することによって照合を行う方法が提案されている。

たとえば特許文献１においては、鼻紋内に存在する溝で囲まれる複数のセルの最も長い線分を抽出し、その線分の分布状態を用いて、鼻紋の照合を行う方法が提案されている。

また、特許文献２においては、機械学習した分類器を用いて犬の候補を抽出し、その犬の候補の鼻紋画像からそれぞれ特徴点を抽出し、その抽出した特徴点と照合対象の鼻紋画像の特徴点とを比較することによって、犬の鼻紋の照合を行う方法が提案されている。

特許第４１９０２０９号 特許第６５６７６３８号

しかしながら、特許文献１に記載の方法では、多数のセルの線分を抽出する必要があるため、非常に処理が重く、またその線分の抽出精度により照合精度が左右され、高い照合精度を得ることができない。

また、特許文献２に記載の方法では、鼻紋画像に対して平滑化処理を複数回実行し、その平滑化した画像ごとの差分から輝度の勾配方向等を検出することで特徴点を算出しているが、このような方法で算出した特徴点の比較による照合では、高い照合精度を得ることができないことが分かった。

また、特許文献２では、犬の２つの目、鼻、２つの耳のつけ根および額の頂点の６つの点から鼻の位置を検出しているが、たとえば犬の画像に耳が全く含まれていない場合や、犬が正面を向いておらず一方の耳しか含まれていない場合には、２つの耳の位置が特定できないので、鼻の位置を検出することができず、鼻紋画像を得ることができない。すなわち、特許文献２では、犬が正面を向き、かつ犬の顔全体が撮影されていなければ照合処理を行うことができない。

本発明は、上記の問題に鑑み、鼻紋画像の照合を高精度に行うことができる鼻紋照合装置および方法並びにプログラムを提供することを目的とする。

本発明の鼻紋照合装置は、予め撮影された複数の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークに対して、任意の顔を撮影した顔画像を入力することによって顔画像に含まれる鼻紋の位置を推定する鼻紋位置推定部と、鼻紋位置推定部によって推定された鼻紋の位置に基づいて鼻紋領域を特定し、その特定した鼻紋領域の鼻紋画像を抽出する鼻紋画像抽出部と、予め取得された複数の鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークに対して、照合される複数の鼻紋画像を入力することによって、複数の鼻紋画像の特徴量を取得する鼻紋画像特徴量取得部と、複数の鼻紋画像の特徴量に基づいて、複数の鼻紋画像を照合し、その照合の結果を出力する鼻紋画像照合部とを備える。

また、上記本発明の鼻紋照合装置において、鼻紋画像特徴量取得部は、特徴量として特徴ベクトルを取得することができる。

また、上記本発明の鼻紋照合装置において、鼻紋画像照合部は、複数の鼻紋画像の特徴ベクトルに基づいて、複数の鼻紋画像の類似度を算出することができる。

また、上記本発明の鼻紋照合装置において、鼻紋検出用ニューラルネットワークは、予め撮影された複数の顔画像に対して、鼻紋の全部または一部を囲むマークを付した画像が入力されて機械学習されたものとすることができる。

また、上記本発明の鼻紋照合装置において、上記予め撮影された複数の顔画像は、顔を正面方向以外の方向から撮影した顔画像であって、鼻紋の全部または一部を囲むマークが付された顔画像を含むことができる。

また、上記本発明の鼻紋照合装置において、鼻紋は、牛の鼻紋とすることができる。

本発明の鼻紋照合方法は、予め撮影された複数の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークに対して、任意の顔を撮影した顔画像を入力することによって顔画像に含まれる鼻紋の位置を推定し、その推定した鼻紋の位置に基づいて鼻紋領域を特定し、その特定した鼻紋領域の鼻紋画像を抽出し、予め取得された複数の鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークに対して、照合される複数の鼻紋画像を入力することによって、複数の鼻紋画像の特徴量を取得し、複数の鼻紋画像の特徴量に基づいて、複数の鼻紋画像を照合し、その照合の結果を出力する。

本発明の鼻紋照合プログラムは、予め撮影された複数の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークに対して、任意の顔を撮影した顔画像を入力することによって顔画像に含まれる鼻紋の位置を推定するステップと、推定した鼻紋の位置に基づいて鼻紋領域を特定し、その特定した鼻紋領域の鼻紋画像を抽出するステップと、予め取得された複数の鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークに対して、照合される複数の鼻紋画像を入力することによって、複数の鼻紋画像の特徴量を取得するステップと、複数の鼻紋画像の特徴量に基づいて、複数の鼻紋画像を照合し、その照合の結果を出力するステップとをコンピュータに実行させる。

本発明の鼻紋照合装置および方法並びにプログラムによれば、鼻紋検出用ニューラルネットワークを用いて顔画像に含まれる鼻紋の位置を推定するとともに、鼻紋画像分類用ニューラルネットワークを用いて複数の鼻紋画像の特徴量を取得し、その取得した複数の鼻紋画像の特徴量に基づいて、複数の鼻紋画像を照合するようにしたので、すなわち鼻紋位置の推定と鼻紋画像の特徴量の取得との２段階でニューラルネットワークを用いて鼻紋画像の照合を行うようにしたので、鼻紋画像の照合を高精度に行うことができる。

本発明の鼻紋照合装置の一実施形態を用いた鼻紋照合システムの概略構成を示すブロック図 鼻紋検出用ニューラルネットワークに入力される牛の顔画像の一例を示す図 図１に示す鼻紋照合システムの処理の流れを示すフローチャート

以下、本発明の鼻紋照合装置の一実施形態を用いた鼻紋照合システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の鼻紋照合システム１の概略構成図である。

本実施形態の鼻紋照合システム１は、図１に示すように、鼻紋照合装置１０と、撮影装置２０と、表示装置３０とを備えている。鼻紋照合装置１０と撮影装置２０および表示装置３０との間は、有線または無線によって通信可能に接続されており、種々の信号のやり取りが可能に構成されている。

本実施形態の鼻紋照合装置１０は、牛の顔を撮影した顔画像を複数受け付け、その複数の顔画像から鼻紋を含む鼻紋画像をそれぞれ抽出し、これらの鼻紋画像を照合することによって、同じ牛の鼻紋画像であるか否かを判定可能とする。

鼻紋照合装置１０は、図１に示すように、鼻紋位置推定部１１と、鼻紋画像抽出部１２と、鼻紋画像特徴量取得部１３と、鼻紋画像照合部１４とを備えている。

鼻紋照合装置１０は、たとえばコンピュータから構成されるものであり、ＣＰＵ（Central Processing Unit）、半導体メモリおよびハードディスクなどの記憶媒体並びに通信Ｉ／Ｆなどを備えている。

鼻紋照合装置１０の半導体メモリまたはハードディスクには、本発明の鼻紋照合プログラムの一実施形態がインストールされている。そして、この鼻紋照合プログラムが、ＣＰＵによって実行されることによって、上述した鼻紋位置推定部１１、鼻紋画像抽出部１２、鼻紋画像特徴量取得部１３および鼻紋画像照合部１４が機能する。

なお、本実施形態においては、上述した各部の機能を全て鼻紋照合プログラムによって実行するようにしたが、これに限らず、一部または全部の機能をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路などのハードウェアから構成するようにしてもよい。

鼻紋位置推定部１１は、任意の牛の顔を撮影した顔画像を受け付け、その顔画像に含まれる牛の鼻紋の位置を推定する。具体的には、本実施形態の鼻紋位置推定部１１は、予め撮影された複数の牛の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークを記憶する。鼻紋検出用ニューラルネットワークとしては、ＶＧＣ１６、ＲｅｓＮｅｔ、ＳＥＮｅ、Ｄａｒｋｎｅｔなどの構造を有する畳み込みニューラルネットワークを用いることができる。

図２は、上述した鼻紋検出用ニューラルネットワークに入力される牛の顔画像の一例を示す図である。図２に示すように、牛の顔画像には、鼻紋の位置情報を示す指標として、たとえば矩形のマークが付される。鼻紋検出用ニューラルネットワークには、上述した矩形のマークが付された牛の顔画像が多数入力されて機械学習が行われる。

矩形マークとしては、鼻紋の全部または一部を囲む矩形マークであることが好ましい。鼻紋の全部を囲む矩形マークとしては、鼻紋の外周を円または楕円で囲んだ場合に、その円または楕円に接する矩形マークを用いることができる。また、鼻紋の一部を囲む矩形マークとしては、たとえば鼻紋の中心近傍を囲む矩形マークを用いることができる。なお、鼻紋を囲むマークの形状は矩形に限らず、円、楕円またはその他の多角形でもよい。

また、牛の顔画像としては、牛がカメラなどの撮影装置に向かって正面を向いている顔画像に限らず、その他の方向を向いている顔画像も含まれていることが好ましい。ただし、その他の方向を向いている顔画像には、上記矩形マークが必ず含まれているものとする。

上述したように正面以外の方向を向いている顔画像も含めて機械学習を行うことによって、たとえば照合対象の顔画像が正面以外の方向を向いて撮影された顔画像であっても、鼻紋の位置を適切に推定することができる。

そして、鼻紋位置推定部１１は、上述した鼻紋検出用ニューラルネットワークに対して、任意の牛の顔を撮影した顔画像を入力することによって、その顔画像に含まれる牛の鼻紋の位置を推定する。具体的には、鼻紋位置推定部１１は、入力された顔画像に含まれる鼻紋の位置を示す矩形を推定し、その矩形の位置情報を鼻紋画像抽出部１２に出力する。

鼻紋画像抽出部１２は、鼻紋位置推定部１１によって推定された鼻紋の位置に基づいて鼻紋領域を特定し、その特定した鼻紋領域の鼻紋画像を抽出する。具体的には、本実施形態の鼻紋画像抽出部１２は、鼻紋位置推定部１１によって推定された鼻紋の位置を示す矩形内の画像を鼻紋画像として抽出する。なお、顔画像から抽出する鼻紋画像の範囲としては、これに限らず、上記矩形の範囲を基準として、大きめに抽出したり、小さめに抽出したりするようにしてもよい。

鼻紋画像特徴量取得部１３は、鼻紋画像抽出部１２によって抽出された複数の鼻紋画像を受け付け、その複数の鼻紋画像の特徴量を取得する。具体的には、本実施形態の鼻紋画像特徴量取得部１３は、予め取得された複数の鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークを記憶する。鼻紋画像分類用ニューラルネットワークとしては、ＶＧＣ１６、ＲｅｓＮｅｔ、ＳＥＮｅ、Ｄａｒｋｎｅｔなどの構造を有する畳み込みニューラルネットワークを用いることができる。

そして、本実施形態の鼻紋画像特徴量取得部１３は、鼻紋画像分類用ニューラルネットワークに対して鼻紋画像を入力し、鼻紋画像を低次元の特徴ベクトルに変換する。すなわち鼻紋画像のエンコードを行って特徴ベクトルに変換する。具体的には、鼻紋画像分類用ニューラルネットワークの中間層の出力を取り出すことによって、鼻紋画像の特徴ベクトルを取得する。

本実施形態では、鼻紋画像特徴量取得部１３に対して、複数の鼻紋画像を入力し、各鼻紋画像の特徴ベクトルを取得する。

鼻紋画像照合部１４は、鼻紋画像特徴量取得部１３によって取得された複数の鼻紋画像の特徴ベクトルに基づいて、複数の鼻紋画像を照合し、その照合の結果を出力する。具体的には、本実施形態の鼻紋画像照合部１４は、２つの鼻紋画像の照合処理として、２つの鼻紋画像の特徴ベクトルの類似度を算出する。類似度の算出方法としては、たとえば２つの特徴ベクトルのユークリッド距離や、コサイン類似度を算出する。このように、複数の鼻紋画像の特徴ベクトルの類似度を算出することによって、複数の鼻紋画像の照合を高精度に行うことができる。

そして、鼻紋画像照合部１４は、算出した類似度に基づいて、照合の結果を出力する。照合結果の出力方法としては、たとえば類似度自体を出力するようにしてもよいし、類似度が、予め設定された閾値以上であるか否かを判定し、閾値以上であれば「照合成立」の情報を出力し、閾値未満であれば「照合不成立」の情報を出力するようにしてもよい。

撮影装置２０は、カメラなどを備えたものであり、照合対象の牛の顔を撮影し、その撮影された顔画像を鼻紋照合装置１０に出力する。

表示装置３０は、液晶ディスプレイなどの表示デバイスを備えたものであり、ユーザに対して種々の情報を提示する。具体的には、本実施形態の表示装置３０は、鼻紋照合装置１０に入力された牛の顔画像、鼻紋画像抽出部１２によって抽出された鼻紋画像および鼻紋画像照合部１４から出力された照合結果を表示する。

また、鼻紋照合装置１０、撮影装置２０および表示装置３０を、カメラ機能を有するタブレット端末によって構成するようにしてもよい。

次に、本実施形態の鼻紋照合システム１の処理の流れについて、図３に示すフローチャートを参照しながら、より詳細に説明する。

まず、撮影装置２０を用いて照合対象の牛の顔画像が撮影され、その撮影された顔画像が、鼻紋照合装置１０に入力される（Ｓ１０）。

鼻紋照合装置１０に入力された顔画像は、上述した鼻紋検出用ニューラルネットワークに対して入力され、その顔画像に含まれる牛の鼻紋の位置が推定される（Ｓ１２）。

次いで、その推定された牛の鼻紋の位置に基づいて鼻紋領域が特定され、その特定された鼻紋領域の鼻紋画像が顔画像から抽出される（S１４）。

抽出された鼻紋画像は、上述した鼻紋画像分類用ニューラルネットワークに入力され、エンコードが行われて特徴ベクトルが取得される（Ｓ１６）。

そして、今回撮影された牛の顔画像から取得された鼻紋画像の特徴ベクトルと、以前に撮影された牛の顔画像に基づいて、上述したＳ１０〜Ｓ１６と同様の処理を行うことによって取得された鼻紋画像の特徴ベクトルとの類似度が算出されることによって照合処理が行われる（Ｓ１８）。

そして、照合結果が表示装置３０に表示されることによって、ユーザに提示される（Ｓ２０）。

上記実施形態の鼻紋照合システムによれば、鼻紋検出用ニューラルネットワークを用いて顔画像に含まれる鼻紋の位置を推定するとともに、鼻紋画像分類用ニューラルネットワークを用いて複数の鼻紋画像の特徴量を取得し、その取得した複数の鼻紋画像の特徴量に基づいて、複数の鼻紋画像を照合するようにしたので、すなわち鼻紋位置の推定と鼻紋画像の特徴量の取得との２段階のニューラルネットワークを用いて鼻紋画像の照合を行うようにしたので、鼻紋画像の照合を高精度に行うことができる。

なお、上記実施形態の説明では、２つの牛の顔画像の照合を行うようにしたが、これに限らず、複数の牛の顔画像を予め記憶しておき、今回撮影した牛の顔画像から取得された鼻紋画像の特徴ベクトルと、予め記憶された複数の顔画像から取得された複数の鼻紋画像の特徴ベクトルとをそれぞれ照合するようにしてもよい。

そして、予め記憶された複数の牛の顔画像の中から、今回撮影された牛と同一の牛の顔画像を特定することによって、今回撮影された牛を特定するようにしてもよい。

また、上記実施形態の鼻紋照合システム１では、牛の鼻紋の照合を行うようにしたが、牛に限らず、たとえば犬や猫などといったその他の生物の鼻紋の照合を行うようにしてもよい。

１ 鼻紋照合システム
１０ 鼻紋照合装置
１１ 鼻紋位置推定部
１２ 鼻紋画像抽出部
１３ 鼻紋画像特徴量取得部
１４ 鼻紋画像照合部
２０ 撮影装置
３０ 表示装置

Claims (8)

1. 予め撮影された複数の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークに対して、第１の顔画像と第２の顔画像を入力することによって前記第１の顔画像と前記第２の顔画像に含まれる鼻紋の位置をそれぞれ推定する鼻紋位置推定部と、
   前記鼻紋位置推定部によって推定された鼻紋の位置に基づいて、前記第１の顔画像と前記第２の顔画像に含まれる鼻紋領域をそれぞれ特定し、前記第１の顔画像の鼻紋領域の第１の鼻紋画像を抽出するとともに、前記第２の顔画像の鼻紋領域の第２の鼻紋画像を抽出する鼻紋画像抽出部と、
   予め取得された複数の鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークに対して、照合対象の前記第１の鼻紋画像と前記第２の鼻紋画像を入力することによって、前記第１の鼻紋画像の第１の特徴量と前記第２の鼻紋画像の第２の特徴量を取得する鼻紋画像特徴量取得部と、
   前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の鼻紋画像と前記第２の鼻紋画像を照合し、該照合の結果を出力する鼻紋画像照合部とを備えた鼻紋照合装置。
2. 前記鼻紋画像特徴量取得部が、前記第１の特徴量および前記第２の特徴量として特徴ベクトルを取得する請求項１記載の鼻紋照合装置。
3. 前記鼻紋画像照合部が、前記第１の鼻紋画像の特徴ベクトルと前記第２の鼻紋画像の特徴ベクトルに基づいて、前記第１の鼻紋画像と前記第２の鼻紋画像の類似度を算出する請求項１または２記載の鼻紋照合装置。
4. 前記鼻紋検出用ニューラルネットワークが、前記予め撮影された複数の顔画像に対して、前記鼻紋の全部または一部を囲むマークを付した画像が入力されて機械学習されたものである請求項１から３いずれか１項記載の鼻紋照合装置。
5. 前記予め撮影された複数の顔画像が、顔を正面方向以外の方向から撮影した顔画像であって、前記鼻紋の全部または一部を囲むマークが付された顔画像を含む請求項４記載の鼻紋照合装置。
6. 前記鼻紋が、牛の鼻紋である請求項１から５いずれか１項記載の鼻紋照合装置。
7. 予め撮影された複数の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークに対して、第１の顔画像と第２の顔画像を入力することによって前記第１の顔画像と前記第２の顔画像に含まれる鼻紋の位置をそれぞれ推定し、
   該推定した鼻紋の位置に基づいて、前記第１の顔画像と前記第２の顔画像に含まれる鼻紋領域をそれぞれ特定し、前記第１の顔画像の鼻紋領域の第１の鼻紋画像を抽出するとともに、前記第２の顔画像の鼻紋領域の第２の鼻紋画像を抽出し、
   予め取得された複数の鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークに対して、照合対象の前記第１の鼻紋画像と前記第２の鼻紋画像を入力することによって、前記第１の鼻紋画像の第１の特徴量と前記第２の鼻紋画像の第２の特徴量を取得し、
   前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の鼻紋画像と前記第２の鼻紋画像を照合し、該照合の結果を出力する鼻紋照合方法。
8. 予め撮影された複数の顔画像に含まれる鼻紋の位置情報を用いて機械学習された鼻紋検出用ニューラルネットワークに対して、第１の顔画像と第２の顔画像を入力することによって前記第１の顔画像と前記第２の顔画像に含まれる鼻紋の位置をそれぞれ推定するステップと、
   該推定した鼻紋の位置に基づいて、前記第１の顔画像の鼻紋領域と前記第２の顔画像に含まれる鼻紋領域をそれぞれ特定し、前記第１の顔画像の鼻紋領域の第１の鼻紋画像を抽出するとともに、前記第１の顔画像の鼻紋領域の第２の鼻紋画像を抽出するステップと、
   予め取得された複数の前記鼻紋画像を用いて機械学習された鼻紋画像分類用ニューラルネットワークに対して、照合対象の前記第１の鼻紋画像と前記第２の鼻紋画像を入力することによって、前記第１の鼻紋画像の第１の特徴量と前記第２の鼻紋画像の第２の特徴量を取得するステップと、
   前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の鼻紋画像と前記第２の鼻紋画像を照合し、該照合の結果を出力するステップとをコンピュータに実行させる鼻紋照合プログラム。