JP7403562B2 - スラップ／指前景マスクを生成するための方法 - Google Patents

Description

本発明は、少なくともフラッシュ光を有する非接触指紋リーダを使用して獲得される画像上の指紋の後続の画像処理のために使用されることになる、スラップ／指前景マスクを生成するための方法に関する。

本発明は、また、少なくとも非接触指紋リーダに接続された、非接触獲得指紋画像プロセッサに関し、非接触指紋リーダは、少なくともフラッシュ光を有し、前記方法を実現して、ユーザの指紋の獲得のために、フラッシュ光ありで、またはなしで、リーダの近傍における非接触位置におけるスラップ／指の画像を獲得するように構成される。

伝統的な接触手法によって、指紋は、記録媒体またはデバイス、例えば、インク、光学センサ、または電子センサ上への指の直接的な跡によって捕捉される。より高速の捕捉速度、および、より良好なユーザエクスペリエンスに対する増大する要望によって、非接触指紋デバイスが、バイオメトリクス市場に導入されている。本発明は、非接触指紋画像のための適応的背景差分の新規の方法および装置に関する。

より具体的には、非接触指紋画像は、非接触指紋リーダによって捕捉される。リーダとタッチするスラップ／指を捕捉するのみである、伝統的な接触指紋リーダとは違い、非接触指紋リーダは、デバイスの上方に提示されるスラップ／指全体の写真を取り込む。それゆえに、捕捉される写真は、非接触指紋リーダからの写真的表現の性質に起因して、前景としてのスラップ／指、ならびに、背景としての、スラップ／指の背後のシーン、およびノイズの両方を含む。捕捉される画像において、スラップ／指、すなわち前景の場所を識別するために、背景シーンおよびノイズは、除去されることを必要とする。

非接触指紋画像において、背景差分は、次の理由で、より難題になる：
１．通常は、同じスラップ／指に対して捕捉される１つの単一の画像のみが存し、そのことによって、画像のシーケンスを要する伝統的な統計的背景モデリングが作動しないことになる、
２．動的な、および強い背景シーン／ノイズ、例えば、強い背景光の存在が、画像において顕著であることがあり、そのことが、前景指を隠すことさえある、
３．捕捉される画像からの照明／明るさが、均一に分布しておらず、そのことによって、前景スラップ／指が、可変のグレースケールを伴い、一方で、それらの前景スラップ／指の位置は、異なる被写体にわたって変動する。

背景差分は、多くの画像処理およびコンピュータビジョンのアプリケーションまたはシステムの基本的なステップである。過去数十年において、様々な方法が、背景シーンから前景物体についてセグメンテーションを行うために、背景差分において提案されてきた。アプリケーションの１つの典型的な部類において、前景は、物体を伴うフレームと、背景を伴わないフレームとの間の差を算出することによって識別される。代表的なアプリケーションの他のタイプにおいて、想定は、背景が、統計的にモデリングされ、画像のシーケンスに基づいて更新され得るということである。

それらの一般的な技法は、例えば、以下の文書において説明されている：
・米国特許第６４１１７４４Ｂ１号「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｐｅｒｆｏｒｍｉｎｇ ａ ｃｌｅａｎ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」．
・Ａｈｍｅｄ Ｍ．Ｅｌｇａｍｍａｌ、Ｄａｖｉｄ Ｈａｒｗｏｏｄ、およびＬａｒｒｙ Ｓ．Ｄａｖｉｓ．「Ｎｏｎ－ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」．於Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」、２０００．
・米国特許第５７４８７７５Ａ号「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｅｘｔｒａｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」
・Ｍ．Ｐｉｃｃａｒｄｉ、「Ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ：ａ ｒｅｖｉｅｗ」２００４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍｓ、Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ
・Ｚ．Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００４
・Ｓｏｂｒａｌ，Ａｎｄｒｅｗｓ ＆ Ｖａｃａｖａｎｔ，Ａｎｔｏｉｎｅ．「Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｒｅｖｉｅｗ ｏｆ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｅｖａｌｕａｔｅｄ ｗｉｔｈ ｓｙｎｔｈｅｔｉｃ ａｎｄ ｒｅａｌ ｖｉｄｅｏｓ」．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、２０１４
・Ｓ．Ｌｉａｏ、Ｇ．Ｚｈａｏ、Ｖ．Ｋｅｌｌｏｋｕｍｐｕ、Ｍ．ＰｉｅｔｉｋａｉｎｅｎおよびＳ．Ｚ．Ｌｉ、「Ｍｏｄｅｌｉｎｇ ｐｉｘｅｌ ｐｒｏｃｅｓｓ ｗｉｔｈ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｌｏｃａｌ ｐａｔｔｅｒｎｓ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｉｎ ｃｏｍｐｌｅｘ ｓｃｅｎｅｓ」、２０１０ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｓａｎ Ｆｒａｎｃｉｓｃｏ、ＣＡ、２０１０
・Ｗ．ＫｉｍおよびＣ．Ｋｉｍ、「Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ｆｏｒ Ｄｙｎａｍｉｃ Ｔｅｘｔｕｒｅ Ｓｃｅｎｅｓ Ｕｓｉｎｇ Ｆｕｚｚｙ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍｓ」、於ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ、第１９巻、第３号、１２７－１３０頁、２０１２年３月．
・Ｄａｒ－Ｓｈｙａｎｇ Ｌｅｅ、「Ｅｆｆｅｃｔｉｖｅ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｖｉｄｅｏ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」、於ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２７巻、第５号、８２７－８３２頁、２００５年５月．
・Ｊ．ＹａｏおよびＪ．Ｏｄｏｂｅｚ、「Ｍｕｌｔｉ－Ｌａｙｅｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｃｏｌｏｒ ａｎｄ Ｔｅｘｔｕｒｅ」、２００７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｍｉｎｎｅａｐｏｌｉｓ、ＭＮ、２００７
・Ｋ．Ｓｈａｆｉｑｕｅ、Ｏ．ＪａｖｅｄおよびＭ．Ｓｈａｈ、「Ａ Ｈｉｅｒａｒｃｈｉｃａｌ Ａｐｐｒｏａｃｈ ｔｏ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ｕｓｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｇｒａｄｉｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ」、Ｍｏｔｉｏｎ ａｎｄ Ｖｉｄｅｏ Ｃｏｍｐｕｔｉｎｇ、ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ （ＭＯＴＩＯＮ）、Ｏｒｌａｎｄｏ、Ｆｌｏｒｉｄａ、２００２。

しかしながら、非接触指紋識別システムにおいて、両方の手法は、統計的モデリングのための画像シーケンスを捕捉するために難題になり、背景シーンは、また、時間ごとに変動することがある。それゆえに、非接触指紋識別システムに関する新しい手法に対する必要性が存する。

さらなる代替的な、および有利な解決策が、よって、当技術分野において望ましいことになる。

米国特許第６４１１７４４号明細書 米国特許第５７４８７７５号明細書

Ａｈｍｅｄ Ｍ．Ｅｌｇａｍｍａｌ、Ｄａｖｉｄ Ｈａｒｗｏｏｄ、およびＬａｒｒｙ Ｓ．Ｄａｖｉｓ．「Ｎｏｎ－ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」．於Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」、２０００ Ｍ．Ｐｉｃｃａｒｄｉ、「Ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ：ａ ｒｅｖｉｅｗ」２００４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍｓ、Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ Ｚ．Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００４ Ｓｏｂｒａｌ，Ａｎｄｒｅｗｓ ＆ Ｖａｃａｖａｎｔ，Ａｎｔｏｉｎｅ．「Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｒｅｖｉｅｗ ｏｆ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｅｖａｌｕａｔｅｄ ｗｉｔｈ ｓｙｎｔｈｅｔｉｃ ａｎｄ ｒｅａｌ ｖｉｄｅｏｓ」．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、２０１４ Ｓ．Ｌｉａｏ、Ｇ．Ｚｈａｏ、Ｖ．Ｋｅｌｌｏｋｕｍｐｕ、Ｍ．ＰｉｅｔｉｋａｉｎｅｎおよびＳ．Ｚ．Ｌｉ、「Ｍｏｄｅｌｉｎｇ ｐｉｘｅｌ ｐｒｏｃｅｓｓ ｗｉｔｈ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｌｏｃａｌ ｐａｔｔｅｒｎｓ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｉｎ ｃｏｍｐｌｅｘ ｓｃｅｎｅｓ」、２０１０ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｓａｎ Ｆｒａｎｃｉｓｃｏ、ＣＡ、２０１０ Ｗ．ＫｉｍおよびＣ．Ｋｉｍ、「Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ｆｏｒ Ｄｙｎａｍｉｃ Ｔｅｘｔｕｒｅ Ｓｃｅｎｅｓ Ｕｓｉｎｇ Ｆｕｚｚｙ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍｓ」、於ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ、第１９巻、第３号、１２７－１３０頁、２０１２年３月 Ｄａｒ－Ｓｈｙａｎｇ Ｌｅｅ、「Ｅｆｆｅｃｔｉｖｅ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｖｉｄｅｏ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」、於ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２７巻、第５号、８２７－８３２頁、２００５年５月 Ｊ．ＹａｏおよびＪ．Ｏｄｏｂｅｚ、「Ｍｕｌｔｉ－Ｌａｙｅｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｃｏｌｏｒ ａｎｄ Ｔｅｘｔｕｒｅ」、２００７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｍｉｎｎｅａｐｏｌｉｓ、ＭＮ、２００７ Ｋ．Ｓｈａｆｉｑｕｅ、Ｏ．ＪａｖｅｄおよびＭ．Ｓｈａｈ、「Ａ Ｈｉｅｒａｒｃｈｉｃａｌ Ａｐｐｒｏａｃｈ ｔｏ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ｕｓｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｇｒａｄｉｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ」、Ｍｏｔｉｏｎ ａｎｄ Ｖｉｄｅｏ Ｃｏｍｐｕｔｉｎｇ、ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ （ＭＯＴＩＯＮ）、Ｏｒｌａｎｄｏ、Ｆｌｏｒｉｄａ、２００２

本発明は、非接触指紋識別システムの特定の分野における背景差分のための新しい手法を提案することを目指す。

本発明は、その最も広範な意味において、少なくともフラッシュ光を有する非接触指紋リーダを使用して獲得される画像上の指紋の後続の画像処理のために使用されることになる、スラップ／指前景マスクを生成するための方法であって、以下のステップ：
－ リーダの近傍における非接触位置におけるスラップ／指の２つの画像の獲得であって、１つの画像がフラッシュ光オンで取り込まれ、１つの画像がフラッシュ光なしで取り込まれる、２つの画像の獲得、
－ フラッシュ光ありで獲得される画像と、フラッシュ光なしで獲得される画像との間の差マップの算出、
－ 画像の各々の画素に対する適応的２値化しきい値の算出であって、各々の画素に対するしきい値は差マップにおける対応する値であり、差マップにおける対応する値に対して、この対応する値に、対応するフラッシュ光補償因子値を乗算したものが減算され、対応するフラッシュ光補償因子値は、フラッシュ光ありで獲得される非反射性白ターゲット（ｎｏｎ－ｒｅｆｌｅｃｔｉｖｅ ｂｌａｎｋ ｔａｒｇｅｔ）の画像を使用して、フラッシュ光補償因子マップにおいて決定され、また、差マップにおける対応する値に対して、この対応する値に、対応する背景向上因子値（ｂａｃｋｇｒｏｕｎｄ ｅｎｈａｎｃｅｍｅｎｔ ｆａｃｔｏｒ ｖａｌｕｅ）を乗算したものが加算され、背景向上因子値は、フラッシュ光なしで獲得される画像を使用して、背景向上因子マップにおいて決定される、適応的２値化しきい値の算出、
適応的２値化しきい値の値が差マップにおける対応する値よりも高い画素に第１の値を、また、適応的２値化しきい値の値が差マップにおける対応する値よりも低い画素に第２の値を帰属させることによる、差マップの２値化であって、２値化された画像は、スラップ／指前景マスクである、差マップの２値化
を含む、方法と定義される。

本発明のおかげで、有効前景、すなわち、スラップ／指領域が、異なる領域の間の差を適応的に算出することによって識別および抽出され得る。抽出される、クリーンな前景は、次いで、非接触指紋識別システムにおいて先進的な指紋処理タスクのために使用され得る、前景マスクによって表される。

本発明は、非接触指紋識別システムのハードウェアおよびソフトウェアの両方の能力を組み合わせる、無類の、および効率的な解決策である。本発明は、２つの画像、および、問題を解決するための最小限のハードウェアセットアップを必要とするのみである。ハードウェアの見地において、本発明は、同じ被写体に対する２つの画像を受け取り、一方は、フラッシュ光オンでのものであり、他方は、フラッシュ光オフでのものであり、次いで、装置は、捕捉された画像を、送信、処理、および保存することができる。ソフトウェアの見地において、提案されるアルゴリズムは、２つの捕捉された画像に基づいて前景エリアと背景エリアとの間の差を適応的に算出し、次いで、スラップ／指に対する正確な前景マスクを生成することができる。

機能性の見地において、本発明は、様々なシナリオに対処し、それらのシナリオによって、非接触指紋識別システムは、異なる場所において、よりロバストに作動することができる。性能の見地において、本発明は、前景スラップ／指エリアを正確に識別するのみではなく、また、伝統的な背景モデリング技法の速度を高め、そのことは、非接触指紋識別システムの性能を大いに改善する。コストの見地において、本発明は、雑然とした背景シーンおよびノイズを除去するための、より精巧化された視認窓およびカバーを要する製品設計の負担を軽減する。事業の必要性の見地において、本発明は、顧客に対する核となる特徴のうちの１つである。

有利には、方法は、２値化された画像におけるノイズ除去のステップをさらに含む。

本発明の特定の特徴によれば、フラッシュ光補償因子が、非反射性白ターゲットの画像において取得されるような画素の基準照明値で除算された、画素の標準照明値によって、各々の画素に対して規定され、この画像が、基準画像である。

本発明の別の特定の特徴によれば、背景向上因子が、異なる被写体に対するフラッシュ光オンでのスラップ／指の明るさの平均で除算される、フラッシュ光オフでの画像における背景の明るさによって、各々の画素に対して規定される。

本発明は、また、少なくとも非接触指紋リーダに接続された、非接触獲得指紋画像プロセッサであって、非接触指紋リーダは、少なくともフラッシュ光を有し、ユーザの指紋の獲得のために、フラッシュ光ありで、またはなしで、リーダの近傍における非接触位置におけるスラップ／指の画像を獲得するように構成され、前記プロセッサは、指紋の後続の画像処理のために使用されることになる、スラップ／指前景マスクを生成するように構成され、前記プロセッサは、リーダの近傍における非接触位置におけるスラップ／指の２つの画像を受け取ることであって、１つの画像がフラッシュ光オンで取り込まれ、１つの画像がフラッシュ光なしで取り込まれる、受け取ることを行うときに、フラッシュ光ありで獲得された画像と、フラッシュ光なしで獲得された画像との間の差マップを算出し、画像の各々の画素に対する適応的２値化しきい値を算出するように構成され、各々の画素に対するしきい値は差マップにおける対応する値であり、差マップにおける対応する値に対して、この対応する値に、対応するフラッシュ光補償因子値を乗算したものが減算され、対応するフラッシュ光補償因子値は、フラッシュ光ありで獲得された非反射性白ターゲットの画像を使用して、フラッシュ光補償因子マップにおいて決定され、また、差マップにおける対応する値に対して、この対応する値に、対応する背景向上因子値を乗算したものが加算され、対応する背景向上因子値は、フラッシュ光なしで獲得された画像を使用して、背景向上因子マップにおいて決定され、前記プロセッサは、適応的２値化しきい値の値が差マップにおける対応する値よりも高い画素に第１の値を、および、適応的２値化しきい値の値が差マップにおける対応する値よりも低い画素に第２の値を帰属させることによる、差マップを２値化するようにさらに構成され、結果的に生じる２値化された画像は、非接触指紋リーダを使用して獲得される画像上の指紋の後続の画像処理のために使用されることになる、スラップ／指前景マスクである、非接触獲得指紋画像プロセッサに関する。

有利には、プロセッサが、２値化された画像からノイズを除去するようにさらに構成される。

そのプロセッサが、さらには、非反射性白ターゲットの画像において取得されるような、画素の基準照明値で除算された画素の標準照明値として、各々の画素に対して、フラッシュ光補償因子を規定するように有利に構成され、この画像が、基準画像である。

前記プロセッサが、また、異なる被写体に対するフラッシュ光オンでのスラップ／指の明るさの平均で除算された、フラッシュ光オフでの画像における背景の明るさとして、各々の画素に対して、背景向上因子を規定するようにさらに有利に構成される。

上述の、および関係付けられる最終目標の達成のために、１つ以上の実施形態は、本明細書において以降で十二分に説明され、特許請求の範囲において特に指摘される、特徴を含む。

以下の説明、および、添付される図面は、所定の例解的な態様を詳細に明らかにし、実施形態の原理が用いられ得る、ごく少数の様々な方法を指し示す。他の利点、および、新規の特徴は、図面と関連して考察されるときに、以下の詳細な説明から明白になることになり、開示される実施形態は、すべてのそのような態様、および、それらの態様の均等を含むことが意図される。

本発明が実現される環境の概略線図である。 本発明の非接触指紋画像のための背景差分方法のフローチャートを示す図である。 フラッシュオン／オフ画像差マップ算出を示す図である。 フラッシュ光向上因子マップ算出のフローチャートを示す図である。 背面光向上因子マップ算出のフローチャートを示す図である。 本発明の差マップに対する適応的しきい値処理を例解する図である。 ノイズ除去、および、最終的なスラップ／指マスク生成を示す図である。

本発明のより徹底した理解のために、本発明は、今から、付随する図面を参照して詳細に説明されることになる。詳細な説明は、本発明の好ましい実施形態と考えられるものを例解および説明することになる。形式または詳細における様々な修正および変更が、本発明の趣旨から逸脱することなくたやすく行われ得るということが、当然ながら理解されるべきである。それゆえに、本発明は、本明細書において示され説明されるそのままの形式および詳細にも、本明細書において開示される、および、本明細書において以降で主張されるような、本発明の全体より少ないいかなるものにも、限定され得ないということが意図される。同じ要素は、異なる図面において同じ参照符によって指定されている。明確さのために、本発明の理解に対して有用である要素およびステップのみが、図面において示されており、説明されることになる。

図１は、発明された装置１の概略線図である。その装置１は、３つの主要な構成要素、２つの画像Ｉ／Ｏ機能部１１および１４と、画像プロセッサ１２と、画像メモリ１３とを含む。発明された装置１は、指紋の捕捉物を受け取るために、少なくとも１つの非接触指紋リーダ１０に接続される。

かくして、本発明によれば、画像Ｉ／Ｏ機能部１１は、非接触指紋リーダ１０から、フラッシュを当てられたスラップ／指画像、および、フラッシュを当てられないスラップ／指画像の両方を含む、未加工の非接触スラップ／指画像を受け取る。それらの画像は、図３上で示される。

画像Ｉ／Ｏ機能部１１は、次いで、画像プロセッサ１２に、および、画像メモリ１３に画像を送信する。その画像Ｉ／Ｏ機能部１１は、また、適用できる場合、非接触指紋識別システムの他の構成要素に、処理された画像を出力することができる。

画像プロセッサ１２は、受け取られた画像を処理する一方で、本発明を実現する。本発明の方法の終了において、正確な前景スラップ／指マスクが生成される。

ＲＯＭおよびＲＡＭメモリを含む画像メモリストレージ１３は、捕捉または処理された画像を保存することができる。

図２は、本発明の非接触指紋画像のための背景差分方法のフローチャートを示す。第１に、２つのスラップ／指画像が、ステップＳ０において、同じ被写体に対して非接触指紋スキャナ１０から受け取られ、一方は、フラッシュ光オンで捕捉され、他方は、フラッシュ光オフで捕捉される。

第２に、ステップＳ１において、２つの画像の間の差が算出され、差マップが生成される。第３に、不均一なフラッシュ光、および、背景ノイズに起因して、差マップが、ステップＳ２において、適応的しきい値処理を使用して適応的に２値化される。初期前景マスクが、かくして生成される。第４に、ステップＳ３において、モルフォロジカル演算が、ランダムノイズおよび構造ノイズを除去するために、初期前景マップに適用される。最終的に、最終的な正確なスラップ／指マスクが、ステップＳ４において生成される。

図３は、フラッシュオン／オフ画像差マップ算出によって、画像の初期前景マップを生成する方策を例解する例である。非接触指紋スキャナ１１から受け取られ、一方がフラッシュオンでのものＩＦであり、他方がフラッシュオフでのものＩＮＦである、２つの画像が、１０ｍｓ未満の間隔を伴って連続的に捕捉される。このこと、すなわち、２つの画像ＩＦおよびＩＮＦの間のスラップ／指の動きが存しないということが、かくして想定される。２つの画像ＩＦおよびＩＮＦの間の差は、フラッシュ光によって照らされ得る一部分、および、ノイズであることになる。

背景シーンは、通常は、フラッシュ光の範囲を超えているので、照らされた被写体は、スラップ／指、および、スキャナそれ自体のいくつかの部分を含む。照らされたスラップ／指の特有のパターンに基づいて、初期前景マップ、すなわち、スラップ／指が、２つの画像ＩＦおよびＩＮＦの間の差を算出することによって生成され得る。図３上で示されるように、差マップＤＭが取得される。

前景マップが、以下の式：ＩＤ（ｘ，ｙ）＝｜ＩＦ（ｘ，ｙ）－ＩＮＦ（ｘ，ｙ）｜によって、フラッシュを当てられた画像と、フラッシュを当てられない画像との間のあらゆる画素のグレースケール差を算出することによって、本発明によって生成され、ただし、ＩＦ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるフラッシュを当てられた画像の画素値であり、ＩＮＦ（ｘ，ｙ）は、同じ位置におけるフラッシュを当てられない画像の画素値であり、ＩＤ（ｘ，ｙ）は、２つの画像ＩＦおよびＩＮＦの間の絶対差である。

図４は、フラッシュを当てられたスラップ／指画像ＩＦにおいて、不均一に分布したフラッシュ光を補償する方策を例解する、フラッシュ光向上因子マップ算出のフローチャートである。ハードウェア限界に起因して、スラップ／指画像におけるフラッシュ光は、均一に分布しておらず、画像中心は、最も強いフラッシュ光を受け取り、フラッシュ光の強度は、画像中心から画像端部への方向に沿って減少する。しかしながら、スラップ／指の物理的形状および場所は、画像におけるすべてのエリアが、とりわけ、指が位置する公算がより大きい、画像ＩＦの端部に沿って、均一に照明されるということを要する。

本発明は、補償因子の算出によって、不均一なフラッシュ光を補償することを提案する。特別な非反射性ターゲットが、非接触獲得デバイス１０の視野を覆うために使用される。

この非反射性ターゲットの画像が、次いで、フラッシュ光分布の基準画像ＩＲとして、フラッシュ光オンで、ステップＣ１において取り込まれる。取得された画像は、次いで、ステップＣ３において画素値マップを取得するために、ステップＣ２において平滑化される。次いで、実際のところはまた画素値マップである、フラッシュ光補償または向上因子マップＦＣＭが、α（ｘ，ｙ）＝ＩＳ（ｘ，ｙ）／ＩＲ（ｘ，ｙ）と、ステップＣ４において定義され、ただし、α（ｘ，ｙ）は、位置（ｘ，ｙ）における画像画素に対するフラッシュ光補償因子であり、ＩＳ（ｘ，ｙ）は、ビネッティング影響を伴わない画像中心エリアにおける平均明るさレベルに等しい、画素（ｘ，ｙ）の標準照明値であり、ＩＲ（ｘ，ｙ）は、同じ位置における基準画素値である。フラッシュ光補償因子マップＦＣＭは、次いで、画像メモリ１３内に保存され、新しい差マップＩＤが修正されることを必要とするときに取り出される。

図５は、背景向上因子マップＢＣＭを取得する方策を例解する、フローチャート、背面光向上因子マップ算出である。前に述べられたように、動的な、および強い背景シーン／ノイズ、例えば、強い背景光の存在が、画像において顕著であり、伝統的な２値化方法が使用されるならば、前景スラップ／指を乱すことがある。本発明によれば、２値化が、捕捉された画像における明るさを適応させるために、２値化のために使用されるしきい値を適応的に増大／減少するように実行される。

背景向上因子マップＢＣＭを決定するために、複数個のサンプル画像が、異なる被写体にわたって、フラッシュオンで、製造の前に取り込まれ、次いで、スラップ／指の明るさが、収集されたサンプル画像に基づいて評価される。複数個の被写体からのスラップ／指の明るさの平均強度は、ＢＦと表象され、そのＢＦは、すべてのデバイスに対してソフトウェア開発キット（ＳＤＫ）において生成および保存される。デバイスの通常の動作の間、すなわち、デバイスが、指紋を捕捉するために現場に設置される間、各々の捕捉に対して、フラッシュ光オフでの画像が、第１のステップＢＣ１において取り込まれる。画像は、ステップＢＣ２においてしきい値処理される。明るさの平均強度は、ＢＮＦ（ｘ，ｙ）と表象される。背景向上因子ＢＣＭが、β（ｘ，ｙ）＝ＢＮＦ（ｘ，ｙ）／ＢＦとして、ステップＢＣ３において定式化される。背景向上因子マップＢＣＭが、かくして、指紋を捕捉することになる、設置されたデバイスに対して取得される。

図６は、差マップに対する適応的しきい値処理、および、いかにより早期に取得される差マップＤＭが初期前景マスクＩＦＭへと変換されるかを示す。３つの入力が、この変換のために使用される。第１のものは、フラッシュオンおよびフラッシュオフ画像の本質的な差マップを示す初期差マップＤＭである。第２のものは、フラッシュ光を補償し、画像端部に沿った、低下したフラッシュ光強度によって導入される不正確さを消失させる、フラッシュ光補償マップＦＣＭである。最後のものは、画像における実在する強い背景を修正した背景向上因子マップＢＣＭである。

次いで、適応的２値化しきい値Ｔが、Ｔ（ｘ，ｙ）＝ＩＤ（ｘ，ｙ）＊（１－α（ｘ，ｙ）＋β（ｘ，ｙ））として、本発明によって定式化される。

初期差マップＩＤが、次いで、次式のように、初期前景マスクＩＦＭへと２値化される：
Ｍ（ｘ，ｙ）＝２５５ Ｔ（ｘ，ｙ）≧ＩＤ（ｘ，ｙ）ならば、および、
０ Ｔ（ｘ，ｙ）＜ＩＤ（ｘ，ｙ）ならば
ただし、Ｍ（ｘ，ｙ）は、図６において示されるように、スラップ／指およびノイズの両方を含む、位置（ｘ，ｙ）における初期前景マスクＩＦＭの画素値である。初期前景マップが生成されると、ランダムノイズおよび構造ノイズを含む、画像において実在するノイズを識別および除去することの必要性が存する。かくして、最終的な前景マスクＦＦＭを生成するためにノイズを除去することの必要性が存する。本発明において、構造およびランダムノイズを除去するためのモルフォロジカル演算が適用される。

実験において、発明者らは、デバイス筐体の少なくとも部分が捕捉される画像において構造ノイズが実在するということを見いだした。また、背景ノイズが、いくらかの追加的なランダムノイズを引き起こし得る。このことは、図６上での右の絵図上で示されるような初期前景マスクＩＦＭ上で認められ得る。

そのことによって、モルフォロジカル演算が、すべてのタイプのノイズを除去するために使用される。最初に、オープニング演算が画像に適用され、そのことが、画像からの小さい物体およびランダムノイズ、例えば、画像におけるデバイス本体を除去し、次いで、クロージング演算が画像に適用され、そのことが、前景における小さい穴を除去し、スラップ／指の縁部を平滑化する。

図７は、ノイズ除去、および、最終的なスラップ／指マスク生成を、ノイズ除去の前および後の比較として示し、結果が、スラップ／指に対する最終的な前景マスクＦＦＭである。最終的なスラップ／指前景マスクＦＦＭが取得されると、そのＦＦＭは、画像メモリ１３内に保存される。かくして取得された最終的な前景マスクＦＦＭは、先進的な非接触指紋処理タスクのために非接触指紋識別システムにおける他のモジュールへの入力として作製される。

上記の詳細な説明において、例解として、本発明が実践され得る特定の実施形態を示す、付随する図面に対する参照が行われている。これらの実施形態は、当業者が本発明を実践することを可能にするために、十分に詳細に説明されている。上記の詳細な説明は、それゆえに、限定的な意味において解されるべきではなく、本発明の範囲は、適切に解釈される、添付される特許請求の範囲によってのみで定義される。

Claims (8)

1. 少なくともフラッシュ光を有する非接触指紋リーダを使用して獲得される画像上の指紋の後続の画像処理のために使用されることになる、スラップ／指前景マスクを生成するための方法であって、非接触指紋リーダによって行われる以下のステップ：
   リーダの近傍における非接触位置におけるスラップ／指の２つの画像の獲得であって、１つの画像がフラッシュ光オンで取り込まれ、１つの画像がフラッシュ光なしで取り込まれる、２つの画像の獲得、
   フラッシュ光ありで獲得された画像と、フラッシュ光なしで獲得された画像との間の差マップの算出、
   画像の各々の画素に対する適応的２値化しきい値の算出であって、各々の画素に対するしきい値は差マップにおける対応する値であり、差マップにおける対応する値に対して、この対応する値に、対応するフラッシュ光補償因子値を乗算したものが減算され、対応するフラッシュ光補償因子値は、フラッシュ光ありで獲得された非反射性白ターゲットの画像を使用して、フラッシュ光補償因子マップにおいて決定され、また、差マップにおける対応する値に対して、この対応する値に、対応する背景向上因子値を乗算したものが加算され、対応する背景向上因子値は、フラッシュ光なしで獲得される画像を使用して、背景向上因子マップにおいて決定される、適応的２値化しきい値の算出、
   適応的２値化しきい値の値が差マップにおける対応する値よりも高い画素に第１の値を、また、適応的２値化しきい値の値が差マップにおける対応する値よりも低い画素に第２の値を帰属させることによる、差マップの２値化であって、２値化された画像は、スラップ／指前景マスクである、差マップの２値化
   を含む、方法。
2. 非接触指紋リーダによって行われる、２値化された画像におけるノイズ除去のステップをさらに含む、請求項１に記載の方法。
3. フラッシュ光補償因子が、画素の標準照明値によって、各々の画素に対して規定され、画素の標準照明値は、非反射性白ターゲットの画像において取得されるような、画素の基準照明値で除算された、ビネッティング影響を伴わない画像中心エリアにおける平均明るさレベルに等しく、この画像が、基準画像である、請求項１または２に記載の方法。
4. 背景向上因子が、異なる被写体に対するフラッシュ光オンでのスラップ／指の明るさの平均で除算された、フラッシュ光オフでの画像における背景の明るさによって、各々の画素に対して規定される、請求項１から３のいずれか一項に記載の方法。
5. 少なくとも非接触指紋リーダに接続された、非接触獲得指紋画像プロセッサであって、非接触指紋リーダは、少なくともフラッシュ光を有し、ユーザの指紋の獲得のために、フラッシュ光ありで、またはなしで、リーダの近傍における非接触位置におけるスラップ／指の画像を獲得するように構成され、前記プロセッサは、指紋の後続の画像処理のために使用されることになる、スラップ／指前景マスクを生成するように構成され、前記プロセッサは、リーダの近傍における非接触位置におけるスラップ／指の２つの画像を受け取ることであって、１つの画像がフラッシュ光オンで取り込まれ、１つの画像がフラッシュ光なしで取り込まれる、受け取ることを行うときに、フラッシュ光ありで獲得された画像と、フラッシュ光なしで獲得された画像との間の差マップを算出し、画像の各々の画素に対する適応的２値化しきい値を算出するように構成され、各々の画素に対するしきい値は差マップにおける対応する値であり、差マップにおける対応する値に対して、この対応する値に、対応するフラッシュ光補償因子値を乗算したものが減算され、対応するフラッシュ光補償因子値は、フラッシュ光ありで獲得された非反射性白ターゲットの画像を使用して、フラッシュ光補償因子マップにおいて決定され、また、差マップにおける対応する値に対して、この対応する値に、対応する背景向上因子値を乗算したものが加算され、対応する背景向上因子値は、フラッシュ光なしで獲得された画像を使用して、背景向上因子マップにおいて決定され、前記プロセッサは、適応的２値化しきい値の値が差マップにおける対応する値よりも高い画素に第１の値を、および、適応的２値化しきい値の値が差マップにおける対応する値よりも低い画素に第２の値を帰属させることによって、差マップを２値化するようにさらに構成され、結果的に生じる２値化された画像は、非接触指紋リーダを使用して獲得された画像上の指紋の後続の画像処理のために使用されることになる、スラップ／指前景マスクである、非接触獲得指紋画像プロセッサ。
6. ２値化された画像からノイズを除去するようにさらに構成される、請求項５に記載の非接触獲得指紋画像プロセッサ。
7. 非反射性白ターゲットの画像において取得されるような、画素の基準照明値で除算された画素の標準照明値として、各々の画素に対して、フラッシュ光補償因子を規定するように構成され、この画像が、基準画像である、請求項５または６に記載の非接触獲得指紋画像プロセッサ。
8. 異なる被写体に対するフラッシュ光オンでのスラップ／指の明るさの平均で除算された、フラッシュ光オフでの画像における背景の明るさとして、各々の画素に対して、背景向上因子を規定するように構成される、請求項５から７のいずれか一項に記載の非接触獲得指紋画像プロセッサ。

Images