JP6790611B2 - 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム - Google Patents

生体画像処理装置、生体画像処理方法、および生体画像処理プログラム Download PDF

Info

Publication number
JP6790611B2
JP6790611B2 JP2016172306A JP2016172306A JP6790611B2 JP 6790611 B2 JP6790611 B2 JP 6790611B2 JP 2016172306 A JP2016172306 A JP 2016172306A JP 2016172306 A JP2016172306 A JP 2016172306A JP 6790611 B2 JP6790611 B2 JP 6790611B2
Authority
JP
Japan
Prior art keywords
pixel
value
pixels
palm
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016172306A
Other languages
English (en)
Other versions
JP2018037041A (ja
Inventor
壮一 ▲浜▼
壮一 ▲浜▼
元 名田
元 名田
智司 前田
智司 前田
聡史 仙波
聡史 仙波
幸弘 安孫子
幸弘 安孫子
伸二 江頭
伸二 江頭
俊旭 若間
俊旭 若間
理恵 羽佐田
理恵 羽佐田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016172306A priority Critical patent/JP6790611B2/ja
Priority to EP17187927.3A priority patent/EP3291139B1/en
Priority to US15/686,562 priority patent/US10275678B2/en
Publication of JP2018037041A publication Critical patent/JP2018037041A/ja
Application granted granted Critical
Publication of JP6790611B2 publication Critical patent/JP6790611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/117Biometrics derived from hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、生体画像処理装置、生体画像処理方法、および生体画像処理プログラムに関する。
生体認証は、指紋、顔、静脈などの生体特徴を用いて本人確認をおこなう技術である。生体認証では、予め登録しておいた生体特徴を確認が必要な場面において取得した生体特徴と比較(照合)し、登録テンプレートと一致するか否かをもって本人確認としている。
生体認証機能を備えた携帯電話などの端末で手のひらの静脈を用いた静脈認証を行う際、静脈情報を取得するために、ユーザは手のひらを撮影する。その場合、ユーザは手のひらを端末の静脈センサー(例えば、カメラ)から少し離して撮影する。その際、図1に示すように、静脈センサーから取得した撮影画像11には手のひら12だけでなく背景13が写りこむ場合がある。生体認証機能を備えた端末は、所要の認証精度を得るために、撮影画像11から手のひら12の領域(手のひら領域)を識別する。そして、撮影画像11から手のひら領域を抽出し、図2に示すような手のひら12のみが写っている処理画像14を生成し、静脈情報を取得する。
領域識別の技術として、RGB形式またはYUV形式の入力画像をHSV形式に変換し、HSV空間の手のひら領域の各色成分の分布から適当な閾値(定数)を設けることによって、手のひらかどうかを判断する技術(閾値法)がある。HSV空間から閾値法により肌色領域を検出する技術が知られている(例えば、特許文献1参照)。
国際公開第2012/173001号 特開2012−14535号公報 特開2006−260401号公報 特開2006−31690号公報
センサーに用いられるカメラデバイスが出力する画像は、YUV形式が一般的である。YUV空間で手のひら領域の検出を行おうとした場合、閾値法では手のひら領域が誤検出される場合があり、認証精度が低下する。
本発明の課題は、生体認証における認証精度を向上させることである。
実施の形態に係る生体画像処理装置は、画素値取得部と、判定部と、生体画像抽出部と、を有する。
前記画素値取得部は、画像の各画素からYUV空間におけるY,U及びV値を取得する。
前記判定部は、各画素について、U値及びV値の各々についてのY値に対する上限と下限とをそれぞれ近似して表すY値に関する多項式を用いて、U値及びV値がY値に応じた範囲にあるか判定する。
前記生体画像抽出部は、前記範囲内にあると判定された画素を抽出すると共に、前記範囲内にないと判定された画素が前記範囲内にあると判定された画素に囲まれている場合、前記範囲内にないと判定された画素を更に抽出する。
実施の形態に係る生体画像処理装置によれば、生体認証における認証精度を向上させることができる。
撮影画像の例を示す図である。 手のひらの検出の例を示す図である。 手のひら領域の各画素のYUV成分の分布を示す図である。 手のひら領域の画素のY成分とU成分の分布を示す図である。 手のひら領域の画素のY成分とV成分の分布を示す図である。 手のひらの誤検出の例を示す図である。 実施の形態に係る手のひら領域の画素のY成分とU成分の分布、および手のひらとして判定される画素のY成分に対するU成分の最大値および最小値を示す図である。 実施の形態に係る手のひら領域の画素のY成分とV成分の分布、および手のひらとして判定される画素のY成分に対するV成分の最大値および最小値を示す図である。 実施の形態に係る生体画像処理装置の構成図である。 実施の形態に係る生体画像処理のフローチャートである。 マスク画像の例である。 ブロック化および画素値更新を説明する図である。 更新後のマスク画像の例である。 ラベリングによる背景の穴埋め処理を説明する図である。 情報処理装置(コンピュータ)の構成図である。
センサーに用いられるカメラが出力する画像は、YUV形式が一般的であり、HSV空間で閾値法による領域識別を行うために、YUV形式からHSV形式に画像を変換している。しかしながら、YVU画像をHSV画像に変換する処理は、計算コストが高いという問題がある。
また、YUV空間で手のひら領域検出を行おうとした場合、YUV空間においては、手のひら領域のU,V信号は輝度(Y)により非線形に変化するため、従来の閾値法では、背景の一部が手のひら領域として誤検出される場合があり、認証精度が低下する。
最初にYUV空間において、閾値法を用いて手のひら領域を検出する例について説明する。
例えば、撮影画像11の手のひら12の領域(手のひら領域)の各画素のYUV成分の分布を示すと図3に示すようになる。図3において、縦軸は画素数を示し、横軸はY,U,またはVの値を示す。Yは輝度、Uは輝度と青の差(色差)、Vは輝度と赤の差(色差)である。
閾値法では、図3に示すようなYUV成分の分布から、手のひらと判定される画素の各色成分の範囲(閾値)を設定する。ここで、手のひらとして判定される画素のY成分の最小値をYMIN、Y成分の最大値をYMAXとする。また、手のひらとして判定される画素のU成分の最小値をUMIN、U成分の最大値をUMAXとする。また、手のひらとして判定される画素のV成分の最小値をVMIN、V成分の最大値をVMAXとする。尚、YMIN、YMAX、UMIN、UMAX、VMIN、およびVMAXは定数である。
ある画素Pの画素値のYUV成分の値をそれぞれ、Y、U、Vとすると、YMIN≦Y≦YMAX且つUMIN≦U≦UMAX且つVMIN≦V≦VMAXの場合、画素Pは手のひらと判定される。
撮影画像11の手のひら12の領域の画素のY成分とU成分の分布をYU平面に示すと図4に示すようになる。図4の縦軸は画素値のU成分の値(U)、横軸は画素値のY成分の値(Y)を示す。図4において、手のひら領域は斜線で示されている。また、図4には、手のひらとして判定される画素のU成分の最小値UMINと最大値UMAXが示されている。
上述のように閾値法では、画素のU成分の値(U)がUMIN以上且つUMAX以下である場合に当該画素は手のひらと判定される。
図4に示すように、手のひら領域のU成分の最小値と最大値はY成分により非線形に変化しており、手のひら領域のU成分の最小値と最大値はそれぞれUMINおよびUMAXと一致していない。そのため、斜線で示される手のひら領域とUMINとの間の領域、および斜線で示される手のひら領域とUMAXとの間の領域は、実際には背景であるが手のひらと間違えて判定されてしまう。
同様に撮影画像11の手のひら12の領域の画素のY成分とV成分の分布をYV平面に示すと図5のようになる。図5の縦軸は画素値のV成分の値(V)、横軸は画素値のY成分の値(Y)を示す。図5において、手のひら領域は斜線で示されている。また、図5には、手のひらとして判定される画素のV成分の最小値VMINと最大値VMAXが示されている。
上述のように閾値法では、画素のV成分の値(V)がVMIN以上且つVMAX以下である場合に当該画素は手のひらと判定される。
図5に示すように、手のひら領域のV成分の最小値と最大値はY成分により非線形に変化しており、手のひら領域のV成分の最小値と最大値はそれぞれVMINおよびVMAXと一致していない。そのため、斜線で示される手のひら領域とVMINとの間の領域、および斜線で示される手のひら領域とVMAXとの間の領域は、実際には背景であるが手のひらと間違えて判定されてしまう。
図6は、手のひらの誤検出の例を示す図である。
上述のように、YUV空間において閾値法を用いると、撮影画像11に含まれる背景の一部が手のひらとして判定される場合がある。この場合、閾値法により撮影画像11から手のひら領域を検出し、撮影画像から検出した手のひら領域のみを表示すると、図6に示すような処理画像15となる。
処理画像15では、手のひら12だけでなく背景13も写っており、処理画像15を用いて静脈情報を取得し、静脈認証を行うと、認証精度が低下する。
以下、図面を参照しながら実施の形態について説明する。
図7は、実施の形態に係る手のひら領域の画素のY成分とU成分の分布、および手のひらとして判定される画素のY成分に対するU成分の最大値および最小値を示す図である。
図7の縦軸は画素値のU成分の値(U)、横軸は画素値のY成分の値(Y)を示す。図7において、手のひら領域は斜線で示されている。図7の斜線で示される手のひら領域は、複数の撮影画像のそれぞれの手のひらの領域を重ね合わせた領域である。
図7に示すように、手のひら領域の上限と下限は非線形に変化している。実施の形態において、手のひら領域の上限および下限を多項式で近似した領域を定義することにより、精度良く手のひら領域をできる。
図7に示す手のひら領域のU成分の上限および下限を多項式で近似して表すと下式(1)、(2)で表現される。
すなわち手のひらとして判定される画素のY成分の値(Y)に対するU成分の最大値UMAXは、下式(1)により算出される。
Umax = -0.0043Y2 + 0.9564Y + 137.18 ・・・(1)
また、手のひらとして判定される画素のY成分の値(Y)に対するU成分の最小値UMINは、下式(2)により算出される。
Umin = 0.0004Y2 - 0.0251Y + 130.64 ・・・(2)
図8は、実施の形態に係る手のひら領域の画素のY成分とV成分の分布、および手のひらとして判定される画素のY成分に対するV成分の最大値および最小値を示す図である。
図8の縦軸は画素値のV成分の値(V)、横軸は画素値のY成分の値(Y)を示す。図8において、手のひら領域は斜線で示されている。図8の斜線で示される手のひら領域は、複数の撮影画像のそれぞれの手のひらの領域を重ね合わせた領域である。
図8に示すように、手のひら領域の上限と下限は非線形に変化している。実施の形態において、手のひら領域の上限および下限を多項式で近似した領域を定義することにより、精度良く手のひら領域をできる。
図8に示す手のひら領域のV成分の上限および下限を多項式で近似して表すと下式(3)、(4)で表現される。
すなわち手のひらとして判定される画素のY成分の値(Y)に対するV成分の最大値VMAXは、下式(3)により算出される。
Vmax = -0.0033Y2 + 0.8317Y + 126.43 ・・・(3)
また、手のひらとして判定される画素のY成分の値(Y)に対するV成分の最小値VMINは、下式(4)により算出される。
Vmin = 0.0011Y2 - 0.2152Y + 134.48 ・・・(4)
実施の形態の生体画像処理方法において、ある画素PのY成分、U成分、およびV成分の値がそれぞれY、U、およびVとすると、Uが式(1)および(2)で算出されるUMIN以上且つUMAX以下、且つVが式(3)および(4)で算出されるVMIN以上且つVMAX以下の場合、画素Pは手のひらと判定される。
図9は、実施の形態に係る生体画像処理装置の構成図である。
生体画像処理装置101は、撮影部111、手のひら領域検出部121、静脈抽出部131、登録データ生成部141、照合部151、および記憶部161を備える。生体画像処理装置101は、例えば、サーバ、パーソナルコンピュータ、携帯電話、または携帯端末等である。
撮影部111は、手のひらを含む領域を撮影し、手のひらが写った撮影画像を生成する。例えば、図1に示されるような手のひら12を含む撮影画像11が撮影される。撮影部111は、例えば、カメラであり、YUV形式の画像を出力する。すなわち、撮影画像11の各画素の画素値はY(輝度)、U(色差:輝度と青の差)、およびV(色差:輝度と赤の差)の3つの成分を含む。
手のひら領域検出部121は、撮影画像11のうち手のひら12の領域(手のひら領域)を検出する。手のひら領域検出部121は、撮影画像11の各画素の画素値を取得し、撮影画像11の各画素について、YUV空間におけるU値およびV値がY値に応じた範囲にあるか判定し、当該範囲内にあると判定された画素を抽出する。手のひら領域検出部121は、画素値取得部、判定部、および生体画像抽出部の一例である。
静脈抽出部131は、手のひら領域検出部121により検出された手のひら領域から静脈を抽出する。
登録データ生成部141は、静脈抽出部131により抽出された静脈網の形状(模様)を示す静脈データ(静脈パターン)を登録DB162に登録する。
照合部151は、今回撮影した撮影画像11から得られた静脈データと登録DB162に登録済みの静脈データとを照合する。詳細には、照合部151は、静脈抽出部131により抽出された静脈網の形状を示す静脈データと登録DB162に含まれる静脈データとを比較し、一致するか否か照合を行う。
記憶部161は、生体画像処理装置101で使用されるデータやプログラム等を記憶する。記憶部161は、登録データベース(DB)162を記憶する。
登録DB162は、静脈網の形状を示す複数の静脈データを含む。
生体画像処理装置101は、登録および照合のいずれの場合においても撮影画像から手のひら領域を検出し、手のひら領域から静脈パターンを抽出する。その後、生体画像処理装置101は、登録時には抽出した静脈パターンから登録データを生成して登録DB162に登録し、照合時には今回抽出した静脈と以前に登録した登録データとの照合を行う。
図10は、実施の形態に係る生体画像処理のフローチャートである。
ステップS201において、撮影部111は、手のひらと背景を含む領域を撮影し、手のひらおよび背景を含む撮影画像を生成する。尚、撮影画像はYUV形式の画像であり、撮影画像の各画素の画素値はY、U、およびVの3つの成分を含む。
ステップS202において、手のひら領域検出部121は、撮影画像の画素のうち未選択の画素を1つ選択する。以下、選択された画素を対象画素と称する。
ステップS203において、手のひら領域検出部121は、選択画素の画素値を取得する。そして、手のひら領域検出部121は、選択画素のY成分の値(Y値)に対応する手のひら領域のU成分の範囲(上限(UMAX)と下限(UMIN))を式(1)および式(2)を用いて算出する。
ステップS204において、手のひら領域検出部121は、選択画素のU成分の値(U値)がステップS203で算出された範囲内(UMIN以上且つUMAX以下)であるか判定する。U値がUMIN以上且つUMAX以下である場合(UMIN≦U値≦UMAX)、制御はステップS205に進み、U値がUMIN未満またはU値がUMAXより大きい場合、制御はステップS208に進む。
ステップS205において、手のひら領域検出部121は、選択画素の画素値を取得する。そして、手のひら領域検出部121は、選択画素のY成分の値(Y値)に対応する手のひら領域のV成分の範囲(上限(VMAX)と下限(VMIN))を式(3)および式(4)を用いて算出する。
ステップS206において、手のひら領域検出部121は、選択画素のV成分の値(V値)がステップS205で算出された範囲内(VMIN以上且つVMAX以下)であるか判定する。V値がVMIN以上且つVMAX以下である場合(VMIN≦V値≦VMAX)、制御はステップS207に進み、V値がVMIN未満またはV値がVMAXより大きい場合、制御はステップS208に進む。
ステップS207において、手のひら領域検出部121は、選択画素を手のひらとしてラベル付けする。すなわち手のひら領域検出部121は、選択画素のラベルとして「手のひら」を割り当てる。
ステップS208において、手のひら領域検出部121は、選択画素を背景としてラベル付けする。すなわち手のひら領域検出部121は、選択画素のラベルとして「背景」を割り当てる。
ステップS209において、撮影画像の全ての画素を選択済みの場合、すなわち全ての画素をラベル付けした場合、制御はステップS209に進む。撮影画像の全ての画素を選択していない場合、制御はステップS202に戻る。
ステップS210において、手のひら領域検出部121は、ステップS207とステップS208のラベル付けの結果からマスク画像を生成し、マスク画像を複数の領域に分割する(ブロック化)。マスク画像は、手のひらとしてラベル付けられた画素の画素値は1、背景としてラベル付けられた画素の画素値は0である画像である。マスク画像のブロック化は、マスク画像の横方向をM個、縦方向をN個に分割し、分割された各領域をブロックと称する。尚、M、Nは、例えば、1つのブロックが8画素×8画素等となるような適当な値が設定されている。
ステップS211において、手のひら領域検出部121は、ブロック毎にブロック内の画素の画素値の多数決によりブロック内の画素の画素値を更新する。
以下、ブロック化(ステップS210)および画素値更新(ステップS211)の例を説明する。
手のひら領域検出部121は、手のひらとしてラベル付けられた画素の画素値を1、背景としてラベル付けられた画素の画素値を0とするマスク画像を生成する。ここでは、図11に示すようなマスク画像21が生成されたとする。マスク画像21において、画素値=1の画素は白色、画素値=0の画素は黒色で示されている。
手のひら領域検出部121は、図12に示すようにマスク画像21の横方向をM(=4)個、縦方向をN(=4)個に分割し、16個のブロックを生成する。図12において、1つのブロックは2×2の4個の画素で構成されている。
手のひら領域検出部121は、ブロック毎にブロック内の画素値毎の画素の数をカウントし、多数決に基づいてブロック内の画素値を更新する。すなわち手のひら領域検出部121は、数が多い方の画素値で数が少ない方の画素値を更新する。
例えば、マスク画像21の左から2つ目、上から2つ目のブロックは、画素値=1である3つの画素と画素値=0である1つの画素で構成されている。手のひら領域検出部121は、画素値毎の画素の数をカウントすると、画素値=1の画素の数は3となり、画素値=0の画素の数は1となる。よって、画素値=1の画素の方が多いため、手のひら領域検出部121は、画素値=0の画素の画素値を1に更新する。
また、マスク画像21の左から3つ目、上から4つ目のブロックは、画素値=1である1つの画素と画素値=0である3つの画素で構成されている。手のひら領域検出部121は、画素値毎の画素の数をカウントすると、画素値=1の画素の数は1となり、画素値=0の画素の数は3となる。よって、画素値=0の画素の方が多いため、手のひら領域検出部121は、画素値=1の画素の画素値を0に更新する。
以下、同様に他のブロックについても画素値の更新を行うと、図13に示すような処理画像22が生成される。尚、ブロック内で画素値=0の画素の数と画素値=1の画素の数が同じ場合は、ブロック内の画素の画素値を予め設定された画素値(0または1のいずれか)に更新する。
あるブロックにおいて、多数の画素が手のひらとしてラベル付けられた画素(手のひら画素)であり、少数の画素が背景としてラベル付けられた画素(背景画素)である場合、当該背景画素は誤判定された画素である可能性が高い。また、あるブロックにおいて、多数の画素が背景画素であり、少数の画素が手のひら画素である場合、当該手のひら画素は誤判定された画素である可能性が高い。そこで、上記のような多数決によりマスク画像の画素値の更新、すなわち撮影画像の画素に割り当てられたラベルを更新することで、手のひらの領域を精度良く検出できる。
図10に戻り説明を続ける。
ステップS212において、手のひら領域検出部121は、マスク画像に対してラベリングによる背景の穴埋め処理を行う。
以下、ラベリングによる背景の穴埋め処理を説明する。
図14は、ラベリングによる背景の穴埋め処理を説明する図である。
ここでは、マスク画像23に対して背景の穴埋め処理を行う。マスク画像23は、手のひらとしてラベル付けられた画素の画素値は1、背景としてラベル付けられた画素の画素値は0である画像である。マスク画像23において、手のひらとしてラベル付けられた画素は白色、背景としてラベル付けられた画素は黒色で示されている。
先ず、手のひら領域検出部121は、マスク画像23内の画素値=0である複数の画素(背景画素)を隣接する背景画素が同じグループとなるようにグループ化する。尚、隣接する画素とは、ある画素の上下左右、右上、左上、右下、または左下に隣り合っている画素である。マスク画像23において、背景画素のグループ(背景画素グループ)24、25が生成される。
手のひら領域検出部121は、マスク画像23の外周に画素値=0である画素を付加する。これにより、マスク画像23は、画素値=0である画素により囲まれる。以下、マスク画像23の外周に付加された画素を外周画素と称する。手のひら領域検出部121は、外周画素にラベル番号=1を割り当てる。
手のひら領域検出部121は、外周画素と隣接していない背景画素グループの各画素に外周画素のラベル番号と異なるラベル番号=2を割り当てる。図14において、マスク画像23の中央上部に位置する背景画素グループ24のいずれの画素も外周画素とは隣接していない。よって、手のひら領域検出部121は、背景画素グループ24の各画素にラベル番号=2を割り当てる。
手のひら領域検出部121は、外周画素と隣接している背景画素グループの各画素に外周画素のラベル番号と同じラベル番号=1を割り当てる。図14において、マスク画像23の左下には、外周画素と隣接している背景画素を含む背景画素グループ25が存在する。よって、手のひら領域検出部121は、背景画素グループ25の各画素にラベル番号=1を割り当てる。
手のひら領域検出部121は、マスク画像23において、外周画素と異なるラベル番号を割り当てられた画素の画素値を1に更新する。図14において、背景画素グループ24の各画素にはラベル番号=2が割り当てられており、外周画素のラベル番号=1と異なるため、背景画素グループ24の各画素の画素値を1に更新する。背景画素グループ24のように、外周画素と接しておらず、手のひらとしてラベル付けられた画素に囲まれた背景画素は、画素値が1に更新される。すなわち、外周画素と異なるラベル番号を割り当てられた画素に対応する撮影画像の画素は手のひらとしてラベル付けされる。
これにより、後段の処理において、背景画素グループ24の位置に対応する撮影画像の画素は手のひらとして抽出される。
また、外周画素と同じラベル番号を割り当てられた画素の画素値は変更しない。図14において、背景画素グループ25の各画素にはラベル番号=1が割り当てられており、外周画素のラベル番号=1と同じため、背景画素グループ25の各画素の画素値はそのままとする。
マスク画像23は、上述の背景の穴埋め処理により、背景画素グループ24の各画素の画素値が1に更新され、マスク画像26のようになる。手のひら領域検出部121は、穴埋め処理の完了後、外周画素を削除する。
式(1)〜(4)による手のひら領域の定義は近似であるため、実際の手のひら領域とは若干の誤差がある。図7の斜線で示される実際の手のひら領域は、UMAXとUMINで囲まれる領域をはみ出しており、図8の斜線で示される実際の手のひら領域は、VMAXとVMINで囲まれる領域をはみ出している。そのため、手のひら領域の境界付近の画素値を有する画素は、誤判定される可能性がある。
例えば、撮影画像の手のひらの一部が背景として判定されてしまう場合がある。それにより、検出した手のひら領域のみが写っている処理画像を生成した場合に、手のひらに穴が開いているような状態なってしまう場合がある。手のひらとして判定された画素で囲まれた背景として判定された画素は、撮影画像においては手のひらであり、誤判定された画素である可能性が高い。
上述のブロック化および穴埋め処理によるマスク画像の画素値の更新により、誤判定された可能性の高い画素のラベルを更新し、手のひらの領域を精度良く検出できる。
図10に戻り説明を続ける。
ステップS213において、手のひら領域検出部121は、撮影画像の手のひら領域を抽出し、手のひら領域のみが写っている処理画像を生成する。詳細には、手のひら領域検出部121は、撮影画像の各画素の画素値とマスク画像の各画素の画素値とを乗算し、処理画像を生成する。撮影画像の各画素の画素値とマスク画像の各画素の画素値とを乗算することにより、図2に示すような手のひら領域以外(背景)の画素値は0であり手のひら12のみが写っている処理画像14が生成される。すなわち、撮影画像において手のひらとしてラベル付けされた画素が抽出される。
以下、手のひら領域のみが写っている処理画像は、静脈抽出部131に入力され、手のひら領域に含まれる静脈が検出され、登録データ生成部141による登録データの生成または照合部151による登録DB162との照合が行われる。
実施の形態に係る生体画像処理装置101によれば、手のひら領域を精度良く検出できるため、認証精度を向上させることが出来る。
また、実施の形態に係る生体画像処理装置101によれば、YUV形式からHSV形式への変換を行っていないため、計算量を少なく出来る。
図15は、情報処理装置(コンピュータ)の構成図である。
実施の形態の生体画像処理装置101は、例えば、図15に示すような情報処理装置(コンピュータ)1によって実現可能である。
情報処理装置1は、CPU2、メモリ3、入力装置4、出力装置5、記憶部6、記録媒体駆動部7、及びネットワーク接続装置8を備え、それらはバス9により互いに接続されている。
CPU2は、情報処理装置1全体を制御する中央処理装置である。CPU2は、手のひら領域検出部121、静脈抽出部131、登録データ生成部141、および照合部151として動作する。
メモリ3は、プログラム実行の際に、記憶部6(あるいは可搬記録媒体10)に記憶されているプログラムあるいはデータを一時的に記憶するRead Only Memory(ROM)やRandom Access Memory(RAM)等のメモリである。CPU2は、メモリ3を利用してプログラムを実行することにより、上述した各種処理を実行する。
この場合、可搬記録媒体10等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
入力装置4は、ユーザ又はオペレータからの指示や情報の入力、情報処理装置1で用いられるデータの取得等に用いられる。入力装置4は、例えば、キーボード、マウス、タッチパネル、カメラ、またはセンサ等である。入力装置4は、撮影部111に対応する。
出力装置5は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、CPU2による制御により動作する装置である。出力装置5は、例えば、ディスプレイ、またはプリンタ等である。
記憶部6は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置1は、記憶部6に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ3に読み出して使用する。メモリ3および記憶部6は、記憶部161に対応する。
記録媒体駆動部7は、可搬記録媒体10を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(CD−ROM)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体10に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ3に読み出して使用する。
ネットワーク接続装置8は、Local Area Network(LAN)やWide Area Network(WAN)等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置8は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。
なお、情報処理装置1が図15のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータへの問い合わせや処理結果の出力を行わない場合は、出力装置5を省略してもよい。また、情報処理装置1が可搬型記録媒体10にアクセスしない場合は、記録媒体駆動部7を省略してもよい。
以上の実施の形態に関し、さらに以下の付記を開示する。
(付記1)
画像の各画素からYUV空間におけるY,U及びV値を取得する画素値取得部と、
各画素について、U値及びV値がY値に応じた範囲にあるか判定する判定部と、
前記範囲内にあると判定された画素を抽出する生体画像抽出部と、
を有することを特徴とする生体画像処理装置。
(付記2)
前記生体画像抽出部は、前記画像を複数の領域に分割し、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数に基づいて、前記画像から画素を抽出することを特徴とする付記1記載の生体画像処理装置。
(付記3)
前記生体画像抽出部は、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数が前記範囲内にないと判定された画素の数より多い場合、前記範囲内にあると判定された画素および前記範囲内にないと判定された画素を抽出することを特徴とする付記2記載の生体画像処理装置。
(付記4)
前記生体画像抽出部は、前記範囲内にないと判定された画素が前記範囲内にあると判定された画素に囲まれている場合、前記範囲内にあると判定された画素および前記範囲内にないと判定された画素を抽出することを特徴とする付記1乃至3のいずれか1項に記載の生体画像処理装置。
(付記5)
生体画像処理装置が実行する生体画像処理方法であって、
画像の各画素からYUV空間におけるY,U及びV値を取得し、
各画素について、U値及びV値がY値に応じた範囲にあるか判定し、
前記範囲内にあると判定された画素を抽出する
処理を備える生体画像処理方法。
(付記6)
前記画像を複数の領域に分割する処理をさらに備え、
前記抽出する処理は、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数に基づいて、前記画像から画素を抽出することを特徴とする付記5記載の生体画像処理方法。
(付記7)
前記抽出する処理は、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数が前記範囲内にないと判定された画素の数より多い場合、前記範囲内にあると判定された画素および前記範囲内にないと判定された画素を抽出することを特徴とする付記6記載の生体画像処理方法。
(付記8)
前記抽出する処理は、前記範囲内にないと判定された画素が前記範囲内にあると判定された画素に囲まれている場合、前記範囲内にあると判定された画素および前記範囲内にないと判定された画素を抽出することを特徴とする付記5乃至7のいずれか1項に記載の生体画像処理方法。
(付記9)
コンピュータに、
画像の各画素からYUV空間におけるY,U及びV値を取得し、
各画素について、U値及びV値がY値に応じた範囲にあるか判定し、
前記範囲内にあると判定された画素を抽出する
処理を実行させる生体画像処理プログラム。
(付記10)
前記画像を複数の領域に分割する処理をさらに備え、
前記抽出する処理は、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数に基づいて、前記画像から画素を抽出することを特徴とする付記9記載の生体画像処理プログラム。
(付記11)
前記抽出する処理は、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数が前記範囲内にないと判定された画素の数より多い場合、前記範囲内にあると判定された画素および前記範囲内にないと判定された画素を抽出することを特徴とする付記10記載の生体画像処理プログラム。
(付記12)
前記抽出する処理は、前記範囲内にないと判定された画素が前記範囲内にあると判定された画素に囲まれている場合、前記範囲内にあると判定された画素および前記範囲内にないと判定された画素を抽出することを特徴とする付記9乃至11のいずれか1項に記載の生体画像処理プログラム。
101 生体画像処理装置
111 撮影部
121 手のひら領域検出部
131 静脈抽出部
141 登録データ生成部
151 照合部
161 記憶部
162 登録DB

Claims (5)

  1. 画像の各画素からYUV空間におけるY,U及びV値を取得する画素値取得部と、
    各画素について、U値及びV値の各々についてのY値に対する上限と下限とをそれぞれ近似して表すY値に関する多項式を用いて、U値及びV値がY値に応じた範囲にあるか判定する判定部と、
    前記範囲内にあると判定された画素を抽出すると共に、前記範囲内にないと判定された画素が前記範囲内にあると判定された画素に囲まれている場合、前記範囲内にないと判定された画素を更に抽出する生体画像抽出部と、
    を有することを特徴とする生体画像処理装置。
  2. 前記生体画像抽出部は、前記画像を複数の領域に分割し、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数に基づいて、前記画像から画素を抽出することを特徴とする請求項1記載の生体画像処理装置。
  3. 前記生体画像抽出部は、前記複数の領域それぞれにおいて、前記範囲内にあると判定された画素の数が前記範囲内にないと判定された画素の数より多い場合、前記範囲内にあると判定された画素および前記範囲内にないと判定された画素を抽出することを特徴とする請求項2記載の生体画像処理装置。
  4. 生体画像処理装置が実行する生体画像処理方法であって、
    画像の各画素からYUV空間におけるY,U及びV値を取得し、
    各画素について、U値及びV値の各々についてのY値に対する上限と下限とをそれぞれ近似して表すY値に関する多項式を用いて、U値及びV値がY値に応じた範囲にあるか判定し、
    前記範囲内にあると判定された画素を抽出すると共に、前記範囲内にないと判定された画素が前記範囲内にあると判定された画素に囲まれている場合、前記範囲内にないと判定された画素を更に抽出する
    処理を備える生体画像処理方法。
  5. コンピュータに、
    画像の各画素からYUV空間におけるY,U及びV値を取得し、
    各画素について、U値及びV値の各々についてのY値に対する上限と下限とをそれぞれ近似して表すY値に関する多項式を用いて、U値及びV値がY値に応じた範囲にあるか判定し、
    前記範囲内にあると判定された画素を抽出すると共に、前記範囲内にないと判定された画素が前記範囲内にあると判定された画素に囲まれている場合、前記範囲内にないと判定された画素を更に抽出する
    処理を実行させる生体画像処理プログラム。
JP2016172306A 2016-09-02 2016-09-02 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム Active JP6790611B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016172306A JP6790611B2 (ja) 2016-09-02 2016-09-02 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム
EP17187927.3A EP3291139B1 (en) 2016-09-02 2017-08-25 Biometric image processing apparatus, biometric image processing method and biometric image processing program
US15/686,562 US10275678B2 (en) 2016-09-02 2017-08-25 Biometric image processing apparatus, biometric image processing method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016172306A JP6790611B2 (ja) 2016-09-02 2016-09-02 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2018037041A JP2018037041A (ja) 2018-03-08
JP6790611B2 true JP6790611B2 (ja) 2020-11-25

Family

ID=59702614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016172306A Active JP6790611B2 (ja) 2016-09-02 2016-09-02 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム

Country Status (3)

Country Link
US (1) US10275678B2 (ja)
EP (1) EP3291139B1 (ja)
JP (1) JP6790611B2 (ja)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
JPH08161500A (ja) * 1994-12-05 1996-06-21 Minolta Co Ltd 物体認識装置
JPH1023274A (ja) * 1996-07-05 1998-01-23 Fuji Photo Film Co Ltd 画像信号の送信装置および受信再生装置
JP3657463B2 (ja) * 1999-06-29 2005-06-08 シャープ株式会社 動作認識システムおよび動作認識プログラムを記録した記録媒体
JP3959909B2 (ja) * 1999-11-19 2007-08-15 日本ビクター株式会社 ホワイトバランス調整方法及び調整装置
JP4039147B2 (ja) * 2002-07-03 2008-01-30 コニカミノルタオプト株式会社 撮像装置
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
US7688988B2 (en) 2004-06-17 2010-03-30 Fujifilm Corporation Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing
US20050281464A1 (en) 2004-06-17 2005-12-22 Fuji Photo Film Co., Ltd. Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing
JP2006031690A (ja) 2004-06-17 2006-02-02 Fuji Photo Film Co Ltd 特定画像領域区画装置および方法,ならびに特定画像領域区画処理をコンピュータに実行させるプログラム
JP4656497B2 (ja) * 2005-03-07 2011-03-23 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2006260401A (ja) 2005-03-18 2006-09-28 Toshiba Corp 画像処理装置、方法、およびプログラム
JP4382832B2 (ja) * 2007-03-30 2009-12-16 三菱電機株式会社 画像処理装置およびプログラム
WO2010058678A1 (ja) * 2008-11-19 2010-05-27 シャープ株式会社 指定色領域画定回路、検出回路及びそれを用いた画像処理装置
JP2012014535A (ja) 2010-07-02 2012-01-19 Nec Corp 物体領域抽出システム、方法、及び、プログラム
JP2012175500A (ja) * 2011-02-23 2012-09-10 Seiko Epson Corp 画像処理方法、制御プログラムおよび画像処理装置
JPWO2012173001A1 (ja) 2011-06-13 2015-02-23 シチズンホールディングス株式会社 情報入力装置
JP6261206B2 (ja) * 2013-06-28 2018-01-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP3291139B1 (en) 2022-06-01
US20180068201A1 (en) 2018-03-08
US10275678B2 (en) 2019-04-30
JP2018037041A (ja) 2018-03-08
EP3291139A1 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
CN110852160B (zh) 以图像为基准的生物识别系统及计算机实施方法
CN109948408B (zh) 活性测试方法和设备
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
EP2866170B1 (en) Image processing device and image processing method
US8649575B2 (en) Method and apparatus of a gesture based biometric system
CN102667810B (zh) 数字图像中的面部识别
JP5713790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10896313B2 (en) Methods and devices for recognizing fingerprint
KR20010021850A (ko) 피험자 신원 자동 확인 시스템 및 방법
US8514240B2 (en) Authentication system, authentication program, and method of authentication
JP2002342756A (ja) デジタル画像において目と口の位置を検出する方法
JP2000132688A (ja) 顔パーツ検出方法及びその装置
CN112396050B (zh) 图像的处理方法、设备以及存储介质
CN111582155B (zh) 活体检测方法、装置、计算机设备和存储介质
CN110210467B (zh) 一种文本图像的公式定位方法、图像处理装置、存储介质
US8300927B2 (en) Mouth removal method for red-eye detection and correction
CN111259757A (zh) 一种基于图像的活体识别方法、装置及设备
KR102558736B1 (ko) 지문 인식 방법 및 장치
KR20210058882A (ko) 안면 인식 방법 및 디바이스
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
JP2000339471A (ja) 画像抽出方法およびその装置
JP2006323779A (ja) 画像処理方法、画像処理装置
JP2898562B2 (ja) ナンバープレート決定方法
JP6790611B2 (ja) 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム
KR20210024877A (ko) 라이브니스 판단 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200610

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200610

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200828

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200828

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200908

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R150 Certificate of patent or registration of utility model

Ref document number: 6790611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150