JP6707943B2 - 生体画像処理装置及び生体画像処理方法 - Google Patents

生体画像処理装置及び生体画像処理方法 Download PDF

Info

Publication number
JP6707943B2
JP6707943B2 JP2016062462A JP2016062462A JP6707943B2 JP 6707943 B2 JP6707943 B2 JP 6707943B2 JP 2016062462 A JP2016062462 A JP 2016062462A JP 2016062462 A JP2016062462 A JP 2016062462A JP 6707943 B2 JP6707943 B2 JP 6707943B2
Authority
JP
Japan
Prior art keywords
wavelength
image
light
component
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016062462A
Other languages
English (en)
Other versions
JP2017174342A (ja
Inventor
壮一 ▲浜▼
壮一 ▲浜▼
聡史 仙波
聡史 仙波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016062462A priority Critical patent/JP6707943B2/ja
Priority to US15/457,440 priority patent/US10303917B2/en
Priority to EP17160531.4A priority patent/EP3223194A3/en
Publication of JP2017174342A publication Critical patent/JP2017174342A/ja
Application granted granted Critical
Publication of JP6707943B2 publication Critical patent/JP6707943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、生体画像処理装置及び生体画像処理方法に関する。
生体認証(または、バイオメトリクス認証)は、指紋、顔、静脈などの生体特徴を用いて本人確認を行う技術である。生体認証技術のうち、静脈認証は、皮下の静脈パターンを撮影して生体特徴を取得する技術である。静脈認証は、体内情報を用いた本人確認であるため、指紋、顔などの情報を用いた本人確認と比較して、認証精度が高い。
静脈認証を行うためには、光を生体に照射して静脈パターンを撮影する。照射する光には、生体内部まで浸達する例えば近赤外光が用いられる。指や手などの生体は、皮膚と内部構造とを含む多層構造を有するため、生体の見え方は、二色性反射モデルで表現できる。つまり、生体に光を照射した場合の戻り光は、生体表面(即ち、皮膚表面)で反射する光と、生体内部で散乱してから戻る光とが混ざり合った光となる。静脈は皮下組織に存在するため、精度良く静脈を観測するためには、表面反射による画像を除去し、内部散乱による画像だけを取り出す。
表面反射による画像と内部散乱による画像とは、偏光の特性を利用して分離可能である。偏光フィルタを用いて表面反射の影響を取り除く技術が提案されている(例えば、特許文献1参照)。生体表面で反射する光は、偏光状態を保ったまま反射する。一方、生体内部で散乱する光は、偏光状態が不規則に変化する光が合成された光である。このため、照明側と観測側とで偏光方向が平行になるように、照明側の後段と観測側の前段に偏光フィルタを配置すると、内部散乱光の成分は偏光フィルタによりカットされ、表面反射光の成分が検出器で観測される。これに対し、照明側と観測側の偏光方向が直交するように偏光フィルタを照明側の後段と観測側の前段に配置すると、表面反射光の成分は偏光フィルタによりカットされ、内部散乱光の成分が観測側の検出器で観測される。
しかし、偏光フィルタは、特定の偏光方向の光のみを通過させ、特定の偏光方向以外の光は反射または吸収することで、特定の偏光方向の光をカットする。このため、検出器が偏光フィルタを通して受光可能な光量が減少して、画像ノイズが増大してしまうので、明瞭な生体画像を取得することは難しい。また、特に近赤外光領域で使用可能な偏光フィルタは高価である。この結果、近赤外光領域で使用可能な偏光フィルタを用いる場合には、生体画像処理装置のコストが増大してしまう。
特開2002−200050号公報 特開2007−323389号公報 特開2009−28427号公報
Takaaki Maeda et al., "Monte Carlo Simulation of Spectral Reflectance Using a Multilayered Skin Tissue Model", OPTICAL REVIEW Vol. 17, No. 3 (2010), pp.223‐229 相津 佳永,「皮膚組織多層構造モデリングと光伝搬シミュレーション」,日本機械学会誌 2011. 7 Vol. 114 No.1112, p.39
従来の生体画像処理装置では、明瞭な生体画像を取得することは難しい。
そこで、1つの側面では、明瞭な生体画像を取得可能な生体画像処理装置及び生体画像処理方法を提供することを目的とする。
1つの案によれば、第1の波長の光を照射された生体の第1の画像と、前記第1の波長より短い第2の波長の光を照射された前記生体の第2の画像とを撮影する撮影手段と、前記第1の画像に含まれる表面反射光の成分の強度に応じて、前記第2の画像の減衰率を決定し、前記第1の画像から、前記第2の画像の輝度を前記減衰率で減衰させた画像を差し引いて、前記第1及び第2の画像の輝度分布が同等になるように第3の画像を求める演算部と、を備えた生体画像処理装置が提供される。

一態様によれば、明瞭な生体画像を取得することができる。
一実施例における生体画像処理装置の一例を示す図である。 内部散乱による画像の取得を説明する図である。 第1実施例における生体画像処理装置の一例を示す図である。 第2実施例における生体画像処理装置の一例を示す図である。 フィルタの一例を示す図である。 第3実施例における生体画像処理装置の一例を示す図である。 第4実施例における生体画像処理装置の一例を示す図である。 RGBフィルタの一例を示す図である。 皮膚の多層構造の一例を示す図である。 光浸達率の一例を示す図である。
開示の生体画像処理装置及び生体画像処理方法では、第1の波長の光を照射された生体の第1の画像と、第1の波長より短い第2の波長の光を照射された生体の第2の画像とを撮影し、第1の画像から、第2の画像の輝度を減衰させた画像を差し引いた第3の画像を求める。
以下に、開示の生体画像処理装置及び生体画像処理方法の各実施例を図面と共に説明する。
図1は、一実施例における生体画像処理装置の一例を示す図である。図1に示す生体画像処理装置1は、光源11、カメラ12、及び制御装置13を有する。
光源11は、撮影対象の一例である生体500に照明光を照射する。光源11は、2以上の、互いに異なる波長域の光を照射する。光源11は、後述する図3または図4に示すように、長波長及び短波長の両方を含む波長の光を照射する単一の光源で形成しても良い。また、光源11は、後述する図6または図7に示すように、長波長の光を照射する第1の光源と、短波長の光を照射する第2の光源、即ち、複数の光源で形成しても良い。長波長の光は、第1の波長の光の一例であり、短波長の光は、第1の波長より短い第2の波長の光の一例である。長波長の光の波長は、例えば600nmより長く、短波長の光の波長は、例えば600nm以下である。
カメラ12は、照明光を照射された生体500からの戻り光を受光し、生体500の画像を撮影する撮影手段(または、撮影装置)の一例である。カメラ12は、長波長の光を照射された生体500の第1の画像と、短波長の光を照射された生体500の第2の画像とを撮影する。この例では、生体500は、本人確認の対象である人物の手のひらであり、カメラ12は手のひらの画像を撮影する。
制御装置13は、光源11及びカメラ12を制御する制御部131と、カメラ12が撮影した画像に演算処理を施す演算部132とを有する。制御装置13は、例えばCPU(Central Processing Unit)などのプロセッサにより形成可能であり、プロセッサが実行するプログラムなどを格納するメモリ(図示せず)を含んでも良い。この例では、演算部132は、カメラ12が撮影した生体500の第1の画像から、カメラ12が撮影した生体500の第2の画像の輝度を減衰させた画像を差し引いた、第3の画像を求める。第2の画像の減衰率は、第1の画像に含まれる表面反射光の成分の強度に応じて決定しても良い。この例では、演算部132は、カメラ12が撮影した手のひらの画像から、手のひらの静脈の画像を求める。
なお、図1において、撮影対象の一例である生体500は、生体画像処理装置1の上方に位置するが、生体500の生体画像処理装置1に対する位置は、特に限定されない。また、後述する図3、図4、図6、及び図7の各実施例においても同様に、生体の生体画像処理装置に対する位置は、特に限定されない。なお、図1、図3、図4、図6、及び図7において、破線で示す矢印は、照明光または戻り光のパスを示す。
図2は、内部散乱による画像の取得を説明する図である。図2では、説明の便宜上、各画像に対して手のひらの輪郭が図示されている。図2中、第1の画像50−1は、カメラ12が撮影した、長波長の光を照射された生体500の画像である。第1の画像50−1中、太い実線は、生体500の生体表面、即ち、手のひらの皮膚表面のしわなどのパターン501を示し、太い破線は、皮下組織に存在する静脈パターン502を示す。このように、第1の画像50−1は、生体500の皮膚表面の情報と、皮下内部の情報とを含む。第2の画像50−2は、カメラ12が撮影した、短波長の光を照射された生体500の画像である。第2の画像50−2中、太い実線は、手のひらの皮膚表面のしわなどのパターン501を示す。このように、第2の画像50−2は、主に、生体500の皮膚表面の情報を含む。また、第3の画像50−3は、第1の画像50−1から、第2の画像50−2の輝度を減衰させた画像を差し引いた画像である。第3の画像50−3中、太い実線は、皮下組織に存在する静脈パターン502を示す。
本実施例では、光が物体に浸透する深さが、光の波長により異なることを利用して、画像の表面成分と内部成分とを分離する。光は、波長が短い程散乱し易く、波長が長い程物体内部まで浸達し易い。光を照射する撮影対象が生体の場合においても、光の波長が長い程、光が生体内部まで浸達し易い。そこで、長波長の光と短波長の光を同時に、または、順次生体に照射し、波長毎の画像を観測する。
生体からの戻り光のうち、長波長の成分は、生体の内部まで浸達し、生体の内部で散乱するため、強度が低下する。これに対し、生体からの戻り光のうち、短波長の成分は、生体の皮膚表面で反射されるので、長波長の成分と比較すると、強度の低下は少ない。そこで、長波長の光による第1画像から、短波長の光による第2画像の輝度を減衰させた画像を差し引くことにより、生体の内部散乱による第3画像、即ち、静脈の画像を取得する。つまり、第1の画像と第2の画像の差分から第3の画像を取得する際に、第1の画像と第2の画像の輝度を調整してから差分を求める。
図3は、第1実施例における生体画像処理装置の一例を示す図である。図3中、図1と同一部分には同一符号を付し、その説明は省略する。本実施例では、長波長の光と短波長の光を同時に生体に照射し、波長毎の画像を観測する。
図3に示す生体画像処理装置1−1において、白色ランプ111は、光源11の一例である。白色ランプ111は、長波長及び短波長の両方を含む波長の白色光を生体500に照射する。第1のカメラ121及び第2のカメラ122は、撮影手段(または、撮影装置)の一例である。生体500からの戻り光は、プリズム140に入射されて分光分離され、一方では波長フィルタ141を通して第1のカメラ121に到達し、他方では波長フィルタ142を通して第2のカメラ122に到達する。第1のカメラ121及び第2のカメラ122は、視差を生じないように、光軸が一致する位置に配置されている。
プリズム140及び波長フィルタ141,142は、戻り光を長波長の成分と、短波長の成分に分離する分離手段の一例である。プリズム140は、戻り光を2つのパスに分光分離する。帯域を制限する波長フィルタ141は、一方のパスの戻り光の短波長の成分をカットし、当該戻り光の長波長の成分を透過して第1のカメラ121に供給する。また、帯域を制限する波長フィルタ142は、他方のパスの戻り光の長波長の成分をカットし、当該戻り光の短波長の成分を透過して第2のカメラ122に供給する。従って、第1のカメラ121は、戻り光の長波長の成分に基づき撮影した図2に示す第1の画像50−1を制御装置13に供給し、第2のカメラ122は、戻り光の短波長の成分に基づき撮影した図2に示す第2の画像50−2を制御装置13に供給する。
なお、プリズム140の代わりに、ハーフミラーを用いて戻り光を分岐しても良いが、プリズム140を用いた場合の方が、光の強度のロスが少なく好ましい。
図4は、第2実施例における生体画像処理装置の一例を示す図である。図4中、図3と同一部分には同一符号を付し、その説明は省略する。本実施例では、長波長の光と短波長の光を同時に生体に照射し、波長毎の画像を観測する。
図4に示す生体画像処理装置1−2において、カメラ120は、撮影手段(または、撮影装置)の一例である。また、フィルタ150は、戻り光を長波長の成分と、短波長の成分に分離する分離手段の一例である。
図5は、フィルタの一例を示す図である。図5に示すフィルタ150は、カメラ120の受光素子のピクセル毎に、長波長フィルタ151または短波長フィルタ152を有する。この例では、フィルタ150の水平方向及び垂直方向の両方向に沿って、ピクセル毎に、長波長フィルタ151及び短波長フィルタ152が交互に配列されている。長波長フィルタ151は、戻り光の短波長の成分をカットし、戻り光の長波長の成分を透過してカメラ120に供給する。また、短波長フィルタ152は、戻り光の長波長の成分をカットし、戻り光の短波長の成分を透過してカメラ120に供給する。従って、カメラ120は、長波長フィルタ151を介して撮影した図2に示す第1の画像50−1を制御装置13に供給し、短波長フィルタ152を介して撮影した図2に示す第2の画像50−2を制御装置13に供給する。この場合、画像1枚当たりの有効画素数が1/2に減少するが、カメラ120が1台で済むため、2台のカメラを用いる場合と比較すると、生体画像処理装置1−2のコストを低減可能である。また、カメラ120が1台で済むため、2台のカメラを用いた場合のように、視差を生じないように光軸が一致する位置に2台のカメラを配置するといった調整が不要となる。
図6は、第3実施例における生体画像処理装置の一例を示す図である。図6中、図3と同一部分には同一符号を付し、その説明は省略する。本実施例では、長波長の光と短波長の光を順次生体に照射し、波長毎の画像を観測する。
図6に示す生体画像処理装置1−3において、白色ランプ111及び波長フィルタ161は、第1の光源の一例である。また、白色ランプ112及び波長フィルタ162は、第2の光源の一例である。帯域を制限する波長フィルタ161は、白色ランプ111が照射する光のうち、長波長の成分を透過させて生体500に照射する。一方、帯域を制限する波長フィルタ162は、白色ランプ112が照射する光のうち、短波長の成分を透過させて生体500に照射する。白色ランプ111及び白色ランプ112は、制御装置13の制御部131により、交互に点灯するように制御される。つまり、異なる波長の光を生体500に順次照射することで、照明光の波長の切換えを照明側で行うため、観測側(即ち、カメラ側)に特に制限はない。この例では、異なる波長の光が生体500に照射される毎に、カメラ120が1枚の画像を撮影する。
図7は、第4実施例における生体画像処理装置の一例を示す図である。図7中、図4及び図6と同一部分には同一符号を付し、その説明は省略する。本実施例では、長波長の光と短波長の光を順次生体に照射し、波長毎の画像を観測する。
図7に示す生体画像処理装置1−4では、観測側(即ち、カメラ側)の構成が図4の第2実施例と同様であり、照明側の構成が図6の第3実施例と同様である。このように、異なる実施例の観測側(即ち、カメラ側)の構成と照明側の構成を適宜組み合わせても良い。
図8は、RGBフィルタの一例を示す図である。図8に示すRGBフィルタ150Aは、図4の第2実施例、或いは、図6の第3実施例において、図5に示すフィルタ150の代わりに使用可能である。つまり、RBGフィルタ150Aは、図8の左上に破線で囲んだ一部を拡大して示すように、カメラの受光素子のピクセル毎に、Rで示すR(赤)フィルタ、Gで示すG(緑)フィルタ、及びBで示すB(青)フィルタを有する。この例では、Rフィルタが長波長フィルタ151としても機能し、Bフィルタが短波長フィルタ152としても機能する。
なお、RGBフィルタのような原色フィルタの代わりに、YMCフィルタのような補色フィルタを用いても良い。RGBフィルタを用いる場合、YMCフィルタを用いる場合と比較すると、より鮮やかな色を再現し易い。一方、YMCフィルタを用いる場合、RGBフィルタを用いる場合と比較すると、色が薄いため光を通す量が多く、画像がより明るくなる。
次に、互いに異なる波長域の光の夫々の波長の選択について説明する。図9は、皮膚の多層構造の一例を示す図である。例えば、非特許文献1によると、皮膚は、図9に示すような多層構造を有する。図9に示すように、皮膚は、厚さが100μm程度の表皮層511と、厚さが1.5mm程度の真皮層512と、皮下組織513とを有する。静脈は、表皮層51の表面(即ち、皮膚表面)から1.5mmより深い皮下組織513内に存在する。
生体に光を照射した場合、光の波長が長い程、生体内部まで浸達する。このため、静脈を観測するためには、静脈が存在する、皮膚表面から1.5mmより深い内部、即ち、皮下組織513内まで浸達する長波長の光を選択する。図10は、光浸達率の一例を示す図である。図10中、縦軸は皮膚表面からの深さd(mm)を示し、横軸は光の波長λ(nm)を示す。また、図10のプロットに付けられた「2%」、「10%」、「20%」、「50%」、及び「80%」は、入射光量が該当する深さまで浸達する光浸達率(%)を示す。
長波長の光は、600nmより長い波長の光である。例えば非特許文献2によると、長波長の光は、図10に示すように、700nm以上の長波長(赤〜近赤外)の光に選択することが好ましい。
一方、短波長の光は、600nm以下の波長の光である。短波長の光は、皮膚表面で反射または散乱して、皮膚表面から浅い領域までしか浸達できない波長の光に選択する。短波長の光は、例えば300nm〜600nm(青〜緑)の短波長の光に選択することが好ましい。
照射する光の波長は、単一スペクトルでも良いが、単色性の高い光を得るためには、レーザのような装置を用いる。ランプ(または、電球)、発光ダイオード(LED:Light Emitting Diode)などで帯域幅の狭い光を得ようとすると、波長フィルタで帯域を制限するため、光量が低下してしまう。上記の各実施例では、2つの波長は、生体に浸透する深さが異なれば良いため、必ずしも単一スペクトル光ではなく、ある程度幅を持った波長域の光を使っても良い。例えば、長波長の光は、700nm〜900nmの帯域幅を持つ光であっても良い。また、複数のスペクトル光を組み合わせて用いる場合、例えば短波長の光は、波長が400nmの光と波長が500nmの光の組み合わせでも良い。
次に、2つの画像の差分を求める演算部132の動作について説明する。上記の如く選択した2つの波長の光を生体に照射して画像を観測すると、長波長の光による画像と短波長の光による画像の2つの画像を得ることができる。短波長の光は、生体の表面から浅い領域までしか浸達できないため、短波長の光による画像は、生体の表面に近い情報のみを含む。一方、長波長の光は、生体の表面から浅い領域で戻る光だけでなく、生体の表面から深い領域にまで浸達して戻る光をも含む。このため、長波長の光による画像は、生体の表面情報と内部情報の両方を含む。長波長の光による画像に含まれる表面情報は、短波長の光による画像で観測される表面情報に相当する。そこで、次式(1)のように、長波長の光による画像から、短波長の光による画像の輝度を減衰させた画像を差し引くことにより、生体の内部情報、即ち、皮下組織内の静脈情報の画像を抽出することが可能となる。短波長の光による画像の輝度の減衰率は、長波長の光による画像に含まれる、表面情報(即ち、表面反射光)の成分の強度に応じて、決定しても良い。次式(1)中、Iは静脈情報の画像、Ilwは長波長の光による画像、Iswは短波長の光による画像、κは係数を示す。係数κは、短波長の光による画像Iswの輝度の減衰率を表す、1未満の値である。

=Ilw−κ×Isw …(1)
上記の如く、長波長の光による画像Ilwと短波長の光による画像Iswとの差分を求める際には、短波長の光による画像Iswの輝度を、長波長の光による画像Ilwの輝度に合わせることが好ましい。係数κは、使用する2つの照明光の波長帯域と強度、カメラの分光感度、皮膚の分光反射率などに依存する。ここでは、説明の便宜上、使用する光の波長が500nmと800nmの単色光源からの光であると仮定し、2つの異なる波長の光による画像の輝度分布(または、ヒストグラム)が同等になるように、係数κによる調整を行うと仮定する。
観測される画像は、生体に照射した光の戻り光の2次元空間分布を示す。光を生体に照射し、生体のある深さzまで浸達してから戻る光による画像をImg(z)で表すと、観測される画像は、夫々の深さから戻る光による画像の重ね合わせとなる。生体の深さz=a〜bまでの画像の重ね合わせを次式(2)で表すと、観測される画像は、深さ0から最大浸達深度dmaxまでの画像の重ね合わせI[0,dmax] となる。
Figure 0006707943
…(2)
図10より、波長が500nmの光の場合、生体の1mmの深さまで浸達する光は、入射光量の2%未満(即ち、光浸達率が2%未満)で、略全ての光が1mm以下で戻ってくることから、次式(3)が成り立つ。

I500[0,dmax]≒I500[0,1 mm] …(3)
一方、波長が800nmの光は、生体の1mm以上の深さまで浸達するため、次式(4)が成り立つ。

I800[0,dmax]=I800[0,1 mm]+I800[1 mm,dmax] …(4)
上記の式(3)及び式(4)において、I500[0,1 mm]とI800[0,1 mm]は、生体の同じ層を観測した画像であり、輝度(即ち、明るさ)だけが異なるものである。このことから、次式(5)が成り立つ。

I800[0,1 mm]=κ・I500[0,1 mm] …(5)
また、上記の式(5)は、次式(6)と置き換えることができる。

I800[0,dmax]=κ・I500[0,1 mm]+I800[1 mm,dmax] …(6)
さらに、上記の式(3)と上記の式(6)とから、次式(7)が求められる。

I800[0,dmax]≒κ・I500[0,dmax]+I800[1 mm,dmax] …(7)
上記の式(7)は、次式(8)と等価になる。

I800[1 mm,dmax]≒I800[0,dmax]−κ・I500[0,dmax] …(8)
上記の式(8)において、I800[1 mm,dmax]は、生体の1mmより深い部分の画像の重ね合わせであり、真皮層512の深い部分を一部含むが、静脈の存在する皮下組織513の画像は、静脈の画像である。
図10より、生体の1mmの深さまで浸達する波長が800nmの光は、入射光量の40%であり、入射光量の60%は生体の1mm以下の深さで戻る光となる。生体に浸達した全ての光が戻り光として観測できると仮定すると、上記の式(4)においてκ・I500[0,1 mm]がI800[0,dmax]の明るさの60%であると言えるため、κ=0.6を使用することができる。
照明側と観測側の偏光方向が直交するように偏光フィルタを配置して(偏光フィルタを直交させて)偏光分離を行う場合、原理的には光量が1/2×1/2以下(即ち、25%以下)、実効的には光量が20%以下まで減衰する。しかし、上記の例では、長波長の光による画像Ilwの輝度に合わせて短波長の光による画像Iswの輝度を揃える。つまり、短波長の光による画像Iswの輝度を、係数κ=0.6を用いて減衰させた画像を、長波長の光による画像Ilwから差し引く。これにより、光の強度は、40%までの減衰で済み、偏光分離の場合の約2倍の強度が得られ、信号対雑音比(SNR:Signal-to- Noise Ratio)が偏光分離の場合と比較して約2倍に向上する。
撮影装置で得られた画像の輝度分布(または、ヒストグラム)が同等になるようにするためには、照明強度、カメラの分光感度、皮膚の分光反射特性などを揃える。しかし、特に皮膚の分光感度は、被験者により異なるため、撮影装置だけで合わせるのは難しい。このため、画像処理によるレベル調整を用いることで、輝度分布が調整可能となる。画像処理を用いるため、例えば個人差による多少の入力の変化にも対応可能となる。なお、極端に分光特性が異なると、輝度伸張により画像のSNRが劣化してしまう。この場合、できる限り撮影装置側で、分光特性が均一になるような調整を行うことが望ましい。一般的に、カメラの分光特性は、受光素子とフィルタで決定されるので、照明光の強度比によって調整するのが現実的である。
上記の例では、係数κはκ=0.6であるが、他の波長の照明光を用いる場合、或いは、照明光が単色光源ではなく、ある程度幅をもった波長域の光源である場合には、光の浸達深度の差が異なるため、係数κを決定し直す。係数κを決定する場合、計算によって求めても、或いは、特定のサンプルを基準とした実測値に基づいて求めても良い。
また、生体画像処理装置を安価に実現する際、撮影装置に、一般的なRGBカメラを用いることが考えられる。上記の例のように、波長が500nmの光と波長が800nmの光を生体に照射してRGBカメラで撮影する場合、波長が500nmの光はGプレーンのみで観測可能であるが、波長が800nmの光はRGB全プレーンで観測される。厳密には、Bプレーン及びRプレーンにも、波長が500nmの光はわずかながら観測され得る。これは、RGBフィルタに使用される色素が、近赤外領域の波長を透過してしまうことによる。この場合、Gプレーンで短波長(波長が500nm)の光による画像を単独で観測することはできず、短波長の光による画像と、長波長の光による画像の合成になる。このため、Gフィルタの分光感度特性と撮像素子の分光感度特性により、短波長の光と長波長の光がどの程度の比率でGプレーンで観測されるかを求めておき、係数κに反映させる。例えば、短波長の光による画像は、Gプレーンの500nmと800nmの波長の分光感度が4:1であるカメラを用いる場合を考える。長波長の光による画像は、Rプレーンで観測し、ここには短波長の成分は含まれない。先ず、Gプレーンの画像から長波長の成分を取り除き、短波長の成分だけにしたG'プレーンの画像を次式(9)から求める。

G'=G−0.2R…(9)
次に、上記の式(8)を用いて、静脈画像Vを次式(10)のように求める。

V=R−0.6G'
=R−0.6(G−0.2R)
=R+0.12R−0.6G
=1.12R−0.6G…(10)
なお、静脈画像V'を次式(11)から求めても良い。

V'=R−0.54G…(11)
従って、観測画像の分離度が比較的低い場合でも、静脈の明瞭な画像を取得することができる。
上記の各実施例によれば、明瞭な生体画像を取得することができる。また、安価な光源、または、安価なカメラを用いることができるので、例えば偏光フィルタを用いる場合と比較すると、低コストで明瞭な生体画像を取得することができる。つまり、表面反射を除去した内部散乱光の明瞭な画像を撮影取得する技術を低コストで提供できる。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
第1の波長の光を照射された生体の第1の画像と、前記第1の波長より短い第2の波長の光を照射された前記生体の第2の画像とを撮影する撮影手段と、
前記第1の画像から、前記第2の画像の輝度を減衰させた画像を差し引いた第3の画像を求める演算部と、
を備えたことを特徴とする、生体画像処理装置。
(付記2)
前記演算部は、前記第1の画像に含まれる表面反射光の成分の強度に応じて、前記第2の画像の減衰率を決定し、
前記第1の波長は600nmより長く、前記第2の波長は600nm以下であり、
前記第3の画像は、静脈の画像であることを特徴とする、付記1記載の生体画像処理装置。
(付記3)
前記第1の波長及び前記第2の波長を含む波長の光を前記生体に照射する光源と、
前記生体からの戻り光を前記第1の波長の成分と、前記第2の波長の成分に分離する分離手段と、
を更に備え、
前記撮影手段は、前記分離手段により分離された前記第1の波長の成分に基づき前記第1の画像を撮影する第1のカメラと、前記分離手段により分離された前記第2の波長の成分に基づき前記第2の画像を撮影する第2のカメラとを有することを特徴とする、付記1または2記載の生体画像処理装置。
(付記4)
前記分離手段は、前記生体からの戻り光が入射されるプリズムと、前記プリズムで分光分離された戻り光の前記第1の波長の成分を透過する波長フィルタと、前記プリズムで分光分離された戻り光の前記第2の波長の成分を透過する波長フィルタとを有し、
前記第1のカメラ及び前記第2のカメラは、光軸が一致するように配置されていることを特徴とする、付記3記載の生体画像処理装置。
(付記5)
前記第1の波長及び前記第2の波長を含む波長の光を前記生体に照射する光源と、
前記生体からの戻り光のうち、前記第1の波長の成分を透過して前記第2の波長の成分をカットする第1のフィルタと、
前記戻り光のうち、前記第2の波長の成分を透過して前記第1の波長の成分をカットする第2のフィルタと、
を更に備え、
前記撮影手段は、前記第1のフィルタを透過した前記第1の波長の成分に基づき前記第1の画像を撮影し、前記第2のフィルタを透過した前記第2の波長の成分に基づき前記第2の画像を撮影する、カメラを有することを特徴とする、付記1または2記載の生体画像処理装置。
(付記6)
前記第1のフィルタ及び前記第2のフィルタを含むRGBフィルタと、
を更に備えたことを特徴とする、付記5記載の生体画像処理装置。
(付記7)
前記第1の波長の光を前記生体に照射する第1の光源と、
前記第2の波長の光を前記生体に照射する第2の光源と、
前記第1の光源と、前記第2の光源とを交互に点灯するように制御する制御部と、
を更に備え、
前記撮影手段は、前記制御部が前記第1の光源を点灯中、前記生体からの戻り光の前記第1の波長の成分に基づき前記第1の画像を撮影し、前記制御部が前記第2の光源を点灯中、前記生体からの戻り光の前記第2の波長の成分に基づき前記第2の画像を撮影する、カメラを有することを特徴とする、付記1または2記載の生体画像処理装置。
(付記8)
前記第1の波長の光を前記生体に照射する第1の光源と、
前記第2の波長の光を前記生体に照射する第2の光源と、
前記生体からの戻り光の前記第1の波長の成分を透過して前記第2の波長の成分をカットする第1のフィルタと、
前記戻り光の前記第2の波長の成分を透過して前記第1の波長の成分をカットする第2のフィルタと、
を更に備え、
前記撮影手段は、前記第1のフィルタを透過した前記第1の波長の成分に基づき前記第1の画像を撮影し、前記第2のフィルタを透過した前記第2の波長の成分に基づき前記第2の画像を撮影する、カメラを有することを特徴とする、付記1または2記載の生体画像処理装置。
(付記9)
前記第1のフィルタ及び前記第2のフィルタを含むRGBフィルタと、
を更に備えたことを特徴とする、付記8記載の生体画像処理装置。
(付記10)
前記演算部は、前記第1の画像の輝度レベルに応じて、前記第2の画像の輝度レベルを正規化することを特徴とする、付記1乃至9のいずれか1項記載の生体画像処理装置。
(付記11)
撮影手段が、第1の波長の光を照射された生体の第1の画像と、前記第1の波長より短い第2の波長の光を照射された前記生体の第2の画像とを撮影し、
演算部が、前記第1の画像から、前記第2の画像の輝度を減衰させた画像を差し引いた第3の画像を求める、
ことを特徴とする、生体画像処理方法。
(付記12)
前記演算部が、前記第1の画像に含まれる表面反射光の成分の強度に応じて、前記第2の画像の減衰率を決定し、
前記第1の波長は600nmより長く、前記第2の波長は600nm以下であり、
前記第3の画像は、静脈の画像であることを特徴とする、付記11記載の生体画像処理方法。
(付記13)
光源が、前記第1の波長及び前記第2の波長を含む波長の光を前記生体に照射し、
分離手段が、前記生体からの戻り光を前記第1の波長の成分と、前記第2の波長の成分に分離し、
前記撮影手段が、第1のカメラにより前記分離手段により分離された前記第1の波長の成分に基づき前記第1の画像を撮影し、第2のカメラにより前記分離手段により分離された前記第2の波長の成分に基づき前記第2の画像を撮影することを特徴とする、付記11または12記載の生体画像処理方法。
(付記14)
光源が、前記第1の波長及び前記第2の波長を含む波長の光を前記生体に照射し、
第1のフィルタが、前記生体からの戻り光のうち、前記第1の波長の成分を透過して前記第2の波長の成分をカットし、
第2のフィルタが、前記戻り光のうち、前記第2の波長の成分を透過して前記第1の波長の成分をカットし、
前記撮影手段が、カメラにより、前記第1のフィルタを透過した前記第1の波長の成分に基づき前記第1の画像を撮影し、前記第2のフィルタを透過した前記第2の波長の成分に基づき前記第2の画像を撮影することを特徴とする、付記11または12記載の生体画像処理方法。
(付記15)
前記第1のフィルタ及び前記第2のフィルタを含むRGBフィルタを用いることを特徴とする、付記14記載の生体画像処理方法。
(付記16)
第1の光源が、前記第1の波長の光を前記生体に照射し、
第2の光源が、前記第2の波長の光を前記生体に照射し、
制御部が、前記第1の光源と、前記第2の光源とを交互に点灯するように制御し、
前記撮影手段が、カメラにより、前記制御部が前記第1の光源を点灯中、前記生体からの戻り光の前記第1の波長の成分に基づき前記第1の画像を撮影し、前記制御部が前記第2の光源を点灯中、前記生体からの戻り光の前記第2の波長の成分に基づき前記第2の画像を撮影することを特徴とする、付記11または12記載の生体画像処理方法。
(付記17)
第1の光源が、前記第1の波長の光を前記生体に照射し、
第2の光源が、前記第2の波長の光を前記生体に照射し、
第1のフィルタが、前記生体からの戻り光の前記第1の波長の成分を透過して前記第2の波長の成分をカットし、
第2のフィルタが、前記戻り光の前記第2の波長の成分を透過して前記第1の波長の成分をカットし、
前記撮影手段が、カメラにより、前記第1のフィルタを透過した前記第1の波長の成分に基づき前記第1の画像を撮影し、前記第2のフィルタを透過した前記第2の波長の成分に基づき前記第2の画像を撮影することを特徴とする、付記11または12記載の生体画像処理方法。
(付記18)
前記第1のフィルタ及び前記第2のフィルタを含むRGBフィルタを用いることを特徴とする、付記17記載の生体画像処理方法。
(付記19)
前記演算部が、前記第1の画像の輝度レベルに応じて、前記第2の画像の輝度レベルを正規化することを特徴とする、付記11乃至18のいずれか1項記載の生体画像処理方法。
以上、開示の生体画像処理装置及び生体画像処理方法を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
1,1−1〜1−4 生体画像処理装置
11 光源
12,121,122 カメラ
13 制御装置
131 制御部
132 演算部
50−1 第1の画像
50−2 第2の画像
50−3 第3の画像
111,112 白色ランプ
140 プリズム
141,142,161,162 波長フィルタ
150,150A フィルタ
151 長波長フィルタ
152 短波長フィルタ
500 生体
502 静脈パターン

Claims (7)

  1. 第1の波長の光を照射された生体の第1の画像と、前記第1の波長より短い第2の波長の光を照射された前記生体の第2の画像とを撮影する撮影手段と、
    前記第1の画像に含まれる表面反射光の成分の強度に応じて、前記第2の画像の減衰率を決定し、前記第1の画像から、前記第2の画像の輝度を前記減衰率で減衰させた画像を差し引いて、前記第1及び第2の画像の輝度分布が同等になるように第3の画像を求める演算部と、
    を備えたことを特徴とする、生体画像処理装置。
  2. 前記第1の波長は600nmより長く、前記第2の波長は600nm以下であり、
    前記第3の画像は、静脈の画像であることを特徴とする、請求項1記載の生体画像処理装置。
  3. 前記第1の波長及び前記第2の波長を含む波長の光を前記生体に照射する光源と、
    前記生体からの戻り光を前記第1の波長の成分と、前記第2の波長の成分に分離する分離手段と、
    を更に備え、
    前記撮影手段は、前記分離手段により分離された前記第1の波長の成分に基づき前記第1の画像を撮影する第1のカメラと、前記分離手段により分離された前記第2の波長の成分に基づき前記第2の画像を撮影する第2のカメラとを有することを特徴とする、請求項1または2記載の生体画像処理装置。
  4. 前記第1の波長及び前記第2の波長を含む波長の光を前記生体に照射する光源と、
    前記生体からの戻り光のうち、前記第1の波長の成分を透過して前記第2の波長の成分をカットする第1のフィルタと、
    前記戻り光のうち、前記第2の波長の成分を透過して前記第1の波長の成分をカットする第2のフィルタと、
    を更に備え、
    前記撮影手段は、前記第1のフィルタを透過した前記第1の波長の成分に基づき前記第1の画像を撮影し、前記第2のフィルタを透過した前記第2の波長の成分に基づき前記第2の画像を撮影する、カメラを有することを特徴とする、請求項1または2記載の生体画像処理装置。
  5. 前記第1の波長の光を前記生体に照射する第1の光源と、
    前記第2の波長の光を前記生体に照射する第2の光源と、
    前記第1の光源と、前記第2の光源とを交互に点灯するように制御する制御部と、
    を更に備え、
    前記撮影手段は、前記制御部が前記第1の光源を点灯中、前記生体からの戻り光の前記第1の波長の成分に基づき前記第1の画像を撮影し、前記制御部が前記第2の光源を点灯中、前記生体からの戻り光の前記第2の波長の成分に基づき前記第2の画像を撮影する、カメラを有することを特徴とする、請求項1または2記載の生体画像処理装置。
  6. 前記第1の波長の光を前記生体に照射する第1の光源と、
    前記第2の波長の光を前記生体に照射する第2の光源と、
    前記生体からの戻り光の前記第1の波長の成分を透過して前記第2の波長の成分をカットする第1のフィルタと、
    前記戻り光の前記第2の波長の成分を透過して前記第1の波長の成分をカットする第2のフィルタと、
    を更に備え、
    前記撮影手段は、前記第1のフィルタを透過した前記第1の波長の成分に基づき前記第1の画像を撮影し、前記第2のフィルタを透過した前記第2の波長の成分に基づき前記第2の画像を撮影する、カメラを有することを特徴とする、請求項1または2記載の生体画像処理装置。
  7. 撮影手段が、第1の波長の光を照射された生体の第1の画像と、前記第1の波長より短い第2の波長の光を照射された前記生体の第2の画像とを撮影し、
    演算部が、前記第1の画像に含まれる表面反射光の成分の強度に応じて、前記第2の画像の減衰率を決定し、前記第1の画像から、前記第2の画像の輝度を前記減衰率で減衰させた画像を差し引いて、前記第1及び第2の画像の輝度分布が同等になるように第3の画像を求める、
    ことを特徴とする、生体画像処理方法。
JP2016062462A 2016-03-25 2016-03-25 生体画像処理装置及び生体画像処理方法 Active JP6707943B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016062462A JP6707943B2 (ja) 2016-03-25 2016-03-25 生体画像処理装置及び生体画像処理方法
US15/457,440 US10303917B2 (en) 2016-03-25 2017-03-13 Biometric image processing apparatus and biometric image processing method
EP17160531.4A EP3223194A3 (en) 2016-03-25 2017-03-13 Biometric image processing apparatus and biometric image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016062462A JP6707943B2 (ja) 2016-03-25 2016-03-25 生体画像処理装置及び生体画像処理方法

Publications (2)

Publication Number Publication Date
JP2017174342A JP2017174342A (ja) 2017-09-28
JP6707943B2 true JP6707943B2 (ja) 2020-06-10

Family

ID=58461054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016062462A Active JP6707943B2 (ja) 2016-03-25 2016-03-25 生体画像処理装置及び生体画像処理方法

Country Status (3)

Country Link
US (1) US10303917B2 (ja)
EP (1) EP3223194A3 (ja)
JP (1) JP6707943B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018033505A (ja) * 2016-08-29 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2020123068A (ja) * 2019-01-29 2020-08-13 株式会社 日立産業制御ソリューションズ 生体認証装置、生体認証方法およびコンピュータプログラム
EP4147164A4 (en) * 2020-05-07 2023-10-04 Fingerprint Cards Anacatum IP AB BIOMETRIC IMAGING DEVICE COMPRISING COLLIMATION STRUCTURES AND IMAGING METHOD IN THE BIOMETRIC IMAGING DEVICE
JP2023128557A (ja) * 2022-03-03 2023-09-14 株式会社日立製作所 撮影装置および認証装置
WO2023218551A1 (ja) * 2022-05-11 2023-11-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164123A (ja) * 1994-12-15 1996-06-25 Nikon Corp 採血装置
JP3869545B2 (ja) * 1998-01-19 2007-01-17 株式会社日立製作所 指の特徴パターン特徴検出装置及び個人識別装置
JP3877959B2 (ja) 2000-12-28 2007-02-07 花王株式会社 肌色測定装置および肌画像処理装置
GB2395777B (en) * 2002-11-27 2005-12-28 Taylor Hobson Ltd A surface profiling apparatus
JP5015496B2 (ja) 2006-06-01 2012-08-29 ルネサスエレクトロニクス株式会社 固体撮像装置、撮像方法および撮像システム
JP4379500B2 (ja) 2007-07-30 2009-12-09 ソニー株式会社 生体撮像装置
JP2010244304A (ja) * 2009-04-06 2010-10-28 Seiko Epson Corp 撮像装置、撮像装置方法及びプログラム
JP2012014668A (ja) * 2010-06-04 2012-01-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および電子装置
JP5925438B2 (ja) * 2011-06-23 2016-05-25 株式会社東芝 超音波診断装置
KR101470831B1 (ko) * 2013-05-28 2014-12-10 전남대학교산학협력단 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
JP6165540B2 (ja) 2013-07-26 2017-07-19 株式会社日立製作所 血管画像撮影装置及び端末

Also Published As

Publication number Publication date
US20170277934A1 (en) 2017-09-28
EP3223194A2 (en) 2017-09-27
EP3223194A3 (en) 2017-12-06
JP2017174342A (ja) 2017-09-28
US10303917B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
JP6707943B2 (ja) 生体画像処理装置及び生体画像処理方法
US10798310B2 (en) Hyperspectral imager coupled with indicator molecule tracking
JP7088225B2 (ja) 生体認証装置
CN102596019B (zh) 多模激光斑点成像
US11013456B2 (en) Systems and methods for hyperspectral medical imaging using real-time projection of spectral information
JP7186298B2 (ja) 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
US11206987B2 (en) Method and apparatus for concurrent imaging at visible and infrared wavelengths
WO2017187718A1 (ja) 撮像装置、認証処理装置、撮像方法、認証処理方法およびプログラム
KR20160089355A (ko) 미리 결정된 생물학적 구조체의 비침습적 검출 디바이스
US9300931B2 (en) Image pickup system
JP2023535143A (ja) 創傷の組織学的評価のためのスペクトルイメージングシステムおよびその方法
KR101494638B1 (ko) 반사 스펙트럼 추정을 이용하여 생체 내의 혈관을 영상화하는 방법, 그 방법을 이용한 혈관천자 안내 장치 및 사용자 인증 장치
JP6567850B2 (ja) 撮影装置
CN106725263B (zh) 应用于内窥镜系统的成像方法
TW201035882A (en) Three dimensional biometric scanner
US11686618B2 (en) Hyperspectral imaging method and device
US9042963B2 (en) System and method for acquiring images from within a tissue
KR20160117863A (ko) 지문 인식 장치 및 지문 인식 방법
WO2021099127A1 (en) Device, apparatus and method for imaging an object
KR102372602B1 (ko) 다파장 광원을 이용한 내시경 시스템
WO2017100685A1 (en) Methods and apparatus for measuring blood oxygenation of tissue
KR20160117861A (ko) 지문 인식 장치 및 지문 인식 방법
KR20160117860A (ko) 지문 인식 장치 및 지문 인식 방법
JP6875827B2 (ja) 酸素飽和度測定装置
KR20160117862A (ko) 지문 인식 장치 및 지문 인식 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200504

R150 Certificate of patent or registration of utility model

Ref document number: 6707943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150