JPWO2012090312A1 - 生体認証装置、生体認証方法、および、生体認証プログラム - Google Patents

生体認証装置、生体認証方法、および、生体認証プログラム Download PDF

Info

Publication number
JPWO2012090312A1
JPWO2012090312A1 JP2012550635A JP2012550635A JPWO2012090312A1 JP WO2012090312 A1 JPWO2012090312 A1 JP WO2012090312A1 JP 2012550635 A JP2012550635 A JP 2012550635A JP 2012550635 A JP2012550635 A JP 2012550635A JP WO2012090312 A1 JPWO2012090312 A1 JP WO2012090312A1
Authority
JP
Japan
Prior art keywords
dimensional shape
posture
unit
dimensional
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012550635A
Other languages
English (en)
Other versions
JP5708662B2 (ja
Inventor
遠藤 利生
利生 遠藤
新崎 卓
卓 新崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2012090312A1 publication Critical patent/JPWO2012090312A1/ja
Application granted granted Critical
Publication of JP5708662B2 publication Critical patent/JP5708662B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

生体認証装置は、ユーザの生体の各姿勢における3次元形状を記憶する記憶部と、生体センサで検出されたユーザの生体情報から生体の3次元形状を算出する3次元形状算出部と、生体センサで検出された生体情報から生体の姿勢を算出する姿勢算出部と、姿勢算出部によって算出された姿勢に応じて、記憶部に記憶された各3次元形状から3次元形状を合成する合成部と、3次元形状算出部によって算出された3次元形状を、合成部によって合成された3次元形状と照合する照合部と、を備える。

Description

本発明は、生体認証装置、生体認証方法、および、生体認証プログラムに関する。
施設への入退出等の際に人手を介さずに本人であることを確認する手段として、指紋、顔、虹彩、静脈などの個人の生体情報を用いる個人認証技術が利用されている。生体情報を用いる個人認証は、磁気カードや暗証番号を用いる場合と異なり、紛失(忘却)や盗用の心配がない利点を有している.
生体情報を収集する装置は、測定方法の違いによって、大きく接触型と非接触型とに分類される。身体と装置とが接触するものが接触型であり、身体と装置とが接触しないものが非接触型である。施設への入退出管理等においては、不特定多数の個人認証を行なう必要がある。したがって、衛生面や利用者の心理的な抵抗感を考慮すると、非接触型を用いることが望ましい。非接触型の装置では、人体の部位がかざされる形状や装置との位置関係(位置および向き)が変動しやすい。ここで、部位の位置、向き、形状を部位の姿勢と総称する。姿勢の変動は、認証精度低下を引き起こすので、対処が必要となる。
特許文献1は、手置きガイドの設置や利用者へのフィードバックによる姿勢の安定化を開示している。また、特許文献1は、静脈像を3次元的に求めて認証する技術を開示している。特許文献2は、様々な姿勢に対して登録データを作成し、認証時に最も類似した登録データを使用する技術を開示している。
国際公開第WO2004/021884 特開2004−005509号公報
しかしながら、特許文献1の技術では、認証時に利用者の負担が増え、使いやすさ(利便性)が低下する。また、部位の姿勢変化が大きい場合に、安定的に3次元形状を求めることが難しく、認証精度が低下する。特許文献2では、登録時に利用者の負担が増え、使いやすさ(利便性)が低下する。さらに、各登録データとの認証処理が必要なため、認証時の処理時間が増加する問題も生じる。
本発明は上記課題に鑑みなされたものであり、生体情報を用いた認証の際の利便性を低下させずに、生体の姿勢の影響を低減することができる生体認証装置、生体認証方法、および生体認証プログラムを提供することを目的とする。
上記課題を解決するために、明細書開示の生体認証装置は、ユーザの生体の各姿勢における3次元形状を記憶する記憶部と、生体センサで検出された前記ユーザの生体情報から生体の3次元形状を算出する3次元形状算出部と、前記生体センサで検出された生体情報から生体の姿勢を算出する姿勢算出部と、前記姿勢算出部によって算出された姿勢に応じて、前記記憶部に記憶された各3次元形状から3次元形状を合成する合成部と、前記3次元形状算出部によって算出された3次元形状を、前記合成部によって合成された3次元形状と照合する照合部と、を備えるものである。
上記課題を解決するために、明細書開示の生体認証方法は、生体センサで検出されたユーザの生体情報から生体の3次元形状を算出し、前記生体センサで検出された生体情報から生体の姿勢を算出し、算出された姿勢に応じて、記憶部が記憶する前記ユーザの生体の各姿勢における3次元形状から3次元形状を合成し、前記ユーザの生体情報から算出された前記3次元形状を、合成された3次元形状と照合するものである。
上記課題を解決するために、明細書開示の生体認証プログラムは、コンピュータに、生体センサで検出されたユーザの生体情報から生体の3次元形状を算出させ、前記生体センサで検出された生体情報から生体の姿勢を算出させ、算出された姿勢に応じて、記憶部が記憶する前記ユーザの生体の各姿勢における3次元形状から3次元形状を合成させ、前記ユーザの生体情報から算出された前記3次元形状を、合成された3次元形状と照合させるものである。
明細書開示の生体認証装置、生体認証方法、および生体認証プログラムによれば、生体情報を用いた認証の際の利便性を低下させずに、生体の姿勢の影響を低減することができる。
(a)は実施例1に係る生体認証装置のハードウェア構成を説明するためのブロック図であり、(b)は生体センサを説明するための図である。 生体認証プログラムの実行によって実現される各機能のブロック図である。 登録生体データの登録処理を表すフローチャートの一例である。 手のひらの姿勢について詳述するための模式図である。 静脈像の3次元形状について詳述するための模式図である。 3次元静脈像の代表的な変動として曲げに伴う変形の例を説明するための図である。 手のひらの向きによって計測誤差が異なる例を説明するための図である。 見かけのずれの算出例を説明するための図である。 ユーザの生体に対して認証する生体認証処理を表すフローチャートの一例である。 実施例2に係る生体認証プログラムの実行によって実現される各機能のブロック図である。 実施例2に係る生体認証処理を表すフローチャートの一例である。
以下、図面を参照しつつ、実施例について説明する。
図1(a)は、実施例1に係る生体認証装置100のハードウェア構成を説明するためのブロック図である。図1(a)を参照して、生体認証装置100は、CPU110、RAM120、ROM130、記憶装置140、生体センサ150、入力装置160、インタフェース170、および表示装置180を備える。これらの各機器は、バスなどによって接続されている。
CPU110は、中央演算処理装置である。CPU110は、1以上のコアを含む。RAM(Random Access Memory)120は、CPU110が実行するプログラム、CPU110が処理するデータなどを一時的に記憶する揮発性メモリである。
ROM(Read Only Memory)130は、不揮発性記憶装置である。記憶装置140は、不揮発性記憶装置であり、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)等であってもよく、ハードディスクドライブに駆動されるハードディスクなどであってもよい。さらに、記憶装置140は、外部記憶装置であってもよい。また、ROM130と記憶装置140とが同一の物理アドレス空間に配置されてもよい。本実施例に係る生体認証プログラムは、ROM130または記憶装置140に記憶されている。一例として、本実施例においては、ROM130が生体認証プログラムを記憶している。
生体センサ150は、ユーザの生体情報を検出するセンサである。生体情報には、指紋、虹彩、顔、静脈などが含まれる。本実施例においては、一例として、生体センサ150として、手のひら静脈を検出するセンサを用いる。具体的には、図1(b)を参照して、生体センサ150は、光を手のひらに照射する照射部151と、手のひらの静脈を撮影する撮影部152とを備える。照射部151は、例えば、近赤外光を発光するLEDなどである。撮影部152は、可視光線を遮断するフィルタ(可視光カットフィルタ)が設けられたCMOS(Complementary Metal Oxide Semiconductor)カメラ、CCD(Charge Coupled Device)カメラなどである。撮影結果は、画素毎に光の強度を表す数値(画素値)が付与された2次元の画像として表される。
入力装置160は、キーボード、マウス、タッチパネル、静電パッド、カードリーダなどであり、ユーザのID、パスワードなどを入力可能な装置である。インタフェース170は、無線LAN、有線LANなどのネットワークを通じて外部機器との間で信号を送受信するためのインタフェースである。表示装置180は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。
ROM130に記憶されている生体認証プログラムは、実行可能にRAM120に展開される。CPU110は、RAM120に展開された生体認証プログラムを実行する。それにより、生体認証装置100による各処理が実行される。図2は、生体認証プログラムの実行によって実現される各機能のブロック図である。図2を参照して、生体認証装置100は、姿勢算出部10、3次元形状算出部20、3次元構造抽出部30、ずれ算出部40、記憶部50、3次元形状合成部60、照合部70、判定部80、および出力部90として機能する。
(登録処理)
まず、図1〜図3を参照しつつ、認証時に使用する登録生体データの登録処理について説明する。図3は、登録生体データの登録処理を表すフローチャートの一例である。照射部151は、ユーザの手のひらに近赤外光を照射する(ステップS1)。次に、撮影部152は、近赤外光が照射された手のひらを撮影する(ステップS2)。次に、姿勢算出部10は、当該手のひらの姿勢を算出する(ステップS3)。次に、3次元形状算出部20は、当該手のひらの静脈像の3次元形状を算出する(ステップS4)。
3次元構造抽出部30は、当該静脈像の3次元構造を算出する(ステップS5)。この場合、例えば標準的な姿勢での3次元形状を用いる。次に、ずれ算出部40は、当該静脈像の見かけのずれを算出する(ステップS6)。「見かけのずれ」とは、3次元形状と3次元構造との差のことである。ステップS5で算出された3次元形状およびステップS6で算出された見かけのずれは、入力装置160によって入力されたユーザのIDと関連付けられて、記憶部50に記憶される。以下、登録処理の各ステップの詳細について説明する。
図4は、手のひらの姿勢について詳述するための模式図である。手のひらの姿勢は、撮影部152と手のひらとの位置関係(位置および向き)と、手のひらの形状とから構成される。本実施例においては、一例として、手のひらの表面に対して姿勢を定める。これは、静脈像の姿勢を直接計測することが困難であることによる。撮影部152と手のひらとの位置関係は、例えば図4のように定める。
まず、基準とする座標系として、撮影部152のカメラのレンズ中心「O」を原点とし、撮影部152の光軸と直交する面において互いに直交する軸を、X軸およびY軸とし、撮影部152の光軸をZ軸とする。各軸において単位をミリメートルとする。手のひらに固定した座標系として、手のひら表面の中央(例えば重心)を代表点「O´」とし、代表点「O´」から手首側をY´軸とし、代表点「O´」から手のひらの裏面に延びる方向をZ´軸とし、Y´軸およびZ´軸と直交する方向をX´軸とする。手のひらは、右手でも左手でもよい。
手のひらの位置は、基準とする座標系における代表点「O´」の座標値で表す。例えば、(0,10,40)は、代表点「O´」がX軸方向に0ミリメートル、Y軸方向に10ミリメートル、Z軸方向に40ミリメートルの位置にあることを示す。
手のひらの向きは、手のひらに固定した座標系のX´軸、Y´軸およびZ´軸の回転量を用いて表される。回転量の1つの表現方法として、X´軸方向、Y´軸方向およびZ´軸方向の単位ベクトルを並べた3×3の回転行列が挙げられる。例えば、下記式(1)は、回転がないことを表す(X´=X、Y´=Y、Z´=Z)。この場合、手のひらは、撮影部152に対して平行にかざされている。
Figure 2012090312
回転量の別の表現方法として、回転がない状態から出発して、X´軸回りにθ度回転し、次にY´軸回りにθ度回転し、最後にZ´軸回りにθ度回転した状態を回転角度の組で表すオイラー角と呼ばれる方法を用いてもよい。回転角度の組は、例えば(θ,θ,θ)のように表される。例えば、(10,20,15)は、手のひらが、撮影部152と平行にかざされた状態から、各回転軸回りに10度、20度、15度回転されたことを表す。
手のひらの形状は、例えば、全体的な曲がり方を1つの尺度で示す。具体的には、手のひらを球面で近似したときの球の半径の逆数に手のひらの大きさを掛けた無次元の量を用いる。手のひらの大きさは、例えば、手のひら上で最も遠い2点間の距離で定めることができる。上記2点間の距離は、手のひらの大きさと平均曲率との積に等しい。上記2点間の距離が「ゼロ」であることは、手のひらが平らであることを表す。なお、手のひらの形状として、より詳細な情報を用いることも可能である。例えば、各指の関節の回転角度(単位:度)を用いてもよい。
次に、姿勢算出部10による姿勢算出の一例について説明する。まず、手のひらの輪郭を用いる方法について説明する。撮影部152によって撮影された画像上で、背景は明るく、手のひらはやや暗く、静脈は最も暗いパターンとして表される。したがって、撮影部152によって撮影された画像を、以下のように3値化することができる。
姿勢算出部10は、第1しきい値よりも大きい画素を、背景を表す値「0」に変換する。姿勢算出部10は、第2しきい値(<第1しきい値)よりも大きく第1しきい値以下の画素を、手のひらを表す値「2」に変換する。姿勢算出部10は、第2しきい値以下の画素を、静脈を表す値「1」に変換する。このように、姿勢算出部10は、各画素を3値化する。
第1しきい値には、平均的な背景の画素値よりも小さな値を設定する。画素値の範囲が0から255の場合、例えば、第1しきい値として値「150」を用いることができる。第2しきい値には、平均的な静脈の画素値よりも大きな値を設定する。画素値の範囲が0から255の場合、例えば、第1しきい値として値「60」を用いることができる。
姿勢算出部10は、3値化後に全画素を1つずつ走査する。姿勢算出部10は、走査の際に対象とする画素が手のひらを表す値「2」でありかつ隣接する画素が背景を表す値「0」である場合に、当該対象とする画素を、輪郭を表す値「4」に変更する。これにより、手のひらの輪郭と静脈像とが検出される。
なお、上記登録処理の前に、姿勢算出部10は、あらかじめ不特定多数の手のひらの姿勢を算出し、その結果を記憶部50に記憶させておいてもよい。例えば、あらかじめ不特定多数の手のひらを用意して器具で固定し、様々な姿勢における画像を撮影部152に撮影させる。半径の定められた透明球を手のひらで握らせることによって、手のひらの形状を設定することができる。各指の関節角度を設定する場合には、指輪状の器具で各指を固定することが望ましい。姿勢算出部10は、撮影された不特定多数の手のひらの各画像に対して、上記の手法を適用して、輪郭を算出する。算出された姿勢は、記憶部50が記憶する。姿勢算出部10は、登録処理時あるいは生体認証処理時に与えられた画像に対して手のひらの輪郭を算出し、記憶部50に記憶された輪郭の中で最も似ている輪郭を探索し、その輪郭が撮影された手のひらの姿勢を、算出結果とする。輪郭の類似性としては、例えば、共通輪郭部分と共通非輪郭部分との割合の大きさを用いることができる。すなわち、画素の中でともに輪郭と判断されたものの割合と、ともに輪郭でないと判断されたものの割合との和を用いることができる。
なお、記憶部50の記憶容量を削減するため、人毎の平均輪郭や一部の輪郭だけを用いる方法も考えられる。また、コンピュータグラフィックスの手法を用いて、あらかじめ用意した手のひらを3次元計測して、それに基づいて輪郭を計算機内で生成する方法も考えられる。手のひらの姿勢の算出例を表1に示す.
Figure 2012090312
上述した方法以外の姿勢算出手法として、例えば以下の技術を用いてもよい。例えば、装置と身体部位との距離を計測する計測手段を設ける技術、入射光強度の画像上における非一様性を用いる技術、複数のカメラによるステレオ計測を用いる技術、複数の撮影画像による運動視差を用いる技術などが挙げられる。
可視光を照射する照射部および可視光を撮影する撮影部を別に備えて、可視光による撮影を併用することも考えられる。可視光は手の内部へ透過しにくいため、手の表面の模様であるしわや輪郭、手の表面までの距離を測定するのに適する。この測定結果を用いて手のひらの姿勢を定めることができる。例えば、しわを運動視差またはステレオ計測し、各しわの3次元座標を求め、手のひらを球面で近似することで、姿勢を算出することができる.この場合、照射部151に、近赤外光を発するLEDと可視光を発するLEDとを設け、撮影部152に、近赤外光を撮影するカメラと可視光を撮影するカメラとを設ければよい。
なお、手のひらの形状として各指の関節の回転角度を用いる場合、以下の方法で手のひらの姿勢を算出することもできる。例えば、(1)手のひらの輪郭に基づいて画像上で指の伸びる方向を求める。(2)しわの検出結果に基づいて指の伸びる方向と直交するしわの位置を関節とする。(3)関節をまたぐ2点に対して撮影部までの距離を算出し、算出された距離から関節の回転角を求める。
図5は、静脈像の3次元形状について詳述するための模式図であり、画像上の2次元静脈像と3次元静脈像との関係を表す。実際の世界に存在する3次元静脈像は、図5を参照して、カメラのレンズ中心「O」を原点とする透視投影によって、画像上の2次元静脈像に投影することができる。投影により奥行き(高さ)情報が失われるので、2次元形状から3次元形状を復元するには、静脈像を構成する各点の高さを求めることが必要になる。姿勢算出部10の処理の結果、2次元静脈像は、画像上で静脈に分類される画素の集まりとして表される。これらの画素の例えば中央点を取ることで、2次元静脈像を2次元の点列と見なすこともできる。この場合、対応する3次元静脈像は、3次元の点列で表される。
次に、3次元形状算出部20による3次元形状の算出の一例について説明する。例えば、運動視差を用いることができる。3次元形状算出部20は、撮影部152によって一定時間間隔(例えば33ミリ秒)で撮影された複数枚の撮影画像に対して、画像上の2次元静脈像を求める。3次元形状算出部20は、これらの画像を撮影している撮影時間内では、3次元静脈像を、形が変わらない剛体と見なす。剛体の運動は、並進運動を表す3つのパラメータ(並進速度)と回転運動を表す3つのパラメータ(回転速度)とで表現される。
3次元形状算出部20は、最初の時刻における静脈像の各点の高さと、並進速度と、回転速度とを未知数とする。ここで静脈像の各点としては、静脈に分類された画素の中央点を用いる。まず、3次元形状算出部20は、静脈像の各点の高さ、並進速度、および回転速度に乱数を設定する。3次元形状算出部20は、設定された各点の高さ、並進速度および回転速度を用いて、最初の時刻の2次元静脈像から、各時刻で想定される2次元静脈像を生成する。具体的には、以下の方法で生成する。各点の高さが与えられているので、最初の時刻における3次元静脈像を定めることができる。次に、3次元形状算出部20は、与えられた並進速度および回転速度を用いて、最初の時刻の3次元静脈像を平行移動および回転して、各時刻の3次元静脈像を算出する。最後に、3次元形状算出部20は、各時刻の3次元静脈像を投影して各時刻で想定される2次元静脈像を生成する。
3次元形状算出部20は、各時刻で算出された実際の2次元静脈像と想定される2次元静脈像とを比較し、両者の一致度を算出する。一致度は例えば、共通静脈部分と共通非静脈部分との割合の和(画素の中でともに静脈と判断されたものの割合と、ともに静脈でないと判断されたものの割合との和)を用いる。3次元形状算出部20は、算出された一致度を、これまでに算出された一致度の最大値と比較する。一致度の最大値を与える場合には、記憶部50は、設定された高さ、並進速度、および回転速度を記憶する。3次元形状算出部20は、指定された回数だけ上記の処理を繰り返し、最大の一致度を与える高さ、並進速度および回転速度を記憶部50から取得する。
静脈像の3次元形状は、上記で算出された各点の高さに基づき、例えば、静脈像を構成する各点の3次元座標(単位はミリメートル)で表す。表2に算出例を示す。
Figure 2012090312
別の実現例としては、複数のカメラを用いたステレオ計測が挙げられる。上述した方法では、手のひらの姿勢算出結果と独立に静脈像の3次元形状を求めたが、姿勢算出結果を利用することも可能である。いくつかの方式例を示す。
3次元形状算出部20は、静脈像の各点の高さを完全にランダムに設定して算出するのではなく、手のひら表面から一定幅(例えば0から5ミリメートル)の深さの範囲に収まるようにランダムに設定して算出してもよい。静脈は、手のひら表面から一定程度(数ミリメートル)の深さに位置するからである。
3次元形状算出部20は、可視光で撮影された撮影画像のしわを対象に運動視差を用いて、しわの3次元形状と手のひらの剛体運動とを算出してもよい。この場合、静脈像の3次元形状の算出においては、手のひらの剛体運動は既知として扱うことができる。
算出された3次元形状は、姿勢算出結果を用いて正規化することもできる。一例を説明する。まず、姿勢算出結果から手のひらを半球面で近似したときの球面の半径と代表点の座標(手のひら中央)とが得られる。地図の作成と同様の技法により、半球面を基準姿勢(例えば高さミリメートルで画像中央に置かれた傾き0度の平面)に写すような点の写像をあらかじめ定めておく。静脈像の3次元形状に対してこの写像を適用することで、手のひらが基準姿勢にある場合の正規化された3次元静脈像が得られる。
手のひらの形状として各指の関節の回転角度を用いる場合には、各関節の回転角算出結果を用いて、指を伸ばした状態の3次元静脈像に正規化することもできる。また、上記では静脈像として点の集合による表現を用いたが、記憶容量の削減や処理の高速化のため、例えば画像から分岐点や端点などの特徴点を抽出して、それらを構成点とする折れ線などで静脈像を表現することも可能である。
次に、算出された3次元形状の変動について説明する。手のひらが理想的な球面あるいは平面で、かつ静脈が手のひら表面に存在して計測誤差なく測定できるのであれば、正規化された3次元静脈像は手のひらの姿勢に依存しなくなる。この場合、正規化された3次元形状を登録しておき、認証時に与えられる3次元形状と照合を行なえば、手のひらの姿勢に依存しない安定した個人認証が実現される。手のひらの形状として指の関節を考慮する場合でも、複数の剛体を関節で接続したものであれば、同様に安定した個人認証が実現される。
しかしながら、実際には手のひらの形状は複雑で様々な変形を伴い、かつそれは個人毎に異なっている。さらに、静脈は手のひら内部に存在し、手のひら表面との位置関係も個人毎に異なっている。また、これらの計測には誤差が含まれる。これらの要因により、3次元静脈像は正規化しても手のひらの姿勢に依存して変動する。図6は、3次元静脈像の代表的な変動として曲げに伴う変形の例を説明するための図である。図7は、手のひらの向きによって計測誤差が異なる例を説明するための図である。
上述したように、3次元静脈像の変動および計測誤差は、手のひらの姿勢に強く依存し、大きい個人差を有する。そこで、上記登録処理の際に、ユーザに様々な姿勢を取ってもらい、それぞれの姿勢から静脈像の3次元形状を算出する。これにより、計測誤差のうち、手のひらの姿勢に依存する系統的な偏りを取り除くことができる。
登録時にユーザが取る姿勢の具体例を以下に示す。(1)手のひらを、開いた状態で撮影部152に対して前後左右に動かす。(2)次に、手のひらを、撮影部152の中央に戻して前後左右に傾ける。(3)最後に、手のひらを、撮影部152の中央に戻して閉じ開きを行なう。上記程度の手かざしであれば、登録時のユーザの負担は小さく、利便性は低下しない。
上記の手のかざし方に対して算出される3次元形状の例を表3に示す。ただし、2次元の表に図示するため、特定の1次元(例えば軸)の位置および向きだけを示している。空欄は対応する3次元形状が存在しないことを表す。
Figure 2012090312
3次元構造抽出部30は、例えば、登録時の1つの姿勢を標準姿勢として扱い、そのときの3次元形状を3次元構造として抽出する。すなわち、複数の3次元形状のいずれかを3次元構造として抽出してもよい。標準姿勢としては、例えば、高さ40ミリメートルで画像中央に置かれた傾き0度の曲がっていない状態を用いる。
上記以外の3次元構造の定め方としては、例えば、複数の3次元形状の平均を用いる方法が考えられる。3次元静脈像を、静脈像を構成する点の3次元座標で表す場合の平均算出手法を以下に示す。平均操作には、異なる姿勢に対して3次元静脈像の点間の対応を取る必要がある。対応を取る方法の一例を以下に示す。標準姿勢の3次元形状を基準として、他の姿勢に対する3次元静脈像の各点を3次元距離が最も近い点に対応付ける。ただし、3次元距離がしきい値(例えば5ミリメートル)よりも大きい場合には、新規の点を標準姿勢の3次元形状に追加する。追加が完了した時点で、標準姿勢の3次元形状の各点と他の姿勢の3次元形状の各点との対応は取れている。対応が取れた点の座標値の平均を算出して、それを3次元形状の平均とする。
ずれ算出部40は、3次元構造抽出部30が抽出した3次元構造と、登録時の各3次元形状との差を、見かけのずれとして算出する。例えば、表3の3次元形状でdata0,0を3次元構造と定めたときの見かけのずれを表4に示す。ここで、δi,jは、datai,jとdata0,0との差を表す。ずれ算出部40は、算出した見かけのずれを、入力装置160によって入力されたユーザのIDと関連付けて記憶部50に記憶させる。
Figure 2012090312
なお、3次元静脈像を、静脈像を構成する点の3次元座標で表す場合には、異なる姿勢における3次元静脈像の点間の対応を取る必要がある。これは、例えば、3次元距離が最も近い点に対応付けることで行なう。図8は、見かけのずれの算出例を説明するための図である。見かけのずれは、3次元形状と比較して数値的に小さくなるので、有効数字の桁数が減り、小データサイズで記憶部50に格納することが可能となる。さらに、公知技術であるデータ圧縮技法を用いることで、さらにデータサイズを小さくすることもできる。データ圧縮技法としては、例えば主成分分析(PCA)を利用することができる。
(生体認証処理)
次に、図1、図2および図9を参照しつつ、生体認証処理について説明する。図9は、ユーザの生体に対して認証する生体認証処理を表すフローチャートの一例である。まず、照射部151は、ユーザの手のひらに近赤外光を照射する(ステップS11)。次に、撮影部152は、近赤外光が照射された手のひらを撮影する(ステップS12)。次に、姿勢算出部10は、当該手のひらの姿勢を算出する(ステップS13)。次に、3次元形状算出部20は、当該手のひらの静脈像の3次元形状を算出する(ステップS14)。
次に、3次元形状合成部60は、姿勢算出部10が算出した姿勢に応じて、3次元形状を合成する(ステップS15)。次に、照合部70は、3次元形状算出部20が算出した3次元形状を、3次元形状合成部60によって合成された3次元形状と照合する(ステップS16)。判定部80は、照合部70によって算出された類似度がしきい値を上回るか否かを判定する(ステップS17)。判定部80は、照合部70によって算出された類似度がしきい値を上回っていれば認証成功と判定し、当該類似度がしきい値以下であれば認証失敗と判定する。出力部90は、判定部80による判定が認証成功であれば認証成功に係る情報を表示装置180に出力し、判定部80による判定が認証失敗であれば認証失敗に係る情報を表示装置180に出力する(ステップS18)。それにより、表示装置180は、認証成功または認証失敗に係る情報を表示する。
ステップS11〜ステップS14は、ステップS1〜ステップS4の処理と同様であるため、説明を省略する。以下、ステップS15〜ステップS17の詳細について説明する。
3次元形状合成部60は、生体認証処理の際に姿勢算出部10によって算出された手のひらの姿勢を用いて、記憶部50に記憶された生体登録データから3次元形状を合成する。3次元形状の合成は、例えば以下の2段階で行なわれる。(1)与えられた姿勢に対する見かけのずれを推定する。(2)推定された見かけのずれと3次元構造とから3次元形状を算出する。
見かけのずれの推定方法としては、例えば線形補間(補外)方法を利用することができる。例えば、記憶部50に記憶されている姿勢の中で、姿勢算出部10によって算出された姿勢と見かけのずれが最も近い2つの姿勢を選び、これら2つの姿勢の見かけのずれを姿勢間の距離に応じて重みつきで足し合わせることで実現する。姿勢間の距離としては、例えば位置の差の2乗和と向きの差の2乗和と形状の2乗の和との平方根を用いる。姿勢の近さもこの距離で測ることができる。これにより、例えば、手のひらの形状として、各指の関節の回転角度を用いる場合、親指だけを曲げただけの姿勢と、子指だけを曲げただけの姿勢との見かけのずれから、親指および子指の両方を曲げたときの姿勢の見かけのずれを推定することができる。
推定された見かけのずれと3次元構造とから3次元形状を算出する方法は、3次元構造に見かけのずれを加えることで実現できる。表4の登録データに対して、すべての姿勢に対して3次元形状を合成した結果を表5に示す(位置向きの1次元のみを表示)。補間により、登録時に与えなかった姿勢に対しても静脈像の3次元形状が得られることが分かる。
Figure 2012090312
照合部70は、2つの3次元静脈像間の類似性を表す類似度を算出する。類似度としては、例えば両者をデータ列として見たときの相関係数を用いる。この場合、点間の対応付けを行なう必要があるので、例えば最も距離が近い点対が対応していると見なす。相関係数は−1から+1までの値を取り、値が大きいほど類似性が高いことを表す。
算出方法の1例を示す。登録側の合成された3次元静脈像は3点からなり、それぞれ(−10,−10,40)、(0,0,40)、(10,10,40)であるとする。生体認証処理時に与えられた3次元静脈像も3点からなり、それぞれ(−8,−10,40)、(0,1,40)、(11,11,40)であるとする。点間の距離を計算することで、点間の対応付けは上記記載順であると定められる。それぞれの静脈像を9個のデータ列と見ることで。相関係数は下式で計算される.
Figure 2012090312
判定部80は、算出された類似度をしきい値(例えば0.99)と比較して、より大きい場合に本人と判定する。上記の例に関しては、0.9993は0.99よりも大きいため、本人と判定される。したがって、出力部90は、認証成功に係る情報を表示装置180に出力する。
本実施例によれば、認証時に算出される生体の姿勢に応じて、あらかじめ記憶された複数の姿勢の3次元形状から照合対象の3次元形状が合成されるため、生体の姿勢の影響を低減することができる。また、生体の3次元形状を用いるため、2次元形状を用いる場合と比較して、代表的な少数の姿勢における3次元形状だけを記憶しておけばよい。したがって、ユーザの利便性を低下させずにすむ。また、記憶される3次元形状が少数であれば、照合時における処理が簡略化される。それにより、生体認証処理の処理時間を短縮化することができる。
なお、本実施例においては、記憶部50に記憶される登録生体データは、3次元構造と見かけのずれであるが、それに限られない。例えば、記憶部50は、各姿勢における3次元形状を記憶していてもよい。ただし、見かけのずれを記憶しておくことによって、記憶容量を削減することができる。
次に、実施例2に係る生体認証装置100aについて説明する。生体認証装置100aは、入室管理を行う認証装置である。図10は、実施例2に係る生体認証プログラムの実行によって実現される各機能のブロック図である。図10を参照して、生体認証装置100aにおいては、出力部90の代わりに開閉部90aが実現される。
続いて、実施例2に係る生体認証処理について説明する。図11は、実施例2に係る生体認証処理を表すフローチャートの一例である。照射部151は、ユーザの手のひらに近赤外光を照射する(ステップS21)。次に、撮影部152は、近赤外光が照射された手のひらを撮影する(ステップS22)。次に、姿勢算出部10は、当該手のひらの姿勢を算出する(ステップS23)。次に、3次元形状算出部20は、当該手のひらの静脈像の3次元形状を算出する(ステップS24)。
次に、照合部70は、ステップS24で算出された3次元形状を、記憶部50に記憶されている全ユーザ(全ID)の登録生体データの3次元構造と照合する(ステップS25)。3次元形状を合成しないことによって、照合処理が高速化される。照合処理の結果、算出された3次元形状と全ユーザの3次元構造との類似度が算出される。3次元形状合成部60は、照合部70によって算出された類似度が与えられたしきい値(例えば0.9)よりも大きいユーザの生体登録データを読み込む(ステップS26)。次に、3次元形状合成部60は、当該ユーザについて、姿勢算出部10が算出した姿勢に応じて3次元形状を合成する(ステップS27)。次に、照合部70は、3次元形状算出部20が算出した3次元形状を、3次元形状合成部60によって合成された3次元形状と照合する(ステップS28)。
判定部80は、照合部70によって算出された類似度がしきい値を上回るか否かを判定する(ステップS29)。この場合のしきい値は、ステップS26におけるしきい値よりも大きく、例えば0.99である。判定部80は、照合部70によって算出された類似度がしきい値を上回っていれば認証成功と判定し、当該類似度がしきい値以下であれば認証失敗と判定する。開閉部90aは、判定部80による判定が認証成功であれば扉を開き、判定部80による判定が認証失敗であれば扉を閉じたままにする(ステップS30)。その後、フローチャートの実行が終了する。
本実施例によれば、認証時に算出される生体の姿勢に応じて、あらかじめ記憶された複数の姿勢の3次元形状から照合対象の3次元形状が合成されるため、生体の姿勢の影響を低減することができる。また、生体の3次元形状を用いるため、2次元形状を用いる場合と比較して、代表的な少数の姿勢における3次元形状だけを記憶しておけばよい。したがって、ユーザの利便性を低下させずにすむ。また、記憶される3次元形状が少数であれば、照合時における処理が簡略化される。それにより、生体認証処理の処理時間を短縮化することができる。さらに、IDなどでユーザを特定しなくても、複数のIDの中から対象とするユーザを特定することができる。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (10)

  1. ユーザの生体の各姿勢における3次元形状を記憶する記憶部と、
    生体センサで検出された前記ユーザの生体情報から生体の3次元形状を算出する3次元形状算出部と、
    前記生体センサで検出された生体情報から生体の姿勢を算出する姿勢算出部と、
    前記姿勢算出部によって算出された姿勢に応じて、前記記憶部に記憶された各3次元形状から3次元形状を合成する合成部と、
    前記3次元形状算出部によって算出された3次元形状を、前記合成部によって合成された3次元形状と照合する照合部と、を備えることを特徴とする生体認証装置。
  2. 前記記憶部は、前記各姿勢における3次元形状から求まる特定の3次元形状である3次元構造と、前記各姿勢における3次元形状との差を記憶し、
    前記合成部は、前記記憶部に記憶された3次元構造と各姿勢における3次元形状との差を用いて、3次元形状を合成することを特徴とする請求項1記載の生体認証装置。
  3. 前記合成部は、前記記憶部に記憶されていない姿勢に対して、前記記憶部に記憶されている差を補間することで、3次元形状を合成することを特徴とする請求項2記載の生体認証装置。
  4. 前記合成部は、前記3次元形状算出部によって算出された3次元形状と前記3次元構造との類似度が所定値以上である場合に、前記記憶部に記憶された差を用いて、前記姿勢算出部によって算出された生体の姿勢から3次元形状を合成することを特徴とする請求項2または3記載の生体認証装置。
  5. 前記各姿勢における3次元形状は、あらかじめ前記生体センサで検出した前記ユーザの生体情報から前記3次元形状算出部によって算出された複数の3次元形状であることを特徴とする請求項1〜4のいずれかに記載の生体認証装置。
  6. 前記生体は、手のひらの静脈であり、
    前記生体の姿勢は、手のひらの表面の姿勢であることを特徴とする請求項1〜5のいずれかに記載の生体認証装置。
  7. 前記3次元形状算出部は、前記姿勢算出部によって算出された生体の姿勢に基づいて、3次元形状を正規化することを特徴とする請求項1〜6のいずれかに記載の生体認証装置。
  8. 前記3次元形状算出部は、可視光による撮影で生体の表面模様の3次元座標を、3次元形状として求めることを特徴とする請求項1〜7のいずれかに記載の生体認証装置。
  9. 生体センサで検出されたユーザの生体情報から生体の3次元形状を算出し、
    前記生体センサで検出された生体情報から生体の姿勢を算出し、
    算出された姿勢に応じて、記憶部が記憶する前記ユーザの生体の各姿勢における3次元形状から3次元形状を合成し、
    前記ユーザの生体情報から算出された前記3次元形状を、合成された3次元形状と照合することを特徴とする生体認証方法。
  10. コンピュータに、
    生体センサで検出されたユーザの生体情報から生体の3次元形状を算出させ、
    前記生体センサで検出された生体情報から生体の姿勢を算出させ、
    算出された姿勢に応じて、記憶部が記憶する前記ユーザの生体の各姿勢における3次元形状から3次元形状を合成させ、
    前記ユーザの生体情報から算出された前記3次元形状を、合成された3次元形状と照合させることを特徴とする生体認証プログラム。
JP2012550635A 2010-12-28 2010-12-28 生体認証装置、生体認証方法、および、生体認証プログラム Active JP5708662B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/073756 WO2012090312A1 (ja) 2010-12-28 2010-12-28 生体認証装置、生体認証方法、および、生体認証プログラム

Publications (2)

Publication Number Publication Date
JPWO2012090312A1 true JPWO2012090312A1 (ja) 2014-06-05
JP5708662B2 JP5708662B2 (ja) 2015-04-30

Family

ID=46382461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012550635A Active JP5708662B2 (ja) 2010-12-28 2010-12-28 生体認証装置、生体認証方法、および、生体認証プログラム

Country Status (4)

Country Link
US (1) US9189684B2 (ja)
EP (1) EP2660773A4 (ja)
JP (1) JP5708662B2 (ja)
WO (1) WO2012090312A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11358590B2 (en) * 2018-09-06 2022-06-14 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Switching method of automatic driving mode, apparatus and readable storage medium

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012081126A1 (ja) * 2010-12-17 2012-06-21 富士通株式会社 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
WO2013145280A1 (ja) * 2012-03-30 2013-10-03 富士通株式会社 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
JP6160148B2 (ja) * 2013-03-19 2017-07-12 富士通株式会社 生体情報入力装置、生体情報入力プログラム、生体情報入力方法
DE102013208654A1 (de) * 2013-05-10 2014-11-13 Iris-Gmbh Infrared & Intelligent Sensors Sensorsystem und Verfahren zur Aufnahme eines Handvenenmusters
CN103729622B (zh) * 2013-12-24 2017-09-22 小米科技有限责任公司 一种手指静脉三维点云获取方法、装置及一种终端
US20150186708A1 (en) * 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
JP2016081071A (ja) * 2014-10-09 2016-05-16 富士通株式会社 生体認証装置、生体認証方法及びプログラム
JP6439634B2 (ja) 2015-09-04 2018-12-19 富士通株式会社 生体認証装置、生体認証方法および生体認証プログラム
US11023762B2 (en) * 2016-08-12 2021-06-01 3M Innovative Properties Company Independently processing plurality of regions of interest
RU2667371C1 (ru) * 2017-06-06 2018-09-19 Наиль Рафкатович Музафаров Биометрическая система формирования изображения вен
RU2667373C1 (ru) * 2017-06-06 2018-09-19 Наиль Рафкатович Музафаров Биометрическая система формирования 3D изображения поверхности объекта или его частей
CN108090415A (zh) * 2017-11-24 2018-05-29 江西智梦圆电子商务有限公司 一种基于人脸和掌静脉识别的身份比对方法
CN111160253A (zh) * 2019-12-30 2020-05-15 业成科技(成都)有限公司 生物识别模组、可穿戴设备及移动终端

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173068B1 (en) * 1996-07-29 2001-01-09 Mikos, Ltd. Method and apparatus for recognizing and classifying individuals based on minutiae
KR100259475B1 (ko) * 1997-04-14 2000-06-15 최환수 정맥분포패턴을 이용한 개인식별방법
JP2001222716A (ja) * 2000-02-08 2001-08-17 Minolta Co Ltd 人物認証方法および同装置
JP2002092616A (ja) * 2000-09-20 2002-03-29 Hitachi Ltd 個人認証装置
JP3940690B2 (ja) 2002-03-25 2007-07-04 株式会社東芝 画像処理装置及びその方法
US7181048B2 (en) * 2002-06-28 2007-02-20 Hewlett-Packard Development Company, L.P. Biometric capture adapter for digital imaging devices
WO2004021884A1 (ja) 2002-09-03 2004-03-18 Fujitsu Limited 個人認識装置
US8190239B2 (en) * 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
WO2005020030A2 (en) * 2003-08-22 2005-03-03 University Of Houston Multi-modal face recognition
JP4601380B2 (ja) * 2004-10-08 2010-12-22 富士通株式会社 生体認証システムの登録方法、生体認証システム及びそのプログラム
JP4758218B2 (ja) * 2005-12-16 2011-08-24 株式会社山武 3次元パターン位置・姿勢検出装置
JP4760422B2 (ja) * 2006-02-08 2011-08-31 株式会社デンソーウェーブ 生体識別装置
US8463006B2 (en) * 2007-04-17 2013-06-11 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
JP4957514B2 (ja) * 2007-11-12 2012-06-20 富士通株式会社 ガイド装置、撮像装置、撮像システム、ガイド方法
JP5098973B2 (ja) * 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
CN102292026B (zh) * 2009-01-30 2014-03-26 富士通先端科技株式会社 认证装置、摄像装置和认证方法
US8600123B2 (en) * 2010-09-24 2013-12-03 General Electric Company System and method for contactless multi-fingerprint collection
US9041775B2 (en) * 2011-03-23 2015-05-26 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11358590B2 (en) * 2018-09-06 2022-06-14 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Switching method of automatic driving mode, apparatus and readable storage medium

Also Published As

Publication number Publication date
US20130287268A1 (en) 2013-10-31
WO2012090312A1 (ja) 2012-07-05
EP2660773A1 (en) 2013-11-06
EP2660773A4 (en) 2017-04-05
JP5708662B2 (ja) 2015-04-30
US9189684B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
JP5708662B2 (ja) 生体認証装置、生体認証方法、および、生体認証プログラム
JP6005750B2 (ja) 認証装置、及び認証方法
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
JP6507046B2 (ja) 立体物検知装置及び立体物認証装置
US20150347833A1 (en) Noncontact Biometrics with Small Footprint
WO2017082100A1 (ja) 生体情報を用いた認証装置及び認証方法
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
EP2848196B1 (en) Apparatus for blood vessel imaging
JP5293950B2 (ja) 個人認証装置及び電子機器
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN105917358B (zh) 三维形状测定装置及方法
US9107613B2 (en) Handheld scanning device
WO2011059496A9 (en) Apparatus and method for determining sequencing of fingers in images to a two-finger scanner of fingerprint images
WO2013161077A1 (ja) 生体認証装置、生体認証プログラム及び生体認証方法
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP2007102412A (ja) モデリングシステム、モデリング方法およびプログラム
CN106462738B (zh) 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备
JP2007304857A (ja) 認証システム、認証方法、及びプログラム
JP2014180435A (ja) 生体情報入力装置、生体情報入力プログラム、生体情報入力方法
JP6908843B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5796523B2 (ja) 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
JP2017227687A (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
JP2009151516A (ja) 情報処理装置および情報処理装置用操作者指示点算出プログラム
JP6699136B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150216

R150 Certificate of patent or registration of utility model

Ref document number: 5708662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150