JP4085470B2 - 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 - Google Patents
個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4085470B2 JP4085470B2 JP14864098A JP14864098A JP4085470B2 JP 4085470 B2 JP4085470 B2 JP 4085470B2 JP 14864098 A JP14864098 A JP 14864098A JP 14864098 A JP14864098 A JP 14864098A JP 4085470 B2 JP4085470 B2 JP 4085470B2
- Authority
- JP
- Japan
- Prior art keywords
- photographed
- photographing
- personal identification
- registrant
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 108
- 230000001815 facial effect Effects 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 49
- 238000005286 illumination Methods 0.000 claims description 21
- 241000282412 Homo Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Description
【発明の属する技術分野】
この発明は、撮影装置で撮影した識別対象者の外見上の特徴量から、該識別対象者を特定する個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
従来より、識別対象者を外見上の特徴量から特定する個人識別装置が提案されている。外見上の特徴として、1)顔の輪郭、2)目、鼻、口等の形状、3)顔の凹凸等を利用したものがある。本人を特定する場合、CCDカメラ等の撮影装置で撮影した識別対象者の顔画像を処理して特徴量を抽出し、登録者の中から最も類似度の高い登録者であるとしていた。また、識別対象者に識別コードを入力させ、識別対象者の顔画像を処理して抽出した特徴量と、入力された識別コードで識別される登録者の特徴量との類似度から識別対象者が、この識別コードで識別される登録者であるかどうかを判定する装置もある。
【0003】
なお、個人識別装置は、例えば、特定の者以外の立ち入りを禁止している管理区域等で、管理区域への立ち入りを希望する者が立ち入りが許可されている人物(登録者)であるかどうかを判定(特定)し、立ち入りが許可されている人物であれば入口を開放して立ち入りを許可するシステム等に適用できる。
【0004】
また、銀行等に設置されている周知のATM(現金自動支払い機)等にも適用できる。ATMに適用する場合、暗唱番号の入力の代わりに、撮影した画像から利用者を特定すればよい。これによって、暗唱番号の入力を不要にして操作性の向上がはかれるとともに、利用者が暗唱番号を忘れてATMが利用できないという問題も生じない。
【0005】
【発明が解決しようとする課題】
しかしながら、従来の個人識別装置は、CCDカメラ等の撮影装置で撮影した画像を処理して抽出した特徴量に基づいて識別対象者を特定しているだけであった。したがって、撮影装置に他人の顔写真等を撮影させれば、顔写真の人物であると判定させることができ、容易に他人になりすますことができる。よって、従来の個人識別装置を適用したシステムでは、セキュリティの面において問題があった。
【0006】
この発明の目的は、撮影装置で撮影した画像が人間を撮影した画像であるかどうかを判定し、人間を撮影した画像でなければ処理を中止することで、セキュリティの向上を図った個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体を提供することにある。
【0008】
【課題を解決するための手段】
この発明は、登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の平均を求め、ここで求めた輝度値の平均と予め設定した第1の閾値とを比較することで、前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する。
また、この発明は、登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の分散を求め、ここで求めた輝度値の分散と予め設定した第2の閾値とを比較することで、前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する。
また、この発明は、登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の平均、および分散を求め、ここで求めた輝度値の平均と予め設定した第1の閾値とを比較するとともに、ここで求めた輝度値の分散と予め設定した第2の閾値とを比較することで、前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する。
さらに、この発明は、登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域をフラッシュを点灯した状態で撮影した撮影画像に対して2値化処理を行い、この2値化処理した画像における反射光による照かり領域の有無によって前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する。
【0009】
この構成では、撮影装置において撮影された画像が人間を撮影したものであるのかどうかを判定し、人間を撮影した画像でなければ識別処理を中止する。すなわち、他人になりすますために、撮影装置に他人の顔写真等を撮影させても、撮影された画像が人間を撮影した画像でないと判定され、処理が中止される。これにより、他人の顔写真等を用いても、他人になりすますことができなくなり、セキュリティを向上させることができる。
また、撮影装置において撮影された画像が人間を撮影したものであるのかどうかの判定は、照明を使用して撮影した撮影画像の輝度値の平均、や分散に基づいて行う。
また、撮影装置において撮影された画像が人間を撮影したものであるのかどうかの判定は、フラッシュを点灯した状態で撮影した撮影画像に対して2値化処理を行い、この2値化処理した画像における反射光による照かり領域の有無によって行ってもよい。
【0010】
また、前記外見上の特徴量は、輪郭、目、鼻、口等、顔部品の形状に関する特徴量を用いることができる。
【0011】
【発明の実施の形態】
図1は、この発明の実施形態である個人識別装置の構成を示すブロック図である。個人識別装置1は、装置本体の動作を制御する制御部2と、入力操作を行う入力部3と、登録者毎に付与されている識別コードと該識別コードで識別される登録者の顔の特徴量(輪郭、目、鼻、口等の形状や顔の凹凸等)とを対応づけて記憶した記憶部4と、撮影装置10とのインタフェースとして機能するI/F部5と、を備えている。
【0012】
図2は、制御部の機能を示す機能ブロック図である。なお、制御部2には、後述する処理を実行させるためのプログラムがCD−ROM等の記録媒体から供給されている。図2において、11は撮影装置10が撮影した画像を記憶する画像メモリ、12は画像メモリ11に記憶した画像を処理して人間を撮影した画像であるかどうかを判定する撮影対象判定部、13は撮影装置10で撮影された画像について顔領域を抽出する顔領域抽出部、14は顔の特徴量を抽出する特徴抽出部、15は特徴抽出部14で抽出した顔の特徴量と記憶部4に記憶されている指定された登録者の顔の特徴量との類似度を判定する類似度判定部である。
【0013】
入力部3には、識別対象者が識別コードを入力するPINパッド3aが設けられている。なお、識別対象者に識別コードを記憶させたカード等の記憶媒体を発行しておき、PINパッド3aにかえてこの記憶媒体から識別コードを読み取る媒体読取装置(例えば、カードリーダ)を設けてもよい。
【0014】
図3を参照しながらこの実施形態の個人識別装置1の処理を説明する。図3は、個人識別装置の処理を示すフローチャートである。この実施形態の個人識別装置1は、撮影装置10で撮影された画像がI/F部5を介して画像メモリ11に記憶される。制御部2は、撮影対象判定部12において画像メモリ11に記憶された画像が人間を撮影した画像であるかどうかを判定する撮影対象判定処理を行う(n1)。撮影対象判定処理の詳細については後述する。個人識別装置1は、撮影対象が人間であると判定するとn3以降の処理を行う。一方、撮影対象が人間でないと判定すると(例えば、撮影対象が写真やマネキン等であった場合)、警報を発する等のエラー処理を行って本処理を終了する(n2)。
【0015】
このように、撮影装置において撮影された画像が人間を撮影したものでなければ、以降の処理が実行されない(以降の処理を中止する。)。したがって、撮影装置に他人の顔写真を撮影させても、撮影された画像が人間を撮影した画像でないと判定され、処理が中止される。よって、他人の顔写真等を用いても、他人になりすますことができす、セキュリティを確保できる。
【0016】
n1で撮影対象が人間であると判定すると(人間を撮影した画像であると判定すると)、顔領域抽出部13が画像メモリ11に記憶している識別対象者の画像(撮影装置10で撮影された画像)を読み出すとともに、識別コードの入力も受け付ける(n3、n4)。識別コードは、識別対象者(撮影された者)がPINパッド3aを操作して入力する。
【0017】
顔領域抽出部13は、画像メモリ11から読み出した画像を処理して識別対象者の画像領域と背景領域との分離を行う(識別対象者の画像領域を抽出する。)(n5)。n5の処理は、識別対象者の画像とその周辺とを含む粗い検出であり、背景画像と取得画像との差分を抽出する背景差分手法、カラーを用いた肌色検出、オプチカルフローやフレーム間差分を用いた動き検出手法、顔らしさをニューラルネットワークやパターンマッチングによって求める手法等が知られている。
【0018】
顔領域抽出部13は、n5で検出した識別対象者の画像領域に基づいて、顔領域を正確に検出する(n6)。n6では、目、鼻、口等の顔部品の特徴モデルをもとにマッチングによって求める。n6で識別対象者の顔領域を検出すると、特徴抽出部14が顔の特徴量を求める(n7)。顔の特徴量を求める手法としては、平均的な顔との差を主成分分析等の統計的手法を用いて求める手法や、目、鼻、口等の濃淡画像からテンプレートマッチングにより求める手法等が知られている。
【0019】
個人識別装置1は、n7で識別対象者の顔の特徴量を求めると、記憶部4からn4で入力された識別コードで識別される登録者の顔の特徴量を読み出し(n8)、類似度を算出する(n9)。n9で算出した類似度が予め設定されている閾値以上であれば識別対象者は入力された識別コードで識別される登録者であると判定し(n10→n11)、類似度が閾値未満であれば識別対象者は入力された識別コードで識別される登録者でないと判定する(n10→n12)。
【0020】
なお、n10で識別対象者が登録者であると判定した場合には、個人識別装置1を適用したシステムにおいて、登録者に対して提供するサービスを実行すればよい。例えば、管理区域への入口を開放して立ち入りを許可したり、周知のATMに適用した場合には入出金を許可する等のサービスを実行すればよい。
【0021】
また、上記の実施形態では識別対象者がn4で識別コードを入力するとしたが、識別コードの入力を無くしてもよい。この場合には、n9で算出した特徴量と最も類似度の高い登録者を記憶部4から検出し、識別対象者をここで検出した登録者であるとすればよい。このようにすれば、識別コードの入力が不要となるため、操作性を向上できる。
【0022】
次に、n1の撮影対象判定処理について詳細に説明する。図4は、この実施形態における撮影装置10の構成を示す図である。撮影装置10は、CCDカメラ20と、CCDカメラ20の撮影領域に横方向から光を照射する照明装置21と、照明装置21の点灯を制御する照明制御装置21aとを備えている。
【0023】
図5は、撮影対象判定処理を示すフローチャートである。照明装置21を点灯し、この時点におけるCCDカメラ20の撮影画像を画像メモリ11に記憶する(n21、n22)。照明制御装置21aは照明装置21を消灯し(n23)、この時点におけるCCDカメラ20の撮影画像を画像メモリ11に記憶する(n24)。すなわち、画像メモリ11には、撮影対象に対して照明装置21で光を照射した状態の画像と、光を照射していない状態の画像とが記憶される。なお、図では画像メモリ11に照明装置21で光を照射した状態の画像が先に記憶されるとしたが、この順番は逆であってもよい。
【0024】
後述するように、この実施形態では撮影対象を照明装置21で照射した状態で撮影した画像から撮影対象が人間であるかどうかを判定し、他方の画像は上述したn3以降の処理に用いる。このように、撮影対象が人間であるかどうかを判定するための画像と上述のn3以降の処理を行うための画像とを、略同じタイミングで得るようにしているため、両画像の撮影対象が異なることがない。
【0025】
照明装置21で光を照射した人間を撮影した場合、CCDカメラ20の撮影画像には図6(A)に示すように目、鼻、口等の顔部品の凹凸によって陰影が生じる。一方、撮影対象が写真であると、表面に凹凸がないため、CCDカメラ20の撮影画像には図6(B)に示すように殆ど陰影がない。この実施形態では撮影対象判定部12は、この相違に基づいて撮影対象が人間であるかどうかを判定する。
【0026】
具体的には、n22で画像メモリ11に記憶した画像について輝度値の平均μおよび分散Vを求める(n25)。ここで、撮影対象が人間であった場合と撮影対象が写真であった場合とを比較してみると、撮影対象が人間であった場合のほうが輝度値の平均μが小さく、分散Vが大きい。撮影対象判定部12では、n25で算出した輝度値の平均μが閾値THμよりも小さく、且つ、分散Vが閾値THVよりも大きければ、撮影対象が人間であると判定する(n26、n27、n28)。これ以外の場合には、撮影対象が人間でないと判定する(n26、n27、n29)。
【0027】
なお、輝度値の閾値THμおよび分散の閾値THVは、それぞれ適当な値を予め設定している。また、撮影対象が人間でないと判定したときには、上述したように以降の処理が禁止されることになり、個人識別装置1を適用したシステムではサービスの提供が行われない。したがって、個人識別装置1を適用したシステムのセキュリティを向上できる。
【0028】
次に、撮影対象判定処理の別の実施形態について説明する。この実施形態の撮影装置10には、図7に示すようにCCDカメラ20、フラッシュ22およびフラッシュ制御部22aが設けられている。図8は、この実施形態にかかる撮影対象判定処理を示すフローチャートである。この実施形態では、フラッシュ22を点灯させていない状態での撮影画像とフラッシュ22を点灯させた状態での撮影画像とが画像メモリ11に記憶される(n31〜n33)。フラッシュを点灯させていない状態で撮影した画像は、n3以降の処理で用いる。
【0029】
ここで、フラッシュ22を点灯して人間を撮影した場合図9(A)に示すように殆ど反射光による照かりの無い画像であるが、写真の場合図9(B)に示すように局所的に照かりがある。撮影対象判定部12は、この相違に基づいて撮影対象が人間であるかどうかを判定する。
【0030】
撮影対象判定部12は、フラッシュ22を点灯させて撮影した画像に対して2値化処理を行い(n34)、照かりの領域の有無を判定する(n35)。図10(A)は図9(A)を2値化処理した画像であり、図10(B)は図9(B)を2値化処理した画像である。この図からも明らかなように、撮影対象が人間であったときには照かりの領域がなく、対象が写真であった場合には照かりの領域がある。画像判定部12は、照かりの領域が無ければ撮影対象が人間であると判定し(n36)、照かりの領域があれば撮影対象が人間でないと判定する(n37)。
【0031】
このように、この実施形態も撮影対象が人間であるかどうかを正確に判定することができ、上記の実施形態のものと同様の効果を奏することができる。また、撮影対象が人間であるかどうかを判定する際に用いる画像と、撮影対象が人間であったときにn3以降の処理に用いる画像とは略同じタイミングで撮影しており、撮影対象判定処理を行う画像とn3以降の処理を行う画像との撮影対象が異なることもない。
【0032】
次に、撮影対象判定処理の別の実施形態について説明する。この実施形態の撮影装置10には、CCDカメラ20とサーマルカメラ23とが設けられている(図11参照)。図12は、この実施形態にかかる撮影対象判定処理を示すフローチャートである。この実施形態では、CCDカメラ20およびサーマルカメラ23が略同じタイミングで撮影した画像を画像メモリ11に記憶する(n41、n42)。CCDカメラ20で撮影した画像はn3以降の処理で用いる。サーマルカメラ23で撮影した画像は、温度の高い所ほど赤く、低い所ほど青い。したがって、撮影対象が人間であれば肌が露出している部分が赤くなる。一方、撮影対象が写真やマネキン等であれば表面温度が低く全体に青い画像となる。
【0033】
撮影対象判定部12は、サーマルカメラ23で撮影した画像について赤色成分の平均値を算出し(n43)、ここで算出した平均値が予め設定した閾値以上であるかどうかを判定する(n44)。赤色の平均値が閾値以上であれば撮影対象は人間であると判定し(n45)、閾値未満であれば撮影対象は人間でないと判定する(n46)。
【0034】
このように、この実施形態では顔写真だけでなく、マネキン等の登録者の顔模型であっても、確実に撮影対象者が人間でないと判定することができる。よって、個人識別装置1を適用したシステムのセキュリティを一層向上できる。
【0035】
以上は、温度計測手段として、サーマルカメラ23を使った実施形態であるが、サーマルカメラ23以外にも温度計測手段として適用できるものは多数ある。その一例として、赤外線カメラを使った実施形態を次に説明する。この実施形態の撮影装置10は、図13に示すようにCCDカメラ20と赤外線カメラ24とを備えている。図14は、この実施形態における撮影対象判定処理を示すフローチャートである。この実施形態では、CCDカメラ20および赤外線カメラ24が略同じタイミングで撮影した画像を画像メモリ11に記憶する(n51、n52)。CCDカメラ20で撮影した画像はn3以降の処理に用いる。赤外線カメラ24で撮影した画像は、温度の高い所ほど明るく、低い所ほど暗い。したがって、撮影対象が人間であれば赤外線カメラ24で撮影した画像は、図15(A)に示すように、肌の露出している部分(特に顔領域)が明るく、その他の部分が暗い画像となる。一方、撮影対象が写真やマネキンであれば、図15(B)に示すように全体に暗い画像となる。
【0036】
撮影対象判定部12は、赤外線カメラ24で撮影した画像について画像全体における輝度値の平均を算出し(n53)、ここで算出した輝度値の平均が予め設定されている閾値以上であるかどうかを判定する(n54)。輝度値の平均が閾値以上であれば撮影対象は人間であると判定し、閾値未満であれば撮影対象は人間でないと判定する(n55、n56)。
【0037】
このように、この実施形態も顔写真だけでなく、マネキン等の登録者の顔模型が利用された場合であっても、確実に撮影対象者が人間でないと判定することができる。
【0038】
また、撮影対象判定処理の別の実施形態について説明する。この実施形態の撮影装置10は、図16に示すようにCCDカメラ20とCCDカメラ20の撮像レンズの焦点位置(ピント)を変更する焦点変更部25とを備えている。図17は、この実施形態における撮影対象判定処理を示すフローチャートである。この実施形態では、CCDカメラ20の撮像レンズの焦点(ピント)を撮影対象に合わせた状態で撮影した画像およびピントを適当な距離だけ前方にずらして撮影した画像を画像メモリ11に記憶する(n61〜n63)。鼻の頭あたりにピントがあうようにピントを前方にずらす。ピントを合わせたときの画像はn3以降の処理に用い、ピントをずらしたときの画像をここでの処理に用いる。
【0039】
撮影対象判定部12は、ピントをずらして撮影した画像について、鼻の特徴モデルとのマッチングを行って相関値を算出する(n64)。ここで、撮影対象が人間であれば、図18(A)に示すように鼻にピントのあった画像が撮影されているが、写真であると図18(B)に示すように全体にピントのぼけた画像となっている。撮影対象判定部12は、n64で算出した相関値が予め設定している閾値以上であるかどうかを判定し(n65)、閾値以上であれば撮影対象が人間であると判定し(n66)、閾値未満であれば撮影対象が人間でないと判定する(n67)。
【0040】
このように、この実施形態も撮影対象が人間であるかどうかを判定できる。
【0041】
また、撮影対象判定処理の別の実施形態について説明する。図19は、この実施形態の撮影対象判定処理を示すフローチャートである。適当な時間間隔でCCDカメラ20で撮影した撮影対象の画像を画像メモリ11に記憶する(n71)。例えば、2秒間隔でCCDカメラ20で撮影した画像を画像メモリ11に記憶する(図20(A)、図21(A)参照)。画像判定部12は、画像メモリ11に記憶したそれぞれの画像に対して、上述のn5、n6と同様の手法で顔領域を検出し(n72)、異なるフレームの差分画像を作成する(n73)。
【0042】
ここで、人間は完全に静止した状態を保つことができない(例えば、無意識の内に瞬き等をしている。)。したがって、撮影対象が人間であれば、n73で作成された差分画像は、図20(B)に示す画像となる。一方、写真やマネキンでは、このような現象は生じず、n73で作成される差分画像は図21(B)に示すような画像となる。撮影対象判定部12は、n73で作成された差分画像において、目や口等の顔部品があるかどうかを判定し、顔部品があれば撮影対象が人間であると判定する(n74〜n76)。
【0043】
なお、n3以降の処理においては、n71で画像メモリ11に記憶した画像の少なくとも1つを利用すればよい。また、上記の説明では、人間が完全に静止した状態を維持できないことを利用するとしたが、例えば、『瞬きしてください』や『口を開けて下さい』等の指示を出すようにしてもよい。この場合には指示した動作を検出したときに撮影対象が人間であると判定すればよい。
【0044】
また、撮影対象判定処理の別の実施形態について説明する。図22は、この実施形態の撮影対象判定処理を示すフローチャートである。この実施形態も、適当な時間間隔でCCDカメラ20で撮影されている撮影対象の画像を画像メモリ11に記憶する(n81)。撮影対象判定部12は、画像メモリ11に記憶したそれぞれの画像を処理して目、鼻等の顔部品を検出し(n82)、図23(A)に示すように顔の輪郭の両端を通る直線L1、L3を求めるとともに(n83)、L1とL3との中心線L2および両目の中心を通る線Lを求める(n84)。
【0045】
撮影対象が人間であれば右または左を向いたときに、直線LとL2との間隔が変化する(図23(B)参照)。しかし、撮影対象が写真であれば写真の向きをかえても直線LとL2とは略同じ位置に存在する(図23(C)参照)。
【0046】
撮影対象判定部12は、直線LとL2との間隔が予め設定した閾値よりも大きい画像が少なくとも1つあれば撮影対象が人間で有ると判定し、閾値よりも大きい画像がなければ対象が人間でないと判定する(n85〜n87)。
【0047】
このように、この実施形態では、人間が顔の向きを左右に変えたときの変化を利用して撮影対象が人間であるかどうかを判定する。なお、『右を向いて下さい』や『左を向いて下さい』等の指示を出し、そのときの画像を画像メモリ11に記憶し、この画像を処理するようにしてもよい。
【0048】
さらに、別の手法により対象が人間であるかどうかを判定する処理の例を説明する。この実施形態では、撮影装置10の撮影領域において背景を変更する機能を有している。背景の変更は、例えば背面にスクリーンを設けておき、該スクリーンに異なる画像を写すことができる映写機等を設ければよい。
【0049】
図24はこの実施形態の撮影対象判定処理を示すフローチャートである。この実施形態では、背景を変化させた前後において、撮影装置10であるCCDカメラの撮影画像を画像メモリ11に記憶する(n91〜n93)。撮影対象判定部12は、これら2つの画像から差分画像を作成する(n94)。ここで、対象が人間であれば、差分画像は図25に示すように顔領域があいた画像となるが、写真の場合には図26に示すように写真の枠の領域があいた画像となる。撮影対象判定部12は、差分画像における輝度値の総和を求め(n95)、この総和が予め設定した閾値以上であれば撮影対象が人間であると判定し、閾値未満であれば人間でないと判定する(n96〜n98)。
【0050】
このように、背景を変化させることによって、撮影対象が人間であるかどうかを判定することもできる。
【0051】
なお、背景画像を記憶しておき、撮影装置10で撮影した画像における背景部分を検出し、この背景領域が所定の領域未満であれば撮影対象が人間でないと判定するようにしてもよい。
【0052】
また、上記の撮影対象判定処理を組み合わせて、撮影対象が人間であるかどうかを判定するようにしてもよい。このようにすれば、判定精度を一層向上させることができる。
【0053】
【発明の効果】
以上のように、撮影装置において撮影された画像が人間を撮影したものであるのかどうかが判定され、人間を撮影した画像でなければ処理を中止するようにした。これにより、他人になりすますために、撮影装置に他人の顔写真を撮影させても、撮影された画像が人間を撮影した画像でないと判定して、処理を中止するので、他人の顔写真等を用いても他人になりすますことができなくなり、セキュリティを向上できる。
【図面の簡単な説明】
【図1】この発明の実施形態である個人識別装置の構成を示すブロック図である。
【図2】この実施形態の個人識別装置の制御部の機能を示すブロック図である。
【図3】この実施形態の個人識別装置の処理を示すフローチャートである。
【図4】撮影装置の構成を示す図である。
【図5】撮影対象判定処理を示すフローチャートである。
【図6】撮影対象判定処理を説明する図である。
【図7】別の実施形態の撮影装置の構成を示す図である。
【図8】別の実施形態の撮影対象判定処理を示すフローチャートである。
【図9】別の実施形態の撮影対象判定処理を説明する図である。
【図10】別の実施形態の撮影対象判定処理を説明する図である。
【図11】別の実施形態の撮影装置の構成を示す図である。
【図12】別の実施形態の撮影対象判定処理を示すフローチャートである。
【図13】別の実施形態の撮影装置の構成を示す図である。
【図14】別の実施形態の撮影対象判定処理を示すフローチャートである。
【図15】別の実施形態の撮影対象判定処理を説明する図である。
【図16】別の実施形態の撮影装置の構成を示す図である。
【図17】別の実施形態の撮影対象判定処理を示すフローチャートである。
【図18】別の実施形態の撮影対象判定処理を説明する図である。
【図19】別の実施形態の撮影対象判定処理を示すフローチャートである。
【図20】別の実施形態の撮影対象判定処理を説明する図である。
【図21】別の実施形態の撮影対象判定処理を説明する図である。
【図22】別の実施形態の撮影対象判定処理を示すフローチャートである。
【図23】別の実施形態の撮影対象判定処理を説明する図である。
【図24】別の実施形態の撮影対象判定処理を示すフローチャートである。
【図25】別の実施形態の撮影対象判定処理を説明する図である。
【図26】別の実施形態の撮影対象判定処理を説明する図である。
【符号の説明】
1−個人識別装置
2−制御部
3−入力部
4−記憶部
5−I/F部
10−撮影装置
11−画像メモリ
12−撮影対象判定部
13−顔領域抽出部
14−特徴抽出部
15−類似度判定部
20−CCDカメラ
21−照明装置
22−フラッシュ
23−サーマルカメラ
24−赤外線カメラ
25−焦点変更部
Claims (12)
- 登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の平均を求め、ここで求めた輝度値の平均と予め設定した第1の閾値とを比較することで、前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する個人識別装置。 - 登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の分散を求め、ここで求めた輝度値の分散と予め設定した第2の閾値とを比較することで、前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する個人識別装置。 - 登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の平均、および分散を求め、ここで求めた輝度値の平均と予め設定した第1の閾値とを比較するとともに、ここで求めた輝度値の分散と予め設定した第2の閾値とを比較することで、前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する個人識別装置。 - 登録者毎に顔の外見上の特徴量を記憶した記憶部と、
撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と前記記憶部に記憶している登録者の顔の外見上の特徴量とに基づいて、撮影された者を識別する識別処理を行う制御部と、を備えた個人識別装置であって、
前記制御部は、前記撮影装置の撮影領域をフラッシュを点灯した状態で撮影した撮影画像に対して2値化処理を行い、この2値化処理した画像における反射光による照かり領域の有無によって前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行し、この撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理を中止する個人識別装置。 - 登録者を識別する識別コードを入力する入力部を備え、
前記識別処理は、撮影された者が前記入力部において入力された識別コードで識別される登録者であるかどうかを識別する処理である請求項1〜4のいずれかに記載の個人識別装置。 - 前記顔の外見上の特徴量は、少なくとも顔部品の形状に関する特徴量を含む請求項1〜5のいずれかに記載の個人識別装置。
- 撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と、記憶部が登録者毎に記憶する登録者の顔の外見上の特徴量と、に基づいて、撮影された者を識別する識別処理をコンピュータが実行する個人識別方法であって、
前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の平均を求め、ここで求めた輝度値の平均と予め設定した第1の閾値とを比較することで、人間を撮影したかどうかを判定する撮影対象判定処理を実行する第1のステップと、
前記第1のステップで実行した前記撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理の実行を中止する第2のステップと、を有する個人識別方法。 - 撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と、記憶部が登録者毎に記憶する登録者の顔の外見上の特徴量と、に基づいて、撮影された者を識別する識別処理をコンピュータが実行する個人識別方法であって、
前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の分散を求め、ここで求めた輝度値の分散と予め設定した第2の閾値とを比較することで、人間を撮影したかどうかを判定する撮影対象判定処理を実行する第1のステップと、
前記第1のステップで実行した前記撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理の実行を中止する第2のステップと、を有する個人識別方法。 - 撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と、記憶部が登録者毎に記憶する登録者の顔の外見上の特徴量と、に基づいて、撮影された者を識別する識別処理をコンピュータが実行する個人識別方法であって、
前記撮影装置の撮影領域をフラッシュを点灯した状態で撮影した撮影画像に対して2値化処理を行い、この2値化処理した画像における反射光による照かり領域の有無によって前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行する第1のステップと、
前記第1のステップで実行した前記撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理の実行を中止する第2のステップと、を有する個人識別方法。 - 撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と、記憶部が登録者毎に記憶する登録者の顔の外見上の特徴量と、に基づいて、撮影された者を識別する識別処理をコンピュータに実行させる個人識別プログラムを記録した記録媒体であって、
前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の平均を求め、ここで求めた輝度値の平均と予め設定した第1の閾値とを比較することで、人間を撮影したかどうかを判定する撮影対象判定処理を実行する第1のステップと、
前記第1のステップで実行した前記撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理の実行を中止する第2のステップと、をコンピュータに実行させる個人識別プログラムを記録した記録媒体。 - 撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と、記憶部が登録者毎に記憶する登録者の顔の外見上の特徴量と、に基づいて、撮影された者を識別する識別処理をコンピュータに実行させる個人識別プログラムを記録した記録媒体であって、
前記撮影装置の撮影領域を照明で照らして撮影した撮影画像について輝度値の分散を求め、ここで求めた輝度値の分散と予め設定した第2の閾値とを比較することで、人間を撮影したかどうかを判定する撮影対象判定処理を実行する第1のステップと、
前記第1のステップで実行した前記撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理の実行を中止する第2のステップと、をコンピュータに実行させる個人識別プログラムを記録した記録媒体。 - 撮影装置により撮影した画像を処理して顔の外見上の特徴量を抽出するとともに、ここで抽出した顔の外見上の特徴量と、記憶部が登録者毎に記憶する登録者の顔の外見上の特徴量と、に基づいて、撮影された者を識別する識別処理をコンピュータに実行させる個人識別プログラムを記録した記録媒体であって、
前記撮影装置の撮影領域をフラッシュを点灯した状態で撮影した撮影画像に対して2値化処理を行い、この2値化処理した画像における反射光による照かり領域の有無によって前記撮影装置が人間を撮影したかどうかを判定する撮影対象判定処理を実行する第1のステップと、
前記第1のステップで実行した前記撮影対象判定処理で人間を撮影していないと判定した場合に、前記識別処理の実行を中止する第2のステップと、をコンピュータに実行させる個人識別プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14864098A JP4085470B2 (ja) | 1998-05-29 | 1998-05-29 | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14864098A JP4085470B2 (ja) | 1998-05-29 | 1998-05-29 | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11339048A JPH11339048A (ja) | 1999-12-10 |
JP4085470B2 true JP4085470B2 (ja) | 2008-05-14 |
Family
ID=15457324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14864098A Expired - Fee Related JP4085470B2 (ja) | 1998-05-29 | 1998-05-29 | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4085470B2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312772A (ja) * | 2001-04-13 | 2002-10-25 | Oki Electric Ind Co Ltd | 個人識別装置及び眼偽造判定方法 |
TWI278782B (en) | 2001-08-24 | 2007-04-11 | Toshiba Corp | Personal recognition apparatus |
JP3829729B2 (ja) | 2002-02-14 | 2006-10-04 | オムロン株式会社 | 個人認証装置 |
JP3982817B2 (ja) | 2003-03-07 | 2007-09-26 | 株式会社東芝 | 画像処理装置および画像処理方法 |
GB0316631D0 (en) * | 2003-07-16 | 2003-08-20 | Omniperception Ltd | Facial liveness assessment system |
JP2006099614A (ja) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | 生体判別装置および生体判別方法 |
JP2006215637A (ja) * | 2005-02-01 | 2006-08-17 | Southern Taiwan Univ Of Technology | 警備システムの素面判別方法 |
JP4548218B2 (ja) * | 2005-05-24 | 2010-09-22 | パナソニック電工株式会社 | 顔認証装置 |
JP4732018B2 (ja) | 2005-06-13 | 2011-07-27 | 富士通株式会社 | 電子機器 |
JP4793179B2 (ja) | 2005-11-14 | 2011-10-12 | オムロン株式会社 | 認証装置及び携帯端末 |
JP5076563B2 (ja) * | 2006-03-14 | 2012-11-21 | オムロン株式会社 | 顔照合装置 |
JPWO2009107237A1 (ja) * | 2008-02-29 | 2011-06-30 | グローリー株式会社 | 生体認証装置 |
JP5106459B2 (ja) | 2009-03-26 | 2012-12-26 | 株式会社東芝 | 立体物判定装置、立体物判定方法及び立体物判定プログラム |
JPWO2010134200A1 (ja) * | 2009-05-22 | 2012-11-08 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
US9081947B2 (en) | 2011-12-27 | 2015-07-14 | Intel Corporation | Turing test based user authentication and user presence verification system, device, and method |
JP2013250856A (ja) * | 2012-06-01 | 2013-12-12 | Mitsubishi Electric Corp | 監視システム |
US9134878B2 (en) | 2012-09-28 | 2015-09-15 | Intel Corporation | Device and method for secure user interface gesture processing using processor graphics |
KR102257897B1 (ko) * | 2014-05-09 | 2021-05-28 | 삼성전자주식회사 | 라이브니스 검사 방법과 장치,및 영상 처리 방법과 장치 |
US9679212B2 (en) | 2014-05-09 | 2017-06-13 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
JP6540322B2 (ja) * | 2015-07-23 | 2019-07-10 | 富士通コネクテッドテクノロジーズ株式会社 | 被写体判定方法、プログラム及び被写体判定装置 |
CN107135348A (zh) * | 2016-02-26 | 2017-09-05 | 阿里巴巴集团控股有限公司 | 拍摄对象的识别方法、装置、移动终端和照相机 |
CN107886032B (zh) | 2016-09-30 | 2021-12-14 | 阿里巴巴集团控股有限公司 | 终端设备、智能手机、基于脸部识别的认证方法和系统 |
WO2019017079A1 (ja) | 2017-07-19 | 2019-01-24 | パナソニックIpマネジメント株式会社 | 照合装置及び照合方法 |
US11227170B2 (en) | 2017-07-20 | 2022-01-18 | Panasonic Intellectual Property Management Co., Ltd. | Collation device and collation method |
JP7272418B2 (ja) * | 2018-02-22 | 2023-05-12 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びプログラム |
JP7004059B2 (ja) * | 2018-02-22 | 2022-01-21 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びプログラム |
EP3540633B1 (en) * | 2018-03-16 | 2020-09-23 | Identy Inc. | Method for identifying an object within an image and mobile device for executing the method |
JP7131118B2 (ja) | 2018-06-22 | 2022-09-06 | 富士通株式会社 | 認証装置、認証プログラム、認証方法 |
CN113678164A (zh) * | 2019-04-19 | 2021-11-19 | 富士通株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
JPWO2022219680A1 (ja) * | 2021-04-12 | 2022-10-20 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61221883A (ja) * | 1985-03-25 | 1986-10-02 | Fujitsu Ltd | 個人照合装置 |
JPS62212781A (ja) * | 1986-03-14 | 1987-09-18 | Hitachi Ltd | 個人認証方式 |
JP2763830B2 (ja) * | 1991-03-06 | 1998-06-11 | シャープ株式会社 | 指紋入力装置 |
GB9201006D0 (en) * | 1992-01-17 | 1992-03-11 | Philip Electronic And Associat | Classifying faces |
JPH05297152A (ja) * | 1992-04-15 | 1993-11-12 | Minolta Camera Co Ltd | 物体認識装置 |
JP3409873B2 (ja) * | 1993-03-05 | 2003-05-26 | 株式会社東芝 | 物体入力装置 |
JPH07141506A (ja) * | 1993-11-17 | 1995-06-02 | Canon Inc | 情報処理装置 |
-
1998
- 1998-05-29 JP JP14864098A patent/JP4085470B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11339048A (ja) | 1999-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4085470B2 (ja) | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 | |
US9792499B2 (en) | Methods for performing biometric recognition of a human eye and corroboration of same | |
US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
US7801335B2 (en) | Apparatus and methods for detecting the presence of a human eye | |
JP4819606B2 (ja) | 対象物の部位判別装置及び性別判定装置 | |
JP3829729B2 (ja) | 個人認証装置 | |
JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
KR101172898B1 (ko) | 얼굴 인식 시스템에서의 위조 검출 방법 | |
CN1333374C (zh) | 图象输入装置及使用它的认证装置 | |
KR20120139100A (ko) | 얼굴 인증을 이용한 보안 장치 및 방법 | |
US8103069B2 (en) | Registration apparatus, verification apparatus, registration method, verification method and program | |
US8515140B2 (en) | Registration apparatus, verification apparatus, registration method, verification method and program | |
Han et al. | Face recognition based on near-infrared light using mobile phone | |
KR101122513B1 (ko) | 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법 | |
JP2007072677A (ja) | 画像処理装置、画像判定方法及びプログラム | |
KR100871557B1 (ko) | 영상-기반 보안을 위한 얼굴 검출 및 판별 방법 | |
KR102176882B1 (ko) | 특징점 변동을 이용한 위조 홍채 판별장치 및 그 방법 | |
JP7389392B2 (ja) | 顔認証方法、顔認証プログラム、および顔認証装置 | |
EP4287148A1 (en) | Contactless fingerprint biometric system | |
Bobis et al. | Face recognition using binary thresholding for features extraction | |
KR100585640B1 (ko) | 홍채의 진위 판단방법 | |
Hirayama et al. | Face detection and facial personation prevention by using infrared images | |
Malassiotis et al. | Combining 2D and 3D face images for reliable identity verification | |
JP2000331172A (ja) | 顔画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060915 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20061011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080211 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |