JP3768225B2 - 画像処理方法、画像処理装置、撮影装置および画像出力装置 - Google Patents

画像処理方法、画像処理装置、撮影装置および画像出力装置 Download PDF

Info

Publication number
JP3768225B2
JP3768225B2 JP2004553533A JP2004553533A JP3768225B2 JP 3768225 B2 JP3768225 B2 JP 3768225B2 JP 2004553533 A JP2004553533 A JP 2004553533A JP 2004553533 A JP2004553533 A JP 2004553533A JP 3768225 B2 JP3768225 B2 JP 3768225B2
Authority
JP
Japan
Prior art keywords
image
iris
iris region
conversion
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004553533A
Other languages
English (en)
Other versions
JPWO2004090814A1 (ja
Inventor
堅司 近藤
健夫 吾妻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3768225B2 publication Critical patent/JP3768225B2/ja
Publication of JPWO2004090814A1 publication Critical patent/JPWO2004090814A1/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

【技術分野】
【0001】
本発明は、虹彩画像に係る個人情報を保護する技術に属する。
【背景技術】
【0002】
近年、虹彩画像を用いた個人認証の技術が、重要施設への入退室管理、銀行等のATM(Automated Teller Machine)およびPCログイン用途などに利用され始めている。特に、特許文献1に記載された方法は、世界各国においてすでに商品化がなされており、事実上の世界標準方式となりつつある。
【0003】
特許文献1の方式では、虹彩を撮影した画像から虹彩領域を切り出し、虹彩領域を極座標で表現した後、2D Gabor Waveletフィルタリングを行い、虹彩コードを生成する。予め登録しておいた虹彩コードと、認証時に撮影した画像から生成された虹彩コードとを比較することにより、個人認証を行う。
【0004】
また、個人のプライバシー保護のための従来技術として、監視カメラ用途において、画像中の人物の体や顔に、モザイク処理や一色に塗りつぶす処理を施すものがある(例えば、特許文献2,3,4参照)。
【特許文献1】
特許第3307936号公報
【特許文献2】
特開2000−261789号公報
【特許文献3】
特開2000−278584号公報
【特許文献4】
特開2001−186507号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
近年、撮像装置や表示装置の高解像度化に伴い、あえて眼近辺の画像をズーム撮影しなくても、虹彩画像を、虹彩認証に必要な解像度(例えば虹彩直径で約200ピクセル程度)で取得することが可能になっている。このため、個人データである虹彩画像が、他人によって簡単に取得されてしまい、他人へのなりすまし認証に不正使用されるおそれがある。
【0006】
特に、俳優や著名人など各種メディアに登場する頻度の高い人は、いわば、個人データである虹彩画像を自ら頻繁に公開しているのに等しいことになる。また昨今、デジタルスチルカメラやデジタルビデオカメラの普及によって、俳優や著名人以外の一般の人であっても、悪意ある者によって虹彩画像を盗撮される危険性も高まっている。
【0007】
一方、特許文献2〜4では、監視カメラなどで撮影した画像について、プライバシー保護の観点から、その人物が特定できないように、すなわち誰であるかが分からないようにするために、体や顔にモザイク処理や塗りつぶし処理を施す技術が示されている。しかしながら、上述したような虹彩に係る個人データを保護するための画像処理に関しては、本願発明者らが調査した限りでは、開示や示唆がなされた文献などは見当たらない。
【0008】
前記の問題に鑑み、本発明は、人の顔を含む画像について、虹彩に係る個人データを不正利用されないように保護することを課題とする。
【課題を解決するための手段】
【0009】
本発明は、原画像から、眼の虹彩領域を検出し、検出した虹彩領域に対して、その人固有の特徴データが抽出できないように、画像変換を行うものである。これにより、虹彩領域の画像から、その人固有の特徴データが抽出できなくなるため、たとえ悪意ある者が原画像から虹彩画像を取得しても、その虹彩画像は認証には利用できないので、虹彩画像の不正使用による他人へのなりすまし認証を防ぐことができる。
【0010】
また、ここでの画像変換は、原画像に不自然さを与えないものであるのが好ましい。原画像に不自然さを与えないとは、例えば、画像を見た人が、虹彩領域にはあくまでも虹彩が映されていると認識するように、画像変換を行うことである。言い方を変えると、画像変換されたことが分からないように、画像変換を行うことである。あるいは、画像における虹彩以外の領域(例えば、顔や姿など)からその人が識別できるように、いわば個人が特定・識別できる程度に、画像変換を行うことである。このように原画像に不自然さを与えない画像変換を行うことによって、映画等の鑑賞用コンテンツにも、本発明を利用することができる。
【0011】
具体的には本発明は、画像処理方法として、原画像から人の眼の虹彩領域を検出する第1のステップと、前記第1のステップにおいて検出した虹彩領域に対して、所定の画像変換を行う第2のステップと、虹彩領域に前記画像変換が行われた前記原画像を出力する第3のステップとを備えたものである。そして、前記画像変換は、虹彩領域を複数の領域に分割し、分割した各領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、他の虹彩画像との間で、所定の順またはランダムに並べ替えるものである。または、前記画像変換は、虹彩領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン画像に置換するものである。または、前記画像変換は、虹彩領域の画像に、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン画像を重畳するものである。
【0012】
また、前記本発明に係る画像処理方法における第2のステップは、虹彩領域の画像を空間周波数に応じて分解し、分解後の所定の帯域の画像に対して所定の変換を行い、各帯域の画像を再合成するのが好ましい。
【0013】
た、前記本発明に係る画像処理方法における第2のステップは、検出した虹彩領域が所定のサイズよりも小さいとき、前記画像変換を行わないのが好ましい。
【0014】
また、前記本発明に係る画像処理方法における第2のステップは、検出した虹彩領域について反射成分分離を行い、拡散反射画像および鏡面反射画像を得るステップと、前記拡散反射画像に対して前記画像変換を行うステップと、前記画像変換後の画像に前記鏡面反射画像を加算するステップとを有するのが好ましい。
【0015】
また、本発明は、画像処理装置として、原画像から人の眼の虹彩領域を検出する虹彩検出部と、前記虹彩検出部によって検出された虹彩領域に対して、所定の画像変換を行う画像変換部とを備え、虹彩領域に前記画像変換が行われた前記原画像を出力するものである。そして、前記画像変換部における画像変換は、虹彩領域を複数の領域に分割し、分割した各領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、他の虹彩画像との間で、所定の順またはランダムに並べ替えるものである。または、前記画像変換部における画像変換は、虹彩領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン画像に置換するものである。または、前記画像変換部における画像変換は、虹彩領域の画像に、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン 画像を重畳するものである。
【0016】
また、本発明は、撮影装置として、撮影部と、前記撮影部によって撮影された画像を前記原画像として入力する前記画像処理装置とを備えたものである。
【0017】
また、本発明は、画像出力装置として、前記画像処理装置と、前記画像処理装置から出力された画像変換後の画像を可視化して出力する出力部とを備えたものである
【発明の効果】
【0018】
本発明によると、画像変換によって、虹彩領域の画像からその人固有の特徴データが抽出できなくなるので、虹彩画像の不正使用による他人へのなりすまし認証を防ぐことができる。また、ここでの画像変換を、原画像に不自然さを与えないものにすることによって、映画等の鑑賞用コンテンツにも利用できる。
【発明を実施するための最良の形態】
【0019】
以下、本発明の実施の形態について、図面を参照して説明する。
【0020】
(第1の実施形態)
図1は本発明の第1の実施形態に係る画像処理方法のフローチャートである。以下、図1のフローに従って、本実施形態に係る画像処理方法について説明する。
【0021】
まず、ステップS1(第1のステップ)において、人の顔を含む原画像から、その人の眼の虹彩領域を検出する。ここで、虹彩領域とは、厳密には、図2(a)に示すような、虹彩外縁(虹彩と強膜との境界)と瞳孔外縁(瞳孔と虹彩との境界)とによって囲まれた領域のことである。人物の顔が正面から撮影されている場合は、虹彩外縁および瞳孔外縁は円で近似することができる。一方、人物の顔が斜めから撮影されている場合は、虹彩外縁および瞳孔外縁は楕円で近似すればよい。
【0022】
また、図2(b)に示すように、虹彩領域を、虹彩外縁のみによって囲まれた領域としてもよい。また、虹彩領域に上瞼または下瞼がかかっている場合は、瞼がかかっている領域を除いた部分を虹彩領域とすればよい。
【0023】
なお、原画像から虹彩領域を検出する方法は、特定の方法である必要はない。例えば、原画像から人物領域を検出する技術、人物領域から人物頭部を検出する技術、および人物頭部から虹彩領域を検出する技術を組み合わせて、用いてもよい。
【0024】
次に、ステップS2(第2のステップ)において、第1のステップS1において検出した虹彩領域に画像変換を施す。ここでの画像変換は、その人固有の特徴データが、虹彩領域の画像から抽出できないように、するものであればよい。
【0025】
具体的には、画像変換は、次のような方法によって行う。もちろん、これらの方法を組み合わせて用いてもかまわない。
【0026】
<方法1>
図3のように、瞳孔中心(または虹彩中心)を通る複数の線分を用いて、虹彩領域を円周方向に分割する。そして、分割された虹彩領域を、所定の順またはランダムに並び替える。並び替えの一例を図4に示す。図4(a)に示すように、分割された各虹彩領域に「1」から「16」までの番号を割り当て、これらを図4(b)に示すように、所定の順で並び替える。所定の順で並び替える場合は、この順番は秘密にしておく必要がある。
【0027】
なお、原画像に人物の両眼が含まれている場合は、分割された各虹彩領域を両眼間で並び替えてもよい。また原画像に複数人の虹彩が含まれている場合は、分割された各虹彩領域を人物間で並び替えてもよい。両目間または人物間の虹彩領域の大きさが異なる場合は、拡大・縮小処理を行い、大きさを揃えた後、並び替えればよい。人物間の虹彩の色が異なる場合には、色変換を行ない、色を揃えた後、並び替えればよい。画像中の人物の顔が斜めから撮影されている場合には、一次変換を行い、形状を揃えた後、並び替えればよい。
【0028】
このように、虹彩領域を、円周方向に分割して並び替えることによって、原画像から虹彩画像を取得しても、これを不正に認証に用いることはできなくなる。なお、虹彩領域の分割は、必ずしも円周方向に行う必要はなく、不自然に見えない方法であれば、他の分割方法を用いてもよい。
【0029】
また、上述の特許文献2〜4に開示された技術では、個人のプライバシー保護のために、その人が誰であるか特定できないように、人物の体や顔の領域に、モザイク処理や一色に塗りつぶす処理を施している。このため、映画等の鑑賞用途のコンテンツに適用すると、画像に不自然さが生じ、鑑賞者に違和感を与えることになる。これに対して本方法によると、画像変換しても虹彩領域にはあくまでも虹彩が映されるため、変換後の画像に不自然さはなく、したがって、映画等の鑑賞用途のコンテンツにも適用することができる。
【0030】
なお、虹彩領域を分割して並び替えた場合、領域同士の継ぎ目が目立つ可能性がある。このような場合は、虹彩画像の低域周波数成分はそのままにして、高域周波数成分のみを並び替えればよい。すなわち図5に示すように、虹彩画像を空間周波数に応じて複数に分解する。具体的には、虹彩領域にLPF(Low Pass Filter)、BPF(Band Pass Filter)およびHPF(High Pass Filter)をそれぞれ適用して、低域画像、中域画像および高域画像を生成する。そして高域画像に対して、上述の並び替え処理を行い、その後、全帯域の画像を加算することによって再合成する。
【0031】
このようにすれば、領域同士の継ぎ目がより一層目立たなくなる。しかも、高周波成分のみに画像変換が行われるため、人間の目に比較的視認し易い低周波成分は被写体の人物の虹彩パタンのままであり、したがって、変換後の画像がより自然に見えるという利点がある。しかも、高周波成分が変換されているため、元の虹彩画像の特徴データは抽出できないので、これを不正に認証に用いることはできない。
【0032】
なお、画像変換を行う周波数の範囲は、高周波部分に限られるものではなく、他の範囲であってもよい。また、予め定めた所定の周波数成分ではなく、ランダムに選択した周波数成分に画像変換を行うようにしてもよい。この場合、第三者が復元することがより困難になる。さらに、上述の例では、3つの周波数帯域に分解したが、分解する帯域の個数は他の数でもよい。また、画像変換を行う帯域も、1個に限られるものではなく、複数であってもよい。
【0033】
また空間周波数は、直交座標系における周波数でもよいし、瞳孔中心または虹彩中心を原点とする極座標系における周波数でもよい。
【0034】
なお、ここで説明した、分割した虹彩領域を所定の順で並び替える技術は、虹彩画像の送受信に転用することも可能である。すなわち、並び替える順番を送り手と受け手のみで共有することによって、虹彩画像を暗号化して安全に送受信することができる。
【0035】
<方法2>
図6に示すように、原画像中の虹彩領域の画像を、予め準備した所定の虹彩パタン画像に置換する。所定の虹彩パタン画像としては、例えば、複数人の虹彩パタンの平均画像や、ある人の両眼の虹彩パタンの平均画像等を用いればよい。所定の虹彩パタン画像のサイズが虹彩領域と異なる場合は、拡大・縮小処理を行い、大きさを揃えた後、置換すればよい。また、色が異なる場合は、色変換を行い、色を揃えた後、置換すればよい。さらに、原画像中の人物の顔が斜めから撮影されている場合は、一次変換を行い、形状を揃えた後、置換すればよい。その他には、人工的に作成した擬似の虹彩画像を、所定の虹彩パタン画像として用いてもかまわない。
【0036】
このように、虹彩領域を、予め準備した虹彩パタン画像に置換することによって、原画像から虹彩画像を取得しても、これを不正に認証に用いることはできなくなる。また、モザイク等の画像変換と異なり、画像変換しても虹彩領域にはあくまでも虹彩が映されるため、変換後の画像に不自然さはなく、したがって、映画等の鑑賞用途のコンテンツにも適用することができる。
【0037】
なお、図5のように、虹彩画像を空間周波数に応じて複数に分解し、所定の周波数成分に対して、または、ランダムに選択した周波数成分に対して、本方法のような置換を行ってもよい。その後、全帯域の画像を加算することによって再合成する。また、特殊な例として、高周波成分の画像を全画素の輝度値が0である画像と置換してもよい。この方法は、虹彩画像にLPFを適用し、認証に必要な高周波成分を除去することに相当する。
【0038】
<方法3>
図7に示すように、原画像中の虹彩領域の画像に、予め準備した所定の虹彩パタン画像を重畳する。画像の重畳は、ブレンド比α(0<α<1)を導入して、
I3=α・I1+(1−α)・I2
のように、対応する画素毎に計算して行う。ここで、I1は原画像の輝度値、I2は重畳する画像の輝度値、I3は重畳後の画像の輝度値である。なお、α=0のときは、方法2で述べた置換と同等の処理になる。
【0039】
所定の虹彩パタン画像としては、例えば、周囲光の虹彩領域への映り込みを模した画像でもよいし、ある特定人の虹彩パタン画像でもよい。所定の虹彩パタン画像のサイズが虹彩領域と異なる場合は、拡大・縮小処理を行い、大きさを揃えた後、重畳すればよい。また、色が異なる場合は、色変換を行い、色を揃えた後、重畳すればよい。さらに、原画像中の人物の顔が斜めから撮影されている場合は、一次変換を行い、形状を揃えた後、重畳すればよい。その他には、人工的に作成した擬似の虹彩画像を、所定の虹彩パタン画像として用いてもかまわない。
【0040】
このように、虹彩領域に、予め準備した所定の虹彩パタン画像を重畳することによって、原画像から虹彩画像を取得しても、これを不正に認証に用いることはできなくなる。また、モザイク等の画像変換と異なり、実世界で実際に起こる映り込み画像を重畳したり、人物の実際の虹彩画像や人工的に作成した虹彩画像を重畳したりして、合成虹彩画像を作成するため、変換後の画像に不自然さはなく、したがって、映画等の鑑賞用途のコンテンツにも適用することができる。
【0041】
なお、図5のように、虹彩画像を空間周波数に応じて複数に分解し、所定の周波数成分に対して、またはランダムに選択した周波数成分に対して、本方法のような重畳を行ってもよい。
【0042】
<方法4>
原画像中の虹彩領域に電子透かしを埋め込む。電子透かしは特定の技術である必要はなく、任意の技術が利用できる。そして、後述するような電子透かし対応の虹彩認証装置を用いることによって、不正使用を阻止できる。すなわち、虹彩領域に電子すかしを埋め込み、対応する認証装置を用いることによって、映像中から虹彩画像を取得しても、不正に認証に用いることはできなくなる。また、モザイク等の画像変換とは異なり、電子透かしの場合は、見た目の画像に不自然さはなく、したがって、映画等の鑑賞用途のコンテンツにも適用することができる。
【0043】
図8は本実施形態に係る画像処理装置の構成を示すブロック図である。図8の画像処理装置1は上述の画像処理方法を実行可能に構成されており、虹彩検出部11および画像変換部12を備えている。
【0044】
原画像は虹彩検出部11に入力される。虹彩検出部11はステップS1と同様の処理を行い、入力された原画像から人の眼の虹彩領域を検出する。そして、検出した虹彩領域の位置情報と原画像を、画像変換部12に供給する。画像変換部12は第2のステップS2と同様の処理を行い、虹彩領域に対して、その人固有の特徴データが抽出できないように、画像変換を行う。
【0045】
図9は本実施形態に係る撮影装置の構成を示すブロック図である。図9の撮影装置は、図8の画像処理装置1と、撮影部10とを備えている。本発明に係る撮影装置は、ビデオカメラ、デジタルスチルカメラなど、画像を撮影する装置一般を含む。
【0046】
撮影部10はレンズおよび撮像素子(図示せず)を備えており、静止画または動画を撮影する。撮影部10によって撮影された画像は、原画像として画像処理装置1に入力され、以後上述したような画像処理が実行される。動画の場合は、画像処理は各フィールド画像または各フレーム画像に対してそれぞれ行われ、処理後の各フィールド画像または各フレーム画像を用いて生成した動画像が、画像処理装置1から最終的に出力される。
【0047】
なお、撮影部10と画像処理装置1とは一体化して構成してもよい。これにより、画像処理前の原画像を取り出すことがきわめて困難になり、セキュリティレベルがより高くなる。すなわち、撮影部10および画像処理装置1を単一のLSIとして構成するのが好ましい。
【0048】
図10は本実施形態に係る画像出力装置の構成を示すブロック図である。図10の画像出力装置は、図8の画像処理装置1と、出力部20とを備えている。本発明に係る画像出力装置は、モニタ、TV、プリンタなど、画像データを可視化して出力する装置一般を含む。
【0049】
原画像は画像処理装置1によって上述のように画像処理される。動画の場合は、画像の処理は各フィールド画像または各フレーム画像に対してそれぞれ行なわれ、処理後の各フィールド画像または各フレーム画像を用いて生成した動画像が、画像処理装置1から出力される。出力部20は、画像変換部1から出力された画像変換後の画像を、モニタに表示したり、あるいは紙等に印刷したりすることによって可視化して出力する。
【0050】
以上のように本実施形態によると、虹彩領域に、その人固有の特徴データが抽出できないような、画像変換が施されるので、虹彩画像の不正使用による他人へのなりすまし認証を防ぐことができる。
【0051】
なお、本発明に係る画像変換の方法は、ここで示したものに限られるものではなく、虹彩領域から、その人固有の特徴データが抽出できないようにするものであればよい。そして、原画像に不自然さを与えない方が好ましいが、多少不自然さを与える方法であっても、かまわない。
【0052】
(第2の実施形態)
図11は本発明の第2の実施形態に係る画像処理方法のフローチャートである。図11において、ステップS1,S2では第1の実施形態と同様の処理を行う。本実施形態では、ステップS3において、ステップS1で検出した虹彩領域が所定のサイズ以上か否かを判断し、所定のサイズよりも小さいときは、ステップS2の画像変換を行わないで処理を終了する。具体的には、例えば、虹彩領域の直径が所定の閾値TH(画素)未満の場合は、画像変換を施さないで処理を終了する。ステップS2,S3が本発明の第2のステップに相当する。
【0053】
現在商品化されている虹彩認証システムでは、虹彩画像の直径が200〜300画素程度となるような比較的高い解像度で撮影を行っている。低い解像度の虹彩画像を認証に用いた場合、認証に必要な情報量が不足するため、本人棄却率(FRR:False Rejection Rate)が増加する。よって、虹彩領域の大きさが、認証に用いることができないほど小さい場合には、画像変換を行う必要がない。本実施形態はこのような知見に基づいてなされたものである。
【0054】
例えば、図12(a)のような複数の人物を含む原画像について、直径が閾値TH以上の虹彩領域の個数が0であったとする。この場合、全ての虹彩領域について、画像変換を行わないで処理を終了する。一方、図12(b)のような人の顔がクローズアップされて撮影された原画像において、両眼の虹彩領域の直径がともに閾値TH以上であったとする。この場合は、2個の虹彩領域について、それぞれ画像変換を行う。もちろん、複数の人物を含む原画像において、近くで撮影された人の虹彩直径が閾値TH以上であり、遠くで撮影された人の虹彩直径が閾値TH未満であった場合、前者の虹彩領域については画像変換を施し、後者の虹彩領域については画像変換を施さない。
【0055】
なお、ここでの閾値THは、例えば、大規模な虹彩画像データベースを用いて自動的に決定することができる。すなわち、認証する虹彩画像のサイズ(直径)を変化させて、虹彩直径に対する本人棄却率の変化を調べ、本人棄却率が十分大きくなるような虹彩直径の値を閾値THとして設定すればよい。もちろん、他の設定方法を用いてもよい。
【0056】
このように本実施形態によると、認証用途に不向きである低解像度の虹彩画像については画像変換を施さないので、処理量を削減することができる。なお、ここでは、虹彩領域の大きさを直径で特定したが、虹彩領域の面積(画素数)など他の指標を用いてもかまわない。
【0057】
なお、図8〜図10の構成において本実施形態に係る画像処理を実行する場合には、画像変換部12によってステップS2,S3の処理を実行するようにすればよい。
【0058】
(第3の実施形態)
図13は本発明の第3の実施形態に係る画像処理方法のフローチャートである。図13において、ステップS1では第1の実施形態と同様の処理を行う。そしてステップS4において、ステップS1で検出した虹彩領域に対して、拡散反射画像と鏡面反射画像への反射成分分離を行う。ステップS2では、ステップS4で得られた拡散反射画像を対象として、第1の実施形態と同様の画像変換を行う。そしてステップS5では、ステップS2における画像変換後の画像に、ステップS4で得られた鏡面反射画像を加算することによって、画像の再合成を行う。ステップS4,S2,S5によって、本発明の第2のステップが構成されている。
【0059】
撮影された虹彩領域には、虹彩前方の物体が角膜表面に映り込むことによって、映り込み(鏡面反射成分)が重畳していることが多い。映り込みを含めた虹彩領域に対して画像変換を行うと、処理後の画像が不自然になる場合がある。本実施形態は、このような問題に対処するため、反射成分の分離を行った後に拡散反射成分のみに画像変換を行い、その後、分離された鏡面反射成分と再合成を行うことによって、処理後の画像の不自然さを軽減するものである。
【0060】
図14は本実施形態に係る画像処理の例を概念的に示す図である。例えば、図14(a)のような鏡面反射(映り込み)を含んだ原画像について、反射成分分離を行い、図14(b)の拡散反射画像と図14(c)の鏡面反射画像とを得る。そして図14(b)の拡散反射画像に対して画像変換(例えばここでは置換)を行い、図14(d)の画像を得る。さらに、図14(d)の画像変換後の画像と、図14(c)の鏡面反射画像とを加算して、図14(e)のような画像を得る。
【0061】
ステップS4における反射成分分離は、任意の方法を用いることができる。例えば、鏡面反射(映り込み)を起こす光源の入射角がブリュースター角と等しい場合は、偏光フィルタを用いて拡散反射成分と鏡面反射成分を完全に分離することができる。もちろん、拡散反射成分と鏡面反射成分を分離することができる手法であれば、他の方法でもかまわない。
【0062】
なお、ステップS2における画像変換は置換に限られるものではなく、第1の実施形態で説明した方法やその他の方法でもよい。
【0063】
このように本実施形態によると、撮影時の光源(虹彩前景)に依存する映り込み(鏡面反射)を分離した後、拡散反射画像のみに対して画像変換を行い、その後、鏡面反射画像と再合成するので、より自然な画像変換を行うことができる。
【0064】
(第4の実施形態)
本発明の第4の実施形態は、第1の実施形態に係る画像変換に電子透かしの埋め込みを用いる場合に対応した、虹彩認証装置に関するものである。図15は本実施形態に係る虹彩認証装置の構成を示すブロック図であり、原画像から人の眼の虹彩領域を検出する虹彩検出部30と、虹彩検出部30によって検出された虹彩領域の画像を用いて認証を行う認証部31と、虹彩領域について所定の電子透かしの有無を検出する電子透かし検出部32と、電子透かし検出部32の出力、すなわち所定の電子透かしの有無に応じて、認証部31の認証動作の実行/停止を制御する制御部33とを備えている。
【0065】
図15の虹彩認証装置は、虹彩領域画像に電子透かしが埋め込まれているとき、所定の動作、例えば認証動作の停止を行う。もちろん、画像変換によって埋め込む電子透かしと、虹彩認証装置によって検出する電子透かしとは共通である必要がある。
【0066】
虹彩検出部30は、第1の実施形態におけるステップS1と同様の処理を行い、虹彩領域の位置を検出する。検出された虹彩領域の位置、および原画像は、認証部31および電子透かし検出部32に送られる。認証部31は原画像の虹彩領域の画像を用いて虹彩認証を行う。虹彩認証の方法として、例えば、特許文献1の方法を用いることができる。もちろん、他の虹彩認証方法でもかまわない。
【0067】
電子透かし検出部32は原画像の虹彩領域に所定の電子透かしが埋め込まれているか否かを検出する。得られた電子透かしの有無に関する情報は、制御部40に送られる。制御部40は、電子透かしが埋め込まれているとき、この虹彩画像は不正に取得されたものであると判断して、認証を中断する命令を認証部31に送信する。これによって、認証部31における認証動作が停止される。
【0068】
なお、虹彩領域に電子透かしが埋め込まれているときの所定の処理としては、認証動作を停止する以外にも、例えば、不正認証の可能性があるとして、警備室や警備会社、警察等の所定の場所・組織に通報するといったものが考えられる。
【0069】
以上のように本実施形態によると、虹彩画像に電子透かしが埋め込まれているとき、認証動作の停止など所定の動作が実行されるので、他人へのなりすまし認証を防ぐことができる。
【0070】
なお、本実施形態では、虹彩画像に電子透かしが埋め込まれているとき、これを不正に取得されたものであると判断したが、逆に、虹彩認証装置の撮影手段によって電子透かしが虹彩画像に必ず埋め込まれるようにしておき、虹彩画像に電子透かしが埋め込まれていないときは、撮影手段を介さずに虹彩検出部に不正に画像信号を送る等して虹彩画像を不正に取得したものと判断するようにしてもよい。この場合、制御部40は、電子透かしが埋め込まれていないとき、認証部31の認証動作を停止させる。
【産業上の利用可能性】
【0071】
本発明は、虹彩画像からその人固有の特徴データを抽出できなくするので、例えば、虹彩画像を用いた個人認証において、他人へのなりすまし認証を防ぐことができる。
【図面の簡単な説明】
【0072】
【図1】本発明の第1の実施形態に係る画像処理方法のフローチャートである。
【図2】虹彩領域を示す概念図である。
【図3】虹彩領域の分割の例を示す図である。
【図4】画像変換としての並び替えの一例を示す図である。
【図5】虹彩画像を空間周波数に応じて分解し、所定の周波数成分に対して画像変換を行う処理の概念図である。
【図6】画像変換としての置換を示す図である。
【図7】画像変換としての重畳を示す図である。
【図8】本発明に係る画像処理装置のブロック図である。
【図9】本発明に係る撮影装置のブロック図である。
【図10】本発明に係る画像出力装置のブロック図である。
【図11】本発明の第2の実施形態に係る画像処理方法のフローチャートである。
【図12】本発明の第2の実施形態の処理を概念的に示す図である。
【図13】本発明の第3の実施形態に係る画像処理方法のフローチャートである。
【図14】本発明の第3の実施形態の処理を概念的に示す図である。
【図15】本発明の第4の実施形態に係る虹彩認証装置のブロック図である。

Claims (11)

  1. 原画像から、人の眼の虹彩領域を検出する第1のステップと、
    前記第1のステップにおいて検出した虹彩領域に対して、所定の画像変換を行う第2のステップと、
    虹彩領域に前記画像変換が行われた前記原画像を出力する第3のステップとを備え、
    前記画像変換は、
    虹彩領域を複数の領域に分割し、分割した各領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、他の虹彩画像との間で、所定の順またはランダムに並べ替えるものである
    ことを特徴とする画像処理方法。
  2. 原画像から、人の眼の虹彩領域を検出する第1のステップと、
    前記第1のステップにおいて検出した虹彩領域に対して、所定の画像変換を行う第2のステップと、
    虹彩領域に前記画像変換が行われた前記原画像を出力する第3のステップとを備え、
    前記画像変換は、
    虹彩領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン画像に置換するものである
    ことを特徴とする画像処理方法。
  3. 原画像から、人の眼の虹彩領域を検出する第1のステップと、
    前記第1のステップにおいて検出した虹彩領域に対して、所定の画像変換を行う第2のステップと、
    虹彩領域に前記画像変換が行われた前記原画像を出力する第3のステップとを備え、
    前記画像変換は、
    虹彩領域の画像に、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン画像を重畳するものである
    ことを特徴とする画像処理方法。
  4. 請求項1〜3のうちのいずれか1項において、
    前記第2のステップは、
    虹彩領域の画像を、空間周波数に応じて分解し、
    分解後の所定の帯域の画像に対して、所定の変換を行い、
    各帯域の画像を、再合成する
    ことを特徴とする画像処理方法。
  5. 請求項1〜3のうちいずれか1項において、
    前記第2のステップは、
    検出した虹彩領域が所定のサイズよりも小さいとき、前記画像変換を行わない
    ことを特徴とする画像処理方法。
  6. 請求項1〜3のうちいずれか1項において、
    前記第2のステップは、
    検出した虹彩領域について、反射成分分離を行い、拡散反射画像および鏡面反射画像を得るステップと、
    前記拡散反射画像に対して、前記画像変換を行うステップと、
    前記画像変換後の画像に、前記鏡面反射画像を加算するステップとを有するものである
    ことを特徴とする画像処理方法。
  7. 原画像から、人の眼の虹彩領域を検出する虹彩検出部と、
    前記虹彩検出部によって検出された虹彩領域に対して、所定の画像変換を行う画像変換部とを備え、
    虹彩領域に前記画像変換が行われた前記原画像を出力するものであり、
    前記画像変換部における画像変換は、
    虹彩領域を複数の領域に分割し、分割した各領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、他の虹彩画像との間で、所定の順ま たはランダムに並べ替えるものである
    ことを特徴とする画像処理装置。
  8. 原画像から、人の眼の虹彩領域を検出する虹彩検出部と、
    前記虹彩検出部によって検出された虹彩領域に対して、所定の画像変換を行う画像変換部とを備え、
    虹彩領域に前記画像変換が行われた前記原画像を出力するものであり、
    前記画像変換部における画像変換は、
    虹彩領域の画像を、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン画像に置換するものである
    ことを特徴とする画像処理装置。
  9. 原画像から、人の眼の虹彩領域を検出する虹彩検出部と、
    前記虹彩検出部によって検出された虹彩領域に対して、所定の画像変換を行う画像変換部とを備え、
    虹彩領域に前記画像変換が行われた前記原画像を出力するものであり、
    前記画像変換部における画像変換は、
    虹彩領域の画像に、大きさ、色および形状のうち少なくとも1つを前記虹彩領域の画像にそろえた、所定の虹彩パタン画像を重畳するものである
    ことを特徴とする画像処理装置。
  10. 撮影部と、
    前記撮影部によって撮影された画像を、前記原画像として入力する請求項7〜9のうちいずれか1項の画像処理装置とを備えた
    ことを特徴とする撮影装置。
  11. 請求項7〜9のうちいずれか1項の画像処理装置と、
    前記画像処理装置から出力された画像変換後の画像を、可視化して出力する出力部とを備えた
    ことを特徴とする画像出力装置。
JP2004553533A 2003-04-02 2004-04-01 画像処理方法、画像処理装置、撮影装置および画像出力装置 Expired - Lifetime JP3768225B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003098812 2003-04-02
JP2003098812 2003-04-02
PCT/JP2004/004804 WO2004090814A1 (ja) 2003-04-02 2004-04-01 画像処理方法、画像処理装置、撮影装置、画像出力装置および虹彩認証装置

Publications (2)

Publication Number Publication Date
JP3768225B2 true JP3768225B2 (ja) 2006-04-19
JPWO2004090814A1 JPWO2004090814A1 (ja) 2006-07-06

Family

ID=33156682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004553533A Expired - Lifetime JP3768225B2 (ja) 2003-04-02 2004-04-01 画像処理方法、画像処理装置、撮影装置および画像出力装置

Country Status (4)

Country Link
US (3) US7519199B2 (ja)
EP (1) EP1615171B1 (ja)
JP (1) JP3768225B2 (ja)
WO (1) WO2004090814A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281654A1 (ja) 2021-07-07 2023-01-12 日本電気株式会社 画像処理装置、画像処理方法、及び、記録媒体

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003275724A1 (en) * 2002-11-07 2004-06-07 Matsushita Electric Industrial Co., Ltd. Method for cerficating individual, iris registering device, system for certificating iris, and program for cerficating individual
JP3945474B2 (ja) * 2003-11-28 2007-07-18 松下電器産業株式会社 眼画像入力装置および認証装置ならびに画像処理方法
KR101423153B1 (ko) * 2006-03-03 2014-07-25 허니웰 인터내셔널 인코포레이티드 불변 방사상 홍채 세그먼트화
JP2008123206A (ja) 2006-11-10 2008-05-29 Sony Corp 登録装置、照合装置、登録方法、照合方法及びプログラム
JP2008123207A (ja) 2006-11-10 2008-05-29 Sony Corp 登録装置、照合装置、登録方法、照合方法及びプログラム
JP2008225799A (ja) * 2007-03-12 2008-09-25 Oki Electric Ind Co Ltd 生体認証装置、生体認証方法およびプログラム
US9633261B2 (en) * 2008-08-22 2017-04-25 International Business Machines Corporation Salting system and method for cancelable iris biometric
CN101763500B (zh) * 2008-12-24 2011-09-28 中国科学院半导体研究所 应用于高自由度手掌图像中掌形提取和特征定位的方法
US8502644B1 (en) 2009-01-29 2013-08-06 Bank Of American Corporation Physical item security: tracking device activation
US8749347B1 (en) * 2009-01-29 2014-06-10 Bank Of America Corporation Authorized custodian verification
US8385685B2 (en) * 2011-06-08 2013-02-26 Honeywell International Inc. System and method for ocular recognition
JP2015507241A (ja) 2011-12-04 2015-03-05 デジタル メイクアップ リミテッドDigital Makeup Ltd デジタルメイクアップ
KR102206877B1 (ko) * 2014-02-21 2021-01-26 삼성전자주식회사 생체 정보디스플레이 방법 및 장치
US9239957B2 (en) * 2014-04-04 2016-01-19 Fotonation Limited Image processing method and apparatus
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
CN114241593A (zh) * 2016-04-21 2022-03-25 索尼移动通信株式会社 信息处理设备和程序
JP6409088B2 (ja) * 2016-04-28 2018-10-17 シャープ株式会社 画像処理方法および画像処理装置
JP2018072957A (ja) * 2016-10-25 2018-05-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像加工方法、画像加工システム及びプログラム
JP6933356B2 (ja) * 2017-01-10 2021-09-08 株式会社エスパテント 画像処理方法及び装置、システム
JP7054492B2 (ja) * 2017-01-23 2022-04-14 株式会社Revo 情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置
JP6649588B2 (ja) * 2017-04-28 2020-02-19 キヤノンマーケティングジャパン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6904434B2 (ja) 2017-11-29 2021-07-14 日本電気株式会社 情報処理システム、情報処理方法及び記憶媒体
CN109190453A (zh) * 2018-07-09 2019-01-11 奇酷互联网络科技(深圳)有限公司 防止虹膜信息泄露的方法和装置
KR20200089972A (ko) * 2019-01-18 2020-07-28 삼성전자주식회사 이미지의 보안 방법 및 이를 수행하는 전자 장치
US11657134B2 (en) * 2019-10-30 2023-05-23 Imatrix Holdings Corp. Eye contact detection device
JP2021128499A (ja) * 2020-02-13 2021-09-02 株式会社エクォス・リサーチ 動画処理装置、脈拍数測定装置、動画処理プログラム、及び脈拍数測定プログラム
JP7400959B2 (ja) * 2020-05-11 2023-12-19 日本電気株式会社 判定装置、判定方法およびプログラム
CN113033366A (zh) * 2021-03-17 2021-06-25 中国工商银行股份有限公司 虹膜图像识别方法、装置、计算设备和介质
WO2024111059A1 (ja) * 2022-11-22 2024-05-30 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
JPH06350914A (ja) * 1993-06-04 1994-12-22 Olympus Optical Co Ltd 赤目修正システム
JP3655423B2 (ja) * 1997-04-08 2005-06-02 日本電信電話株式会社 個人情報取得方法および情報センタ
JP3504177B2 (ja) 1998-02-20 2004-03-08 沖電気工業株式会社 撮影装置およびアイリス画像入力装置
JP2000011176A (ja) 1998-06-23 2000-01-14 Fujitsu Ltd 認証装置及び記憶媒体
JP4168518B2 (ja) 1999-03-09 2008-10-22 コニカミノルタホールディングス株式会社 画像処理システム
JP4378785B2 (ja) 1999-03-19 2009-12-09 コニカミノルタホールディングス株式会社 画像処理機能を備えた画像入力装置
JP4236785B2 (ja) 1999-12-27 2009-03-11 株式会社Nttファシリティーズ 映像監視システム
JP3825222B2 (ja) 2000-03-24 2006-09-27 松下電器産業株式会社 本人認証装置および本人認証システムならびに電子決済システム
JP2001292298A (ja) 2000-04-06 2001-10-19 Canon Inc 画像処理方法及び画像処理装置、制御方法、制御装置、記憶媒体
US7120607B2 (en) * 2000-06-16 2006-10-10 Lenovo (Singapore) Pte. Ltd. Business system and method using a distorted biometrics
US6836554B1 (en) * 2000-06-16 2004-12-28 International Business Machines Corporation System and method for distorting a biometric for transactions with enhanced security and privacy
US6746120B2 (en) * 2000-10-30 2004-06-08 Novartis Ag Method and system for ordering customized cosmetic contact lenses
JP2002361969A (ja) 2001-06-07 2002-12-18 Canon Inc 画像記録装置、画像記録方法、及び、そのプログラム並びにコンピュータ可読媒体
JP3684178B2 (ja) 2001-08-10 2005-08-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP4756148B2 (ja) 2001-09-06 2011-08-24 独立行政法人情報通信研究機構 光沢・色再現システム、光沢・色再現プログラム
JP2003087632A (ja) 2001-09-13 2003-03-20 Konica Corp 撮影機能を有する電子機器及び画像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281654A1 (ja) 2021-07-07 2023-01-12 日本電気株式会社 画像処理装置、画像処理方法、及び、記録媒体

Also Published As

Publication number Publication date
JPWO2004090814A1 (ja) 2006-07-06
EP1615171A1 (en) 2006-01-11
US7734069B2 (en) 2010-06-08
US20050226470A1 (en) 2005-10-13
US7664295B2 (en) 2010-02-16
US20090161965A1 (en) 2009-06-25
US7519199B2 (en) 2009-04-14
EP1615171A4 (en) 2011-06-15
EP1615171B1 (en) 2016-06-01
US20090141946A1 (en) 2009-06-04
WO2004090814A1 (ja) 2004-10-21

Similar Documents

Publication Publication Date Title
JP3768225B2 (ja) 画像処理方法、画像処理装置、撮影装置および画像出力装置
JP3945474B2 (ja) 眼画像入力装置および認証装置ならびに画像処理方法
Asikuzzaman et al. Robust DT CWT-based DIBR 3D video watermarking using chrominance embedding
Asikuzzaman et al. Imperceptible and robust blind video watermarking using chrominance embedding: A set of approaches in the DT CWT domain
JP6504364B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
CN106096526B (zh) 一种虹膜识别方法及虹膜识别系统
Battiato et al. Multimedia forensics: discovering the history of multimedia contents
US9251760B2 (en) Copy protection from capture devices for photos and videos
JP2017208616A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018007893A1 (en) Streaming piracy detection method and system
JP7318833B2 (ja) 画像処理デバイス、画像処理方法、およびプログラム
US20190297298A1 (en) Synthetic electronic video containing a hidden image
KR20140075068A (ko) 화상 통화 영상 변조 장치 및 그 방법
Abboud Multifactor authentication for software protection
Grusho et al. The research of a method to identify a workplace via a monitor snapshot
CN116208833A (zh) 摄像头的隐私保护方法、装置及存储介质
WO2017098457A1 (en) A method and a system for determining if the video flow provided by a mobile device is the original one
JP5177222B2 (ja) 文書ファイル取扱方法、文書ファイル取扱装置、および、文書ファイル取扱プログラム
JP2010020670A (ja) 認証装置
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
JP6934987B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2005117316A (ja) 撮影装置、撮影方法、およびプログラム
Sivahrakau et al. Digital Watermarking as an Image Protection Method
Jung Block-based authentication scheme for forgery attacks on digital images
JP2008252786A (ja) 画像処理装置、画像処理方法および記録物

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060131

R150 Certificate of patent or registration of utility model

Ref document number: 3768225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 8

EXPY Cancellation because of completion of term