JP6607755B2 - 生体撮影装置および生体撮影方法 - Google Patents

生体撮影装置および生体撮影方法 Download PDF

Info

Publication number
JP6607755B2
JP6607755B2 JP2015193434A JP2015193434A JP6607755B2 JP 6607755 B2 JP6607755 B2 JP 6607755B2 JP 2015193434 A JP2015193434 A JP 2015193434A JP 2015193434 A JP2015193434 A JP 2015193434A JP 6607755 B2 JP6607755 B2 JP 6607755B2
Authority
JP
Japan
Prior art keywords
polarization
image
unit
camera
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015193434A
Other languages
English (en)
Other versions
JP2017068597A (ja
Inventor
壮一 ▲浜▼
隆浩 青木
功 岩口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Frontech Ltd filed Critical Fujitsu Ltd
Priority to JP2015193434A priority Critical patent/JP6607755B2/ja
Priority to US15/277,544 priority patent/US10599933B2/en
Priority to EP16190788.6A priority patent/EP3151162A1/en
Publication of JP2017068597A publication Critical patent/JP2017068597A/ja
Application granted granted Critical
Publication of JP6607755B2 publication Critical patent/JP6607755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1382Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1382Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1394Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Description

本発明は、生体撮影装置および生体撮影方法に関する。
生体認証技術は本人と不可分である生体特徴を用いるため、暗証番号やパスワードのような記憶による本人確認や、印章やカードなどの物による本人確認と比べ、盗難・偽造の危険性が低いとされている。しかし、生体特徴を第三者が不正に取得し、これを複製した偽造物を用いることにより認証を成立させる「なりすまし」の可能性が指摘されている。
このため生体認証によって高いセキュリティレベルを実現するためには、特徴を取得しようとして観測している対象物が生体であるか、偽造物(非生体)であるかを判定する必要があり、様々な技術が開示されている。
直線偏光のスポット状の光を指に照射し、反射光を偏光分離して、表面反射光と内部拡散光の割合により、生体と非生体を判別する技術が知られている(例えば、特許文献1参照)。また、静脈認証と指紋認証との切り替えが可能な生体認証装置が知られている(例えば、特許文献2参照)。
特開平2−79181号公報 特開2010−218259号公報
従来のスポット状の光を利用して生体と非生体を判別する技術では、照射したスポット状の光の反射光が検出器に入射することを前提としている。しかし、検出対象が手のひらの場合、手のひらは凹凸形状が複雑であり、非接触で手のひらをかざす場合には姿勢が不安定であることから、表面反射光が検出器に正しく到達するとは限らない。そのため、検出対象が生体か否か正しく判定されない場合があるという問題がある。
一つの側面では、本発明は、撮影対象が生体であるか否かの判定の精度を向上することを目的とする。
実施の形態の生体撮影装置は、照射部と、偏光部と、カメラと、演算部と、判定部と、を備える。
前記照射部は、撮影対象に光を照射する。
前記カメラは、前記撮影対象を撮影する。
前記偏光部は、前記照射部と前記カメラとの間の光路上に配置され、第1の偏光方向の光と第2の偏光方向の光とを通過させる。
前記演算部は、前記偏光部を通過する前記第1の偏光方向の光に基づいて前記カメラにより撮影された第1の画像の画素値と、前記偏光部を通過する前記第2の偏光方向の光に基づいて前記カメラにより撮影された第2の画像の画素値の差分を算出し、前記差分から差分画像を生成し、前記差分画像に対してエッジ検出を行うことによりエッジ画像を生成する
前記判定部は、前記エッジ画像の各画素の画素値の合計に基づいて、前記撮影対象が生体であるか否かを判定する。
撮影対象が生体であるか否かの判定の精度を向上することができる。
実施の形態に係る生体撮影装置の構成図である。 生体に直線偏光を照射した場合の反射光を説明する図である。 実施の形態に係る生体撮影装置の第1の構成例を示す図である。 実施の形態に係る生体撮影装置の第2の構成例を示す図である。 実施の形態に係る生体撮影装置の第3の構成例を示す図である。 マルチ偏光カメラに搭載される偏光フィルタを示す図である。 実施の形態に係る生体撮影装置の第4の構成例を示す図である。 実施の形態に係る生体撮影方法のフローチャートである。 ハイパスフィルタを示す図である。 sobelフィルタを示す図である。 情報処理装置(コンピュータ)の構成図である。
以下、図面を参照しながら実施の形態について説明する。
図1は、実施の形態に係る生体撮影装置の構成図である。
生体撮影装置101は、照明装置201、偏光部301−i(i=1,2)、カメラ401、および制御回路501を備える。生体撮影装置101は、例えば、手のひらの静脈等の生体特徴によって非接触で本人確認を行う生体認証(バイオメトリクス認証)装置に適用される。
照明装置201は、撮影対象601に光を照射する装置である。照明装置201が照射する光は、例えば、赤外線や可視光である。照明装置201は、光源の一例である。また、照明装置201の数は、1つでも複数であっても良い。
偏光部301−iは、例えば、偏光フィルタや偏光ビームスプリッタである。偏光部301−iは、特定の偏光方向の光のみを通過させる。すなわち、偏光部301−iを通過した光は直線偏光となる。偏光部301−1は、照明装置201と撮影対象601の間の光路上に配置され、照明装置201から照射された光のうち、偏光部301−1に設定された特定の偏光方向の光のみを通過させる。偏光部301−1の数は、1つでも複数であっても良く、例えば、照明装置201の数と同じである。偏光部301−2は、撮影対象601とカメラ401の間の光路上に配置され、撮影対象601からの反射光のうち、偏光部301−2に設定された特定の偏光方向の光のみを通過させる。偏光部301−2の偏光方向は、例えば、偏光部301−iの偏光方向と平行(すなわち、同じ方向)または直交する。
カメラ401は、撮影対象601の平行偏光画像と直交偏光画像を撮影し、生成部521に出力する。平行偏光画像は、偏光部301−1の偏光方向と同じ偏光方向の偏光部301−2を介して撮影される画像である。直交偏光画像は、偏光部301−1の偏光方向と直交する偏光方向の偏光部301−2を介して撮影される画像である。また、カメラ401の数は、1つでも複数であっても良い。尚、実施の形態において、平行偏光画像と直交偏光画像は、グレースケール画像とする。
制御回路501は、制御部511、生成部521、および判定部531を含む。制御回路501は、例えば、Large Scale Integration(LSI)、Application Specific Integrated Circuit(ASIC)、またはField-Programmable Gate Array(FPGA)等によって実現することができる。また、Central Processing Unit(CPU)がメモリ等からプログラムを読み出して実行することにより、制御回路501の機能を実現しても良い。
制御部511は、照明装置201、偏光部301−i、およびカメラ401の制御を行う。制御部511は、例えば、カメラ401により撮影対象601を撮影するときに、照明装置201から光を照射させる。また、例えば、偏光部301−iが回転可能な偏光フィルタである場合、制御部511は、平衡偏光画像または直交偏光画像を撮影するために偏光フィルタを回転させ、偏光方向を変更する。尚、偏光フィルタの偏向方向が固定されている場合、制御部511は、偏光フィルタを制御しなくても良い。
生成部521は、平行偏光画像と直交偏光画像との演算を行う。詳細には、生成部521は、平行偏光画像の各画素の画素値と直交偏光画像の各画素の画素値との差分を算出し、各画素の画素値が算出した差分である差分画像を生成する。または、平行偏光画像の各画素の画素値を直交偏光画像の各画素の画素値で除算し、各画素の画素値が除算した値である除算画像を生成する。尚、除算画像の生成において、直交偏光画像の各画素の画素値を平行偏光画像の各画素の画素値で除算してもよい。生成部521は、算出部の一例である。生成部521は、演算部の一例である。
判定部531は、差分画像または除算画像に対して、エッジ検出を行い、エッジ検出の結果に基づいて、判定対象が生体であるか否か判定する。
撮影対象601は、例えば、生体である本物の手、または非生体である手のレプリカ(模造品)である。実施の形態において、撮影対象601は、本物またはレプリカの手のひらであり、照明装置201は手のひらに赤外線を照射し、カメラ401は手のひらを撮影する。
図2は、生体に直線偏光を照射した場合の反射光を説明する図である。
図2では、図1の偏光部301−1、301−2として、偏光フィルタ302−1、302−2を用いている。
図2に示すように、照明装置201から偏光フィルタ302−1を介して直線偏光を撮影対象601である生体に照射する。
指や手など、生体は皮膚と内部構造からなる多層構造を示すため、その見え方は二色性反射モデルで表現することができる。すなわち、物体に光を照射した場合の戻り光は、表面で反射する光と内部で拡散してから戻る光が混ざり合った光となる。
生体の皮膚表面602で反射する光(表面反射光)は偏光状態を保ったまま反射する。一方、生体内部に入った直線偏光は、脂肪等の体組織603−j(j=1〜9)により拡散し、偏光状態が不規則に変化した光が合成した光(内部散乱光)となる。このため、カメラの前に偏光フィルタ302−2を置いて観測するとき、照明側の偏光フィルタ302−1とカメラ側の偏光フィルタ302−2の偏光方向が平行になるように配置すると、表面反射光と内部散乱光のうち直線偏光と平行な成分が観測され、偏光方向が直交するように配置すると表面反射成分は遮断され、内部散乱光の直線偏光と直交する直交成分が観測される。
図1に示す生体撮影装置101で、偏光状態の異なる平行偏光画像と直交偏光画像を撮影し、これらの画像を比較すると、生体は表面反射光と内部拡散光の二色性反射特性を示すため、2つの偏光画像は異なる輝度分布を示す。しかし、非生体の場合は2つの偏光画像は同一の輝度分布を示す。この分布の差により、生体撮影装置101は、生体・非生体を判別する。このように生体撮影装置101は、皮膚の偏光特性(異方性散乱)に基づいた反射光の偏光状態の分布に基づいて、撮影対象が生体か非生体であるかを判定する。
以下、2つの異なる偏光状態の画像(平行偏光画像と直交偏光画像)を撮影するための生体撮影装置101の構成例を複数示す。
図3は、実施の形態に係る生体撮影装置の第1の構成例を示す図である。
生体撮影装置1101は、照明装置1201、偏光フィルタ1301−1、偏光ビームスプリッタ1301−2、ミラー1302、カメラ1401−i、および制御回路1501を備える。
照明装置1201、偏光ビームスプリッタ1301、ミラー1302、カメラ1401−i、および制御回路1501は、図1の照明装置201、偏光部301−1、偏光部301−2、カメラ401、および制御回路501にそれぞれ対応する。
照明装置1201は、偏光フィルタ1301−1を介することで、直線偏光を撮影対象601に照射する。
偏光ビームスプリッタ1301−2は、撮影対象601からの反射光を2つの直交する偏光成分に分離し、直交する2つの直線偏光を出力する。すなわち、偏光ビームスプリッタ1301−2は、偏光方向が互いに異なる2つの光路を有する。2つの直線偏光のうち一方の直線偏光の偏光方向は、偏光フィルタ1301−1の偏光方向と平行であり、カメラ1401−1に入力される。
2つの直線偏光のうち他方の直線偏光の偏光方向は、偏光フィルタ1301−1の偏光方向と直交し、他方の直線偏光はミラー1302で反射してカメラ1401−2に入力される。
これにより、カメラ1401−1は平行偏光画像を撮影し、カメラ1401−2は直交偏光画像を撮影する。カメラ1401−iは撮影した画像を制御回路1501に出力する。制御回路1501は、平行偏光画像と直交偏光画像に基づいて、撮影対象が生体であるか否か判定する。
第1の構成例の生体撮影装置1101は、偏光ビームスプリッタ1301を用いることで、2つの偏光状態を同時に撮影することができる。
図4は、実施の形態に係る撮影装置の第2の構成例を示す図である。
生体撮影装置2101は、照明装置2201、偏光フィルタ2301−i、カメラ2401−i、および制御回路2501を備える。
照明装置2201、偏光フィルタ2301−1、偏光フィルタ2301−2、カメラ2401、および制御回路2501は、図1の照明装置201、偏光部301−1、偏光部301−2、カメラ401、および制御回路501にそれぞれ対応する。
照明装置2201は、偏光フィルタ2301−1を介することで、直線偏光を撮影対象601に照射する。
撮影対象601からの反射光は、偏光フィルタ2301−2を通過して、カメラ2401に入力され、カメラ2401は撮影対象601を撮影し、撮影した画像を制御回路2501に出力する。
偏光フィルタ2301−2は、回転可能であり、制御回路2501からの制御により回転し、回転角に応じて偏光方向を設定可能である。
制御回路2501は、偏光フィルタ2301−2の偏光方向を偏光フィルタ2301−1と平行に設定し、撮影対象601をカメラ2401により撮影することで、平行偏光画像が撮影される。次に、制御回路2501は、偏光フィルタ2301−2の偏光方向を偏光フィルタ2301−1と直交するように設定し、撮影対象601をカメラ2401により撮影することで、直交偏光画像が撮影される。尚、平行偏光画像と直交偏光画像をそれぞれ撮影する時刻の差は、なるべく小さくなるようにする。
制御回路2501は、平行偏光画像と直交偏光画像に基づいて、撮影対象が生体であるか否か判定する。
上述の生体撮影装置2101では、カメラ側の偏光フィルタ2301−2を回転させていたが、照明装置側の偏光フィルタ2301−1を回転可能として、偏向方向を変更可能とし、カメラ側の偏光フィルタ2301−2の偏向方向が固定でも良い。その場合、制御回路2501は、偏光フィルタ2301−1の偏光方向を偏光フィルタ2301−2と平行に設定し、撮影対象601をカメラ2401により撮影することで、平行偏光画像が撮影される。次に、制御回路2501は、偏光フィルタ2301−1の偏光方向を偏光フィルタ2301−2と直交するように設定し、撮影対象601をカメラ2401により撮影することで、直交偏光画像が撮影される。
また、上述の生体撮影装置2101では、偏光フィルタ2301−2を回転させていたが、複数の偏光方向の偏光フィルタ(例えば、偏光フィルタ2301−1の偏光方向と同じ偏光方向の偏光フィルタと偏光フィルタ2301−1の偏光方向と直交する偏光方向の偏光フィルタ)を並べて置き、スライドさせて撮影対象601からの反射光が通過する偏光フィルタを切り替える方法でも良い。
第2の構成例の生体撮影装置2101では、1台のカメラで2つの偏光画像を撮影することができる。
図5は、実施の形態に係る撮影装置の第3の構成例を示す図である。
生体撮影装置3101は、照明装置3201、偏光フィルタ3301−1、マルチ偏光カメラ3401、および制御回路3501を備える。
照明装置3201、偏光フィルタ3301−1、および制御回路3501は、図1の照明装置201、偏光部301−1、および制御回路501にそれぞれ対応する。マルチ偏光カメラ3401は、偏光部301−2およびカメラ401に対応する。
照明装置3201は、偏光フィルタ3301−1を介することで、直線偏光を撮影対象601に照射する。
撮影対象601からの反射光は、マルチ偏光カメラ3401に入力され、マルチ偏光カメラ3401は撮影対象601を撮影し、撮影した画像を制御回路3501に出力する。
マルチ偏光カメラ3401は、一般的なカラーカメラに搭載されるRGBカラーフィルタの代わりに、撮像素子の各ピクセル上に角度の異なる図6に示すような偏光フィルタを搭載したカメラである。マルチ偏光カメラ3401の撮像素子の各ピクセルには、偏向方向が0度、45度、90度、135度のいずれかの偏光フィルタを介して、反射光が入力される。図5において、0度は、偏光フィルタ3301−1の偏光方向と同じ方向を示し、90度は、偏光フィルタ3301−1の偏光方向と直交する方向を示す。マルチ偏光カメラ3401は、図6のような偏光フィルタを搭載することにより、異なる偏光状態の画像を一度に撮影することができる。マルチ偏光カメラ3401は、異なる偏光状態の画像(平行偏光画像と直交偏光画像)を撮影し、制御回路3501に出力する。
制御回路3501は、平行偏光画像と直交偏光画像に基づいて、撮影対象が生体であるか否か判定する。
第3の構成例の生体撮影装置は、視差を生じず、異なる偏光状態の画像を1度に取得できる。
図7は、実施の形態に係る撮影装置の第4の構成例を示す図である。
生体撮影装置4101は、照明装置4201−i、偏光フィルタ4301−1−i、4301−2、カメラ4401、および制御回路4501を備える。
照明装置4201−i、偏光フィルタ4301−1−i、偏光フィルタ4301−2、カメラ4401、および制御回路4501は、図1の照明装置201、偏光部301−1、偏光部301−2、カメラ401、および制御回路501にそれぞれ対応する。
第4の構成例の生体撮影装置4101は、2つの照明4201−1、4201−2を用いて、異なる偏光状態の画像を撮影する。
偏光フィルタ4301−1−1は、照明装置4201−1と撮影対象601との間の光路上に配置され、偏光フィルタ4301−1−2は、照明装置4201−2と撮影対象601との間の光路上に配置され、偏光フィルタ4301−2は、撮影対象601とカメラ4401との間の光路上に配置される。
偏光フィルタ4301−1−1の偏光方向は、偏光フィルタ4301−2の偏光方向と直交している。よって、照明装置4201−1から光を照射すると、偏光フィルタ4301−1−1により、偏光フィルタ4301−2の偏光方向と直交する直線偏光が撮影対象601に照射される。制御回路4501は、照明装置4201−1のみから光を照射させて、偏光フィルタ4301−2を介して、撮影対象601をカメラ4401により撮影することで、直交偏光画像が撮影される。
偏光フィルタ4301−1−2の偏光方向と偏光フィルタ4301−2の偏光方向は同じ(平行)である。よって、照明装置4201−2から光を照射すると、偏光フィルタ4301−1−2により、偏光フィルタ4301−2の偏光方向と平行の直線偏光が撮影対象601に照射される。制御回路4501は、照明装置4201−2のみから光を照射させて、偏光フィルタ4301−2を介して、撮影対象601をカメラ4401により撮影することで、平行偏光画像が撮影される。
カメラ4401は、異なる偏光状態の画像(平行偏光画像と直交偏光画像)を撮影し、制御回路3501に出力する。
制御回路3501は、平行偏光画像と直交偏光画像に基づいて、撮影対象が生体であるか否か判定する。
図8は、実施の形態に係る生体撮影方法のフローチャートである。
ステップS11において、制御部511は、照明装置201を点灯させ、カメラ401に撮影指示を送信する。生成部521は、カメラ401から平行偏光画像を取得する。このとき、制御部511は、偏光部の301−iの偏光方向の設定等の必要があれば、適宜実行する。第1の構成例において、制御回路1501は、照明装置1201を点灯させ、カメラ1401−iに撮影指示を送信し、カメラ1401−1から撮影した平行偏光画像を取得する。第2の構成例において、制御回路2501は、偏光フィルタ2301−2の偏光方向をフィルタ2301−1の偏光方向と平行になるように設定する。そして、制御回路2501は、照明装置2201を点灯させ、カメラ2401に撮影指示を送信し、カメラ2401から撮影した平行偏光画像を取得する。第3の構成例において、制御回路3501は、照明装置3201を点灯させ、カメラ3401に撮影指示を送信し、マルチ偏光カメラ3401が撮影した画像のうち、平行偏光画像を取得する。第4の構成例において、制御回路4501は、照明装置4201−2を点灯させ、カメラ4401に撮影指示を送信し、撮影した平行偏光画像を取得する。このとき、制御回路4501は、照明装置4201−1を点灯させない。
ステップS12において、制御部511は、照明装置201を点灯させ、カメラ401に撮影指示を送信する。生成部521は、カメラ401から直交偏光画像を取得する。このとき、制御部511は、偏光部の301−iの偏光方向の設定等の必要があれば、適宜実行する。第1の構成例において、制御回路2501は、ステップS11でカメラ1401−2が撮影した直交偏光画像をカメラ1401−2が取得する。第2の構成例において、制御回路2501は、偏光フィルタ2301−2の偏光方向をフィルタ2301−1の偏光方向と直交するように設定する。そして、制御回路2501は、照明装置2201を点灯させ、カメラ2401に撮影指示を送信し、カメラ2401から撮影した直交偏光画像を取得する。第3の構成例において、制御回路3501は、ステップS11でマルチ偏光カメラ3401が撮影した画像のうち、直交偏光画像を取得する。第4の構成例において、制御回路4501は、照明装置4201−1を点灯させ、カメラ4401に撮影指示を送信し、撮影した直交偏光画像を取得する。このとき、制御回路4501は、照明装置4201−2を点灯させない。尚、ステップS11とステップS12を実行する順番は、入れ替えても良い。
ステップS13において、生成部521は、平行偏光画像の各画素の画素値と直交偏光画像の各画素の画素値との差分を算出し、各画素の画素値が算出した差分である差分画像を生成する。
ステップS14において、判定部531は、差分画像に対するエッジ検出により、エッジ画像を生成する。詳細には、判定部531は、差分画像に対する微分演算により、エッジ画像の各画素の画素値(エッジ強度)を算出し、エッジ画像を生成する。例えば、微分演算において、判定部531は、図9に示すようなハイパスフィルタ701を用いる。エッジ画像の各画素の画素値は、以下のように求められる。判定部531は、差分画像に対し、画素値を求める画素とその隣接画素の各画素値に図9に示すようなハイパスフィルタ701を乗算し、各画素に対する乗算結果を合計した値を、求める画素のエッジ画像の画素値とする。
差分画像は偏光状態の不均一さを示すものである。生体の場合には、表面の皺などの構造による模様が局所的に現れる。こうした縞模様は局所的に特定の方向に強く現れるため、単なるエッジ検出ではなく、空間1次微分を計算するsobelフィルタ(図10)や2次元Gaborフィルタのような方向を検出するフィルタを用いてもよい。sobelフィルタや2次元Gaborフィルタのような方向を検出するフィルタを用いることにより、より精度の高い判別をおこなうことができる。図10に示すsobelフィルタ702−1〜702−8は、それぞれ下から上、上から下、右から左、左から右、右下から左上、左上から右下、右上から左下、および左上から右下への方向の階調差を算出し、エッジを検出するのに用いるフィルタである。判定部531は、図10に示すsobelフィルタ702−1〜702−8を用いて、8方向の各方向に対するエッジを示す8個のエッジ画像を生成しても良い。尚、sobelフィルタ702−1〜702−8を用いた各方向のエッジ画像の算出方法は、上述のハイパスフィルタ701を用いたエッジ画像の算出方法と同様である。
ステップS15において、判定部531は、エッジ画像の各画素の画素値(エッジ強度)の合計である総エッジ量を算出する。尚、図10に示すsobelフィルタ702−1〜702−8を用いた場合は、各方向の8個のエッジ画像の各画素の画素値の合計を総エッジ量として算出する。
ステップS16において、判定部531は、総エッジ量が閾値以上であるか否か判定する。総エッジ量が閾値以上である場合、制御はステップS17に進み、総エッジ量が閾値未満である場合、制御はステップS18に進む。尚、閾値は、固定値ではなく、学習によって変更してよい。
ステップS17において、判定部531は、撮影対象が生体であると判定する。
ステップS18において、判定部531は、撮影対象が非生体であると判定する。
上述のように偏光状態の異なる平行偏光画像と直交偏光画像を比較すると、生体は表面反射光と内部拡散光の二色性反射特性を示すため、2つの偏光画像は異なる輝度分布を示す。非生体の場合は2つの偏光画像は同一の輝度分布を示す。よって、生体撮影装置101は、エッジ検出により、皮膚の偏光特性(異方性散乱)に基づいた反射光の偏光状態の分布を求め、撮影対象が生体か非生体であるかを判定する。
上述の生体撮影方法では、平行偏光画像と直交偏光画像の差分を用いたが、平行偏光画像と直交偏光画像の比率を用いてもよい。すなわち、ステップS13において、生成部521は、平行偏光画像の各画素の画素値を直交偏光画像の各画素の画素値で除算し、各画素の画素値が除算結果である除算画像を生成してもよい。尚、生成部521は、直交偏光画像の各画素の画素値を平行偏光画像の各画素の画素値で除算して、除算画像を生成してもよい。この場合、ステップS14において、差分画像の代わりに除算画像に対するエッジ検出を行う。
また、上述の生体撮影方法では、生体・非生体を判定するために、エッジ検出を用いて判定したが、輝度分布の偏りを求めることができれば、この方法に限らない。例えば、判定部531は、差分画像に対してフーリエ変換等により、画像の空間周波数の高周波成分の量を算出し、高周波成分の量が所定値以上の場合に、撮影対象が生体であると判定してもよい。
実施の形態の生体撮影装置によれば、撮影対象が生体であるか否かの判定の精度を向上することができる。
図11は、情報処理装置(コンピュータ)の構成図である。
実施の形態の生体撮影装置101は、例えば、図11に示すような情報処理装置1によって実現可能である。
情報処理装置1は、CPU2、メモリ3、入力部4、出力部5、記憶部6、記録媒体駆動部7、及びネットワーク接続部8を備え、それらはバス9により互いに接続されている。
CPU2は、情報処理装置1全体を制御する中央処理装置である。CPU2は、制御回路501に対応する。
メモリ3は、プログラム実行の際に、記憶部6(あるいは可搬記録媒体10)に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ROM)やRandom Access Memory(RAM)等のメモリである。CPU2は、メモリ3を利用してプログラムを実行することにより、上述した各種処理を実行する。
この場合、可搬記録媒体10等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
入力部4は、例えば、キーボード、マウス、タッチパネル、カメラ等であり、ユーザ又はオペレータからの指示や情報の入力、情報処理装置1で用いられるデータの取得等に用いられる。入力部4は、カメラ401に対応する。
出力部5は、例えば、ディスプレイ、プリンタ、照明装置等である。出力部5は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、CPU2による制御により動作する装置である。出力部5は、照明装置201および偏光部301−iに対応する。
記憶部6は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置1は、記憶部6に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ3に読み出して使用する。
記録媒体駆動部7は、可搬記録媒体10を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(CD−ROM)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体10に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ3に読み出して使用する。
ネットワーク接続部8は、Local Area Network(LAN)やWide Area Network(WAN)等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。
以上の実施の形態に関し、さらに以下の付記を開示する。
(付記1)
撮影対象に光を照射する照射部と、
前記撮影対象を撮影するカメラと、
前記照射部と前記カメラとの間の光路上に配置され、第1の偏光方向の光と第2の偏光方向の光とを通過させる偏光部と、
前記偏光部を通過する前記第1の偏光方向の光に基づいて前記カメラにより撮影された第1の画像と、前記偏光部を通過する前記第2の偏光方向の光に基づいて前記カメラにより撮影された第2の画像とを用いて演算を行う演算部と、
前記演算部の演算結果に基づいて、前記撮影対象が生体であるか否かを判定する判定部と、
を備える生体撮影装置。
(付記2)
前記偏光部は、前記照射部と前記撮影対象との間の光路上に配置されることを特徴とする付記1記載の生体撮影装置。
(付記3)
前記偏光部は、前記撮影対象と前記カメラとの間の光路上に配置されることを特徴とする付記2記載の生体撮影装置。
(付記4)
前記演算結果は、前記第1の画像の各画素の画素値と前記第2の画像の各画素の画素値との差分または比率であることを特徴とする付記1乃至3のいずれか1項に記載の生体撮影装置。
(付記5)
前記第1の偏光方向と前記第2の偏光方向は直交することを特徴とする付記1乃至4のいずれか1項に記載の生体撮影装置。
(付記6)
前記偏光部は回転可能であり、回転角に応じて偏光方向を設定可能であることを特徴とする付記1乃至5のいずれか1項に記載の生体撮影装置。
(付記7)
前記演算部は、前記第1の画像の各画素の画素値と前記第2の画像の各画素の画素値との差分を算出し、前記差分から差分画像を生成し、前記差分画像に対してエッジ検出を行うことによりエッジ画像を生成し、
前記判定部は、前記エッジ画像の各画素の画素値の合計に基づいて、前記撮影対象が生体であるか否かを判定することを特徴とする付記1記載の生体撮影装置。
(付記8)
撮影対象に光を照射部により照射し、
前記撮影対象をカメラにより撮影し、
前記照射部と前記カメラとの間の光路上に配置された偏光部を通過する第1の偏光方向の光に基づいて前記カメラにより撮影された第1の画像と、前記偏光部を通過する第2の偏光方向の光に基づいて前記カメラにより撮影された第2の画像とを用いて演算を行い、
演算結果に基づいて、前記撮影対象が生体であるか否かを判定する
処理を有する生体撮影方法。
生体撮影方法。
(付記9)
前記偏光部は、前記照射部と前記撮影対象との間の光路上に配置されることを特徴とする付記8記載の生体撮影方法。
(付記10)
前記偏光部は、前記撮影対象と前記カメラとの間の光路上に配置されることを特徴とする付記8記載の生体撮影方法。
(付記11)
前記演算結果は、前記第1の画像の各画素の画素値と前記第2の画像の各画素の画素値との差分または比率であることを特徴とする付記8乃至10のいずれか1項に記載の生体撮影方法。
(付記12)
前記第1の偏光方向と前記第2の偏光方向は直交することを特徴とする付記8乃至11のいずれか1項に記載の生体撮影方法。
(付記13)
前記偏光部は回転可能であり、回転角に応じて偏光方向を設定可能であることを特徴とする付記8乃至12のいずれか1項に記載の生体撮影方法。
(付記14)
前記演算する処理は、前記第1の画像の各画素の画素値と前記第2の画像の各画素の画素値との差分を算出し、前記差分から差分画像を生成し、前記差分画像に対してエッジ検出を行うことによりエッジ画像を生成し、
前記判定する処理は、前記エッジ画像の各画素の画素値の合計に基づいて、前記撮影対象が生体であるか否かを判定することを特徴とする付記8記載の生体撮影方法。
101 生体撮影装置
201 照明装置
301 偏光部
401 カメラ
501 制御回路

Claims (8)

  1. 撮影対象に光を照射する照射部と、
    前記撮影対象を撮影するカメラと、
    前記照射部と前記カメラとの間の光路上に配置され、第1の偏光方向の光と第2の偏光方向の光とを通過させる偏光部と、
    前記偏光部を通過する前記第1の偏光方向の光に基づいて前記カメラにより撮影された第1の画像の画素値と、前記偏光部を通過する前記第2の偏光方向の光に基づいて前記カメラにより撮影された第2の画像の画素値の差分を算出し、前記差分から差分画像を生成し、前記差分画像に対してエッジ検出を行うことによりエッジ画像を生成する演算部と、
    前記エッジ画像の各画素の画素値の合計に基づいて、前記撮影対象が生体であるか否かを判定する判定部と、
    を備える生体撮影装置。
  2. 撮影対象に光を照射する照射部と、
    前記撮影対象を撮影するカメラと、
    前記照射部と前記カメラとの間の光路上に配置され、第1の偏光方向の光と第2の偏光方向の光とを通過させる偏光部と、
    前記偏光部を通過する前記第1の偏光方向の光に基づいて前記カメラにより撮影された第1の画像の画素値と、前記偏光部を通過する前記第2の偏光方向の光に基づいて前記カメラにより撮影された第2の画像の画素値との比率を算出し、前記比率から除算画像を生成し、前記除算画像に対してエッジ検出を行うことによりエッジ画像を生成する演算部と、
    前記エッジ画像の各画素の画素値の合計に基づいて、前記撮影対象が生体であるか否かを判定する判定部と、
    を備える生体撮影装置。
  3. 前記偏光部は、前記照射部と前記撮影対象との間の光路上に配置されることを特徴とする請求項1又は2記載の生体撮影装置。
  4. 前記偏光部は、前記撮影対象と前記カメラとの間の光路上に配置されることを特徴とする請求項記載の生体撮影装置。
  5. 前記第1の偏光方向と前記第2の偏光方向は直交することを特徴とする請求項1乃至4のいずれか1項に記載の生体撮影装置。
  6. 前記偏光部は回転可能であり、回転角に応じて偏光方向を設定可能であることを特徴とする請求項1乃至5のいずれか1項に記載の生体撮影装置。
  7. 撮影対象に光を照射部により照射し、
    前記撮影対象をカメラにより撮影し、
    前記照射部と前記カメラとの間の光路上に配置された偏光部を通過する第1の偏光方向の光に基づいて前記カメラにより撮影された第1の画像の画素値と、前記偏光部を通過する第2の偏光方向の光に基づいて前記カメラにより撮影された第2の画像の画素値の差分を算出し
    前記差分から差分画像を生成し、
    前記差分画像に対してエッジ検出を行うことによりエッジ画像を生成し、
    前記エッジ画像の各画素の画素値の合計に基づいて、前記撮影対象が生体であるか否かを判定する
    処理を有する生体撮影方法。
  8. 撮影対象に光を照射部により照射し、
    前記撮影対象をカメラにより撮影し、
    前記照射部と前記カメラとの間の光路上に配置された偏光部を通過する第1の偏光方向の光に基づいて前記カメラにより撮影された第1の画像の画素値と、前記偏光部を通過する第2の偏光方向の光に基づいて前記カメラにより撮影された第2の画像の画素値との比率を算出し、
    前記比率から除算画像を生成し、
    前記除算画像に対してエッジ検出を行うことによりエッジ画像を生成し、
    前記エッジ画像の各画素の画素値の合計に基づいて、前記撮影対象が生体であるか否かを判定する
    処理を有する生体撮影方法。
JP2015193434A 2015-09-30 2015-09-30 生体撮影装置および生体撮影方法 Active JP6607755B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015193434A JP6607755B2 (ja) 2015-09-30 2015-09-30 生体撮影装置および生体撮影方法
US15/277,544 US10599933B2 (en) 2015-09-30 2016-09-27 Biometric image capturing apparatus and biometric image capturing method
EP16190788.6A EP3151162A1 (en) 2015-09-30 2016-09-27 Biometric image capturing apparatus and biometric image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015193434A JP6607755B2 (ja) 2015-09-30 2015-09-30 生体撮影装置および生体撮影方法

Publications (2)

Publication Number Publication Date
JP2017068597A JP2017068597A (ja) 2017-04-06
JP6607755B2 true JP6607755B2 (ja) 2019-11-20

Family

ID=57233285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015193434A Active JP6607755B2 (ja) 2015-09-30 2015-09-30 生体撮影装置および生体撮影方法

Country Status (3)

Country Link
US (1) US10599933B2 (ja)
EP (1) EP3151162A1 (ja)
JP (1) JP6607755B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6772710B2 (ja) * 2016-09-16 2020-10-21 富士通株式会社 生体撮影装置
RU2657377C2 (ru) * 2016-11-11 2018-06-13 Самсунг Электроникс Ко., Лтд. Интеллектуальная насадка на смартфон для определения чистоты, влажности и фотовозраста кожи
JP7121892B2 (ja) * 2018-05-15 2022-08-19 株式会社三井光機製作所 光学モジュール及び光学装置
JP7183508B2 (ja) * 2018-05-15 2022-12-06 株式会社三井光機製作所 3分光光学モジュール及びそれを利用した光学装置
US10872221B2 (en) 2018-06-21 2020-12-22 Amazon Technologies, Inc Non-contact biometric identification system
JP7131118B2 (ja) 2018-06-22 2022-09-06 富士通株式会社 認証装置、認証プログラム、認証方法
FR3086077B1 (fr) * 2018-09-19 2020-08-14 Idemia Identity & Security France Procede de detection de fraude par la caracterisation polarimetrique d'un element du corps humain
US20200302147A1 (en) * 2019-03-20 2020-09-24 Amazon Technologies, Inc. Biometric input device
JP7321857B2 (ja) * 2019-09-18 2023-08-07 株式会社東芝 光学撮像装置
WO2021075151A1 (ja) * 2019-10-15 2021-04-22 シャープ株式会社 形状識別装置およびそれを用いた生体認証装置
TWI739431B (zh) * 2019-12-09 2021-09-11 大陸商廣州印芯半導體技術有限公司 資料傳輸系統及其資料傳輸方法
US11527092B1 (en) * 2020-11-16 2022-12-13 Amazon Technologies, Inc. System for determining embedding using spatial data
CN114441448B (zh) * 2022-01-17 2023-12-26 厦门大学 一种面向水生生物的偏振光刺激与行为检测系统及方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68919394T2 (de) 1988-09-16 1995-03-30 Fujitsu Ltd System zum Detektieren eines biologischen Gegenstandes und dieses System verwendendes Fingerabdruckvergleichssystem.
JPH0823885B2 (ja) * 1988-09-16 1996-03-06 富士通株式会社 生体検知装置および該装置を用いた指紋照合システム
JP2003030659A (ja) 2001-07-16 2003-01-31 Matsushita Electric Ind Co Ltd 虹彩認証装置及び虹彩撮像装置
JP4200687B2 (ja) 2002-05-13 2008-12-24 株式会社日立製作所 生体認証装置および該装置実現のためのプログラム
JP3721165B2 (ja) 2003-01-14 2005-11-30 Necインフロンティア株式会社 生体判別器及び指紋認証装置
US7545963B2 (en) * 2003-04-04 2009-06-09 Lumidigm, Inc. Texture-biometrics sensor
US7539330B2 (en) * 2004-06-01 2009-05-26 Lumidigm, Inc. Multispectral liveness determination
US7668350B2 (en) * 2003-04-04 2010-02-23 Lumidigm, Inc. Comparative texture analysis of tissue for biometric spoof detection
US7347365B2 (en) * 2003-04-04 2008-03-25 Lumidigm, Inc. Combined total-internal-reflectance and tissue imaging systems and methods
WO2005071614A1 (ja) * 2004-01-27 2005-08-04 Seiko Epson Corporation 人物顔の検出位置ずれ補正方法及び補正システム並びに補正プログラム
JP4624882B2 (ja) 2005-08-01 2011-02-02 株式会社東海理化電機製作所 個人認証装置及び個人認証方法
JP4599320B2 (ja) * 2006-03-13 2010-12-15 富士通株式会社 指紋認証装置、生体指判定装置および生体指判定方法
WO2008100329A2 (en) * 2006-07-19 2008-08-21 Lumidigm, Inc. Multibiometric multispectral imager
US7804984B2 (en) 2006-07-31 2010-09-28 Lumidigm, Inc. Spatial-spectral fingerprint spoof detection
JP4943807B2 (ja) 2006-10-18 2012-05-30 日本電信電話株式会社 インピーダンス検出装置、インピーダンス検出方法、生体認識装置、および指紋認証装置
JP2008148862A (ja) 2006-12-15 2008-07-03 Fujitsu Ltd 生体認証装置、生体認証方法および生体認証プログラム
US8180120B2 (en) * 2007-03-09 2012-05-15 Authentec, Inc. Finger sensor using polarized light and associated methods
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
JPWO2010044250A1 (ja) * 2008-10-15 2012-03-15 日本電気株式会社 パターン照合装置及びパターン照合方法
JP5287868B2 (ja) 2008-12-17 2013-09-11 富士通株式会社 生体認証装置及び生体認証方法
JP5229490B2 (ja) 2009-03-17 2013-07-03 株式会社リコー 生体認証装置
US8406487B2 (en) * 2009-09-16 2013-03-26 General Electric Company Method and system for contactless fingerprint detection and verification
JP5765071B2 (ja) 2011-06-14 2015-08-19 富士通株式会社 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
US9672341B2 (en) * 2014-10-30 2017-06-06 Delta ID Inc. Systems and methods for spoof detection in iris based biometric systems

Also Published As

Publication number Publication date
US10599933B2 (en) 2020-03-24
US20170091568A1 (en) 2017-03-30
JP2017068597A (ja) 2017-04-06
EP3151162A1 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
JP6607755B2 (ja) 生体撮影装置および生体撮影方法
US11030470B2 (en) Apparatus and method with liveness verification
JP5521304B2 (ja) 撮像装置、撮像プログラム、撮像方法、認証装置、認証プログラム及び認証方法
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
EP2848196B1 (en) Apparatus for blood vessel imaging
Hadid Face biometrics under spoofing attacks: Vulnerabilities, countermeasures, open issues, and research directions
KR101356358B1 (ko) 눈의 이미지에 기초한 바이오메트릭 인증을 위한 기기 및 컴퓨터 구현 방법
US11657133B2 (en) Systems and methods of multi-modal biometric analysis
TWI435277B (zh) 利用與快速遮罩正規化交互相關匹配之範本的文件驗證
Raja et al. Video presentation attack detection in visible spectrum iris recognition using magnified phase information
US20170161578A1 (en) Methods and Apparatuses for Birefringence Based Biometric Authentication
US11256938B2 (en) Method and apparatus with liveness testing
EP3825905A1 (en) Method and apparatus with liveness test and/or biometric authentication, computer program therefore and medium storing the same
Chatterjee et al. Ear biometrics recognition using laser biospeckled fringe projection profilometry
JP7131761B2 (ja) 複屈折ベースの生体認証のための方法及び装置
KR20090058460A (ko) 인증 장치 및 인증 방법
Ebihara et al. Specular-and diffuse-reflection-based face spoofing detection for mobile devices
Benlamoudi Multi-modal and anti-spoofing person identification
JP2008225970A (ja) 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法
Abd Aziz et al. Polarization imaging for face spoofing detection: identification of black ethnical group
JP6772710B2 (ja) 生体撮影装置
JP6181763B2 (ja) 個人の識別を目的とする静脈網の真偽を検出するための方法、及び、バイオメトリック認証方法
Hameed et al. An accurate method to obtain bio-metric measurements for three dimensional skull
Abd Aziz Vision-based spoofing face detection using polarised light
Hameed et al. Department of Electrical and Computer Engineering, Faculty of Engineering, International Islamic University Malaysia, 53 l00 Gombak, Kuala Lumpur, Malaysia

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191021

R150 Certificate of patent or registration of utility model

Ref document number: 6607755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350