JP6032566B2 - 識別データ処理装置及び識別データ処理方法 - Google Patents

識別データ処理装置及び識別データ処理方法 Download PDF

Info

Publication number
JP6032566B2
JP6032566B2 JP2014051671A JP2014051671A JP6032566B2 JP 6032566 B2 JP6032566 B2 JP 6032566B2 JP 2014051671 A JP2014051671 A JP 2014051671A JP 2014051671 A JP2014051671 A JP 2014051671A JP 6032566 B2 JP6032566 B2 JP 6032566B2
Authority
JP
Japan
Prior art keywords
image data
identification
individual
target
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014051671A
Other languages
English (en)
Other versions
JP2015176288A (ja
Inventor
貴史 小梨
貴史 小梨
欽也 札野
欽也 札野
保 門脇
保 門脇
孝文 青木
孝文 青木
伊藤 康一
康一 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
NEC Solutions Innovators Ltd
Original Assignee
Tohoku University NUC
NEC Solutions Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, NEC Solutions Innovators Ltd filed Critical Tohoku University NUC
Priority to JP2014051671A priority Critical patent/JP6032566B2/ja
Publication of JP2015176288A publication Critical patent/JP2015176288A/ja
Application granted granted Critical
Publication of JP6032566B2 publication Critical patent/JP6032566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)

Description

本発明は、画像を用いて個体を識別又は認証する技術に関する。
セキュリティの重要性が高まり、個人識別及び個人認証が様々な場面で行われている。例えば、入退室時や、スマートデバイス等のコンピュータの利用時等に、指紋や静脈等の生体情報を用いた個人認証が行われている。その他、パスポート、運転免許証、保険証等の身分証明書を用いて、本人確認が行われる場面も多い。
下記特許文献1には、顔画像を利用する認証方式と所持品を利用する認証方式との両方を行って、被認証者の正当性を検証する手法が提案されている。この手法は、具体的には、被認証者を撮影して得られる顔データと登録顔データとの照合により顔一致度を算出し、ICタグが付された被認証者の所持品(腕時計や社員カードなど)から取得されるその所持品の識別データと登録識別データとの照合により所持品一致度を算出し、両方の一致度を用いて、被検証者が本人であるか否かを判断する。
特開2008−217510号公報
上述の提案手法は、各所持品にICタグをそれぞれ付す必要があり、利便性に少し問題がある。また、生体情報は、登録された生体情報から変化することや、正常に読み取れなくなってしまう可能性があり得る。また、身分証明書を常に携帯することにも無理がある。
本発明は、このような事情に鑑みてなされたものであり、高い利便性で、画像を用いた個体認証及び個体識別を可能とする技術を提供する。本明細書で個体とは、識別又は認証が望まれるあらゆる対象物を意味し、人間や動物等を含む。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の側面は、識別データ処理装置に関する。第一の側面に係る識別データ処理装置は、候補画像データを取得する候補取得手段と、候補取得手段により取得された候補画像データと、標準画像データベースに格納される複数の標準画像データとを照合する照合手段と、照合手段による照合結果を用いて、候補画像データの独自性スコアを算出し、算出された独自性スコアに基づいて、候補画像データを識別画像データベースに登録するか否かを判定する判定手段と、判定手段により登録すると判定された候補画像データを対象個体の識別画像データとして識別画像データベースに登録する登録手段と、を有し、上記候補取得手段は、少なくとも一部の候補画像データの被写体がその他の候補画像データの被写体と異なる、複数の候補画像データを取得し、上記照合手段は、当該複数の候補画像データと、標準画像データベースに格納される複数の標準画像データとを照合し、上記判定手段は、上記照合手段による照合結果を用いて、複数の候補画像データのトータル独自性スコアを算出し、該算出されたトータル独自性スコアに基づいて、複数の候補画像データを識別画像データベースに登録するか否かを判定し、上記登録手段は、上記判定手段により登録すると判定された複数の候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する
第二の側面は、少なくとも1つのコンピュータにより実行される識別データ処理方法に関する。第二の側面に係る識別データ処理方法は、少なくとも一部の候補画像データの被写体がその他の候補画像データの被写体と異なる、複数の候補画像データを取得し、取得された複数の候補画像データと、標準画像データベースに格納される複数の標準画像データとを照合し、この照合結果を用いて、複数の候補画像データのトータル独自性スコアを算出し、算出されたトータル独自性スコアに基づいて、複数の候補画像データを識別画像データベースに登録するか否かを判定し、登録すると判定された場合に、複数の候補画像データを対象個体の識別画像データとして識別画像データベースに登録する、ことを含む。
なお、本発明の他の側面には、上記第一の側面に係る識別データ処理装置により複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いる個体認証装置及び個体識別装置が含まれる。また、本発明の他の側面には、上記第二の側面に係る識別データ処理方法により複数の識別画像データが対象個体毎にそれぞれ登録された識別画像データベースを用いて、少なくとも1つのコンピュータにより実行される個体認証方法及び個体識別方法が含まれる。また、上記第2の側面の方法又は他の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
上記各側面によれば、高い利便性で、画像を用いた個体認証及び個体識別を可能とする技術を提供することができる。
第一実施形態における識別データ処理装置のハードウェア構成例を概念的に示す図である。 第一実施形態における識別データ処理装置の処理構成例を概念的に示す図である。 第一実施形態における識別データ処理装置の動作例を示すフローチャートである。 第二実施形態における識別データ処理装置の処理構成例を概念的に示す図である。 第二実施形態における識別データ処理装置の動作例を示すフローチャートである。 第三実施形態における識別データ処理装置の処理構成例を概念的に示す図である。 第三実施形態における識別データ処理装置の動作例を示すフローチャートである。 第四実施形態における個体認証装置の処理構成例を概念的に示す図である。 第四実施形態における個体認証装置の動作例を示すフローチャートである。 第五実施形態における個体識別装置の処理構成例を概念的に示す図である。 第五実施形態における個体識別装置の動作例を示すフローチャートである。 実施例における標準画像データベースを示す図である。 実施例における識別画像データベースを示す図である。
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
[第1実施形態]
〔ハードウェア構成〕
図1は、第一実施形態における識別データ処理装置10のハードウェア構成例を概念的に示す図である。識別データ処理装置10は、バスで相互に接続される、CPU(Central Processing Unit)2、メモリ3、入出力インタフェース(I/F)4、通信ユニット5等を有する。メモリ3は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク等である。通信ユニット5は、他のコンピュータや機器と信号のやりとりを行う。通信ユニット5には、可搬型記録媒体等も接続され得る。
入出力I/F4は、表示装置6、入力装置7等のユーザインタフェース装置と接続可能である。表示装置6は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU2やGPU(Graphics Processing Unit)(図示せず)等により処理された描画データに対応する画面を表示する装置である。入力装置7は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置6及び入力装置7は一体化され、タッチパネルとして実現されてもよい。また、識別データ処理装置10は、表示装置6及び入力装置7を有さなくてもよい。識別データ処理装置10のハードウェア構成は制限されない。
図2は、第一実施形態における識別データ処理装置の処理構成例を概念的に示す図である。図2に示されるように、識別データ処理装置10は、候補取得部11、照合部12、判定部13、登録部14等を有する。これら各処理部は、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F4又は通信ユニット5を介してインストールされ、メモリ3に格納されてもよい。
標準画像データベース(DB)15は、複数の標準画像データを格納する。標準画像データとは、腕時計、ネックレス、帽子等の物品種毎、家屋、ビル等の建造物種毎、橋、トンネル等の建造物種毎、海岸、河川、山等の風景種毎の代表的な(標準的な)のものが写る画像データである。標準画像DB15には、物品種毎、建造物種毎、建造物種毎、風景種毎に複数の標準画像データが格納されてもよい。
識別画像データベース(DB)16は、複数の対象個体の各々について少なくとも1つの識別画像データをそれぞれ格納する。対象個体とは、識別対象の個体を意味する。識別画像データは、対象個体を識別し得る被写体が写る画像データである。
識別データ処理装置10は、標準画像DB15及び識別画像DB16の両方又は一方を有することができる。また、識別データ処理装置10と通信可能な他の少なくとも1つの装置が、標準画像DB15及び識別画像DB16の両方又は一方を有してもよい。
候補取得部11は、候補画像データを取得する。候補画像データは、何らかの被写体が写る画像データであり、識別画像DB16への登録候補となる画像データである。候補画像データに写る被写体は、物、風景など任意である。候補画像データに写る被写体の数も制限されない。また、被写体は、写真や携帯機器に表示される画像であってもよい。候補取得部11は、可搬型記録媒体、他のコンピュータ等から入出力I/F4又は通信ユニット5を経由して、候補画像データを取得することができる。また、識別データ処理装置10が入出力I/F4に接続される撮像装置(図示せず)を有している場合には、候補取得部11は、その撮像装置から得られる画像信号から候補画像データを取得することもできる。候補取得部11による候補画像データの取得手法は制限されない。
照合部12は、候補取得部11により取得された候補画像データと標準画像DB15に格納される複数の標準画像データとを照合する。言い換えれば、照合部12は、候補画像データと複数の標準画像データの各々との画像マッチングを行う。画像マッチング手法には、特徴量を用いる特徴ベースマッチング法、SAD(Sum of Absolute Differences)法、SSD(Sum of Squared Differences)法、NCC(Normalized Cross Correlation)法、POC(Phase-Only Correlation)法など、様々な周知手法が存在する。照合部12は、このような周知の画像マッチング手法を用いることができる。
判定部13は、照合部12による照合結果を用いて、上記候補画像データの独自性スコアを算出し、その算出された独自性スコアに基づいて、上記候補画像データを識別画像DB16に登録するか否かを判定する。独自性スコアとは、候補画像データに写る被写体の独自性の度合いを示す。その被写体が、特注品や手作り品のような或る人しか所有していない物である場合には、独自性スコアは高く設定される。一方で、その被写体が、人気ブランドの財布や靴のように一般に広く流通している物品である場合には、独自性スコアは低く設定される。上述のように、標準画像DB15には、標準的な物や風景の標準画像データが格納されているため、判定部13は、照合部12による照合結果を用いて、その候補画像データの独自性スコアを決定することができる。
例えば、判定部13は、照合部12により候補画像データとマッチすると判断された標準画像データの数に応じて、その候補画像データの独自性スコアを算出することができる。この場合、マッチする標準画像データの数が多い程、その候補画像データの独自性スコアが小さく設定され、その数が少ない程、その候補画像データの独自性スコアが大きく設定される。また、判定部13は、照合部12による照合結果として類似度を用いて、独自性スコアを算出することもできる。この手法については、後述の詳細実施形態において詳細に説明する。更に、判定部13は、照合部12による照合結果に加えて、他の情報を考慮して、独自性スコアを算出することもできる。
判定部13は、独自性スコアが高い候補画像データを識別画像DB16に登録すると決定する。例えば、判定部13は、所定閾値を予め保持しており、候補画像データの独自性スコアがその所定閾値を超える場合に、その候補画像データを識別画像DB16に登録すると決定する。
登録部14は、判定部13により登録すると判定された候補画像データを対象個体の識別画像データとして識別画像DB16に登録する。
〔動作例〕
次に、第一実施形態における識別データ処理方法について図3を用いて説明する。図3は、第一実施形態における識別データ処理装置10の動作例を示すフローチャートである。第一実施形態における識別データ処理方法は、識別データ処理装置10のような少なくとも1つのコンピュータにより実行される。第一実施形態における識別データ処理方法を実行する少なくとも1つのコンピュータは、標準画像DB15及び識別画像DB16を有していても、有していなくてもよい。
第一実施形態における識別データ処理方法は、候補画像データを取得し(S31)、(S31)で取得された候補画像データと、標準画像DB15に格納される複数の標準画像データとを照合し(S32)、(S32)の照合結果を用いて、(S31)で取得された候補画像データの独自性スコアを算出し(S33)、(S33)で算出された独自性スコアに基づいて、当該候補画像データを識別画像DB16に登録するか否かを判定し(S34)、(S34)で登録すると判定された場合に(S35;YES)、当該候補画像データを対象個体の識別画像データとして識別画像DB16に登録する(S35)ことを含む。上述の各工程は、識別データ処理装置10の各処理部の処理と同様であるため、ここでは説明を簡略化する。
また、第一実施形態は、上述の識別データ処理方法を少なくとも1つのコンピュータに実行させるプログラム、このようなプログラムを記録した当該コンピュータが読み取り可能な記録媒体等であってもよい。
〔第1実施形態における作用及び効果〕
上述のように、第一実施形態では、取得された候補画像データが標準画像DB15に格納される複数の標準画像データと照合され、この照合結果を用いて算出されるその候補画像データの独自性スコアに基づいて、候補画像データの登録の可否が判定される。結果、登録すると判定された候補画像データが識別画像DB16に対象個体の識別画像データとして登録される。
このように、第一実施形態によれば、取得された候補画像データを対象個体の識別画像データとして利用できるか否かが、その画像の被写体の独自性の度合いで判断されるため、生体情報のような特別な被写体が写る画像データだけでなく、一般的な物や風景が写る画像データであっても、当該識別画像データとして利用することができる。更に、第一実施形態によれば、独自性の高い候補画像データのみを識別画像DB16に登録することができるため、上述のような一般的な物や風景が写る画像データであっても、対象個体の識別及び認証を行うことができる。つまり、第一実施形態によれば、識別及び認証の精度を維持しながら、対象個体の識別画像データに関する制限を緩和することができるため、結果として、対象個体の識別及び認証の利便性を向上させることができる。
以下、上述の実施形態について更に詳細を説明する。以下、詳細実施形態として、第二実施形態及び第三実施形態における識別データ処理装置を例示する。更に、第四実施形態として、識別画像DB16を用いる個体認証装置を例示し、第五実施形態として、識別画像DB16を用いる個体識別装置を例示する。以下の各実施形態に関する説明では、他の実施形態と同様の内容については適宜省略し、他の実施形態と異なる内容を中心に説明する。
[第二実施形態]
〔処理構成〕
図4は、第二実施形態における識別データ処理装置10の処理構成例を概念的に示す図である。図4に示されるように、第二実施形態における識別データ処理装置10は、第一実施形態の構成に加えて、カテゴリ取得部41を更に有する。カテゴリ取得部41についても、他の処理部と同様に、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。
カテゴリ取得部41は、候補画像データに関するカテゴリ情報を取得する。カテゴリ情報は、候補画像データに写る被写体のカテゴリ名(物や風景の名称など)を示す。例えば、候補画像データの被写体が眼鏡の場合、眼鏡を示すカテゴリ情報が取得される。カテゴリ取得部41は、入力画面を表示装置6に表示させ、その入力画面に対する入力装置7を用いたユーザ操作を検出することで、ユーザにより入力されたカテゴリ情報を取得することができる。また、カテゴリ取得部41は、候補画像データに対してパターンマッチング等のような画像認識処理を行うことで、候補画像データからカテゴリ情報を作成することもできる。カテゴリ情報は、可搬型記録媒体、他のコンピュータ等から通信ユニット5を経由して取得されてもよい。
候補取得部11は、或る1つの対象個体について複数の候補画像データを取得することができる。複数の候補画像データには、それぞれ異なる被写体が写ることが望ましい。
候補取得部11により複数の候補画像データが取得された場合には、照合部12は、候補取得部11により取得された複数の候補画像データと、標準画像DB15に格納される複数の標準画像データとを照合する。この場合、照合部12は、各候補画像データを複数の標準画像データと照合することにより、候補画像データ毎に複数の標準画像データとの照合結果を得る。例えば、照合部12は、照合において、候補画像データ毎に、標準画像DB15に格納される複数の標準画像データとの各類似度をそれぞれ算出することができる。
判定部13は、照合部12による照合結果を用いて、複数の候補画像データのトータル独自性スコアを算出し、この算出されたトータル独自性スコアに基づいて、当該複数の候補画像データを識別画像DB16に登録するか否かを判定する。例えば、判定部13は、各候補画像データについて独自性スコアをそれぞれ算出し、算出された各独自性スコアの合計をトータル独自性スコアとして算出することができる。
判定部13は、候補画像データの独自性スコア又は複数の候補画像データのトータル独自性スコアが所定閾値を超えるか否かを判定し、その独自性スコア又はそのトータル独自性スコアがその所定閾値を超えない場合に、候補画像データの追加を促すメッセージを出力することもできる。この所定閾値は、判定部13により予め保持される。当該メッセージは、例えば、表示装置6に表示される。
また、照合部12により候補画像データと標準画像データとの類似度が照合結果として算出される場合には、判定部13は、1つの候補画像データについて算出された各類似度の逆数の和をその候補画像データの独自性スコアとすることができる。この場合、完全に相違する画像データどうしの照合結果としては、類似度に0より大きい所定の最小値が設定されればよい。これによれば、候補画像データと類似する標準画像データの数が多い程、その候補画像データの独自性スコアが低く算出され、候補画像データと類似する標準画像データの数が少ない程、その候補画像データの独自性スコアが高く算出される。この場合、判定部13は、複数の候補画像データについて算出された各類似度の逆数の総和をその複数の候補画像データのトータル独自性スコアとすることができる。
また、判定部13は、候補画像データとの類似度が高い順に所定数の標準画像データを選択し、その選択された所定数の標準画像データとの類似度のみを用いて、その候補画像データの独自性スコアを算出するようにしてもよい。更に、判定部13は、算出された類似度の中の最大類似度が所定閾値よりも大きい場合には、その候補画像データを識別画像DB16に登録しないと判定することもできる。
判定部13は、照合部12による照合結果のみでなく、カテゴリ取得部41により取得されたカテゴリ情報を更に用いて、候補画像データの独自性スコアを算出することもできる。カテゴリ情報の用い方には様々ある。標準画像DB15に標準画像データがカテゴリ情報と紐付けられて格納されている場合、判定部13は、カテゴリ取得部41で取得されたカテゴリ情報と同じカテゴリ情報と紐付けられて標準画像DB15に格納される標準画像データとの照合結果のみを用いて、候補画像データの独自性スコアを算出するようにしてもよい。また、判定部13は、カテゴリ情報が示すカテゴリ種毎に重み値を予め保持しており、照合部12による照合結果とその重み値とを用いて、候補画像データの独自性スコアを算出することもできる。例えば、「携帯電話」というカテゴリよりも「指輪」というカテゴリのほうが独自性が強いと考えられる。このようなカテゴリ種毎の独自性の強弱により、カテゴリ種毎の重み値を決めることができる。
登録部14は、判定部13により登録すると判定された候補画像データが複数の場合、その複数の候補画像データを対象個体の識別画像データとして識別画像DB16に登録する。また、登録部14は、カテゴリ取得部41で取得されたカテゴリ情報を候補画像データと紐付けて識別画像DB16に登録することもできる。
〔動作例〕
以下、第二実施形態における識別データ処理方法について図5を用いて説明する。図5は、第二実施形態における識別データ処理装置10の動作例を示すフローチャートである。以下の説明では、各工程の実行主体は、識別データ処理装置10とされるが、各工程は、識別データ処理装置10を含む複数のコンピュータにより実行されてもよい。また、各工程は、識別データ処理装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
識別データ処理装置10は、候補画像データを取得する(S51)。識別データ処理装置10は、一度に複数の候補画像データを取得することもできる。
続いて、識別データ処理装置10は、(S51)で取得された候補画像データに関するカテゴリ情報を取得する(S52)。
識別データ処理装置10は、(S51)で取得された候補画像データと標準画像DB15に格納される複数の標準画像データとを照合する(S53)。上述したとおり、識別データ処理装置10は、照合結果として、候補画像データと各標準画像データとの類似度を算出することができる。
識別データ処理装置10は、(S53)での照合結果と(S52)で取得されたカテゴリ情報とに基づいて、(S51)で取得された候補画像データの独自性スコアを算出する(S54)。カテゴリ情報の用い方は上述のとおりである。このとき、識別データ処理装置10は、既に算出された候補画像データの独自性スコアが存在する場合には、全ての候補画像データのトータル独自性スコアを算出する(S54)。類似度を用いた独自性スコア及びトータル独自性スコアの算出方法については上述のとおりである。
識別データ処理装置10は、(S54)で算出された独自性スコア又はトータル独自性スコアと所定閾値を比較する(S55)。
識別データ処理装置10は、独自性スコア又はトータル独自性スコアが所定閾値を超える場合には(S56;YES)、候補画像データ又は複数の候補画像データを識別画像DB16に登録する(S57)。このとき、識別データ処理装置10は、各候補画像データを(S52)で取得された各カテゴリ情報と紐付けて識別画像DB16に登録する。
一方で、識別データ処理装置10は、独自性スコア又はトータル独自性スコアが所定閾値を超えない場合には(S56;NO)、候補画像データの追加を促すメッセージを出力する(S58)。そして、新たな候補画像データが取得された場合には(S51)、識別データ処理装置10は、その新たな候補画像データに関し、(S52)以降を実行する。
第二実施形態における識別データ処理方法に含まれる各工程の実行順は、図5に示される順番に制限されず、内容的に支障のない範囲で変更され得る。例えば、(S51)及び(S52)は、並列に実行されてもよいし、逆の順番で実行されてもよい。また、(S58)においてメッセージが出力されても、新たな候補画像データが取得されない場合には(図示せず)、識別データ処理装置10は、それまでに取得された候補画像データを識別画像DB16に登録することなく、登録処理を終了させてもよい。
〔第二実施形態における作用及び効果〕
第二実施形態では、複数の候補画像データが取得された場合には、当該複数の候補画像データのトータル独自性スコアが算出され、このトータル独自性スコアに基づいて、それら複数の候補画像データの識別画像DB16への登録の可否が判定される。このように、第二実施形態では、1つの候補画像データでは独自性、即ち、識別性が少ない場合に、複数の候補画像データにより識別性を向上させ、それら複数の候補画像データが対象個体の識別画像データとして識別画像DB16に登録される。
基本的には、個々の物の独自性は、指紋パターンや静脈パターンのような生体情報に比べて低い。しかしながら、複数種の物の組み合わせは、多数存在するため、各対象個体にとってその組み合わせの選択の幅が広がる。よって、複数物の組み合わせの独自性は、個々の物の独自性よりも格段に高くなる。例えば、3種類の同じ物品(指輪、腕時計、靴など)を所有する人は、その中のいずれか1つの物品のみを所有する人に比べて、かなり少なくなる。第二実施形態では、このような思想の下、複数の候補画像データが対象個体の識別画像データとして登録される。
従って、第二実施形態によれば、一般的な物や風景が写る画像データを識別画像データとしてより使い易くなると共に、複数の候補画像データにより対象個体の識別性を維持することができる。第二実施形態によれば、対象個体の識別及び認証の精度を維持しながら、対象個体の識別画像データに関する制限を一層緩和することができ、結果として、対象個体の識別及び認証の利便性を一層向上させることができる。
更に、第二実施形態では、候補画像データの独自性スコアが所定閾値を超えない場合には、候補画像データの追加を促すメッセージが出力される。よって、登録者にとって、出力されたメッセージを参照しながら、候補画像データを登録していけばよいため、利便性が高い。また、第二実施形態では、候補画像データと共にそのカテゴリ情報が取得され、そのカテゴリ情報を更に考慮して、候補画像データの独自性スコアが算出される。これにより、独自性スコアの精度を向上させることができ、ひいては、識別画像DB16に格納される識別画像データにおける対象個体の識別性を向上させることができる。
[第三実施形態]
〔処理構成〕
図6は、第三実施形態における識別データ処理装置10の処理構成例を概念的に示す図である。図6に示されるように、第三実施形態における識別データ処理装置10は、第二実施形態の構成に加えて、検査部61を更に有する。検査部61についても、他の処理部と同様に、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。
検査部61は、候補取得部11により取得された候補画像データを周波数解析し、この解析から得られる高周波成分の分布割合に基づいて、その候補画像データを識別画像DB16への登録対象から除外する。具体的には、検査部61は、候補画像データ(輝度データ)をフーリエ変換により周波数成分データに変換し、その周波数成分データが示す周波数成分分布に基づいて、所定周波数以上の高周波成分の全体に対して占める割合を算出し、この割合が所定閾値より小さい場合に、その候補画像データを識別画像DB16への登録対象から除外する。所定周波数及び所定閾値は、予め検査部61により保持される。所定周波数及び所定閾値は、候補画像データが個人の識別性を維持できる程度の情報量を持つか否かを判定できるような値に設定されれば、その具体的値は制限されない。候補画像データの除外にあたり、検査部61は、候補取得部11により取得された候補画像データが識別画像データとして不適切である旨のメッセージを出力することもできる。
〔動作例〕
以下、第三実施形態における識別データ処理方法について図7を用いて説明する。図7は、第三実施形態における識別データ処理装置10の動作例を示すフローチャートである。図7では、図5に示される第二実施形態における方法と同じ内容の工程について、図5と同じ符号が付されている。以下の説明では、各工程の実行主体は、識別データ処理装置10とされるが、各工程は、識別データ処理装置10を含む複数のコンピュータにより実行されてもよい。また、各工程は、識別データ処理装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
(S71)において、識別データ処理装置10は、(S51)で取得された候補画像データを周波数解析し、この解析から得られる高周波成分の分布割合を算出する。この具体的内容については、検査部61の処理内容と同様である。
識別データ処理装置10は、高周波成分の分布割合が所定閾値より小さい場合に(S72;YES)、その候補画像データを識別画像DB16への登録対象から除外する(S73)。その後、識別データ処理装置10は、その候補画像データが識別画像データとして不適切である旨のメッセージ、及び、候補画像データの追加を促すメッセージを出力することができる。
識別データ処理装置10は、高周波成分の分布割合が所定閾値以上の場合に(S72;NO)、その候補画像データに対して(S53)以降を実行する。
第三実施形態における識別データ処理方法に含まれる各工程の実行順は、図7に示される順番に制限されず、内容的に支障のない範囲で変更され得る。例えば、(S71)は、(S52)より先に実行されてもよい。
〔第三実施形態における作用及び効果〕
第三実施形態では、取得された候補画像データに対して周波数解析を行うことで、候補画像データが有する高周波成分の割合が検査され、高周波成分の分布割合が小さければ、その候補画像データは登録対象から除外される。言い換えれば、候補画像データの複雑さの程度が検査され、複雑さが足りなければ、その候補画像データは識別画像データとしては利用されない。画像の複雑さが足りない、即ち、画像の情報量が少ないということは、その画像自体、識別性が低い可能性が高い。
このように、第三実施形態によれば、候補画像データに写る被写体に対する独自性検査に加えて、その候補画像データの情報量の検査をすることで、識別性が高い候補画像データのみを識別画像データとして登録することができる。結果として、対象個体の識別及び認証の精度を向上させることができる。
[第四実施形態]
以下、第四実施形態における個体認証装置及び個体認証方法について説明する。第四実施形態は、上述の各実施形態における識別データ処理装置10及び識別データ処理方法により識別画像データが登録された識別画像DB16を利用する。
〔ハードウェア構成〕
第四実施形態における個体認証装置は、図1に示される識別データ処理装置10と同様のハードウェア構成を有する。第四実施形態における個体認証装置のハードウェア構成についても何ら制限されない。
〔処理構成〕
図8は、第四実施形態における個体認証装置80の処理構成例を概念的に示す図である。図8に示されるように、個体認証装置80は、対象取得部81、照合部82、認証部83等を有する。これら各処理部は、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。
識別画像DB16は、上述したとおり、対象個体毎に識別画像データをそれぞれ格納する。識別画像DB16は、対象個体毎に複数の識別画像データをそれぞれ格納することもできる。この場合、例えば、識別画像DB16は、対象個体の識別情報とその対象個体のための複数の識別画像データとを関連付けて格納する。また、識別画像DB16は、対象個体毎に、複数の識別画像データを順番情報と共に格納することもできる。順番情報とは、対象個体毎に、各識別画像データに対してそれぞれ付される数字であり、識別画像データの登録順を示すようにしてもよい。個体認証装置80は、識別画像DB16を有することができる。識別画像DB16は、個体認証装置80と通信可能な他の装置により備えられてもよい。
対象取得部81は、被判定個体の識別情報及び対象画像データを取得する。被判定個体とは、個体認証装置80により正当性が判定される(本人確認される)対象となる個体である。識別画像データが識別画像DB16に既に登録されている被判定個体は、正当と判定され、識別画像データが識別画像DB16に登録されていない被判定個体については、正当でないと判定される。被判定個体の識別情報は、被判定個体を識別し得る情報であり、ユニークなID、名称等である。対象画像データは、被判定個体を識別するための被写体が写る画像データである。
対象取得部81は、可搬型記録媒体、他のコンピュータ等から入出力I/F4又は通信ユニット5を経由して、識別情報及び対象画像データを取得することができる。また、個体認証装置80が入出力I/F4に接続される撮像装置(図示せず)を有している場合には、対象取得部81は、その撮像装置から得られる画像信号から対象画像データを取得することもできる。対象取得部81による対象画像データの取得手法は制限されない。
対象取得部81は、被判定個体に関し複数の対象画像データを取得することもできる。この場合、対象取得部81は、複数の対象画像データと共に順番情報を取得してもよい。対象取得部81は、対象画像データの取得順に順番情報を付すことができる。また、対象取得部81は、入力装置7を用いたユーザ操作で入力された順番情報を取得することもできる。
個体認証装置80は、入出力I/F4に接続される撮像装置(図示せず)を有しており、対象取得部81は、その撮像装置から得られる画像信号から対象画像データを取得することが望ましい。これにより、その撮像装置の前にいる個体を被判定個体とすることができるからである。この場合、被判定個体は、既に識別画像DB16に登録済みの自身の識別画像データと同じ被写体をその撮像装置に撮像させることができる。但し、対象取得部81は、可搬型記録媒体、他のコンピュータ等から入出力I/F4又は通信ユニット5を経由して、対象画像データを取得することができる。
照合部82は、対象取得部81により取得された識別情報を用いて、識別画像DB16から、その識別情報で特定される被判定個体のための少なくとも1つの識別画像データを抽出し、その抽出された少なくとも1つの識別画像データと対象取得部81により取得された少なくとも1つの対象画像データとを照合する。この照合手法には、上述した様々な周知な画像マッチング手法が利用され得る。照合部82による照合手法は制限されない。
対象取得部81により順番情報が取得される場合には、照合部82は、被判定個体のために抽出された複数の識別画像データと、対象取得部81により取得された複数の対象画像データとの組み合わせの中で当該順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ、照合を行うようにしてもよい。例えば、照合部82は、順番情報「1」の対象画像データについては順番情報「1」の識別画像データとのみ照合を行う。
認証部83は、照合部82による照合結果を用いて、対象取得部81で取得された対象画像データに関する照合スコアを算出し、算出された照合スコアに基づいて、当該被判定個体の正当性を判定する。対象取得部81で被判定個体のための複数の対象画像データが取得された場合には、認証部83は、当該複数の対象画像データに関するトータル照合スコアを算出し、算出されたトータル照合スコアに基づいて、当該被判定個体の正当性を判定する。照合スコア及びトータル照合スコアは、被判定個体のために対象取得部81で取得された少なくとも1つの対象画像データの、識別画像DB16に格納される識別画像データとの一致度合いを示す値である。例えば、照合スコアは、対象画像データと識別画像データとの画像間の類似度により示される。トータル照合スコアは、複数の対象画像データと、照合された複数の識別画像データとのトータルな類似度により示される。
認証部83は、被判定個体が正当か否かを判定することができる。この場合、認証部83は、照合スコア又はトータル照合スコアが予め保持する所定閾値を超えるか否かで、その被判定個体が正当か否かを判定する。認証部83は、その判定結果を表示装置6や印刷装置(図示せず)等に出力することができる。また、認証部83は、その判定結果を通信ユニット5を介して他の装置に出力してもよいし、ファイル等に出力してもよい。更に、認証部83は、正当性の判定結果に加えて、算出された照合スコア又はトータル照合スコアをその正当性の確度情報として出力することもできる。
〔動作例〕
次に、第四実施形態における個体認証方法について図9を用いて説明する。図9は、第四実施形態における個体認証装置80の動作例を示すフローチャートである。第四実施形態における個体認証方法は、上述の識別画像DB16を用いて、個体認証装置80のような少なくとも1つのコンピュータにより実行される。第四実施形態における個体認証方法を実行する少なくとも1つのコンピュータは、識別画像DB16を有していても、有していなくてもよい。また、各工程は、個体認証装置80が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
個体認証装置80は、被判定個体の識別情報を取得する(S91)。
個体認証装置80は、その被判定個体のための対象画像データを取得する(S92)。このとき、個体認証装置80は、その被判定個体のために複数の対象画像データを取得することもできる。また、個体認証装置80は、複数の対象画像データを取得する場合、各対象画像データの順番情報を更に取得することもできる。
個体認証装置80は、(S91)で取得された識別情報を用いて識別画像DB16から当該被判定個体のための識別画像データを抽出する(S93)。識別画像DB16にその被判定個体の識別情報と紐づいて複数の識別画像データが登録されている場合には、個体認証装置80は、当該被判定個体のための複数の識別画像データを抽出する。
個体認証装置80は、(S93)で抽出された識別画像データと(S92)で取得された対象画像データとを照合する(S94)。(S92)で複数の対象画像データの順番情報が取得された場合には、個体認証装置80は、(S93)で抽出された複数の識別画像データと、(S92)で取得された複数の対象画像データとの組み合わせの中でその順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ照合を行う。また、個体認証装置80は、(S93)で複数の識別画像データが抽出された場合には、個体認証装置80は、対象画像データを各識別画像データとそれぞれ照合してもよい。
個体認証装置80は、(S94)での照合結果を用いて、(S92)で取得された対象画像データに関する照合スコアを算出する(S95)。(S92)で複数の対象画像データが取得されている場合には、個体認証装置80は、それら複数の対象画像データに関するトータル照合スコアを算出する(S95)。照合スコア及びトータル照合スコアの算出手法については上述のとおりである。
個体認証装置80は、(S95)で算出された照合スコア又はトータル照合スコアに基づいて、被判定個体の正当性を判定する(S96)。個体認証装置80は、その判定結果を出力することができる。また、個体認証装置80は、正当性の判定結果に加えて、算出された照合スコア又はトータル照合スコアをその正当性の確度情報として出力することもできる。
第四実施形態における個体認証方法に含まれる各工程の実行順は、図9に示される順番に制限されず、内容的に支障のない範囲で変更され得る。例えば、(S91)及び(S92)の実行順は逆であってもよいし、並列であってもよい。
〔第四実施形態における作用及び効果〕
第四実施形態では、上述の各実施形態における識別データ処理装置10及び識別データ処理方法により対象個体毎に識別画像データが登録された識別画像DB16が利用され、被判定個体のための識別情報及び少なくとも1つの対象画像データを用いて、その被判定個体の正当性が判定される。更に具体的には、被判定個体のための識別情報により識別画像DB16から複数の識別画像データが抽出され、かつ、被判定個体のための複数の対象画像データが取得された場合には、複数の識別画像データと複数の対象画像データとの照合により、当該複数の対象画像データに関するトータル照合スコアにより被判定個体の正当性が判定される。
このように、第四実施形態によれば、複数の画像のトータル照合スコアで被判定個体の正当性判定が行われるため、生体情報のような特別な情報ではなく一般的な物や風景が写る画像データを用いたとしても、被判定個体の認証精度を維持することができる。結果として、被判定個体の認証の利便性を一層向上させることができる。
[第五実施形態]
以下、第五実施形態における個体識別装置及び個体識別方法について説明する。第五実施形態は、上述の各実施形態における識別データ処理装置10及び識別データ処理方法により識別画像データが登録された識別画像DB16を利用する。第四実施形態では、被判定個体の識別情報及び複数の対象画像データが取得され、それらに基づいて、その被判定個体の正当性が判定されたが、第五実施形態では、複数の対象画像データが取得され、それらに基づいて、個体識別が行われる。
〔ハードウェア構成〕
第五実施形態における個体識別装置は、図1に示される識別データ処理装置10と同様のハードウェア構成を有する。第五実施形態における個体識別装置のハードウェア構成についても何ら制限されない。
〔処理構成〕
図10は、第五実施形態における個体識別装置90の処理構成例を概念的に示す図である。図10に示されるように、個体識別装置90は、対象取得部91、照合部92、識別部93等を有する。これら各処理部は、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。
識別画像DB16は、第四実施形態で述べたとおりである。
対象取得部91は、対象画像データを取得する。対象取得部91により取得される対象画像データは、識別画像DB16に識別画像データが登録される対象個体を導出することを要求するためのデータである。対象画像データの取得手法については、対象取得部81と同様である。
対象取得部91は、複数の対象画像データを取得することもできる。この場合、取得された複数の対象画像データが対象個体の導出の根拠とされる。この場合、対象取得部91は、複数の対象画像データと共に順番情報を取得してもよい。対象取得部91は、対象画像データの取得順に順番情報を付すことができる。また、対象取得部91は、入力装置7を用いたユーザ操作で入力された順番情報を取得することもできる。
照合部92は、識別画像DB16に格納される複数の識別画像データと対象取得部91により取得された少なくとも1つの対象画像データとを照合する。この照合手法には、上述した様々な周知な画像マッチング手法が利用され得る。照合部92による照合手法は制限されない。
対象取得部91により順番情報が取得される場合には、照合部92は、識別画像DB16に格納される複数の識別画像データと、対象取得部91により取得された複数の対象画像データとの組み合わせの中で当該順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ、照合を行うようにしてもよい。例えば、照合部92は、順番情報「1」の対象画像データについては順番情報「1」の識別画像データとのみ照合を行う。
識別部93は、照合部92による照合結果を用いて、識別画像DB16に識別画像データが登録される複数の対象個体に関し、照合スコアをそれぞれ決定し、決定された複数の照合スコアを用いて、個体識別データを生成する。対象取得部91で複数の対象画像データが取得された場合には、識別部93は、各対象個体に関し、複数の照合結果をそれぞれ取得し、対象個体毎の複数の照合結果から、各対象個体の照合スコアをそれぞれ決定する。例えば、照合結果として識別画像データと対象画像データとの類似度が算出される場合には、識別部93は、各対象個体の平均類似度を照合スコアとして算出することができる。
識別部93は、複数の照合スコアを用いて、識別画像DB16に識別画像データが登録される複数の対象個体の中から1つの対象個体を特定し、その対象個体の情報を個体識別データとして生成することができる。例えば、識別部93は、対象個体毎の照合スコアの中から、所定閾値を超えかつ最大の照合スコアを示す対象個体を特定することができる。また、識別部93は、対象個体毎の照合スコアの中から、所定閾値を超える照合スコアを示す複数の対象個体を特定し、その特定された複数の対象個体を示す情報を個体識別データとして生成することもできる。この場合、識別部93は、個体識別データに特定された各対象個体の照合スコアを各対象個体の確度情報として含めてもよい。更に、識別部93は、全ての対象個体の照合スコアを個体識別データとして生成することもできる。
〔動作例〕
次に、第五実施形態における個体識別方法について図11を用いて説明する。図11は、第五実施形態における個体識別装置90の動作例を示すフローチャートである。第五実施形態における個体識別方法は、上述の識別画像DB16を用いて、個体識別装置90のような少なくとも1つのコンピュータにより実行される。第五実施形態における個体識別方法を実行する少なくとも1つのコンピュータは、識別画像DB16を有していても、有していなくてもよい。また、各工程は、個体識別装置90が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
個体識別装置90は、対象画像データを取得する(S111)。このとき、個体識別装置90は、複数の対象画像データを取得することもできる。また、個体識別装置90は、複数の対象画像データを取得する場合、各対象画像データの順番情報を更に取得することもできる。
個体識別装置90は、(S111)で取得された対象画像データと識別画像DB16に格納される複数の識別画像データとを照合する(S112)。(S111)で複数の対象画像データの順番情報が取得された場合には、個体識別装置90は、(S111)で取得された対象画像データと、識別画像DB16に格納される複数の識別画像データとの組み合わせの中でその順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ照合を行う。
個体識別装置90は、(S112)での照合結果を用いて、識別画像DB16に識別画像データが登録される複数の対象個体に関する照合スコアをそれぞれ決定する(S113)。照合スコアの算出手法については上述のとおりである。
個体識別装置90は、(S113)で算出された照合スコアを用いて、個体識別データを生成する(S114)。個体識別データについても上述のとおりである。
〔第五実施形態における作用及び効果〕
第五実施形態では、上述の各実施形態における識別データ処理装置10及び識別データ処理方法により対象個体毎に識別画像データが登録された識別画像DB16が利用され、少なくとも1つの対象画像データを用いて、個体識別データが生成される。更に具体的には、複数の対象画像データが取得された場合には、識別画像DB16に登録されている各対象個体の複数の識別画像データとそれら複数の対象画像データとの照合結果に基づいて、複数の対象個体に関する照合スコアがそれぞれ決定され、対象個体毎の照合スコアを用いて、当該個体識別データが生成される。個体識別データでは、識別画像DB16に識別画像データが登録される全ての対象個体の中の、取得された対象画像データに対応する少なくとも1つの対象個体を示す情報が示される。
このように、第五実施形態では、複数の画像の照合結果から決定される対象個体毎の照合スコアで個体識別データが生成される。識別性がそれ程高くない個々の画像でも、それらを複数用いることで、個体識別の可能性を上げることができる。よって、第五実施形態によれば、生体情報のような特別な情報ではなく一般的な物や風景が写る画像データを用いたとしても、個体識別の精度を維持することができ、結果として、個体識別の利便性を一層向上させることができる。
[変形例]
上述の各実施形態では、識別データ処理装置10、個体認証装置80及び個体識別装置90が別々の装置として説明されたが、それらは、1つの装置又は2つの装置として実現されることもできる。
また、上述の個体認証装置80及び個体識別装置90は、検査部61と同様の処理部を更に有してもよい。この処理部は、対象画像データを検査部61と同様に検査し、その検査結果に応じて、その対象画像データを認証処理及び識別処理の対象から除外してもよい。
以下に実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の実施例から何ら限定を受けない。
図12は、実施例における標準画像DB15を示す図である。本実施例では、標準画像DB15は、標準画像データとカテゴリ情報とを紐付けて格納する。
図13は、実施例における識別画像DB16を示す図である。本実施例では、識別画像DB16は、複数の対象個体に関し、対象個体の名前、登録順、識別画像データ及びカテゴリ情報をそれぞれ格納する。対象個体の名前は、上述の対象個体の識別情報に相当し、登録順は、上述の順序情報に相当する。
本実施例における識別データ処理装置10は、次のように、対象個体の識別画像データを識別画像DB16に登録する。まず、検査部61が、候補取得部11により取得された候補画像データ(輝度データ)をフーリエ変換により周波数成分データに変換し、その周波数成分データが示す周波数成分分布に基づいて、100キロヘルツ(kHz)以上の高周波成分の全体に対して占める割合を算出し、この割合が20%より小さい場合に、その候補画像データを識別画像DB16への登録対象から除外する。
その候補画像データが登録対象から除外されなかった場合、照合部12は、その候補画像データと図12に示される標準画像DB15に格納される全ての標準画像データとを照合し、候補画像データと標準画像データとの各組み合わせについて、類似スコアをそれぞれ算出する。本実施例では、その照合には、領域ベースマッチング手法であるPOC法が利用される。照合部12は、算出された類似スコアの中の上位5件を次のような標準リストSLとして出力する。
<標準リストSL(i)>
SL(1):1位:類似スコア=0.94、カテゴリ情報=メガネ
SL(2):2位:類似スコア=0.54、カテゴリ情報=携帯電話
・・・
SL(5):5位:類似スコア=0.13、カテゴリ情報=手の甲
カテゴリ取得部41は、表示装置6に次のようなカテゴリ情報の選択画面を表示させ、その画面に対してオペレータが入力装置7を用いて選択入力することで、次のようなカテゴリ情報Cを取得する。
<カテゴリ情報の選択肢>
携帯電話、指輪、腕時計、メガネ、手の甲、耳、写真、・・・
<カテゴリ情報C>携帯電話
判定部13は、照合部12により出力された標準リストSL(i)及びカテゴリ取得部41により取得されたカテゴリ情報Cを受け、標準リストSL(i)の各エントリに対して次のように処理を行う。
判定部13は、最大類似スコアを示すエントリSL(1)の類似スコアが所定閾値t1(例えば、0.94)より大きい場合、その候補画像データが識別画像データには不適切であると判定し、その旨を表示装置6に表示する。本実施例では、判定部13は、SL(1)の類似スコア(0.94)が所定閾値t1(0.94)以下であるため、カテゴリ情報C(携帯電話)と異なるカテゴリ情報を示すエントリを登録対象から除外する。本実施例では、SL(1)、SL(3)、SL(4)及びSL(5)が除外される。
判定部13は、標準リストSL(i)の除外されなかった各エントリについて、類似スコアの逆数の和をその候補画像データの独自性スコアとして算出する。本実施例では、1つのエントリSL(2)しか残らないため、SL(2)の類似スコアの逆数(=1/0.54)がその候補画像データの独自性スコアとして計算される。判定部13は、算出された独自性スコア(1.85)が所定閾値t2(例えば、40)より小さいため、候補画像データの追加を促すメッセージを出力する。このようにして、トータルで複数の候補画像データが取得された場合には、各候補画像データの独自性スコアの総和が当該複数の候補画像データに関するトータル独自性スコアとして算出される。判定部13は、各候補画像データに関し生成された標準リストSL(j)(i)(jは各候補画像データに相当し、iは標準リストの順位に相当する)の各エントリの類似スコアの逆数の総和をトータル独自性スコアとして算出することもできる。
1/SL11+1/SL12+1/SL13+1/SL14+1/SL15+1/SL21+・・・+1/SLji+・・・+1/SLmn
上記式は、全てのエントリが除外されなかった場合を示し、SLjiは、SL(j)(i)の類似スコアを表し、mは候補画像データの取得数を表し、nは標準リストとして作成する順位の数を表す。
判定部13は、算出された独自性スコア又はトータル独自性スコアが所定閾値t2(40)以上となると、その候補画像データを登録すると決め、登録部14が、オペレータの名称(対象個体名)、登録順、カテゴリ情報と共に、その候補画像データ又は複数の候補画像データを識別画像DB16に登録する。このとき、登録部14は、オペレータの名称の入力画面を表示装置6に表示させる。
本実施例における個体認証装置80は、次のように、被判定個体の正当性を判定する。まず、個体認証装置80は、被判定者の識別情報(名称)を取得し、更に、被判定者のための複数の対象画像データを図13に示される識別画像DB16の登録順と同様の順序で取得する。個体認証装置80は、取得された複数の対象画像データを検査部61と同様に検査する。
照合部82は、取得された被判定者の識別情報(名称)を用いて、識別画像DB16から、その識別情報で特定される複数の識別画像データを抽出し、その抽出された複数の識別画像データと、上記検査で除外されなかった複数の対象画像データとを照合する。このとき、照合部82は、登録順と取得順とが同じ、識別画像データと対象画像データとの各組み合わせに関し、POCを用いて、類似スコアをそれぞれ算出する。
認証部83は、算出された類似スコアの総和を当該複数の対象画像データに関するトータル照合スコアとして算出し、そのトータル照合スコアが所定閾値t3(例えば、0.98)より大きい場合に、当該被判定者を正当と判定する。一方で、認証部83は、トータル照合スコアが所定閾値t3以下の場合には、当該被判定者を不当と判定する。認証部83は、被判定者を正当と判定すると、認証成功を表示装置6に表示し、被判定者を不当と判定すると、認証失敗を表示装置6に表示する。
本実施例における個体識別装置90は、少なくとも1つの対象画像データから次のようにして個体識別を行う。まず、個体識別装置90は、複数の対象画像データを図13に示される識別画像DB16の登録順と同様の順序で取得する。個体識別装置90は、取得された複数の対象画像データを検査部61と同様に検査する。
照合部92は、識別画像DB16に格納される複数の識別画像データと、上記検査で除外されなかった複数の対象画像データとを照合する。このとき、照合部92は、登録順と取得順とが同じ、識別画像データと対象画像データとの各組み合わせに関し、POCを用いて、類似スコアをそれぞれ算出する。照合部92は、照合結果として、対象個体名、登録順番号及び類似スコアを各エントリとする次のような照合結果リストML(p)(r)を生成する。pは各対象個体を示し、rは各対象個体に関し登録される識別画像データの登録順番号を示す。
<照合結果リストML(p)(r)>
ML(1)(1):名前=NA、登録順番号=1、類似スコア=0.71
ML(1)(2):名前=NA、登録順番号=2、類似スコア=0.89
ML(1)(3):名前=NA、登録順番号=3、類似スコア=0.83
ML(2)(1):名前=NB、登録順番号=1、類似スコア=0.12
ML(2)(2):名前=NB、登録順番号=2、類似スコア=0.04
ML(3)(1):名前=NC、登録順番号=1、類似スコア=0.27
・・・
識別部93は、照合結果リストML(p)(r)を取得し、対象個体毎の平均類似スコアを照合スコアとしてそれぞれ決定する。上記例では、対象個体NAの照合スコアは、0.81(=(0.71+0.89+0.83)/3)と算出され、対象個体NBの照合スコアは、0.08と算出される。識別部93は、平均類似スコアが最大の対象個体を特定し、その平均類似スコアが所定閾値t4(例えば、0.94)以上の場合、その特定された対象個体を本人と認定し、その対象個体を示す情報を個体識別データとして表示装置6に表示する。一方で、平均類似スコアが所定閾値t4以上の対象個体が存在しない場合には、識別部93は、該当なしを表示装置6に表示する。
以上の説明では、図13に例示される識別画像DB16の登録順と一致する順番で、対象画像データが取得されることが例示されたが、本実施例は、このような例に制限されない。例えば、対象画像データと共にそのカテゴリ情報が取得され、カテゴリ情報が一致する対象画像データと識別画像データとの組み合わせが照合されてもよい。また、対象画像データの取得順とは別に、対象画像データの順番情報(=登録順情報)が取得されてもよい。
なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
1. 候補画像データを取得する候補取得手段と、
前記候補取得手段により取得された前記候補画像データと、標準画像データベースに格納される複数の標準画像データとを照合する照合手段と、
前記照合手段による照合結果を用いて、前記候補画像データの独自性スコアを算出し、該算出された独自性スコアに基づいて、前記候補画像データを識別画像データベースに登録するか否かを判定する判定手段と、
前記判定手段により登録すると判定された候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する登録手段と、
を備える識別データ処理装置。
2. 前記候補取得手段は、複数の候補画像データを取得し、
前記照合手段は、前記複数の候補画像データと、前記標準画像データベースに格納される前記複数の標準画像データとを照合し、
前記判定手段は、前記照合手段による照合結果を用いて、前記複数の候補画像データのトータル独自性スコアを算出し、該算出されたトータル独自性スコアに基づいて、前記複数の候補画像データを前記識別画像データベースに登録するか否かを判定し、
前記登録手段は、前記判定手段により登録すると判定された複数の候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する、
1.に記載の識別データ処理装置。
3. 前記判定手段は、前記候補画像データの独自性スコアが所定閾値を超えるか否かを判定し、該独自性スコアが該所定閾値を超えない場合に、候補画像データの追加を促すメッセージを出力する、
1.又は2.に記載の識別データ処理装置。
4. 前記照合手段は、前記照合において、前記標準画像データベースに格納される複数の標準画像データと前記候補画像データとの各類似度をそれぞれ算出し、
前記判定手段は、前記各類似度の逆数の和を前記候補画像データの独自性スコアとして算出する、
1.から3.のいずれか1つに記載の識別データ処理装置。
5. 前記候補画像データに関するカテゴリ情報を取得するカテゴリ取得手段、
を更に備え、
前記判定手段は、前記照合手段による照合結果と前記カテゴリ取得手段により取得されたカテゴリ情報とに基づいて、前記候補画像データの独自性スコアを算出し、
前記登録手段は、前記カテゴリ情報を前記候補画像データと紐付けて前記識別画像データベースに登録する、
1.から4.のいずれか1つに記載の識別データ処理装置。
6. 前記候補取得手段により取得された前記候補画像データを周波数解析し、該解析から得られる高周波成分の分布割合に基づいて、前記候補画像データを前記識別画像データベースへの登録対象から除外する検査手段、
を更に備える1.から5.のいずれか1つに記載の識別データ処理装置。
7. 1.から6.のいずれか1つに記載の識別データ処理装置により、複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いる個体認証装置において、
被判定個体の識別情報及び複数の対象画像データを取得する対象取得手段と、
前記対象取得手段により取得された識別情報を用いて前記識別画像データベースから前記被判定個体のための複数の識別画像データを抽出し、該抽出された複数の識別画像データと前記対象取得手段により取得された複数の対象画像データとを照合する照合手段と、
前記照合手段による照合結果を用いて、前記複数の対象画像データに関するトータル照合スコアを算出し、該算出されたトータル照合スコアに基づいて、前記被判定個体の正当性を判定する認証手段と、
を備える個体認証装置。
8. 前記識別画像データベースは、対象個体毎に、複数の識別画像データを順番情報と共に格納しており、
前記対象取得手段は、前記複数の対象画像データを順番情報と共に取得し、
前記照合手段は、前記被判定個体のために抽出された前記複数の識別画像データと、前記対象取得手段により取得された前記複数の対象画像データとの組み合わせの中で前記順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ、照合を行う、
7.に記載の個体認証装置。
9. 1.から6.のいずれか1つに記載の識別データ処理装置により、複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いる個体識別装置において、
複数の対象画像データを取得する対象取得手段と、
前記識別画像データベースに格納される複数の識別画像データと前記対象取得手段により取得された複数の対象画像データとを照合する照合手段と、
前記照合手段による照合結果を用いて、複数の対象個体に関する照合スコアをそれぞれ決定し、該決定された複数の照合スコアを用いて、個体識別データを生成する識別手段と、
を備える個体識別装置。
10. 前記識別画像データベースは、対象個体毎に、複数の識別画像データを順番情報と共に格納しており、
前記対象取得手段は、前記複数の対象画像データを順番情報と共に取得し、
前記識別手段は、前記識別画像データベースに格納される前記複数の識別画像データと、前記対象取得手段により取得された前記複数の対象画像データとの組み合わせの中で前記順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ、照合を行う、
9.に記載の個体識別装置。
11. 少なくとも1つのコンピュータにより実行される識別データ処理方法において、
候補画像データを取得し、
前記取得された候補画像データと、標準画像データベースに格納される複数の標準画像データとを照合し、
前記照合結果を用いて、前記候補画像データの独自性スコアを算出し、
前記算出された独自性スコアに基づいて、前記候補画像データを識別画像データベースに登録するか否かを判定し、
登録すると判定された場合に、前記候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する、
ことを含む識別データ処理方法。
12. 複数の候補画像データを取得し、
前記取得された複数の候補画像データと、前記標準画像データベースに格納される前記複数の標準画像データとを照合し、
前記照合結果を用いて、前記複数の候補画像データのトータル独自性スコアを算出し、
前記算出されたトータル独自性スコアに基づいて、前記複数の候補画像データを前記識別画像データベースに登録するか否かを判定し、
登録すると判定された場合に、前記複数の候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する、
ことを更に含む11.に記載の識別データ処理方法。
13. 前記候補画像データの独自性スコアが所定閾値を超えるか否かを判定し、
前記独自性スコアが前記所定閾値を超えない場合に、候補画像データの追加を促すメッセージを出力する、
ことを更に含む11.又は12.に記載の識別データ処理方法。
14. 前記照合は、前記標準画像データベースに格納される複数の標準画像データと前記候補画像データとの各類似度をそれぞれ算出し、
前記独自性スコアの算出は、前記各類似度の逆数の和を前記候補画像データの独自性スコアとして算出する、
11.から13.のいずれか1つに記載の識別データ処理方法。
15. 前記候補画像データに関するカテゴリ情報を取得する、
ことを更に含み、
前記独自性スコアの算出は、前記照合結果と前記取得されたカテゴリ情報とに基づいて、前記候補画像データの独自性スコアを算出し、
前記登録は、前記カテゴリ情報を前記候補画像データと紐付けて前記識別画像データベースに登録する、
11.から14.のいずれか1つに記載の識別データ処理方法。
16. 前記取得された候補画像データを周波数解析し、
前記周波数解析から得られる高周波成分の分布割合に基づいて、前記候補画像データを前記識別画像データベースへの登録対象から除外する、
ことを更に含む11.から15.のいずれか1つに記載の識別データ処理方法。
17. 11.から16.のいずれか1つに記載の識別データ処理方法により複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いて、少なくとも1つのコンピュータにより実行される個体認証方法において、
被判定個体の識別情報を取得し、
前記被判定個体のための複数の対象画像データを取得し、
前記取得された識別情報を用いて前記識別画像データベースから前記被判定個体のための複数の識別画像データを抽出し、
前記抽出された複数の識別画像データと前記取得された複数の対象画像データとを照合し、
前照合結果を用いて、前記複数の対象画像データに関するトータル照合スコアを算出し、
前記算出されたトータル照合スコアに基づいて、前記被判定個体の正当性を判定する、
ことを含む個体認証方法。
18. 前記複数の対象画像データの順番情報を取得する、
ことを更に含み、
前記識別画像データベースは、対象個体毎に、複数の識別画像データを順番情報と共に格納しており、
前記照合は、前記被判定個体のために抽出された前記複数の識別画像データと、前記取得された複数の対象画像データとの組み合わせの中で前記順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ、照合を行う、
17.に記載の個体認証方法。
19. 11.から16.のいずれか1つに記載の識別データ処理方法により複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いて、少なくとも1つのコンピュータにより実行される個体識別方法において、
複数の対象画像データを取得し、
前記識別画像データベースに格納される複数の識別画像データと、前記取得された複数の対象画像データとを照合し、
前記照合結果を用いて、複数の対象個体に関する照合スコアをそれぞれ決定し、
前記決定された複数の照合スコアを用いて、個体識別データを生成する、
ことを含む個体識別方法。
20. 前記複数の対象画像データの順番情報を取得する、
ことを更に含み、
前記識別画像データベースは、対象個体毎に、複数の識別画像データを順番情報と共に格納しており、
前記照合は、前記識別画像データベースに格納される前記複数の識別画像データと、前記取得された前記複数の対象画像データとの組み合わせの中で前記順番情報が合致する識別画像データと対象画像データとの組み合わせに関してのみ、照合を行う、
19.に記載の個体識別方法。
21. 11.から16.のいずれか1つに記載の識別データ処理方法、17.又は18.に記載の個体認証方法、若しくは、19.又は20.に記載の個体識別方法を少なくとも1つのコンピュータに実行させるプログラム。
2 CPU
3 メモリ
4 入出力インタフェース(I/F)
5 通信ユニット
6 表示装置
7 入力装置
10 識別データ処理装置
11 候補取得部
12 照合部
13 判定部
14 登録部
15 標準画像データベース(DB)
16 識別画像データベース(DB)
41 カテゴリ取得部
61 検査部
80 個体認証装置
81 対象取得部
82 照合部
83 認証部
90 個体識別装置
91 対象取得部
92 照合部
93 識別部

Claims (11)

  1. 候補画像データを取得する候補取得手段と、
    前記候補取得手段により取得された前記候補画像データと、標準画像データベースに格納される複数の標準画像データとを照合する照合手段と、
    前記照合手段による照合結果を用いて、前記候補画像データの独自性スコアを算出し、該算出された独自性スコアに基づいて、前記候補画像データを識別画像データベースに登録するか否かを判定する判定手段と、
    前記判定手段により登録すると判定された候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する登録手段と、
    を備え
    前記候補取得手段は、少なくとも一部の前記候補画像データの被写体がその他の前記候補画像データの被写体と異なる、複数の前記候補画像データを取得し、
    前記照合手段は、前記複数の候補画像データと、前記標準画像データベースに格納される前記複数の標準画像データとを照合し、
    前記判定手段は、前記照合手段による照合結果を用いて、前記複数の候補画像データのトータル独自性スコアを算出し、該算出されたトータル独自性スコアに基づいて、前記複数の候補画像データを前記識別画像データベースに登録するか否かを判定し、
    前記登録手段は、前記判定手段により登録すると判定された複数の候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する、
    識別データ処理装置。
  2. 前記判定手段は、前記候補画像データの独自性スコアが所定閾値を超えるか否かを判定し、該独自性スコアが該所定閾値を超えない場合に、候補画像データの追加を促すメッセージを出力する、
    請求項1に記載の識別データ処理装置。
  3. 前記照合手段は、前記照合において、前記標準画像データベースに格納される複数の標準画像データと前記候補画像データとの各類似度をそれぞれ算出し、
    前記判定手段は、前記各類似度の逆数の和を前記候補画像データの独自性スコアとして算出する、
    請求項1又は2に記載の識別データ処理装置。
  4. 前記候補画像データに関するカテゴリ情報を取得するカテゴリ取得手段、
    を更に備え、
    前記判定手段は、前記照合手段による照合結果と前記カテゴリ取得手段により取得されたカテゴリ情報とに基づいて、前記候補画像データの独自性スコアを算出し、
    前記登録手段は、前記カテゴリ情報を前記候補画像データと紐付けて前記識別画像データベースに登録する、
    請求項1からのいずれか1項に記載の識別データ処理装置。
  5. 前記候補取得手段により取得された前記候補画像データを周波数解析し、該解析から得られる高周波成分の分布割合に基づいて、前記候補画像データを前記識別画像データベースへの登録対象から除外する検査手段、
    を更に備える請求項1からのいずれか1項に記載の識別データ処理装置。
  6. 請求項1からのいずれか1項に記載の識別データ処理装置により、複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いる個体認証装置において、
    被判定個体の識別情報及び複数の対象画像データを取得する対象取得手段と、
    前記対象取得手段により取得された識別情報を用いて前記識別画像データベースから前記被判定個体のための複数の識別画像データを抽出し、該抽出された複数の識別画像データと前記対象取得手段により取得された複数の対象画像データとを照合する照合手段と、
    前記照合手段による照合結果を用いて、前記複数の対象画像データに関するトータル照合スコアを算出し、該算出されたトータル照合スコアに基づいて、前記被判定個体の正当性を判定する認証手段と、
    を備える個体認証装置。
  7. 請求項1からのいずれか1項に記載の識別データ処理装置により、複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いる個体識別装置において、
    複数の対象画像データを取得する対象取得手段と、
    前記識別画像データベースに格納される複数の識別画像データと前記対象取得手段により取得された複数の対象画像データとを照合する照合手段と、
    前記照合手段による照合結果を用いて、複数の対象個体に関する照合スコアをそれぞれ決定し、該決定された複数の照合スコアを用いて、個体識別データを生成する識別手段と、
    を備える個体識別装置。
  8. 少なくとも1つのコンピュータにより実行される識別データ処理方法において、
    少なくとも一部の候補画像データの被写体がその他の候補画像データの被写体と異なる、複数の候補画像データを取得し、
    前記取得された複数の候補画像データと、標準画像データベースに格納される複数の標準画像データとを照合し、
    前記照合結果を用いて、前記複数の候補画像データのトータル独自性スコアを算出し、
    前記算出されたトータル独自性スコアに基づいて、前記複数の候補画像データを識別画像データベースに登録するか否かを判定し、
    登録すると判定された場合に、前記複数の候補画像データを対象個体の識別画像データとして前記識別画像データベースに登録する、
    ことを含む識別データ処理方法。
  9. 請求項に記載の識別データ処理方法により複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いて、少なくとも1つのコンピュータにより実行される個体認証方法において、
    被判定個体の識別情報を取得し、
    前記被判定個体のための複数の対象画像データを取得し、
    前記取得された識別情報を用いて前記識別画像データベースから前記被判定個体のための複数の識別画像データを抽出し、
    前記抽出された複数の識別画像データと前記取得された複数の対象画像データとを照合し、
    前照合結果を用いて、前記複数の対象画像データに関するトータル照合スコアを算出し、
    前記算出されたトータル照合スコアに基づいて、前記被判定個体の正当性を判定する、
    ことを含む個体認証方法。
  10. 請求項に記載の識別データ処理方法により複数の識別画像データが対象個体毎にそれぞれ登録された前記識別画像データベースを用いて、少なくとも1つのコンピュータにより実行される個体識別方法において、
    複数の対象画像データを取得し、
    前記識別画像データベースに格納される複数の識別画像データと、前記取得された複数の対象画像データとを照合し、
    前記照合結果を用いて、複数の対象個体に関する照合スコアをそれぞれ決定し、
    前記決定された複数の照合スコアを用いて、個体識別データを生成する、
    ことを含む個体識別方法。
  11. 請求項に記載の識別データ処理方法、請求項に記載の個体認証方法、又は、請求項10に記載の個体識別方法を少なくとも1つのコンピュータに実行させるプログラム。
JP2014051671A 2014-03-14 2014-03-14 識別データ処理装置及び識別データ処理方法 Active JP6032566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014051671A JP6032566B2 (ja) 2014-03-14 2014-03-14 識別データ処理装置及び識別データ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014051671A JP6032566B2 (ja) 2014-03-14 2014-03-14 識別データ処理装置及び識別データ処理方法

Publications (2)

Publication Number Publication Date
JP2015176288A JP2015176288A (ja) 2015-10-05
JP6032566B2 true JP6032566B2 (ja) 2016-11-30

Family

ID=54255443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014051671A Active JP6032566B2 (ja) 2014-03-14 2014-03-14 識別データ処理装置及び識別データ処理方法

Country Status (1)

Country Link
JP (1) JP6032566B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897342B (zh) * 2016-07-20 2020-10-09 阿里巴巴集团控股有限公司 一种数据校验方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185705A (ja) * 1997-09-05 1999-03-30 Casio Comput Co Ltd アクセス権取得/判定方法,アクセス権取得/判定装置,アクセス権取得/判定機能付電子カメラ装置および携帯型電話機
JP2000293491A (ja) * 1999-04-09 2000-10-20 Omron Corp 情報端末機
JP3356144B2 (ja) * 1999-12-08 2002-12-09 日本電気株式会社 バイオメトリクスを用いるユーザ認証装置及びそれに用いるユーザ認証方法
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
JP2006178651A (ja) * 2004-12-21 2006-07-06 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
US9122867B2 (en) * 2007-06-08 2015-09-01 International Business Machines Corporation Techniques for presenting password feedback to a computer system user
JP5747713B2 (ja) * 2011-07-26 2015-07-15 株式会社Jvcケンウッド 認証装置、認証方法、認証プログラム

Also Published As

Publication number Publication date
JP2015176288A (ja) 2015-10-05

Similar Documents

Publication Publication Date Title
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
US11973877B2 (en) Systems and methods for secure tokenized credentials
Schouten et al. Biometrics and their use in e-passports
CN105980973A (zh) 用户认证手势
JP5531963B2 (ja) 認証システム、装置、認証方法及びプログラム
JP2018116681A5 (ja)
KR20120114564A (ko) 대표 지문 템플릿 생성 장치 및 방법
JP2010244365A (ja) サービス提供装置、サービス提供方法、生体情報認証サーバ、生体情報認証方法、プログラムおよびサービス提供システム
US11704937B2 (en) Iris authentication device, iris authentication method and recording medium
CN108389053B (zh) 支付方法、装置、电子设备及可读存储介质
JP7207521B2 (ja) 認証方法、認証装置、プログラム
JP6032566B2 (ja) 識別データ処理装置及び識別データ処理方法
CN107615299A (zh) 用于评估指纹模板的方法和系统
Manjunath et al. Analysis of unimodal and multimodal biometric system using iris and fingerprint
JP7305183B2 (ja) ペン入力個人認証方法、ペン入力個人認証方法をコンピュータに実行させるためのプログラム、及びコンピュータ読み取り可能な記憶媒体
JP7315884B2 (ja) 認証方法、認証プログラム、および情報処理装置
Patil A study of biometric, multimodal biometric systems: Fusion techniques, applications and challenges
CN112818312A (zh) 基于人脸识别技术mes系统登录认证方法及mes系统
Garg et al. Performance Analysis of Uni-modal and Multimodal Biometric System
Indi et al. Person identification based on multi-biometric characteristics
US20120170816A1 (en) Method for creating biometric information for use with biometric authentication device, authentication method, and authentication device
JP7305170B2 (ja) ペン入力個人認証方法、ペン入力個人認証方法をコンピュータに実行させるためのプログラム、及びコンピュータ読み取り可能な記憶媒体
Owuye et al. Development of a Multimodal Biometric Model for Population Census
US20230230088A1 (en) Method and System of Predictive Document Verification and Machine Learning Therefor
WO2023132194A1 (ja) 認証システム、認証装置及び認証方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161013

R150 Certificate of patent or registration of utility model

Ref document number: 6032566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250