JP5841030B2

JP5841030B2 - 辞書更新方法、辞書更新システム、及び辞書更新プログラム

Info

Publication number: JP5841030B2
Application number: JP2012203839A
Authority: JP
Inventors: 美知太郎宮田; 恭二平田; 雄史川崎; 和弥古川
Original assignee: Biglobe Inc
Current assignee: Biglobe Inc
Priority date: 2012-09-18
Filing date: 2012-09-18
Publication date: 2016-01-06
Anticipated expiration: 2032-09-18
Also published as: JP2014059687A; US20150234808A1; US9588957B2; WO2014045713A1

Description

本発明は、画像情報に基づいて対象物を認識する認証装置の辞書更新方法、辞書更新システム及び辞書更新プログラムに関する。

従来より、視覚的特徴の類似度に基づいて対象物を認識する技術が知られている。例えば、顔や指紋などの生体情報の画像を利用して人物を認識する技術が、セキュリティ管理などの目的で開発されている。

このような認識技術においては、典型的には、辞書データと呼ばれる事前に登録された画像の特徴と、入力された画像の特徴を比較して、特徴の類似度が最も高いものや類似度が所定の閾値を越えたものを、該当対象物の画像として判定する。特に顔画像により人物を認識する場合のように、対象物の視覚的特徴に経年変化がある場合、経年変化に対しても認識精度を高めるために、入力されたデータを登録データとして追加あるいは更新する技術が提案されている。

例えば、特許文献１や特許文献２においては、入力された画像と、対象物と認識された画像との特徴の類似度の大きさに応じて入力された画像を登録データとして追加する技術が開示されている。また、特許文献３では、認証処理が成功するまでの入力画像の入力回数や辞書の最終更新日からの経過時間に応じて入力画像を新たな登録データとして辞書を更新する技術が開示されている。

特開２０１２−１４５６８号公報特開２００４−１５７６０２号公報特開２００２−１６３６５４号公報

しかしながら、従来の画像入力対象となった対象物の経年変化に応じて辞書データを更新する方法では、対象物自身の経年変化による認識精度の低下を防ぐ事はできるものの、辞書に登録されている別の対象物との類似性が高まった場合の認識精度の低下を防ぐ事ができない。

例として、顔画像を用いた人物認識において、辞書にＡ氏とＢ氏の顔画像の特徴が登録されている場合を考える。Ａ氏の顔画像の視覚的特徴が、経年変化により辞書データとして登録されているＢ氏の顔画像の視覚的特徴に近くなっていった場合、Ａ氏の顔画像が入力された場合に、Ｂ氏と誤判定される可能性が高くなる。

本発明の目的は、画像情報を用いた対象物認識において、対象物画像の視覚的特徴と別の対象物の辞書データの視覚的特徴の類似性が高くなった場合の誤判定を低減させる対策を行う事にある。

上述の課題に鑑み、本発明の一態様は、利用者が認識したい対象物の視覚的特徴を登録した辞書データの更新を行うコンピュータの辞書更新方法であって、入力された問い合わせ画像に含まれる対象物が特定され、前記入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する蓄積ステップと、前記類似対象物蓄積手段に蓄積された対象物があらかじめ定めた条件に達した時に、該条件に達した対象物の視覚的特徴をもつデータは更新が必要として、前記対象物を登録した利用者に対して更新を推奨する更新推奨ステップと、を含むことを特徴とする辞書更新方法に関する。

また、本発明の別の態様は、利用者が認識したい対象物の視覚的特徴をデータとして登録した辞書データの更新を行う辞書更新システムであって、入力された問い合わせ画像に含まれる対象物が特定され、前記入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する制御手段と、前記類似対象物蓄積手段に蓄積された対象物があらかじめ定めた条件に達した時に、該条件に達した対象物の視覚的特徴をもつデータは更新が必要として、前記対象物を登録した利用者に対して更新を推奨する更新手段とを備えることを特徴とする辞書更新システムに関する。

本発明によると、画像情報を用いた対象物の認識において、辞書に登録されている別の対象物との誤認識を低減させることが可能となる。

本発明の更なる利点及び実施形態を、記述と図面を用いて下記に詳細に説明する。

本発明の第１の実施の形態から第３の実施の形態におけるシステム全体の構成を示すブロック図である。本発明の第１の実施の形態から第３の実施の形態における認識サーバ１の構成を示すブロック図である。本発明の第１の実施の形態から第３の実施の形態における照会端末２の構成を示すブロック図である。本発明の第１の実施の形態から第３の実施の形態における登録端末３の構成を示すブロック図である。本発明の第１の実施の形態から第３の実施の形態における辞書データ保存部１２１の構成を示すブロック図である。本発明の第１の実施の形態から第３の実施の形態における類似度一時保存部１２２の構成を示すブロック図である。本発明の第１の実施の形態および第３の実施の形態における類似対象保存部１２３の構成を示すブロック図である。本発明の第１の実施の形態における認識サーバ１の動作を説明するフローチャートである。本発明の第１の実施の形態から第３の実施の形態における認識サーバ１の動作を説明するフローチャートである。本発明の第１の実施の形態から第３の実施の形態における照会端末２の動作を説明するフローチャートである。本発明の第１の実施の形態から第３の実施の形態における登録端末３の動作を説明するフローチャートである。本発明の第１の実施の形態から第３の実施の形態における登録端末３の動作を説明するフローチャートである。本発明の実施例１における辞書データ保存部１２１の状態を示す図である。本発明の実施例１における辞書データ保存部１２１の状態を示す図である。本発明の実施例１における辞書データ保存部１２１の状態を示す図である。本発明の実施例１における類似度一時保存部１２２の状態を示す図である。本発明の実施例１における類似度一時保存部１２２の状態を示す図である。本発明の実施例１における類似度一時保存部１２２の状態を示す図である。本発明の実施例１における類似対象保存部１２３の状態を示す図である。本発明の実施例１における類似対象保存部１２３の状態を示す図である。本発明の実施例１における類似対象保存部１２３の状態を示す図である。本発明の実施例１における表示部２１１の状態を示す図である。本発明の実施例１における表示部３１１の状態を示す図である。本発明の実施例１における表示部３１１の状態を示す図である。本発明の第２の実施の形態における類似対象保存部１２３の構成を示すブロック図である。本発明の第２の実施の形態における認識サーバ１の動作を説明するフローチャートである。本発明の実施例２における類似対象保存部１２３の状態を示す図である。本発明の実施例２における類似対象保存部１２３の状態を示す図である。本発明の実施例２における類似対象保存部１２３の状態を示す図である。本発明の第３の実施の形態における認識サーバ１の動作を説明するフローチャートである。本発明の実施例３における類似対象保存部１２３の状態を示す図である。本発明の実施例３における類似対象保存部１２３の状態を示す図である。本発明の実施例３における類似対象保存部１２３の状態を示す図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施の形態＞
本実施の形態では、顔画像により人物を認識する顔認識システムを例に用いて本発明の説明を行う。

図１は、本発明の第１の実施の形態を示す図である。本発明の実施の形態は図１に示すように、認識サーバ１と、１台以上の照会端末２と、１台以上の登録端末３と、通信ネットワーク４より構成される。認識サーバ１と照会端末２および、認識サーバ２と登録端末３は通信ネットワーク４を介して接続されている。

認識サーバ１は、照会端末２からの照会要求を受け付けて、照会端末２から送信された顔画像と認識サーバ１が有する辞書データとの特徴量を比較して、送信された顔画像の人物判定を行い結果を照会端末２に送信する。また、認識サーバ１は登録端末３から登録要求を受け付けて登録端末３から送信された顔画像とその特徴量を辞書データとして登録する。

図２は、図１に示した認識サーバ１の内部構造の一例を示す図である。図２に示した認識サーバ１は、要求受信部１１１と、顔検出部１１２と、特徴量抽出部１１３と、特徴量比較部１１４と、結果通知部１１５と、類似度比較部１１６と、更新推奨通知部１１７と、辞書データ保存部１２１と、類似度一時保存部１２２と、類似対象保存部１２３と、通信部１３０とからなる。

要求受信部１１１は、照会端末２から送信された照会要求や、登録端末３から送信された登録要求を受信して要求の内容に応じて処理の判断を行う。顔検出部１１２は、受信した画像の中から人間の顔を検出する。

特徴量抽出部１１３は、顔検出部１１２で検出した顔画像から特徴量を抽出する。特徴量比較部１１４は、特徴量抽出部１１３で抽出した特徴量と、辞書データ保存部１２１に保存されている特徴量の類似度を算出し、算出した類似度を類似度一時保存部１２２に保存する。また、算出した類似度を用いて対象人物の判定を行う。さらに、算出した類似度間の大きさを比較して、類似度の大きさが所定の閾値以下で有った場合は類似対象保存部１２３に保存する。顔の検出や顔画像の特徴量抽出や特徴量の比較による類似度の算出は公知の技術であるため、具体的な説明は略する。

結果通知部１１５は、特徴量比較部１１４が判定した結果を照会端末２に送信する。類似度比較部１１６は、類似度一時保存部１２２に保存された類似度同士の比較を行う。更新推奨通知部１１７は、類似対象保存部１２３に保存された情報に基づいて、更新推奨を登録端末３に送信する。

要求受信部１１１と、顔検出部１１２と、特徴量抽出部１１３と、特徴量比較部１１４と、結果通知部１１５と、類似度比較部１１６と、更新推奨通知部１１７の各部はそれぞれ、例えばプログラムにより動作するマイコンシステムや論理回路等により実現される。

辞書データ保存部１２１は、辞書データを保存する。図５に、辞書データ保存部１２１の構成の一例を示す。図５を参照すると、辞書データ保存部１２１は、登録者ＩＤ、登録者名、登録者通知先情報、画像、特徴量をセットとして各行に保存する表形式である。登録者ＩＤは辞書データの登録を識別するための識別子である。登録者名は、登録された画像に含まれる顔の人物名である。登録者通知先情報は登録者に通知するための通知先であり、例えば登録端末３の電話番号やメールアドレス等である。画像は、顔画像が含まれる画像である。特徴量は、画像の顔画像部分から抽出した特徴量である。

類似度一時保存部１２２は、照会端末２から受信した画像から抽出された特徴量と、辞書データ保存部１２１の各行の特徴量との類似度を保存する。図６に、類似度一時保存部１２２の構成の一例を示す。図６を参照すると、類似度一時保存部１２２は、登録者ＩＤと、類似度とをセットとして各行に保存する表形式である。登録者ＩＤは、類似度算出対象となった辞書データ保存部１２１の登録者ＩＤである。類似度は、算出した類似度である。

類似対象保存部１２３は、類似度の関係が所定の条件を満たした場合に保存する。図７に、類似対象保存部１２３の構成の一例を示す。図７を参照すると、類似対象保存部１２３は、登録者ＩＤの組み合わせ（登録者ＩＤの対）と回数をセットとして各行に保存する表形式である。登録者ＩＤは、類似度の関係性が所定の条件を満たした登録者ＩＤの対である。回数は、登録者ＩＤの組み合わせに対して類似度の関係性が所定の条件を満たした回数である。

辞書データ保存部１２１と、類似度一時保存部１２２と、類似対象保存部１２３のそれぞれの登録者ＩＤは同体系であり、保存部間のデータは登録者ＩＤにより関連づけられる。辞書データ保存部１２１と、類似度一時保存部１２２と、類似対象保存部１２３の各部はそれぞれ、例えばハードディスクドライブや、半導体メモリ等により実現される。

通信部１３０は、通信ネットワーク４を介して照会端末２や登録端末３と通信を行うためのインターフェイスである。通信部１３０は、例えば電子回路とアンテナやケーブルコネクタ等により実現される。

照会端末２は、画像を撮影して画像に映った人物の認識を認識サーバ１に問い合わせる端末である。

図３は、図１に示した照会端末２の内部構造の一例を示す図である。図３に示した照会端末２は、照会要求処理部２０１と、表示部２１１と、撮影部２１２と、操作部２１３と、通信部２２１とからなる。

照会要求処理部２０１は、照会要求の処理を行う。照会要求処理部２０１は、例えばプログラムにより動作するマイコンシステムや論理回路等により実現される。表示部２１１は、人間が視覚的に認識できる情報を表示するインターフェイスである。表示部２１１は、例えば液晶ディスプレイにより実現される。

撮影部２１２は、周囲を撮影して画像データとして生成および保存する。撮影部２１２は、例えば、レンズやＣＣＤ（ＣｈａｒｇｅＣｏｕｌｅｄＤｅｖｉｃｅ）イメージセンサ等から構成されるデジタルカメラにより実現される。

操作部２１３は、人間が操作を入力するインターフェイスである。操作部２１３は、例えば、物理ボタンからなるキーボードやタッチパネル等により実現される。通信部２２１は、通信ネットワーク４を介して認識サーバ１と通信を行うためのインターフェイスである。通信部２２１は、例えば電子回路とアンテナやケーブルコネクタ等により実現される。

登録端末３は、画像を撮影して画像に映った人物を認識サーバ１に登録するための端末である。

図４は、図１に示した登録端末３の内部構造の一例を示す図である。図４に示した登録端末３は、登録要求処理部３０１と、更新推奨受信部３０２と、表示部３１１と、撮影部３１２と、操作部３１３と、通信部３２１とからなる。

登録要求処理部３０１は、登録要求処理を行う。更新推奨受信部３０２は、認識サーバ１から更新推奨通知を受信する。登録要求処理部３０１と、更新推奨受信部３０２の各部はそれぞれ、例えばプログラムにより動作するマイコンシステムや論理回路等により実現される。

表示部３１１は、人間が視覚的に認識できる情報を表示するインターフェイスである。表示部３１１は、例えば液晶ディスプレイにより実現される。撮影部３１２は、周囲を撮影して画像データとして生成および保存する。撮影部３１２は、例えば、レンズやＣＣＤイメージセンサ等から構成されるデジタルカメラにより実現される。

操作部３１３は、人間が操作を入力するインターフェイスである。操作部３１３は、例えば、物理ボタンからなるキーボードやタッチパネル等により実現される。通信部３２１は、通信ネットワーク４を介して認識サーバ１と通信を行うためのインターフェイスである。通信部３２１は、例えば電子回路とアンテナやケーブルコネクタ等により実現される。

通信ネットワーク４は、認証サーバ１と照会端末２および認証サーバ１と登録端末３が通信を行うためのネットワークである。ネットワークは無線であっても有線であっても、無線と優先が混在していても良い。

［動作の説明］
次に、フローチャートを用いて本実施の形態の動作を説明する。まず、図８のフローチャートを用いて、認識サーバ１が照会端末２から照会要求を受信した時の動作を説明する。照会端末２からの照会要求には、画像が含まれる。

認識サーバ１の要求受信部１１１が照会端末２から照会要求を受信すると、まず、顔検出部１１２は照会要求に含まれる画像から顔の検出を行う（ステップＳ１０１）。顔検出に失敗した場合（ステップＳ１０２）、結果通知部１１５は照会要求の送信元である照会端末２に認識失敗通知を送信して（ステップＳ１１４）、処理を終了する。ステップＳ１０２で顔検出に成功した場合、特徴量抽出部１１３は検出した顔の特徴量の抽出を行う（ステップＳ１０３）。次に、特徴量比較部１１４は、ステップＳ１０３で抽出された特徴量と、辞書データ保存部１２１の各行に登録された特徴量との比較を行い類似度を算出し（ステップＳ１０４）、比較した特徴量に対応する登録者ＩＤと算出した類似度を類似度一時保存部１２２の同一行に保存する（ステップＳ１０５）。辞書データ保存部１２１に登録されている全ての行の特徴量に対してステップＳ１０４からステップＳ１０５の処理を繰り返し、全ての行との比較を行うと（ステップＳ１０６）、特徴量比較部１１４は類似度一時保存部１２２に保存された類似度の中から最大の類似度の値を検索して、最大の類似度が認識閾値以上であるか否かを判別する（ステップＳ１０７）。

ここで認識閾値とは、同一人物であると認識するか否かの境界と定める類似度の値であり、別の人物の画像を同一人物であると認識してしまう誤認識や、同一人物の画像であるにもかかわらず同一人物であると認識されない未認識が少なくなるような値を事前に定めておく。ステップＳ１０７で、最大の類似度が認識閾値以上では無かった場合、結果通知部１１５は照会要求の送信元である照会端末２に認識失敗通知を送信して（ステップＳ１１４）、処理を終了する。ステップＳ１０７で最大の類似度が認識閾値以上であった場合、結果通知部１１５は該当する登録者ＩＤの登録者名を、対象者情報として照会要求の送信元である照会端末２に送信する（ステップＳ１０８）。次に、類似度比較部１１６は、ステップＳ１０７で抽出した最大の類似度と、類似度一時保存部１２２の行のうち登録者ＩＤ列に最大の類似度に該当する登録者ＩＤが保存された行を除いた各行に保存された類似度との比較を行い、その差が類似閾値以下のものを抽出する（ステップＳ１０９）。ここで類似閾値とは、人物が似ていると判断する類似度間の差であり、事前に定めておく。

ステップＳ１０９で類似閾値以下の類似度が有った場合、最大の類似度に該当する登録者ＩＤと、類似閾値以下であった類似度に該当する登録者ＩＤの対（または登録者ＩＤの組）を持つ類似対象保存部１２３の行の回数列の数字に１を加える。類似対象保存部１２３に類似閾値以下であった類似度に該当する登録者ＩＤの対を持つ行が無かった場合は新たな行を追加して類似対象保存部１２３に類似閾値以下であった類似度に該当する登録者ＩＤの対および回数列に１を登録する（ステップＳ１１０）。次に、更新推奨通知部１１７は、類似対象保存部１２３の回数列のうち回数閾値を越える値の有無を調べる（ステップＳ１１１）。ここで回数閾値は、更新推奨を行う契機とする値である。ステップＳ１１１で回数閾値以上の回数が無かった場合は、類似度一時保存部１２２に保存されたデータを全てクリアして（ステップＳ１１３）、処理を終了する。ステップＳ１１１で回数閾値以上の回数が有った場合、該当する行の登録者ＩＤの対の、それぞれの登録者通知先情報を辞書データ保存部１２１から検索し、検索した登録者通知先情報に更新推奨通知を送信する（ステップＳ１１２）。ここで更新推奨通知とは、登録画像を更新するよう促す文面を含んだ通知文である。次に、類似度一時保存部１２２に保存されたデータを全てクリアして（ステップＳ１１３）、処理を終了する。

次に、図９のフローチャートを用いて、認識サーバ１が登録端末３から登録要求を受信した時の動作を説明する。

登録端末３からの登録要求には、新規の登録要求である場合には、登録者名および登録者通知連絡先および画像が含まれる。新規の登録者ではない場合には、登録要求には登録者ＩＤおよび画像が含まれる。

認識サーバ１の要求受信部１１１が、登録端末３から登録要求を受信すると、まず、顔検出部１１２は照会要求に含まれる画像から顔の検出を行う（ステップＳ２０１）。顔検出に失敗した場合（ステップＳ２０２）、結果通知部１１５は登録要求の送信元である照会端末２に登録失敗通知を送信して（ステップＳ２０９）、処理を終了する。ステップＳ２０２で顔検出に成功した場合、特徴量抽出部１１３は検出した顔の特徴量の抽出を行う（ステップＳ２０３）。次に、登録端末３からの登録要求に登録者ＩＤが含まれていなかった場合、新規登録者とみなして、辞書データ保存部１２１に行を追加して、登録要求に含まれる登録者名および登録者通知先情報および画像、および、ステップＳ２０３で抽出した特徴量および新たに割り当てた登録者ＩＤを保存し（ステップＳ２０５）、登録要求の送信元である照会端末２に新たに割り当てた登録者ＩＤを含む登録成功通知を送信して（ステップＳ２０８）、処理を終了する。

ステップＳ２０４において登録端末３からの登録用固有に登録者ＩＤが含まれていた場合、すでに登録されている登録者の情報更新要求であるとみなして、辞書データ保存部１２１の登録者ＩＤ列が登録要求に含まれる登録者ＩＤに一致する行について、画像を登録要求に含まれる画像に更新し、特徴量をステップＳ２０３で抽出した特徴量に更新し（ステップＳ２０６）、類似対象保存部１２３の登録者ＩＤ列のいずれかが登録要求に含まれる登録者ＩＤに一致する行を削除し（ステップＳ２０７）、登録要求の送信元である照会端末２に登録成功通知を送信して（ステップＳ２０８）、処理を終了する。

次に、図１０のフローチャートを用いて、照会端末２が照会要求を送信する時の動作を説明する。

照会端末２は、操作部２１３から照会開始入力が行われると処理を開始する。操作部２１３よりシャッター入力が有る（ステップＳ３０１）と、撮影部２１２は撮影を行い、撮影した画像を表示部２１１に表示する（ステップＳ３０３）。照会端末操作者（不図示）が表示部２１１に表示された画像を確認して操作部２１３から送信入力を行う（ステップＳ３０４）と、照会要求処理部２０１は、通信部２２１を介して認識サーバ１に撮影した画像を含む照会要求を送信し（ステップＳ３０６）、認識サーバ１から応答を受信するのを待つ（ステップＳ３０７）。ステップＳ３０７において認識サーバ１から応答を受信すると、応答が対象者情報か認識失敗通知かを判別して（ステップＳ３０８）、応答が対象者情報であった場合は、表示部２１１に対象者情報を表示して（ステップＳ３０９）、処理を終了する。

ステップＳ３０８において応答が認識失敗通知であった場合は、表示部２１１に認識失敗のメッセージを表示して（ステップＳ３１０）、処理を終了する。なお、ステップＳ３０１においてシャッター入力が無い場合は、操作部２１３からのキャンセル入力の有無を判別し（ステップＳ３０２）、キャンセル入力が有る場合は処理を終了する。ステップＳ３０２においてキャンセル入力が無い場合は、ステップＳ３０１以降の処理を行う。また、ステップ３０４において送信入力が無い場合は、操作部２１３からのキャンセル入力の有無を判別し（ステップＳ３０５）、キャンセル入力が有る場合は処理を終了する。ステップＳ３０５においてキャンセル入力が無い場合は、ステップＳ３０４以降の処理を行う。

次に、図１１のフローチャートを用いて、登録端末３が登録要求を送信する時の動作を説明する。

登録端末３は、操作部３１３から登録入力が行われると処理を開始する。操作部３１３よりシャッター入力が有る（ステップＳ４０１）と、撮影部３１２は撮影を行い、撮影した画像を表示部３１１に表示する（ステップＳ４０３）。登録端末操作者（不図示）が表示部３１１に表示された画像を確認して操作部３１３から送信入力を行う（ステップＳ４０４）と、登録要求送信部３０１は、通信部３２１を介して認識サーバ１に撮影した画像を含む登録要求を送信し（ステップＳ４０６）、認識サーバ１から応答を受信するのを待つ（ステップＳ４０７）。ステップＳ４０７において認識サーバ１から応答を受信すると、応答が登録成功通知か登録失敗通知かを判別して（ステップＳ４０８）、応答が登録成功通知であった場合は、表示部３１１に登録成功メッセージを表示して（ステップＳ４０９）、処理を終了する。ステップＳ４０８において応答が登録失敗通知であった場合は、表示部３１１に登録失敗メッセージを表示して（ステップＳ４１０）、処理を終了する。

なお、ステップＳ４０１においてシャッター入力が無い場合は、操作部３１３からのキャンセル入力の有無を判別し（ステップＳ４０２）、キャンセル入力が有る場合は処理を終了する。ステップＳ４０２においてキャンセル入力が無い場合は、ステップＳ４０１以降の処理を行う。また、ステップＳ４０４において送信入力が無い場合は、操作部３１３からのキャンセル入力の有無を判別し（ステップＳ４０５）、キャンセル入力が有る場合は処理を終了する。ステップＳ４０５においてキャンセル入力が無い場合は、ステップＳ４０４以降の処理を行う。

次に、図１２のフローチャートを用いて、登録端末３が更新推奨通知を受信をした時の動作を説明する。

登録端末３の更新推奨受信部３０２が認証サーバ１から更新推奨通知を受信すると、表示部３１１に更新推奨通知を受信したメッセージを表示し（ステップＳ５０１）、処理を終了する。

（実施例１）
次に、具体的な例を用いて本発明の第１の実施の形態についてより詳細に説明する。
辞書データ保存部１２１が図１３、類似対象保存部１２３が図１９である場合について考える。

認識サーバ１における認識閾値は０．８０、類似閾値は０．１０、回数閾値は５であるものとする。この時、照会端末２の１台が、認識サーバ１の辞書データ保存部１２１に登録者ＩＤ＝２として登録されている人物の顔を撮影した画像を含んだ照会要求を認識サーバ１に送信したものとする。

認識サーバ１が照会要求を受信して図８の各ステップに従い処理を行い、ステップＳ１０６において全て比較を行った時の類似度一時保存部１２２の状態を図１６に示す。登録者ＩＤ＝２の類似度が０．８２ともっとも大きく、登録者ＩＤ＝１０の類似度が０．７３と次に大きく、それ以外の登録者ＩＤについては類似度は０．１以下であったものとする。

ステップＳ１０７において最大類似度０．８２は認識閾値０．８０以上であるので、登録者ＩＤ＝２として登録されている登録者の顔であるとして認識し、辞書データ保存部１２１の登録者ＩＤ＝２である行の登録者名ＢＢＢを対象者情報として照会要求を送信した照会端末２に送信する（ステップＳ１０８）。認識サーバ１から応答を受信して対象者情報を表示した時（ステップＳ３０９）の照会端末２の表示部２１１の状態の例を図２２に示す。このとき認識サーバ１では、ステップＳ１０９において、最大類似度０．８２（登録者ＩＤ＝２）と登録者ＩＤ＝１０の類似度の差が０．０９であり類似閾値０．１０以下であるので、類似対象保存部１２３の登録者ＩＤの対が登録者ＩＤ＝２と登録者ＩＤ＝１０である行の回数＝４に１を足して回数＝５とする（ステップＳ１１０）。この時の類似対象保存部１２３の状態を図２０に示す。

この時、ステップＳ１１１において、類似対象保存部１２３の登録者ＩＤの対が登録者ＩＤ＝２と登録者ＩＤ＝１０である行の回数＝５であり、回数閾値＝５以上であるので、登録者ＩＤ＝２と登録者ＩＤ＝１０の登録者通知先情報として辞書データ保存部１２１に保存されている通知先（それぞれｂ＠ｂｂ・・・、ｊ＠ｊｊ・・・）に対して、更新推奨通知を送信し（ステップＳ１１２）、以降の処理を行う。

この状態は、登録者ＩＤ＝２の人物の顔と登録者ＩＤ＝１０の人物の顔の特徴量が似ており、照会端末２における写真の撮影方法や今後のいずれかの顔の経年変化等によって、登録者ＩＤ＝２と登録者ＩＤ＝１０の顔を誤認識する可能性が高い状態である。

このとき、登録端末３のうちｂ＠ｂｂ・・・とｊ＠ｊｊ・・・を連絡先として有する登録端末３（それぞれ登録端末３ｂと登録端末３ｊとする）は、認識サーバ１から更新推奨通知を受信するので、更新推奨表示を行う（図１２のステップＳ５０１）。この時の登録端末３ｂの表示部３１１の状態の例を図２３に、登録端末３ｊの表示部３１１の状態の例を図２４に示す。

次に、登録端末３ｊの操作者が更新推奨表示を見て、登録端末３ｊを用いてＪＪＪ（登録者ＩＤ＝１０の人物）の顔写真を撮影した画像を含んだ登録要求を認識サーバ１に送信したものとする。

認識サーバ１は図９の各ステップに従い、辞書データ保存部１２１の登録者ＩＤ＝１０の画像および特徴量を更新する。更新後の辞書データ保存部１２１の状態を図１４に示す。また、ステップＳ２０７によって、類似対象保存部１２３からは登録者ＩＤ＝１０が登録された行が削除される。この時の類似対象保存部１２３の状態を図２１に示す。

この時、照会端末２の１台が、再び認識サーバ１の辞書データ保存部１２１に登録者ＩＤ＝２として登録されている人物の顔を改めて撮影した画像を含んだ照会要求を認識サーバ１に送信したものとする。

認識サーバ１が照会要求を受信して図８の各ステップに従い処理を行い、ステップＳ１０６において全て比較を行った時の類似度一時保存部１２２の状態を図１７に示す。登録者ＩＤ＝２の類似度が０．８１ともっとも大きく、登録者ＩＤ＝１０の類似度が０．２３と次に大きく、それ以外の登録者ＩＤについては類似度は０．１以下であったものとする。

ステップＳ１０７において最大類似度０．８１は認識閾値０．８０以上であるので、登録者ＩＤ＝２として登録されている登録者の顔であるとして認識し、辞書データ保存部１２１の登録者ＩＤ＝２である行の登録者名ＢＢＢを対象者情報として照会要求を送信した照会端末２に送信する（ステップＳ１０８）。このときステップＳ１０９において、最大類似度０．８２（登録者ＩＤ＝２）と２番目に大きな類似度である登録者ＩＤ＝１０の類似度の差は０．５８であり類似閾値０．１０以下ではないので、処理を終了する。

これは、登録者ＩＤ＝１０の人物の辞書データが経年変化により変化した最新のものに更新されたことにより、登録者ＩＤ＝２と登録者ＩＤ＝１０の顔を誤認識する可能性が低下した状態である。

次に、前述した登録端末３ｊからの登録要求は行われず、登録端末３ｂの操作者が更新推奨表示を見て、登録端末３ｂを用いてＢＢＢ（登録者ＩＤ＝２の人物）の顔写真を撮影した画像を含んだ登録要求を認識サーバ１に送信した場合について説明する。

認識サーバ１は図９の各ステップに従い、辞書データ保存部１２１の登録者ＩＤ＝２の画像および特徴量を更新する。更新後の辞書データ保存部１２１の状態を図１５に示す。また、ステップＳ２０７によって、類似対象保存部１２３からは登録者ＩＤ＝１０が登録された行が削除される。この時の類似対象保存部１２３の状態は図２１となる。

認識サーバ１が照会要求を受信して図８の各ステップに従い処理を行い、ステップＳ１０６において全て比較を行った時の類似度一時保存部１２２の状態を図１８に示す。登録者ＩＤ＝２の類似度が０．９５ともっとも大きく、登録者ＩＤ＝１０の類似度が０．７３と次に大きく、それ以外の登録者ＩＤについては類似度は０．１以下であったものとする。

ステップＳ１０７において最大類似度０．９５は認識閾値０．８０以上であるので、登録者ＩＤ＝２として登録されている登録者の顔であるとして認識し、辞書データ保存部１２１の登録者ＩＤ＝２である行の登録者名ＢＢＢを対象者情報として照会要求を送信した照会端末２に送信する（ステップＳ１０８）。このときステップＳ１０９において、最大類似度０．９５（登録者ＩＤ＝２）と２番目に大きな類似度である登録者ＩＤ＝１０の類似度の差は０．２２であり類似閾値０．１０以下ではないので、処理を終了する。

これは、登録者ＩＤ＝２の人物の辞書データが経年変化により変化した最新のものに更新されたことにより、登録者ＩＤ＝２と登録者ＩＤ＝１０の顔を誤認識する可能性が低下した状態である。

以上で説明したように、本発明の第１の実施の形態では、特徴量の似た顔があった場合に似た顔の人物の双方に登録画像の更新を促す事で、誤認識の可能性を低下させることができる。

また、本発明の第１の実施の形態では、特徴量の似た顔があった場合に登録画像の更新を促すため、認識精度の向上に寄与が小さな辞書データ更新の発生を抑制する事ができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。

第２の実施の形態は、第１の実施の形態とは、類似対象保存部１２３の構成と、更新サーバ１が照会要求を受信した時の動作において異なる。本実施の形態における類似対象保存部１２３の構成を図２５に示す。第１の実施の形態における類似対象保存部１２３とは、回数を保存する列が無い点において異なる。

本実施の形態における更新サーバ１が照会要求を受信した時の動作を図２６のフローチャートを用いて説明する。Ｓ１０１〜Ｓ１０９およびＳ１１４のステップは第１の実施の形態と同じであるが、ステップＳ１０９において、最大類似度との差が類似閾値以下の類似度が有った場合の動作が異なる。ステップＳ１０９で類似閾値以下の類似度が有った場合、類似対象保存部１２３に最大の類似度に該当する登録者ＩＤと、類似閾値以下であった類似度に該当する登録者ＩＤの対を持つ行が無い場合は（ステップＳ１５０）、類似対象保存部１２３に新たな行を追加して最大の類似度に該当する登録者ＩＤと、類似閾値以下であった類似度に該当する登録者ＩＤの対を登録する（ステップＳ１５１）。

ステップＳ１５０で類似対象保存部１２３に最大の類似度に該当する登録者ＩＤと、類似閾値以下であった類似度に該当する登録者ＩＤの対を持つ行が有る場合および、ステップＳ１５１の次に、類似対象保存部１２３に、類似数閾値以上の行の数に登録された登録者ＩＤの有無を調べる（ステップＳ１５２）。ここで類似数閾値は、更新推奨を行う契機とする値である。ステップＳ１５２で類似数閾値以上の行の数に登録された登録者ＩＤが無かった場合は、類似度一時保存部１２２に保存されたデータを全てクリアして（ステップＳ１５３）、処理を終了する。ステップＳ１５２で類似数閾値以上の登録者ＩＤが有った場合、該当する行の登録者ＩＤの、登録者通知先情報を辞書データ保存部から１２１から検索し、検索した登録者通知先情報に更新推奨通知を送信する（ステップＳ１５３）。ここで更新推奨通知とは、登録画像を更新するよう促す文面を含んだ通知文である。次に、類似度一時保存部１２２に保存されたデータを全てクリアして（ステップＳ１５４）、処理を終了する。

（実施例２）
次に、具体的な例を用いて本発明の第２の実施の形態についてより詳細に説明する。類似対象保存部１２３の状態が図２７である場合について考える。類似数閾値は５であるものとする。

認識サーバ１が、照会端末２の１台から照会要求を受信し、ステップＳ１０７において、登録者ＩＤ＝２０が最大類似度であり、ステップＳ１０９において、登録者ＩＤ＝１０の類似度と最大類似度との差が類似閾値以下であったものとする。ステップＳ１５０において類似対象保存部１２３に登録者ＩＤ＝２０と登録者ＩＤ＝１０の対は登録されていないため、類似対象保存部１２３に新たな行を追加して登録者ＩＤ＝２０と登録者ＩＤ＝１０を登録する（ステップＳ１５１）。この時の類似対象保存部１２３の状態を図２８に示す。ステップＳ１５２において、登録者ＩＤ＝１０が登録された類似対象保存部１２３の行の数は５であり、類似数閾値以上であるので、登録者ＩＤ＝１０の、登録者通知先情報を辞書データ保存部から１２１から検索し、検索した登録者通知先情報に更新推奨通知を送信して（ステップＳ１５３）、類似度一時保存部１２２をクリアする（ステップＳ１５４）。

次に、認識サーバ１が、登録端末３の１台から登録者ＩＤ＝１０の登録要求を受信した場合、図９のフローチャートに従って辞書データを更新し（ステップＳ２０６）、類似対象保存部１２３からＩＤ＝１０が登録された行を削除した（ステップＳ２０７）時の類似対象保存部１２３の状態を図２９に示す。

以上説明したように、本発明の第１の実施の形態では２人の登録者間の類似度が高くなった時に更新推奨通知を送信していたのに対して、第２の実施の形態では一定数以上の登録者と類似度が高くなった登録者に対して更新推奨通知を送信する。

このように、画像情報を用いた対象物認識において、経年変化により、対象物画像の視覚的特徴と別の対象物の辞書データの視覚的特徴の類似性が高くなった場合の誤判定を低減させる事ができる。その理由は、更新の推奨を契機として、類似性が高い対象物の辞書データが更新されることにより、類似性が低くなる可能性が高まるためである。

また、本発明のよると辞書データの更新頻度を低減できる。その理由は、辞書に登録されている別の対象物との類似性に基づいて辞書データの更新を促すため、認識精度の向上に寄与の小さなデータ更新を減らす事ができるためである。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。第３の実施の形態は、第１の実施の形態とは、更新サーバ１が照会要求を受信した時の動作において異なる。

本実施の形態における更新サーバ１が照会要求を受信した時の動作を図３０のフローチャートを用いて説明する。第１の実施の形態とは、第１の実施の形態において更新サーバ１が照会要求を受信した時のフローチャートである図８におけるステップＳ１１１の箇所のみが異なる。

本実施の形態では、ステップＳ１１０の後、更新推奨通知部１１７は、類似対象保存部１２３に登録された登録者ＩＤについて、登録者ＩＤごとに登録者ＩＤが登録された全ての行の回数列の値を合計し、合計回数閾値を越える登録者ＩＤの有無を調べる（ステップＳ１７１）。ここで合計回数閾値は、更新推奨を行う契機とする値である。ステップＳ１７１で合計回数閾値以上の合計回数となる登録者ＩＤが無かった場合は、ステップＳ１１３移行の処理を行う。ステップＳ１７１で合計回数閾値以上の合計回数となる登録者ＩＤがあった場合は、ステップＳ１１２移行の処理を行う。

（実施例３）
次に、具体的な例を用いて本発明の第３の実施の形態についてより詳細に説明する。類似対象保存部１２３の状態が図３１である場合について考える。合計回数閾値は８であるものとする。

認識サーバ１が、照会端末２の１台から照会要求を受信し、ステップＳ１０７において、登録者ＩＤ＝１が最大類似度であり、ステップＳ１０９において、登録者ＩＤ＝１０の類似度と最大類似度との差が類似閾値以下であったものとする。ステップ１１０において、登録者ＩＤ＝１と登録者ＩＤ＝１０の対が登録された行の回数＝１に１を足して回数＝２とする。この時の類似対象保存部１２３の状態を図３２に示す。次に、類似対象保存部１２３に登録された登録者ＩＤについて、登録者ＩＤごとに登録者ＩＤが登録された全ての行の回数列の値を合計する。登録者ＩＤ＝１０について、合計回数は８であり、合計閾値以上となるので、登録者ＩＤ＝１０の、登録者通知先情報を辞書データ保存部から１２１から検索し、検索した登録者通知先情報に更新推奨通知を送信して（ステップＳ１１２）、類似度一時保存部１２２をクリアする（ステップＳ１１３）。

次に、認識サーバ１が、登録端末３の１台から登録者ＩＤ＝１０の登録要求を受信した場合、図９のフローチャートに従って辞書データを更新し（ステップＳ２０６）、類似対象保存部１２３からＩＤ＝１０が登録された行を削除する（ステップＳ２０７）。この時の類似対象保存部１２３の状態を図３３に示す。

なお、第１の実施の形態から第３の実施の形態の構成や動作は本発明を実施する上での一例であり、種々の変形が可能である。例えば、認識サーバ１が画像から特徴量を抽出する構成を備える場合について説明したが、照会端末２と登録端末３の両方あるいはいずれかが画像から特徴量を抽出する構成を備え、照会要求や登録要求は画像ではなく特徴量を含めるようにしてもよい。

また、照会端末２と登録端末３は別の端末ではなく、同端末内に両方の機能を備えてもよい。認識サーバ１と１台以上の照会端末２が通信ネットワーク４を介して通信を行う構成について説明したが、認識サーバ１と照会端末２が同じ装置内にある構成でもよい。照会端末２は操作部からの入力を契機として撮影や照会要求を行うものとしたが、常時あるいは事前に設定したタイミングで撮影および照会を行ってもよい。更に、認識サーバ１は、コンピュータ装置や記憶装置などの複数の装置で構成されていても良い。

また、照会端末２や登録端末３は撮影部により撮影した画像を用いて照会要求や登録要求を行う場合について説明したが、例えば照会端末２と登録端末３の両方あるいはいずれかは画像を保存する画像保存部を備えて画像保存部に保存された画像を用いて照会要求や登録要求を行う構成でもよい。
また、第１の実施の形態および第３の実施の形態では、類似対象保存部に回数列を設ける構成としたが、回数列を設けずに登録者ＩＤの対を新たな行に追加保存していき、その後、第１の実施の形態では、同じ登録者ＩＤの対を持つ行の数をカウントし、カウントした数が回数閾値を超える登録者ＩＤの対の有無を調べるようにしてもよく、第３の実施の形態では、同じ登録者ＩＤの数をカウントし、カウントした数が合計回数閾値を超える登録者ＩＤの有無を調べるようにしてもよい。

さらに、第１の実施の形態では、回数閾値以上となった登録者対の双方に更新推奨通知を送信する構成としたが、いずれか一方の登録者に送信するようにしてもよい。

また、第１の実施の形態から第３の実施の形態では、顔画像の特徴量を用いて人物を特定する場合について説明したが、本発明は、画像に含まれる視覚的特徴の類似度を用いて画像中に含まれる対象物を特定するシステム一般について適用可能である。

本発明の活用例として、セキュリティシステムや情報提供システム等に適用してもよい。

１認識サーバ
１１１要求受信部
１１２顔検出部
１１３特徴量抽出部
１１４特徴量比較部
１１５結果通知部
１１６類似度比較部
１１７更新推奨通知部
１２１辞書データ保存部
１２２類似度一時保存部
１２３類似対象保存部
１３０通信部
２照会端末
２０１照会要求処理部
２１１表示部
２１２撮影部
２１３操作部
２２１通信部
３登録端末
３０１登録要求送信部
３０２更新推奨受信部
３１１表示部
３１２撮影部
３１３操作部
３２１通信部
４通信ネットワーク

Claims

利用者が認識したい対象物の視覚的特徴を登録した辞書データの更新を行うコンピュータの辞書更新方法であって、
入力された問い合わせ画像に含まれる対象物が特定され、前記入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する蓄積ステップと、
前記類似対象物蓄積手段に蓄積された対象物があらかじめ定めた条件に達した時に、該条件に達した対象物の視覚的特徴をもつデータは更新が必要として、前記対象物を登録した利用者に対して更新を推奨する更新推奨ステップと、
を含むことを特徴とする辞書更新方法。
利用者が認識したい対象物の視覚的特徴を登録した辞書データの更新を行うコンピュータの辞書更新方法であって、
入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する蓄積ステップと、
前記類似対象物蓄積手段に蓄積された対象物があらかじめ定めた条件に達した時に、該条件に達した対象物の視覚的特徴をもつデータは更新が必要として、前記対象物を登録した利用者に対して更新を推奨する更新推奨ステップと、
を含み、
前記更新推奨ステップは、特定の対象物の対が蓄積された回数があらかじめ定めた回数を上回ったときに行われることを特徴とする辞書更新方法。
利用者が認識したい対象物の視覚的特徴を登録した辞書データの更新を行うコンピュータの辞書更新方法であって、
入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する蓄積ステップと、
前記類似対象物蓄積手段に蓄積された対象物があらかじめ定めた条件に達した時に、該条件に達した対象物の視覚的特徴をもつデータは更新が必要として、前記対象物を登録した利用者に対して更新を推奨する更新推奨ステップと、
を含み、
前記更新推奨ステップは、ある対象物に対して、対として蓄積された相手の数があらかじめ定めた数を上回った場合に行われることを特徴とする辞書更新方法。
利用者が認識したい対象物の視覚的特徴を登録した辞書データの更新を行うコンピュータの辞書更新方法であって、
入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する蓄積ステップと、
前記類似対象物蓄積手段に蓄積された対象物があらかじめ定めた条件に達した時に、該条件に達した対象物の視覚的特徴をもつデータは更新が必要として、前記対象物を登録した利用者に対して更新を推奨する更新推奨ステップと、
を含み、
前記更新推奨ステップは、ある対象物について、別の対象物と対として蓄積された回数の合計があらかじめ定めた数を上回った場合に行われることを特徴とする辞書更新方法。
入力された問い合わせ画像から対象物を検出するステップと、
検出された対象物から視覚的特徴を抽出するステップと、
抽出された前記入力された問い合わせ画像の視覚的特徴と、利用者によりあらかじめデータとして登録された前記認識したい対象物の視覚的特徴との類似度を算出するステップと、
算出した類似度をもとに前記入力された問い合わせ画像に含まれる対象物を特定するステップと、
を含むことを特徴とする請求項１から４のいずれか１項に記載の辞書更新方法。
利用者が認識したい対象物の視覚的特徴をデータとして登録した辞書データの更新を行う辞書更新システムであって、
入力された問い合わせ画像に含まれる対象物が特定され、前記入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する制御手段と、
前記類似対象物蓄積手段に蓄積された対象物があらかじめ定めた条件に達した時に、該条件に達した対象物の視覚的特徴をもつデータは更新が必要として、前記対象物を登録した利用者に対して更新を推奨する更新手段とを備えることを特徴とする辞書更新システム。
利用者が認識したい対象物の視覚的特徴をデータとして登録した辞書データの更新を行う辞書更新システムであって、
入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する制御手段と、
第１の対象物の対が前記類似対象物蓄積手段に蓄積された回数があらかじめ定めた回数を上回った場合に、前記第１の対象物の対に含まれる対象物の視覚的特徴をもつデータは更新が必要として、前記第１の対象物の対に含まれる対象物を登録した利用者に対して更新を推奨する更新手段とを備えることを特徴とする辞書更新システム。
利用者が認識したい対象物の視覚的特徴をデータとして登録した辞書データの更新を行う辞書更新システムであって、
入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する制御手段と、
前記類似対象物蓄積手段に蓄積された第１の対象物に対して、対として蓄積された相手の数があらかじめ定めた数を上回った場合に、前記第１の対象物の視覚的特徴をもつデータは更新が必要として、前記第１の対象物を登録した利用者に対して更新を推奨する更新手段とを備えることを特徴とする辞書更新システム。
利用者が認識したい対象物の視覚的特徴をデータとして登録した辞書データの更新を行う辞書更新システムであって、
入力された問い合わせ画像に類似する視覚的特徴をもつデータが複数ある場合に、複数の対象物の視覚的特徴が類似するとして、対象物の対を類似対象物蓄積手段に蓄積する制御手段と、
前記類似対象物蓄積手段に蓄積された第１の対象物について、別の対象物を対として蓄積された回数の合計があらかじめ定めた数を上回った場合に、前記第１の対象物の視覚的特徴をもつデータは更新が必要として、前記第１の対象物を登録した利用者に対して更新を推奨する更新手段とを備えることを特徴とする辞書更新システム。
利用者が認識したい対象物の視覚的特徴をデータとして登録した辞書データの更新を行う辞書更新プログラムであって、
請求項１から４のいずれか１項に記載の各ステップを、コンピュータに実行させることを特徴とする辞書更新プログラム。