JP7272510B2 - 照合装置、照合方法、プログラム - Google Patents

Description

この開示は、照合装置、照合方法、プログラムに関する。

照合対象となる人物の顔の照合を行う場合に、多くは顔の特徴量を用いて照合処理を行っている。特許文献１には照合処理の技術が開示されている。

特開２００７－２８０２５０号公報

照合対象の照合範囲が一部覆われている場合でも精度よく照合できることが望まれている。

そこでこの発明は、上述の課題を解決する照合装置、照合方法、プログラムを提供することを目的としている。

この開示の第１の態様によれば、照合装置は、画像に写る人物の顔領域から特徴点を検出し、前記顔領域において、前記人物の顔が遮蔽物により覆われていない特定領域を特定し、前記特定領域内の特徴点を用いて照合処理を行う。

この開示の第２の態様によれば、照合方法は、画像に写る人物の顔領域から特徴点を検出し、前記顔領域において、前記人物の顔が遮蔽物により覆われていない特定領域を特定し、前記特定領域内の特徴点を用いて照合処理を行う。

この開示の第３の態様によれば、プログラムは、照合装置のコンピュータを、画像に写る人物の顔領域から特徴点を検出する手段、前記顔領域において、前記人物の顔が遮蔽物により覆われていない特定領域を特定する手段、前記特定領域内の特徴点を用いて照合処理を行う手段、として機能させる。

この開示の一実施形態による照合システムの概略構成図である。 この開示の一実施形態による照合装置のハードウェア構成を示す図である。 この開示の一実施形態による照合装置の機能ブロック図である。 この開示の一実施形態による照合装置の処理概要を示す図である。 この開示の一実施形態による照合装置の処理フローを示す図である。 この開示の一実施形態による照合装置の最小構成を示す図である。 この開示の最小構成の照合装置による処理フローを示す図である。

以下、この開示の一実施形態による照合装置を図面を参照して説明する。
図１は本実施形態による照合システムの概略構成図である。
照合システム１００は、照合装置１、カメラ２、表示装置３を一例として含む。照合システム１００は、照合装置１を少なくとも含めばよい。本実施形態において照合装置１は、カメラ２、表示装置３それぞれと通信ネットワークを介して接続する。カメラ２は照合対象である人物の顔画像を照合装置１へ出力する。照合装置１は顔画像をカメラ２から取得する。照合装置１は顔画像の照合処理を行う。照合装置１は照合処理の結果を表示装置３などの出力装置へ出力する。

なお照合装置１が行う照合処理とは、一例として照合装置１の記憶する複数の人物の顔画像と、カメラ２から取得した顔画像とを用いて、カメラ２から取得した顔画像に一致する人物の顔画像を、照合装置１が記憶する複数の顔画像の中から特定する処理を言う。

図２は照合装置のハードウェア構成を示す図である。
図２で示すように、照合装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。なお、表示装置３も同様のハードウェア構成を備えたコンピュータである。

図３は照合装置の機能ブロック図である。
照合装置１は、ＣＰＵ１０１がＲＯＭ１０２等に記憶する照合処理プログラムを実行する。これにより照合装置１は、入力部１１、照合処理部１２、出力部１３の各機能を発揮する。
入力部１１は、カメラ２から顔画像を取得する。
照合処理部１２は、照合処理を行う。
出力部１３は、照合処理の結果を出力する。

より具体的には照合処理部１２は、カメラ２から取得した顔画像に写る人物の顔領域から特徴点を検出する。また照合処理部１２は、特徴点検出結果が示す信頼度が第一閾値以上である場合、顔領域内の特徴点を用いて第一照合処理を行う。照合処理部１２は、特徴点検出結果が示す信頼度が第一閾値より低い場合、顔領域内の特定領域内の特徴点を用いて第二照合処理を行う。ここでの「信頼度」とは、検出された特徴点の分布が示す裸の顔らしさを意味する。裸の顔とは、マスクやサングラスなどの遮蔽物によって顔の一部を覆われていない顔である。

ここで照合処理部１２は、人物の顔領域の全体を含む顔画像を教師データとして機械学習した第一照合機能により第一照合処理を行う。
照合処理部１２は、人物の顔領域の下部領域を除いた特定領域を含む画像を教師画像データとして機械学習した第二照合機能により第二照合処理を行う。

照合処理部１２は、特徴点検出結果が示す信頼度が第一閾値以上である範囲が顔画像の目、鼻、口、眉毛を含む範囲で多い場合に第一照合処理を行い、目、眉毛を含む範囲を除く他の範囲における特徴点検出結果が示す信頼度が低い場合に第二照合処理を行うようにしてよい。

図４は、照合装置の処理概要を示す図である。
照合装置１は、マスク装着無しの顔画像（４１）、またはマスク装着有りの顔画像（４２）をカメラ２から取得する。照合装置１は照合処理においてまず顔を検出する（４３）。照合装置１は顔を検出するとマスクの装着有無の判定に相当する処理に基づいて、その後に行う照合処理の種別を判定する（４４）。照合装置１はマスクの装着無しに相当すると判定した場合、第一照合処理（通常顔用の顔照合）を行う（４５）。照合装置１はマスクの装着有りに相当すると判定した場合、特徴点検出結果が示す信頼度の高い範囲を含む特定領域４０を特定し、その特定領域４０の情報を用いて第二照合処理（マスク顔用の顔照合）を行う（４６）。照合装置１は照合処理の結果を出力する（４７）。

照合プログラムには、第一照合処理の機能を発揮するための第一照合プログラムと、第二照合処理の機能を発揮するための第二照合プログラムとが含まれる。第一照合プログラムと、第二照合プログラムは、マスクの装着されていない複数の顔画像や顔画像に対応する教師データをニューラルネットワークなどの機械学習処理を用いて学習し、入力した顔画像と比較対象となった顔画像との間の一致度を少なくとも算出するプログラムである。しかしながら、第一照合プログラムは、顔全体が含まれる顔画を像用いて機械学習処理により学習した結果のモデルを用いたプログラムであり、第二照合プログラムは、顔画像における人物の顔領域の下部領域を除いた目や眉毛を含む特定領域４０の画像を用いて機械学習処理により学習した結果のモデルを用いたプログラムである。ただし、特定領域４０は、人物の顔領域の下部領域を除いた上部領域に限定されない。上述の通り、特定領域４０は、人物の顔領域において、特徴点検出結果が示す信頼度の高い範囲を含む領域である。第二照合プログラムは、マスクの装着された複数の顔画像や顔画像に対応する教師データをニューラルネットワークなどの機械学習処理を用いて学習し、入力した顔画像と比較対象となった顔画像との間の一致度を少なくとも算出するプログラムであってもよい。

より具体的には、照合装置１は、一例として、顔全体を含む顔画像を入力情報とし、データベースに記録されている複数の比較対象の顔画像の正解を示す一致度を出力情報として、その入出力関係をニューラルネットワークなどの機械学習処理を用いて学習し第一モデルを生成する。照合装置１は第一モデルやニューラルネットのプログラムなどを含む第一照合プログラムを生成する。照合装置１は、顔全体を含む顔画像を入力情報とし、データベースに記録されている複数の比較対象の顔画像についての一致度を算出する第一モデルの生成を公知の技術を用いて行ってよい。
また照合装置１は、一例として、顔画像における人物の顔領域の下部領域を除いた目や眉毛を含む特定領域４０を入力情報とし、データベースに記録されている複数の比較対象の顔画像の正解を示す一致度を出力情報として、その入出力関係をニューラルネットワークなどの機械学習処理を用いて学習し第二モデルを生成する。照合装置１は第二モデルやニューラルネットのプログラムなどを含む第二照合プログラムを生成する。照合装置１は、顔画像における人物の顔領域の下部領域を除いた目や眉毛を含む特定領域４０を入力情報とし、データベースに記録されている複数の比較対象の顔画像についての一致度を算出する第一モデルの生成を公知の技術を用いて行ってよい。
照合装置１は第一照合プログラムと第二照合プログラムとを含む照合プログラムを記憶する。

照合処理部１２は、顔検出部２１、特徴点抽出部２２、照合処理判定部２３、第一照合処理部２４、第二照合処理部２５の機能を発揮する。
顔検出部２１は、顔画像から顔の領域を検出する。
特徴点抽出部２２は、顔画像に含まれる特徴点の位置を算出し、特徴点検出結果が示す信頼度を算出する。

照合処理判定部２３は、顔画像に含まれる各特徴点とその信頼度に基づいて、第一照合プログラムによる照合処理を行うか、第二照合プログラムによる照合処理を行うかを判定する。この処理は、マスクの装着有無を判定することに相当する。つまり第一照合プログラムによる照合処理は、マスクの装着無しの場合における照合処理に相当する。また第二照合プログラムによる照合処理は、マスクの装着有りの場合における照合処理に相当する。

第一照合処理部２４は、第一照合プログラムを用いて顔画像の第一照合処理を行う。第一照合処理部２４は、この処理において、顔領域における所定領域（例えば顔全体）に検出された特徴点検出結果が示す信頼度が第一閾値以上である特徴点の分布が有意であると判定された場合に、顔領域内の特徴点を用いて第一照合処理を行う。

第二照合処理部２５は、第二照合プログラムを用いて、顔画像において特定領域４０を特定し、その特定領域４０に基づいて顔画像の照合処理を行う。第二照合処理部２５は、この処理において、所定領域（例えば顔全体）に検出された特徴点検出結果が示す信頼度が第一閾値未満である特徴点の分布が有意でないと判定された場合に、所定領域と異なる特定領域（上述の矩形の特定領域４０）内の特徴点を用いて第二照合処理を行う。

ユーザは、マスク及びサングラスをどちらも装着している場合がありうる。この場合、特定領域４０が小さすぎることが想定される。そこで、第二照合処理部２５は、特定領域４０の面積がある一定の大きさよりも小さい場合、音声メッセージあるいは表示により、マスクやサングラスなど、顔の一部が隠れるものを外すように、ユーザに要求してもよい。その後、第二照合処理部２５は、再度、第二照合プログラムを用いて、顔画像において特定領域４０を特定する。

以上では、照合装置１が１つの第二照合プログラムを所持している場合を例示した。しかしながら、照合装置１は、２つ以上の複数の第二照合プログラムを所持していてよい。一変形例では、複数の第二照合プログラムは、互いに異なる特定領域４０と対応付けられている。例えば、１つの第二照合プログラムは、特定領域４０が上部領域である場合（つまりユーザの顔の上半分が覆われていない場合）に対応する。別の１つの第二照合プログラムは、特定領域４０が下部領域である場合（つまりユーザの顔の下半分が覆われていない場合）に対応する。この場合、第二照合処理部２５は、まず、顔画像において特定領域４０を特定する。第二照合処理部２５は、特定領域４０の位置あるいは範囲に応じて、いずれか１つの第二照合プログラムを選択する。そして、第二照合処理部２５は、選択した第二照合プログラムを用いて、上述したように、第二照合処理を実行する。

本変形例では、ユーザがマスクを装着している場合であっても、またユーザがサングラスを装着している場合であっても、照合装置１は、複数の第二照合プログラムを使い分けることで、ユーザを正確に照合することができる。

＜第一実施形態＞
図５は第一実施形態による照合装置の処理フローを示す図である。
以下、照合装置１の処理フローについて順を追って説明する。
照合システム１００のユーザは、自身の照合を受ける際にカメラ２に近づく。カメラ２はユーザの顔を撮影して顔画像を生成する。カメラ２は顔画像を照合装置１へ出力する。照合装置１の入力部１１は顔画像を入力する（ステップＳ１０１）。入力部１１は顔画像を照合処理部１２へ出力する。ただし、ステップＳ１０１において、ユーザがカメラ２を意識していないときに、カメラ２がユーザを撮影してもよい。例えば、カメラ２は、ユーザの顔の向きあるいは位置などの状態などに基づいて、ユーザの顔を撮影するタイミングを決定してよい。

照合処理部１２において顔検出部２１が顔画像を取得する。顔検出部２１は顔画像に写るユーザに基づいて顔領域を検出する（ステップＳ１０２）。当該顔領域は、眼、鼻、口、眉毛、顎、額、頬などが含まれる範囲であってよい。一例として、当該顔領域には髪の毛の領域は含まれない。顔検出部２１における顔領域の検出は公知の技術を用いてよい。顔検出部２１は顔検出プログラムに顔画像を入力した結果、当該顔検出プログラムの出力した顔領域を取得してよい。顔検出プログラムは、顔画像を入力情報とし、顔領域を出力情報とする入出力の関係を機械学習して得られたモデルを用いて生成されたプログラムである。顔検出部２１は顔領域の検出結果に基づいて顔領域を検出できたかを判定する（ステップＳ１０３）。顔検出部２１は顔領域を検出できると、当該顔領域の画像情報を特徴点抽出部２２へ出力する。顔検出部２１は顔領域を検出できない場合、処理を終了して次の顔画像の入力を待つ。

特徴点抽出部２２は、顔領域の画像情報に基づいて当該顔領域に含まれる特徴点の座標と、特徴点検出結果が示す信頼度を算出する（ステップＳ１０４）。特徴点抽出部２２は特徴点抽出プログラムに顔領域の画像情報を入力した結果、当該特徴点抽出プログラムの出力した特徴点や各特徴点検出結果が示す信頼度を取得してよい。特徴点抽出プログラムは、顔領域の画像情報を入力情報とし、顔領域に含まれる特徴点とその信頼度を出力情報とする入出力の関係を機械学習して得られたモデルを用いて生成されたプログラムであってよい。特徴点抽出部２２は、顔領域から算出した特徴点（座標など）と各特徴点検出結果が示す信頼度を、照合処理判定部２３へ出力する。特徴点抽出部２２は、顔の特徴点の座標の算出と、各特徴点検出結果が示す信頼度の算出を公知の技術を用いて行ってよい。一変形例では、特徴点抽出プログラムは、顔領域の画像情報を入力情報とし、顔領域に含まれる特徴点と、顔の一部の遮蔽物の有無と対応するパラメータ（例えば０または１）とを出力情報とする入出力の関係を機械学習して得られたモデルを用いて生成されたプログラムであってよい。この場合、特徴点抽出プログラムが、入力情報に基づいて、顔の一部の遮蔽物の有無を判定し、判定結果を示すパラメータを出力するようにあらかじめ学習される。以下では、特徴点抽出部２２が信頼度を出力する場合について説明する。しかしながら、特徴点抽出部２２は、信頼度の代わりに、顔の一部の遮蔽物の有無と対応するパラメータを出力してもよい。この場合、以下の説明における「徴点検出結果が示す信頼度」を「パラメータ」に読み替えることができる。

照合処理判定部２３は、特徴点抽出部２２の算出した顔領域に含まれる特徴点とその信頼度を取得する。照合処理判定部２３は、顔領域において検出された各特徴点検出結果が示す信頼度に基づいて、照合処理を決定する（ステップＳ１０５）。

具体的には、照合処理判定部２３は、顔領域において検出された各特徴点検出結果が示す信頼度が所定の第一閾値以上となる特徴点を特定する。第一閾値以上の信頼度の特徴点は、特徴点として信頼できる特徴点である。照合処理判定部２３は、第一閾値以上の信頼度の特徴点の顔領域における分布が、眉毛、目、鼻、口、などの顔の部位に相当する位置に検出できる場合には、マスク装着無しに相当するため第一照合処理を行うと判定する。この判定において照合処理判定部２３は、第一閾値以上の信頼度の特徴点の顔領域における分布に基づいて、眉毛、目、鼻、口、などの顔の部位に相当する位置に、第一閾値以上の信頼度の特徴点が統計的に有意な数検出できる場合に、マスク装着無しに相当するため第一照合処理を行うと判定してよい。

または照合処理判定部２３は、顔領域における下部領域を、顔領域を示す座標情報などに基づいて特定し、その下部領域における信頼度の高い特徴点の数や分布や統計情報に基づいて照合処理を判定してもよい。照合処理判定部２３は、顔領域における下部領域における信頼度の高い特徴点の数が閾値と比較して少ない場合、その特徴点の分布や統計情報が有意な特徴点が無いと判定される場合（マスクを装着していることに相当する場合）には第二照合処理を行い、そうでない場合には第一照合処理を行うと判定してもよい。

または照合処理判定部２３は、顔領域に検出された特徴点の座標と各特徴点検出結果が示す信頼度とを照合処理判定プログラムに入力し、その結果、第一照合処理を行うか、第二照合処理を行うかを判定してよい。照合処理判定プログラムは、顔領域に検出された特徴点の座標と信頼度とを入力情報とし、マスク装着有りに相当するため第一照合処理となることまたはマスク装着無しに相当するため第二照合処理となることを示す結果を出力情報とする、入出力関係を機械学習して得られたモデルを用いて生成されたプログラムであってよい。

このように照合処理判定部２３は、第一照合処理、または第二照合処理の何れかを示す判定結果を算出する。照合処理判定部２３は、第一照合処理を行うと判定した場合、第一照合処理部２４へ処理を指示する。照合処理判定部２３は、第二照合処理を行うと判定した場合、第二照合処理部２５へ処理を指示する。

第一照合処理を行うと判定された場合、第一照合処理部２４は顔画像を入力する。第一照合処理部２４は、第一照合プログラムを用いた処理を開始する（ステップＳ１０６）。この処理において第一照合処理部２４は、カメラ２から取得した顔画像を入力する。また第一照合処理部２４は、データベース１０４に含まれる複数の顔画像の中から順に特定した顔画像を入力する。第一照合処理部２４は、カメラ２から入力した顔画像と、データベース１０４に含まれる複数の顔画像（比較対象）の中から特定した顔画像との一致度を、データベース１０４に含まれる複数の顔画像の中から順に特定した顔画像それぞれについて算出する（ステップＳ１０７）。上述した通り、第一照合プログラムは機械学習処理によって生成されたモデルを用いたプログラムである。これにより第一照合処理部２４は、カメラ２から入力した顔画像と、データベース１０４から特定した各顔画像との一致度を算出することができる。第一照合処理部２４は、カメラ２から入力した顔画像と、データベース１０４から特定した各顔画像との一致度を、出力部１３へ出力する。出力部１３は、最も値の高い一致度の算出対象となったデータベース１０４から特定した顔画像を、カメラ２から入力した顔画像に最も一致度の高い顔画像を特定して表示装置３へ出力する（ステップＳ１０８）。

第二照合処理を行うと判定された場合、第二照合処理部２５は顔画像を入力する。第二照合処理部２５は、第二照合プログラムを用いた処理を開始する（ステップＳ１０９）。この処理において第二照合処理部２５は、カメラ２から取得した顔画像を入力する。第二照合処理部２５は顔画像の顔領域の座標情報を用いて、顔領域の上部における矩形の特定領域４０を算出する（ステップＳ１１０）。特定領域４０は、特徴点検出結果が示す信頼度が第一閾値以上である特徴点を含む領域である。これによりマスクなどで覆われていない範囲を特定領域４０と決定することができる。特定領域４０は、目、眉毛、額の範囲を覆う範囲であってよい。特定領域４０は矩形の範囲以外の形状を示す範囲であってもよい。特定領域４０の算出は、第二照合プログラムに含まれる特定領域算出プログラムを用いた処理において顔画像や当該顔画像において算出された顔領域を入力情報として入力し、その結果出力した領域であってよい。この場合、特定領域算出プログラムは、顔画像や当該顔画像において算出された顔領域を入力情報とし、当該顔領域の上部における矩形の特定領域４０を出力情報とする入出力関係を機械学習して得られたモデルを用いて生成されたプログラムである。矩形領域を特定することにより、顔画像の顔領域がマスクなどで覆われている場合に、照合処理を行う範囲を決定することができる。

上述の特定領域４０の算出において、第二照合処理部２５は、顔画像の大きさに応じてその領域の大きさを決定してよい。また第二照合処理部２５は、顔画像の顔領域における特定領域４０を、信頼度の高い特徴点を含む範囲に広げてよい。この処理によれば、ユーザが片目に眼帯などの顔を部分的に遮蔽している遮蔽物を装着している場合などにおいて、その遮蔽物によって特徴点検出結果が示す信頼度が低い領域（眼帯をしている目の領域）を除いた、信頼度の高い特徴点が分布する範囲を特定領域４０として算出するようにしてもよい。具体的には、第二照合処理部２５は右目に眼帯が装着されている場合には、右目以外の範囲を特定領域４０と算出するようにしてもよい。この場合、第二照合処理部２５は、マスク、眼帯、帽子などの遮蔽物の種類に応じてそれぞれ機械学習によって生成されたモデルを含む第二照合プログラムのうち、カメラ２から取得した画像において信頼度が高い特徴点が分布する領域（すなわち特定領域４０）に対応する第二照合プログラムを特定し、そのプログラムを用いて第二照合処理を行うようにしてよい。特定領域４０は、顔領域の上部の矩形領域である場合に限定されない。本開示は、マスクの他、眼帯などのマスク以外の遮蔽物によって顔が覆われているか否かの判定結果、および遮蔽物によって顔が隠されていない特定領域４０の位置及び／または範囲に基づいて、第一照合処理と第二照合処理の何れかを実行するものを包含する。

第二照合処理部２５は、データベース１０４に含まれる複数の顔画像の中から順に特定した顔画像を入力する。第二照合処理部２５は、カメラ２から入力した顔画像の顔領域における特定領域４０と、データベース１０４に含まれる複数の顔画像の中から特定した顔画像の顔領域における対応する特定領域４０との一致度を、データベース１０４に含まれる複数の顔画像の中から順に特定した顔画像それぞれについて算出する（ステップＳ１１１）。上述した通り、第二照合プログラムは機械学習処理によって生成されたモデルを用いたプログラムである。これにより第二照合処理部２５は、カメラ２から入力した顔画像の顔領域において特定した特定領域４０と、データベース１０４から特定した各顔画像における顔領域の特定領域４０との一致度を算出することができる。第二照合処理部２５は、カメラ２から入力した顔画像の顔領域における特定領域４０と、データベース１０４から特定した各顔画像の顔領域における特定領域４０との一致度を、出力部１３へ出力する。出力部１３は、最も値の高い一致度の算出対象となったデータベース１０４から特定した顔画像を、カメラ２から入力した顔画像に最も類似度の高い顔画像を特定して表示装置３へ出力する（ステップＳ１１２）。

以上の処理により、照合装置１は、ユーザがマスクを装着していない場合においては、顔領域の各特徴点検出結果が示す信頼度が高いため第一照合処理を用いて、カメラ２から取得した顔画像に一致する顔画像を、照合装置１が記憶する複数の顔画像の中から特定する。また照合装置１は、ユーザがマスクを装着している場合においては、顔領域の口や鼻を含む下部の領域の各特徴点検出結果が示す信頼度が低いため第二照合処理を用いて、カメラ２から取得した顔画像に一致する顔画像を、照合装置１が記憶する複数の顔画像の中から特定する。これにより、ユーザの顔の一部がマスクなどで覆われていない場合と、覆われている場合とでそれぞれ適切な照合処理を用いることができ、照合の精度を向上させることができる。

また上述の処理において、顔画像や顔画像において特定した顔領域の大きさに応じて第二照合処理で用いる特定領域４０を特定する。これにより、顔画像の大きさに応じた適切な照合の精度を確保することができる。

＜第二実施形態＞
上述の処理において、照合装置１は、第一照合処理を行った結果出力される一致度を示すスコア、あるいは、第二照合処理を行った結果出力される一致度を示すスコアを正規化して出力するようにしてもよい。この場合、照合装置１は、一致度を示すスコアを、顔領域及び特定領域４０の大きさ、特徴点の数、特徴点検出結果が示す信頼度に応じて正規化するようにしてもよい。一例では、照合装置１は、スコアの算出に用いられた特徴点の数に応じた重みを、スコアに対して付加する。スコアの算出に用いられた特徴点の数が少ないほど、スコアの重みは小さくなる。換言すれば、照合装置１は、スコアの算出に用いられた特徴点の数が少ないほど、スコアを割り引く。この場合、照合装置１は正規化スコア算出式を用いる。照合装置１は顔領域の大きさ、特徴点の数、特徴点検出結果が示す信頼度と、一致度を示すスコアを正規化スコア算出式に入力し、その出力となる正規化後のスコア値を得る。出力部１３はこのような処理により正規化後の一致度のスコア値を出力してもよい。または出力部１３は、データベース１０４に記録されている顔画像のうち、最も一致度の示すスコア値の最も高い顔画像を特定し出力するようにしてもよい。または出力部１３は、データベース１０４に記録されている顔画像のうち、最も一致度の示すスコア値の最も高い顔画像に紐づいて記録されているユーザ情報を出力するようにしてもよい。このような正規化処理により、第一照合処理と第二照合処理の結果が示す一致度のスコアの信頼性を統一することができる。

＜第三実施形態＞
照合システム１００のユーザが、鼻を出すようにマスクを装着していたり、あるいは、口元だけを覆う特殊なマスクを装着したりしている場合、特徴点検出結果が示す信頼度は、上述した第一閾値に近づくことが想定される。
照合処理判定部２３はカメラ２から取得した顔画像の各特徴点検出結果が示す信頼度から、第一照合処理と第二照合処理の何れの照合処理を利用するかを特定できない場合には、照合装置１０は、音声メッセージあるいは表示により、マスクやサングラスなど、顔の一部が隠れるものを外すように、ユーザに要求してもよい。その後、照合処理判定部２３は、再度、信頼度に基づいて、第一照合処理と第二照合処理の何れの照合処理を利用するかを判定する。
あるいは、照合処理判定部２３は、両方の照合処理を用いて照合処理を行うことを決定してもよい。具体的には、照合処理判定部２３は、顔画像において特定した所定領域（口や鼻を含む領域）の各特徴点検出結果が示す信頼度や、顔画像における多くの特徴点検出結果が示す信頼度が、上記第一閾値以上の第二閾値と、第一閾値未満の第三閾値との間にある場合には、マスクなどで覆われているかどうかが不明なため、第一照合処理と第二照合処理の両方を用いて照合処理を行うと決定する。

この場合、第一実施形態と同様に第一照合処理部２４と、第二照合処理部２５が照合処理を行う。そして第一照合処理部２４と第二照合処理部２５はそれぞれ、カメラ２から入力した顔画像と、データベース１０４から特定した各顔画像の一致度を、出力部１３へ出力する。出力部１３は、データベース１０４から特定した各顔画像に対して各照合処理で算出された一致度の平均値を算出し、最も平均値が高い顔画像を、カメラ２から取得した顔画像に一致する顔画像として特定し出力してよい。または出力部１３は、平均値以外の統計処理を行って、データベース１０４から特定した各顔画像に対して各照合処理で算出された一致度の統計処理後のスコアを算出し、その値のうち最も高いスコアの顔画像を、カメラ２から取得した顔画像に一致する顔画像として特定し出力してよい。出力部１３は、データベース１０４から特定した各顔画像に対して各照合処理で算出された一致度に所定の重みづけを行って各処理を統合した一致度のスコアを算出し、その値が最も高い顔画像を、カメラ２から取得した顔画像に一致する顔画像として特定し出力してよい。

以上の処理により、ユーザのマスクの装着の仕方によらず、またユーザが特殊なタイプのマスクを装着している場合でも、照合の精度を向上させることができる。

図６は照合装置の最小構成を示す図である。
図７は最小構成の照合装置による処理フローを示す図である。
照合装置１は、少なくとも、特徴点抽出手段６１、照合処理判定手段６２、照合処理手段６３を備えればよい。
特徴点抽出手段６１は、画像に写る人物の顔領域から特徴点を算出する（ステップＳ７０１）。
照合処理判定手段６２は、顔領域において、人物の顔が遮蔽物により覆われていない特定領域４０を特定する（ステップＳ７０２）。
照合処理手段６３は、特定領域内の特徴点を用いて照合処理を行う（ステップS７０３）。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・照合装置
２・・・カメラ
３・・・表示装置
１１・・・入力部
１２・・・照合処理部
１３・・・出力部
２１・・・顔検出部
２２・・・特徴点抽出部
２３・・・照合処理判定部
２４・・・第一照合処理部
２５・・・第二照合処理部
４０・・・特定領域
１００・・・照合システム

Claims (9)

1. 画像に写る人物の顔領域から特徴点を検出した後に、前記顔領域において、前記人物の顔の一部のマスクの有無を判定し、
   前記マスクが無いと判定された場合には、学習して得られた第１のモデルを用いて第一照合処理を行い、
   前記マスクがあると判定された場合には、前記顔領域において、前記人物の顔が前記マスクにより覆われていない特定領域を特定し、前記特定領域内の特徴点と、学習して得られた第２のモデルとを用いて第二照合処理を行う照合装置が、
   前記画像に写る人物の顔領域から所定の複数の特徴点とそれら特徴点の信頼度とを算出し、
   前記特徴点の信頼度に基づいて、前記顔領域において、前記人物の顔に前記マスクが覆われてない場合に行う前記第一照合処理と、前記人物の顔が前記マスクに覆われている場合に行う前記第二照合処理との何れを行うかを判定し、
   前記第一照合処理を行う場合には、前記顔領域の特徴点を用いて照合処理を行い、
   前記第二照合処理を行う場合には、前記複数の特徴点の信頼度に基づいて前記特定領域を広げ、前記特定領域内の特徴点を用いて照合処理を行う
   照合装置。
2. 前記特徴点の検出結果が示す信頼度が第一閾値以上である場合、前記顔領域内の特徴点を用いて前記第一照合処理を行い、
   前記特徴点の検出結果が示す信頼度が前記第一閾値より低い場合、前記顔領域内の特定領域内の特徴点を用いて前記第二照合処理を行う
   請求項１に記載の照合装置。
3. 人物の顔領域の全体を含む画像を教師データとして機械学習して得られた前記第１のモデルにより前記第一照合処理を行い、
   人物の顔領域の下部領域を除いた前記特定領域を含む画像を教師画像データとして機械学習して得られた前記第２のモデルにより前記第二照合処理を行う
   請求項２に記載の照合装置。
4. 前記特定領域は、前記顔領域の上部の矩形領域である
   請求項２または請求項３に記載の照合装置。
5. 前記第一照合処理を行った結果出力される一致度を示すスコア、あるいは、前記第二照合処理を行った結果出力される一致度を示すスコアを正規化して出力する、
   請求項２から請求項４の何れか一項に記載の照合装置。
6. 前記人物の顔が前記マスクに覆われているか否かが不明な場合には、前記第一照合処理および前記第二照合処理の両方を行う
   請求項２から請求項５の何れか一項に記載の照合装置。
7. 前記特定領域は、前記特徴点の検出結果が示す信頼度が前記第一閾値以上である領域である
   請求項２から請求項６の何れか一項に記載の照合装置。
8. 照合装置が、
   画像に写る人物の顔領域から特徴点を検出した後に、前記顔領域において、前記人物の顔の一部のマスクの有無を判定し、
   前記マスクが無いと判定された場合には、学習して得られた第１のモデルを用いて第一照合処理を行い、
   前記マスクがあると判定された場合には、前記顔領域において、前記人物の顔が前記マスクにより覆われていない特定領域を特定し、前記特定領域内の特徴点と、学習して得られた第２のモデルとを用いて第二照合処理を行い、
   前記画像に写る人物の顔領域から所定の複数の特徴点とそれら特徴点の信頼度とを算出し、
   前記特徴点の信頼度に基づいて、前記顔領域において、前記人物の顔に前記マスクが覆われてない場合に行う前記第一照合処理と、前記人物の顔が前記マスクに覆われている場合に行う前記第二照合処理との何れを行うかを判定し、
   前記第一照合処理を行う場合には、前記顔領域の特徴点を用いて照合処理を行い、
   前記第二照合処理を行う場合には、前記複数の特徴点の信頼度に基づいて前記特定領域を広げ、前記特定領域内の特徴点を用いて照合処理を行う
   照合方法。
9. 照合装置のコンピュータを、
   画像に写る人物の顔領域から特徴点を検出した後に、前記顔領域において、前記人物の顔の一部のマスクの有無を判定する手段、
   前記マスクが無いと判定された場合には、学習して得られた第１のモデルを用いて第一照合処理を行う手段、
   前記マスクがあると判定された場合には、前記顔領域において、前記人物の顔が前記マスクにより覆われていない特定領域を特定し、前記特定領域内の特徴点と、学習して得られた第２のモデルとを用いて第二照合処理を行う手段、
   として機能させ、
   さらに、前記画像に写る人物の顔領域から所定の複数の特徴点とそれら特徴点の信頼度とを算出する手段、
   前記特徴点の信頼度に基づいて、前記顔領域において、前記人物の顔に前記マスクが覆われてない場合に行う前記第一照合処理と、前記人物の顔が前記マスクに覆われている場合に行う前記第二照合処理との何れを行うかを判定する手段、
   前記第一照合処理を行う場合には、前記顔領域の特徴点を用いて照合処理を行う手段、
   前記第二照合処理を行う場合には、前記複数の特徴点の信頼度に基づいて前記特定領域を広げ、前記特定領域内の特徴点を用いて照合処理を行う手段、
   として機能させるプログラム。

Images