JP7351333B2 - 画像処理装置、画像処理方法、画像処理システム - Google Patents

Description

本願は、２０１９年３月２２日出願の日本国出願、特願２０１９－０５５３３０号の優先権を主張すると共に、その全体が参照により本明細書に取り込まれる。
本開示は、画像処理装置、画像処理方法、及び画像処理システムに関し、例えば、本人確認を行うための画像処理装置、画像処理方法、及び画像処理システムに適用し得る。

従来、金融機関等に設置されるＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）では、キャッシュカードの磁気ストライプ又はＩＣチップに記録された口座情報の内容と、ＡＴＭを利用する顧客（ユーザ）によって画面の指示に従って入力された、例えば４桁の暗証番号とを、通信回線を介してホストコンピュータに通知し、ホストコンピュータ側で本人確認の処理を実施していた。

近年、顔認証等の生体認証方法が金融機関のＡＴＭを始め様々な分野で導入されつつある。例えば、ＡＴＭにカメラを設けて、顧客の顔画像を撮像し、事前に登録した口座開設者の顔データとの照合を行なうことにより、顔認証を行うシステムが存在する。

顔認証の精度を向上させるための一つの手段として、撮影画像の品質を向上させることが考えられる。顧客が撮影するカメラを正視すれば、それだけで撮影する顔画像の品質を向上させることができる。

例えば、特開２００２－０２４９１３号公報ではカメラ近傍にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）照明を設け、ＬＥＤを点灯させることにより、カメラへの誘導を行う例が開示されている。

しかしながら、特開２００２－０２４９１３号公報に記載の技術では、顔撮影の際の誘導が不十分であり、また、撮影画像の品質については特に考慮されていなかった。撮影画像の質が悪いと、正しく画像確認ができず、本人確認に支障をきたす結果となる。

また、特開２００２－０２４９１３号公報に記載の技術は、再度の撮影の際の誘導も存在せず、誘導手段として不十分なものであった。

そのため、顔認証を行う顧客への利便性を考慮した誘導手段を備える画像処理装置が望まれている。

本開示の第１の態様は、画像処理装置であって、（１）撮影画像を出力するカメラと、（２）前記カメラから出力された撮影画像を基に、該撮影画像が顧客の本人確認に適する画像であるか否かを判定する画像判定部と、（３）前記画像判定部が判定した結果、本人確認に適さない画像であるとの判定の場合、顧客に対し、誘導する誘導部とを備える。

本開示の第２の態様は、画像処理装置であって、（１）撮影画像を出力するカメラと、（２）前記カメラから出力された撮影画像を基に、該撮影画像のターゲットが所定レベルに達しているか否かを判定する画像判定部と、前記画像判定部が判定した結果、前記所定レベルに達していない判定の場合、音声及び又は画面で誘導する誘導部とを備える。

本開示の第３の態様は、画像処理装置であって、（１）撮影画像を出力するカメラと、（２）前記カメラの近傍に配置される発光体と、（３）前記カメラにより撮影し直す場合、前記発光体の面発光により顧客に対し誘導する誘導部とを備える。

本開示の第４の態様は、画像処理装置であって、（１）撮影画像を出力するカメラと、（２）前記カメラにより最初に撮影する第１の撮影の際、及び該第１の撮影の後に撮影し直す第２の撮影の際、顧客に対し誘導する誘導部とを備える。

本態様によれば、顔認証を行う顧客への利便性を考慮した誘導を行うことができる。

第１の実施形態の自動取引装置の制御系の構成を示すブロック図である。 第１の実施形態に係る認証システムの全体構成を示す全体構成図である。 第１の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。 第１の実施形態に係る自動取引装置の特徴動作（顔認証のための画像処理）を示すフローチャートである。 第１の実施形態に係る顔状態判定結果と当該判定結果に対応する音声ガイダンスの例を示す説明図（その１）である。 第１の実施形態に係る顔状態判定結果と当該判定結果に対応する音声ガイダンスの例を示す説明図（その２）である。 第２の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。 第２の実施形態に係る画像処理部の構成を示す図である。 第２の実施形態に係る自動取引装置の特徴動作（顔認証のための画像処理）を示すフローチャートである。 変形実施形態に係る自動取引装置の外観構成を示す外観斜視図（その１）である。 変形実施形態に係るセミセルフ機の外観構成を示す外観斜視図である。 変形実施形態に係る自動取引装置の外観構成を示す外観斜視図（その２）である。 第１の実施形態に係る画面誘導の一例を示す説明図である。 第１の実施形態に係る画面誘導の一例を示す説明図である。 第１の実施形態に係る画面誘導の一例を示す説明図である。 変形実施形態に係る自動取引装置の制御系の構成を示すブロック図である。

（Ａ）第１の実施形態
以下では、本開示の画像処理装置の第１の実施形態を、図面を参照しながら詳細に説明する。第１の実施形態では、本開示の画像処理装置をＡＴＭに適用した例について説明する。

（Ａ－１）第１の実施形態の構成
（Ａ－１－１）全体構成
図２は、第１の実施形態に係る認証システムの全体構成を示す全体構成図である。図２において、認証システム５は、ネットワークＮに接続可能な、自動取引装置１、ホストコンピュータ２、及び顔認証サーバ３を有して構成される。

ネットワークＮは、金融取引に関するデータを通信することができる通信網であり、例えば、専用網を適用することができる。また、ネットワークＮは、金融取引に関するデータを通信することができるのであれば公衆網としても良い。

自動取引装置１は、例えば、金融機関、駅、コンビニエンスストア、ホテル等に設けられている現金自動預け払い装置（ＡＴＭ）である。なお、自動取引装置１は、ＡＴＭに限らず、顔認証を行う装置であれば良く、その他にも、例えば、ＰＯＳレジ、セミセルフ機、券売機等でも良い。

自動取引装置１は、ネットワークＮを介して、ホストコンピュータ２と通信可能であり、例えば、振り込み取引、預け入れ取引（入金取引）、引き出し取引（出金取引）、等の各種金融取引を行うものである。なお、図２では、説明を容易にするために、１台の自動取引装置１のみ図示している。しかし、実際には、複数台の自動取引装置１のそれぞれが、ネットワークＮを介して、ホストコンピュータ２と接続する。

ホストコンピュータ２は、金融機関のホストコンピュータであり、自動取引装置１から取引に関する情報を取得すると、取得した取引に関する情報に基づいて、顧客が行なった取引の内容を管理するものである。

顔認証サーバ３は、自動取引装置１から送信されたカメラ等で撮影した顧客の顔画像と、予めデータベース又は顧客のカード媒体に登録した顧客の顔の画像データとを照合して本人であるか否かを判断するものである。なお、上記登録した顧客の顔の画像データは、例えば、顧客の顔が撮影された画像でも良く、又は、顔認証する際に使用される、顔の特徴点に関する情報等を含む特徴情報でも良い。

（Ａ－１－２）自動取引装置１の詳細な構成
図３は、第１の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。

図３において、第１の実施形態の自動取引装置１は、操作表示部１２、カメラ１３、紙幣入出口１４、硬貨入出口１５、及びレシート排出口１６を有する。

操作表示部１２は、例えば、取引種類の選択メニュー画面、各取引の操作画面、取引内容の確認画面等を表示したり、顧客が入力した入力情報を取り込んだりするものである。操作表示部１２は、例えば、タッチパネル方式の操作表示部を適用することができる。なお、操作表示部１２は、操作部と表示部とが一体となったタッチパネル方式のものに限らず、操作部と表示部とがそれぞれ物理的に別の構成のものであってもよい。

カメラ１３は、外部の映像（顧客の顔等）を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。

なお、自動取引装置１は、変形例として、カメラ１３で撮影する画像を表示するモニタをカメラ１３の近傍に備えても良い（又は操作表示部１２が当該機能を備えていても良い）。

紙幣入出口１４は、顧客が紙幣を挿入したり又は紙幣を取り出したりするものである。紙幣入出口１４は、例えば、開閉可能な開閉体を有するバケットタイプのものを用いても良いし、若しくは、開閉体を有しないバケットタイプのものを用いることができる。顧客が紙幣を投入するときには、例えば、開閉体を有するバケットタイプの場合、開閉体がバケットの開口部を開けた後、顧客はバケットの開口部に紙幣を投入し、その後自動取引装置１は、開閉体が閉じて投入された紙幣を取り込む。また自動取引装置１が紙幣を返却するときには、自動取引装置１はバケットに紙幣を繰り出し、その後、開閉体が開放する。
なお、紙幣入出口１４は、紙幣を投入する紙幣入口と紙幣を放出する紙幣出口とが一体となったものに限らず、紙幣入口と紙幣出口とがそれぞれ物理的に別の構成のものであってもよい。

硬貨入出口１５は、顧客が硬貨を投入したり又は硬貨を取り出したりするものである。硬貨入出口１５も、例えば、開閉体が開口部を開閉可能なバケットタイプのものを用いても良いし、若しくは、開閉体を有しないバケットタイプのものを用いても良い。この場合も、紙幣入出口１４と同様に、顧客が硬貨を投入するときには、例えば、開閉体を有するバケットタイプの場合、開閉体がバケットの開口部を開けた後、顧客はバケットの開口部に硬貨を投入し、その後自動取引装置１は、開閉体を閉じて投入された硬貨を取り込む。また自動取引装置１が硬貨を返却するときには、自動取引装置１はバケットに硬貨を繰り出し、その後、開閉体が開放する。なお、硬貨入出口１５は、硬貨を投入する硬貨入口と硬貨を放出する硬貨出口とが一体となったものに限らず、硬貨入口と硬貨出口とがそれぞれ物理的に別の構成のものであってもよい。

レシート排出口１６は、取引内容を印刷したレシートを排出するものである。

図１は、第１の実施形態の自動取引装置の制御系の構成を示すブロック図である。図１において、自動取引装置１は、制御部１０、記憶部２０、通信部３０、操作表示制御部４０、画像処理部５０、紙幣入出金部６０、硬貨入出金部７０、及び明細票発行部８０を有する。

制御部１０は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を中心に構成されており、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶部２０から所定のプログラムを読み出して実行することにより、各部を制御して入金取引、収納処理や出金取引等の種々の処理を行う。

制御部１０が備える認証部１１は、顔認証サーバ３及びホストコンピュータ２と連携して、顔認証及びＰＩＮ入力により本人確認のための認証処理を行う機能部である。

記憶部２０は、制御部１０が実行する処理プログラム等を記憶するものあり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成される。

通信部３０は、ネットワークＮを介して、ホストコンピュータ２、及び顔認証サーバ３と接続するためのネットワークインタフェースである。なお、通信部３０は、例えば、顧客の非接触ＩＣカード又は携帯端末（スマートフォン等）と無線通信することも可能である。

操作表示制御部４０は、制御部１０の制御の下、操作表示部１２の動作を制御するものである。操作表示制御部４０は、制御部１０から画面情報に基づいて、操作表示部１２に画面を表示させたり、又は操作表示部１２から入力された情報を制御部１０に与えたりするものである。

画像処理部５０は、制御部１０（認証部１１）の制御の下、顔認証サーバ３で顧客の顔認証（画像認証）を行うために適した画像の撮影を、顧客への誘導を供って行うものである。

紙幣入出金部６０は、制御部１０の制御の下、紙幣を金種別に収納・管理するものである。

硬貨入出金部７０は、制御部１０の制御の下、硬貨を金種別に収納・管理するものである。

明細票発行部８０は、制御部１０の制御の下、取引明細票に取引結果を印刷して、レシート排出口１６から発行（排出）を行うものである。

（Ａ－１－３）画像処理部５０の詳細な構成
画像処理部５０は、画像判定部５１及び誘導部５２を備える。

画像判定部５１は、顔認証サーバ３に通知する顔画像がベストショット（顔認証に適した状態の画像）であるか否かを判定する機能部である。ベストショットであるか否かの判定は、種々の要素を加味して判定して良いが、例えば、撮影対象の位置、撮影対象の向き、および撮影対象の大きさのうち少なくとも１つのパラメータにより、ベストショットであるか否か判定する。より具体的には、後述するように、例えば、「顔位置」、「顔向き」、「大きさ」の３個のパラメータにより、ベストショットであるか否か判定して良い。本実施形態では、上記パラメータを使って顧客の顔画像がベストショットであるか否か判定する場合を例に挙げて、以下説明する。画像判定部５１は、３個のパラメータが全てＧｏｏｄとなったときに撮影画像がベストショットと判定する。また、１個でもＢａｄのパラメータが存在すれば、誘導部５２の誘導によって再度顧客に撮影を促す。なお、本実施形態では、パラメータの評価としてＧｏｏｄ（良）又はＢａｄ（悪）の２段階だが、２段階よりも多い多段階で評価しても良く、この場合、例えば、全てのパラメータが最上位段階となったときに撮影画像がベストショットと判定されても良い。

誘導部５２は、自動取引装置１を利用する顧客の顔画像がベストショットになるまで繰り返し撮影するとき、例えば、「顔位置」、「顔向き」、「大きさ」のパラメータで、ベストショットであるか評価し、ベストショットでない場合、優先順位に従って、ベストショットに誘導するための音声及び／又は画像を出力する。誘導部５２の詳細は動作の項で述べる。

（Ａ－２）第１の実施形態の動作
次に、第１の実施形態に係る認証システム５（自動取引装置１）における取引処理（主に顔認証のための画像処理）を、図面を参照しながら詳細に説明する。

（Ａ－２－１）顔認証のための画像処理
図４は、第１の実施形態に係る自動取引装置の動作（顔認証のための画像処理）を示すフローチャートである。

自動取引装置１（制御部１０）は、顧客待ちの状態から、顧客からの何らかの取引（例えば、入金取引、出金取引、カードレス取引、支払取引、精算取引等）が選択されると（Ｓ１０１）、次のＳ１０２の処理を実行する。なお、カードレス取引の場合は、例えば、顧客からの選択がなくても次の処理が実行されてもよい（Ｓ１０１）。

制御部１０（認証部１１）は、操作表示部１２に本人確認のための認証処理の実行を開始する認証開始実行ボタン（図示せず）を表示し、顧客からのボタン押下（即ち、タッチ又は選択）を受け付ける（Ｓ１０２）。制御部１０は、顧客からの認証開始実行ボタンの押下を受け付けると、以下に示すように所定時間内の顔撮影を開始する。また、制御部１０は、認証開始実行ボタンを表示せず、上述のステップＳ１０１処理の後、即座に（又は所定時間後）次のステップＳ１０３の処理を開始しても良い。

画像処理部５０は、カメラ１３を用いて顔認証のための顧客の顔撮影処理を実行する（Ｓ１０３）。例えば、画像処理部５０は、操作表示部１２に撮影ボタン（図示せず）を表示し、撮影ボタンの押下により撮影を実行する。また、画像処理部５０は、撮影中では操作表示部１２にその旨を示す画面を表示しても良い。また、かかる例に限定されず、例えば、操作表示部１２により画面に確認ボタン（図示せず）が表示された後、画像処理部５０は、カメラ１３を用いて顔認証のための顧客の顔撮影処理を実行しても良く、上記撮影ボタン又は確認ボタンの表示とともに、「帽子を外して下さい」、「マスク又はサングラ
スを外して下さい」、または「帽子、マスク、サングラスを外して下さい」等のように、顧客が身に着けているものを外すよう促すメッセージを画面に表示しても良い。なお、上記メッセージを画面ではなく音声で出力してもよい。また、上記メッセージの画面表示とともに上記メッセージを音声で出力してもよい。

また、初回の撮影のみ、誘導部５２は、“正面を向いてください”等の音声ガイダンスをデフォルトで出力しても良く、上記音声ガイダンスと共に“正面を向いてください”等のメッセージを画面に出力しても良く、又は音声ガイダンスではなく上記メッセージを画面に出力しても良い。

なお、撮影する対象（ターゲット）は、本人（顔）そのものに限定されず、例えば運転免許証、社員証、マイナンバーカードの顔写真、又はスマートフォン等の電子デバイスに表示した顔写真等を利用しても良い。また、撮影する対象は、顔写真そのものではなく、本人の顔面情報をＱＲコード（登録商標）等で一次元又は二次元コード等のコード化した画像でも良い。

画像処理部５０（画像判定部５１）は、上述のステップＳ１０３の処理で撮影した顔画像がベストショット（顔認証に適した状態の画像）であるか否か判定する（Ｓ１０４）。画像判定部５１は、撮影画像がベストショットの場合には、後述するステップＳ１０６の処理を実行し、ベストショットでない場合には、次のＳ１０５の処理を実行する。

画像処理部５０（誘導部５２）は、撮影画像がベストショットでない場合には、例えば、顔位置、顔向き、大きさの各パラメータから、Ｂａｄとなる部分を解消するための誘導処理を実行する（Ｓ１０５）。そして、当該誘導処理（及び撮影処理）は、全てのパラメータがＧｏｏｄとなるまで（ステップＳ１０４の処理でベストショットと判定されるまで）、繰り返されることになる。なお、これ以上の誘導処理の詳細は、（Ａ－２－２）の項目で述べるものとする。

制御部１０は、上述のステップＳ１０４の処理で、撮影画像がベストショットと判定されると、通信部３０を介して、顔認証サーバ３に顔画像を含むデータを通知し、顔認証処理を依頼する（Ｓ１０６）。なお、顔認証サーバ３による認証が失敗だった場合には、制御部１０は、取引を終了して良い。

制御部１０は、上述のステップＳ１０６の処理で顔認証サーバ３から顔認証による本人確認がなされると、操作表示部１２に暗証番号（ＰＩＮ）の入力を受付ける操作画面（図示せず）を表示し、顧客からのＰＩＮ入力を受け付ける（Ｓ１０７）。

制御部１０は、ＰＩＮ入力を受け付けた後、通信部３０を介して、入力されたＰＩＮ、顔認証から特定される口座情報等を含む情報をホストコンピュータ２に通知する（Ｓ１０８）。

制御部１０は、ホストコンピュータ２により本人確認がなされた場合、上述のステップＳ１０１で選択された所定の取引を続行する（Ｓ１０９）。

（Ａ－２－２）ステップＳ１０５の処理（ベストショットへの誘導）の詳細
誘導部５２は、自動取引装置１を利用する顧客の顔画像をベストショットになるまで繰り返し撮影するとき、例えば、図５のリスト９１に示すように、顔位置、顔向き、大きさのパラメータで、Ｂａｄ分析し、優先順位に従って、ベストショットに誘導するための音声又は画像を出力する。なお、操作画面には、例えば、図１３Ａに示すような画面が表示される。

ここで、「顔位置」は、撮影画像内に顔が存在する位置であって、撮影画像内に顔が完全に収まっていればＧｏｏｄとなり、収まっていなければＢａｄとなる。「顔向き」は、補正範囲内であればＧｏｏｄとなり、補正範囲外であればＢａｄとなる。「大きさ」は、撮影画像内に顔が過不足なく収まっていればＧｏｏｄとなる。また、撮影画像内の顔が小さければ「Ｓｍａｌｌ」のＢａｄとなり、撮影画像内の顔が大きければ「Ｂｉｇ」のＢａｄとなる。

また、誘導部５２は、複数のパラメータがＢａｄとなった場合、例えば、「大きさ」＞「顔向き」＞「顔位置」の優先順位で音声出力する。言い換えれば、誘導部５２は、複数のパラメータがＢａｄとなった場合でも複数のＢａｄをまとめて解消させるような音声誘導は行わず、ひとつずつ解消できるような音声誘導を行う。

例えば、図５のリスト９１に示すように、「顔向き」と「大きさ」が双方ともＢａｄとなった場合には、「大きさ」のＢａｄの解消を顧客に促すような音声（大きさのＢａｄが「Ｓｍａｌｌ」なら”少し前に近づいてください”、「Ｂｉｇ」なら”少し後ろにさがってください”）を出力する。また、上記音声と共に、または音声とは別に、例えば、「大きさ」のＢａｄとして「Ｓｍａｌｌ」の解消を顧客に促す場合、”少し前に近づいてください”を表すイラスト／アニメーション又は顧客から見て画面に近づく方向に矢印が向くアイコン等を画面の、顔画像近傍、画面端部、又は画面隅部に表示しても良い。

なお、図５では、「顔位置」がＢａｄで、「顔向き」、及び「大きさ」がＧｏｏｄとなっている場合には、”正面を向いてください”と音声出力される例が示されているが、顔の位置によって、異なる音声出力を行っても良い。例えば、撮影画像内に対して、顔の位置が高い場合（顔の位置が上に行き過ぎて、下部分しか顔が存在しない場合）には、”少ししゃがんでください”と出力して良いし、一方、顔の位置が低い場合（顔の位置が下に行き過ぎて、上部分しか顔が存在しない場合）には、”少し背伸びしてください”と音声出力しても良い。また、誘導部５２は、「顔位置」のパラメータを省略し、図６のリスト９２に示すように、「顔向き」、及び「大きさ」のみを用いて誘導を行っても良い。また、上記音声出力とともに、または音声出力とは別に、上記”正面を向いてください”または”少し背伸びしてください”などを表すイラスト／アニメーション又は顧客から見て上方向に矢印が向くアイコン等を画面の、顔画像近傍、画面端部、又は画面隅部に表示しても良い。

また、誘導部５２は、音声誘導の代わりに又は音声誘導と共に、操作表示部１２（又は操作表示部１２とは別のモニタ（第２の表示部））に表示する画面を利用して誘導を行っても良い。例えば、誘導部５２は、撮影画像の枠と、リアルタイムの顔画像（動画）を画面に表示して、及び／又は、例えば、イラスト、アニメーション、又はアイコンのうち少なくとも一つを画面に表示して、顔画像が撮影画像の枠に収まるように誘導しても良い。

また、上記では誘導する回数については特に述べなかったが、誘導部５２は、誘導回数が閾値（例えば、２回）を超えると、音声誘導に代えて又は音声誘導と共に、上述の画面誘導を行っても良い。また、以下に記載のような画面誘導を音声誘導と共に又は個別に行っても良い。例えば、「顔位置」がＢａｄの場合、図１３Ｂに示すように、撮影画像内に顔位置を合わして納めてもらえるように画面に撮影画像範囲の四角（例えば緑色の四角４０１）及び／又は、現在の顔位置の四角（例えば赤色の四角４０２）を表示して、顧客に動いてもらって、納めてもらうようにしても良い。他にも、画面に撮影画像範囲の四角を表示し、その中に現在のカメラ画像を表示して、“カメラ画像がこの枠の中に納まるようにしてください”というような音声誘導及び／又は画面誘導を行っても良い。なお、カメラ画像は、顧客の顔では無くアバター（体の動きに連動するアバター）でも良い。上記アバターであれば、背後から第三者により顧客の顔画像が撮影されてしまう可能性が低減し得る。

なお、上記画面誘導は、上述した”少し前に近づいてください”等の音声誘導を行っても改善しない場合に、上記緑色の四角４０１及び／又は赤色の四角４０２を画面に表示しても良く、また、顔画像を撮影する当初から上記四角を画面に表示しても良い。また、図１３Ｃに示すように、画面４００には確認ボタン４０３が表示されており、上記画面誘導及び／又は音声誘導により、顔画像が撮影画像の枠に適切に収まると、顧客に上記確認ボタン４０３を選択させ、その後に画像処理部５０は撮影処理を実行しても良く、又は、上記確認ボタン４０３が表示されず、顔画像が撮影画像の枠に適切に収まった状態であると画像処理部５０が判断すると、画像処理部５０が撮影処理を実行しても良い。また、上記画面誘導及び／又は音声誘導が開始後、所定時間経過すると、画像処理部５０は撮影処理を実行する場合でも良い。

また、誘導部５２は、上述のステップＳ１０２の後、即座にベストショットの誘導を行っても良い。即ち、顧客が撮影ボタンを押下せず、カメラ１３に向かって顔位置を調整している最中でも、ステップＳ１０５の誘導処理を常時機能させても良い。この場合、３個のパラメータが全てＧｏｏｄとなったときには、顧客に撮影ボタンの押下を促す音声を出力しても良い（又は顧客にボタンを押下させずに自動で撮影しても良い）。

さらに、自動取引装置１がハンドセットを備えて、顧客がハンドセットを使用する場合には、ハンドセットによる音声ガイダンスを出力しても良い。また、顧客がハンドセットを使用する際には、制御部１０（認証部１１）は顔画像による認証から音声による認証に自動的に（又は顧客からの選択によって）切り替えても良い。

音声による認証の場合には、例えば、音声により声が小さい／大きい／ゆっくり話す等の誘導を行っても良い。

（Ａ－３）第１の実施形態の効果
第１の実施形態によれば、画像処理部５０が、顧客を繰り返し誘導してベストショットとなる顔画像を取得（撮影）することとした。ベストショットとなる顔画像は、顔画像認証の際に正解データとの比較対象となるため、顔画像認証がいかなるロジックを用いたとしても、従来よりも確実に顔認証の精度を向上させることができる。

また、本実施形態の自動取引装置１は、顔認証とＰＩＮにより本人確認を十分行えるため、キャッシュカードそのものが不要となった。その他にも、キャッシュカードが発行されている場合に、例えば、有事の際に罹災され、キャッシュカードを紛失したときでも、顔認証等により本人確認が十分行えるため、現金の引き出し等の取引を行うことができる。

（Ｂ）第２の実施形態
次に、本開示に係る画像処理装置の第２の実施形態を、図面を参照しながら詳細に説明する。第２の実施形態では、本開示の画像処理装置をＡＴＭに適用した例について説明する。また、第２の実施形態では、ＡＴＭが顧客の顔画像を撮影する場合を例に挙げて、以下に説明する。

（Ｂ－１）第２の実施形態の構成
第２の実施形態に係る認証システム５の全体構成は、第１の実施形態の図２に示す構成と同一又は対応する。

図７は、第２の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。

第２の実施形態に係る自動取引装置１は、上述の図３で示した構成（操作表示部１２、カメラ１３、紙幣入出口１４、硬貨入出口１５、及びレシート排出口１６）に加えて、ＬＥＤ１７を備える。

ＬＥＤ１７は、カメラ１３の近傍に配置され、後述するようにカメラ１３によって顧客の顔を撮影する際、青色の発光ダイオードを点灯させることによって、顧客を正面に向かすための誘導機能を発揮するものである。ＬＥＤ１７の照明の色は青色に限定されるものではないが、周囲の発光体とは異なる色を採用することが、顧客の注意を引く観点からは望ましい。

第２の実施形態に係る自動取引装置１の制御系の構成は、基本的には上述の図１で示した構成と同様である。ただし、画像処理装置としての画像処理部５０の代わりに図８の画像処理部５０Ａが適用される点が異なる。また、制御部１０の認証部１１の処理が第１の実施形態と一部異なる。

第２の実施形態の認証部１１は、顔認証の段階で失敗した場合に、顧客を特定する情報の質問及びその回答により認証処理を行う点が第１の実施形態と異なる。

画像処理部５０Ａは、正面誘導部５３を備え、画像認証に適した画像を取得するための処理を行う。正面誘導部５３は、上述のＬＥＤ１７を制御し、顔撮影の際にはＬＥＤ１７を点灯させ、顔撮影開始直後、顔撮影中、又は顔撮影終了後にはＬＥＤ１７を消灯させる。

（Ｂ－２）第２の実施形態の動作
次に、第２の実施形態に係る認証システム５（自動取引装置１）における取引処理（主に顔認証のための画像処理）を、図面を参照しながら詳細に説明する。

（Ｂ－２－１）顔認証のための画像処理
図９は、第２の実施形態に係る自動取引装置の特徴動作（顔認証のための画像処理）を示すフローチャートである。なお、図９において、第１の実施形態に係る図４の特徴動作と同一又は対応する処理については、同一符号を付して示している。また、第１の実施形態に係る図４の特徴動作と同一又は対応する処理の詳細な説明は、重複するため省略する。

先述のステップ１０２の処理の後、若しくは取引選択画面から入金取引等の取引ボタンが顧客に選択されると、又は取引ボタンが選択された後、正面誘導部５３は、顧客をカメラ正面に向かせるために、ＬＥＤ１７を点灯させる（Ｓ２０１）。なお、ＬＥＤ１７は点滅しても良い。

ＬＥＤ１７を点灯後、画像処理部５０Ａは、先述のステップ１０３の処理と同様に顧客の顔撮影を行う（Ｓ２０２）。顧客の顔撮影開始直後、顔撮影中、又は顔撮影を行った後、ＬＥＤ１７は消灯する。

顔撮影後、認証部１１は、先述のステップ１０６の処理を実行し、顔認証サーバ３による顔認証の結果の成否を判定する（Ｓ２０３）。認証部１１は、顔認証サーバ３による顔認証が成功だった場合には、上述のステップ１０７以降の処理を実行し、一方、顔認証サーバ３による顔認証が失敗だった場合には、次のＳ２０４の処理を実行する。

認証部１１は、自動取引装置を利用する顧客を特定する情報の質問を操作表示部１２に表示し、顧客からの入力を受け付ける（Ｓ２０４）。例えば、顧客を特定する情報の質問は、誕生日、ファーストネーム、電話番号、又は予め設定された秘密の質問（両親の一方の旧姓は何か等）である。

認証部１１は、通信部３０を介して、顔認証サーバ３（質問事項に対する答えを保持するデータベースを備える）に、入力された情報が正しいか否かを問い合わせる（Ｓ２０５）。認証部１１は、顔認証サーバ３から正答との返信がなされた場合には、本人確認がされたとみなして、上述のステップ１０７以降の処理を実行し、一方、誤答との返信がなされた場合には、顧客に再度質問の回答を促すか（上述のステップＳ２０４）、又は、取引を終了する。

なお、質問事項に対する答えを自動取引装置１が保持している場合には、顔認証サーバ３に問い合わせる必要はなく、自動取引装置１が質問に対する回答により顧客の本人確認を行っても良い。

（Ｂ－２－２）ステップＳ２０２の処理の変形例について
画像処理部５０Ａは、撮影を行う際に、操作表示部１２に“撮影を開始する”、“撮影を開始するので顔を上げて下さい”、“撮影を開始するので照明の方を向いて下さい”等のメッセージ、又はこれらをアニメーション、静止画（又はアイコン）、動画化したものを表示しても良い。

さらに、画像処理部５０Ａは、撮影中には、操作表示部１２に“動かないでください”等のメッセージ又はこれらをアニメーション、静止画（又はアイコン）、動画化したものを表示又は音声出力と共に表示しても良い。

上記の表示は、操作表示部１２の任意の箇所に行っても良いが、なるべくカメラ１３に向かって顔を上げやすくするために、画面の上部に表示するのが好ましい。また、上記メッセージ等を表示するデバイスは、操作表示部１２ではなく、例えば、自動取引装置１の筐体の天板や天板上部又はカメラ１３の近傍に別個のモニタを設けて、そのモニタに表示又は音声出力と共に表示しても良い。

また、画像処理部５０Ａは、顧客の選択により複数回の顔撮影を行っても良い。画像処理部５０Ａは、再度撮影を行う際に、操作表示部１２に“もう一度撮影します”等のメッセージ又はこれらをアニメーション、静止画（又はアイコン）、動画化したものを表示しても良い。

（Ｂ－３）第２の実施形態の効果
第２の実施形態によれば、ＬＥＤ１７が、顔撮影の際に顧客をカメラ１３正の面に誘導させる機能を発揮するために、顔認証に適した顔画像を撮影することができる。そのため、第２の実施形態は、第１の実施形態で述べたものと同様の効果を奏する。

（Ｃ）他の実施形態
上述した各実施形態においても種々の変形実施形態を言及したが、本開示は、以下の変形実施形態にも適用できる。また、本開示は、上述した第１又は第２の実施形態に記載の構成要素の全部又は一部を組み合わせた実施形態にも適用できる。

（Ｃ－１）上述した各実施形態の自動取引装置において、顔周辺の照度不足を補うため、又は照度過大を軽減するために、例えば、自動取引装置１の操作表示部１２近傍、ＬＥＤ１７近傍又は自動取引装置１筐体の天板付近にＬＥＤ照明（例えば、白色）を追加しても良い。なお、ＬＥＤ照明は、例えば、輝度調整する等によって上記操作表示部１２が役割を果たしても良い。顧客が自動取引装置１の前に立った時点で、白色のＬＥＤを点灯させる。そして、自動取引装置１は、顔撮影を実施する際に、照度過不足を判定し、ＬＥＤの照度を調整しても良い。

（Ｃ－２）上述した各実施形態の自動取引装置１では、顔認証とＰＩＮにより、認証を行っていたが、ＰＩＮの代わりに指紋又は手のひら静脈認証（又は、虹彩認証、声帯認証など）を用いても良い。また、自動取引装置１は、ＰＩＮ入力を不要とし顔認証で本人確認を行っても良い。顔認証のみで本人確認を行う場合、ＰＩＮを入力する入力部は備えなくても良い。

（Ｃ－３）上述した各実施形態の認証システム５では、顔認証サーバ３により、顔認証を行う例を示したが、自動取引装置１が、予め顧客の顔画像データを記憶部２０に記憶し、自動取引装置１内で、撮影画像と記憶データとを比較して本人確認を行っても良い。

（Ｃ－４）上述した各実施形態の取引では、顧客はカードを使用しない場合を例に挙げて説明した。しかしながら、かかる例に限定されず、カードを使用する場合であっても良い。つまり、自動取引装置１には、図１４に示すように、顧客のカードの磁気ストライプ及び／又はＩＣチップから顧客に関する情報を読むカード処理部９０が備わっており、顧客はカードインタフェースに、カードを投入、かざす、若しくは上下又は左右方向にスライド（又はスワイプ）する。上記カードインタフェースは、例えば、カード投入口やカードを搬送するカード搬送手段やカードから顧客情報を読む手段等を有する場合や、顧客がかざしたカードから非接触に無線通信により顧客情報を読む無線通信手段を有する場合や、及び／又は顧客がスライド（又はスワイプ）したカードから顧客情報を読む手段を有する場合が考えられる。顔認証の前後又は顔認証中に、顧客のカードから顧客情報を読み、顧客情報を利用し顔認証を行う、及び／又は、顧客情報を利用して本人確認（ＰＩＮ入力、生体認証）しても良い。なお、顧客情報には顔認証や静脈認証等に必要な生体情報が含んでも良い。また、顧客情報に生体情報が含まない場合は、当該顧客情報を利用して自動取引装置１又は外部装置（サーバ等）が当該生体情報を取得しても良い。

（Ｃ－５）上述した各実施形態の取引では、顧客により取引が選択される場合を例に挙げて説明したが、かかる例に限定されず、例えば、店員又は係員（オペレータ）により支払、決済、または精算などの取引が選択される場合でも良く、かかる場合、画像処理装置は、例えば、ＰＯＳレジ、セミセルフ機、セルフ機、又は券売機等に適用される。ＰＯＳレジ、セミセルフ機の場合、店員又は係員によりＰＯＳレジで取引又は顧客の本人確認が選択されると、ＰＯＳレジのカメラ又はＰＯＳレジに接続するセミセルフ機のカメラで顧客の顔撮影が行われる。なお、セミセルフ機が画像処理装置として顧客の顔撮影を行う場合、ＰＯＳレジにおける店員又は係員からの取引又は顧客の本人確認の選択は、セミセルフ機の通信部において受信される。また、画像処理装置が、例えばセルフ機又は券売機等に適用される場合、顧客により取引が選択され、顧客の顔撮影が行われる。

（Ｃ－６）上述した各実施形態の顔認証では、顧客の顔を撮影する場合を例に挙げて説明したが、かかる例に限定されず、例えば、免許証、パスポート、またはマイナンバーカード等の顔画像を撮影する場合、又は、顔の特徴情報など顔認証に必要な顧客の顔情報を有する２次元バーコードを撮影する場合でも良い。また、上述した各実施形態の顔認証では、顧客の顔の撮影により生成される顔画像と、カード又は顔認証サーバ３等に登録済の顔認証に必要な画像データ又は生体情報（指紋情報、顔の特徴情報等）を基に認証が行われる場合を例に挙げて説明したが、かかる例に限定されず、例えば、上記顧客の顔の撮影により生成される顔画像と、免許証、パスポート、若しくはマイナンバーカードの写真から撮影された顔画像を基に認証が行われる場合でも良い。かかる場合、例えば、第１の撮影で、顧客の顔の撮影が行われ、第２の撮影で、上記免許証等の媒体の顔画像の撮影が行われるが、上記第１の撮影と第２の撮影の順番は逆でも良い。または、スマートフォン等の携帯端末に表示される上記顔の特徴情報がコード化されたコード情報が撮影され、当該撮影されたコード情報と、顧客の顔を撮影した顔画像を基に認証が行われる場合でも良い。または、上記撮影の代わりに、例えば、上記免許証、パスポート、マイナンバーカードのＩＣチップ又は携帯端末に記憶された上記顔画像データ又は上記生体情報が、通信部３０を介して送信されても良い。
（Ｃ－７）上述した各実施形態の顔認証では、下位の自動取引装置１等の装置から受信した顔画像を基に顔認証サーバ３が顔認証する場合場合を例に挙げて説明したが、かかる例に限定されず、例えば、自動取引装置１又はＰＯＳレジ、セミセルフ機、セルフ機、又は券売機等の下位装置が顔認証する場合でも良い。かかる場合では、顧客の顔を撮影した顔画像を基に認証するため、上記下位装置は上記登録済の顔認証に必要な画像データ又は生体情報（例えば、指紋情報、顔の特徴情報等があり得る）を記憶するか、又は、上記下位装置は、上記免許証、パスポート、マイナンバーカード、携帯端末、又は上位装置（顔認証サーバ３等）から上記顔画像データ又は上記生体情報を撮影又は通信により取得する。

（Ｃ－８）上述した第２の実施形態では、自動取引装置１内部のカメラ１３を用いて顧客の顔を撮影する例を示したが、例えば、図１０に示すように外部のカメラを用いても良い。図１０では、自動取引装置１を監視する監視カメラ２００が示されている。監視カメラ２００は、ＬＥＤ１７と同様の機能を備える照明部２０１を備え、照明部２０１は、顧客への誘導手段として機能する。

（Ｃ－９）上述した第１又は２の実施形態では、画像処理装置が適用される装置として、ＡＴＭを例に挙げて説明したが、第１の実施形態と同様に、顔認証を行う装置であれば良く、例えば、ＰＯＳレジ、セミセルフ機、券売機等でも良い。

また、これらの装置では、ＬＥＤの代わりに、パトランプを誘導手段として用いても良い。例えば、図１１では、顧客の顔を撮影するカメラ３０１と、カメラ３０１の近傍に設置され、顧客の顔を撮影する際に、色を変えて点灯または点滅するパトランプ３０２が示されている。

（Ｃ－１０）上述した第２の実施形態では、顔撮影の際、カメラ１３への誘導手段として、ＬＥＤ１７を点滅させる例を示したが、誘導手段はこれに限定されるものではなく、その他にも、レーザー光やプロジェクトションマッピング等を適用することができる。例えば、自動取引装置１（カメラ１３）が、スマートフォン等に表示されたＱＲコード（登録商標）（顧客の顔情報が２次元コード化された画像）を読み取って、顔認証する場合には、上記ＱＲコード（登録商標）等のコードの撮影の際にレーザー光などの光を照射する。照射される光は、照射面として所定領域の大きさを有しても良い。照射された光の軸線上／照射面に上記コードの全部又は一部が入ると、カメラ１３は上記コードを撮影することができる。したがって、例えば、顧客はカメラ１３近傍のレーザー光に向かってスマートフォンを近づけて翳すことになる。

（Ｃ－１１）上述した第２の実施形態では、カメラ１３の近傍に１個のＬＥＤ１７のみを備える例を示したが、図１２に示すように複数個備えても良い。この場合には、顔撮影する際に、外側のＬＥＤ１７から順々に点灯し、最後にカメラ１３の最近傍のＬＥＤ１７が点灯しても良い（これの点灯動作は繰り返し行っても良い）。また、ＬＥＤ１７の代わりに、プロジェクションマッピングを用いて同様の点灯動作を行っても良い。

（Ｃ－１２）上述した第２の実施形態でも、第１の実施形態の変形例と同様に、自動取引装置１がハンドセットを備えて、画像ではなく音声による認証を行っても良い。

（Ｃ－１３）変形例として、自動取引装置１又はＰＯＳレジ、セミセルフ機、セルフ機、又は券売機等に適用される画像処理装置は、上述した第１及び第２実施形態、（Ｃ－１）～（Ｃ－１１）で述べた変形例の構成及び機能の全部又は一部を組み合わせて使用しても良い。

（Ｃ－１４）上述した各実施形態では、画像処理装置が適用される装置として、ＡＴＭを例に挙げて説明したが、例えば、顔認証を行う貸金庫又は夜間金庫（金庫ドア開錠管理装置）にも適用することができる。例えば、顧客が契約する金庫を使用するために、カメラを備える金庫ドア開錠管理装置に、先に述べたものと同様の音声誘導及び／又は画像誘導を供なった顔（又はＱＲコード（登録商標）等）の撮影を行い、撮影した画像を顔認証サーバ（認証用の顔データを記憶するデータベースを備える）に通知して顔認証を行う。金庫ドア開錠管理装置は、顔認証による本人確認後、顧客が契約する金庫を解錠しても良いし、金庫を解錠する鍵（カードキーを含む）を排出するか、又は顧客に鍵が取り出される状態にしても良い。また、金庫ドア開錠管理装置は、先に述べたものと同様に、顔認証に加えて、ＰＩＮ入力によって本人確認を行っても良い。ＰＩＮによって認証する場合には、金庫ドア開錠管理装置は、ＰＩＮを入力する入力部を備える必要がある。また、金庫ドア開錠管理装置のカメラには、先に述べたような正面誘導手段としての照明部を備えても良い。

さらに、上記で述べた例に限らず、変形例の金庫ドア開錠管理装置は、上述した第１及び第２実施形態、（Ｃ－１）～（Ｃ－１１）で述べた変形例の構成及び機能の全部又は一部を組み合わせて使用しても良い。

（Ｃ－１５）さらに、上述した各実施形態では、自動取引装置１又はＰＯＳレジ、セミセルフ機、セルフ機、又は券売機等に適用される画像処理装置が画像判定部５１を備え、顧客の顔が撮影された顔画像が顔認証に適した顔画像であるか判定していたが、例えば、当該画像判定部５１はホストコンピュータ２又は顔認証サーバ３に備わっても良い。かかる例では、上記画像処理装置の通信部３０は、顧客の顔を撮影した顔画像データを、画像判定部５１を備えるホストコンピュータ２又は顔認証サーバ３に送信し、顔状態判定結果データを受信する。ホストコンピュータ２又は顔認証サーバ３には、顔状態判定結果データ等のデータを送信／受信する通信部が備わる。顔状態判定結果データには、例えば、顧客誘導の要／否のフラグが設定されても良いし、顔画像の状態が良い／悪いのフラグが設定されても良いし、顔位置・顔向き等の各パラメータ値が設定されても良い。また、上記パラメータ値は、例えば、顧客誘導が必要な場合又は顔画像の状態が悪い場合に、顔状態判定結果データに設定されても良い。

Claims (6)

1. 撮影画像を出力するカメラと、
   前記カメラから出力された撮影画像を基に、前記撮影画像が顧客の本人確認に適する画像であるか否かを判定する画像判定部と、
   前記画像判定部が判定した結果、本人確認に適さない画像であるとの判定の場合、顧客に対し、誘導する誘導部と、
   画面を表示すると共に顧客からの入力を受け付ける操作表示部と、
   を備え、
   前記画像判定部は、前記カメラから出力された撮影画像を基に、前記撮影画像のターゲットが所定レベルに達しているか否かを判定し、
   前記誘導部は、前記画像判定部により、前記所定レベルに達していないと判定された場合、顧客に対し、音声及び又は画面で誘導し、
   前記ターゲットは、顧客の顔であり、
   前記画像判定部による判定結果において、前記顧客の顔の向き及び／又は顔の大きさが所定レベルに達していない場合、前記誘導部は、前記顔の向き及び／又は顔の大きさが所定レベルに達するよう誘導を行い、
   前記誘導が、前記操作表示部に、撮影画像の枠と、前記顧客のリアルタイムの顔画像の動画と、前記顧客が選択可能な確認ボタンと、を表示することを含み、
   前記顧客の前記顔画像が前記撮影画像の枠内に収まった場合に、前記顧客に確認ボタンを選択させることで、前記カメラによる撮影を行い、
   前記誘導部は、前記カメラにより最初に撮影する第１の撮影の際、及び前記第１の撮影の後に撮影し直す第２の撮影の際、顧客に対し誘導し、
   前記第１の撮影の際の誘導は、撮影画像内のターゲットを前記カメラに向ける誘導であり、前記第２の撮影の際の誘導は、前記ターゲットの撮影レベルが所定レベルに達するようにする誘導である、
   画像処理装置。
2. 撮影画像を出力するカメラと、
   前記カメラの近傍に配置される発光体と、
   前記カメラの近傍に配置され、撮影対象に対する照度を調整するための照明体と、
   前記カメラから出力された撮影画像を基に、前記撮影画像が顧客の本人確認に適する画像であるか否かを判定する画像判定部と、
   前記画像判定部が判定した結果、本人確認に適さない画像であるとの判定の場合、顧客に対し、誘導する誘導部と、
   を備え、
   前記誘導部は、前記カメラにより撮影し直す場合、撮影前に前記発光体の面発光により顧客に対し誘導し、
   前記照明体は、前記カメラによる撮影の際に、撮影対象に対する照度を調整するよう照明し、
   前記発光体と前記照明体とは、異なる色の光を発光する、
   画像処理装置。
3. 前記発光体は青色の光を発光し、前記照明体は白色光を照明する、請求項２に記載の画像処理装置。
4. 前記カメラによる撮影が終了後、顧客によるＰＩＮの入力を受け付ける入力部をさらに備える請求項１～請求項３のいずれか一項に記載の画像処理装置。
5. 取引又は顧客の本人確認の選択を受け付ける入力部をさらに備え、
   前記入力部において店員又は係員からの取引又は前記顧客の本人確認の選択が受付けられた場合、前記画像判定部は、前記撮影画像に対し判定する、請求項１～請求項４のいずれか一項に記載の画像処理装置。
6. 前記画像処理装置と接続する外部装置から、取引又は顧客の本人確認の選択を受信する通信部をさらに備え、
   前記通信部において店員又は係員からの取引又は前記顧客の本人確認の選択が受信された場合、前記画像判定部は、前記撮影画像に対し判定する、請求項１～請求項５のいずれか一項に記載の画像処理装置。