JP7341001B2

JP7341001B2 - 情報処理装置、制御方法およびプログラム。

Info

Publication number: JP7341001B2
Application number: JP2019163277A
Authority: JP
Inventors: 匡平武田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-09-06
Filing date: 2019-09-06
Publication date: 2023-09-08
Anticipated expiration: 2039-09-06
Also published as: JP2021043546A; US20210073562A1; US11462056B2

Description

本発明は、顔認証ログイン機能を備えた情報処理装置、制御方法およびプログラムに関する。

顔画像をユーザの識別情報として用いる顔認証ログイン機能を備えた情報処理装置が知られている（特許文献１参照）。また、複数のユーザのボタンを画面に表示して、ユーザが自分のボタンを押下する簡易なログイン機能を提供する情報処理装置がある(特許文献２参照)。

特開２０１５－３５１７８号公報特開２０１５－２２７０４８号公報

顔認証のシステムを利用する場合にユーザの顔画像を登録する必要があるが、管理者が多くの顔画像を予め撮影して、それらをユーザアカウントと紐づけて登録するのは手間がかかり管理も煩雑になるという課題がある。ユーザ自身が登録作業を行う場合も、ガイドに従って登録ステップを踏む必要があり登録に手間がかかってしまう。

本発明は、上記課題を鑑みてなされたもので、管理者が介在することなく、またユーザに登録ステップを意識させることなく顔画像を登録することを可能とし、顔認証システムの利便性を向上させることを目的とする。

上記目的を達成するために本発明は以下の構成を有する。
本発明の一側面によれば、顔認証に基づく第１の方式のログインに失敗した場合に、第２の方式のログインの選択を受け付ける選択手段と、
前記第２の方式のログインの選択に応じて、前記第２の方式のログインを行うログイン手段と、
前記第２の方式のログインの選択に応じて、ユーザを撮影し、撮影した画像から取得した顔データを前記第１の方式のログインに用いる前記ユーザの顔データとして顔認証データベースに登録する登録手段と
を有し、
前記選択手段は、ユーザが前記第１の方式のログインに失敗した場合に、前記ログイン手段により用いられるアカウント情報が登録済のユーザのうち、前記顔認証データベースに顔データが未登録のユーザに対応するオブジェクトを表示し、前記オブジェクトの選択を、選択された前記オブジェクトに対応するユーザについての第２の方式のログインの選択として受け付け、
前記登録手段は、前記第２の方式のログインの選択に応じて、撮影した前記画像から取得した前記顔データを、選択された前記オブジェクトに対応するユーザの顔データとして前記顔認証データベースに登録することを特徴とする情報処理装置が提供される。

本発明によれば、管理者が介在することなく、またユーザに登録ステップを意識させることなく顔画像を登録することを可能とし、顔認証システムの利便性を向上させることが可能となる。

システム構成を示す図である。ＭＦＰ１０１のハードウェア構成を示す図である。システムにおけるソフトウェア構成を示す図である。ＭＦＰ１０１の操作部に表示されるユーザインタフェースを示す図である。顔認証処理を示すフローチャートである。顔認証後のシンプルログイン画面を示す図である。複数の顔を検知した際の撮影画像を示す図である。印刷ジョブ受信時のユーザ登録を示すフローチャートである。顔登録処理を示すフローチャートである。顔登録の詳細画面を示すフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
＜システム構成＞
図１は、本発明を適用した画像形成装置を含む画像形成システム（あるいは顔認証システムと呼ぶこともある。）を示す構成図である。ＭＦＰ１０１はＭＦＰ(Multifunction Peripheral、多機能周辺機器)であり本実施形態の発明を適用した情報処理装置である。ＭＦＰ１０１はカメラユニットを用いてＭＦＰ１０１に近づくユーザを撮影し顔認証を実施する。顔認証の結果がユーザのログインを許可する特定の条件を満たす場合にＭＦＰ１０１はユーザを自動ログインさせる。顔認証に基づいて自動ログインさせる条件を満たさない場合は、顔認証結果を利用したシンプルログイン機能を代替ログイン手段としてユーザに提供する。なおシンプルログイン機能とは、ＭＦＰ１０１が印刷ジョブの受信時に当該ジョブのユーザ名を元にしてユーザ登録を行う機能と、登録されたユーザに対応するオブジェクト（例えばボタン）を画面に表示してユーザに自分のボタンを選択させてログインさせる機能とを含む。本実施形態ではさらにこのシンプルログイン機能に顔認証に用いる顔データの登録を組み合わせているがその詳細については例えば図５、図９等を参照して後で説明する。なお顔認証を第１の方式の認証（あるいはログイン）、シンプルログインを第２の方式の認証（あるいはログイン）と呼ぶことがあり、またこの第１と第２は入れ替わることがある。

顔認証サーバ１０２は、認証の要求元から顔データを受信して顔認証を実施し、認証結果（候補者の識別子とスコア）を認証の要求元へと返す。顔データは、撮影した顔画像そのもの、もしくは顔画像から既存の技術により顔画像の特徴量を抽出した特徴データである。顔認証は、例えば、顔認証サーバ１０２に保持された登録済みユーザの顔画像の特徴データと、要求元から受信した顔画像の特徴データとの間で、類似度を評価することで行われる。そして一定の基準値を超えたスコアが得られたユーザを候補者としてそのＩＤとスコアなどを要求元に返す。ＭＦＰ１０１と顔認証サーバ１０２は、ＬＡＮやインターネットを介して接続される。本実施形態では、顔認証サーバ１０２は、クラウド上の仮想サーバとして構築されたサービスであるとするが、イントラネットに設定されたサーバでも良いし、ＭＦＰ１０１内部に顔認証機能が組み込まれていても良い。なお、顔認証ログイン機能とは顔認証を行いログインさせる機能のことを指しているが、単に顔認証機能と呼称することもある。

ＰＣ（パーソナルコンピュータ）１０３はＭＦＰ１０１に印刷ジョブを送信する情報処理装置である。ＭＦＰ１０１は印刷ジョブ受信時にＰＣ１０３のユーザ名でユーザ登録する事が可能である。ＰＣ１０３はＭＦＰ１０１とＬＡＮやインターネットを介して接続される。

＜ＭＦＰのハードウェア構成＞
図２は、ＭＦＰ１０１のハードウェア構成を示す簡略図である。ＣＰＵ２０１はＭＦＰ１０１全体の動作を制御する中央演算装置（プロセッサ）である。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３は揮発性メモリであり、ＲＯＭ２０２及びＨＤＤ２０４に格納された各種制御プログラムを展開するための一時記憶領域として用いられる。

ＲＯＭ２０２は不揮発性メモリであり、ＭＦＰ１０１のブートプログラムなどが格納されている。ＨＤＤ２０４はＲＡＭ２０３と比較して大容量な不揮発性のハードディスクである。ＨＤＤ２０４には、ＭＦＰの制御用プログラムが格納されている。また、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）やアプリケーションプログラムもＨＤＤ２０４に格納されている。

ＣＰＵ２０１はＭＦＰ１０１の起動時、ＲＯＭ２０２に格納されているブートプログラムを実行する。このブートプログラムは、ＨＤＤ２０４に格納されているＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）のプログラムを読み出し、ＲＡＭ２０３上に展開するためのものである。ＣＰＵ２０１はブートプログラムを実行すると、続けてＲＡＭ２０３上に展開したＯＳのプログラムを実行し、ＭＦＰ１０１の制御を行う。また、ＣＰＵ２０１は制御用プログラムによる動作に用いるデータもＲＡＭ２０３上に格納して読み書きを行う。

なお、ＭＦＰ１０１は、１つのＣＰＵ２０１が後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、複数のＣＰＵやマイクロプロセッサ（ＭＰＵ）が協働して後述するフローチャートに示す各処理を実行するようにすることもできる。また、後述する処理の一部をＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェア回路を用いて実行するようにしても良い。

操作部２０５は、タッチ操作可能なディスプレイであり、後述する各種ユーザインタフェースは操作部２０５に表示される。プリンタ２０６は、通信部２０７を介して外部から受信した印刷データをプリントするプリンタエンジンである。通信部２０７は、インターネットやオフィスのＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）に接続する為のネットワークインタフェースである。

ＩＣカードリーダ２０８は、ＩＣカードからユーザ認証に使用する情報を読み出す為の装置であり、ICカード認証を実現するために必要なユニットである。カメラ２０９は、ＭＦＰ１０１を利用するユーザの顔を撮像する為のカメラユニットである。カメラ２０９は、ＵＳＢや無線ＬＡＮを介して接続可能な外付けのカメラであっても良い。このほか不図示ではあるが、スキャナユニットも備えられている。

＜ソフトウェア構成＞
図３は、ＭＦＰ１０１、顔認証サーバ１０２のソフトウェア構成を示す簡略図である。
＜顔認証サーバ１０２のソフトウェア構成＞
顔認証サーバ１０２のソフトウェア構成について説明する。ＲＥＳＴサービス３１０は、インターネットを介して接続する端末（ＭＦＰ１０１を含む）から顔データの登録や顔認証の要求をＲＥＳＴ（ＲＥｐｒｅｓｅｎｔａｔｉｏｎａｌＳｔａｔｅＴｒａｎｓｆｅｒ）で受け付けるサービスである。ＲＥＳＴは、例えばＸＭＬベースの、ＨＴＴＰを用いたＷｅｂインターフェースであってよい。例えば、ＲＥＳＴで顔データとユーザ名を受信し、受信したデータとユーザ名を対応付けて顔データ管理部３１２に登録する。この際に、ユーザを識別する為のユニークなＩＤとしてＰｅｒｓｏｎａｌＩＤを発行し要求元の端末へＰｅｒｓｏｎａｌＩＤを通知する。例えば、顔データ管理部３１２は表１のように複数のユーザの顔データを、顔認証データベースにより管理する。なお表1においてユーザ名は表示等に用いられるユーザの名称であり、顔データは、顔認証サーバ１０２が対応している形式であればよく、たとえば顔画像データや、顔画像の特徴量を抽出した特徴データなどでよい。

ＲＥＳＴサービスが顔データと共に顔認証要求を受けると、顔認証部３１１は表１に示す登録者のデータを参照し、候補者と各候補者に対するスコアを算出する。スコアは、受信した顔データに該当する候補者である可能性の高さを示す値であり、たとえばパーセンテージで示したものである。スコアは、パーセンテージではなく、自然数の数値の大きさで示しても良い。スコアの値に応じて、受信した顔データに該当する候補者が決定される。たとえば閾値を設け、疎の閾値を超えたスコアに該当する登録済ユーザを候補者と決定してよい。そのためスコアの算出の結果、候補者0人と決定する場合がある。また、１人の顔データに対して複数の候補者を特定する場合もある。また、受信した顔データに複数人の顔データが含まれる場合は、複数人それぞれについてスコアを算出し、それぞれの候補者を決定する。算出結果として得られた候補者のＩＤ及びユーザ名とそのスコアは、ＲＥＳＴサービス３１０を介して認証の要求元の端末に返される。

このようなクラウドサービスは一般にコグニティサービスと呼ばれ、顔認証機能を提供するサービスとしてマイクロソフト社（商標）のＦａｃｅＡＰＩなどがある。例えば、ＦａｃｅＡＰＩは、表２のようなリクエストを受け付けるＲＥＳＴサービスを提供している。

ＭＦＰ１０１は上記のようなコグニティサービスと連携することにより顔認証ログイン機能をユーザに提供することができる。

＜ＭＦＰ１０１のソフトウェア構成＞
ＭＦＰ１０１のソフトウェア構成について説明する。ＭＦＰ１０１のローカルＵＩ３０１は、操作部２０５のディスプレイを介し、ユーザがＭＦＰ１０１の設定変更や機能を利用する為のユーザインタフェースを提供する。ローカルＵＩ３０１が提供するユーザインタフェースの例を図４に示す。リモートＵＩ３０２は、ＨＴＴＰ（ＨｙｐｅｒｔｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）サーバ機能を有し、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）で構成されるユーザインタフェースをユーザに提供する。ユーザは、ユーザ端末のウェブブラウザを利用してリモートＵＩ３０２にアクセスし、ＭＦＰ１０１の設定変更や機能を利用することができる。提供されるユーザインタフェース画面はローカルＵＩと同様でよい。ログインサービス３０３は、ローカルＵＩ３０１やリモートＵＩ３０２を利用するユーザを認証してＭＦＰ１０１にログインさせるソフトウェアモジュールである。ログインサービス３０３は、ローカルＵＩ３０１やリモートＵＩ３０２のユーザインタフェースを介して、ＨＤＤ２０４に管理者や一般ユーザのアカウントを登録することができる。ＨＤＤ２０４に記憶するアカウント情報を含むアカウント情報データベースの例を下記の表３に示す。ＨＤＤ２０４には、アカウント情報として、ユーザ名、パスワード、ＩＣカードのカードＩＤ、ロール（管理者/一般ユーザ）、メールアドレスなどが登録できる。なお、Personal IDが空白のユーザは、顔認証登録がなされていない状態であることを示す。

ＭＦＰ１０１の工場出荷時の設定は、ユーザ認証機能は無効であり、ＭＦＰ１０１を起動すると、ローカルＵＩ３０１はアプリケーションを選択するメニュー画面４０１を表示する。なお、ユーザ認証機能と記載するが、シンプルログイン機能はユーザ認証を行わずユーザを特定しログインさせる機能であるため正確にはユーザ認証機能ではない。しかし、ＭＦＰ１０１を利用するユーザにとってはユーザ認証機能と表示する方が理解しやすいため、実施形態１ではあえてこのように表示することにしている。ユーザ認証設定画面４０２から選択できるユーザ認証機能をログイン機能と称することもある。

ユーザは、メニュー画面４０１を介して、ユーザ認証設定画面４０２を表示することができる。ユーザ認証設定画面４０２では、ユーザ認証機能の有効／無効を選択することができる。また、ユーザ認証機能有効を選択した場合は、更に、キーボード認証、シンプルログイン、ＩＣカード認証、顔認証から１つもしくは複数のログイン機能を選択することができる。ユーザ認証設定画面４０２は、ユーザ認証機能を有効にしたうえで全てのログイン機能を選択した状態を示す。

顔認証を有効にした場合、顔認証でＭＦＰに自動ログインさせるスコアの閾値をテキストボックス４１３に入力し設定することができる。例えばスコアの設定は１から１００の間で数値を設定する。ユーザに数値を入力させるのではなく、大中小のような選択肢をユーザに提示して選択させるようにしても良いし、スライドバーのようなＵＩ部品で設定できるようにしても良い。ユーザが選択した設定はＨＤＤ２０４へ記憶し、ログインサービス３０３が参照し、ユーザの設定に応じたログイン機能を起動する。

全てのログイン機能（キーボード認証、シンプルログイン、ＩＣカード認証、顔認証）を有効にした場合、ローカルＵＩ３０１はシンプルログイン画面４０３を表示する。なお、ユーザは４０３の画面からでもＩＣカードをかざすことでICカード認証は可能であり、かつキーボード認証もボタン４０６を選択することでキーボード認証画面４１２へ遷移し認証可能である。つまり、ログイン機能としてシンプルログイン機能が設定された場合は、ローカルＵＩ３０１は他のログイン機能が有効だとしてもシンプルログイン画面４０３を表示する。そして、シンプルログイン機能が設定されていない場合でキーボード認証のみが有効であればキーボード認証画面４１２が、ＩＣカード認証のみ有効もしくはＩＣカード認証とキーボード認証が有効であればICカード認証画面４１４が表示される。ＩＣカード認証画面４１４は、キーボード認証画面４１２を表示するボタン４１５を提供する。

ログインサービス３０３はログイン機能として顔認証機能のみ有効にすることは許可していない。ローカルＵＩ３０１はユーザがユーザ認証設定画面４０２から顔認証を設定した場合は、それ以外の3つの認証設定の中から少なくとも１つ以上は設定するように画面制御する。シンプルログイン画面４０３は、登録済みのユーザのボタンを表示する。ユーザにシンプルログイン画面４０３から自分のボタンを選択させることによって、ＭＦＰ１０１にユーザをログインさせることができる。この際行われるのは選択されたボタンのユーザＩＤの参照処理であり、いわゆる認証情報の検証を行う認証処理は行われない。つまり、ユーザはＩＣカードやキーボードを介した認証情報の入力を行う必要がない。

登録済みのユーザのボタンを一画面に表示しきれない場合は、複数のページに渡ってボタンを表示する。ページ遷移ボタン４０７は、現在表示中のページ番号とページ遷移の為のボタンである。シンプルログイン画面４０３は、ボタンのソート機能を備える。ソート順ドロップダウン４０４は、ボタンのソート順を選択する為のドロップダウンである。例えば、名称順、登録順、最終ログイン時刻順などが選択可能とする。

新規ユーザ登録ボタン４０５は、一般ユーザが自分のアカウントを新規に登録する為のボタンである。ローカルＵＩ３０１は、新規ユーザ登録ボタン４０５の押下を検知すると、ユーザ登録画面４０８を表示する。ユーザ登録画面４０８では、新規に登録するユーザのユーザ名、パスワード、メールアドレスなどの入力を受け付ける。また、シンプルログイン画面４０３でユーザのボタンと共に表示されるアイコンを選択する機能を提供する。また、カードＩＤの登録ボタン４０９の押下を検知した場合は、ＩＣカードリーダのドライバ３０４を介して、ＩＣカードリーダ２０８を稼働しＩＣカードのデータを読み込み可能な状態にする。ＩＣカードリーダ２０８にＩＣカードがかざされた場合は、ＩＣカードからカードＩＤを取得する。

顔画像の登録ボタン４１０の押下を検知した場合は、カメラドライバ３０５を介してカメラ２０９を稼働させ、ＭＦＰ１０１の前にいるユーザを撮像する。更に顔検知ライブラリ３０６を使用して、取得した画像に対して顔検知処理を実施し、顔が写っていることを確認する。一般に、画像処理、画像解析および機械学習等の機能を持つライブラリとしてオープンソースのＯｐｅｎＣＶが一般に知られており、顔検知ライブラリ３０６としてこれらのオープンソースのライブラリを利用しても良い。ユーザ登録画面４０８において、カードＩＤおよび顔画像の登録は必須ではなく、未登録のままであっても良い。

登録ボタン４１１の押下を検知すると、上記取得した情報を、アカウント情報（表３）としてＨＤＤ２０４に登録する。顔画像の登録ボタン４１０で顔画像を含む画像を取得した場合には、顔認証サーバ通信部３０７を介して、顔認証サーバ１０２のＲＥＳＴサービスに顔データの登録要求を行う。この際、顔データは、必要に応じて顔認証サーバ１０２が対応している形式（画像ファイルや顔の特徴量だけを算出した値など）で送信する。ログインサービス３０３は、顔登録要求の応答として、ＰｅｒｓｏｎａｌＩＤを受信し、アカウント情報（表３）としてＨＤＤ２０４に登録する。

ログインサービス３０３は、アカウント情報（表３）のＰｅｒｓｏｎａｌＩＤの有無から顔画像登録済みのユーザか否かを判断することができる。ＨＤＤ２０４のアカウント情報と関連付けて、顔画像ファイルや、顔画像登録済みか否かを示す情報を記録するようにしても良い。また、アカウント情報の登録に関して、複数ユーザのアカウント情報を一括登録できる機能（ＭＦＰの管理者向けのＵＩをローカルＵＩ３０１やリモートＵＩ３０２）を提供するようにしても良い。管理者が一括登録する際に使用するカードＩＤや顔画像は、ＭＦＰ１０１のＩＣカードリーダ２０８やカメラ２０９以外の装置から取得したデータであっても良い。

ログインサービス３０３がＩＣカードを検知した場合、ＨＤＤ２０４に記憶したアカウント情報を参照して、カードＩＤの一致するユーザをＭＦＰ１０１にログインさせる。また、キーボード認証を表示するボタン４０６の押下を検知した場合には、キーボード認証画面４１２を表示し、ユーザ名およびパスワードの入力を受け付ける。ログインサービス３０３は、キーボード認証画面４１２に入力されたユーザ名、パスワードとＨＤＤ２０４に記憶したアカウント情報を照合し、一致するユーザをＭＦＰ１０１にログインさせる。

ログインサービス３０３は、ログインしたユーザの情報をログインコンテキストと称するオブジェクトに格納して、他のソフトウェアモジュールへ伝達する。ログインコンテキストに格納する情報の例を下記の表４に示す。ログインコンテキストには、表４に示すようにログインしたユーザのユーザ名、ロール、メールアドレスなどを格納する。

ＭＦＰ１０１へのログインが成功した場合、ローカルＵＩ３０１はシンプルログイン画面４０３などのログイン画面を閉じて、メニュー画面４０１に画面を遷移させる。メニュー画面４０１は、上記ログインコンテキストを参照し、ログインしたユーザを特定した上で、ログインしたユーザ向けのメニュー画面を提供する。メニュー画面や各種機能（コピーやスキャン）の画面は、ユーザの好みに応じてパーソナライズできる機能を提供する。

印刷ジョブ受信部３１３はＰＣ１０３等の通信部２０７を介して受信する印刷ジョブを待ち受けており、印刷ジョブを受信すると印刷ジョブ解析部３１４にジョブの受信を通知する。印刷ジョブ解析部３１４では受信したジョブを解析し、ジョブのユーザ名をログインサービス３０３に通知している。

＜顔認証動作フロー＞
次に、図５のフローチャートを参照して、ログインサービス３０３が顔認証を実施する際の動作を説明する。図5の手順は、たとえば不図示のセンサで人の接近を検知したり、あるいは操作部２０５へのタッチを検知したりしたこと等をきっかけとして開始されてよい。また本実施形態では、顔認証機能とシンプルログイン機能の少なくとも2つのログイン機能を有効にしている形態を想定している。そのため、例えば図4のユーザ認証設定画面４０２において、顔認証とシンプルログイン認証とをひとまとめにして設定するようユーザインタフェースを設定しておいてもよい。あるいは図5の手順の実行は、少なくとも顔認証とシンプルログイン認証とが選択されていることを条件としてもよい。ログインサービス３０３は、ＭＦＰ１０１のＣＰＵ２０１がＲＡＭ２０３にロードしたログインサービス３０３のプログラムを制御することにより実行される。

ログインサービス３０３は、ローカルＵＩ３０１にシンプルログイン画面４０３を表示するとカメラドライバを介してカメラ２０９を起動し、ＭＦＰ１０１に近づくユーザの撮影を開始する（Ｓ５０１）。ログインサービス３０３は、定期的にカメラから撮影画像を取得する（Ｓ５０２）。次に、ログインサービス３０３は、取得した撮影画像に対して顔検知ライブラリを利用して顔検知処理を実施し、顔が写っているか否かを確認し、かつ顔がいくつ写っているかを判定する（Ｓ５０３）。

検知した顔が０個の場合（顔が写っていない場合）、Ｓ５０２に戻り新たな撮影画像の取得を行う。検知した顔が1個であった場合、Ｓ５０４にて顔認証処理を行う。Ｓ５０４では、取得した撮影画像と共に顔認証要求を顔認証サーバ１０２のＲＥＳＴサービス３１０に送信し、その応答として、候補者のＰｅｒｓｏｎａｌＩＤとユーザ名、顔認証のスコアを取得する。

次に、顔認証サーバ１０２から取得した候補者の数のチェックを行う(Ｓ５０５)。取得した候補者の数が1人の場合、Ｓ５０６にて、取得したスコアが閾値以上か否かを判定する。閾値は、ユーザ認証設定画面４０２の自動ログインスコア４１３にて設定された値である。ＭＦＰの工場出荷時のデフォルト値として、ＭＦＰのＲＯＭに予め記録された値であっても良い。スコアが閾値以上であった場合、Ｓ５０７にて、特定した1人の候補者をＭＦＰにログインさせる（Ｓ５０７）。ログイン処理Ｓ５０７では、アカウント情報（表３）を参照し、顔認証サーバ１０２から取得したユーザ名やＰｅｒｓｏｎａｌＩＤと一致するユーザのロールやメールアドレスを取得して、ログインコンテキスト（表４）を生成する。次に、ログインサービス３０３は、ローカルＵＩ３０１の画面をログイン後の画面としてメニュー画面４０１を表示し、ログインしたユーザ向けの機能を提供する（Ｓ５０８）。

Ｓ５０５において、取得した候補者の数が０人であった場合、すなわち顔認証が失敗した場合、ＭＦＰ１０１に接近したユーザは、顔画像を登録していないユーザもしくは、アカウント情報が登録されていないユーザである可能性が高いと判断できる。この為、ログインサービス３０３は、顔画像を登録していないユーザのボタンを優先的に表示するようにシンプルログイン画面をカスタマイズして表示する（Ｓ５０９）。顔認証後に、カスタマイズされたシンプルログイン画面の例を図６に示す。例えば、BobとFrankが顔画像を登録していなかった場合、画面６０１のようにBobとFrankのボタンのみを表示する。また、アカウント情報を登録していないユーザの可能性もあるため、新規ユーザ登録ボタン４０５を強調表示するようにしても良い。

Ｓ５０５において、取得した候補者の数が１人であっても、Ｓ５０６において、取得したスコアが閾値に満たないと判定された場合、ログインサービス３０３は、その1人の候補者のボタンを優先的に表示するようにシンプルログイン画面をカスタマイズして表示する（Ｓ５１０）。例えば、その1人の候補者がAliceであった場合、画面６０２のようにAliceのボタンのみを表示する。Ｓ５０５において、取得した候補者の数が2人以上であった場合、スコアの高い順に候補者のボタンを優先表示する（Ｓ５１１）。例えば、Ｓ５０４で取得したユーザ名とスコアが以下の表５に示す値であった場合、ログインサービス３０３は、画面６０３のようにスコアの高い方から右に向かってAlice、Carolの順番でボタンを表示する。画面６０３は、左から順にスコアが高いことを示している。

Ｓ５０３において、検知した顔が２個以上であった場合、Ｓ５１２において、検知したそれぞれの顔のエッジを長方形で切り出し、長方形のサイズを比較する。大きい方が、ＭＦＰ１０１に近い位置にいるユーザであり、ＭＦＰ１０１にログインしようとしている可能性が高いと判断する。例えば、図７の撮影画像から、顔検知結果として、矩形７０１と矩形７０２を切り出す。図７では、矩形７０１の顔画像の方が矩形７０２の顔画像よりも大きい。すなわち、撮影画像における占有率が高い、矩形７０１の顔画像のユーザがログインしようとしているユーザである可能性が高いと推定する。

次に、Ｓ５１３では、矩形７０１の顔画像と共に、顔認証要求を顔認証サーバ１０２のＲＥＳＴサービスに送信し、その応答として、候補者のＰｅｒｓｏｎａｌＩＤとユーザ名、顔認証のスコアを取得する。更に、矩形７０２の顔画像と共に、顔認証要求を顔認証サーバ１０２のＲＥＳＴサービス３１０に送信し、その応答として、候補者のＰｅｒｓｏｎａｌＩＤとユーザ名、顔認証のスコアを取得する。例えば、矩形７０１の顔画像の顔認証結果として表６のユーザ名とスコアを取得し、矩形７０２の顔画像の顔認証結果として表７のユーザ名とスコアを取得できた場合、ログインサービス３０３は、画面６０４のように顔画像の大きい順、スコアの高い順にボタンを並べて表示する。すなわち、顔画像の大きい順に得られた候補者のボタンを配置し、一つの顔画像について複数の候補者が得られたなら、それらはスコアの順に配置する。下記の例では、Aliceのスコアが一番高いが、スコアよりも顔画像の大きさを優先する為、順番は、Grace、Ellen、Alice、Carolの順番で表示する。つまり、複数の顔画像における夫々の矩形範囲に基づいて第１の表示順が確定され、次に、各顔画像に対するスコア結果に基づいて第２の表示順が確定される。

顔認証によりログインできなかったユーザには、シンプルログイン画面（６０１、６０２、６０３、６０４）を提供し、ボタンを押させて、ＭＦＰ１０１へログインさせる。また、他人の誤検知、誤操作、なりすましを防止する為に、顔認証によるログインまたは、シンプルログインのボタン押下によるログイン時に、パスワードを入力する画面を表示して、ユーザにパスワードを入力させるようにしても良い。

画面６０１、６０２、６０３、６０４のように優先表示するボタンのみにフィルタリングして表示した場合、顔認証の誤検知などにより、アカウント情報を登録していても自分のボタンが表示されないといったケースが考えられる。この為、シンプルログイン画面には、全てのボタンを表示するボタン６０５を表示する。ボタン６０５がタッチされると、顔認証サーバ１０２から取得した候補者すべてについてボタンを表示する。

また、優先表示する候補者のボタンのみにフィルタリングして表示している場合においても多数のボタンが表示されるケースがある為、ボタンのソート機能４０４を提供する。スコア順に加えて、名称順、登録順、最終ログイン時刻順などを選択可能とする。つまり、図５の処理によりユーザのボタンはスコア順にソートはされているが、ユーザはその後任意のソート順に変更することができる。

また、優先表示するボタンのみに限定して表示するのではなく、全てのボタンを常に表示するようにしても良い。この場合、先頭から優先表示するボタンを表示し、優先表示対象ではないその他のボタンを複数ページに渡って名称順に並べて表示すると良い。

以上、説明した通り、本発明に係る画像形成装置は、顔認証によりログインさせる条件を候補者の数やスコアによって限定しており、異なるユーザが自動ログインしてしまうセキュリティリスクを低減している。また、顔認証によりログインできなかった場合であっても、可能性の高いユーザのボタンを６０１、６０２、６０３、６０４のように、優先的に表示するようにしているため、顔認証を用いないシンプルログイン画面よりも利便性が高い。

なお、図5のステップＳ５０５で候補者の数が複数いた場合であっても、スコアが閾値（Ｓ５０６で参照する閾値と同じでよい）以上の候補者がひとりの場合には、ログインユーザはその候補者であるとして自動ログインしてもよい。また図5のステップＳ５０３で、撮影されたユーザの数が複数いた場合であっても、最も大きな顔画像について、スコアが閾値（Ｓ５０６で参照する閾値と同じでよい）以上の候補者がひとりの場合には、ログインユーザはその候補者であるとして自動ログインしてもよい。またこれらの場合には、自動ログインする前にユーザに確認ボタンをタッチさせるなど、ログイン前に確認のためのステップを介在させてもよい。

＜顔登録動作フロー＞
本実施形態ではユーザからの印刷ジョブを受信して当該ユーザがＭＦＰ１０１を初めて利用する場合を想定した登録フローを説明する。

図８のフローチャートを参照して、印刷ジョブを受信してからユーザ登録を実施する際の動作を説明する。ＰＣ１０３から印刷ジョブが送信されると（Ｓ８０１）、ＭＦＰ１０１の印刷ジョブ受信部３１３が印刷ジョブを受信する。受信したジョブを印刷ジョブ解析部３１４が解析しジョブのユーザ名を確認する（Ｓ８０３）。印刷ジョブ解析部３１４はログインサービス３０３にユーザ名を通知する。ログインサービス３０３ではＨＤＤ２０４に登録されているアカウント情報（表８）を参照し、登録されているユーザ名と受信したユーザ名の比較を行う（Ｓ８０４）。もし未登録のユーザであればログインサービス３０３はアカウント情報にユーザの新規登録を行う（Ｓ８０５）。その際に登録されるのはユーザ名のみで、その他の項目は空の状態で登録される。例えば表８の例ではジョブを送信したユーザFrankがユーザ名のみ登録された状態になる。

ユーザがＭＦＰ１０１の前に来ると図５のフローで説明した顔認証の処理が行われる。初めて印刷をしたユーザFrankが表８のようにＰｅｒｓｏｎａｌＩＤが未登録の状態であるためＳ５０９の顔画像未登録ユーザと判断され、画面６０１が表示される。

画面６０１でユーザのボタン（例えばFrankのボタン）をクリックするとログインサービス３０３はシンプルログイン認証要求を検知する（Ｓ９０１）。

ログインサービス３０３はクリックされたボタンのユーザ名を取得すると前述のログイン処理を実施する（Ｓ５０７）。これは図５で説明したとおりである。

ログインが完了すると顔の自動登録を実施するかどうかを確認するが（Ｓ９０２）、これはユーザ認証設定画面４０２の顔自動登録４１６が有効になっているかどうかで判断を行う。本実施形態では顔の自動登録をするかどうかを４１６のようなスイッチを設けているが、システム上、常に有効または無効のシステムにも本提案を適用する事ができる。

もし無効になっている場合、顔登録は行わず、ログインサービス３０３は、ローカルＵＩ３０１の画面をログイン後の画面としてメニュー画面４０１を表示し、ログインしたユーザ向けの機能を提供する（Ｓ５０８）。

Ｓ９０２で顔の自動登録４１６が有効になっている場合は、Ｓ５０２で取得した撮影画像、ユーザ名と共に顔登録要求を顔認証サーバ１０２のＲＥＳＴサービス３１０に送信し、撮影画像の登録を行う（Ｓ９０３）。このとき複数の顔が画像に含まれているなら、それらの顔画像をユーザインタフェース画面に表示し、ユーザにその中から送信する顔画像を選択させてよい。ＲＥＳＴサービス３１０では顔データとユーザ名を受信し、受信したデータとユーザ名を対応付けて顔データ管理部３１２に登録する。この際に、ユーザを識別する為のユニークなＩＤとしてＰｅｒｓｏｎａｌＩＤを発行し要求元の端末へＰｅｒｓｏｎａｌＩＤを通知する。ログインサービス３０３は通知されたＰｅｒｓｏｎａｌＩＤをアカウント情報に記録する。例えば表９の例ではFrankのＰｅｒｓｏｎａｌＩＤが発行され登録がされている。なおこの例では新規ユーザについてはロールが定義されないが、新規ユーザについては最も権限の小さなロールをデフォルトで与えれば、顔認証によるログインが可能となる。

以上、説明した通り、本実施形態に係る画像形成装置は、顔登録の作業を予め管理者が行う必要もなく、ユーザがシンプルログイン画面から認証操作をすることで顔の自動登録を行うことができ、次回以降はボタンを押すこともなく、ユーザがＭＦＰの前に立つだけで顔認証によりログインすることが出来るため、顔認証を用いないシンプルログインよりも利便性が高い。

［実施形態２］
顔の自動登録４１６の設定はユーザが設定変更する事はできない項目であるが、図１０のボタン１００１ようにユーザ側で顔の登録のＯＮ／ＯＦＦを登録時に選択できるようにしてもよい。顔データの扱いはプライバシーの問題上扱いが難しく、利用環境に合わせて選択ができるようにする。

また画面１００３のようにユーザが登録する顔画像を詳細に設定できる画面を設けてもよい。顔画像が登録されていないユーザがそのジョブの送信後にシンプルログイン画面の顔詳細登録ボタン１００２を押下することで詳細登録設定画面１００３に遷移する。併せて図5の手順が開始されてカメラ２０９がＳ５０２で画像を取得し、Ｓ５０３で取得した顔画像の数が１個であると判断した画像データを画面１００３の顔画像１００４に表示する。複数枚の画像データから選択させる場合にはＳ５０２、Ｓ５０３のステップを必要回数分繰り返す。ユーザが任意の画像データに対応するチェック蘭１００５のチェックをつけて登録ボタン１００７を押下することでＳ５０４の顔認証の処理を実施する。また他の画像データから選択したい場合には再撮影ボタン１００６を押下することで、必要枚数分の撮影処理を繰り返し、それに伴って画像データを更新して顔画像１００４の表示を更新する。

また、ユーザのボタンを表示する際に、アイコンとして顔画像を表示するか否かをユーザが選択できてもよい。顔画像を用いない場合にはユーザ名のみを表示したり、あるいはユーザが選択した、顔以外の画像を表示したりしてもよい。このとき他人の顔画像をアイコンとして使用することは望ましくないので、システムが提供する画像からのみ選択できるようにしてもよい。

このように構成することで、ユーザがシンプルログイン時に顔登録するか否かを選択できる。さらに、複数の顔画像のうちから所望の画像を選択してそれを登録することができる。

［実施形態３］
実施形態１ではＳ９０１でシンプルログイン認証要求を検知した場合に、顔の登録処理を実施しているが、キーボード認証４１２やＩＣカードログイン４１４による認証要求を受信した場合にも同様の顔登録処理を適用する事が可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１画像形成装置（ＭＦＰ）、１０２顔認証サーバ、１０３ＰＣ、３０１ローカルＵＩ、３０２リモートＵＩ、３０３ログインサービス、３０４ ICカードリーダドライバ、３０５カメラドライバ、３０６顔検知ライブラリ、３０７顔認証サーバ通信部、３１０ RESTサービス、３１１顔認証部、３１２顔データ管理部、３１３印刷ジョブ受信部、３１４印刷ジョブ解析部

Claims

顔認証に基づく第１の方式のログインに失敗した場合に、第２の方式のログインの選択を受け付ける選択手段と、
前記第２の方式のログインの選択に応じて、前記第２の方式のログインを行うログイン手段と、
前記第２の方式のログインの選択に応じて、ユーザを撮影し、撮影した画像から取得した顔データを前記第１の方式のログインに用いる前記ユーザの顔データとして顔認証データベースに登録する登録手段と
を有し、
前記選択手段は、ユーザが前記第１の方式のログインに失敗した場合に、前記ログイン手段により用いられるアカウント情報が登録済のユーザのうち、前記顔認証データベースに顔データが未登録のユーザに対応するオブジェクトを表示し、前記オブジェクトの選択を、選択された前記オブジェクトに対応するユーザについての第２の方式のログインの選択として受け付け、
前記登録手段は、前記第２の方式のログインの選択に応じて、撮影した前記画像から取得した前記顔データを、選択された前記オブジェクトに対応するユーザの顔データとして前記顔認証データベースに登録することを特徴とする情報処理装置。
請求項１に記載の情報処理装置であって、
前記登録手段は、撮影した前記画像を表示し、前記ユーザによる確認の操作に応じて、前記画像から取得した顔データを前記ユーザの顔データとして前記顔認証データベースに登録する
ことを特徴とする情報処理装置。
請求項２に記載の情報処理装置であって、
前記登録手段は、前記ユーザの複数の画像を撮影し、撮影した前記複数の画像それぞれを表示し、前記ユーザによる選択の操作に応じて、選択された前記画像から取得した顔データを、前記ユーザの顔データとして前記顔認証データベースに登録する
ことを特徴とする情報処理装置。
請求項１乃至３のいずれか一項に記載の情報処理装置であって、
前記登録手段は、ユーザの操作に応じて画像を再撮影する
ことを特徴とする情報処理装置。
請求項２を引用する請求項４に記載の情報処理装置であって、
前記登録手段は、前記再撮影を行った場合には、再撮影した画像により表示されている画像を更新する
ことを特徴とする情報処理装置。
請求項２または３または５に記載の情報処理装置であって、
前記登録手段は、撮影した画像を表示するか否かの設定に応じて、表示することが設定されている場合に撮影した前記画像を表示する
ことを特徴とする情報処理装置。
請求項１乃至６のいずれか一項に記載の情報処理装置であって、
前記登録手段による前記顔データの登録を行うか否かの設定をする手段をさらに有し、
前記登録手段は、前記顔データの登録を行うか否かの設定に応じて、前記顔データを前記顔認証データベースに登録する
ことを特徴とする情報処理装置。
請求項１乃至７のいずれか一項に記載の情報処理装置であって、
前記登録手段は、ユーザによる、前記顔データの登録を行うための操作に応じて、前記顔データを前記顔認証データベースに登録する
ことを特徴とする情報処理装置。
請求項１乃至８のいずれか一項に記載の情報処理装置であって、
ユーザ名を含むジョブを受信する手段と、
受信した前記ジョブに含まれた前記ユーザ名のユーザを、前記ログイン手段により用いられるアカウント情報に登録する手段と
をさらに有することを特徴とする情報処理装置。
顔認証に基づく第１の方式のログインに失敗した場合に、第２の方式のログインの選択を受け付ける選択手段と、
前記第２の方式のログインの選択に応じて、前記第２の方式のログインを行うログイン手段と、
前記第２の方式のログインの選択に応じて、ユーザを撮影し、撮影した画像から取得した顔データを前記第１の方式のログインに用いる前記ユーザの顔データとして顔認証データベースに登録する登録手段と
してコンピュータを機能させるためのプログラムであって、
前記選択手段は、ユーザが前記第１の方式のログインに失敗した場合に、前記ログイン手段により用いられるアカウント情報が登録済のユーザのうち、前記顔認証データベースに顔データが未登録のユーザに対応するオブジェクトを表示し、前記オブジェクトの選択を、選択された前記オブジェクトに対応するユーザについての第２の方式のログインの選択として受け付け、
前記登録手段は、前記第２の方式のログインの選択に応じて、撮影した前記画像から取得した前記顔データを、選択された前記オブジェクトに対応するユーザの顔データとして前記顔認証データベースに登録する
ことを特徴とするプログラム。
顔認証に基づく第１の方式のログインに失敗した場合に、第２の方式のログインの選択を受け付け、
前記第２の方式のログインの選択に応じて、前記第２の方式のログインを行い、
前記第２の方式のログインの選択に応じて、ユーザを撮影し、撮影した画像から取得した顔データを前記第１の方式のログインに用いる前記ユーザの顔データとして顔認証データベースに登録し、
前記選択の受け付けでは、ユーザが前記第１の方式のログインに失敗した場合に、前記ログインに用いられるアカウント情報が登録済のユーザのうち、前記顔認証データベースに顔データが未登録のユーザに対応するオブジェクトを表示し、前記オブジェクトの選択を、選択された前記オブジェクトに対応するユーザについての第２の方式のログインの選択として受け付け、
前記顔データの登録では、前記第２の方式のログインの選択に応じて、撮影した前記画像から取得した前記顔データを、選択された前記オブジェクトに対応するユーザの顔データとして前記顔認証データベースに登録する
ことを特徴とする情報処理装置の制御方法。