JP7093037B2 - 情報処理装置、顔認証システム、その制御方法とプログラム - Google Patents

情報処理装置、顔認証システム、その制御方法とプログラム Download PDF

Info

Publication number
JP7093037B2
JP7093037B2 JP2020180085A JP2020180085A JP7093037B2 JP 7093037 B2 JP7093037 B2 JP 7093037B2 JP 2020180085 A JP2020180085 A JP 2020180085A JP 2020180085 A JP2020180085 A JP 2020180085A JP 7093037 B2 JP7093037 B2 JP 7093037B2
Authority
JP
Japan
Prior art keywords
face image
person
face
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020180085A
Other languages
English (en)
Other versions
JP2021036441A (ja
Inventor
大樹 深谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2020180085A priority Critical patent/JP7093037B2/ja
Publication of JP2021036441A publication Critical patent/JP2021036441A/ja
Priority to JP2022096190A priority patent/JP7356060B2/ja
Application granted granted Critical
Publication of JP7093037B2 publication Critical patent/JP7093037B2/ja
Priority to JP2023150875A priority patent/JP2023171806A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、テレワーク管理システムに関する。
近年、ブロードバンドや情報セキュリティ技術の発達の他、災害時における事業継続性や節電対策への注目などを背景に、各企業では、自宅等の遠隔地でユーザが仕事するテレワークに対する関心が強まっている。テレワークを導入する上では、管理者から様子が見えにくいため、家族をはじめとする第三者による情報処理端末へのアクセスにより機密情報が漏えいするリスクや、労働管理がしにくい問題がある。
先行技術には、メガネ有り無し等でユーザの見た目が日々かわると、同一人物を顔認識するための基準顔画像から取得した判定基準がぶれてしまい、同一人物の認識率が日々変動してしまうといった問題を解決するために、先の登録した基準顔画像の特徴量と、新規にカメラで撮影した顔画像の特徴量との類似度を見て、その類似度が許容値を満す(似ていると判断した)場合に、先の登録した基準顔画像の特徴量を使ってイベントを検出する。逆にその類似度が許容値を満たさない(似ていない判断した)場合に、ユーザの見た目に影響を受けずに同一人物の認識率を上げるために、新規にカメラで撮影した顔画像から取得した一時特徴量で使ってイベントを検出する技術が開示されている。
特開2015-103198号公報
先行技術は、同一人物を顔認識するための特徴量をその日のユーザの見た目によって差し替える技術であり、その日のユーザの見た目に影響を受けずに同一人物の認識率を上げる効果がある。
テレワーカは勤務中、上下左右様々な方向を向くことがある。どの方向を向いたときにも精度良くイベントを検出するためには、様々な角度から撮影された顔画像を用いてイベントを検出する必要がある。
このように、日中で何度も同一人物の顔認識を行い、その度に動作イベントを検出するケースにおいては、動作イベントを検出したいタイミングでユーザの顔の向き等が良くない(WEBカメラから見て、顔が見えにくい)ケースも想定する必要があり、ユーザの顔の向き等にも影響を受けずに動作イベントを検出できる、同一人物で顔の向き等が異なる複数タイプの特徴量を準備する必要がある。
本発明は、取得した人物の顔画像から当該人物を特定する複数の顔画像を登録することが可能な仕組みを提供することを目的とする。
本発明は、取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置であって、複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像に基づいて、当該第1の顔画像にかかる人物特定できる顔画像か否かを判断する判断手段と、前記第1の顔画像にかかる人物を特定できる顔画像ではないと判断された第2の顔画像を前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御手段とを備えることを特徴とする情報処理装置。
本発明は、取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置であって、複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について、1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像と類似しているか否かを判断する判断手段と、前記第1の顔画像と類似していないと判断された第2の顔画像を、前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御手段とを備えることを特徴とする情報処理装置
本発明は、取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置の制御方法であって、判断手段が、複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について、1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像に基づいて、当該第1の顔画像にかかる人物を特定できる顔画像か否かを判断する判断ステップと、表示制御手段が、前記第1の顔画像にかかる人物を特定できる顔画像ではないと判断された第2の顔画像を、前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御ステップとを含むことを特徴とする情報処理装置の制御方法。
また、取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置の制御方法であって、判断手段が、複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について、1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像と類似しているか否かを判断する判断ステップと、表示制御手段が、前記第1の顔画像と類似していないと判断された第2の顔画像を、前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御ステップとを含むことを特徴とする情報処理装置の制御方法。
本発明により、取得した人物の顔画像から当該人物を特定する複数の顔画像を登録することが可能な仕組みを提供することが可能となる。
本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。 本発明の操作端末100および監査端末110、管理サーバ120に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 本発明におけるテレワーク管理システムを利用して、ユーザがテレワーク作業を行っている間の操作端末100が行う、動作イベントの検出及び記録処理の一例を示すフローチャートである。 本発明における、顔認証の基準となる顔画像を登録するシーケンスを示すフローチャートである。 本発明における、顔認証の基準となる顔画像を1枚撮影するシーケンスを示すフローチャートである。 本発明における、顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスを示すフローチャートである。 本発明における、顔画像を操作端末に登録する操作画面の遷移を示すものである。 本発明における、操作端末に登録する顔画像をユーザが選択する操作画面の遷移を示すものである。 本発明における、操作端末に登録する顔画像データの一例を示したものである。
まず、本発明の概要について説明する。
本発明のテレワーク管理システムは、顔認識技術を用いてテレワーカの動作イベント(”着席”や”離席”の等の動作イベントや、テレワーカ以外の第三者による”なりすまし”や”覗き込み”のセキュリティインシデント)を検出・記録し、管理者が閲覧できるようにするシステムである。
テレワーカが勤務を開始する際、テレワーカの顔写真を撮影し、当該顔写真と、最初にテレワーカ本人であることが保証されている顔画像の特徴量とを用いて個人認証を行い、テレワーカ本人である可能性の度合い(認証レベル)を算出する(以降、顔画像とその特徴量をまとめて特徴量、個人認証に使用する特徴量を認証特徴量とする)。
図1を説明する。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図1は、本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。
図1は、1又は複数の操作端末100、1又は複数の監査端末110、1又は複数の管理サーバ120が、ローカルエリアネットワーク(LAN)130とルータ140、およびインターネット150を介して接続される構成となっている。
操作端末100は、使用するテレワーカの動作イベントおよびセキュリティインシデントを検出し、その証跡を管理サーバ120に送信する。また、動作イベント検出に使用するテレワーカの特徴量(顔画像とそこから取得した特徴量)を管理サーバ120に送信する。
監査端末110は、管理サーバ120に記録された特徴量の承認操作と、管理サーバ120に記録された証跡の監査操作を行う。
管理サーバ120は、操作端末100から受信した証跡を記録し、その証跡に対する監査端末110の監査操作を処理する。また、操作端末100から受信した特徴量を記録し、その特徴量に対する監査端末110の承認操作を処理する。
後述する、本発明の操作端末100及び管理サーバ120を用いて顔認証システムを構築することができる。
図2を説明する。
以下、図2を用いて、図1に示した操作端末100、監査端末110、管理サーバ120に適用可能な情報処理装置のハードウェア構成について説明する。
図2は、図1に示した操作端末100、監査端末110、管理サーバ120に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ212には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ212からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)209やカメラデバイス210(撮像装置)、不図示のマウス等のポインティングデバイス等からの入力を制御する。206はビデオコントローラで、CRTディスプレイ(CRT)211等の表示器への表示を制御する。なお、図2では、CRT211と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ212へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワーク(例えば、図1に示したLAN130)を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT211上での表示を可能としている。また、CPU201は、CRT211上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ212に記録されており、必要に応じてRAM202にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ212に格納されており、これらについての詳細な説明も後述する。
図3を説明する。
以下、図3を参照して、本発明のテレワーク管理システムにおける、テレワーカが利用する操作端末100上で動作する常駐アプリケーションでの処理について説明する。
図3のフローチャートで示す処理は、操作端末100のCPU201が所定の制御プログラムを読み出して実行する処理である。
図3は、図4の顔認証の基準となる顔画像を登録が完了した後、個人の顔を認証して、WEBカメラを用いて、各個人を認証した動作イベントの検出及び、記録をテレワーク作業中に行う、シーケンスである。
S401では、ユーザが操作端末100にログインすることにより、操作端末100が常駐アプリケーションを起動し、バックグラウンドで管理サーバ120にテレワーカのアカウントIDとパスワードによってログインする。管理サーバ120は、アカウント記憶部128に記憶されたテレワーカの情報と比較し、一致すればログインを許可する。アカウントIDとパスワードは、常駐アプリケーションの初回起動時にユーザが設定し、以降は設定された値を使用するものとする。
S402では、テレワーカの動作イベントが発生する毎に、操作端末100を使用しているユーザが管理サーバ120に登録されたテレワーカである可能性を算出し、その結果次第でS403の動作イベント検出で使用する特徴量を取得する。
S402で情報処理装置は、情報処理装置の表示部の近傍に設けられた撮影手段210(WEBカメラ等)を使って、テレワーカが作業をしている間中、人物(テレワーカ)の顔画像を動画で撮影する。新規に撮影する各顔画像の静止画から、第4の特徴量(いろいろな方向向いている顔画像から取得した特徴量)を取得する。第4の特徴量を使って、人物が既に登録されている顔画像の人物と同じ人物であるかを判断する場合に、判別可能な第1の基準に、S813において登録した顔画像の第3の特徴量を加えた第2の基準に従って、新規に比較する顔画像の人物が既に登録されている顔画像の人物と同じ人物であるかを判断する(第2の顔認証手段)。
第2の基準とは(登録済みの第1の特徴量をベースに、S402で新規に撮影した画像の第4の特徴量とが類似していると判断する閾値)+(登録済みの第3の特徴量をベースに、新規に撮影した画像の第4の特徴量とが類似していると判断する閾値)に閾値を広げたものである。
第2の基準を満たすことで、同じ人物と認識されることになり、撮影手段210(WEBカメラ等)を使って継続して顔認証を行う必要があるケースにおいても、たまたま顔の向きが変わっていたタイミングであっても同じ人物を精度よく認識することができる。
S403では、動作イベント(”着席”、”離席”といった労務動作イベントや、”なりすまし”、”覗き込み”といったセキュリティインシデント)を検出し、その証跡を管理サーバ120に送信する。
S403で情報処理装置は、撮影手段(WEBカメラ)を用いて撮影する人物(テレワーカ)が撮影手段(WEBカメラ)の前方で行う動作であるイベント情報を、リアルタイムで撮影された人物の動作内容を画像解析することにより、撮影された人物の動作毎に繰り返して検出する(イベント検出手段)。ここでイベント検出手段がイベント情報(着席、離席、なりすまし、覗き込み)を検出する場合に、S808の第1の顔認証手段において同じ人物であると判断した人物のイベント情報も検出し、更にS402の第2の顔認証手段が同じ人物であると判断した人物のイベント情報も併せて検出する。これにより顔の向きが異なっていても、同じ人物の認識の幅が広くなり、同じ人物の認識率が向上し、顔の向きが異なっていても、きちんとイベント情報(着席、離席、覗き込み)を検出することが可能となる。
また、S403で情報処理装置は、撮影手段(WEBカメラ)を用いて撮影する人物が撮影手段(WEBカメラ)の前方で行う動作であるイベント情報を、リアルタイムで撮影された人物の動作内容を画像解析することにより、撮影された人物の動作毎に繰り返して記録する(イベント記録手段)。ここでイベント記録手段がイベント情報(着席、離席、なりすまし、覗き込み)を記録する場合に、S808の第1の顔認証手段において同じ人物であると判断した人物のイベント情報も記録し、更にS402の第2の顔認証手段が同じ人物であると判断した人物のイベント情報も併せて記録する。これにより顔の向きが異なっていても、同じ人物の認識の幅が広くなり、同じ人物の認識率が向上し、顔の向きが異なっていても、きちんとイベント情報(着席、離席、覗き込み)をその証跡として記録することが可能となる。
S404では、ユーザが操作端末100からログアウトすることにより、操作端末100がバックグラウンドで管理サーバ120からログアウトする。
図4を説明する。
図4は、テレワーク作業を開始する前の準備として、顔認証の基準となる顔画像を登録するシーケンスである。図4の顔認証の基準となる顔画像を登録した後に、図3の動作イベントの検出及び、記録がテレワーク作業中に行うことができる。
S601で情報処理装置は、顔認証の基準となる顔画像を登録する登録リストAを作成する。
S602で情報処理装置は、登録リストAに既にある顔画像で顔認証可能か否かを判断する。顔認証な場合(TRUE)にはS604に進む。顔認証不能なFALSE)の場合にはS603に進む。
S603で情報処理装置は、顔認証の基準となる顔画像を1枚撮影するシーケンスのフローチャートである。その詳細は図5で説明する。
S604で情報処理装置は、撮影方式を受け付ける。
S605で情報処理装置は、受け付けた撮影方式が顔画像を1枚撮影するシーケンスであるか、あるいは画で複数枚撮影するシーケンスであるかを判断する。1枚撮影するシーケンスであると判断した場合S603に進む。複数枚撮影するシーケンスであると判断した場合S607に進む。
S606で情報処理装置は、作成した登録リストAが空か否かを判断する。空であると判断した場合(TRUE)にはS608に進む。空でないと判断した場合(FALSE)にはS607に進む。
S607で情報処理装置は、顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスのフローチャートである。その詳細は図6で説明する。
S608で情報処理装置は、作成した登録リストAが空か否かを判断する。空であると判断した場合(TRUE)にはS616に進む。空でないと判断した場合(FALSE)にはS609に進む。
S609~S614のステップは本発明とは関連しないので説明を省略する。
図5を説明する。
図5は、S603の顔認証の基準となる顔画像を1枚撮影するシーケンスである。
S701で情報処理装置は、キャンセルか否かを判断する。キャンセルの場合(TRUE)にはENDに進む。キャンセルでない場合(FALSE)の場合にはS702に進む。
S702で情報処理装置は、画面700の撮影ボタン702をユーザが押下することで、撮影タイミングを受け付ける。
S703で情報処理装置は、ユーザが押下した3秒後に、WEBカメラ210を用いて顔画像を撮影し、操作端末の前に座っているテレワーカの顔画像を1枚取得する。
S704で情報処理装置は、顔画像を1枚取得成功か否かを判断する。顔画像を1枚取得成功の場合(TRUE)にはS706に進む。顔画像を1枚取得失敗の場合(FALSE)の場合にはS705に進む。
S705で情報処理装置は、顔画像を1枚取得失敗した旨を、操作端末の前に座っているテレワーカに通知する。
S706で情報処理装置は、1枚取得したテレワーカの顔画像709を表示して、顔画像709に対する処理方法(登録710、再撮影711、キャンセル712の中の1つを選択)を受け付ける。
S707で情報処理装置は、登録710か否かを判断する。登録710の場合(TRUE)にはS708に進む。再撮影711、キャンセル712の場合(FALSE)の場合にはS702に進む。
S708で情報処理装置は、1枚取得した顔画像709を登録リストAに追加保存する。
その後、第1の顔認証手段が認証で使用するために、ここでユーザが追加保存した顔画像709から取得した第1の特徴量を登録する。
図6を説明する。
図6は、S607の顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスである。
S801で情報処理装置は、キャンセルか否かを判断する。キャンセルの場合(TRUE)にはENDに進む。キャンセルでない場合(FALSE)の場合にはS802に進む。
S802で情報処理装置は、仮判別器の登録リストBを作成する。
S803で情報処理装置は、動画の撮影時間(例えば5秒間)を受け付ける。
S804で情報処理装置は、情報処理装置の表示部の近傍に設けられた撮影手段210(WEBカメラ等)を使って、テレワーカの顔の向きが異なるように、所定時間内(たとえば5秒間程度)に連続して撮影した複数枚の同じ人物(テレワーカ)の顔画像を撮影する。尚、撮影した複数枚の同じ人物(テレワーカ)の各顔画像からそれぞれ第2の特徴量を取得する必要があり、静止画である必要がある。
またここで、撮影手段を使って、動画(MOVIE)でテレワーカの顔の向きが異なるように、所定時間内(たとえば5秒間程度)の動画を撮影してもよく、動画(MOVIE)であれば、テレワーカに負荷をかけずに、簡単にテレワーカの顔の向きが異なる複数枚の同じ人物(テレワーカ)の静止画を取得することができる。
S805で情報処理装置は、撮影した複数枚の同じ人物(テレワーカ)の各顔画像の中で、検索していない各顔画像があるか否かを判断する。ある場合(TRUE)にはS806に進む。ない場合(FALSE)の場合にはS807に進む。
S806で情報処理装置は、連続して撮影した複数枚の同じ人物(テレワーカ)の顔画像の中から同じ人物(テレワーカ)の顔画像を1枚検索する。
S805~S806のループは撮影した動画からすべての顔画像(静止画)を検索して切り出すループである。
S807で情報処理装置は、検索した複数枚の同じ人物(テレワーカ)の各顔画像の中で、同じ人物かを判別していない各顔画像があるか否かを判断する。ある場合(TRUE)にはS808に進む。ない場合(FALSE)の場合にはS811に進む。
S808で情報処理装置は、S708において既に登録されている顔画像の第1の特徴量(正面を向いている顔画像から取得した特徴量)と、S804で新規に撮影する顔画像の第2の特徴量(正面を向いていない顔画像から取得した特徴量)とが類似しているかを判別可能な第1の基準に従って、新規に撮影する顔画像の人物が、既に登録されている顔画像の人物と同じ人物であるかを判断する(第1の顔認証手段)。
第1の基準とは(登録済みの第1の特徴量をベースに、S804で新規に撮影した画像の第2の特徴量とが類似していると判断する閾値)のことである。
S809で情報処理装置の分岐では、第1の顔認証手段において、既に登録されている顔画像の人物と同じ人物である(TRUE)と判断された場合には、その顔画像は仮判別器の登録リストに追加保存されない。逆に第1の顔認証手段において、既に登録されている顔画像の人物と同じ人物でない(FALSE)と判断された場合には、S810に進み、その顔画像は仮判別器の登録リストに追加保存される。
S810で情報処理装置は、S804で撮影した複数枚(たとえば20枚程度)の同じ人物の顔画像の中から、第1の基準を用いると、S808の第1の顔認証手段では既に登録されている顔画像の人物と同じ人物であるとは判断しない(同じ人物ではあるが、正面を向いていないので、第1の基準では同じ人物とは認識されない)、顔の向きが異なる同じ人物の顔画像を何枚(たとえば3枚程度)か、を抽出する(抽出手段)。
つまり、顔の向きが変わりすぎて、選択した顔画像から取得した特徴量では第1の特徴量とは類似してないと判断されることになる。
更にここで、抽出手段は顔の向きがそれぞれ異なる(たとえば上向き、下向き、右向き、左向き)同じ人物の顔画像811~813を複数枚(1枚以上)抽出する。抽出した同じ人物の顔画像811~813を仮判別器の登録リストBに追加保存する。
仮判別器の登録リストに追加保存された同じ人物の顔画像811~813は、画面809内に一覧表示される。
S811で情報処理装置は、ユーザが選んだ顔画像816を識別表示して、顔画像816に対する処理方法(登録818、再撮影819、キャンセル820の中の1つを選択)を受け付ける。
S812で情報処理装置は、登録818か否かを判断する。登録818の場合(TRUE)にはS813に進む。再撮影819、キャンセル820の場合(FALSE)の場合にはS801に進む。
S813で情報処理装置は、選択された顔画像816を登録リストAに追加保存する。
第2の顔認証手段が認証で使用するために、ここでユーザが手動で選択した顔画像816から取得した特徴量は、第3の特徴量(正面を向いていない顔画像から取得した特徴量であり、かつ第1の基準では同じ人物とは認識されない特徴量)として追加登録する。
図7を説明する。
図7はS603の顔認証の基準となる顔画像を1枚撮影するシーケンス時に操作端末100が表示する、WEBカメラで正面の顔の静止画を撮影し、顔認識の基準として操作端末100に登録する操作画面の遷移を示すものである。
700の画面は、静止画撮影の指示を受け付ける画面である。撮影ボタン703がユーザにより押下されると、3秒後に静止画撮影が開始され、静止画を記憶する。
707の画面は、S707で登録ボタン710が押下されることで、S708で顔画像が登録リストAに登録される。
図8を説明する。
図8はS607の顔認証の基準となる顔画像を動画で複数枚撮影するシーケンス時に操作端末100が表示する、WEBカメラでユーザのいろいろな向きの顔の動画を撮影し、顔認識の基準として操作端末100に登録する顔画像をユーザが選択する操作画面の遷移を示すものである。
800の画面は、動画撮影の指示を受け付ける画面である。撮影ボタン803がユーザにより押下されると、動画撮影が開始され、動画を記憶する。この画面では、動画撮影中にユーザにいろいろな方向を向かせて、いろいろな方向を向いた顔画像を登録できるように画面内に案内メッセージ801を出している。案内メッセージ801は、S804で撮影手段が撮像する間、顔の向きが異なる方向に顔を動かすようユーザにガイドするガイド手段の好適な一例を示すものである。尚、ガイド手段は音声案内であってもよい。
805の画面は、撮影ボタン803がユーザにより押下され、例えば5秒間動画を撮影している間に表示される画面である。5秒間撮影された動画はコマ毎に静止画に切り出されて、いろいろな方向を向いた顔画像の静止画として利用される。また動画撮影中に残りの撮影時間『残り3秒です。等』も表示される。
809の画面は、S808、S809でテレワーカ本人とは判別されずに、S810で抽出された顔画像を一覧表示したものである。ここで一覧表示された顔画像は、テレワーカ本人の顔画像であるが、現在登録済みの顔画像(の顔の向き)に基づいて、本人か否かを判別した場合には、テレワーカ本人とは判別されない。
815の画面は、S812でユーザが登録する顔画像を選択するものであり、S813で選択された顔画像が登録リストAに登録される。顔画像816が選択された後に登録ボタン818が押下されることで、選択された顔画像が登録リストAに登録される。
図9を説明する。
顔画像情報とは、顔画像1枚ごとに記憶されている各顔画像を識別するための情報である。
900はユーザIDであり、テレワーカの名前やIDである。
905は撮影日時情報であり、各顔画像が取得された日時である。
906は顔画像データであり、各顔画像から取得された各テレワーカ個人を判別可能な顔の特徴量である。
また、本発明における実行可能なプログラムは、図3、図4、図5、図6の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図3、図4、図5、図6の各処理ごとのプログラムであってもよい。
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、DVD-ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることが出来る。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
100 操作端末(情報処理装置)
110 監査端末
120 管理サーバ

Claims (13)

  1. 取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置であって、
    複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像に基づいて、当該第1の顔画像にかかる人物特定できる顔画像か否かを判断する判断手段と、
    前記第1の顔画像にかかる人物を特定できる顔画像ではないと判断された第2の顔画像を前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御手段と
    を備えることを特徴とする情報処理装置。
  2. 前記表示制御手段は、前記第2の顔画像が前記第1の顔画像にかかる人物を特定できる顔画像であると判断された場合に、前記第1の顔画像にかかる人物を特定する顔画像として登録する指示を受け付けるべく表示しないことを特徴とする請求項に記載の情報処理装置。
  3. 取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置であって、
    複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像と類似しているか否かを判断する判断手段と、
    前記第1の顔画像と類似していないと判断された第2の顔画像を前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御手段と
    を備えることを特徴とする情報処理装置。
  4. 前記表示制御手段は、前記第2の顔画像が前記第1の顔画像と類似すると判断された場合に、前記第1の顔画像にかかる人物を特定する顔画像として登録する指示を受け付けるべく表示しないことを特徴とする請求項に記載の情報処理装置。
  5. 前記判断手段は、前記第2の顔画像にかかる人物と前記第1の顔画像にかかる人物とが同一の人物であるか否かを判別することにより判断することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記顔画像の撮影を、前記第1の撮影方式により行うか、前記第2の撮影方式により行うかの選択を受け付ける受付手段を備えることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記第1の顔画像が登録されている場合に、前記受付手段による第2の撮影方式の選択の受け付けを可能に制御し、前記第1の顔画像が登録されていない場合には、前記第1の撮影方式により顔画像の撮影をするよう制御する制御手段を備えることを特徴とする請求項6に記載の情報処理装置。
  8. 前記第1の顔画像は、正面を向いた顔にかかる画像であることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記第2の撮影方式による撮影において、複数の異なる方向を向いた顔が撮影されるよう通知する通知手段を備えることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 前記第1の撮影方式は静止画を撮影する撮影方式、前記第2の撮影方式は動画を撮影する撮影方式であることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
  11. 取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置の制御方法であって、
    判断手段が、複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について、1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像に基づいて、当該第1の顔画像にかかる人物を特定できる顔画像か否かを判断する判断ステップと、
    表示制御手段が、前記第1の顔画像にかかる人物を特定できる顔画像ではないと判断された第2の顔画像を、前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御ステップと
    を含むことを特徴とする情報処理装置の制御方法。
  12. 取得した人物の顔画像から当該人物を特定する顔画像を登録する情報処理装置の制御方法であって、
    判断手段が、複数の顔画像を撮影する第2の撮影方式にて取得した複数の第2の顔画像について、1枚の顔画像を撮影する第1の撮影方式にて取得し前記人物を特定する顔画像として登録された第1の顔画像と類似しているか否かを判断する判断ステップと、
    表示制御手段が、前記第1の顔画像と類似していないと判断された第2の顔画像を、前記第1の顔画像にかかる人物を特定する顔画像として登録するかの指示を受け付けるべく表示する表示制御ステップと
    を含むことを特徴とする情報処理装置の制御方法。
  13. コンピュータを、請求項1乃至10のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2020180085A 2020-10-28 2020-10-28 情報処理装置、顔認証システム、その制御方法とプログラム Active JP7093037B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020180085A JP7093037B2 (ja) 2020-10-28 2020-10-28 情報処理装置、顔認証システム、その制御方法とプログラム
JP2022096190A JP7356060B2 (ja) 2020-10-28 2022-06-15 情報処理装置、その制御方法とプログラム
JP2023150875A JP2023171806A (ja) 2020-10-28 2023-09-19 情報処理装置、その制御方法とプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020180085A JP7093037B2 (ja) 2020-10-28 2020-10-28 情報処理装置、顔認証システム、その制御方法とプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019025021A Division JP6788205B2 (ja) 2019-02-15 2019-02-15 情報処理装置、個人認証システム、その制御方法、個人認証方法、そのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022096190A Division JP7356060B2 (ja) 2020-10-28 2022-06-15 情報処理装置、その制御方法とプログラム

Publications (2)

Publication Number Publication Date
JP2021036441A JP2021036441A (ja) 2021-03-04
JP7093037B2 true JP7093037B2 (ja) 2022-06-29

Family

ID=74716840

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020180085A Active JP7093037B2 (ja) 2020-10-28 2020-10-28 情報処理装置、顔認証システム、その制御方法とプログラム
JP2022096190A Active JP7356060B2 (ja) 2020-10-28 2022-06-15 情報処理装置、その制御方法とプログラム
JP2023150875A Pending JP2023171806A (ja) 2020-10-28 2023-09-19 情報処理装置、その制御方法とプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022096190A Active JP7356060B2 (ja) 2020-10-28 2022-06-15 情報処理装置、その制御方法とプログラム
JP2023150875A Pending JP2023171806A (ja) 2020-10-28 2023-09-19 情報処理装置、その制御方法とプログラム

Country Status (1)

Country Link
JP (3) JP7093037B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123676A (ja) 2010-12-09 2012-06-28 Canon Inc 個人認証装置
JP2012208610A (ja) 2011-03-29 2012-10-25 Secom Co Ltd 顔画像認証装置
JP2012242891A (ja) 2011-05-16 2012-12-10 Canon Inc 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI299471B (en) 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
JP4553138B2 (ja) 2005-09-28 2010-09-29 株式会社デンソー 顔画像認証装置
JP4939968B2 (ja) 2007-02-15 2012-05-30 株式会社日立製作所 監視画像処理方法、監視システム及び監視画像処理プログラム
JP2009245338A (ja) 2008-03-31 2009-10-22 Secom Co Ltd 顔画像照合装置
JP6132490B2 (ja) 2012-08-20 2017-05-24 キヤノン株式会社 認証装置、認証方法、およびプログラム
KR101443021B1 (ko) 2013-03-08 2014-09-22 주식회사 슈프리마 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
JP5920894B2 (ja) 2013-11-07 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および顔識別用データの登録方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123676A (ja) 2010-12-09 2012-06-28 Canon Inc 個人認証装置
JP2012208610A (ja) 2011-03-29 2012-10-25 Secom Co Ltd 顔画像認証装置
JP2012242891A (ja) 2011-05-16 2012-12-10 Canon Inc 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2023171806A (ja) 2023-12-05
JP2021036441A (ja) 2021-03-04
JP7356060B2 (ja) 2023-10-04
JP2022123030A (ja) 2022-08-23

Similar Documents

Publication Publication Date Title
JP6123653B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6281601B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP6515852B2 (ja) 情報処理装置、個人認証システム、その制御方法、個人認証方法、そのプログラム
JP6455501B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP6993597B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6680970B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7093037B2 (ja) 情報処理装置、顔認証システム、その制御方法とプログラム
JP6770231B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2018097866A (ja) 情報処理装置、制御方法、プログラム
JP6788205B2 (ja) 情報処理装置、個人認証システム、その制御方法、個人認証方法、そのプログラム
JP6369324B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6691309B2 (ja) 情報処理装置、及びその制御方法、プログラム
JP2017102758A (ja) 認証装置、認証方法及びプログラム
WO2022180814A1 (ja) 認証方法、認証プログラム、および情報処理装置
JP2017152013A (ja) 情報処理装置、情報処理方法、プログラム
JP7256364B2 (ja) 情報処理装置、その制御方法とプログラム
JP6631662B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6898574B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6697170B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6982266B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6802473B2 (ja) 情報処理システム、情報処理システムの制御方法、およびプログラム
JP7439000B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20240052387A (ko) 안면인식을 위한 특징 등록 시스템
CN114201643B (zh) 视频流渠道风控方法、设备及计算机可读存储介质
Santos et al. A Framework for Masked-Image Recognition System in COVID-19 Era

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R151 Written notification of patent or utility model registration

Ref document number: 7093037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151