JP5861530B2 - 利用者検知装置、方法、及びプログラム - Google Patents

利用者検知装置、方法、及びプログラム Download PDF

Info

Publication number
JP5861530B2
JP5861530B2 JP2012071797A JP2012071797A JP5861530B2 JP 5861530 B2 JP5861530 B2 JP 5861530B2 JP 2012071797 A JP2012071797 A JP 2012071797A JP 2012071797 A JP2012071797 A JP 2012071797A JP 5861530 B2 JP5861530 B2 JP 5861530B2
Authority
JP
Japan
Prior art keywords
user
image
detection
posture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012071797A
Other languages
English (en)
Other versions
JP2013205939A (ja
Inventor
厚一郎 新沼
厚一郎 新沼
松田　高弘
高弘 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012071797A priority Critical patent/JP5861530B2/ja
Publication of JP2013205939A publication Critical patent/JP2013205939A/ja
Application granted granted Critical
Publication of JP5861530B2 publication Critical patent/JP5861530B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

開示の技術は利用者検知装置、利用者検知方法、及び利用者検知プログラムに関する。
近年、情報機器の急速な普及に伴い、情報機器内に多種多様な情報が保持されるようになっている。このため、情報機器内に保持されている情報の漏洩等を抑制するセキュリティ技術の確立は極めて重要な課題になってきており、様々な認証技術(例えばパスワード認証や生体認証、カード認証等)が提案されて実用化されている。しかし、既存の認証技術の多くは、ログイン時にのみ認証処理を実施するものであり、例えば、正規の利用者が情報機器の設置位置から離席している間に第三者が情報機器を不正に使用した場合、これを検知できないという共通の課題がある。
上記の課題を解決するため、ログイン後も利用者に対して継続的に認証処理を行う継続認証技術が従来より提案されている。継続認証技術の中でも、利用者を撮影した画像の色ヒストグラムを用いる色ヒストグラム認証は、顔認証やキーストローク等を用いる他の方式と比較して、利用者の姿勢変化に対して頑健で、利用者がキーを打っていない間も継続認証が可能という特長を有している。色ヒストグラム認証では、例えば、ログイン時などに、パーソナルコンピュータ（ＰＣ）のディスプレイ上部等に設置されたカメラにより撮影された画像中の利用者に対応する領域（顔や服などの領域）の色ヒストグラムを登録しておく。そして、登録した色ヒストグラムとの色ヒストグラムの類似度に基づいて、画像中の利用者対応領域を検知し、その移動を追跡することで継続認証が実現される。
P.Viola and M.Jones,"Rapid object detection using a boosted cascade of simple features,"in Proc.IEEE Computer Vision and Pattern Recognition,pp.I_511-I_518,2001 B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, in Proc. 7th IJCAI, Vancouver, B. C., Canada, pp.674−679, 1981
利用者が手元の資料を閲覧しながら情報機器を操作しているような状況は、図１７に示すように、利用者が正面を向いている姿勢から、顔を大きく下げてうつむいた姿勢になる場合がある。このような場合、利用者は情報機器の設置位置から離席しているわけではないため、継続認証の処理も継続されるべきである。しかし、例えば利用者の顔領域の色ヒストグラムを用いた従来技術の継続認証では、図１７のように利用者の姿勢が変化することにより、色ヒストグラムが大きく変化し、利用者が存在しているにも拘らず利用者対応領域を特定できないことが生じ得る。この場合、継続認証が途切れてしまったり、利用者が情報機器の設置位置から離席したと誤判定されたりすることになる、という課題があった。
また、このような問題は、認証に用いる特徴量を色ヒストグラムとする場合だけでなく、利用者の姿勢の変化により大きく変化する特徴量を用いる場合（例えばオプティカルフローを用いた追跡による認証等）にも、同様に生じ得る。
開示の技術は、利用者の姿勢が大きく変化した場合でも、利用者対応領域の継続的な検知が途切れることを抑制することが目的である。
開示の技術は、撮影部によって連続して撮影された画像を順次取得する画像取得部を備えている。また開示の技術は、第１検知部を備えている。第１検知部は、利用者が第１の姿勢のときに前記撮影部により撮影され、前記画像取得部によって取得された画像中の前記利用者に対応する利用者対応領域から基準画像特徴量を予め取得する。また第１検知部は、基準画像特徴量と前記画像取得部によって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す。また開示の技術は、第２検知部を備えている。第２検知部は、前記利用者が前記第１の姿勢とは異なる第２の姿勢のときに前記撮影部により撮影され、前記画像取得部によって取得された画像中の前記利用者対応領域から予め一時画像特徴量を取得する。また第２検知部は、一時画像特徴量と前記画像取得部によって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す。また開示の技術は、切換部を備えている。切換部は、前記画像取得部によって取得された画像から前記利用者が前記第１の姿勢であると判定した場合に、前記第１検知部によって利用者対応領域の検知を行わせる。また切換部は、前記画像取得部によって取得された連続する画像において抽出された前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢であると判定した場合に、前記第２検知部によって利用者対応領域の検知を行わせるように切り換える。
開示の技術は、利用者の姿勢が大きく変化した場合でも、利用者対応領域の継続的な検知が途切れることを抑制することができる、という効果を有する。
第１実施形態で説明した認証装置の機能ブロック図である。 検知モード切換部の機能ブロック図である。 認証装置として機能するコンピュータの概略ブロック図である。 認証処理のフローチャートである。 継続認証処理のフローチャートである。 初期登録処理のフローチャートである。 第１検知モード処理のフローチャートである。 差分シルエットの算出を説明するための説明図である。 差分シルエットの算出の詳細を説明するための説明図である。 差分シルエットの類似度の算出を説明するための説明図である。 利用者の姿勢と差分シルエットとの関係を説明するための説明図である。 利用者の動きの大きさと差分シルエットとの関係を説明するための説明図である。 第１実施形態における継続認証処理の概略を説明するための説明図である。 第２検知モード処理のフローチャートである。 第２実施形態における継続認証処理の概略を説明するための説明図である。 第３実施形態における継続認証処理の概略を説明するための説明図である。 従来技術の問題点を説明するための説明図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下では開示の技術を継続認証に適用した態様を主に説明する。
〔第１実施形態〕
図１には、本第１実施形態に係る認証装置１０が示されている。認証装置１０はＰＣや携帯端末等の情報機器を使用する利用者の認証を行う装置であり、情報機器の使用を開始する利用者の認証（ログイン認証）を行うログイン認証装置１２と、情報機器を使用中の利用者の認証（継続認証）を行う継続認証装置１４を備えている。認証装置１０は、例えば、利用者によって使用される情報機器に内蔵する（情報機器を認証装置１０としても機能させる）ことができるが、これに代えて、情報機器と通信回線を介して接続されたコンピュータを認証装置１０として機能させることでも実現できる。また、ログイン認証装置１２は、利用者の認証方式として、公知の各種の認証方式（例えば、パスワード認証や生体認証、カード認証等）の何れを適用した構成でもよい。
継続認証装置１４は開示の技術における利用者検知装置の一例であり、画像取得部１６、第１検知部１８、第２検知部２０、検知モード切換部２２、及び顔検出部２４を備えている。また、継続認証装置１４は基準色ヒストグラム情報２６を記憶する第１記憶部２８、及び一時色ヒストグラム情報３０を記憶する第２記憶部３２を備えている。なお、検知モード切換部２２は開示の技術における切換部の一例である。
画像取得部１６は、ログイン認証装置１２によるログイン認証を経て前記情報機器を使用している利用者（認証対象者）の顔や体の一部及び利用者の背景を被写体として撮影部が定期的に連続して撮影を行うことで得られた画像の画像データを順次取得する。なお、例えば認証装置１０が前記情報機器に内蔵されている場合、画像取得部１６は、上記の撮影部を含んだ構成であってもよい。また、例えば情報機器と通信回線を介して接続されたコンピュータが認証装置１０として機能する場合、画像取得部１６は、情報機器に設けられた撮影部で撮影された画像の画像データを情報機器から受信することで取得する通信ユニットであってもよい。
第１検知部１８は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域及び体に対応する体領域の色ヒストグラムを算出する。ここで算出した顔領域及び体領域の色ヒストグラムは、基準色ヒストグラム情報２６として第１記憶部２８に記憶される。また第１検知部１８は、後述する第２検知部２０による検知へ切り換えられるまで、画像取得部１６によって取得された画像に対し、基準色ヒストグラム情報２６を用いて色ヒストグラム認証（色ヒストグラムの類似度に基づく利用者対応領域の検知）を行う。すなわち、画像取得部１６によって取得された画像に対し、基準色ヒストグラム情報２６との色ヒストグラムの類似度が最大となる領域を顔領域及び体領域について各々探索する。そして、当該探索で抽出した領域における色ヒストグラムの類似度が閾値以上であれば抽出した領域に利用者が存在していると判定する。色ヒストグラムの類似度が閾値未満であれば、後述する第２検知部２０による認証に切り換えるか、または利用者が情報機器から離席したと判定する。なお、以下では、第１検知部１８により利用者対応領域の検知を行う検知モードを「第１検知モード」という。
第２検知部２０は、後述する検知モード切換部２２により、検知モードが第１検知モードから切り換えられたタイミングで、画像取得部１６によって取得された連続する２画像間の差分シルエット（詳細は後述）内の色ヒストグラムを算出する。ここで算出した差分シルエット内の色ヒストグラムは、一時色ヒストグラム情報３０として第２記憶部３２に記憶される。また第２検知部２０は、検知モード切換部２２により検知モードが第１検知モードへ切り換えられるまでの間、画像取得部１６によって取得された画像に対し、一時色ヒストグラム情報３０を用いて色ヒストグラム認証を行う。色ヒストグラム認証の方法は、基準色ヒストグラム情報２６に代えて一時色ヒストグラム情報３０を用いる点を除いて、第１検知部１８で行われる色ヒストグラム認証と同様である。なお、以下では、第２検知部２０により利用者対応領域の検知を行う検知モードを「第２検知モード」という。
検知モード切換部２２は、第１検知モードから第２検知モードへの検知モードの切り換え、及び第２検知モードから第１検知モードへの検知モードの切り換え、並びに離席判定を行う。検知モード切換部２２は、図２に示すように、差分シルエット算出部２２ａ、類似度判定部２２ｂ、第１→第２切換設定部２２ｃ、切換顔検出部２２ｄ、及び第２→第１切換設定部２２ｅを備えている。なお、差分シルエット算出部２２ａは開示の技術における算出部の一例であり、類似度判定部２２ｂは開示の技術における判定部の一例である。
差分シルエット算出部２２ａは、第１検知モードにおいて、第１検知部１８により利用者対応領域が検知されたか否かを監視する。検知されていない（第１検知部１８による検知が失敗した）場合には、第１検知部１８による検知が失敗した画像を含む連続する２フレームの画像の差分に基づいて、利用者のシルエット（利用者の輪郭）を示す差分シルエットを算出する。
類似度判定部２２ｂは、差分シルエット算出部２２ａが算出した連続する２つの差分シルエット間の類似度を算出し、算出した類似度に基づいて、２つの差分シルエットが類似しているか否かを判定する。
第１→第２切換設定部２２ｃは、類似度判定部２２ｂにより２つの差分シルエットが類似していると判定された場合に、第１検知モードから第２検知モードへ切り換える。具体的には、第１→第２切換設定部２２ｃは、第１検知部１８による色ヒストグラム認証の処理を中断させる。また、第２検知部２０により、画像取得部１６により取得された画像において、差分シルエット算出部２２ａにより算出された差分シルエットに対応する領域内の画素から色ヒストグラムを算出させ、一時色ヒストグラム情報３０として第２記憶部３２に記憶させる。また、以降に画像取得部１６で取得される画像に対して、第２検知部２０による利用者対応領域の検知が行われるように、検知モードを第２検知モードに設定する。一方、類似度判定部２２ｂにより２つの差分シルエットが類似していないと判定された場合には、利用者が離席したと判定する。
切換顔検出部２２ｄは、第２検知モードにおいて、第２検知部２０による利用者対象領域の検知に成功した画像に対して、画像中に存在する利用者の顔に対応する顔領域を検出する処理を行う。
第２→第１切換設定部２２ｅは、切換顔検出部２２ｄにより顔領域が検出された場合に、第２検知モードから第１検知モードへ切り換える。具体的には、第２→第１切換設定部２２ｅは、第２検知部２０による色ヒストグラム認証の処理を中断させる。また、次以降に画像取得部１６で取得される画像に対して、第１検知部１８による利用者対応領域の検知が行われるように、検知モードを第１検知モードに設定する。一方、切換顔検出部２２ｄにより顔領域が検出されなかった場合には、第２検知モードを継続する。
顔検出部２４は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域を検出する処理を行う。顔検出部２４は、顔領域の検出結果を第１検出部１８へ出力する。顔検出部２４から第１検出部１８へ出力された顔領域の検出結果は、第１検出部１８による、画像中の顔領域及び体領域の特定に用いられる。
認証装置１０は、例えば図３に示すコンピュータ４２で実現することができる。なお、以下では、コンピュータ４２が利用者によって使用される情報機器に含まれる態様を説明するが、コンピュータ４２は情報機器と通信回線を介して接続されたコンピュータであってもよい。コンピュータ４２はＣＰＵ４４、メモリ４６、不揮発性の記憶部４８、キーボード５０、マウス５２、ディスプレイ５４、カメラ５６を備え、これらはバス５８を介して互いに接続されている。なお、カメラ５６は撮影部の一例であり、情報機器(コンピュータ４２)を使用している利用者の顔や体の一部及び利用者の背景を被写体として撮影可能に配置されている。
また、記憶部４８はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４８には、コンピュータ４２を認証装置１０として機能させるためのログイン認証プログラム６０及び継続認証プログラム６２、並びに基準色ヒストグラム情報２６及び一時色ヒストグラム情報３０が各々記憶されている。ＣＰＵ４４は、ログイン認証プログラム６０及び継続認証プログラム６２を記憶部４８から読み出してメモリ４６に展開し、各プログラム６０，６２が有するプロセスを順次実行する。
ＣＰＵ４４は、ログイン認証プログラム６０が有するプロセスを実行することで、図１に示すログイン認証装置１２として動作する。また継続認証プログラム６２は、画像取得プロセス６４、第１検知プロセス６６、第２検知プロセス６８、検知モード切換プロセス７０、及び顔検出プロセス７２を有する。ＣＰＵ４４は、画像取得プロセス６４を実行することで、図１に示す画像取得部１６として動作する。またＣＰＵ４４は、第１検知プロセス６６を実行することで、図１に示す第１検知部１８として動作する。またＣＰＵ４４は、第２検知プロセス６８を実行することで、図１に示す第２検知部２０として動作する。またＣＰＵ４４は、検知モード切換プロセス７０を実行することで、図１に示す検知モード切換部２２として動作する。またＣＰＵ４４は、顔検出プロセス７２を実行することで、図１に示す顔検出部２４として動作する。なお、継続認証プログラム６２は開示の技術における利用者検知プログラムの一例である。
認証装置１０がコンピュータ４２で実現される場合、基準色ヒストグラム情報２６を記憶する記憶部４８は第１記憶部２８として用いられ、メモリ４６の一部領域は基準色ヒストグラム情報２６の記憶領域として用いられる。また、一時色ヒストグラム情報３０を記憶する記憶部４８は第２記憶部３２としても用いられ、メモリ４６の一部領域は一時色ヒストグラム情報３０の記憶領域として用いられる。これにより、ログイン認証プログラム６０及び継続認証プログラム６２を実行したコンピュータ４２が、認証装置１０として機能することになる。
なお、認証装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
次に本第１実施形態の作用を説明する。
以下、まず図４のフローチャートを参照し、本実施形態に係る認証装置１０による認証処理を説明する。図４に示す認証処理は、利用者によって情報機器の使用が開始される際に実行され、まずステップ８０において、ログイン認証装置１２は、ログイン認証処理を行う。このログイン認証処理における認証方式は、前述のように、公知の各種の認証方式(例えばパスワード認証や生体認証、カード認証等)の何れでもよい。次のステップ８２において、ログイン認証装置１２は、ログイン認証によって利用者が正規の利用者であることを確認できたか否か判定する。
ステップ８２の判定が否定された場合は認証処理を終了する。これにより、正規の利用者以外の他者が情報機器を使用することが阻止される。一方、ステップ８２の判定が肯定された場合、ログイン認証装置１２は継続認証装置１４を起動してステップ８４へ移行し、ステップ８４において、継続認証装置１４は継続認証処理を行う。これにより、ログイン認証によって正規の利用者であることが確認された利用者は、継続認証装置１４によって継続認証処理が行われている間、情報機器を使用することが可能となる。
次に、図４に示す認証処理のステップ８４で継続認証装置１４によって行われる継続認証処理の詳細を、図５を参照して説明する。図５に示す継続認証処理では、まずステップ９０で初期登録処理が行われる。
この初期登録処理について、図６を参照して説明すると、まずステップ１３０において、画像取得部１６は、撮像部（カメラ５６）によって撮影された最新の画像の画像データを取得する。次のステップ１３２において、顔検出部２４は、画像取得部１６によって取得された画像データが表す画像中に存在する利用者の顔領域を検出する。なお、顔検出部２４による顔領域の検出には、例えばHaar classifierを用いる手法（非特許文献１参照）等の任意の手法を適用することができる。次のステップ１３４において、顔検出部２４は、ステップ１３２の顔領域の検出処理により、利用者の顔に対応する顔領域を検出できたか否か判定する。例えば、撮影時に利用者の顔が撮像部（カメラ５６）の正面を向いていなかった等の場合には、ステップ１３４の判定が否定されてステップ１３０に戻り、ステップ１３４の判定が肯定される迄、ステップ１３０〜ステップ１３４を繰り返す。
一方、ステップ１３４の判定が肯定された場合はステップ１３６へ移行し、ステップ１３６において、第１検知部１８は、顔検出部２４による顔領域の検出結果に基づき、利用者の顔におよそ対応する一定形状（例えば楕円形状や他の形状）の顔領域を設定する。また、設定した顔領域の下方に、利用者の体の一部におよそ対応する一定形状（例えば矩形状）の体領域を設定する。なお、体領域の設定には他の手法を用いることも可能である。
次のステップ１３８において、第１検知部１８は、ステップ１３６で設定した利用者の顔領域及び体領域の色ヒストグラムを各々生成する。なお、例えば、画像の画素毎の色をＲ，Ｇ，Ｂ３色の組み合わせで表す画像データが画像取得部１６によって取得される場合、上記で生成される色ヒストグラムは、Ｒ，Ｇ，Ｂ３色の組み合わせ毎の頻度を表す色ヒストグラムとなる。なお、ＲＧＢ色空間以外の他の色空間を用いてもよい。
ステップ１４０において、第１検知部１８は、ステップ１３８で生成した利用者の顔領域及び体領域の色ヒストグラムを基準色ヒストグラム情報２６として第１記憶部２８に記憶させる。また、第１検知部１８は、ステップ１３６で設定した利用者の顔領域の位置やサイズを表す情報を、基準色ヒストグラム情報２６の一部として第１記憶部２８に記憶させる。そしてステップ１４２において、検知モード切換部２２は、継続認証の検知モードを第１検知モードに設定し、初期登録処理を終了する。
上述した初期登録処理が終了すると、図５の継続認証処理のステップ９２へ移行する。ステップ９２において、画像取得部１６は、撮像部(カメラ５６)によって撮影された最新の画像の画像データを取得する。次のステップ９４において、検知モード切換部２２は、継続認証の現在の検知モードが第１検知モードか否かを判定する。ステップ９４の判定が肯定された場合、検知モード切換部２２は第１検知部１８を呼び出してステップ９６へ移行する。これにより、ステップ９６では、第１検知部１８によって第１検知モード処理が行われる。
この第１検知モード処理について、図７を参照して説明すると、まずステップ１５０において、第１検知部１８は、第１記憶部２８に記憶されている利用者の顔領域の情報（位置及びサイズ）を取得する。次のステップ１５２において、第１検知部１８は、ステップ１５０で情報を取得した顔領域を基準として、先のステップ９２で取得された画像のうち、顔領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域（現在の顔領域）を探索する。この探索は、ステップ１５０で取得した顔領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。
次のステップ１５４において、第１検知部１８は、まずステップ１５０で情報を取得した顔領域の下方に、顔領域のサイズに応じた大きさの対応する体領域を設定する。そして、設定した体領域を基準として、先のステップ９２で取得された画像のうち、体領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域（現在の体領域）を探索する。この探索も、先に設定した体領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。
次のステップ１５６において、第１検知部１８は、ステップ１５２の探索で抽出した顔領域の色ヒストグラムの類似度、及びステップ１５４の探索で抽出した体領域の色ヒストグラムの類似度から最終類似度を算出する。顔領域の色ヒストグラムの類似度をＳｆａｃｅ、体領域の色ヒストグラムの類似度をＳｂｏｄｙとした場合、最終類似度Ｓｆｉｎａｌは下記（１）式で算出することができる。
Ｓｆｉｎａｌ＝ｔ×Ｓｆａｃｅ＋（１−ｔ）×Ｓｂｏｄｙ ・・・（１）
但し、ｔは顔領域の色ヒストグラムの類似度Ｓｆａｃｅに対する重み係数で、０≦ｔ≦１である。最終類似度を算出すると、第１検知モード処理を終了する。
上述した第１検知モード処理が終了すると、図５の継続認証処理のステップ９８へ移行する。ステップ９８において、検知モード切換部２２は、第１検知部１８による第１検知モード処理（ステップ９６）で得られた色ヒストグラムの類似度（最終類似度Ｓｆｉｎａｌ）が閾値以上か否かを判定することで、第１検知モードを継続するか否か判定する。ステップ９８の判定が肯定されると、現在の検知モードである第１検知モードを継続すると判定して、ステップ９２に戻る。
これにより、第１検知モード処理で得られた色ヒストグラムの類似度が閾値以上の間は、ステップ９２〜ステップ９８が繰り返され、第１検知モードにおける色ヒストグラム認証によって継続認証が行われる。
一方、色ヒストグラムの類似度が閾値未満になると、ステップ９８の判定が否定されてステップ１００へ移行する。ステップ１００において、差分シルエット算出部２２ａは、図８に示すように、上記ステップ９２で取得した画像（現在の画像）とその１フレーム前の画像との差分に基づく差分シルエットを算出する。また、差分シルエット算出部２２ａは、１フレーム前の画像とそのさらに１フレーム前の画像（現在の画像の２フレーム前の画像）との差分に基づく差分シルエットを算出する。差分シルエットの算出は、図９に示すように、２フレームの画像間で対応する画素同士の画素値の差分が一定閾値以上の画素を変化画素として抽出する。図９では、変化画素を黒色で示している。そして、所定サイズ以上の一群の変化画素領域を抽出し、抽出した変化画素領域の外形を差分シルエットとして算出する。
次に、ステップ１０２において、類似度判定部２２ｂは、上記ステップ１００で算出した連続する２つの差分シルエット間の類似度を算出する。そして、差分シルエットの類似度が所定の閾値以上か否かにより、２つの差分シルエットが類似しているか否かを判定する。例えば、図１０に示すように、差分シルエットＡと差分シルエットＢとの類似度を、下記（２）式により算出することができる。
但し、Ｎａは差分シルエットＡの総画素数、Ｎｂは差分シルエットＢの総画素数、Ｄｉは差分シルエットＡの画素ｉから差分シルエットＢへの最短距離、Ｄｋは差分シルエットＢの画素ｋから差分シルエットＡへの最短距離である。また、ΣＤｉは差分シルエットＡの全画素についての最短距離Ｄｉの総和、及びΣＤｋは差分シルエットＢの全画素についての最短距離Ｄｋの総和である。
ここで、利用者が頭を下げた場合、及び離席した場合のそれぞれについて算出された差分シルエットの例を図１１に示す。図１１に示す通り、利用者が頭を下げた場合には、連続したフレーム間毎に類似した差分シルエットが得られる。一方、利用者が離席する場合には、連続したフレーム間毎で大きく異なる差分シルエットが得られる。そのため、連続したフレーム間毎の差分シルエットの類似度を判定することで、利用者が継続して存在するか離席したかを判定することができる。
ステップ１０２の判定が肯定される場合には、ステップ１０４へ移行し、否定される場合には、ステップ１１８へ移行し、利用者が離席したとの判定結果を出力し、継続認証処理を終了する。
ステップ１０４において、第２検知部２０は、現在の画像において、現在の画像と１フレーム前の画像との差分シルエットに対応する領域内に一時領域を設定する。差分シルエットに対応する領域内とは、差分シルエットを利用者対応領域の輪郭とみなしたときに、差分シルエットの位置及び分布に応じて定まる利用者対応領域内である。そして、一時領域内の画素から色ヒストグラムを算出し、一時色ヒストグラム情報３０として第２記憶部３２に記憶させる。また、第２検知部２０は、設定した一時領域の位置やサイズを表す情報を、一時色ヒストグラム情報３０の一部として第２記憶部３２に記憶させる。
次のステップ１０６において、第１→第２切換設定部２２ｃは、第１検知部１８による色ヒストグラム認証の処理を中断させると共に、検知モードを第２検知モードに設定して、ステップ９２へ戻る。これにより、次に取得される画像については、ステップ９４で否定判定されて、次のステップ１０８において、第２検知部２０により第２検知モード処理が実行される。
なお、前述のように、連続したフレーム間毎の差分シルエットの類似度により、利用者が存在するか離席したかを判定することができるため、第２検知モードとして、差分シルエットの類似度を用いた利用者対応領域の検知を行うことも考えられる。しかし、図１２に示すように、利用者が頭を下げた後、その姿勢での動きが小さくなった場合には、画像間の画素値の変化が小さくなるため、差分シルエットの算出結果が不安定となる。そのため、差分シルエットの類似度を用いた利用者対応領域の検知を長時間使用することはできない。一方で、色ヒストグラム認証の場合は、利用者の動きが小さい場合の方が安定した利用者対応領域の検知が可能である。これらの特徴と利用者の姿勢との関係を下記表１にまとめる。
表１に示す通り、正面を向いた姿勢から頭を下げている間、及び頭を下げた直後は、安定した差分シルエットの算出が可能であるが、色ヒストグラムが大きく変化する可能性がある。一方で、頭を下げた（動きが小さい）姿勢は、算出される差分シルエットが不安定になる可能性があるが、色ヒストグラムの変化量は小さくなる。
そこで、本実施形態では、図１３に示すように、第１検知モードによる認証が途切れた場合に、差分シルエットの類似度を用いて、利用者が存在するか離席したかを判定する。また、差分シルエットの類似度を用いて利用者が存在すると判定された場合には、検知モードを第２検知モードに切り換える。第２検知モードでは、差分シルエットではなく、第１検知モードによる認証が途切れたときの画像から取得された一時色ヒストグラム情報３０を用いた色ヒストグラム認証を行う。
ステップ１０８において実行される第２検知モード処理について、図１４を参照して説明する。なお、第１検知モード処理（図７）と共通する内容については、第１検知モード処理の各ステップと末尾を対応させたステップ番号を付して、詳細な説明を省略する。
まずステップ１６０において、第２検知部２０は、第２記憶部３２に記憶されている一時領域の情報（位置及びサイズ）を取得する。次のステップ１６２において、第２検知部２０は、ステップ１６０で情報を取得した一時領域を基準として、先のステップ９２で取得された画像のうち、一時色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域（現在の一時領域）を探索する。
次のステップ１６６において、第２検知部２０は、ステップ１６２の探索で抽出した一時領域の色ヒストグラムの類似度を、一時類似度Ｓｔｅｍｐｏｒａｒｉｌｙとして取得する。一時類似度を取得すると、第２検知モード処理を終了する。
上述した第２検知モード処理が終了すると、図５の継続認証処理のステップ１１０へ移行する。ステップ１１０において、検知モード切換部２２は、第２検知部２０による第２検知モード処理（ステップ１０８）で得られた色ヒストグラムの類似度（一時類似度Ｓｔｅｍｐｏｒａｒｉｌｙ）が閾値以上か否かを判定することで、第２検知モードを継続するか否か判定する。ステップ１１０の判定が肯定される場合には、ステップ１１２へ移行し、否定される場合には、ステップ１１８へ移行し、利用者が離席したとの判定結果を出力し、継続認証処理を終了する。
ステップ１１２において、切換顔検出部２２ｄは、現在の画像に対して、画像中に存在する利用者の顔に対応する顔領域を検出する処理を行う。次のステップ１１４において、切換顔検出部２２ｄは、ステップ１１２の顔領域の検出処理により、利用者の顔に対応する顔領域を検出できたか否か判定する。ステップ１１４の判定が肯定されると、第１検知モードによる認証処理が可能となるため、次のステップ１１６において、第２→第１切換設定部２２ｅは、第２検知部２０による色ヒストグラム認証の処理を中断させる。また、第２→第１切換設定部２２ｅは、検知モードを第１検知モードに設定して、ステップ９２へ戻る。なお、ステップ９２へ戻る前に、初期登録処理（図６）のステップ１３６〜１４０の処理を行って、基準色ヒストグラム情報２６を更新するようにしてもよい。
一方、利用者がうつむいたままの姿勢などの場合には、ステップ１１４の判定が否定されて、現在の検知モードである第２検知モードを継続すると判定して、ステップ９２に戻る。これにより、第２検知モード処理で得られた色ヒストグラムの一時類似度が閾値以上で、顔領域が検出されない間は、ステップ９２、９４、１０８〜１１４が繰り返され、第２検知モードにおける色ヒストグラム認証によって継続認証が行われる。
このように、本第１実施形態によれば、基準色ヒストグラム情報２６を用いた第１検知モードによる認証が途切れた場合に、差分シルエットの類似度を用いて、利用者が存在するか離席したかを判定する。また、差分シルエットの類似度を用いて利用者が存在すると判定された場合には、第１検知モードによる認証が途切れたときの画像から取得された一時色ヒストグラム情報３０を用いた色ヒストグラム認証を行う。これにより、利用者の姿勢が大きく変化した場合でも、利用者対応領域の継続的な検知が途切れることを抑制することができる。
〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、本第２実施形態は、第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態の作用を説明する。
第１実施形態では、連続する２つの画像のみを用いて差分シルエットを算出する場合について説明した。この差分シルエットに対応する領域内に一時領域を設定すると、図１５に示すように、一時領域に含まれる背景領域が大きくなる可能性が高い。特に、利用者が急激に動いた場合には、一時領域に含まれる背景領域が大きくなり、色ヒストグラム認証が不安定になる恐れがある。
本第２実施形態は上記を考慮したものであり、以下、本第２実施形態に係る継続認証処理について、第１実施形態で説明した継続認証処理（図５）と異なる部分についてのみ説明する。
本第２実施形態に係る継続認証処理では、ステップ１０４において、画像取得部１６は、最新の画像の画像データを取得し、差分シルエット算出部２２ａは、取得された最新の画像とステップ９２で取得された画像との差分シルエットを算出する。また、第２検知部２０は、図１５に示すように、本ステップで算出された差分シルエットと、ステップ１００において算出されたステップ９２で取得された画像とその１フレーム前の画像との差分シルエットとの共通領域を一時領域として設定する。この共通領域は、各差分シルエットを利用者対応領域の輪郭とみなしたときに、各差分シルエットの位置及び分布に応じて定まる各利用者対応領域の共通領域である。そして、一時領域内の画素から色ヒストグラムを算出し、一時色ヒストグラム情報３０として第２記憶部３２に記憶させる。また、第２検知部２０は、設定した一時領域の位置やサイズを表す情報を、一時色ヒストグラム情報３０の一部として第２記憶部３２に記憶させる。
このように、第２実施形態によれば、第１検知モードの認証に失敗した画像の次フレームの画像も含めた連続する３つの画像から得られる２つの差分シルエットの共通領域を一時領域として設定する。これにより、一時領域に含まれる背景領域を小さくすることができるため、第２検知モードにおける色ヒストグラム認証を安定させることができる。
なお、上記では、連続する３つの画像から得られる２つの差分シルエットの共通領域を一時領域として設定する場合について説明したが、連続する４つ以上の画像から得られる３つ以上の差分シルエットの共通領域を一時領域として設定してもよい。
〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、本第３実施形態は、第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第３実施形態の作用を説明する。
第１実施形態では、差分シルエットに対応する領域内に一時領域を設定した。しかし、図１６に示すように、利用者が顔を下げたタイミングと同時に背景が移動した場合には、実際の利用者の輪郭よりも大きい範囲が差分シルエットとして得られる。この差分シルエットに対応する領域内に制限なく一時領域を設定すると、一時領域に含まれる背景領域が大きくなる可能性が高く、色ヒストグラム認証が不安定になる恐れがある。
本第３実施形態は上記を考慮したものであり、以下、本第３実施形態に係る継続認証処理について、第１実施形態で説明した継続認証処理（図５）と異なる部分についてのみ説明する。
本第３実施形態に係る継続認証処理では、ステップ１０４において、第２検知部２０は、第１検知モードによる認証に成功した直近の画像、すなわち１フレーム前の画像において探索された体領域を最大利用者対応領域として設定する。なお、顔領域の色ヒストグラムのみを用いてトラッキングを行っている場合には、探索された顔領域の下方に、顔領域のサイズに応じた大きさの対応する体領域と同様の最大利用者対応領域を設定する。そして、第２検知部２０は、図１６に示すように、最大利用者対応領域と、ステップ１００において算出されたステップ９２で取得された画像とその１フレーム前の画像との差分シルエットとの共通領域を一時領域として設定する。この共通領域は、差分シルエットを利用者対応領域の輪郭とみなしたときに、差分シルエットの位置及び分布に応じて定まる利用者対応領域と最大利用者対応領域との共通領域である。以下、第１及び第２実施形態と同様に、一時領域内の画素から色ヒストグラムを算出する。
このように、第３実施形態によれば、第１検知モードによる認証に成功した直近の画像に基づいて最大利用者対応領域を設定し、差分シルエットとの共通領域を一時領域として設定する。これにより、利用者の姿勢が変化するタイミングで背景が移動しても、第２検知モードにおける色ヒストグラム認証を安定させることができる。
なお、上記では、最大利用者対応領域を利用者の体領域とする場合について説明したが、これに限定されない。利用者の姿勢が変化する場合において、色ヒストグラムの変化が小さいと考えられる領域を予め定めておくとよい。例えば、利用者が頭を下げるような姿勢の変化では、顔領域の色ヒストグラムは大きく変化するが、体領域の色ヒストグラムの変化は小さい。このような場合には、上記のように体領域を最大利用者対応領域とするとよい。
なお、上記では、継続認証に色ヒストグラムを用いる場合について説明したが、これに限定されない。例えば、領域（顔領域、体領域、一時領域）内の各画素の色情報を用いたパターンマッチングにより各領域をトラッキングしてもよいし、オプティカルフローを用いた認証を行ってもよい。オプティカルフローの算出には任意の方式を用いることができる（例えば、非特許文献２参照）。オプティカルフローを用いた認証では、オプティカルフローにより対応点を抽出できる特徴点数が閾値以下になった場合には、ユーザが離席したと判定することができる。また、第２検知モードでは、第１検知モードでの認証に失敗したときの画像から基準となる特徴点（一時画像特徴量）を抽出し、この基準となる特徴点を用いて、次以降取得された画像からオプティカルフローにより対応点を抽出することができる。
また、上記では継続認証処理を開始する際に、顔検出部２４によって抽出された顔領域と、当該顔領域から特定される体領域の色ヒストグラムを基準ヒストグラムとして登録する態様を説明したが、これに限定されるものではない。例えばログイン認証装置１２が、ログイン認証として、利用者の顔が予め登録された正規の利用者の顔に対応しているか否かを判定する顔認証を行う構成であれば、当該顔認証での顔領域の抽出結果に基づいて基準色ヒストグラムの登録を行うようにしてもよい。この場合、顔検出部２４を省略することで継続認証装置１４の構成を簡単にすることが可能となる。
また、上記では、ログイン認証完了後に顔検出を行って顔領域が検出された直後に基準色ヒストグラムの登録を行っているが、これに限定されるものではない。例えば、色ヒストグラム認証による継続認証を行っている途中で、定期的に、顔領域の検出及び基準色ヒストグラムの更新を行うようにしてもよい。また、基準色ヒストグラムを登録する部位についても、利用者の顔領域及び体領域に限定されるものではなく、例えば顔領域及び体領域の一方のみを登録してもよいし、顔や体の一部分の色ヒストグラムのみ登録するようにしてもよい。
また、上記では、顔領域が１回検出された場合に以降の処理へ移行する場合について説明したが、顔領域が安定して検出された場合に、以降の処理へ移行するようにしてもよい。この場合、顔領域が複数回連続して検出された場合や、顔領域が複数回ほぼ同じ位置で検出された場合などに顔領域が安定して検出されたと判定することができる。
また、上記ではログイン認証の後、ログイン認証を経た同一の利用者が情報機器を継続的に使用しているか否かを認証する継続認証に開示の技術を適用した態様を説明したが、開示の技術は上記の態様に限定されるものではない。例えば、利用者が情報機器を利用している間のみ映像(動画像)や音声の再生やアプリケーション・プログラムの実行を行い、利用者が情報機器の設置場所から離れている間は映像等の再生等を停止させる態様において、利用者の在／不在の検知に適用してもよい。
また、上記では継続認証プログラム６２が記憶部４８に予め記憶（インストール）されている態様を説明したが、継続認証プログラム６２は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
撮影部によって連続して撮影された画像を順次取得する画像取得部と、
利用者が第１の姿勢のときに前記撮影部により撮影され、前記画像取得部によって取得された画像中の前記利用者に対応する利用者対応領域から予め取得された基準画像特徴量と、前記画像取得部によって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第１検知部と、
前記利用者が前記第１の姿勢とは異なる第２の姿勢のときに前記撮影部により撮影され、前記画像取得部によって取得された画像中の前記利用者対応領域から予め取得された一時画像特徴量と、前記画像取得部によって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第２検知部と、
前記画像取得部によって取得された画像から前記利用者が前記第１の姿勢であると判定した場合に、前記第１検知部によって利用者対応領域の検知を行わせ、前記画像取得部によって取得された連続する画像において抽出された前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢であると判定した場合に、前記第２検知部によって利用者対応領域の検知を行わせるように切り換える切換部と、
を含む利用者検知装置。
（付記２）
前記切換部は、前記第１検知部によって利用者対応領域が検知できなかった場合に、前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢か否かを判定し、前記利用者の姿勢が前記第２の姿勢であると判定した場合には、前記第２検知部によって利用者対応領域の検知を行わせるように切り換え、それ以外の場合には、前記利用者が離席したと判定する付記１記載の利用者検知装置。
（付記３）
前記切換部は、
前記利用者の輪郭として、連続する画像間で対応する画素の画素値の差分が所定値以上となる領域の輪郭で表される差分シルエットを算出する算出部と、
前記連続する画像間毎に抽出された連続する前記差分シルエット間の類似度が所定の閾値以下となった場合に、前記利用者の姿勢が前記第２の姿勢であると判定する判定部と、
を含む付記２記載の利用者検知装置。
（付記４）
前記判定部は、前記差分シルエット間の類似度を、一方の差分シルエットの各画素と他方の前記差分シルエットとの最短距離の平均の逆数とした付記３記載の利用者検知装置。
（付記５）
前記切換部は、前記第２検知部による利用者対応領域の検知が行われているときに、前記画像取得部により取得された画像中から、前記利用者が前記第１の姿勢となっていることを示す特徴が検出された場合に、前記利用者が前記第１の姿勢であると判定する付記１〜付記４のいずれに記載の利用者検知装置。
（付記６）
前記画像特徴量を、各画素の色情報、色ヒストグラム、または移動ベクトル情報とした付記１〜付記５のいずれかに記載の利用者検知装置。
（付記７）
前記第２検知部は、前記切換部により抽出された前記利用者の輪郭内に対応する領域から前記一時画像特徴量を取得する付記１〜付記６のいずれかに記載の利用者検知装置。
（付記８）
前記第２検知部は、前記切換部により連続する複数の画像から抽出された複数の前記利用者の輪郭の各々に対応する領域の共通領域から前記一時画像特徴量を取得する付記７記載の利用者検知装置。
（付記９）
前記第２検知部は、前記切換部により抽出された前記利用者の輪郭内に対応する領域と、前記第１の姿勢と前記第２の姿勢とで前記利用者の変化が小さい領域として予め定めた最大利用者対応領域との共通領域から前記一時画像特徴量を取得する付記７または付記８記載の利用者検知装置。
（付記１０）
撮影部によって連続して撮影された画像を順次取得する画像取得ステップと、
利用者が第１の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者に対応する利用者対応領域から予め取得された基準画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第１検知ステップと、
前記利用者が前記第１の姿勢とは異なる第２の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者対応領域から予め取得された一時画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第２検知ステップと、
前記画像取得ステップによって取得された画像から前記利用者が前記第１の姿勢であると判定した場合に、前記第１検知ステップによって利用者対応領域の検知を行わせ、前記画像取得ステップによって取得された連続する画像において抽出された前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢であると判定した場合に、前記第２検知ステップによって利用者対応領域の検知を行わせるように切り換える切換ステップと、
を含む利用者検知方法。
（付記１１）
前記切換ステップは、前記第１検知ステップによって利用者対応領域が検知できなかった場合に、前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢か否かを判定し、前記利用者の姿勢が前記第２の姿勢であると判定した場合には、前記第２検知ステップによって利用者対応領域の検知を行わせるように切り換え、それ以外の場合には、前記利用者が離席したと判定する付記１０記載の利用者検知方法。
（付記１２）
前記切換ステップは、
前記利用者の輪郭として、連続する画像間で対応する画素の画素値の差分が所定値以上となる領域の輪郭で表される差分シルエットを算出する算出ステップと、
前記連続する画像間毎に抽出された連続する前記差分シルエット間の類似度が所定の閾値以下となった場合に、前記利用者の姿勢が前記第２の姿勢であると判定する判定ステップと、
を含む付記１１記載の利用者検知方法。
（付記１３）
前記判定ステップは、前記差分シルエット間の類似度を、一方の差分シルエットの各画素と他方の前記差分シルエットとの最短距離の平均の逆数とした付記１２記載の利用者検知方法。
（付記１４）
前記切換ステップは、前記第２検知ステップによる利用者対応領域の検知が行われているときに、前記画像取得ステップにより取得された画像中から、前記利用者が前記第１の姿勢となっていることを示す特徴が検出された場合に、前記利用者が前記第１の姿勢であると判定する付記１０〜付記１３のいずれに記載の利用者検知方法。
（付記１５）
前記画像特徴量を、各画素の色情報、色ヒストグラム、または移動ベクトル情報とした付記１０〜付記１４のいずれかに記載の利用者検知方法。
（付記１６）
前記第２検知ステップは、前記切換ステップにより抽出された前記利用者の輪郭内に対応する領域から前記一時画像特徴量を取得する付記１０〜付記１５のいずれかに記載の利用者検知方法。
（付記１７）
前記第２検知ステップは、前記切換ステップにより連続する複数の画像から抽出された複数の前記利用者の輪郭の各々に対応する領域の共通領域から前記一時画像特徴量を取得する付記１６記載の利用者検知方法。
（付記１８）
前記第２検知ステップは、前記切換ステップにより抽出された前記利用者の輪郭内に対応する領域と、前記第１の姿勢と前記第２の姿勢とで前記利用者の変化が小さい領域として予め定めた最大利用者対応領域との共通領域から前記一時画像特徴量を取得する付記１６または付記１７記載の利用者検知方法。
（付記１９）
コンピュータに、
撮影部によって連続して撮影された画像を順次取得する画像取得ステップと、
利用者が第１の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者に対応する利用者対応領域から予め取得された基準画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第１検知ステップと、
前記利用者が前記第１の姿勢とは異なる第２の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者対応領域から予め取得された一時画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第２検知ステップと、
前記画像取得ステップによって取得された画像から前記利用者が前記第１の姿勢であると判定した場合に、前記第１検知ステップによって利用者対応領域の検知を行わせ、前記画像取得ステップによって取得された連続する画像において抽出された前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢であると判定した場合に、前記第２検知ステップによって利用者対応領域の検知を行わせるように切り換える切換ステップと、
を含む処理を実行させるための利用者検知プログラム。
（付記２０）
前記切換ステップは、前記第１検知ステップによって利用者対応領域が検知できなかった場合に、前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢か否かを判定し、前記利用者の姿勢が前記第２の姿勢であると判定した場合には、前記第２検知ステップによって利用者対応領域の検知を行わせるように切り換え、それ以外の場合には、前記利用者が離席したと判定する付記１９記載の利用者検知プログラム。
（付記２１）
前記切換ステップは、
前記利用者の輪郭として、連続する画像間で対応する画素の画素値の差分が所定値以上となる領域の輪郭で表される差分シルエットを算出する算出ステップと、
前記連続する画像間毎に抽出された連続する前記差分シルエット間の類似度が所定の閾値以下となった場合に、前記利用者の姿勢が前記第２の姿勢であると判定する判定ステップと、
を含む付記２０記載の利用者検知プログラム。
（付記２２）
前記判定ステップは、前記差分シルエット間の類似度を、一方の差分シルエットの各画素と他方の前記差分シルエットとの最短距離の平均の逆数とした付記２１記載の利用者検知プログラム。
（付記２３）
前記切換ステップは、前記第２検知ステップによる利用者対応領域の検知が行われているときに、前記画像取得ステップにより取得された画像中から、前記利用者が前記第１の姿勢となっていることを示す特徴が検出された場合に、前記利用者が前記第１の姿勢であると判定する付記１９〜付記２２のいずれに記載の利用者検知プログラム。
（付記２４）
前記画像特徴量を、各画素の色情報、色ヒストグラム、または移動ベクトル情報とした付記１９〜付記２３のいずれかに記載の利用者検知プログラム。
（付記２５）
前記第２検知ステップは、前記切換ステップにより抽出された前記利用者の輪郭内に対応する領域から前記一時画像特徴量を取得する付記１９〜付記２４のいずれかに記載の利用者検知プログラム。
（付記２６）
前記第２検知ステップは、前記切換ステップにより連続する複数の画像から抽出された複数の前記利用者の輪郭の各々に対応する領域の共通領域から前記一時画像特徴量を取得する付記１６記載の利用者検知プログラム。
（付記２７）
前記第２検知ステップは、前記切換ステップにより抽出された前記利用者の輪郭内に対応する領域と、前記第１の姿勢と前記第２の姿勢とで前記利用者の変化が小さい領域として予め定めた最大利用者対応領域との共通領域から前記一時画像特徴量を取得する付記２５または付記２６記載の利用者検知プログラム。
１０ 認証装置
１４ 継続認証装置
１６ 画像取得部
１８ 第１検出部
２０ 第２検知部
２２ 検知モード切換部
２２ａ 差分シルエット算出部
２２ｂ 類似度判定部
２２ｃ 第１→第２切換設定部
２２ｄ 切換顔検出部
２２ｅ 第２→第１切換設定部
２４ 顔検出部
２６ 基準色ヒストグラム情報
２８ 第１記憶部
３０ 一時色ヒストグラム情報
３２ 第２記憶部
４２ コンピュータ
４８ 記憶部
５６ カメラ

Claims (11)

  1. 撮影部によって連続して撮影された画像を順次取得する画像取得部と、
    利用者が第１の姿勢のときに前記撮影部により撮影され、前記画像取得部によって取得された画像中の前記利用者に対応する利用者対応領域から予め取得された基準画像特徴量と、前記画像取得部によって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第１検知部と、
    前記利用者が前記第１の姿勢とは異なる第２の姿勢のときに前記撮影部により撮影され、前記画像取得部によって取得された画像中の前記利用者対応領域から予め取得された一時画像特徴量と、前記画像取得部によって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第２検知部と、
    前記画像取得部によって取得された画像から前記利用者が前記第１の姿勢であると判定した場合に、前記第１検知部によって利用者対応領域の検知を行わせ、前記画像取得部によって取得された連続する画像において抽出された前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢であると判定した場合に、前記第２検知部によって利用者対応領域の検知を行わせるように切り換える切換部と、
    を含む利用者検知装置。
  2. 前記切換部は、前記第１検知部によって利用者対応領域が検知できなかった場合に、前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢か否かを判定し、前記利用者の姿勢が前記第２の姿勢であると判定した場合には、前記第２検知部によって利用者対応領域の検知を行わせるように切り換え、それ以外の場合には、前記利用者が離席したと判定する請求項１記載の利用者検知装置。
  3. 前記切換部は、
    前記利用者の輪郭として、連続する画像間で対応する画素の画素値の差分が所定値以上となる領域の輪郭で表される差分シルエットを算出する算出部と、
    前記連続する画像間毎に抽出された連続する前記差分シルエット間の類似度が所定の閾値以下となった場合に、前記利用者の姿勢が前記第２の姿勢であると判定する判定部と、
    を含む請求項２記載の利用者検知装置。
  4. 前記判定部は、前記差分シルエット間の類似度を、一方の差分シルエットの各画素と他方の前記差分シルエットとの最短距離の平均の逆数とした請求項３記載の利用者検知装置。
  5. 前記切換部は、前記第２検知部による利用者対応領域の検知が行われているときに、前記画像取得部により取得された画像中から、前記利用者が前記第１の姿勢となっていることを示す特徴が検出された場合に、前記利用者が前記第１の姿勢であると判定する請求項１〜請求項４のいずれか１項記載の利用者検知装置。
  6. 前記画像特徴量を、各画素の色情報、色ヒストグラム、または移動ベクトル情報とした請求項１〜請求項５のいずれか１項記載の利用者検知装置。
  7. 前記第２検知部は、前記切換部により抽出された前記利用者の輪郭内に対応する領域から前記一時画像特徴量を取得する請求項１〜請求項６のいずれか１項記載の利用者検知装置。
  8. 前記第２検知部は、前記切換部により連続する複数の画像から抽出された複数の前記利用者の輪郭の各々に対応する領域の共通領域から前記一時画像特徴量を取得する請求項７記載の利用者検知装置。
  9. 前記第２検知部は、前記切換部により抽出された前記利用者の輪郭内に対応する領域と、前記第１の姿勢と前記第２の姿勢とで前記利用者の変化が小さい領域として予め定めた最大利用者対応領域との共通領域から前記一時画像特徴量を取得する請求項７または請求項８記載の利用者検知装置。
  10. 撮影部によって連続して撮影された画像を順次取得する画像取得ステップと、
    利用者が第１の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者に対応する利用者対応領域から予め取得された基準画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第１検知ステップと、
    前記利用者が前記第１の姿勢とは異なる第２の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者対応領域から予め取得された一時画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第２検知ステップと、
    前記画像取得ステップによって取得された画像から前記利用者が前記第１の姿勢であると判定した場合に、前記第１検知ステップによって利用者対応領域の検知を行わせ、前記画像取得ステップによって取得された連続する画像において抽出された前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢であると判定した場合に、前記第２検知ステップによって利用者対応領域の検知を行わせるように切り換える切換ステップと、
    を含む利用者検知方法。
  11. コンピュータに、
    撮影部によって連続して撮影された画像を順次取得する画像取得ステップと、
    利用者が第１の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者に対応する利用者対応領域から予め取得された基準画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第１検知ステップと、
    前記利用者が前記第１の姿勢とは異なる第２の姿勢のときに前記撮影部により撮影され、前記画像取得ステップによって取得された画像中の前記利用者対応領域から予め取得された一時画像特徴量と、前記画像取得ステップによって順次取得された画像から抽出された画像特徴量とに基づいて、前記画像中の前記利用者対応領域を検知することを繰り返す第２検知ステップと、
    前記画像取得ステップによって取得された画像から前記利用者が前記第１の姿勢であると判定した場合に、前記第１検知ステップによって利用者対応領域の検知を行わせ、前記画像取得ステップによって取得された連続する画像において抽出された前記利用者の輪郭の類似度から前記利用者の姿勢が前記第２の姿勢であると判定した場合に、前記第２検知ステップによって利用者対応領域の検知を行わせるように切り換える切換ステップと、
    を含む処理を実行させるための利用者検知プログラム。
JP2012071797A 2012-03-27 2012-03-27 利用者検知装置、方法、及びプログラム Active JP5861530B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012071797A JP5861530B2 (ja) 2012-03-27 2012-03-27 利用者検知装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012071797A JP5861530B2 (ja) 2012-03-27 2012-03-27 利用者検知装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013205939A JP2013205939A (ja) 2013-10-07
JP5861530B2 true JP5861530B2 (ja) 2016-02-16

Family

ID=49524998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012071797A Active JP5861530B2 (ja) 2012-03-27 2012-03-27 利用者検知装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5861530B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6287047B2 (ja) * 2013-10-22 2018-03-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN111797735A (zh) * 2020-06-22 2020-10-20 深圳壹账通智能科技有限公司 人脸视频识别方法、装置、设备及存储介质
CN114338170B (zh) * 2021-12-29 2023-12-15 安天科技集团股份有限公司 检测控制方法、装置、电子设备、存储介质及计算机系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302327A (ja) * 1993-08-11 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 物体画像検出方法及び検出装置
JP4506272B2 (ja) * 2004-05-14 2010-07-21 日産自動車株式会社 眼追跡装置
JP2008085491A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 画像処理装置及びその方法
JP4895042B2 (ja) * 2007-07-20 2012-03-14 富士フイルム株式会社 画像圧縮装置、画像圧縮方法、及びプログラム
JP5028338B2 (ja) * 2008-06-06 2012-09-19 日立オムロンターミナルソリューションズ株式会社 顔向き検出ユニット、および顔向き検出方法
JP5545977B2 (ja) * 2010-04-16 2014-07-09 セコム株式会社 画像監視装置

Also Published As

Publication number Publication date
JP2013205939A (ja) 2013-10-07

Similar Documents

Publication Publication Date Title
JP5935308B2 (ja) 利用者検知装置、方法及びプログラム
JP5831193B2 (ja) 利用者検知装置、方法及びプログラム
JP5888034B2 (ja) 利用者検知装置、方法及びプログラム
EP2866170B1 (en) Image processing device and image processing method
US9262614B2 (en) Image processing device, image processing method, and storage medium storing image processing program
US9747496B2 (en) Image processing device, method for processing image
US20120051605A1 (en) Method and apparatus of a gesture based biometric system
WO2007105768A1 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
US20190392129A1 (en) Identity authentication method
US10896313B2 (en) Methods and devices for recognizing fingerprint
JP6028453B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108596079B (zh) 手势识别方法、装置及电子设备
JP4899552B2 (ja) 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
JP5861530B2 (ja) 利用者検知装置、方法、及びプログラム
Bresan et al. Facespoof buster: a presentation attack detector based on intrinsic image properties and deep learning
JP7190987B2 (ja) 情報処理システム、および情報処理方法
JP2006277146A (ja) 照合方法および照合装置
JP6631736B1 (ja) 生体認証装置、生体認証システムおよびプログラム
Garcia et al. Automatic detection of heads in colored images
JP2012221002A (ja) ユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラム
EP3144849B1 (en) Biometric authentication system and method
JP2016105293A (ja) 利用者検知装置、方法及びプログラム
KR102386918B1 (ko) Ａｉ 기반의 모바일 사용자 인증 장치 및 방법
JP2001331804A (ja) 画像領域検出装置及び方法
JP6631737B1 (ja) 生体認証装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151207

R150 Certificate of patent or registration of utility model

Ref document number: 5861530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150