JP6773493B2 - 検出装置、検出方法、および検出プログラム - Google Patents

検出装置、検出方法、および検出プログラム Download PDF

Info

Publication number
JP6773493B2
JP6773493B2 JP2016179497A JP2016179497A JP6773493B2 JP 6773493 B2 JP6773493 B2 JP 6773493B2 JP 2016179497 A JP2016179497 A JP 2016179497A JP 2016179497 A JP2016179497 A JP 2016179497A JP 6773493 B2 JP6773493 B2 JP 6773493B2
Authority
JP
Japan
Prior art keywords
output
output information
eyes
detection
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016179497A
Other languages
English (en)
Other versions
JP2018045435A (ja
Inventor
山口 修
修 山口
智一 河原
智一 河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2016179497A priority Critical patent/JP6773493B2/ja
Priority to US15/443,469 priority patent/US10242253B2/en
Publication of JP2018045435A publication Critical patent/JP2018045435A/ja
Application granted granted Critical
Publication of JP6773493B2 publication Critical patent/JP6773493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00172Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183Photography assistance, e.g. displaying suggestions to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00381Input by recognition or interpretation of visible user gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00488Output means providing an audible output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H04N1/2133Recording or reproducing at a specific moment, e.g. time interval or time-lapse
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Description

本発明の実施の形態は、検出装置、検出方法、および検出プログラムに関する。
対象が生体であるか否かを検知するシステムが知られている。例えば、対象の眼の虹彩を用いて、生体認証するシステムが知られている。また、義眼や写真がカメラの前に翳された場合の誤検知を抑制する技術が知られている。例えば、虹彩の撮影を行う前に、人物の視線をランダムに動かすように誘導することで、正当な眼球であるか否かを確認するシステムがある。なお、従来は、目を閉じた状態で、次の行動のチェックを行うことにより、生体か否かの検知を行う方法はこれまで開示されていなかった。
しかし、従来は、検知対象のユーザは、必ず目を開けた状態でカメラの前に立った上で、眼を動かす動作などを行う必要があった。そして、その後、目を開けた状態を維持したまま、虹彩による検証が終了するまで待つ必要があった。このため、従来は、生体検知を行う上での使い心地が悪いという問題があった。
特開2006−85226号公報
本発明が解決しようとする課題は、ユーザの使い心地を向上させる検出装置、検出方法、および検出プログラムを提供することである。
実施の形態の検知装置は、第1検出部と、第1出力制御部と、生体検知部と、を備える。第1検出部は、対象が目を閉じた後にすべき動作に応じた第1出力情報が出力される前に撮影された第2撮影画像に基づいて、前記対象が目を閉じた状態を、人が瞼を開いた状態から閉じた状態とするために要する時間の最大値に一定時間を加えた第1所定時間維持したことを検出する。第1出力制御部は、前記対象が目を閉じた状態を前記第1所定時間維持したことが検出された場合に、前記第1出力情報を、視覚以外の感覚を刺激する第1出力形態で出力するよう制御する。生体検知部は、前記第1出力情報が出力された後に撮影された第1撮影画像に含まれる対象が生体か否かを検知する。
検出システムの一例を示す図。 第1出力情報管理DBのデータ構成の一例を示す模式図。 撮影画像の一例を示す模式図。 検知処理の手順の一例を示すフローチャート。 検出システムの一例を示す図。 第2出力情報管理DBおよびエラー出力情報管理DBのデータ構成の一例を示す模式図。 検知処理の手順の一例を示すフローチャート。 検出システムを適用したスマートデバイスの一例を示す図。 検出システムを適用した顔照合端末の一例を示す図。 検出システムを適用した画像形成装置の一例を示す図。 検出装置のハードウェア構成図。
以下に添付図面を参照して、検出装置、検出方法、および検出プログラムを詳細に説明する。
(第1の実施の形態)
図1は、本実施の形態の検出システム10の一例を示す図である。検出システム10は、生体検知を行うシステムである。
検出システム10は、撮影部12と、出力回路14と、入力部18と、検出装置20と、を備える。撮影部12と、出力回路14と、入力部18と、検出装置20と、は、バス15を介して接続されている。
撮影部12は、撮影部の一例である。撮影部12は、撮影によって撮影画像を得る。
撮影画像は、撮影によって得られる撮影画像データである(以下、単に、撮影画像と称する場合がある)。撮影画像は、画素ごとに画素値を規定したデジタル画像データや、画素毎に撮影部12からの距離を表わすデプスマップなどである。
本実施の形態では、撮影部12は、撮影部12の撮影画角内に位置する対象を撮影し、対象を含む撮影画像を得る。
対象は、生体であるか否かの検知対象の物である。対象は、例えば、生体、非生体の何れであってもよい。生体は、生き物である。本実施の形態では、生体は、瞼を有することで目を開けたり閉じたりすることの可能な生き物である。非生体は、実世界における生体以外の物である。非生体は、例えば、生き物の画像、生き物を模した模型、などである。
出力回路14は、各種情報を出力する。本実施の形態では、出力回路14は、出力情報を出力する。出力情報は、検出装置20の外部へ出力される情報である。
本実施の形態では、出力情報は、第1出力情報を含む。第1出力情報は、目を閉じた後にすべき動作に応じた出力情報である。第1出力情報は、予め設定されている。第1出力情報の詳細は、後述する。
本実施の形態では、出力回路14は、第1出力回路16と、第2出力回路17と、を有する。
第1出力回路16は、第1出力形態で出力情報を出力する。第1出力形態は、視覚以外の感覚を刺激する出力形態である。視覚以外の感覚は、例えば、触覚、聴覚、味覚、嗅覚などである。また、触覚には、例えば、痛覚、温度覚、圧覚、位置覚、振動覚なども含まれる。
本実施の形態では、第1出力形態は、風、音、振動の少なくとも1つである場合を説明する。具体的には、本実施の形態では、第1出力回路16は、風発生回路16Aと、振動発生回路16Bと、スピーカ16Cと、を含む。
風発生回路16Aは、風を発生させる装置である。すなわち、風発生回路16Aは、出力情報に応じた風を出力する。風発生回路16Aは、撮影部12の撮影画角内に位置する対象に向かって、風を送ることの可能な位置に配置されている。風発生回路16Aには、公知の装置を用いればよい。本実施の形態では、風発生回路16Aは、風量、風圧、風のリズム、などによって形成される風パターンを調整することの可能な装置である。風発生回路16Aは、後述する処理回路22によって制御される。
振動発生回路16Bは、振動を発生させる装置である。すなわち、振動発生回路16Bは、出力情報に応じた振動を出力する。振動発生回路16Bは、撮影部12の撮影画角内に位置する部材(壁、床、天井、端末装置などの電子機器、検出装置20本体)などを振動させる。なお、振動発生回路16Bは、更に、撮影部12の撮影画角内に位置する床を傾斜させる機能を有していてもよい。振動発生回路16Bには、公知の装置を用いればよい。本実施の形態では、振動発生回路16Bは、振動パターンを調整することの可能な装置である。振動パターンは、振動の強弱や、振動の強弱によって示される波形の周期、振動のリズム、を示すパターンである。振動発生回路16Bは、後述する処理回路22によって制御される。
スピーカ16Cは、音を出力する装置である。スピーカ16Cは、出力情報に応じた音を出力する。スピーカ16Cは、撮影部12の撮影画角内に向かって音を出力可能な位置に配置されている。スピーカ16Cには、公知の装置を用いればよい。本実施の形態では、スピーカ16Cは、音の種類、音量、音の長さ、音のリズム、などによって形成される音パターンを調整することの可能な装置である。スピーカ16Cは、後述する処理回路22によって制御される。
第2出力回路17は、第2出力形態で出力情報を出力する。第2出力形態は、視覚を刺激する出力形態である。本実施の形態では、第2出力形態は、光によって視覚を刺激する出力形態である。具体的には、本実施の形態では、第2出力回路17は、ディスプレイ17Aを含む。ディスプレイ17Aは、出力情報を表示する。すなわち、ディスプレイ17Aは、出力情報に応じた、光、表示画像、および投影画像などを出力する。ディスプレイ17Aは、例えば、公知のLCD(Liquid Crystal Display)や投影装置やライトなどである。
なお、出力回路14は、出力情報を他の装置へ送信する通信回路を更に備えていてもよい。通信回路は、公知の通信回線を介して、出力情報を外部装置へ送信する。
入力部18は、ユーザからの各種指示や情報入力を受け付ける。入力部18は、例えば、マウスやトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。また、入力部18は、ディスプレイ17Aと一体的に設けられたタッチパネルにおける入力機能であってもよい。
次に、検出装置20について説明する。検出装置20は、対象が生体であるか否かを検知する装置である。
検出装置20は、記憶回路24と、処理回路22と、を備える。記憶回路24と処理回路22とは、バス15を介して接続されている。すなわち、撮影部12と、出力回路14と、入力部18と、記憶回路24と、処理回路22と、は、バス15を介して接続されている。
なお、撮影部12、出力回路14、入力部18、および記憶回路24の少なくとも1つは、有線または無線で処理回路22に接続すればよい。また、撮影部12、出力回路14、入力部18、および、記憶回路24の少なくとも1つと、処理回路22と、をネットワークを介して接続してもよい。また、検出装置20は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
記憶回路24は、各種データを記憶する。本実施の形態では、記憶回路24は、第1出力情報管理DB24Aを予め記憶する(詳細後述)。記憶回路24は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶回路24は、検出装置20の外部に設けられた記憶装置であってもよい。また、記憶回路24は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、LAN(Local Area Network)やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶回路24を、複数の記憶媒体から構成してもよい。
次に、処理回路22について説明する。処理回路22は、目閉じ出力制御機能22Aと、取得機能22Bと、第1検出機能22Cと、第1出力制御機能22Dと、生体検知機能22Eと、を備える。
処理回路22における各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路24へ記憶されている。処理回路22は、プログラムを記憶回路24から読出、実行することで、各プログラムに対応する機能を実現するプロセッサである。
各プログラムを読み出した状態の処理回路22は、図1の処理回路22内に示された各機能を有することになる。図1においては単一の処理回路22によって、目閉じ出力制御機能22A、取得機能22B、第1検出機能22C、第1出力制御機能22D、および生体検知機能22Eが実現されるものとして説明する。
なお、各機能の各々を実現するための独立した複数のプロセッサを組み合わせて処理回路22を構成してもよい。この場合、各プロセッサがプログラムを実行することにより各機能を実現する。また、各処理機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
なお、本実施の形態および後述する実施の形態において用いる「プロセッサ」との文言は、例えば、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))の回路を意味する。
プロセッサは、記憶回路24に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路24にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
目閉じ出力制御機能22Aは、目を閉じる動作に応じた出力情報を出力するように出力回路14を制御する。目を閉じる動作に応じた出力情報(以下、目閉じ出力情報と称する)とは、生体に対して“目を閉じる動作”を促すための出力情報である。目閉じ出力情報は、例えば、目を閉じることを促す言葉や、目を閉じた状態を示す顔の画像や、目を閉じることを示す信号パターンなどである。目を閉じることを促す言葉は、例えば、“目を閉じてください”である。目を閉じることを示す信号パターンは、信号を受付けた生体が目を閉じた状態を促す、信号のパターンである。
本実施の形態では、目閉じ出力制御機能22Aは、目閉じ出力情報を第2出力形態で出力するように、第2出力回路17を制御する。このため、例えば、第2出力回路17のディスプレイ17Aには、目を閉じることを示す信号パターンに応じた、“目を閉じてください”などの文字や、目を閉じた状態の顔の画像、などが表示される。
また、目閉じ出力制御機能22Aは、目閉じ出力情報を、第1出力形態で出力するように第1出力回路16を制御してもよい。
例えば、目閉じ出力制御機能22Aは、生体が目を閉じた状態になるような信号パターンに応じた音パターンを出力するように、スピーカ16Cを制御する。例えば、目を閉じる事を促す言葉“目を閉じてください”を示す音パターンを出力するように、スピーカ16Cを制御する。この場合、スピーカ16Cは、音声“目を閉じて下さい”を出力情報として出力する。なお、音パターンは、“ピーピー”などの信号音からなるパターンであってもよい。
また、例えば、目閉じ出力制御機能22Aは、生体が目を閉じた状態になるような信号パターンによって示される風パターンや振動パターンを出力するように、風発生回路16Aや振動発生回路16Bを制御する。この場合、風発生回路16Aは、撮影部12の周辺の、生体の目が位置すると予測される位置に向かって、生体が目を閉じるような、風量や風圧による風パターンで、風を送る。また、振動発生回路16Bは、生体が目を閉じるような振動パターンの振動を、撮影部12の周辺に発生させるように、撮影部12の周辺の物体を振動させる。具体的には、振動発生回路16Bは、撮影部12の周辺の床や壁、撮影部12の周辺に位置する携帯端末、検出装置20本体、などの物体を振動させる。携帯電話端末の振動機能を用いてもよい。
なお、目閉じ出力制御機能22Aは、目閉じ出力情報を第2出力形態で出力するように、風発生回路16A、振動発生回路16B、スピーカ16C、ディスプレイ17A、の内の1または複数の各々を制御すればよい。
取得機能22Bは、撮影部12から撮影画像を取得する。本実施の形態では、撮影部12は、連続して撮影画角内を撮影し、撮影によって得られた撮影画像を、順次、取得機能22Bへ出力する。このため、取得機能22Bは、撮影部12から、撮影画像を順次取得する。取得機能22Bは、撮影画像を取得するごとに、取得した撮影画像を、順次、第1検出機能22Cおよび生体検知機能22Eへ出力する。
次に、第1出力制御機能22Dについて説明する。第1出力制御機能22Dは、第1出力制御部の一例である。第1出力制御機能22Dは、第1出力情報を第1出力形態で出力する。
本実施の形態では、第1出力制御機能22Dは、目閉じ出力制御機能22Aによって目閉じ出力情報が出力回路14から出力された後に、第1出力情報を第1出力形態で出力する。
生体検知は、後述する生体検知機能22Eによって行われる。第1出力制御機能22Dは、第1出力情報を第1出力形態で出力する。第1出力形態は、上述したように、視覚以外の感覚を刺激する出力形態である。このため、第1出力制御機能22Dは、視覚以外の感覚を刺激する出力形態で、第1出力情報を出力するように、第1出力回路16を制御する。
第1出力情報は、目を閉じた後にすべき動作に応じた出力情報である。言い換えると、第1出力情報は、目を閉じた後にするべき動作を促すための出力情報である。
目を閉じた後にするべき動作は、予め定めればよい。目を閉じた後にするべき動作は、生体が行うことの可能な動作の1または複数を組み合わせたものであればよい。具体的には、目を閉じた後にするべき動作は、生体の身体の少なくとも一部を動かす動作である。目を閉じた後にするべき動作は、例えば、目を開ける、口を開ける、眉を上げる、頭部を動かす、手を動かす、肩を動かす、および、足を動かす、の少なくとも1つの動作である。頭部を動かす動作は、例えば、頭部を三次元的に動かす動作である。頭部を三次元的に動かす動作は、例えば、顔を上下に振る、顔を左右に振る、顔の向きを指示した方向に変える、顔を上下左右に一周させる、などである。手を動かす動作は、例えば、手を挙げる、である。足を動かす動作は、例えば、足を曲げる、である。
具体的には、第1出力情報は、目を閉じた後にするべき動作に応じた信号パターンであればよい。この信号パターンは、例えば、目を閉じた後にするべき動作を示す言葉や、音程や、音や風や振動の強弱によって生成されるリズムの組合せによって表される。すなわち、目を閉じた後にするべき動作に応じた信号パターンは、音パターン、振動パターン、風パターンなどで表される。
すなわち、本実施の形態では、第1出力情報は、目を閉じた後にすべき動作に応じた、音パターン、振動パターン、風パターン、の少なくとも1つである。
検出装置20は、目を閉じた後にすべき動作に対応する第1出力情報を、予め第1出力情報管理DB24Aに登録する。
図2は、第1出力情報管理DB24Aのデータ構成の一例を示す模式図である。第1出力情報管理DB24Aは、目を閉じた後にすべき動作と、第1出力情報と、を対応づけたデータベースである。なお、第1出力情報管理DB24Aのデータ形式は、データベースに限定されない。第1出力情報管理DB24Aは、テーブルなどであってもよい。
第1出力情報管理DB24Aには、目を閉じた後にすべき動作が複数種類予め登録されている。なお、生体検知時間の短縮の観点からは、第1出力情報管理DB24Aには、動作に時間を要さない動作が、目を閉じた後にするべき動作として登録されていることが好ましい。この観点からは、例えば、目を閉じた後にするべき動作は、目を開ける、といった短い時間で動作可能な動作であることが好ましい。
また、生体検知精度の向上を図る観点からは、第1出力情報管理DB24Aには、生体の身体の少なくとも一部を三次元的に動かす動作が、目を閉じた後にするべき動作として登録されていることが好ましい。この観点からは、例えば、目を閉じた後にするべき動作は、口を開ける、顔の向きを指示した方向に変える、頭を上下左右に一周させる、といった、身体の少なくとも一部を三次元的に動かす動作であることが好ましい。
第1出力情報管理DB24Aには、目を閉じた後にすべき動作に対応する第1出力情報として、音パターン、振動パターン、風パターン、の各々が予め登録されている。第1出力情報に含まれる音パターンは、例えば、対応する、目を閉じた後にすべき動作を促す音声(例えば、“目を開けて下さい”)や、該動作を促す音のパターン(例えば、“ピンポン”などの音)である。第1出力情報に含まれる振動パターンは、例えば、対応する、目を閉じた後にすべき動作を促す振動のパターンである。第1出力情報に含まれる風パターンは、対応する、目を閉じた後にすべき動作を促す風のパターンである。
第1出力情報管理DB24Aには、目を閉じた後にすべき動作の各々に対応する、互いに異なる第1出力情報が予め登録されている。図2に示す例では、目を閉じた後にすべき動作の各々に対応する、互いに異なる音パターン(A1〜A5)、互いに異なる振動パターン(B1〜B5)、互いに異なる風パターン(C1〜C5)が予め登録されている。
例えば、音パターンA1は、音声“目を開けて下さい”を示す出力情報である。また、例えば、振動パターンB1は、振動“ブルブル”を示す出力情報である。
なお、音パターン、振動パターン、風パターン、の各々は、一定のリズムおよび強弱に限定されず、リズム、強弱、音の場合は音程、の少なくとも1つが途中で変化するパターンであってもよい。例えば、音パターンは、一定の音量の音が出力された後に消えるパターンであってもよい。また、例えば、振動パターンは、一定のパターンの振動を継続した後に振動が消えるパターンであってもよい。
なお、第1出力情報管理DB24Aには、1つの、目を閉じた後にすべき動作、に対応づけて、複数の音パターンや、複数の振動パターンや、複数の風パターン、の少なくとも1つを予め登録してもよい。例えば、第1出力情報管理DB24Aには、“目を開ける”に対応する音パターンとして、音パターンA1と音パターンA2の双方を登録してもよい。この場合、例えば、音パターンA1に対応する“目を開けて下さい”と、音パターンA2に対応する“顔を上下に振って下さい”といった2種類の音が、第1出力情報として出力される。
なお、第1出力制御機能22Dは、第1出力情報管理DB24Aに登録されている複数の、目を閉じた後にすべき動作、の内の1つを選択する。例えば、第1出力制御機能22Dは、予め定めた1つの動作を選択する。なお、第1出力制御機能22Dは、ユーザによる操作指示によって指示された動作の種類を、入力部18から受付けてもよい。この場合、第1出力制御機能22Dは、入力部18から受付けた動作の種類に対応する、“目を閉じた後にすべき動作”を、第1出力情報管理DB24Aから選択すればよい。
そして、第1出力制御機能22Dは、第1出力情報管理DB24Aに登録されている、選択した、目を閉じた後にすべき動作、に対応する第1出力情報を、第1出力形態で出力するように、第1出力回路16を制御する。
具体的には、第1出力制御機能22Dは、第1出力情報管理DB24Aから読取った第1出力情報に含まれる音パターンの音を出力するように、スピーカ16Cを制御する。また、第1出力制御機能22Dは、第1出力情報管理DB24Aから読取った第1出力情報に含まれる振動パターンの振動を発生するように、振動発生回路16Bを制御する。また、第1出力制御機能22Dは、第1出力情報管理DB24Aから読取った第1出力情報に含まれる風パターンの風を発生するように、風発生回路16Aを制御する。
このため、撮影部12の周辺には、第1出力回路16から出力された第1出力情報に応じた、音や、振動や、風が出力される。
なお、第1出力情報管理DB24Aには、第1出力情報として、音パターン、振動パターン、風パターンの何れか1つ、または2つを、予め登録してもよい。言い換えると、第1出力制御機能22Dは、目を閉じた後にすべき動作に応じた、音パターン、振動パターン、風パターンの少なくとも1つを、第1出力情報として出力するように、第1出力回路16を制御すればよい。
第1出力制御機能22Dによって、撮影部12の周辺に生体が存在する場合、生体は、目を閉じた後にすべき動作を、検出装置20から指示される。
第1検出機能22Cは、第1検出部の一例である。第1検出機能22Cは、対象が目を閉じた状態であることを検出する。第1検出機能22Cは、取得機能22Bで取得した撮影画像を用いて、撮影画像に含まれる対象が目を閉じた状態であるか否かを検出する。
なお、上述したように、取得機能22Bは、撮影部12から、撮影画像を順次取得する。本実施の形態では、撮影部12で撮影された撮影画像を、撮影タイミングに応じて、第1撮影画像と、第2撮影画像と、に分類する。すなわち、第1撮影画像と第2撮影画像は、撮影タイミングの異なる撮影画像である。なお、第1撮影画像を撮影した撮影部12と、第2撮影画像を撮影した撮影部12とは、同じ撮影部であってもよいし、異なる撮影部であってもよい。すなわち、第1撮影画像と第2撮影画像を、互いに異なるカメラで撮影することで取得してもよい。また、第1撮影画像と第2撮影画像を、同じカメラで撮影してもよい。
第1撮影画像は、第1出力制御機能22Dから第1出力情報が出力された後に、撮影された撮影画像である。詳細には、第1撮影画像は、処理回路22による後述する1サイクルの検出処理中に撮影部12によって撮影される撮影画像の内、第1出力情報が出力された後に撮影された撮影画像である。1サイクルの検出処理とは、1の対象が生体か否かを検出する、一連の処理である。具体的には、1サイクルの検出処理とは、ステップS100〜ステップS136までの処理を1サイクルとした検出処理である(図4参照)。検出処理については、詳細を後述する。
第2撮影画像は、第1出力制御機能22Dから第1出力情報が出力される前に、撮影された撮影画像である。詳細には、第2撮影画像は、処理回路22による後述する1サイクルの検出処理中に撮影部12によって撮影される撮影画像の内、第1出力情報が出力される前に、撮影された撮影画像である。
第1検出機能22Cは、第1出力情報が出力される前に撮影された第2撮影画像に基づいて、対象が目を閉じた状態であることを検出する。第1検出機能22Cは、公知の画像処理技術を用いて、第2撮影画像に含まれる対象の目を検出し、目が閉じた状態であるか否かを検出する。
図3は、撮影画像30の一例を示す模式図である。図3(A)は、第2撮影画像30Aの一例を示す模式図である。第2撮影画像30Aには、対象34として、人32が含まれていたと仮定する。この場合、第1検出機能22Cは、例えば、第2撮影画像30Aに含まれる人32の顔32Aを、公知の顔検出技術を用いて特定する。公知の顔検出技術は、例えば、非特許文献1(Takeshi Mita, Toshimitsu Kaneko, Bjorn Stenger, Osamu Hori: “Discriminative Feature Co−Occurrence Selection for Object Detection”. IEEE Transaction Pattern Analysis and Machine Intelligence Volume 30, Number 7, July 2008, pp. 1257−1269)である。
そして、さらに、第1検出機能22Cは、顔32Aにおける目32Bの領域を特定し、目32Bが閉じた状態であるか否かを検出する。目32Bが閉じた状態であるか否かの検出には、公知の画像処理技術を用いればよい。この公知の画像処理技術は、例えば、非特許文献2(Tomoki Watanabe, Satoshi Ito, Kentaro Yokoi: “Co−occurrence Histogram of Oriented Gradients for Human Detection”, IPSJ Transaction on Computer Vision and Applications Volume 2 March 2010, pp.39−47)のCoHOG特徴量を用いて、あらかじめ大量の目周辺画像から目を開けた状態の画像と目を閉じた状態の画像の特徴量を求め、SVM(サポートベクターマシン)などによる識別器を構成し、その識別器に各目領域から得た特徴量により、目の開閉を識別する。
図3(A)には、人32の目32Bが、閉じた状態となっている場合を示した。そして、対象34が目を閉じた状態であることが検出された場合に、第1出力制御機能22Dは、第1出力情報を第1出力形態で出力すればよい。
なお、第1検出機能22Cは、第2撮影画像30Aに基づいて、対象34が目を閉じた状態を第1所定時間維持したことを検出することが好ましい。第1所定時間は、後述する1サイクルの検出処理において、第1検出機能22Cによって目を閉じた状態が最初に検出されたタイミングをスタートとした、経過時間である。第1検出機能22Cは、例えば、内部タイマを備え、この内部タイマをカウントすることで、第1所定時間をカウントすればよい。
この場合、第1出力制御機能22Dは、対象34が目を閉じた状態を第1所定時間維持したことが検出された場合に、第1出力情報を第1出力形態で出力すればよい。
第1所定時間は、予め定めてよい。例えば、第1所定時間には、人32が瞼を開いた状態から閉じた状態とするために要すると予測される時間の最大値やその値に一定の時間を加えたものを、予め定めればよい。また、第1所定時間は、適宜変更可能としてもよい。例えば、ユーザによる入力部18の操作指示によって、第1所定時間を変更可能としてもよい。また、その時間を不定にすることで、生体検知の精度を向上させることができ、乱数などを用いて決定してもよい。
図1に戻り、説明を続ける。生体検知機能22Eは、生体検知部の一例である。生体検知機能22Eは、第1出力情報が出力された後に撮影された第1撮影画像に含まれる対象が生体か否かを検知する。
ここで、上述したように、第1出力情報は、目を閉じた後にすべき動作に応じた出力情報である。そして、第1出力情報は、第1出力制御機能22Dによって、第1出力形態で、第1出力回路16から出力された状態にある。
このため、撮影部12の撮影画角内には、第1出力情報が第1出力状態で出力された状態にある。言い換えると、撮影部12の周辺には、目を閉じた後にすべき動作に応じた、音パターン、風パターン、振動パターン、の少なくとも1つが出力された状態となっている。
撮影部12の周辺に生体、例えば人32が存在する場合、人32は、該第1出力情報に応じた動作を行う。例えば、第1出力情報が、音パターンA1に対応する“目を開けて下さい”であったと仮定する。そして、撮影部12の周囲に存在する人32が、該第1出力情報に応じた動作を行った場合、人32は目を開ける動作を行う。また、例えば、第1出力情報が、音パターンA2に対応する“顔を上下に振って下さい”であったと仮定する。そして、撮影部12の周辺に存在する人32が、該第1出力情報に応じた動作を行った場合、人32は顔を上下に振る動作を行う。
なお、撮影部12の周辺に生体が存在せず、人体を模した模型などの非生体が存在する場合がある。この場合、非生体は、第1出力情報に応じた動作を行うことは困難である。
そこで、本実施の形態では、生体検知機能22Eは、第1撮影画像に基づいて、第1撮影画像に含まれる対象34が、直前に出力された第1出力情報に応じた動作を行ったか否かを判断する。そして、生体検知機能22Eは、第1出力情報に応じた動作を行ったと判断した場合、この対象34が生体であると検知する。
図3(B)〜図3(D)は、第1撮影画像30Bの一例を示す模式図である。
例えば、直前に出力された第1出力情報が、目を開ける動作に応じた出力情報であったと仮定する。そして、この第1出力情報が出力された後に、図3(B)に示す第1撮影画像30B1が撮影されたと仮定する。この場合、生体検知機能22Eは、第1撮影画像30B1に含まれる対象34の顔32Aの位置を、公知の顔検出技術を用いて特定する。そして、さらに、生体検知機能22Eは、顔32Aにおける目32Bの領域を特定し、目32Bが開いた状態であるか否かを検出する。図3(B)に示す例では、人32の目32Bは、開いた状態となっている。
この場合、生体検知機能22Eは、第1撮影画像30B1に含まれる対象34が、直前に出力された第1出力情報に応じた動作を行ったと判断する。そして、この場合、生体検知機能22Eは、該撮影画像30B1に含まれる対象34が生体(ここでは人32)であると検知する。
なお、第1出力情報に応じた動作が、複数の撮影画像30を用いて判断する必要のある動作である場合には、生体検知機能22Eは、複数の第1撮影画像30Bを用いて、該動作が行われたか否かを判断すればよい。
例えば、直前に出力された第1出力情報が、顔を左右に振る動作に応じた出力情報であったと仮定する。そして、この第1出力情報が出力された後に、図3(C)に示す第1撮影画像30B2を含む、複数の第1撮影画像30Bが連続して撮影されたと仮定する。この場合、生体検知機能22Eは、これらの複数の第1撮影画像30Bを用いて、公知の画像処理技術を用いて、第1撮影画像30Bに含まれる対象34が該動作を行ったか否かを判断すればよい。
例えば、生体検知機能22Eは、第1撮影画像30B2に含まれる対象34の顔32Aを、公知の顔検出技術を用いて特定する。そして、さらに、生体検知機能22Eは、顔32Aにおける特徴的な部分(例えば、目32Bや口32Cなど)を特定する。また、生体検知機能22Eは、該第1撮影画像30B2に対して、時系列的に連続して撮影された他の複数の第1撮影画像30Bについても同様に、顔32Aにおける特徴的な部分を特定する。そして、生体検知機能22Eは、複数の第1撮影画像30Bの間における特徴的な部分の移動などを認識することで、顔32Aが左右に振られたか否かを判断する。
そして、生体検知機能22Eは、第1撮影画像30Bに含まれる対象34が、直前に出力された第1出力情報に応じた動作“顔を左右に振る”を行ったと判断した場合、この対象34が生体であると検知する。顔の向きを出す方法としては、公知の技術(例えば、特許第5159950号)などを用いればよい。求めた顔の向きが設定した方向に変化していれば生体と判定する。
また、生体検知機能22Eは、第1出力情報が、目を開ける動作以外の他の動作に応じた出力情報である場合、以下の処理を行ってもよい。例えば、生体検知機能22Eは、第1撮影画像30Bに含まれる対象34が目を閉じた状態を維持したまま、直前に出力された第1出力情報に応じた動作を行ったと判断した場合、対象34が生体であることを検出してもよい。
また、例えば、直前に出力された第1出力情報が、口を開ける動作に応じた出力情報であったと仮定する。そして、この第1出力情報が出力された後に、図3(D)に示す第1撮影画像30B3を含む、複数の第1撮影画像30Bが連続して撮影されたと仮定する。この場合、生体検知機能22Eは、これらの複数の第1撮影画像30Bを用いて、公知の画像処理技術を用いて、第1撮影画像30Bに含まれる対象34が該動作を行ったか否かを判断すればよい。
例えば、生体検知機能22Eは、第1撮影画像30B3に含まれる対象34の顔32Aを、公知の顔検出技術を用いて特定する。そして、さらに、生体検知機能22Eは、顔32Aにおける口32Cを特定する。そして、生体検知機能22Eは、第1撮影画像30Bにおける口32Cの形状が、開いた口32Cの形状を示すか否かを判断することで、口を開ける動作が行われたか否かを判断する。
そして、生体検知機能22Eは、第1撮影画像30Bに含まれる対象34が、直前に出力された第1出力情報に応じた動作“口を開ける”を行ったと判断した場合、この対象34が生体であると検知する。
また、例えば、直前に出力された第1出力情報が、眉を上げる動作に応じた出力情報であったと仮定する。そして、この第1出力情報が出力された後に、図3(E)に示す第1撮影画像30B4を含む、複数の第1撮影画像30Bが連続して撮影されたと仮定する。この場合、生体検知機能22Eは、これらの複数の第1撮影画像30Bを用いて、公知の画像処理技術を用いて、第1撮影画像30Bに含まれる対象34が該動作を行ったか否かを判断すればよい。
例えば、生体検知機能22Eは、第1撮影画像30B4に含まれる対象34の顔32Aを、公知の顔検出技術を用いて特定する。そして、さらに、生体検知機能22Eは、顔32Aにおける眉32Dを特定する。そして、生体検知機能22Eは、該第1撮影画像30B4に対して、時系列的に連続して撮影された他の複数の第1撮影画像30Bについても同様に、顔32Aにおける眉32Dを特定する。そして、生体検知機能22Eは、複数の第1撮影画像30Bの間において、顔32Aにおける眉32Dの位置が上がった位置に移動したことを認識することで、眉32Dを上げる動作が行われたか否かを判断する。
そして、生体検知機能22Eは、第1撮影画像30Bに含まれる対象34が、直前に出力された第1出力情報に応じた動作“眉を上げる”を行ったと判断した場合、この対象34が生体であると検知する。
なお、生体検知機能22Eは、第1出力情報が出力制御された後に撮影された第1撮影画像30Bに基づいて、人32が該第1出力情報に応じた動作を行ったと判断する、一連の処理を、複数回、繰返し実行してもよい。そして、生体検知機能22Eは、該一連の処理の各々において、直前に出力された第1出力情報に応じた動作を対象34が行ったと判断した場合に、該対象34が生体であると検知してもよい。
なお、この場合、繰返し実行する該一連の処理の各々で出力される、第1出力情報の種類は、同じであってもよいし、異なっていてもよい。例えば、生体検知機能22Eは、“顔を左右に振る”動作に応じた第1出力情報が出力された後に人32が該動作(顔を左右に振る動作)を行ったと判断し、次に、“口を開ける”動作に応じた第1出力情報が出力された後に人32が該動作(口を開ける動作)を行ったと判断した場合、該対象34が生体であると検知してもよい。
なお、生体検知機能22Eは、第1出力情報が出力されてから第2所定時間の間に撮影された撮影画像30を、第1撮影画像30Bとして用いてもよい。この場合、生体検知機能22Eは、この第1撮影画像30Bに基づいて、第1撮影画像30Bに含まれる対象34が生体か否かを検知すればよい。
第2所定時間は、予め定めればよい。また、第2所定時間は、直前に出力された第1出力情報に応じて調整してもよい。例えば、第2所定時間には、生体が直前に出力された第1出力情報に応じた動作に要する予測時間の最大値を定めればよい。また、第2所定時間は、適宜変更可能としてもよい。例えば、ユーザによる入力部18の操作指示によって、第2所定時間を変更可能としてもよい。
生体検知機能22Eは、検知結果を示す情報を、記憶回路24に記憶してもよい。また、生体検知機能22Eは、検知結果を示す情報を、出力回路14から出力してもよい。
例えば、検知結果が、生体であることを示す検知結果であったと仮定する。この場合、生体検知機能22Eは、生体が検知されたことを示す出力情報を出力するように、出力回路14を制御すればよい。
また、例えば、検知結果が、生体ではないことを示す検知結果であったと仮定する。この場合、生体検知機能22Eは、生体が検知されなかったことを示す出力情報を出力するように、出力回路14を制御すればよい。
次に、処理回路22が実行する検知処理の手順の一例を説明する。図4は、処理回路22が実行する検知処理の手順の一例を示す、フローチャートである。
処理回路22は、検知処理の実行が指示されたときに、図4に示す検知処理を実行する。検知処理の実行は、例えば、ユーザによる入力部18の操作指示などによって入力される。なお、処理回路22は、所定時間ごとに、図4に示す検知処理を実行してもよい。
まず、第1出力制御機能22Dが、第1出力情報管理DB24Aに登録されている複数の、目を閉じた後にすべき動作、の内、1つを選択する(ステップS100)。例えば、第1出力制御機能22Dは、予め定めた1つの動作を選択する。
次に、第1出力制御機能22Dが、ステップS100で選択した、目を閉じた後にすべき動作に対応する、第1出力情報を、第1出力情報管理DB24Aから特定する(ステップS102)。
次に、目閉じ出力制御機能22Aは、目閉じ出力情報を出力するように、出力回路14を制御する(ステップS104)。
ステップS104の処理によって、撮影部12の撮影画角内には、目を閉じることを促す出力情報が出力される。例えば、ステップS104の処理によって、音声“目を閉じて下さい”がスピーカ16Cから出力される。また、例えば、目を閉じることを促す振動パターンの振動が、振動発生回路16Bから発生する。また、目を閉じることを促す風パターンの風が、風発生回路16Aから発生する。また、例えば、ステップS104の処理によって、目を閉じた状態を示す顔の画像や、目を閉じることを促すメッセージを示す表示画像などが、ディスプレイ17Aに表示される。
このため、撮影部12の周辺に存在する人32などの生体は、該目閉じ出力情報に従う場合、目を閉じる動作を行う。
次に、取得機能22Bが、撮影部12で撮影された撮影画像30の取得を開始する(ステップS106)。ステップS106の処理によって、取得機能22Bは、撮影部12で撮影された撮影画像30を順次取得し、取得した順に順次、撮影画像30を、第1検出機能22Cおよび生体検知機能22Eへ出力する処理を開始する。
次に、第1検出機能22Cが、取得機能22Bで取得された第2撮影画像30Aに基づいて、対象34が目を閉じた状態であることを検出するまで、否定判断を繰返す(ステップS108:No)。ステップS108は、取得機能22Bから順次出力される第2撮影画像30Aを順次取得し、取得した第2撮影画像30Aに含まれる対象34が目を閉じた状態であることを検出するまで、新たな第2撮影画像30Aを順次取得する。
そして、第1検出機能22Cは、対象34が目を閉じた状態であることを検出すると(ステップS108:Yes)、ステップS110へ進む。
ステップS110では、第1検出機能22Cが、上記第1所定時間をカウントするためのタイマT1をスタートする(ステップS110)。そして、第1検出機能22Cは、取得機能22Bから新たに出力された第2撮影画像30Aを用いて、第2撮影画像30Aに含まれる対象34が目を閉じているか否かを判断する(ステップS112)。
第1検出機能22Cは、目を閉じていると判断した場合(ステップS112:Yes)、ステップS114へ進む。ステップS114では、第1検出機能22Cは、ステップS110でタイマT1をスタートしてから第1所定時間経過したか否かを判断する(ステップS114)。
第1所定時間を経過していない場合(ステップS114:No)、上記ステップS112へ戻る。一方、第1所定時間を経過した場合(ステップS114:Yes)、ステップS116へ進む。ステップS116では、第1検出機能22Cが、ステップS110でスタートしたタイマT1をリセットする(ステップS116)。
ステップS108〜ステップS114の処理によって、第1検出機能22Cは、対象34が目を閉じた状態を第1所定時間維持したことを検出する。
次に、第1出力制御機能22Dが、第1出力情報を第1出力形態で出力する(ステップS118)。ステップS118では、第1出力制御機能22Dは、ステップS102で特定した第1出力情報を出力するように、第1出力回路16を制御する。
ステップS118の処理によって、撮影部12の周辺には、目を閉じた後にすべき動作に応じた第1出力情報が、視覚以外の感覚を刺激する第1出力形態で出力される。すなわち、撮影部12の周辺には、目を閉じた後にすべき動作に応じた、音パターン、振動パターン、風パターン、の少なくとも1つが出力される。
このため、撮影部12の周辺に、生体、例えば人32が存在する場合、人32は、ステップS118で出力された第1出力情報に応じた動作を行う。
次に、生体検知機能22Eが、上記第2所定時間をカウントするためのタイマT2をスタートする(ステップS120)。次に、生体検知機能22Eは、取得機能22Bから新たに出力された第1撮影画像30Bを用いて、第1撮影画像30Bに含まれる対象34が、ステップS118で出力された第1出力情報に応じた動作を行ったか否かを判断する(ステップS122)。
生体検知機能22Eが、第1出力情報に応じた動作を行ったと判断した場合(ステップS122:Yes)、ステップS124へ進む。ステップS124では、生体検知機能22Eは、ステップS120でタイマT2をスタートしてからの経過時間が、第2所定時間以内であるか否かを判断する(ステップS124)。
ステップS124で肯定判断すると(ステップS124:Yes)、ステップS126へ進む。ステップS126では、生体検知機能22Eは、ステップS120でスタートしたタイマT2をリセットする(ステップS126)。タイマをリセットするとは、タイマのカウントを“0”とすることを示す。
次に、生体検知機能22Eは、第1撮影画像30Bに含まれる対象34が、生体(例えば、人32)であると検知する(ステップS128)。すなわち、第1撮影画像30Bに含まれる対象34が、直前に出力された第1出力情報に応じた動作を該第1出力情報が出力されてから第2所定時間以内に行った場合、生体検知機能22Eは、該対象34が生体であると検知する。そして、本ルーチンを終了する。なお、上述したように、生体検知機能22Eは、検知結果を出力回路14から出力した後に、本ルーチンを終了してもよい。
一方、上記ステップS122で否定判断すると(ステップS122:No)、ステップS130へ進む。ステップS130では、生体検知機能22Eは、ステップS120でタイマT2をスタートしてからの経過時間が、第2所定時間を経過したか否かを判断する(ステップS130)。
ステップS130で否定判断すると(ステップS130:No)、上記ステップS122へ戻る。一方、ステップS130で肯定判断すると(ステップS130:Yes)、ステップS132へ進む。また、上記ステップS124で否定判断した場合も(ステップS124:No)、ステップS132へ進む。
ステップS132では、生体検知機能22Eは、ステップS120でスタートしたタイマT2をリセットする(ステップS132)。次に、生体検知機能22Eは、第1撮影画像30Bに含まれる対象34が、生体ではないと検知する(ステップS134)。すなわち、第1撮影画像30Bに含まれる対象34が、直前に出力された第1出力情報に応じた動作を該第1出力情報が出力されてから第2所定時間以内に行わなかった場合、生体検知機能22Eは、該対象34が生体ではないと検知する。そして、本ルーチンを終了する。なお、上述したように、生体検知機能22Eは、検知結果を出力回路14から出力した後に、本ルーチンを終了してもよい。
一方、上記ステップ112で目を閉じた状態であることが検出されなかった場合(ステップS112:No)、ステップS136へ進む。ステップS136では、第1検出機能22Cが、ステップS110でスタートしたタイマT1をリセットする(ステップS136)。そして、上記ステップS134へ進む。
このため、目閉じ出力情報が出力された後に、対象34が目を閉じた状態であることが検出されなかった場合についても、生体検知機能22Eは、該対象34が生体ではないと検知する。
以上説明したように、本実施の形態の検出装置20は、記憶部(記憶回路24)と、記憶部に接続された処理回路22と、を備える。処理回路22は、第1出力制御機能22Dと、生体検知機能22Eと、を備える。第1出力制御機能22Dは、対象34が目を閉じた後にすべき動作に応じた第1出力情報を、視覚以外の感覚を刺激する第1出力形態で出力するよう制御する。生体検知機能22Eは、第1出力情報が出力された後に撮影された第1撮影画像30Bに含まれる対象34が生体か否かを検知する。
このように、本実施の形態の検出装置20は、第1出力情報を視覚以外の感覚を刺激する第1出力形態で出力した後に撮影された、第1撮影画像30Bを用いて、第1撮影画像30Bに含まれる対象34が生体か否かを検知する。
このため、検知対象の対象34が目を開けていない場合であっても、特定の動作に応じた第1出力情報を第1出力形態で出力することで、該対象34が生体か否かを検知することができる。
従って、本実施の形態の検出装置20は、ユーザの使い心地を向上させることができる。
また、検知対象の対象34が生体ではない場合、第1出力情報が第1出力形態で出力されても、対象34は該第1出力情報に応じた動作を行うことができない。すなわち、対象34が、生物の画像や、生物を模した模型などの非生体である場合、対象34は、第1出力情報に応じた動作を行うことができない。
このため、本実施の形態の検出装置20は、上記効果に加えて、対象34が非生体である場合の、生体へのなりすましを抑制することができる。
また、上述したように、非生体は、第1出力情報に応じた動作を行うことができない。このため、本実施の形態の検出装置20は、上記効果に加えて、非生体を誤って生体として検知する誤検知を抑制することができる。
(第2の実施の形態)
本実施の形態では、第1出力情報が出力される前に、更に、顔の検出を行う。
図5は、本実施の形態の検出システム10Aの一例を示す図である。検出システム10Aは、撮影部12と、出力回路14と、入力部18と、検出装置21と、を備える。撮影部12と、出力回路14と、入力部18と、検出装置21と、は、バス15を介して接続されている。
検出システム10Aは、検出装置20に代えて検出装置21を備えた以外は、第1の実施の形態の検出システム10と同様である。
検出装置21は、記憶回路25と、処理回路23と、を備える。記憶回路24と処理回路23とは、バス15を介して接続されている。
なお、撮影部12、出力回路14、入力部18、および記憶回路25の少なくとも1つは、有線または無線で処理回路23に接続すればよい。また、撮影部12、出力回路14、入力部18、および、記憶回路25の少なくとも1つと、処理回路23と、を、ネットワークを介して接続してもよい。また、検出装置21は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
記憶回路25は、各種データを記憶する。本実施の形態では、記憶回路25は、第1出力情報管理DB24Aと、第2出力情報管理DB24Bと、エラー出力情報管理DB24Cと、を予め記憶する。第1出力情報管理DB24Aは、第1の実施の形態と同様である。第2出力情報管理DB24Bおよびエラー出力情報管理DB24Cについては、詳細を後述する。
記憶回路25は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶回路25は、検出装置21の外部に設けられた記憶装置であってもよい。また、記憶回路25は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、LANやインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶回路25を、複数の記憶媒体から構成してもよい。
次に、処理回路23について説明する。処理回路23は、目閉じ出力制御機能22Aと、取得機能22Bと、第2検出機能23Fと、第2出力制御機能23Gと、第1検出機能22Cと、第1出力制御機能22Dと、生体検知機能22Eと、エラー出力制御部23Hと、を備える。目閉じ出力制御機能22A、取得機能22B、第1検出機能22C、第1出力制御機能22D、および、生体検知機能22Eは、第1の実施の形態と同様である。すなわち、処理回路23は、第1の実施の形態の処理回路22の構成に加えて、第2検出機能23Fと、第2出力制御機能23Gと、エラー出力制御部23Hと、を更に備える。
処理回路23における各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路25へ記憶されている。処理回路23は、プログラムを記憶回路25から読出、実行することで、各プログラムに対応する機能を実現するプロセッサである。
各プログラムを読み出した状態の処理回路23は、図5の処理回路23内に示された各機能を有することになる。図5においては単一の処理回路23によって、目閉じ出力制御機能22A、取得機能22B、第2検出機能23F、第2出力制御機能23G、第1検出機能22C、第1出力制御機能22D、生体検知機能22E、およびエラー出力制御部23Hが実現されるものとして説明する。
なお、各機能の各々を実現するための独立した複数のプロセッサを組み合わせて処理回路23を構成してもよい。この場合、各プロセッサがプログラムを実行することにより各機能を実現する。また、各処理機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
第2検出機能23Fは、第2検出部の一例である。第2検出機能23Fは、少なくとも第1出力情報が出力される前に、撮影部12の撮影画角内の顔を検出する。
詳細には、第2検出機能23Fは、第2撮影画像30Aを用いて、第2撮影画像30A内に含まれる顔32Aを検出することによって、撮影画角内の顔32Aを検出する。第2検出機能23Fは、公知の画像処理技術を用いて、第2撮影画像30A内に含まれる顔32Aを検出すればよい。
図3(A)を用いて説明する。例えば、第2検出機能23Fは、第2撮影画像30Aに含まれる顔32Aを、公知の顔認識技術を用いて検出する。このとき、第2検出機能23Fは、撮影画角における顔32Aの向きや顔32Aの位置を更に特定してもよい。
図5に戻り、説明を続ける。本実施の形態では、第2検出機能23Fは、第1出力情報が出力される前であって、且つ、目閉じ出力制御機能22Aが目閉じ出力情報を出力した後に、第2撮影画像30Aに含まれる顔32Aを検出することが好ましい。
また、第2検出機能23Fは、第1出力情報が出力される前であって、第1検出機能22Cによって対象34が目を閉じた状態であることが検出される前で、且つ、目閉じ出力制御機能22Aが目閉じ出力情報を出力した後に、第2撮影画像30Aに含まれる顔32Aを検出することが好ましい。
第2出力制御機能23Gは、第2出力制御部の一例である。第2出力制御機能23Gは、第2検出機能23Fによって顔32Aが検出されなかった場合、第2出力情報を、第1出力形態で出力する。上述したように、第1出力情報は、視覚以外の感覚を刺激する出力形態である。
第2出力情報は、撮影部12の撮影画角内に顔32Aを配置することを促すための出力情報である。言い換えると、第2出力情報は、撮影部12の撮影画角内に顔32Aが検出されなかった場合にすべき動作に応じた、出力情報である。
撮影画角内に顔32Aが検出されなかった場合にすべき動作は、顔を撮影画角内に移動させる動作である。第2出力情報は、この動作を促すための出力情報である。
本実施形態では、第2出力情報は、撮影部12の撮影画角内に顔32Aを配置させる動作に応じた、音パターン、振動パターン、風パターン、の少なくとも1つである。
第2検出機能23Fは、第2出力情報を、予め第2出力情報管理DB24Bへ登録する。図6は、第2出力情報管理DB24Bおよびエラー出力情報管理DB24Cのデータ構成の一例を示す模式図である。
図6(A)は、第2出力情報管理DB24Bのデータ構成の一例を示す模式図である。検出装置21は、撮影画角内に顔32Aが検出されなかった場合にすべき動作に対応する第2出力情報を、予め第2出力情報管理DB24Bに登録する。
第2出力情報管理DB24Bには、第2出力情報として、音パターン、振動パターン、風パターン、の各々が予め登録されている。第2出力情報は、第1出力情報(図2参照)とは異なる出力情報である。具体的には、第2出力情報に含まれる、音パターン、振動パターン、風パターン、の各々は、第1出力情報に含まれる、音パターン、振動パターン、風パターン、の各々と異なるパターンである。
例えば、第2出力情報に含まれる音パターンD1は、音声“顔をカメラの前に配置して下さい”を示す出力情報である。
なお、第2出力情報は、音パターン、振動パターン、風パターンの少なくとも1つを含めばよく、2つ以上を組み合わせたものであってもよい。
図5に戻り、第2出力制御機能23Gは、第2出力制御部の一例である。第2出力制御機能23Gは、第2出力情報管理DB24Bに示される第2出力情報を、第1出力形態で出力するように、第1出力回路16を制御する。
具体的には、第2出力制御機能23Gは、第2出力情報管理DB24Bから読取った第2出力情報に含まれる音パターンの音を出力するように、スピーカ16Cを制御する。また、第2出力制御機能23Gは、第2出力情報管理DB24Bから読取った第2出力情報に含まれる振動パターンの振動を発生するように、振動発生回路16Bを制御する。また、第2出力制御機能23Gは、第2出力情報管理DB24Bから読取った第2出力情報に含まれる風パターンの風を発生するように、風発生回路16Aを制御する。
このため、撮影部12の周辺には、第1出力回路16から出力された第2出力情報に応じた、音や、振動や、風が出力される。このため、撮影画角内に位置する対象34は、撮影部12の撮影画角内に位置するように顔32Aを動かすための指示を受け取ることができる。
なお、第2出力制御機能23Gは、第2検出機能23Fによって特定された、撮影画角における顔32Aの向きや顔32Aの位置から、撮影部12の周辺に位置する対象34に対して、顔32Aを向けるべき方向や顔32Aを配置すべき位置を算出してもよい。そして、第2出力制御機能23Gは、算出した方向や位置を示す第2出力情報を、第1出力形態で出力するように、第1出力回路16を制御してもよい。
そして、本実施の形態では、第1検出機能22Cは、第2検出機能23Fおよび第2出力制御機能23Gの処理の後に、第2撮影画像30Aに基づいて、対象34が目を閉じた状態であることを検出する。このため、第1検出機能22Cは、撮影部12の周辺に生体が存在する場合、第2出力制御機能23Gによって対象34の顔32Aが撮影部12の撮影画角内に配置された状態となった後に、対象34が目を閉じた状態であることを検出することができる。また、本実施の形態では、第1出力制御機能22Dは、顔32Aが検出されたときに、第1出力情報を第1出力形態で出力するように出力制御することができる。また、本実施の形態では、第1出力制御機能22Dは、顔32Aが検出され且つ対象34が目を閉じた状態であることが検出された場合に、第1出力情報を第1出力形態で出力することができる。
エラー出力制御部23Hは、エラー出力情報を出力する。エラー出力制御部23Hは、第1出力形態および第2出力形態の少なくとも一方の出力形態で、エラー出力情報を出力する。
エラー出力情報は、エラー内容を示す出力情報である。エラー内容は、例えば、顔検出エラー、目閉じ検出エラー、生体検出エラー、などである。顔検出エラーは、第2検出機能23Fによって顔32Aが検出されなかったことを示す。目閉じ検出エラーは、第1検出機能22Cによって目を閉じた状態が検出されなかったことを示す。生体検出エラーは、生体検知機能22Eによって生体であると検出されなかったことを示す。エラー出力情報は、エラー内容を示す信号パターンであればよい。
本実施形態では、エラー出力情報は、エラー内容に応じた、音パターン、振動パターン、風パターン、の少なくとも1つである。
エラー出力制御部23Hは、エラー出力情報を、予めエラー出力情報管理DB24Cへ登録する。図6(B)は、エラー出力情報管理DB24Cのデータ構成の一例を示す模式図である。
エラー出力情報管理DB24Cには、エラー出力情報として、音パターン、振動パターン、風パターン、の各々が予め登録されている。エラー出力情報は、第1出力情報(図2参照)および第2出力情報(図6(A)参照)とは異なる出力情報である。具体的には、エラー出力情報に含まれる、音パターン、振動パターン、風パターン、の各々は、第1出力情報および第2出力情報の各々に含まれる、音パターン、振動パターン、風パターン、の各々とは異なるパターンである。
エラー出力情報管理DB24Cには、エラー内容の各々に対応する、互いに異なるエラー出力情報が予め登録されている。図6(B)に示す例では、エラー内容の各々に対応する、互いに異なる音パターン(G1〜G3)、互いに異なる振動パターン(H1〜H3)、互いに異なる風パターン(I1〜I3)が予め登録されている。
例えば、音パターンG1は、音“顔が検出できません”を示す出力情報である。また、例えば、音パターンG2は、音“目閉じを検出できません”を示す出力情報である。また、音パターンG3は、音“生体検出エラーです”を示す出力情報である。
エラー出力制御部23Hは、第2検出機能23Fから顔検出エラーを受付けた場合、エラー出力情報管理DB24Cにおける、顔検出エラーに対応するエラー出力情報を出力するように、出力回路14を制御すればよい。
具体的には、エラー出力制御部23Hは、エラー出力情報管理DB24Cにおける、受付けたエラー内容に対応するエラー出力情報に含まれる、音パターンの音を出力するように、スピーカ16Cを制御する。また、エラー出力制御部23Hは、エラー出力情報管理DB24Cにおける、受付けたエラー内容に対応するエラー出力情報に含まれる、振動パターンの振動を発生するように、振動発生回路16Bを制御する。また、エラー出力制御部23Hは、エラー出力情報管理DB24Cにおける、受付けたエラー内容に対応するエラー出力情報に含まれる、風パターンの風を発生するように、風発生回路16Aを制御する。
このため、撮影部12の撮影画角内には、処理回路23で検出されたエラー内容に応じた、音や、振動や、風が出力される。
なお、エラー出力情報管理DB24Cには、エラー出力情報として、音パターン、振動パターン、風パターンの何れか1つ、または2つを、を予め登録してもよい。言い換えると、エラー出力情報管理DB24Cは、エラー内容に応じた、音パターン、振動パターン、風パターンの少なくとも1つを、エラー出力情報として出力するように、第1出力回路16を制御してもよい。
エラー出力制御部23Hがエラー出力情報を出力するように出力回路14を制御することで、撮影部12の撮影画角内に、エラー内容が出力されることとなる。
次に、処理回路23が実行する検知処理の手順の一例を説明する。図7は、処理回路23が実行する検知処理の手順の一例を示す、フローチャートである。
処理回路23は、検知処理の実行が指示されたときに、図7に示す検知処理を実行する。検知処理の実行は、例えば、ユーザによる入力部18の操作指示などによって入力される。なお、処理回路23は、所定時間ごとに、図7に示す検知処理を実行してもよい。
まず、処理回路23は、第1の実施の形態のステップS100〜ステップS106(図4参照)と同様に、ステップS200〜ステップS206の処理を行う。
詳細には、まず、第1出力制御機能22Dが、第1出力情報管理DB24Aに登録されている複数の、目を閉じた後にすべき動作、の内、1つを選択する(ステップS200)。次に、第1出力制御機能22Dが、ステップS200で選択した、目を閉じた後にすべき動作に対応する、第1出力情報を、第1出力情報管理DB24Aから特定する(ステップS202)。
次に、目閉じ出力制御機能22Aは、目閉じ出力情報を出力するように、出力回路14を制御する(ステップS204)。次に、取得機能22Bが、撮影部12で撮影された撮影画像30の取得を開始する(ステップS206)。ステップS206の処理によって、取得機能22Bは、撮影部12で撮影された撮影画像30を順次取得し、取得した順に順次、撮影画像30を、第2検出機能23F、第1検出機能22C、および生体検知機能22Eへ出力する処理を開始する。
次に、第2検出機能23Fが、顔検出のリトライ回数を示すカウンタRをリセットする(ステップS208)。ステップS208では、第2検出機能23Fは、カウンタRの値を“0”にする。
次に、第2検出機能23Fが、第2撮影画像30A内に顔32Aを検出できたか否かを判断する(ステップS210)。第2検出機能23Fが、顔32Aを検出できなかった場合(ステップS210:No)、ステップS212へ進む。第2検出機能23Fは、顔検出リトライ回数を示すカウンタRを“1”カウントアップする(ステップS212)。そして、ステップS214へ進む。
ステップS214では、第2出力制御機能23Gが、撮影画角内に顔32Aを配置することを促すための第2出力情報を、第1出力形態で出力するように、第1出力回路16を制御する(ステップS214)。ステップS214の処理によって、撮影部12の周辺には、第2出力情報が出力される。このため、撮影画角内に存在する対象34が生体である場合、生体は、顔32Aを撮影部12の撮影画角内に配置するための指示を受付けることができる。
次に、第2出力制御機能23Gは、リトライ回数Rが予め定めた最大リトライ値未満であるか否かを判断する(ステップS216)。最大リトライ値には、‘2’以上の整数を予め定めればよい。また、最大リトライ値は、ユーザによる入力部18の操作指示などによって、適宜変更可能としてもよい。
リトライ回数Rが予め定めた最大リトライ値未満である場合(ステップS216:Yes)、上記ステップS210へ戻る。リトライ回数Rが最大リトライ以上である場合(ステップS216:No)、ステップS218へ進む。なお、第2出力制御機能23Gは、ステップS216で否定判断した場合(ステップS216:No)、エラー内容“顔検出エラー”を示すエラー信号を、エラー出力制御部23Hへ出力する。
ステップS218では、エラー出力制御部23Hが、受付けたエラー内容“顔検出エラー”に対応するエラー出力情報を出力するように、出力回路14を制御する(ステップS218)。ステップS218の処理によって、エラー内容“顔検出エラー”に応じたエラー出力情報が出力される。そして、後述するステップS248へ進む。
一方、上記ステップS210で、第2検出機能23Fが、顔32Aを検出した場合(ステップS210:Yes)、ステップS220へ進む。
そして、処理回路23は、第1の実施の形態のステップS110〜ステップS132(図4参照)と同様にして、ステップS220〜ステップS244の処理を行う。
具体的には、第1検出機能22Cが、取得機能22Bで取得された第2撮影画像30Aに基づいて、対象が目を閉じた状態であることを検出するまで、否定判断を繰返す(ステップS220:No)。そして、第1検出機能22Cは、対象が目を閉じた状態であることを検出すると(ステップS220:Yes)、ステップS222へ進む。
なお、ステップS220において、所定時間以上または所定回数以上、否定判断を継続した場合、エラー出力制御部23Hが、エラー内容“目閉じ検出エラー”に対応するエラー出力情報を出力するように第1出力回路16を制御してもよい。そして、後述するステップS248へ進んでもよい。
次に、ステップS222では、第1検出機能22Cが、上記第1所定時間をカウントするためのタイマT1をスタートする(ステップS222)。そして、第1検出機能22Cは、取得機能22Bから新たに出力された第2撮影画像30Aを用いて、第2撮影画像30Aに含まれる人32が目を閉じているか否かを判断する(ステップS224)。
第1検出機能22Cは、目を閉じていると判断した場合(ステップS224:Yes)、ステップS226へ進む。ステップS226では、第1検出機能22Cは、ステップS222でタイマT1をスタートしてから第1所定時間経過したか否かを判断する(ステップS226)。
第1所定時間を経過していない場合(ステップS226:No)、上記ステップS224へ戻る。一方、第1所定時間を経過した場合(ステップS226:Yes)、ステップS228へ進む。ステップS228では、第1検出機能22Cが、ステップS222でスタートしたタイマT1をリセットする(ステップS228)。
次に、第1出力制御機能22Dが、第1出力情報を第1出力形態で出力する(ステップS230)。ステップS230の処理によって、目を閉じた後にすべき動作に応じた第1出力情報が、視覚以外の感覚を刺激する第1出力形態で出力される。すなわち、第1出力回路16から、目を閉じた後にすべき動作に応じた、音パターン、振動パターン、風パターン、の少なくとも1つが出力される。
このため、第1出力情報を提供された人32は、ステップS230で出力された第1出力情報に応じた動作を行う。
次に、生体検知機能22Eが、上記第2所定時間をカウントするためのタイマT2をスタートする(ステップS232)。次に、生体検知機能22Eは、取得機能22Bから新たに出力された第1撮影画像30Bを用いて、第1撮影画像30Bに含まれる対象34が、ステップS230で出力された第1出力情報に応じた動作を行ったか否かを判断する(ステップS234)。
生体検知機能22Eが、第1出力情報に応じた動作を行ったと判断した場合(ステップS234:Yes)、ステップS236へ進む。ステップS236では、生体検知機能22Eは、ステップS232でタイマT2をスタートしてからの経過時間が、第2所定時間以内であるか否かを判断する(ステップS236)。
ステップS236で肯定判断すると(ステップS236:Yes)、ステップS238へ進む。ステップS238では、生体検知機能22Eは、ステップS232でスタートしたタイマT2をリセットする(ステップS238)。
次に、生体検知機能22Eは、第1撮影画像30Bに含まれる対象34が、生体(例えば、人32)であると検知する(ステップS240)。そして、本ルーチンを終了する。なお、上述したように、生体検知機能22Eは、検知結果を出力回路14から出力した後に、本ルーチンを終了してもよい。
一方、上記ステップS234で否定判断すると(ステップS234:No)、ステップS242へ進む。ステップS242では、生体検知機能22Eは、ステップS232でタイマT2をスタートしてからの経過時間が、第2所定時間を経過したか否かを判断する(ステップS242)。
ステップS242で否定判断すると(ステップS242:No)、上記ステップS234へ戻る。一方、ステップS242で肯定判断すると(ステップS242:Yes)、ステップS244へ進む。また、上記ステップS236で否定判断した場合も(ステップS236:No)、ステップS244へ進む。
ステップS244では、生体検知機能22Eは、ステップS232でスタートしたタイマT2をリセットする(ステップS244)。
そして、本実施の形態では、生体検知機能22Eは、エラー内容“生体検出エラー”を示すエラー信号を、エラー出力制御部23Hへ出力する。そして、ステップS246へ進む。
ステップS246では、エラー出力制御部23Hが、受付けたエラー内容“生体検出エラー”に対応するエラー出力情報を出力するように、出力回路14を制御する(ステップS246)。ステップS246の処理によって、エラー内容“生体検出エラー”に応じたエラー出力情報が出力される。そして、ステップS248へ進む。
ステップS248では、生体検知機能22Eが、第1撮影画像30Bに含まれる対象34が、生体ではないと検知する(ステップS248)。すなわち、第1撮影画像30Bに含まれる対象34が、直前に出力された第1出力情報に応じた動作を該第1出力情報が出力されてから第2所定時間以内に行わなかった場合、生体検知機能22Eは、該対象34が生体ではないと検知する。そして、本ルーチンを終了する。
一方、上記ステップS224で目を閉じた状態であることが検出されなかった場合(ステップS224:No)、ステップS250へ進む。ステップS250では、第1検出機能22Cが、ステップS222でスタートしたタイマT1をリセットする(ステップS250)。
そして、目閉じ出力制御機能22Aは、エラー内容“目閉じ検出エラー”を示すエラー信号を、エラー出力制御部23Hへ出力する。そして、ステップS252へ進む。
ステップS252では、エラー出力制御部23Hが、受付けたエラー内容“目閉じ検出エラー”に対応するエラー出力情報を出力するように、出力回路14を制御する(ステップS252)。ステップS252の処理によって、エラー内容“目閉じ検出エラー”に応じたエラー出力情報が出力される。そして、上記ステップS248へ進む。
以上説明したように、本実施の形態の検出装置21では、第2検出機能23Fが、少なくとも第1出力情報が出力される前に、撮影部12の撮影画角内の顔を検出する。そして、第2出力制御機能23Gは、顔が検出されなかった場合、撮影画角内に顔を配置することを促すための第2出力情報を第1出力形態で出力する。
このため、本実施の形態の検出装置21では、目を閉じた状態の生体の顔32Aが、撮影部12の撮影画角から外れた位置にある場合、的確な出力情報を出力することができる。
従って、本実施の形態の検出装置21は、第1の実施の形態の効果に加えて、ユーザの使い心地を更に向上させることができる。
(適用例)
次に、上記実施の形態で説明した、検出システム10および検出システム10Aの、具体的な適用例について説明する。
上記実施の形態で説明した、検出システム10および検出システム10Aは、例えば、スマートデバイスや、顔照合端末や、画像形成装置に適用することができる。
図8は、検出システム10または検出システム10Aを適用した、スマートデバイス60の一例を示す図である。スマートデバイス60は、タブレット端末や、スマートフォンなどの携帯端末である。図8に示す例では、スマートデバイス60が、検出システム10または検出システム10Aを備える。なお、検出システム10または検出システム10Aをスマートデバイス60に適用した場合、スマートデバイス60を所持する対象34が、生体検知の対象34となる。
図9は、検出システム10または検出システム10Aを適用した、顔照合端末70の一例を示す図である。顔照合端末70は、人32の顔32Aの照合を行う装置である。図9に示す場合、検出装置20または検出装置21を、顔照合端末70の本体に搭載すればよい。また、出力回路14、入力部18、および撮影部12を、顔照合端末70を利用する対象34の周辺に配置すればよい。
なお、撮影部12は、対象34としての人32の身体の全体を撮影画角とするように設置されていることが好ましい。このため、撮影部12は、複数であってもよい。これらの複数の撮影部12は、互いに、人32の身体の異なる部分を撮影可能となるように、予め設置されている。
具体的には、図9に示すように、撮影部12は、撮影部12Aと撮影部12Bとを含む。撮影部12Aは、人32の顔32Aを撮影可能である。撮影部12Bは、人32の手32Eや足32Fを撮影可能である。そして、検出システム10および検出システム10Aでは、これらの複数の撮影部12(撮影部12A、撮影部12B)で撮影された撮影画像を用いて、人32の動作(目を開ける、口を開ける、眉を上げる、頭部を動かす、手を動かす、肩を動かす、および、足を動かす)を検出すればよい。
図10は、検出システム10または検出システム10Aを適用した、画像形成装置80の一例を示す図である。画像形成装置80は、複合機(MFP:Multifunction Peripheral)、複写機、及び印刷装置などである。図10に示す例では、検出装置20または検出装置21を、画像形成装置80の本体に搭載している。また、出力回路14、入力部18、および撮影部12を、画像形成装置80を利用するユーザの周辺に配置すればよい。
次に、上記実施の形態の検出装置20および検出装置21の、ハードウェア構成の一例を説明する。図11は、上記実施の形態の検出装置20および検出装置21のハードウェア構成図の一例である。
上記実施の形態の検出装置20および検出装置21は、CPU(Central Processing Unit)86などの制御装置と、ROM(Read Only Memory)88やRAM(Random Access Memory)90やHDD(ハードディスクドライブ)92などの記憶装置と、各種機器とのインターフェースであるI/F部82と、出力情報などの各種情報を出力する出力部80と、ユーザによる操作を受付ける入力部94と、各部を接続するバス96とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
上記実施の形態の検出装置20および検出装置21では、CPU86が、ROM88からプログラムをRAM90上に読み出して実行することにより、上記各機能がコンピュータ上で実現される。
なお、上記実施の形態の検出装置20および検出装置21で実行される上記各処理を実行するためのプログラムは、HDD92に記憶されていてもよい。また、上記実施の形態の検出装置20および検出装置21で実行される上記各処理を実行するためのプログラムは、ROM88に予め組み込まれて提供されていてもよい。
また、上記実施の形態の検出装置20および検出装置21で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施の形態の検出装置20および検出装置21で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施の形態の検出装置20および検出装置21で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
なお、上記には、本発明の実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
20、21 検出装置
22C 第1検出機能
22D 第1出力制御機能
22E 生体検知機能
23F 第2検出機能
23G 第2出力制御機能

Claims (14)

  1. 対象が目を閉じた後にすべき動作に応じた第1出力情報が出力される前に撮影された第2撮影画像に基づいて、前記対象が目を閉じた状態を、人が瞼を開いた状態から閉じた状態とするために要する時間の最大値に一定時間を加えた第1所定時間維持したことを検出する第1検出部と、
    前記対象が目を閉じた状態を前記第1所定時間維持したことが検出された場合に、前記第1出力情報を、視覚以外の感覚を刺激する第1出力形態で出力するよう制御する第1出力制御部と、
    前記第1出力情報が出力された後に撮影された第1撮影画像に含まれる前記対象が、生体か否かを検知する生体検知部と、
    を備える検出装置。
  2. 前記生体検知部は、前記第1撮影画像に基づいて、前記対象が前記第1出力情報に応じた動作を行ったと判断した場合、前記対象が生体であると検知する、請求項1に記載の検出装置。
  3. 前記生体検知部は、
    前記対象がを閉じた状態を前記第1所定時間維持したことが検出されなかった場合、前記対象が生体ではないと検知する、請求項1または請求項2に記載の検出装置。
  4. 前記生体検知部は、
    前記第1出力情報が出力されてから第2所定時間の間に撮影された前記第1撮影画像に基づいて、前記第1撮影画像に含まれる対象が生体か否かを検知する、請求項1〜請求項3の何れか1項に記載の検出装置。
  5. 前記第1出力情報は、
    身体の少なくとも一部を動かす動作を促すための出力情報である、請求項1〜請求項4の何れか1項に記載の検出装置。
  6. 前記第1出力情報は、
    目を開ける、口を開ける、頭部を動かす、手を動かす、肩を動かす、および、足を動かす、の少なくとも1つの動作を促すための出力情報である、請求項5に記載の検出装置。
  7. 前記第1出力情報は、目を開ける動作以外の他の動作に応じた出力情報であり、
    前記生体検知部は、前記第1撮影画像に含まれる前記対象が目を閉じた状態を維持したまま前記第1出力情報に応じた動作を行ったと判断した場合、前記対象が生体であることを検出する、請求項1〜請求項6の何れか1項に記載の検出装置。
  8. 前記第1出力情報が出力される前に、前記第1撮影画像を取得する撮影部の撮影画角内の顔を検出する第2検出部と、
    前記顔が検出されなかった場合、前記撮影画角内に顔を配置することを促すための第2出力情報を前記第1出力形態で出力するよう制御する第2出力制御部と、
    を備える、請求項1〜請求項6の何れか1項に記載の検出装置。
  9. 前記第1出力制御部は、前記顔が検出されたときに、前記第1出力情報を前記第1出力形態で出力するよう制御する、請求項8に記載の検出装置。
  10. 前記第1出力形態は、風、音、振動、の少なくとも1つである、請求項1〜請求項9の何れか1項に記載の検出装置。
  11. 前記第1出力情報を出力する出力部を更に備える請求項1〜請求項10の何れか1項に記載の検出装置。
  12. 前記出力部は、風発生回路、振動発生回路、および、スピーカの少なくとも1つを含む、請求項11に記載の検出装置。
  13. 対象が目を閉じた後にすべき動作に応じた第1出力情報が出力される前に撮影された第2撮影画像に基づいて、前記対象が目を閉じた状態を、人が瞼を開いた状態から閉じた状態とするために要する時間の最大値に一定時間を加えた第1所定時間維持したことを検出するステップと、
    前記対象が目を閉じた状態を前記第1所定時間維持したことが検出された場合に、前記第1出力情報を、視覚以外の感覚を刺激する第1出力形態で出力するよう制御するステップと、
    前記第1出力情報が出力された後に撮影された第1撮影画像に含まれる前記対象が生体か否かを検知するステップと、
    を含む、検出方法。
  14. 対象が目を閉じた後にすべき動作に応じた第1出力情報が出力される前に撮影された第2撮影画像に基づいて、前記対象が目を閉じた状態を、人が瞼を開いた状態から閉じた状態とするために要する時間の最大値に一定時間を加えた第1所定時間維持したことを検出するステップと、
    前記対象が目を閉じた状態を前記第1所定時間維持したことが検出された場合に、前記第1出力情報を、視覚以外の感覚を刺激する第1出力形態で出力するよう制御するステップと、
    前記第1出力情報が出力された後に撮影された第1撮影画像に含まれる前記対象が生体か否かを検知するステップと、
    をコンピュータに実行させるための検出プログラム。
JP2016179497A 2016-09-14 2016-09-14 検出装置、検出方法、および検出プログラム Active JP6773493B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016179497A JP6773493B2 (ja) 2016-09-14 2016-09-14 検出装置、検出方法、および検出プログラム
US15/443,469 US10242253B2 (en) 2016-09-14 2017-02-27 Detection apparatus, detection method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016179497A JP6773493B2 (ja) 2016-09-14 2016-09-14 検出装置、検出方法、および検出プログラム

Publications (2)

Publication Number Publication Date
JP2018045435A JP2018045435A (ja) 2018-03-22
JP6773493B2 true JP6773493B2 (ja) 2020-10-21

Family

ID=61560084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016179497A Active JP6773493B2 (ja) 2016-09-14 2016-09-14 検出装置、検出方法、および検出プログラム

Country Status (2)

Country Link
US (1) US10242253B2 (ja)
JP (1) JP6773493B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202103106YA (en) 2018-09-26 2021-04-29 Nec Corp Information providing device, information providing method, and storage medium
US11908157B2 (en) 2019-03-22 2024-02-20 Nec Corporation Image processing device, image processing method, and recording medium in which program is stored
CN111753750B (zh) * 2020-06-28 2024-03-08 中国银行股份有限公司 活体检测方法及装置、存储介质及电子设备
CN114596638A (zh) * 2020-11-30 2022-06-07 华为技术有限公司 人脸活体检测方法、装置及存储介质
WO2022246612A1 (zh) * 2021-05-24 2022-12-01 华为技术有限公司 活体检测方法、活体检测模型的训练方法及其装置和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3706308A (en) * 1970-10-19 1972-12-19 Neuro Data Inc Life detecting medical instrument
US6385486B1 (en) * 1997-08-07 2002-05-07 New York University Brain function scan system
US6310619B1 (en) * 1998-11-10 2001-10-30 Robert W. Rice Virtual reality, tissue-specific body model having user-variable tissue-specific attributes and a system and method for implementing the same
DE10024488C2 (de) * 2000-05-18 2003-04-10 Siemens Ag fMRI-BOLD Experiment mit multiplen Stimulationsmustern
JP2002251614A (ja) * 2001-02-23 2002-09-06 Omron Corp 生体照合装置,生体照合システム,生体照合方法及びプログラム
TWI278782B (en) 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
JP3974375B2 (ja) 2001-10-31 2007-09-12 株式会社東芝 人物認識装置、人物認識方法および通行制御装置
JP4470663B2 (ja) 2004-09-14 2010-06-02 沖電気工業株式会社 虹彩認証における不正検出システム
US8064993B2 (en) * 2005-11-14 2011-11-22 General Electric Company Measurement of EEG reactivity
WO2007139996A2 (en) * 2006-05-26 2007-12-06 The University Of North Carolina At Chapel Hill Devices, systems and methods for vibrotactile stimulation and non-invasive neurological screening
JP5061563B2 (ja) 2006-09-29 2012-10-31 オムロン株式会社 検出装置、生体判定方法、およびプログラム
US7549959B2 (en) * 2007-05-03 2009-06-23 The General Electric Company Stimulation arrangement for measurement of physiological signal reactivity
JP2010080993A (ja) * 2008-09-23 2010-04-08 Brother Ind Ltd インターホンシステム
JP5087037B2 (ja) * 2009-03-25 2012-11-28 株式会社東芝 画像処理装置、方法及びプログラム
JP5106459B2 (ja) 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
JPWO2010134200A1 (ja) 2009-05-22 2012-11-08 株式会社東芝 画像処理装置、方法及びプログラム
JP5159950B2 (ja) 2009-05-28 2013-03-13 株式会社東芝 画像処理装置、方法、プログラム
EP2473107B1 (en) * 2009-09-03 2018-05-30 Koninklijke Philips N.V. Consciousness monitoring
US20110112426A1 (en) * 2009-11-10 2011-05-12 Brainscope Company, Inc. Brain Activity as a Marker of Disease
JP2011197786A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置および情報処理方法
US8562524B2 (en) * 2011-03-04 2013-10-22 Flint Hills Scientific, Llc Detecting, assessing and managing a risk of death in epilepsy
US9993183B2 (en) * 2011-12-30 2018-06-12 Theodore Dean McBain System, method and device for confirmation of an operator's health condition and alive status
US9025830B2 (en) * 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US10803145B2 (en) * 2016-02-05 2020-10-13 The Intellectual Property Network, Inc. Triggered responses based on real-time electroencephalography

Also Published As

Publication number Publication date
US20180075295A1 (en) 2018-03-15
US10242253B2 (en) 2019-03-26
JP2018045435A (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
JP6773493B2 (ja) 検出装置、検出方法、および検出プログラム
US10546183B2 (en) Liveness detection
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
US10305908B2 (en) Liveness detection
US10198859B2 (en) Automated three dimensional model generation
CN109740491B (zh) 一种人眼视线识别方法、装置、系统及存储介质
US9928422B2 (en) User terminal apparatus and IRIS recognition method thereof
JP5974165B2 (ja) 視標追跡によるユーザ入力処理
EP3859717A1 (en) Liveness detection
JP5747916B2 (ja) 生体認証装置および生体認証プログラム
JP6809226B2 (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
US20170046583A1 (en) Liveness detection
CN110059661A (zh) 动作识别方法、人机交互方法、装置及存储介质
WO2017000213A1 (zh) 活体检测方法及设备、计算机程序产品
JP6052399B2 (ja) 画像処理プログラム、画像処理方法及び情報端末
WO2017000218A1 (zh) 活体检测方法及设备、计算机程序产品
WO2016078405A1 (zh) 调整对象属性信息的方法及装置
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
TW201828152A (zh) 特徵圖像的獲取方法及獲取裝置、使用者認證方法
CN111091031A (zh) 目标对象选取方法和人脸解锁方法
WO2017000217A1 (zh) 活体检测方法及设备、计算机程序产品
JP6229554B2 (ja) 検出装置および検出方法
JP2008123360A (ja) 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム
TWI466070B (zh) 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置
TWI731461B (zh) 真實人臉的識別方法與真實人臉的識別裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201001

R151 Written notification of patent or utility model registration

Ref document number: 6773493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151