JP6307807B2 - プログラマブル表示器、表示制御方法、およびプログラム - Google Patents

プログラマブル表示器、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP6307807B2
JP6307807B2 JP2013156681A JP2013156681A JP6307807B2 JP 6307807 B2 JP6307807 B2 JP 6307807B2 JP 2013156681 A JP2013156681 A JP 2013156681A JP 2013156681 A JP2013156681 A JP 2013156681A JP 6307807 B2 JP6307807 B2 JP 6307807B2
Authority
JP
Japan
Prior art keywords
display
screen
user
authenticated
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013156681A
Other languages
English (en)
Other versions
JP2015026316A (ja
Inventor
靖卓 藤原
靖卓 藤原
隆義 山下
隆義 山下
川上 文雄
文雄 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2013156681A priority Critical patent/JP6307807B2/ja
Priority to US14/338,376 priority patent/US9553874B2/en
Priority to EP14178674.9A priority patent/EP2833291A1/en
Priority to CN201410362530.0A priority patent/CN104346553A/zh
Publication of JP2015026316A publication Critical patent/JP2015026316A/ja
Application granted granted Critical
Publication of JP6307807B2 publication Critical patent/JP6307807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、プログラマブル表示器、プログラマブル表示器における表示制御方法、およびプログラマブル表示器を制御するためのプログラムに関する。
従来、プログラマブル・ロジック・コントローラ(PLC)に通信可能に接続されるプログラマブル表示器が知られている。たとえば、特許文献1には、HMI処理部と、顔ログ処理部とを備えるプログラマブル表示器が開示されている。顔ログ処理部は、顔画像データベースと、顔検出部と、共有メモリと、顔ロギング部と、顔ログ制御部と、顔ログファイルとを有する。また、当該プログラマブル表示器は、カメラと通信可能に接続されている。
HMI処理部は、プログラマブル表示器に表示された画面上で操作者が所定のスイッチ操作を行うと、操作者の顔画像をログする処理を実行するように顔ログ処理部に指示を与える。顔ログ処理部は、当該指示を受けて、顔検出部が、カメラによって撮影された操作者の画像から正面を向いた顔画像を検出し、ファイルとして所定の顔画像データベースに格納する。また、顔検出部は、顔画像データベースにおけるファイルのパス名を、スイッチ操作の内容、顔を検出した日時、スイッチ操作が行われた画面の画面番号などの操作履歴に関する情報とともに共有メモリに書き込む。顔ロギング部は、顔ログ制御部の指示によって、共有メモリに書き込まれたデータを顔ログファイルに保存する。
また、従来、顔認証の技術が知られている。たとえば、特許文献2には、顔認証を行なう入退場管理システムが開示されている。当該入退場管理システムは、入退場者の顔画像により当該入退場者があらかじめ登録されている人物か否かを照合する顔照合装置を用いて施設への入退場を管理する。入退場管理システムは、顔照合装置の近傍に入退場者の画像を撮影する監視カメラを設けることにより、監視カメラからの画像を記録部で記録するとともに、顔照合装置の照合結果などの入退場履歴とともに入退場管理サーバへ送信する。
特許文献3には、撮像装置と操作画面制御部と表示部とを有する画像形成装置が開示されている。操作画面制御部は、顔領域検出部と、移動判定部と、顔特徴抽出部と、属性検出部と、表示制御部とを有する。顔領域検出部は、撮像装置によって撮像された画像データの中からユーザの顔領域を検出する。移動判定部は、ユーザが上記画像形成装置に近づいているか否かを判定する。顔特徴抽出部は、移動判定部によってユーザが画像形成装置に近づいていると判定された場合に、顔領域から顔の特徴を抽出する。属性検出部は、顔特徴抽出部によって抽出された顔の特徴に基づき、ユーザの属性を検出する。表示制御部は、属性検出部によって検出されたユーザの属性に応じた操作画面を画像形成装置の表示部に表示させる。
特許文献4には、監視装置を操作する人を監視する監視システムが開示されている。当該監視システムは、操作者監視装置を備える。操作者監視装置は、カメラと、顔画像記憶部と、操作権限特定部とを有する。カメラは、操作する人の顔を撮影して顔画像データを出力する。顔画像記憶部は、操作権限の範囲と合わせて照合用顔画像データが予め登録されている。操作権限特定部は、周期的または操作の度に取り込まれた操作している人の顔画像データを上記照合用顔画像データと照合して操作している人が有する操作権限の範囲を特定し、かつ該操作権限の範囲に従って監視装置の操作可能範囲を変える。
特開2008−112222号公報 特開2004−78687号公報 特開2011−59194号公報 特開2008−165353号公報
しかしながら、特許文献1のプログラマブル表示器では、顔認証の結果を履歴として残すことができるが、顔認証を用いてアプリケーションへのアクセスを許可することはできない。また、特許文献2〜4においても、顔認証を用いてアプリケーションへのアクセスを許可することは開示も示唆もされていない。
さらに、特許文献3では、ユーザの属性を検出する構成であるため、同一人物であっても異なる属性が検出される可能性がある。それゆえ、同一人物が異なるタイミングで画像形成装置に近づいた場合、異なる操作画面が表示される可能性がある。
また、特許文献4では、操作者の操作権限に応じて操作可能範囲を変えることは開示されているが、操作者に応じた操作画面を表示することについては開示されていない。特に、特許文献4では、同じ操作権限を有する者が複数いる場合には、必ず同一の操作画面が表示されることになる。
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、顔認証によりアプリケーションへのアクセスを許可することが可能であって、かつアクセス許可後に認証されたユーザに応じた画面を表示可能なプログラマブル表示器、当該プログラマブル表示器における表示制御方法、および当該プログラマブル表示器を制御するためのプログラムを提供することにある。
本発明のある局面に従うと、プログラマブル表示器は、アプリケーションへのアクセスを制御する。プログラマブル表示器は、ディスプレイと、ディスプレイに画面を表示させる表示制御手段と、複数のユーザの顔の特徴データと、複数の画面を表示するための画面データとを記憶した記憶手段と、撮像により得られたユーザの画像データと、特徴データとに基づき、顔認証を行なう認証手段と、ユーザが認証された場合、ユーザにアプリケーションへのアクセスを許可するアクセス制御手段とを備える。アクセス制御手段は、アクセスを許可する際、表示制御手段を制御して、複数の画面のうちの認証されたユーザに応じた画面をディスプレイに表示させる。
好ましくは、記憶手段には、複数の特徴データが記憶されている。特徴データの各々に対して操作権限を表す識別情報が対応づけて記憶されている。表示制御手段は、識別情報に応じて異なる画面をディスプレイに表示させる。
好ましくは、複数の特徴データの各々には、画面の表示態様を規定する情報が対応付けられている。表示制御手段は、特定された個人の特徴データに対応付けられた情報により規定される表示態様で、特定された個人に応じた画面をディスプレイに表示させる。
好ましくは、表示態様は、言語または文字サイズの少なくともいずれかを含む。
好ましくは、画面の表示態様を規定する情報は、年齢、性別、または国籍の少なくとも1つを含む。
本発明の他の局面に従うと、表示制御方法は、プログラマブル表示器におけるディスプレイに表示される画面の表示を制御する。表示制御方法は、撮像により得られたユーザの画像データを受け取るステップと、個人の顔の特徴を表した特徴データとに基づき、ユーザの顔認証を行なうステップと、顔認証によってユーザが認証された場合、プログラマブル表示器上で動作するアプリケーションへのアクセスを許可するステップと、複数の画面のうちの認証されたユーザに応じた画面をディスプレイに表示するステップとを備える。
好ましくは、表示制御方法は、複数の特徴データを記憶するステップと、特徴データのそれぞれに対して操作権限を表す識別情報を対応づけて記憶するステップと、識別情報に応じて異なる画面をディスプレイに表示させるステップとをさらに備える。
好ましくは、複数の特徴データの各々には、画面の表示態様を規定する情報が対応付けられている。表示制御方法は、特定された個人の特徴データに対応付けられた情報により規定される表示態様で、特定された個人に応じた画面をディスプレイに表示させるステップをさらに備える。
好ましくは、表示態様は、言語または文字サイズの少なくともいずれかを含む。
好ましくは、画面の表示態様を規定する情報は、年齢、性別、または国籍の少なくとも1つを含む。
本発明のさらに他の局面に従うと、プログラムは、プログラマブル表示器におけるディスプレイに表示される画面の表示を制御する。プログラムは、撮像により得られたユーザの画像データを受け取るステップと、個人の顔の特徴を表した特徴データとに基づき、ユーザの顔認証を行なうステップと、顔認証によってユーザが認証された場合、プログラマブル表示器上で動作するアプリケーションへのアクセスを許可するステップと、複数の画面のうちの認証されたユーザに応じた画面をディスプレイに表示するステップとを、プログラマブル表示器のプロセッサに実行させる。
本発明によれば、顔認証によりアプリケーションへのアクセスを許可することが可能であって、かつアクセス許可後に認証されたユーザに応じた画面を表示可能となる。
表示器の正面図である。 表示器における認証処理を説明するための図である。 顔認証によってユーザが認証された後の操作画面の例を説明するための図である。 表示器における処理の履歴を説明するための図である。 表示器のハードウェア構成の一例を説明するための図である。 表示器の機能的構成を表した機能ブロック図である。 顔認証に関するシステム設定を行なうための画面を説明するための図である。 登録画像DBに格納されているデータを説明するための図である。 図8における顔画像データを説明するための図である。 認証されたユーザに応じた画面の例であって、図3の例とは異なる画面を表した図である。 図10の各ユーザ画面を表示させる際に参照されるデータD3を表した図である。 管理部により管理される履歴データD5を表した図である。 未登録者DBに格納されるデータD7を表した図である。 制限部によって処理が制限された場合に表示される画面を表した図である。 表示器における処理の流れを説明するためのフローチャートである。 図8に示したデータD1の代わりに登録画像DBに格納されているデータを説明するための図である。 ユーザの視線方向を検知する構成を説明するための図である。 カメラを用いた撮像により得られた被写体の画像データに複数のユーザが含まれている状態を表した図である。
本発明の実施の形態にかかるプログラマブル表示器(以下、単に「表示器」と称する)ついて、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
<A.外観>
図1は、本実施の形態にかかる表示器1の正面図である。表示器1は、PLC(プログラマブル・ロジック・コントローラ)に接続されて使用され、PLCのヒューマン・マシン・インタフェース(HMI)として機能する。図1を参照して、表示器1は、操作キー16と、カメラ17と、タッチスクリーン18とを備えている。タッチスクリーン18は、ディスプレイとタッチパネルとを含んで構成されている。
<B.処理の概要>
表示器1は、ユーザの顔画像による認証によって、表示器1に予め格納されているアプリケーションへのアクセスを制御する。具体的には、表示器1は、ユーザが認証された場合、当該アプリケーションへのアクセスを許可する。以下では、アプリケーションへのアクセスを許可する処理(つまり「ログイン処理」)を例に挙げて説明する。さらに、以下では、表示器1が実行する他の主たる処理の概要について、「編集処理」と、「履歴記録処理」とについても説明する。
なお、以下において、「ログイン状態」とは、アプリケーションへのアクセスが許可された状態であり、「ログアウト状態」とは、アプリケーションへのアクセスが許可されていない状態である。また、表示器1では、アプリケーションへのアクセスが許可されると、アプリケーションへのアクセス権が発行され、アプリケーションへのアクセスが許可されなくなると、アプリケーションへのアクセス権が取り消される。
(b1.ログイン処理)
図2は、表示器1における認証処理を説明するための図である。図2を参照して、人が表示器1の前方(タッチスクリーン18側)に立つと、カメラ17による撮像により得られた被写体(人および背景)の画像データと、表示器1に予め記憶されているユーザの顔の特徴データとに基づき、顔認証が開始される。なお、顔認証は、従来知られている技術であるため、ここでは詳細については繰り返さない。
表示器1は、顔認証によってユーザが認証された場合、アプリケーションへのアクセスを許可する。すなわち、本実施の形態では、表示器1は、認証対象となったユーザのログインを許可する。具体的には、表示器1は、表示器1に予め記憶されたデータへのアクセスを許可する状態に遷移させる。さらに換言すれば、表示器1は、顔認証によってユーザが認証された場合(認証に成功した場合)、表示器1の状態をログアウト状態からログイン状態に切り換える。また、表示器1は、ログイン状態に切り換わったことに基づき、予め定められたユーザ画面をタッチスクリーン18のディスプレイに表示する。以上のように、表示器1によれば、顔認証によりログインすることが可能となる。なお、ユーザ画面は、ユーザが操作および/または確認を行なうための画面である。ユーザ画面は、操作ボタンを含む操作画面と、操作ボタンを含まない画面とを含む。
(b2.編集処理)
図3は、顔認証によってユーザが認証された後のユーザ画面の例を説明するための図である。図3(A)は、顔認証によって認証されたユーザが一般のオペレータ(以下、単に「オペレータ」)よりもアプリケーションに対する操作権限の高いアドミニストレータであると判定された場合に、表示器1に表示される画面を説明するための図である。図3(B)は、顔認証によって認証されたユーザがオペレータであると判定された場合に、表示器1に表示される画面を説明するための図である。
図3を参照して、表示器1は、顔認証によってアプリケーションへのアクセスが許可されたことに基づき、複数の画面のうちの認証されたユーザに応じた画面をディスプレイに表示させる。たとえば、表示器1は、男性αがアドミニストレータである場合には、複数の選択可能なオブジェクト801,802,803,804をディスプレイに表示する。また、表示器1は、女性βがオペレータである場合には、アドミニストレータでしか操作が許可されていない処理に対応するオブジェクト802,803を非表示(あるいは、選択不可能な表示)とする。以上のように、表示器1は、認証されたユーザに応じたユーザ画面を表示することができる。
(b3.履歴記録処理)
図4は、表示器1における処理の履歴を説明するための図である。図4を参照して、表示器1は、予め定められたコマンドに基づく処理がなされると、時刻と、コマンドと、表示器1に対して処理を開始させたユーザ(顔認証によって認証されたユーザ)の氏名とを関連付けて、履歴として記憶する。なお、履歴には、ログインおよびログアウトに関する履歴と、ログイン状態におけるユーザの操作履歴とが含まれる。
たとえば、表示器1は、ある局面において、少なくとも、顔認証により認証されたユーザの識別情報(氏名)と、アプリケーションへのアクセスが許可されたこと(つまり、ログイン状態となったこと、ログインしたこと)を表す履歴(“Log in”)とを互いに対応付けて記憶する。また、表示器1は、ある局面において、ログイン状態において、ユーザ画面に含まれる操作ボタンの画像を指定するための操作がなされた場合、顔認証によって認証されたユーザの識別情報と当該指定された操作ボタンに対応する操作の履歴(たとえば“Push Start”,“Show Graph”)とを対応付けて記憶する。
表示器1のユーザ(たとえば、アドミニストレータまたは後述するメンテナンス者)は、記憶された履歴をディスプレイに表示させる指示を表示器1に入力することにより、図4に示したように履歴を確認することが可能となる。つまり、当該ユーザは、顔認証によってログインしたユーザを事後的に認証可能となる。
以下、上記の処理を実現するための具体的な表示器1の構成、および上記の処理以外の処理の詳細について説明する。
<C.ハードウェア構成>
図5は、表示器1のハードウェア構成の一例を説明するための図である。図5を参照して、表示器1は、各種の演算を行なうCPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、各種のプログラムを不揮発的に格納するフラッシュROM14と、時計15と、操作キー16と、カメラ17と、タッチスクリーン18と、通信インターフェイス19とを備える。なお、これらの部位は、内部バスを介して互いに接続される。
タッチスクリーン18は、ディスプレイ81と、ディスプレイ81を覆うように設置されたタッチパネル82とを有する。通信インターフェイス19は、Ethernet(登録商標)用IF(InterFace)91と、シリアル用IF92と、USB(Universal Serial Bus)用IF93とを有する。
CPU11は、フラッシュROM14に格納されているプログラムをRAM13などに展開して実行する。ROM12は、一般的に、オペレーティングシステム(OS:Operating System)等のプログラムを格納している。RAM13は、揮発性メモリであり、ワークメモリとして使用される。
Ethernet用IF91は、Ethernetの通信プロトコルをサポートし、PLCとの間でデータ通信する。シリアル用IF92は、シリアル通信のプロトコルをサポートし、たとえばPC(Personal Computer)との間でデータ通信する。USB用IF93は、USBの通信プロトコルをサポートし、たとえばUSBメモリとの間でデータ通信する。
なお、図5に示される表示器1を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュROM14等のメモリに格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、表示器1の各ハードウェアの動作は周知であるために、詳細な説明は繰り返さない。
<D.処理の詳細>
図6は、表示器1の機能的構成を表した機能ブロック図である。図6を参照して、表示器1は、撮像部101と、サイズ判定部102と、生成部103と、顔認証部104と、アクセス制御部105と、管理部106と、入力部107と、受付部108と、表示制御部109と、表示部110と、文字列判定部111と、通信処理部112と、制限部113と、視線特定部114と、記憶部115とを備えている。
なお、撮像部101は、図5等に示したカメラ17に対応する。入力部107は、タッチパネル82に対応する。表示部110は、ディスプレイ81に対応する。記憶部115は、フラッシュROM14およびROM12に対応する。
記憶部115は、登録画像DB(Data Base)351と、視線DB352と、未登録者DB353と、履歴DB354と、ID(Identification)およびパスワードDB355と、画面データDB356とを有している。
登録画像DB351には、ユーザの識別情報と、ユーザの顔の顔画像データと、ユーザの顔の特徴データと、アプリケーションに対する操作権限を表す識別情報(たとえば、アドミニストレータ、オペレータ等)とが互いに対応付けた状態で、複数人分登録されている。具体的には、特徴データの各々に対して操作権限を表す識別情報が対応づけて記憶されている。なお、特徴データは、予め定められたアプリケーションプログラムを実行することによって、顔画像データから生成される。また、顔画像の登録は、一例として、カメラ17を用いた撮像に基づき行なわれる。
未登録者DB353には、顔認証によりユーザを認証できなかった場合において、当該認証できなかった者の顔の画像データが記録される。履歴DB354には、ユーザによる各種の履歴(ログイン履歴、ログアウト履歴、各種の操作履歴)が記録される。画面データDB356には、表示器1のディスプレイ81に各種の画面(ユーザ画面、後述するシステム設定画面)を表示させるための画面データが記録されている。
視線DB352には、表示器1のユーザの視線の方向を表す情報が記録されている。当該視線DB352を利用する構成については、後述する(図16)。IDおよびパスワードDB355は、表示器1のユーザのIDおよびパスワードが、ユーザ毎に記録されている。IDおよびパスワードDB355を利用する構成についても、後述する。
撮像部101は、被写体の撮像し、当該撮像により得られた画像データ(顔画像データを含む被写体の画像データ)をサイズ判定部102に送る。撮像部101は、典型的には、ログアウト状態およびログイン状態のいずれにおいても、予め指定されたタイミングで撮像処理を行なう。画像データには、撮像した日時が対応付けられる。さらに詳しくは、認証においてユーザを認証するために複数回の撮像により得られた顔画像データを特徴データと比較するため、撮像部101は、連続撮影を行なう。以下では、説明の便宜上、当該連続撮影により得られた画像データを、「フレームデータ」と称する。
サイズ判定部102は、画像データに含まれる顔の領域が予め定められたサイズよりも大きいか否かを判定する。詳しくは、サイズ判定部102は、撮像部101による撮像に基づき、被写体における顔の領域が予め定められたサイズ(後述する最小値)よりも大きいか否かを判定する。また、サイズ判定部102は、判定結果を生成部103および顔認証部104に送る。
生成部103は、顔画像データの登録を行なう動作モードにおいて、顔画像データに基づき特徴データを生成する。生成部103は、顔画像データと特徴データとを関連付けて、登録画像DBに記録する。生成部103は、典型的には、被写体における顔の領域が予め定められたサイズ(後述する最小値)よりも大きいと判定された場合に、顔画像データと特徴データとを関連付けて、登録画像DBに記録する。
顔認証部104は、ログアウト状態(アプリケーションへのアクセスが許可されていない状態)においては、人物の顔が表示器1の撮像部101に近づくと、顔認証を自動的に行なう。また、顔認証部104は、ログイン状態においても、ユーザによる操作を受け付けた場合には、顔認証を行なう。
具体的には、顔認証部104は、撮像により得られたユーザの画像データ(「第1の画像データ」とも称する)と、特徴データとに基づき、ユーザの認証(以下、「第1の顔認証」とも称する)を行なう。詳しくは、顔認証部104は、被写体に含まれる顔を表した顔画像データと、登録画像DBに記録された特徴データとに基づき、顔認証を行なう。より詳しくは、顔認証部104は、複数のフレームデータの各々について顔認証を行ない、ユーザを認証する。
顔認証部104は、認証結果をアクセス制御部105に送る。また、顔認証部104は、ユーザを認証できなかった場合、認証ができなかった顔の画像データ(以下、「未登録画像データ」とも称する)を管理部106に送る。
また、顔認証部104は、ログイン状態における撮像(アプリケーションへのアクセスが許可されている場合における撮像)により得られたユーザの顔の画像データ(「第2の画像データ」とも称する)と、特徴データとに基づいたユーザの認証(以下、「第2の顔認証」とも称する)を、予め指定されたタイミングで行なう。当該認証の結果は、制限部113に送られる。
さらに詳しくは、顔認証部104は、目に着目して顔認証を行なう。表示器1が使用される現場では、目以外の部分が衣類で覆われている可能性が高いからである。
アクセス制御部105は、ユーザが認証された場合、当該ユーザにアプリケーションへのアクセスを許可する。詳しくは、アクセス制御部105は、顔の領域が予め定められたサイズよりも大きいと判定されたことを条件に、アプリケーションへのアクセスを許可する。
具体的には、アクセス制御部105は、ログアウト状態において顔認証によってユーザが認証された場合、表示器1の状態をログアウト状態からログインの状態に切り換える。詳しくは、アクセス制御部105は、アプリケーションへのアクセスを許可する際、複数の画面のうちの認証されたユーザの特徴データに基づいて画面(図3参照)をディスプレイ81(つまり表示部110)に表示させるように、表示制御部109を制御する。
また、アクセス制御部105は、サイズのもっとも大きかったユーザを表す情報を顔認証部104から受け付けた場合、当該ユーザに応じた画面をディスプレイ81に表示させる。アクセス制御部105は、表示器1の状態をログアウト状態からログインの状態に切り換えた場合には、管理部106に対してログイン状態となったことを表す情報を送る。
詳しくは、アクセス制御部105は、複数のフレームデータうちの予め定められた数以上のフレームデータにおいて同一のユーザが認証されたことを条件に、アプリケーションへのアクセスを許可する(つまり、ログアウト状態からログイン状態に切り換える)。
入力部107は、オブジェクトの指定、文字列の入力といった、各種のユーザ操作を受け付ける。たとえば、入力部107は、ユーザ画面においてタッチ操作を受け付ける。この場合、入力部107は、タッチ入力による座標値を受付部108に送る。
受付部108は、入力部107から座標値を受け付ける。受付部108は、受け付けた座標値と、表示部110に表示されている画面情報とに基づき、入力された指示(ユーザ操作)および文字列等を判断する。受付部108は、当該ユーザ操作を表す情報を、管理部106に送る。また、受付部108は、文字列として、IDおよびパスワードとを受け付けた時は、当該IDおよびパスワードを文字列判定部111に送る。
表示制御部109は、ディスプレイ81(つまり表示部110)に画面を表示させる。たとえば、表示制御部109は、上記操作権限を表す識別情報に応じて異なる前記画面を前記ディスプレイに表示させる(図3参照)。詳しくは、表示制御部109は、各部からの指示に応じて表示部110に各種の画面等を表示する。
具体的には、表示制御部109は、たとえば、ユーザ画面(図2,3等)、システム設定を行なうための画面(図7)、履歴画面(図4)を表示部110に表示させる。また、表示制御部109は、これらの画面に予め定められたオブジェクト画像を重畳して表示させる。また、表示制御部109は、PLCから送信される各種の情報(たとえば数値、文字列)を表示部110に表示させる。
管理部106は、記認証されたユーザの識別情報とアクセスが許可された状態となったことを表す履歴とを互いに対応付けて、記憶部115に記憶させる。具体的には、管理部106は、認証されたユーザの識別情報とログインしたことを表す履歴(“Log in”)とを互いに対応付けて、記憶部115の履歴DB354に記憶させる。また、管理部106は、アプリケーションへのアクセスが許可されている状態(ログイン状態)において、ユーザ画面に含まれる操作ボタンの画像を指定するための操作がなされた場合、認証されたユーザの識別情報と当該操作ボタンに対応する操作の履歴(たとえば、“Push Start”,“Show Graph”)とを対応付けて、履歴DB354に記憶させる。履歴DB354に各種の履歴を記憶させる場合、当該履歴に対応する処理または操作を行なった日時を表した日時情報が対応付けられる。
さらに、管理部106は、顔認証部104から未登録画像データを受け受けた場合、未登録者DB353に当該未登録画像データを記憶させる。この場合、未登録画像データには、撮像の日時を表した日時情報が対応付けられる。
より詳しくは、管理部106は、履歴を記録する設定がアドミニストレータによりなされたことを条件に、上記の各履歴を履歴DB354に記憶させる。管理部106は、顔認証により認証できたユーザの画像データを、ログアウト状態およびログイン状態のいずれにおいても、記憶部115に記憶させてもいし、あるいは記憶させなくてもよい。何れの態様を採るかは、アドミニストレータの選択に従う。
通信処理部112は、PLCと通信をするためのデータ処理を行なう。制限部113と、文字列判定部111と、視線特定部114とについては、後述する。
以下では、編集処理および履歴記録処理について、さらに詳しく説明する。また、表示器1における処理として、初期設定処理と、入れ替わり検知とについても説明する。なお、編集処理とは、アクセス制御部105による制御により表示制御部109が、認証されたユーザに応じたユーザ画面を表示させる処理である(図3参照)。また、履歴記録処理は、管理部106によって、未登録画像データおよび履歴を記憶部115に記憶させる処理である。
また、以下では、説明の便宜上、表示器1のユーザとして、アプリケーションに対する操作権限(使用権限)の範囲が異なる3者(「アドミニストレータ」、「メンテナンス者」、「オペレータ」)が規定されているものとして説明する。なお、アドミニストレータ、メンテナンス者、オペレータの順に、上記操作権限の範囲が狭くなる。
(d1.初期設定処理)
図7は、顔認証に関するシステム設定を行なうための画面を説明するための図である。図7(A)は、一般設定画面511を表した図である。図7(B)は、顔認証設定画面512を表した図である。図7(C)は、詳細設定画面513を表した図である。これらのシステム設定を行なう画面の表示は、表示制御部109と表示部110とにより実現される。
表示器1は、システム設定をアドミニストレータのみに許可する。つまり、図7(A)〜(C)の画面は、アドミニストレータとして表示器1に登録されているもののみが表示させることができる。
図7を参照して、図7(A)〜(C)の各画面は、画面の上部の3つタブのうちの1つを選択することにより表示させることができる。図7(A)に示す一般設定画面511では、履歴を記録するか否かの設定、顔認証時の顔画像データの記録を行なうか否かの設定、人物の入れ替わり検知に関する設定、および未登録者検出に関する設定を行なうことができる。
図7(B)に示す顔認証設定画面512では、顔認証でユーザを認証する必要があるユーザのユーザ登録、および当該ユーザ登録の削除を行なうことができる。また、顔認証設定画面512では、同一人物について複数の顔画像データを登録することができる。なお、複数の顔画像データを登録した場合には、複数の特徴データが生成される。また、「Role」の欄には、アドミニストレータ、メンテナンス者、およびオペレータのいずれかが設定される。
図7(C)に示す詳細設定画面513では、顔認証を行なってログインを認める際の、被写体(人物および背景)における顔のサイズの最小値および最大値を設定することができる。また、詳細設定画面513では、顔認証によって本人と判断してもよい一致度合い(本人らしさ)の下限値(閾値)を設定することができる。たとえば、当該閾値の一例として、98%が挙げられる。
図8は、登録画像DB351に格納されているデータを説明するための図である。図8を参照して、データD1では、氏名と、役割と、データの更新日と、顔画像データおよび特徴データとが互いに対応付けて記録されている。一例として、「Yamashita Takeshi」という氏名に対して、「administrator」の役割と、「2012/08/16」の更新日と、3つの顔画像データ(「1023KD」,「7544KD」,「9118KD」)と、3つの特徴データ(「1023TD」,「7544TD」,「9118TD」)とが対応付けられている。なお、各特徴データは、同じ欄に記載の顔画像データから生成されたデータである。たとえば、特徴データ“1023TD”は、顔画像データ“1023KD”から生成される。
顔画像データおよび特徴データは、予め定められた数(たとえば、各々10個)まで登録することができる。表示器1の顔認証部104は、複数の特徴データのうち少なくとも1つの特徴データとの一致度合いが設定された下限値(閾値)よりも大きいときに、認証に成功(ユーザを認証)したと判定する構成としてもよい。あるいは、顔認証部104は、上記複数の特徴データの全ての特徴データとの一致度合いが設定された下限値よりも大きいときに、認証に成功(ユーザを認証)したと判定する構成としてもよい。
図9は、図8における顔画像データを説明するための図である。詳しくは、図9(A)は、「Yamashita Takeshi」の1つ目の顔画像データ“1023KD”に基づく画像である。図9(B)は、「Yamashita Takeshi」の2つ目の顔画像データ“7544KD”に基づく画像である。図9(C)は、「Yamashita Takeshi」の3つ目の顔画像データ“9118KD”に基づく画像である。このように、複数の異なる状態の顔画像データを登録しておき、これらの顔画像データを用いた顔認証を行なうことにより、表示器1における認証の精度を向上させることができる。
(d2.編集処理)
上述したように、表示器1は、顔認証により認証されたユーザに応じた画面を表示する。図10は、認証されたユーザに応じた画面の例であって、図3の例とは異なる画面を表した図である。
図10(A)は、アドミニストレータ用のユーザ画面531を表した図である。つまり、図10(A)は、顔認証により認証されたユーザがアドミニストレータとして事前に登録されていた場合に表示させるユーザ画面である。図10(B)は、メンテナンス者用のユーザ画面532を表した図である。つまり、図10(B)は、顔認証により認証されたユーザがメンテナンス者として事前に登録されていた場合に表示させるユーザ画面である。図10(C)は、オペレータ用のユーザ画面533を表した図である。つまり、図10(C)は、顔認証により認証されたユーザがオペレータとして事前に登録されていた場合に表示させるユーザ画面である。
図10(A)を参照して、ユーザ画面531は、ステータス831と、メンテナンスメニュー832と、アドミニメニュー833と、ログアウト用のオブジェクト834とを含んでいる。
図10(B)を参照して、ユーザ画面532は、ステータス831と、メンテナンスメニュー832と、オブジェクト834とを含む。ユーザ画面532は、ユーザ画面531とは異なり、アドミニメニュー833を含まない。
図10(C)を参照して、ユーザ画面533は、ステータス831と、オブジェクト834とを含む。ユーザ画面533は、ユーザ画面531とは異なり、アドミニメニュー833と、メンテナンスメニュー832とを含まない。
以上のように、表示器1は、顔認証の結果に基づいて、操作権限に応じたユーザ画面を表示する。
図11は、図10の各ユーザ画面531,532,533を表示させる際に参照されるデータD3を表した図である。図11を参照して、データD3は、オブジェクト名と、座標情報と、役割毎にオブジェクト画像を表示させるか否かを表した情報とが対応付けられている。たとえば、3つのオブジェクト画像である、スタートボタン、ストップボタン、およびポーズボタンについては、アドミニストレータとメンテナンス者とに対して表示させる記述がなされている。システムメニューのオブジェクト画像については、アドミニストレータに対して表示させる記述がなされている。ログアウトのオブジェクト画像については、全てのユーザに対して表示させる記述がなされている。
また、座標情報は、オブジェクト画像をディスプレイ81に表示させる際に、利用する情報である。座標情報により、オブジェクト画像の左上部の座標と、オブジェクト画像の幅と高さとが規定される。
(d3.履歴記録処理)
図12は、管理部106により管理される履歴データD5を表した図である。つまり、図12は、履歴DB354に格納される履歴データD5を表している。図12を参照して、履歴データD5には、日時と、コマンドと、氏名とが対応付けて記録される。表示器1は、履歴データD5を表示させる指示をユーザ(たとえば、アドミニストレータ)から受け付けた場合、図4に示した画面を表示する。
図13は、未登録者DB353に格納されるデータD7を表した図である。図13を参照して、データD7においては、顔認証によりユーザを認証できなかった人物の画像(未登録者画像)と、撮像を行なった日時とが対応付けられている。
たとえばオペレータが、未登録者を確認する入力を表示器1に行なった場合には、表示器1は、データD7を参照して、未登録者の画像をディスプレイ81に表示させる。
(d4.入れ替わり検知)
次に、入れ替わり検知について説明する。入れ替わり検知とは、ある人物が顔認証されて表示器1がログイン状態となっている場合において、表示器1が当該人物とは異なる人物を再度の顔認証により検知することをいう。
顔認証部104は、上述したように、ログイン状態においても、ログインの状態における撮像により得られた顔の画像データと、特徴データとに基づいた顔認証を、予め指定されたタイミングで行なう。
制限部113は、上記第1の顔認証によって認証されたユーザと上記第2の顔認証によって認証されたユーザが異なるユーザである場合、アプリケーションの処理の実行を制限する。また、制限部113は、第2の顔認証によってユーザが認証されなかった場合、アプリケーションの処理の実行を制限する。具体的には、制限部113は、ログイン状態における顔認証による認証結果がログアウト状態における顔認証により認証されたユーザを表すものではなくなった場合、またはログイン状態における顔認証によってユーザが認証されなかった場合には、ログイン状態において認められている予め定められた処理の実行を制限する。
たとえば、アドミニストレータのユーザ画面531が表示されている状態(図10(A))において、当該アドミニストレータ以外の人物が表示器1の前に立って、撮像および認証がなされたとする。この場合、制限部113は、少なくとも、ログイン状態において認められている処理の実行を制限する。好ましくは、制限部113は、ログイン状態で示されていたオブジェクト画像の選択を受け付けないようにする。
図14は、制限部113によって処理が制限された場合に表示される画面を表した図である。図14(A)は、警告表示を伴った画面を表した図である。図14(B)は、ログイン状態からログアウト状態に遷移させた後の画面を表した図である。図14(A)に示した画面を表示するか、あるいは図14(B)に示した画面を表示するかは、表示器1において予め設定されている。当該設定をアドミニストレータが変更することも可能である。
図14(A)を参照して、アクセス制御部105は、アプリケーションの処理の実行が制限される場合、アクセスが許可されている状態(ログイン状態)で表示されている画面に重畳した状態で予め定められたオブジェクト画像をディスプレイ81(表示部110)に表示させるように表示制御部109を制御する。これにより、表示制御部109は、図11に示したユーザ画面531に対して警告表示を表したオブジェクト画像を重畳した画面551を表示部110に表示させる。
図14(B)を参照して、アクセス制御部105は、表示器1の状態をログイン状態からログアウト状態に切り換える。これに伴い、表示制御部109は、アプリケーションの処理の実行が制限される場合、前記アクセスが許可されている状態で表示されている画面の代わりに当該アクセスが許可されていない状態の画面をディスプレイ81に表示させる。具体的には、表示制御部109は、ログアウト状態の画面を表示部110に表示させる。この場合には、表示器1は、ログアウト状態での撮像および顔認証処理を実行する。
なお、上記においては、制限部113によって処理が制限された場合、ユーザ画面を他の画面に遷移させる構成を例に挙げて説明したが、これに限定されるものではない。たとえば、表示器1は、画面を遷移させずに、処理のみを制限してもよい。このような態様とするための設定は、アドミニストレータによって指定される。
また、ログイン状態における顔認証による認証結果がログアウト状態における顔認証により認証されたユーザを表すものではなくなった場合には、以下のような処理を実行する構成としてもよい。すなわち、ログイン状態において認証されたユーザの操作権限に応じたユーザ画面を表示するように、表示器1を構成してもよい。たとえば、アドミニストレータ用のユーザ画面531(図10(A))の状態において、オペレータが顔認証により認証された場合、オペレータ用のユーザ画面533(図10(C))を表示するように、表示器1を構成してもよい。また、異なるアドミニストレータが顔認証により認証された場合には、アドミニストレータの操作権限を制限せずに、ユーザ画面531の状態を維持してもよい。
<E.制御構造>
図15は、表示器1における処理の流れを説明するためのフローチャートである。具体的には、図15は、アプリケーションへのアクセスが許可されていない状態(ログアウト状態)から、許可された状態(ログイン状態)を経て、許可されていない状態(ログアウト状態)へと遷移する局面を表した図である。
図15を参照して、ステップS2において、表示器1は、起動した後に、撮像を開始する。ステップS4において、表示器1は、撮像により得られた被写体の画像データに基づいて、顔を検出したか否かを判断する。表示器1は、検出したと判断した場合(ステップS4においてYES)、ステップS6において顔認証を行なう。表示器1は、検出していないと判断した場合(ステップS4においてNO)、処理をステップS4に進める。
ステップS8において、表示器1は、顔認証によりユーザを認証できたか否かを判断する。表示器1は、ユーザを認証できたと判断した場合(ステップS8においてYES)、ステップS10において、表示器1の状態をログアウト状態からログイン状態に切り換える。つまり、表示器1は、アプリケーションに対するアクセスを許可する。表示器1は、ユーザを認証できなかったと判断した場合(ステップS8においてNO)、ステップS36において、画像データを未登録者DB353に記憶する。
ステップS12において、表示器1は、認証されたユーザに応じたユーザ画面を表示する。ステップS14において、表示器1は、ログインしたことを示す履歴を履歴DB354に時刻および認証により認証されたユーザの氏名に関連付けて記録する。つまり、表示器1は、アプリケーションへのアクセスが許可されたことを示す履歴を、時刻および認証により認証されたユーザの氏名に関連付けて記録する。ステップS16において、表示器1は、ユーザ画面において操作を受け付けたか否かを判断する。典型的には、表示器1は、オブジェクト画像が選択されたか否かを判断する。
表示器1は、操作を受け付けたと判断した場合(ステップS16においてYES)、ステップS18において、当該操作の履歴を操作がなされた時刻および認証により認証されたユーザの氏名と対応付けて履歴DB354に記憶する。表示器1は、操作を受け付けていないと判断した場合(ステップS16においてNO)、処理をステップS20に進める。
ステップS20において、表示器1は、撮像により得られた被写体の画像データに基づいて、顔を検出したか否かを判断する。表示器1は、検出したと判断した場合(ステップS20においてYES)、ステップS22において顔認証を行なう。表示器1は、検出していないと判断した場合(ステップS20においてNO)、処理をステップS20に進める。
ステップS24において、表示器1は、顔認証によりユーザを認証できたか否かを判断する。表示器1は、ユーザを認証できたと判断した場合(ステップS24においてYES)、ステップS26において、認証されたユーザが、ログインする前のログアウト状態において認証したユーザと同一人物であるか否かを判断する。表示器1は、ユーザを認証できなかったと判断した場合(ステップS24においてNO)、ステップS38において、画像データを未登録者DB353に記憶する。表示器1は、ステップS40において、一例として、警告表示を行なう(図14(A))。
表示器1は、同一人物であると判断された場合(ステップS26においてYES)、ステップS28において、表示器1は、ユーザ画面において操作を受け付けたか否かを判断する。表示器1は、同一人物でないと判断された場合(ステップS26においてNO)、処理をステップS40に進める。
表示器1は、操作を受け付けたと判断した場合(ステップS28においてYES)、ステップS30において、当該操作の履歴を操作がなされた時刻および認証により認証されたユーザの氏名と対応付けて履歴DB354に記憶する。表示器1は、操作を受け付けていないと判断した場合(ステップS28においてNO)、処理をステップS32に進める。
ステップS32において、表示器1は、ログアウトの操作を受け付けたか否かを判断する。表示器1は、ログアウトの操作を受け付けていないと判断した場合(ステップS32においてNO)、処理をステップS20に進める。表示器1は、ログアウトの操作を受け付けたと判断した場合(ステップS32においてYES)、ステップS34において、当該操作の履歴を操作がなされた時刻および認証により認証されたユーザの氏名と対応付けて履歴DB354に記憶する。これにより、表示器1は、再び、ログアウトの状態に戻り、一連の処理を終了する。
<F.変形例>
(f1.編集処理の変形例)
上記においては、表示器1が顔認証により認証されたユーザに応じた画面を表示する構成を説明した。具体的には、表示器1が認証されたユーザの操作権限(アドミニストレータの操作権限、メンテナンス者の操作権限、オペレータの操作権限)に基づいた画面を表示する構成を説明した。以下では、このような操作権限と、認証されたユーザに関する各種の情報とに基づき画面を表示する構成について説明する。
図16は、図8に示したデータD1の代わりに登録画像DB351に格納されているデータを説明するための図である。図16を参照して、データD9では、氏名と、役割と、データの更新日と、顔画像データおよび特徴データと、表示態様を規定するデータ(年齢データ、性別データ、国籍データ、利き手データ)とが互いに対応付けて記録されている。データD9は、表示態様を規定するデータを有する点において、図8に示したデータD1とは異なる。
表示器1は、操作権限と、表示態様を規定するデータとに基づいた画面を行なう。たとえば、顔認証によって、ユーザが「Yamashita Takeshi」であると認証された場合、アドミニストレータの画面を表示する際に、当該画面に含まれる言語を日本語とする。また、表示器1は、文字のサイズ、画面の輝度、および画面のコントラスト等を、年齢に応じた値に調整する。さらに、表示器1は、左利き用のオブジェクト画像(メニュー、操作ボタン)の配置および右利きの人用のオブジェクト画像の配置のうち、右利き用の配置で画面表示を行なう。
また、顔認証によって、ユーザが「Oliver Williams」であると認証された場合、メンテナンス者の画面を表示する際に、当該画面に含まれる言語を英語とする。また、表示器1は、文字のサイズ、画面の輝度、および画面のコントラスト等を、年齢に応じた値に調整する。さらに、表示器1は、右利き用の配置で画面表示を行なう。また、表示器1は、メンテナンス者用の複数の画面のうち、女性用に予め用意されたメンテナンス者の画面を表示する。
以上のように、表示器1では、複数の特徴データの各々には、画面の表示態様を規定する情報が対応付けられている。表示器1の表示制御部109は、認証されたユーザの特徴データに対応付けられた情報により規定される表示態様で、認証されたユーザに応じた画面を表示部110に表示させる。したがって、表示器1は、顔認証により認証されたユーザにカスタマイズされた画面を表示することができる。
また、上記のように、上記表示態様は言語および文字サイズの少なくともいずれかを含んでいる。したがって、表示器1は、認証されたユーザに適切であると考えられる言語表示および文字サイズにしたがった画面表示を行なうことができる。
さらに、画面の表示態様を規定する情報は、年齢、性別、および国籍の少なくとも1つを含んでいる。表示器1は、これらの情報を利用することにより、顔認証により認証されたユーザに適した画面を表示することができる。
(f2.視線に関する処理)
図17は、ユーザの視線方向を検知する構成を説明するための図である。図17を参照して、表示器1は、ログイン状態において、予め定められたイベントが発生したことにもとづき、当該イベントに対応した予め定められたオブジェクト891を表示する。
表示器1の視線特定部114(図6参照)は、アプリケーションへのアクセスが許可されている場合(ログインの状態)における撮像により得られたユーザの画像データに顔の画像データが含まれている場合、当該顔の視線の方向を特定する。この場合、管理部106は、上記予め定められたイベントが発生したときの視線の方向を、当該イベントと関連付けて記憶部115の視線DB352に記憶させる。なお、視線の方向の特定は、撮像された画像データにおける顔の大きさ(目の大きさ)と、当該顔における虹彩(あるいは瞳孔)の位置とを考慮することにより特定できる。
したがって、ログインしたアドミニストレータ等が、視線DB352のデータを確認することにより、予め定められたイベントが発生したときにオペレータ等のイベント発生時に現場で作業していた物が表示器1の画面を見ていたか否かを判断することが可能となる。
(f3.複数人の顔認証処理)
上記においては、一度の撮像により一人の人物が写っている場合を例に挙げて説明した。以下では、一度の撮像により複数の人物が写っている場合における処理について説明する。
図18は、カメラ17を用いた撮像により得られた被写体の画像データに複数のユーザが含まれている状態を表した図である。図18を参照して、画像の一番手前に、人物910が写っている。また、人物910の後ろに、人物920、人物930がこの順に写っている。このため、顔の領域のサイズは、人物910、人物920、人物930の順に小さくなる。
サイズ判定部102は、一度の撮像により複数の人物が写った画像データが撮像部101から送られてきた場合、各人物の顔の領域が予め定められたサイズよりも大きいか否かを判定する。図18の場合には、サイズ判定部102は、人物910、人物920、人物930の顔の領域が予め定められたサイズよりも大きいか否かを判定する。
顔認証部104は、一度の撮像により複数の人物が写った画像データと上記判定結果とをサイズ判定部102から受信した場合、当該複数の人物について顔認証を行なう。この場合、顔認証部104は、少なくとも、認証されたユーザのうち、サイズのもっとも大きかったユーザの識別情報をアクセス制御部105に送る。たとえば、図18の場合、顔認証部104は、人物910の識別情報(典型的には、氏名)をアクセス制御部105に送る。
管理部106は、撮像により得られた画像データに複数のユーザが含まれている場合には、当該複数のユーザのうち、顔の領域が予め定められたサイズ(下限値)よりも大きいと判定されたユーザの識別情報とアプリケーションへのアクセスを許可したこと(つまりログインしたこと)を表す履歴とを互いに対応付けて、記憶部115の履歴DB354に記憶させる。たとえば、図18の場合、管理部106は、人物910の識別情報とログインしたことを表す履歴とを対応付けて、履歴DB354に記憶させる。
また、管理部106は、上記複数のユーザのうち、顔の領域が予め定められたサイズよりも大きいと判定されたユーザ以外のユーザの識別情報を、記憶部115に記憶させる。たとえば、図18の場合、管理部106は、人物920のユーザ情報と人物930のユーザ情報とを記憶部115に記憶させる。
したがって、表示器1の状態がログアウト状態からログイン状態に切り換わったときにログインした人物(図18の場合、人物910)の周りにどのような人物がいたのかを、表示器1のユーザ(たとえばアドミニストレータ)は、識別情報により特定できる。図18の例では、アドミニストレータは、人物920の氏名と、人物930の氏名とを特定できる。
さらに、管理部106は、顔の領域が予め定められたサイズよりも大きいと判定されたユーザ以外のユーザのうち、ユーザが認証されなかった人の画像データを、記憶部115にさらに記憶させる。たとえば、図18の場合、管理部106は、顔認証部104によって人物930が未登録者であると判断された場合、人物930の画像データを記憶部115に記憶させる。
したがって、表示器1の状態がログアウト状態からログイン状態に切り換わったときにログインした人物(図18の場合、人物910)の周りにいた未登録の人物の顔を、表示器1のユーザ(たとえばアドミニストレータ)は確認することができる。
(f4.IDおよびパスワードの利用)
次に、IDおよびパスワードを利用する構成について説明する。オペレータよりも操作権限の広いアドミニストレータおよびメンテナンス者の場合には、ログインするために、顔認証によってユーザが認証されたことに加えて、IDおよびパスワードが一致したことを条件に、アプリケーションへのアクセスを許可する(表示器1の状態をログアウト状態からログイン状態に切り換える)ように、表示器1を構成してもよい。当該処理を詳しく説明すると以下のとおりである。
受付部108は、顔認証により認証されたユーザがアドミニストレータまたはメンテナンス者の操作権限を有する者である場合に、文字列であるIDおよびパスワードの入力を受け付ける。また、文字列判定部111は、受付部108が受け付けたIDおよびパスワードとIDおよびパスワードDB355に予め登録されていたIDおよびパスワード(予め定められた文字列)とが一致するかを判定する。さらに、アクセス制御部105は、文字列判定部111によって一致すると判定されたことを条件に、表示器1の状態をログアウト状態からログイン状態に切り換える。
このような構成によって、操作権限の広さに関わらず顔認証によってのみログインを許可する構成に比べて、セキュリティを向上させることが可能となる。なお、上記においては、アドミニストレータとメンテナンス者とにIDおよびパスワードの入力を要求する構成を例に挙げているが、アドミニストレータのみにIDおよびパスワードの入力を要求する構成としてもよい。また、IDおよびパスワードのうち、いずれかの入力のみを要求するように、表示器1を構成してもよい。
(f4.カメラを内蔵しない構成)
上記においては、表示器がカメラを内蔵している構成を例に挙げて説明したが、これに限定されるものではない。表示器が外付けのカメラとの間で通信を行なう構成であってもよい。つまり、表示器1が、外付けのカメラから画像データを取得する構成であってもよい。
(f5.操作権限について)
上記においては、アドミニストレータと、メンテナンス者と、オペレータとの3つの異なる操作権限を有する者を例に挙げて説明したが、これに限定されるものではない。操作権限の種類(区分)の数は、2つであってもよいし、4つ以上であってもよい。
(f6.プログラマブル表示器以外への適用)
上記においては、プログラマブル表示器(表示器1)を例に挙げて説明した。しかしながら、上述した各種の処理は、プログラマブル表示器だけではなく、当該プログラマブル表示器を含むモニタ(表示装置)にも適用できる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 表示器、11 CPU、12 ROM、13 RAM、14 フラッシュROM、15 時計、16 操作キー、17 カメラ、18 タッチスクリーン、19 通信インターフェイス、81 ディスプレイ、82 タッチパネル、101 撮像部、102 サイズ判定部、103 生成部、104 顔認証部、105 アクセス制御部、106 管理部、107 入力部、108 受付部、109 表示制御部、110 表示部、111 文字列判定部、112 通信処理部、113 制限部、114 視線特定部、115 記憶部、511 一般設定画面、512 顔認証設定画面、513 詳細設定画面、531,531,532,533,532,533 ユーザ画面、801,802,803,804,834,891 オブジェクト、831 ステータス、832 メンテナンスメニュー、833 アドミニメニュー、910,920,930 人物、351 登録画像DB、352 視線DB、353 未登録者DB、354 履歴DB、355 IDおよびパスワードDB、356 画面データDB。

Claims (15)

  1. アプリケーションへのアクセスを制御するプログラマブル表示器であって、
    ディスプレイと、
    前記ディスプレイに画面を表示させる表示制御手段と、
    複数のユーザの顔の特徴データと、複数の画面を表示するための画面データとを記憶した記憶手段と、
    撮像により得られたユーザの画像データと、前記特徴データとに基づき、顔認証を行なう認証手段と、
    ユーザが認証された場合、前記ユーザに前記アプリケーションへのアクセスを許可するアクセス制御手段とを備え、
    前記アクセス制御手段は、前記アクセスを許可する際、前記表示制御手段を制御して、前記複数の画面のうちの前記認証されたユーザに応じた第1の画面を前記ディスプレイに表示させ、
    前記認証手段は、前記第1の画面を前記ディスプレイに表示しているときにも、前記顔認証を実行し、
    前記アクセス制御手段は、前記第1の画面を表示中に前記ユーザとは異なる他のユーザが認証されると、前記表示制御手段を制御して、前記第1の画面を表示中の認証結果に基づいた第2の画面を前記ディスプレイに表示させる、プログラマブル表示器。
  2. 前記第2の画面は、前記第1の画面に対して警告表示を表した画像を重畳した画面である、請求項1に記載のプログラマブル表示器。
  3. 前記第2の画面は、前記複数の画面のうち、前記他のユーザに応じた画面である、請求項1に記載のプログラマブル表示器。
  4. 前記記憶手段には、複数の前記特徴データが記憶されており、
    前記特徴データの各々に対して操作権限を表す識別情報が対応づけて記憶されており、
    前記表示制御手段は、前記識別情報に応じて異なる前記画面を前記ディスプレイに表示させる、請求項1から3のいずれか1項に記載のプログラマブル表示器。
  5. 前記複数の特徴データの各々には、前記画面の表示態様を規定する情報が対応付けられており、
    前記表示制御手段は、前記特定された個人の前記特徴データに対応付けられた情報により規定される表示態様で、前記特定された個人に応じた画面をディスプレイに表示させる、請求項に記載のプログラマブル表示器。
  6. 前記表示態様は、言語または文字サイズの少なくともいずれかを含む、請求項に記載のプログラマブル表示器。
  7. 前記画面の表示態様を規定する情報は、年齢、性別、または国籍の少なくとも1つを含む、請求項に記載のプログラマブル表示器。
  8. プログラマブル表示器におけるディスプレイに表示される画面の表示制御方法であって、
    撮像により得られたユーザの画像データを受け取るステップと、
    前記画像データと、個人の顔の特徴を表した特徴データとに基づき、ユーザの顔認証を行なうステップと、
    前記顔認証によってユーザが認証された場合、前記プログラマブル表示器上で動作するアプリケーションへのアクセスを許可するステップと、
    複数の画面のうちの前記認証されたユーザに応じた第1の画面をディスプレイに表示するステップと、
    前記第1の画面を前記ディスプレイに表示しているときにも、前記顔認証を実行するステップと、
    前記第1の画面を表示中に前記ユーザとは異なる他のユーザが認証されると、前記第1の画面を表示中の認証結果基づいた第2の画面を前記ディスプレイに表示させるステップとを備える、表示制御方法。
  9. 前記第2の画面は、前記第1の画面に対して警告表示を表した画像を重畳した画面である、請求項8に記載の表示制御方法。
  10. 前記第2の画面は、前記複数の画面のうち、前記他のユーザに応じた画面である、請求項8に記載の表示制御方法。
  11. 複数の前記特徴データを記憶するステップと、
    前記特徴データのそれぞれに対して操作権限を表す識別情報を対応づけて記憶するステップと、
    前記識別情報に応じて異なる前記画面を前記ディスプレイに表示させるステップとをさらに備える、請求項8から10のいずれか1項に記載の表示制御方法。
  12. 前記複数の特徴データの各々には、前記画面の表示態様を規定する情報が対応付けられており、
    前記特定された個人の前記特徴データに対応付けられた情報により規定される表示態様
    で、前記特定された個人に応じた画面を前記ディスプレイに表示させるステップをさらに備える、請求項11に記載の表示制御方法。
  13. 前記表示態様は、言語または文字サイズの少なくともいずれかを含む、請求項12に記載の表示制御方法。
  14. 前記画面の表示態様を規定する情報は、年齢、性別、または国籍の少なくとも1つを含む、請求項12に記載の表示制御方法。
  15. プログラマブル表示器におけるディスプレイに表示される画面の表示を制御するプログラムであって、
    撮像により得られたユーザの画像データを受け取るステップと、
    前記画像データと、個人の顔の特徴を表した特徴データとに基づき、ユーザの顔認証を行なうステップと、
    前記顔認証によってユーザが認証された場合、前記プログラマブル表示器上で動作するアプリケーションへのアクセスを許可するステップと、
    複数の画面のうちの前記認証されたユーザに応じた第1の画面をディスプレイに表示するステップと、
    前記第1の画面を前記ディスプレイに表示しているときにも、前記顔認証を実行するステップと、
    前記第1の画面を表示中に前記ユーザとは異なる他のユーザが認証されると、前記第1の画面を表示中の認証結果に基づいた第2の画面を前記ディスプレイに表示させるステップとを、前記プログラマブル表示器のプロセッサに実行させる、プログラム。
JP2013156681A 2013-07-29 2013-07-29 プログラマブル表示器、表示制御方法、およびプログラム Active JP6307807B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013156681A JP6307807B2 (ja) 2013-07-29 2013-07-29 プログラマブル表示器、表示制御方法、およびプログラム
US14/338,376 US9553874B2 (en) 2013-07-29 2014-07-23 Programmable display apparatus, control method, and program with facial authentication
EP14178674.9A EP2833291A1 (en) 2013-07-29 2014-07-28 Programmable display apparatus, control method, and program
CN201410362530.0A CN104346553A (zh) 2013-07-29 2014-07-28 可编程显示器、显示控制方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013156681A JP6307807B2 (ja) 2013-07-29 2013-07-29 プログラマブル表示器、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015026316A JP2015026316A (ja) 2015-02-05
JP6307807B2 true JP6307807B2 (ja) 2018-04-11

Family

ID=51224837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013156681A Active JP6307807B2 (ja) 2013-07-29 2013-07-29 プログラマブル表示器、表示制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US9553874B2 (ja)
EP (1) EP2833291A1 (ja)
JP (1) JP6307807B2 (ja)
CN (1) CN104346553A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201617786A (zh) * 2014-11-06 2016-05-16 富智康(香港)有限公司 自動控制電子裝置使用時間的系統及方法
KR102343990B1 (ko) * 2015-06-15 2021-12-28 삼성전자주식회사 디스플레이의 서로 다른 영역을 독립적으로 제어하는 전자 장치 및 방법
KR102104532B1 (ko) * 2015-10-29 2020-04-27 미쓰비시덴키 가부시키가이샤 프로그래머블 표시기, 정보 처리 장치, 화면 데이터 작성 지원 프로그램, 및 화면 표시 시스템
JP6660160B2 (ja) * 2015-11-30 2020-03-11 株式会社東芝 情報処理装置及び制御方法
JP2017102758A (ja) * 2015-12-02 2017-06-08 Nttテクノクロス株式会社 認証装置、認証方法及びプログラム
US20190057249A1 (en) * 2016-02-26 2019-02-21 Nec Corporation Face recognition system, face matching apparatus, face recognition method, and storage medium
JP6805526B2 (ja) * 2016-03-31 2020-12-23 ブラザー工業株式会社 処理実行装置、および制御プログラム
JP6551748B2 (ja) * 2016-10-21 2019-07-31 京セラドキュメントソリューションズ株式会社 電子機器
JP7257765B2 (ja) * 2018-09-27 2023-04-14 キヤノン株式会社 情報処理装置、認証システムおよびそれらの制御方法、プログラム
CN113678072B (zh) * 2019-04-15 2022-09-23 三菱电机株式会社 操作管理系统及可编程显示器
JP7446164B2 (ja) 2020-06-09 2024-03-08 三菱電機ビルソリューションズ株式会社 ビル運営管理システム
JP7283462B2 (ja) * 2020-12-07 2023-05-30 横河電機株式会社 装置、方法およびプログラム
WO2023062832A1 (ja) * 2021-10-15 2023-04-20 日本電気株式会社 認証装置、認証システム、認証方法、及びコンピュータ可読媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111517A (en) * 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
US6928547B2 (en) * 1998-07-06 2005-08-09 Saflink Corporation System and method for authenticating users in a computer network
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
JP4434560B2 (ja) 2002-08-20 2010-03-17 株式会社東芝 入退場管理システム
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
WO2007043328A1 (ja) * 2005-10-12 2007-04-19 Konica Minolta Holdings, Inc. データ検出装置及びデータ検出方法
JP2007122400A (ja) * 2005-10-27 2007-05-17 Digital Electronics Corp 認証装置、プログラムおよび記録媒体
JP4778394B2 (ja) 2006-10-27 2011-09-21 株式会社デジタル 操作表示装置、操作表示プログラムおよびそれを記録した記録媒体
JP2008152581A (ja) * 2006-12-18 2008-07-03 Digital Electronics Corp 顔認識システムのユーザインターフェース作成装置、ユーザインターフェース作成プログラムおよびそれを記録した記録媒体
JP2008165353A (ja) 2006-12-27 2008-07-17 Mitsubishi Electric Corp 監視システム
JP2008268327A (ja) * 2007-04-17 2008-11-06 Sharp Corp 情報表示装置
JP4617347B2 (ja) * 2007-12-11 2011-01-26 シャープ株式会社 制御装置、画像形成装置、画像形成装置の制御方法、プログラムおよび記録媒体
US20090178126A1 (en) 2008-01-03 2009-07-09 Sterling Du Systems and methods for providing user-friendly computer services
US8154615B2 (en) 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
JP2011059194A (ja) 2009-09-07 2011-03-24 Sharp Corp 制御装置、画像形成装置、画像形成装置の制御方法、プログラムおよび記録媒体
CN102033727A (zh) 2009-09-29 2011-04-27 鸿富锦精密工业(深圳)有限公司 电子设备界面控制系统及方法
KR101681321B1 (ko) * 2009-11-17 2016-11-30 엘지전자 주식회사 사용자 인증 방법 및 그를 이용한 화상 통신 장치 및 디스플레이 장치
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置

Also Published As

Publication number Publication date
CN104346553A (zh) 2015-02-11
US20150033309A1 (en) 2015-01-29
US9553874B2 (en) 2017-01-24
EP2833291A1 (en) 2015-02-04
JP2015026316A (ja) 2015-02-05

Similar Documents

Publication Publication Date Title
JP6295534B2 (ja) プログラマブル表示器、制御方法、およびプログラム
JP6307807B2 (ja) プログラマブル表示器、表示制御方法、およびプログラム
JP6481249B2 (ja) プログラマブル表示器、制御方法、およびプログラム
US11682255B2 (en) Face authentication apparatus
EP2996015A1 (en) Method to use augmented reality to function as hmi display
JP2019522278A (ja) 身分認証方法および装置
US10204263B2 (en) Monitoring system, monitoring method, and program
CN114077726A (zh) 用于对用户进行认证的系统、方法和机器可读介质
EP2096571A1 (en) Personal identification system and method thereof
JP5308985B2 (ja) 監視制御システム
JP4943127B2 (ja) 個人認証装置および個人認証システム
CN107209562B (zh) 信息处理系统、信息处理装置、控制方法和存储媒体
CN110943958B (zh) 一种状态监管方法、装置、服务器及存储介质
US10230871B2 (en) Information processing apparatus, conference support method, and recording medium
JP7103040B2 (ja) 表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニット
KR102244270B1 (ko) 홍채 인식률 및 인증속도를 높인 hmi 장치
KR102364371B1 (ko) 안면과 신체형태 인식을 통한 화면보호 동작 방지방법
KR20180107548A (ko) 모바일 기기를 통한 hmi 프로그램 제어 방법
KR102214793B1 (ko) 홍채 인식을 이용하여 보안성을 높인 hmi 장치
JP7552144B2 (ja) 認証システム、認証の方法およびそのプログラム
Anamika et al. Internet of Things-Based Smart Security Provisioning Using Voice-Controlled Door Locking System
KR20230169517A (ko) 재택근무 대상자 근무 관리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180226

R150 Certificate of patent or registration of utility model

Ref document number: 6307807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150