JP6289308B2 - Information processing apparatus and program - Google Patents
Information processing apparatus and program Download PDFInfo
- Publication number
- JP6289308B2 JP6289308B2 JP2014169913A JP2014169913A JP6289308B2 JP 6289308 B2 JP6289308 B2 JP 6289308B2 JP 2014169913 A JP2014169913 A JP 2014169913A JP 2014169913 A JP2014169913 A JP 2014169913A JP 6289308 B2 JP6289308 B2 JP 6289308B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- imaging
- registered
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 22
- 230000007717 exclusion Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 description 25
- 238000000605 extraction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
本発明の実施形態は、情報処理装置およびプログラムに関する。 Embodiments described herein relate generally to an information processing apparatus and a program.
従来、カメラで撮像された画像に含まれる人物の顔を認証する人物認証システムが提案されている。人物認証システムは、連続した一連の撮像データ内において、検出した同一人物の顔画像が複数のフレームにわたって連続して映っている場合に、同一人物であると判断する。 2. Description of the Related Art Conventionally, a person authentication system that authenticates a person's face included in an image captured by a camera has been proposed. The person authentication system determines that the same person is the same person when the detected face images of the same person are continuously reflected over a plurality of frames in a series of continuous imaging data.
しかしながら、従来の人物認証システムは、連続した一連の撮像データから、検出した人物の顔画像がフレームアウトしてしまうと、既に検出した人物を別人であると判断して新たな識別情報を割り当ててしまう。そのため、従来の人物認証システムは、フレームアウトした人物が、再度フレームインしたとしても同一人物であると判断することができなかった。よって、従来の人物認証システムは、特定人物を継続して追跡することができなかった。また、同様の理由により、従来の人物認証システムは、複数のカメラによる人物追跡もできなかった。 However, in the conventional person authentication system, when a face image of a detected person is out of frame from a series of continuous imaging data, the already detected person is determined to be another person and new identification information is assigned. End up. For this reason, the conventional person authentication system cannot determine that the person who is out of the frame is the same person even if the person enters the frame again. Thus, the conventional person authentication system cannot continuously track a specific person. For the same reason, the conventional person authentication system cannot track a person using a plurality of cameras.
本発明が解決しようとする課題は、フレームアウトした後、再度フレームインした人物を同一人物であると判断をすることができる情報処理装置およびプログラムを提供することである。 The problem to be solved by the present invention is to provide an information processing apparatus and program capable of determining that a person who has been framed in again after being out of frame is the same person.
実施形態の情報処理装置は、入力手段と、検出手段と、認証手段と、登録手段と、除外手段とを備える。前記入力手段は、撮像部が撮像した撮像データの入力を受け付ける。前記検出手段は、前記入力手段が入力を受け付けた撮像データから人物を検出する。前記認証手段は、前記検出手段が検出した人物が、前記撮像部が過去に撮像した撮像データに含まれていた人物が登録された辞書に登録された人物であるか否かを認証する。前記登録手段は、前記認証手段が事前に登録された人物であると認証した場合に、前記辞書の当該人物に前記撮像部が撮像した撮像データを追加登録する。前記除外手段は、前記入力手段が受け付けた前記撮像データが、退出する人物を撮像する撮像部が撮像した画像データであることを条件に、当該画像データに含まれている人物を前記認証手段の対象から除外する。 The information processing apparatus according to the embodiment includes an input unit, a detection unit, an authentication unit, a registration unit, and an exclusion unit . The input unit receives input of imaging data captured by the imaging unit. The detection means detects a person from the imaging data received by the input means. The authentication unit authenticates whether the person detected by the detection unit is a person registered in a dictionary in which a person included in imaging data captured by the imaging unit in the past is registered. When the authentication unit authenticates that the person is registered in advance, the registration unit additionally registers imaging data captured by the imaging unit to the person in the dictionary. The excluding unit is configured to identify a person included in the image data on the authentication unit on the condition that the imaging data received by the input unit is image data captured by an imaging unit that captures a person who leaves. Exclude from the target.
以下、添付図面を参照して実施形態の情報処理装置及びプログラムを詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。 Hereinafter, an information processing apparatus and a program according to embodiments will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by this embodiment.
図1は、人物認証システム1の構成を概略的に示した説明図である。図1に示すように人物認証システム1は、サーバ装置10と、用途の異なる2種類のカメラ20a、20bとを備える。カメラ20aは、後述する人物認証辞書D(図3参照)に登録された人物であるか否かを顔認証し、人物認証辞書D(図3参照)に登録するための動画像を撮像する用途で使用される。一方、カメラ20bは、人物認証辞書D(図3参照)に登録された人物を人物認証の対象外とするための動画像を撮像する用途で使用される。そして、人物認証システム1は、それぞれ一台以上のカメラ20a、20bを備え、所定領域を撮像する。ここで、サーバ装置10と、カメラ20a、20bとは、LAN(Local Area Network)30で接続される。LAN30は、有線であってもよいし、無線であってもよい。また、LAN30は、各種公衆網であってもよい。
FIG. 1 is an explanatory diagram schematically showing the configuration of the
サーバ装置10は、カメラ20a、20bが撮像した動画像から人物を認証し、動画像から人物認証情報を抽出する情報処理装置である。そして、サーバ装置10は、抽出した人物認証情報を人物ごとに記憶する。その際、サーバ装置10は、その人物の人物認証情報を記憶しているか否かを判定する。その人物の人物認証情報を記憶している場合には、サーバ装置10は、その人物の人物識別情報に対応付けて人物認証情報を記憶する。一方、その人物の人物認証情報を記憶していない場合には、サーバ装置10は、その人物の人物認証情報を新規に記憶する。なお、サーバ装置10は、クラスタ化された複数の情報処理装置であってもよい。
The
次に、人物認証システム1をスーパーマーケットなどの店舗Mに設置した場合を例に説明する。ここで、図2は、人物認証システム1を店舗Mに設置した場合の一例を示す説明図である。
Next, a case where the
図2に示す店舗Mは、大別すると、バックヤードM1と、売り場M2と、出入り口M3とを有する。バックヤードM1は、商品倉庫や、商品のパッケージングや、商品の発注などの店舗運営に関する業務を行う場所である。また、バックヤードM1には、サーバ装置10が設置される。
The store M shown in FIG. 2 roughly includes a backyard M1, a sales floor M2, and an entrance M3. The backyard M1 is a place where operations relating to store operations such as a product warehouse, product packaging, and product ordering are performed. The
売り場M2は、商品を販売する場所である。また、売り場M2には、店舗Mを回遊する人物を撮像するカメラ20aと、人物が購入対象とする商品の売上登録をするPOS(Point Of Sale)端末40と、商品を陳列する棚50とが設けられる。人物は、店舗Mに来店すると売り場M2を回遊し、購入対象の商品を選択する。その際に、カメラ20aは、人物を撮像する。そして、サーバ装置10は、カメラ20aが撮像した動画像に含まれる人物を認証し、その人物ごとに撮像したカメラ20aの識別情報と、撮像時刻とを記録する。これにより、人物ごとに行動を追跡することができる。図2に示す店舗Mには、5台のカメラ20aと、3台のPOS端末40と、4組の棚50とが記載されているが、各個数は、これに限らず、任意の個数を設定してよい。
The sales floor M2 is a place where products are sold. In addition, the sales floor M2 includes a
出入り口M3は、売り場M2に出入りする人物の出入り口である。また、出入り口M3は、売り場M2から退出する人物の顔を撮像する方向に向けられたカメラ20bを有する。サーバ装置10は、カメラ20aが人物の顔を撮像すると、既に人物認証情報があるか否かを判定する。その際、来店したことのある全ての人物認証情報と比較するとサーバ装置10の処理負担が大きくなる。そこで、売り場M2から退出する人物を除外することで、処理負担の増大を抑えることができる。なお、出入り口M3は、売り場M2に入場する人物の顔を撮像する方向に向けてカメラ20aを設置してもよい。これにより、来店した全ての人物の顔を認証することができる。
The entrance / exit M3 is an entrance / exit of a person entering / exiting the sales floor M2. Further, the entrance / exit M3 includes a
次に、実施形態の人物認証システム1が有する各部について説明する。
Next, each part which the
まず、サーバ装置10のハードウェア構成を説明する。図3は、サーバ装置10のハードウェア構成を示すブロック図である。サーバ装置10は、人物認証システム1を制御する情報処理装置である。図3に示すように、サーバ装置10は、CPU(Central Processing Unit)11と、メモリ12と、記憶部13と、ネットワークインターフェース14と、表示部15と、入力部16と、時計部17とを備える。
First, the hardware configuration of the
CPU11は、サーバ装置10の全体を制御する。メモリ12は、データを一時的に記憶する。記憶部13は、CPU11からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。また、記憶部13は、人物認証プログラムP1と、人物認証辞書Dとを記憶する。
The
人物認証プログラムP1は、カメラ20a、20bが撮像した動画像から人物を認証し、認証した人物の人物認証情報を人物認証辞書Dに記憶させるプログラムである。
The person authentication program P1 is a program for authenticating a person from moving images captured by the
人物認証辞書Dは、カメラ20aが過去に撮像した動画像から認証した人物ごとに人物認証情報を記憶する。ここで、図4は、人物認証辞書Dのデータ構成の一例を示す説明図である。人物認証辞書Dは、人物識別情報に対応付けられた1以上の人物認証情報を有する。人物識別情報は、人物ごとに割り振られた、人物を識別可能な識別情報である。人物認証情報は、動画像から抽出した人物の認証に関する情報である。なお、人物認証情報は、人物の顔の正面が向けられた動画像を代表するフレーム画像から抽出した人物の認証に関する情報であってもよい。
The person authentication dictionary D stores person authentication information for each person authenticated from a moving image captured by the
そして、人物認証情報は、動画像と、特徴量と、カメラ識別情報と、撮像時刻とを有する。動画像は、その人物を認証した動画像である。動画像は、人物の顔の正面が向けられた動画像を代表するフレーム画像であってもよい。特徴量は、人物を認証したフレーム画像から抽出した、その人物の特徴量である。ここで、人物の特徴量とは、人物の顔から抽出された特徴量や、人物の服飾から抽出された特徴量などである。服飾の特徴量とは、例えば、人物が着ている服の色などである。カメラ識別情報は、動画像を撮像したカメラ20aを識別する識別情報である。撮像時刻は、カメラ20aが動画像を撮像した時刻である。
The person authentication information includes a moving image, a feature amount, camera identification information, and an imaging time. The moving image is a moving image obtained by authenticating the person. The moving image may be a frame image representing a moving image in which the front of a person's face is directed. The feature amount is a feature amount of the person extracted from the frame image in which the person is authenticated. Here, the feature amount of a person is a feature amount extracted from a person's face, a feature amount extracted from a person's clothing, or the like. The feature amount of clothes is, for example, the color of clothes worn by a person. The camera identification information is identification information for identifying the
ネットワークインターフェース14は、LAN30に接続される。なお、LAN30は、各種公衆網であってもよい。表示部15は、各種情報を表示するディスプレイなどである。入力部16は、キーボードやマウスなどの入力装置から入力された情報を制御する。または、入力部16は、表示部15に積層されたタッチパネル入力された情報を制御する。時計部17は、時間を計時する。
The
次に、カメラ20a、20bについて説明する。図5は、カメラ20a、20bのハードウェア構成を示すブロック図である。カメラ20aと、カメラ20bとは、用途は異なるが、機能及び構成は同一である。なお、カメラ20aと、カメラ20bとは、用途が異なることから、機能及び構成が異なっていてもよい。よって、下記にて、カメラ20aを例に説明する。
Next, the
カメラ20aは、カメラ20aが設置された所定領域を撮像し、撮像した動画像などの撮像データをサーバ装置10に送信する撮像装置である。図5に示すように、カメラ20aは、CPU21と、メモリ22と、記憶部23と、ネットワークインターフェース24と、撮像部25と、時計部26とを備える。
The
CPU21は、カメラ20aの全体を制御する。メモリ22は、データを一時的に記憶する。記憶部23は、CPU21からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース24は、LAN30に接続される。時計部26は、時間を計時する。
The
撮像部25は、カメラ20aの撮像範囲内に存在する人物や物体等の被写体を撮像し、カラー画像情報を収集する。例えば、撮像部25は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。受光素子とは、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などである。そして、撮像部25は、その電気信号をデジタルデータに変換することにより、撮像範囲に対応する1フレームのカラー画像情報を生成する。この1フレーム分のカラー画像情報には、例えば、この1フレームに含まれる各画素にRGB(Red Green Blue)値が対応付けられた色情報と、この1フレームに含まれる各画素に輝度値が対応付けられた輝度情報とが含まれる。
The
撮像部25は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで動画像を生成する。なお、撮像部25によって生成されるカラー画像情報は、各画素のRGB値をビットマップに配置したカラー画像として出力されても良い。
The
次に、実施形態にかかる人物認証システム1が有する特徴的な機能について説明する。図6は、人物認証システム1の機能構成を示すブロック図である。
Next, characteristic functions of the
カメラ20a、20bのCPU21は、メモリ22や記憶部23に記憶された制御プログラムに従って動作することで、撮像制御部211と、送信部212として機能する。
The
撮像制御部211は、カメラ20a、20bの撮像部25を制御して、カメラ20a、20bが設置された所定領域の動画像を撮像する。また、撮像制御部211は、撮像部25が撮像した撮像時刻を計時する。
The
送信部212は、撮像制御部211が撮像した動画像と、撮像時刻とをサーバ装置10に順次送信する。この時、送信部212は、1フレーム画像ごとに動画像を送信してもよいし、複数フレーム画像ごとに動画像を送信してもよい。ここで、フレーム画像とは、動画像の1コマごとのカラー画像情報を示す。
The
サーバ装置10のCPU11は、メモリ12や記憶部13に記憶された制御プログラムに従って動作することで、受信部111と、顔検出部112と、特徴量抽出部113と、類似度算出部114と、類似度判定部115と、登録部116と、除外部117として機能する。
The
入力手段である受信部111は、カメラ20a、20bから送信された動画像と、撮像時刻とを順次受信する。これにより、受信部111は、動画像などの撮像データの入力を受け付ける。
The receiving unit 111 as input means sequentially receives the moving images transmitted from the
検出手段である顔検出部112は、受信部111が受信した動画像から、動画像に含まれる人物の顔を検出する。また、顔検出部112は、検出した人物ごとに、新規な人物識別情報を割り当てる。具体的には、顔検出部112は、フレーム画像の輝度情報を利用して顔の領域を示す座標を求める。なお、顔領域を求める方法は、どのような方法を用いてもよい。検出手法の一例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法などである。または、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用してもよい。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔領域の形状を異ならせても良い。
The
ところで、カメラ20a、20bなどで撮像された動画像の場合、検出された同一人物の顔が、連続した一連のフレーム画像にわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法は、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用する。この追跡処理は、同一人物として対応付けられた顔領域が顔検出部112により検出されず、追跡終了の判定が行われるまで継続される。
By the way, in the case of moving images captured by the
特徴量抽出部113と、類似度算出部114と、類似度判定部115とは、人物認証辞書Dに登録された人物であるか否かを認証する。
The feature
まず、特徴量抽出部113は、顔検出部112が検出した顔の人物の特徴量を抽出する。さらに詳しくは、特徴量抽出部113は、追跡処理により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻、口などの顔の特徴点を検出する。そして、特徴量抽出部113は、特徴点ごとに特徴量を抽出する。特徴量は、特徴点の形状、表面の色合い、凹凸状況等の外観の特徴をパラメータ化したものである。なお、設定等によって検出すべき顔の特徴点は任意に変更することができる。また、特徴量抽出部113における顔の特徴点の検出方法は、どのような方法を用いてもよく、公知の技術を用いるものとする。
First, the feature
また、特徴量抽出部113は、顔検出部112が検出した人物の服飾から特徴量を抽出する。特徴量抽出部113は、人物の衣服や、装身具などの服飾から色を特徴量として抽出する。これにより、人物認証辞書Dに登録された人物であるか否かの判定に、人物の服飾も加味される。よって、認証精度を高めることができる。
Further, the feature
類似度算出部114は、特徴量抽出部113が抽出した特徴量と、人物認証辞書Dに登録された人物ごとの特徴量とを比較し、人物ごとの類似度を算出する。ここで、類似度は、カメラ20a、20bが撮像した人物の特徴量と、人物認証辞書Dに登録された各人物の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値(類似度)であればよい。
The similarity calculation unit 114 compares the feature amount extracted by the feature
類似度判定部115は、類似度が閾値以上の人物が人物認証辞書Dに登録されているか否かを判定する。さらに詳しくは、類似度判定部115は、類似度算出部114が算出した類似度のうち、その類似度が所定の閾値以上の場合に、該当する人物の人物認証情報が人物認証辞書Dに登録されていると判定する。一方、類似度が閾値未満の場合には、類似度判定部115は、該当する人物の人物認証情報が人物認証辞書Dに登録されていないと判定する。そして、閾値以上の人物認証情報が複数ある場合には、類似度判定部115は、最も類似度の高い人物を、カメラ20a、20bが撮像した人物として判定する。
The similarity determination unit 115 determines whether or not a person whose similarity is greater than or equal to a threshold is registered in the person authentication dictionary D. More specifically, the similarity determination unit 115 registers the person authentication information of the corresponding person in the person authentication dictionary D when the similarity is equal to or greater than a predetermined threshold among the similarities calculated by the similarity calculation unit 114. It is determined that On the other hand, when the similarity is less than the threshold, the similarity determination unit 115 determines that the person authentication information of the corresponding person is not registered in the person authentication dictionary D. If there are a plurality of pieces of person authentication information equal to or greater than the threshold, the similarity determination unit 115 determines the person with the highest similarity as the person captured by the
なお、閾値以上の人物認証情報が複数ある場合には、類似度判定部115は、判定不可と判定し、後段の処理から除外してもよい。閾値以上の類似度の人物認証情報が複数ある場合には、カメラ20a、20bが撮像した動画像が不鮮明である可能性がある。信頼性の低い不鮮明な動画像を除外することにより、類似度判定部115は、信頼性を担保することができる。また、所定の閾値は、任意の値を設定することができるものとする。
When there are a plurality of pieces of person authentication information equal to or greater than the threshold, the similarity determination unit 115 may determine that determination is impossible and exclude it from subsequent processing. When there are a plurality of pieces of person authentication information having a degree of similarity equal to or greater than the threshold, the moving images captured by the
登録部116は、カメラ20aが撮像した動画像に係る人物認証情報を人物認証辞書Dに登録する。さらに詳しくは、登録部116は、類似度を判定した動画像と、特徴量抽出部113が抽出した特徴量と、動画像を送信したカメラ20aの識別情報と、カメラ20aが動画像を撮像した撮像時刻とを人物認証情報として人物認証辞書Dに登録する。
The
登録手段である登録部116が行う登録には、新規登録と、追加登録とがある。類似度判定部115が閾値以上の人物の人物認証情報が人物認証辞書Dに登録されていないと判定した場合に、登録部116は、顔検出部112が割り当てた新規な人物識別情報を用いて、人物認証情報を人物認証辞書Dに新規登録する。
The registration performed by the
一方、類似度判定部115が閾値以上の人物の人物認証情報が人物認証辞書Dに登録されていると判定した場合に、登録部116は、該当する人物の人物識別情報を有する人物認証情報に、今回の撮像に係る人物認証情報を対応付けて追加登録する。このように、登録部116は、追加登録することにより、該当する人物識別情報の人物認証情報が増加する。これにより、類似度算出部114は、複数の人物認証情報と比較することができるため、判定結果の信頼性を向上させることができる。
On the other hand, when the similarity determination unit 115 determines that person authentication information of a person with a threshold value or more is registered in the person authentication dictionary D, the
除外手段である除外部117は、人物認証辞書Dの所定の人物を、類似度算出部114の対象から除外する。これにより、除外された人物は、類似度が算出されなくなる。従って、除外部117は、処理負担を軽減することができる。除外部117は、カメラ20bが撮像した動画像に含まれる人物に該当する人物認証情報が人物認証辞書Dに登録されている場合又は、所定時間が経過した人物認証情報がある場合に、類似度の算出対象から除外する。
The
まず、カメラ20bが撮像した動画像に含まれる人物に該当する人物認証情報が人物認証辞書Dに登録されている場合について説明する。カメラ20aが売り場M2にいない人物を撮像することはない。従って、除外部117は、売り場M2から退出する人物を除外することで、サーバ装置10の処理負担を軽減することができる。ここで、図2に戻り、カメラ20bは、売り場M2から退出する人物の顔を撮像する方向に向けられている。よって、カメラ20bは、売り場M2から退出する人物を撮像することができる。そして、撮像された動画像に含まれる人物の顔を検出し、特徴量を抽出し、類似度を算出し、類似度を判定することで認証された退出した人物を、除外部117は、類似度の算出対象から除外する。
First, a case where person authentication information corresponding to a person included in a moving image captured by the
次に、所定時間が経過した人物認証情報がある場合について説明する。除外部117は、所定時間が経過した人物認証情報の人物を類似度の算出対象から除外する。さらに詳しくは、人物が売り場M2を回遊する時間には限度がある。よって、除外部117は、売り場M2にはいないと考えられるので類似度の算出対象から、所定時間が経過した人物認証情報の人物を除外する。これにより、除外部117は、カメラ20bが売り場M2から退出する人物の顔を撮像することができなかった場合でも、類似度の算出対象から除外することができる。または、除外部117は、撮像できても人物認証辞書Dに含まれる人物であると判定できなかった場合であっても、類似度の算出対象から除外することができる。なお、所定時間の起算点は、問わない。一例としては、人物認証辞書Dに人物認証情報が最初に登録された時や、人物認証辞書Dに人物認証情報が最後に登録された時などである。
Next, a case where there is person authentication information for which a predetermined time has elapsed will be described. The excluding
次に、上述した実施形態にかかるサーバ装置10のCPU11が制御プログラムに従って実行する人物認証処理について説明する。実施形態にかかるサーバ装置10は、カメラ20aが撮像した動画像を用いて、人物認証処理を実行する。
Next, a person authentication process executed by the
図7は、サーバ装置10のCPU11が制御プログラムに従って実行する人物認証処理の流れを示すフローチャートである。
FIG. 7 is a flowchart showing the flow of person authentication processing executed by the
まず、サーバ装置10のCPU11(受信部111)は、カメラ20aが撮像した動画像を受信する(ステップS11)。
First, the CPU 11 (reception unit 111) of the
次いで、サーバ装置10のCPU11(顔検出部112)は、受信した動画像から顔を検出することができるか否かを判定する(ステップS12)。顔を検出することができない場合に(ステップS12;No)、サーバ装置10のCPU11(受信部111)は、ステップS11に戻り、動画像を受信する。
Next, the CPU 11 (face detection unit 112) of the
一方、顔を検出することができた場合に(ステップS12;Yes)、サーバ装置10のCPU11(顔検出部112)は、検出した顔に新規な人物識別情報を割り当てる(ステップS13)。
On the other hand, when the face can be detected (step S12; Yes), the CPU 11 (face detection unit 112) of the
次いで、サーバ装置10のCPU11(受信部111)は、受信した動画像を保存する(ステップS14)。次いで、サーバ装置10のCPU11(顔検出部112)は、受信した動画像から検出された顔がフレームアウトしたか否かを判定する(ステップS15)。
Next, the CPU 11 (reception unit 111) of the
検出された顔がフレームアウトしていない場合に(ステップS15;No)、サーバ装置10のCPU11は、ステップS14に戻り、受信している動画像を保存する。
When the detected face is not out of frame (step S15; No), the
一方、検出された顔がフレームアウトした場合に(ステップS15;Yes)、サーバ装置10のCPU11(特徴量抽出部113、類似度算出部114、類似度判定部115)は、検出した顔の人物が、人物認証辞書Dに登録された同一人物であるか否かの認証処理を実行する(ステップS16)。さらに詳しくは、サーバ装置10のCPU11は、検出された顔や服飾から特徴量を抽出する。サーバ装置10のCPU11は、抽出した特徴量と、人物認証辞書Dに登録された人物認証情報の特徴量とを比較して類似度を算出する。そして、サーバ装置10のCPU11は、算出された類似度を基に、人物認証辞書Dに登録された人物であるか否かを認証する。
On the other hand, when the detected face is out of frame (step S15; Yes), the CPU 11 (feature
次いで、サーバ装置10のCPU11は、人物認証により、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されたか否かを判定する(ステップS17)。検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証された場合に(ステップS17;Yes)、サーバ装置10のCPU11(登録部116)は、人物認証辞書Dの該当する人物識別情報に人物認証情報を追加登録する(ステップS18)。
Next, the
一方、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されなかった場合に(ステップS17;No)、サーバ装置10のCPU11(登録部116)は、ステップS13で割り当てられた人物識別情報を用いて人物認証辞書Dに人物認証情報を新規登録する(ステップS19)。
On the other hand, when it is not authenticated that the same person as the detected face person is registered in the person authentication dictionary D (step S17; No), the CPU 11 (registration unit 116) of the
以上により、サーバ装置10のCPU11は、人物認証処理を終了する。
As described above, the
次に、上述した実施形態にかかるサーバ装置10のCPU11が制御プログラムに従って実行する除外処理について説明する。
Next, an exclusion process executed by the
図8は、サーバ装置10のCPU11が制御プログラムに従って実行する除外処理の流れを示すフローチャートである。
FIG. 8 is a flowchart showing the flow of exclusion processing executed by the
まず、サーバ装置10のCPU11(除外部117)は、人物認証辞書Dに登録された人物認証情報が所定時間を経過したか否かを判定する(ステップS21)。所定時間を経過している場合に(ステップS21;Yes)、サーバ装置10のCPU11(除外部117)は、該当する人物認証情報の人物を類似度の算出対象から除外する(ステップS22)。
First, the CPU 11 (exclusion unit 117) of the
一方、所定時間を経過していない場合に(ステップS21;No)、サーバ装置10のCPU11(顔検出部112)は、カメラ20bが撮像し、受信した動画像から顔を検出することができるか否かを判定する(ステップS23)。
On the other hand, if the predetermined time has not elapsed (step S21; No), can the CPU 11 (face detection unit 112) of the
カメラ20bが撮像し、受信した動画像から顔が検出されない場合に(ステップS23;No)、サーバ装置10のCPU11は、ステップS21に戻る。
When the face is not detected from the moving image captured by the
一方、カメラ20bが撮像し、受信した動画像から顔を検出した場合に(ステップS23;Yes)、サーバ装置10のCPU11(特徴量抽出部113、類似度算出部114、類似度判定部115)は、検出した顔の人物が、人物認証辞書Dに登録された同一人物であるか否かの認証処理を実行する(ステップS24)。さらに詳しくは、サーバ装置10のCPU11は、検出された顔や服飾の特徴量を抽出する。サーバ装置10のCPU11は、抽出した特徴量と、人物認証辞書Dに登録された人物認証情報の特徴量とを比較して類似度を算出する。そして、サーバ装置10のCPU11は、算出された類似度を基に、人物認証辞書Dに登録された人物であるか否かを認証する。
On the other hand, when a face is detected from the received moving image captured by the
次いで、サーバ装置10のCPU11(類似度判定部115)は、人物認証により、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されたか否かを判定する(ステップS25)。検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されなかった場合に(ステップS25;No)、サーバ装置10のCPU11は、人物識別情報を除外せずに、一連の消去処理を終了する。
Next, the CPU 11 (similarity determination unit 115) of the
一方、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証された場合に(ステップS25;Yes)、サーバ装置10のCPU11(除外部117)は、該当する人物認証情報の人物を認証処理から除外する(ステップS22)。
On the other hand, when it is authenticated that the same person as the detected face person is registered in the person authentication dictionary D (step S25; Yes), the CPU 11 (exclusion unit 117) of the
以上により、サーバ装置10のCPU11は、除外処理を終了する。
Thus, the
以上のように、本実施形態のサーバ装置10によれば、サーバ装置10のCPU11は、カメラ20aが撮像した動画像を受信し、動画像に含まれる人物の顔を検出する。そして、サーバ装置10のCPU11は、検出した人物が、過去に撮像した動画像に含まれていた人物の人物認証情報を登録した人物認証辞書Dに登録された人物であるか否かを認証する。サーバ装置10のCPU11は、検出した人物が、人物認証辞書Dに登録された人物であると認証した場合に、人物認証辞書Dに動画像から抽出した人物認証情報を追加登録する。よって、サーバ装置10のCPU11は、フレームアウトした後、再度フレームインした人物を同一人物であると判断をすることができる。
As described above, according to the
また、人物認証辞書Dの人物認証情報には、撮像したカメラ20aを識別可能なカメラ識別情報と、撮像時刻が記録される。そして、複数のカメラ20aによって撮像された場合であっても、同一人物の場合には、人物認証辞書Dの同一の人物識別情報に対応付けて人物認証情報が登録される。従って、人物の行動履歴を追跡することもできる。
In addition, in the person authentication information of the person authentication dictionary D, camera identification information that can identify the captured
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
なお、上述の実施形態において、サーバ装置10は、カメラ20a、20bが撮像し、順次送信された動画像を受信部111が受信することによって、動画像の入力を受け付けている。しなしながら、動画像の入力方式はこれに限らない。動画像は、カメラ20a、20bが過去に撮像し、撮りためられた動画ファイルなどであってもよい。
In the above-described embodiment, the
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。 The program executed by each device of the above-described embodiment or modification is provided by being incorporated in advance in a storage medium (ROM or storage unit) included in each device, but is not limited thereto. For example, an installable or executable file is recorded on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). You may comprise. Furthermore, the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN, the Internet, or the like is downloaded and stored or temporarily stored.
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。 Further, the program executed by each device of the above-described embodiment or modification may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network, or the Internet It may be configured to be provided or distributed via a network.
1 人物認証システム
10 サーバ装置
11 CPU
111 受信部
112 顔検出部
113 特徴量抽出部
114 類似度算出部
115 類似度判定部
116 登録部
117 除外部
13 記憶部
D 人物認証辞書
20a、20b カメラ
21 CPU
211 撮像制御部
212 送信部
DESCRIPTION OF
DESCRIPTION OF SYMBOLS 111
211
Claims (5)
前記入力手段が入力を受け付けた撮像データから人物を検出する検出手段と、
前記検出手段が検出した人物が、前記撮像部が過去に撮像した撮像データに含まれていた人物が登録された辞書に登録された人物であるか否かを認証する認証手段と、
前記認証手段が事前に登録された人物であると認証した場合に、前記辞書の当該人物に前記撮像部が撮像した撮像データを追加登録する登録手段と、
前記入力手段が受け付けた前記撮像データが、退出する人物を撮像する撮像部が撮像した画像データであることを条件に、当該画像データに含まれている人物を前記認証手段の対象から除外する除外手段と、
を備える情報処理装置。 Input means for receiving input of imaging data captured by the imaging unit;
Detecting means for detecting a person from imaging data received by the input means;
Authentication means for authenticating whether the person detected by the detection means is a person registered in a dictionary in which a person included in imaging data captured by the imaging unit in the past is registered;
A registration unit for additionally registering the imaging data captured by the imaging unit to the person in the dictionary when the authentication unit authenticates the person registered in advance;
Exclusion of excluding a person included in the image data from the object of the authentication means on condition that the imaging data received by the input means is image data captured by an imaging unit that captures a person who leaves Means,
An information processing apparatus comprising:
請求項1に記載の情報処理装置。 The registration unit newly registers the imaging data captured by the imaging unit when it is determined that the authentication unit is not registered in the dictionary.
The information processing apparatus according to claim 1.
請求項1又は2に記載の情報処理装置。 The authentication means authenticates the person's clothes detected by the detection means by comparing the person's clothes registered in the dictionary.
The information processing apparatus according to claim 1 or 2.
請求項1乃至3の何れか一項に記載の情報処理装置。 The excluding unit excludes a person who has passed a predetermined time from the registration unit registering the imaging data from the object of the authentication unit;
The information processing apparatus according to any one of claims 1 to 3 .
撮像部が撮像した撮像データの入力を受け付ける入力手段と、
前記入力手段が入力を受け付けた撮像データから人物を検出する検出手段と、
前記検出手段が検出した人物が、過去に前記撮像部が撮像した撮像データに含まれる人物が登録された辞書に登録された人物であるか否かを認証する認証手段と、
前記認証手段が事前に登録された人物であると認証した場合に、前記辞書の当該人物に前記撮像部が撮像した撮像データを追加登録する登録手段と、
前記入力手段が受け付けた前記撮像データが、退出する人物を撮像する撮像部が撮像した画像データであることを条件に、当該画像データに含まれている人物を前記認証手段の対象から除外する除外手段と、
として機能させるためのプログラム。 Computer
Input means for receiving input of imaging data captured by the imaging unit;
Detecting means for detecting a person from imaging data received by the input means;
Authentication means for authenticating whether or not the person detected by the detection means is a person registered in a dictionary in which a person included in imaging data captured by the imaging unit in the past is registered;
A registration unit for additionally registering the imaging data captured by the imaging unit to the person in the dictionary when the authentication unit authenticates the person registered in advance;
Exclusion of excluding a person included in the image data from the object of the authentication means on condition that the imaging data received by the input means is image data captured by an imaging unit that captures a person who leaves Means,
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014169913A JP6289308B2 (en) | 2014-08-22 | 2014-08-22 | Information processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014169913A JP6289308B2 (en) | 2014-08-22 | 2014-08-22 | Information processing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016045742A JP2016045742A (en) | 2016-04-04 |
JP6289308B2 true JP6289308B2 (en) | 2018-03-07 |
Family
ID=55636244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014169913A Active JP6289308B2 (en) | 2014-08-22 | 2014-08-22 | Information processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6289308B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7020567B2 (en) | 2018-12-07 | 2022-02-16 | 日本電気株式会社 | Information processing systems, information processing equipment, information processing methods, and programs |
JP7371806B2 (en) * | 2018-12-07 | 2023-10-31 | 日本電気株式会社 | Information processing device, information processing method, and program |
JP7298729B2 (en) * | 2018-12-07 | 2023-06-27 | 日本電気株式会社 | Information processing system, information processing device, information processing method, and program |
US11928181B2 (en) | 2018-12-27 | 2024-03-12 | Nec Corporation | Information processing apparatus, information processing method, and program |
JP7334512B2 (en) * | 2019-07-08 | 2023-08-29 | 日本電気株式会社 | Verification method, verification device, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009245338A (en) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | Face image collating apparatus |
JP4585580B2 (en) * | 2008-04-24 | 2010-11-24 | 東芝テック株式会社 | Human flow tracking system |
JP4753193B2 (en) * | 2008-07-31 | 2011-08-24 | 九州日本電気ソフトウェア株式会社 | Flow line management system and program |
JP2013196043A (en) * | 2012-03-15 | 2013-09-30 | Glory Ltd | Specific person monitoring system |
-
2014
- 2014-08-22 JP JP2014169913A patent/JP6289308B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016045742A (en) | 2016-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839227B2 (en) | Queue group leader identification | |
US9626551B2 (en) | Collation apparatus and method for the same, and image searching apparatus and method for the same | |
US11023908B2 (en) | Information processing apparatus for performing customer gaze analysis | |
JP6013241B2 (en) | Person recognition apparatus and method | |
JP6494253B2 (en) | Object detection apparatus, object detection method, image recognition apparatus, and computer program | |
JP6289308B2 (en) | Information processing apparatus and program | |
JP2019109709A (en) | Image processing apparatus, image processing method and program | |
JP6589321B2 (en) | System, search method and program | |
JP5450089B2 (en) | Object detection apparatus and object detection method | |
JP6822482B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
US10152633B2 (en) | Line-of-sight detection device and line-of-sight detection method | |
JP6803525B2 (en) | Face detection device, face detection system equipped with this, and face detection method | |
JP2016134803A (en) | Image processor and image processing method | |
US20160203454A1 (en) | Information processing apparatus and method for recognizing specific person by the same | |
JP6969878B2 (en) | Discriminator learning device and discriminator learning method | |
CN107231519B (en) | Video processing apparatus and control method | |
WO2017163283A1 (en) | Monitoring device and monitoring system | |
JP6301759B2 (en) | Face identification device and program | |
JP2016045743A (en) | Information processing apparatus and program | |
JP2019040592A (en) | Information processing device, information processing program, and information processing method | |
JP2022155061A (en) | Image processing apparatus, image processing method, and program | |
JP6944020B2 (en) | Information processing device | |
JP7103443B2 (en) | Information processing equipment, information processing methods, and programs | |
JP2020086961A (en) | Image analysis device, imaging device, image analysis method, and program | |
JP7357649B2 (en) | Method and apparatus for facilitating identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6289308 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |