JP4753193B2 - Flow line management system and program - Google Patents

Flow line management system and program Download PDF

Info

Publication number
JP4753193B2
JP4753193B2 JP2008304916A JP2008304916A JP4753193B2 JP 4753193 B2 JP4753193 B2 JP 4753193B2 JP 2008304916 A JP2008304916 A JP 2008304916A JP 2008304916 A JP2008304916 A JP 2008304916A JP 4753193 B2 JP4753193 B2 JP 4753193B2
Authority
JP
Japan
Prior art keywords
face image
registrant
registered
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008304916A
Other languages
Japanese (ja)
Other versions
JP2010055594A (en
Inventor
信治 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Software Kyushu Ltd
Original Assignee
NEC Software Kyushu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Software Kyushu Ltd filed Critical NEC Software Kyushu Ltd
Priority to JP2008304916A priority Critical patent/JP4753193B2/en
Publication of JP2010055594A publication Critical patent/JP2010055594A/en
Application granted granted Critical
Publication of JP4753193B2 publication Critical patent/JP4753193B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、店舗等における来店客等の動線を追跡して、前記来店客等の行動履歴を個々の来店客毎に把握するとともに、前記来店客等の性別年齢等を推定して、性別や年齢層ごとの行動パターンを把握する動線管理システムに関する。   The present invention tracks the flow of customers in stores, etc., grasps the behavior history of the customers, etc. for each customer, estimates the sex age of the customers, etc. It is related with the flow line management system which grasps the behavior pattern for every age group.

店舗における売り場の配置や商品の配列を最適化して売り上げを向上するための資料を収集するために、来店客の動線を追跡して、前記来店客の行動履歴を把握するシステムが各種提案されている。   Various systems have been proposed to track customer traffic and to understand the customer's behavior history in order to collect data for improving sales by optimizing the arrangement of sales floors and the arrangement of products in stores. ing.

例えば、特許文献１には、売り場に備えるカート等に電波信号を発信するタグを取り付けるとともに、売り場の所定位置に位置情報発信器を設置し、前記タグが、位置情報発信器から発信された位置情報を受信したとき、受信した位置情報及びタグの自己ＩＤを管理コンピュータに送信し、管理コンピュータに送信された位置情報及びタグの自己ＩＤを、送信された時間と共に管理コンピュータに備えた記録手段に記録して、来店客の行動履歴を把握する売り場情報の管理システムが提案されている。   For example, in Patent Document 1, a tag that transmits a radio signal is attached to a cart or the like provided in a sales floor, and a position information transmitter is installed at a predetermined position of the sales floor, and the tag is transmitted from the position information transmitter. When the information is received, the received position information and the self ID of the tag are transmitted to the management computer, and the position information transmitted to the management computer and the self ID of the tag are transmitted to the recording means provided in the management computer together with the transmitted time. There has been proposed a sales floor information management system that records and grasps the visitor's behavior history.

また、特許文献２には、監視カメラシステムによって、移動人物を検出・追跡して、当該移動人物の動線を計測する動線計測手段を備える売場計画支援システムが提案されている。   Patent Document 2 proposes a sales floor planning support system that includes a flow line measuring unit that detects and tracks a moving person by a monitoring camera system and measures a moving line of the moving person.

また、特許文献３には、撮像手段で撮像された画像から歩行者の動線を抽出する動線抽出手段と、この動線抽出手段で抽出された動線をあらかじめ設定された動線と比較して、当該歩行者が撮像対象として適切であるか否かを判定する撮像対象判定手段と、この撮像対象判定手段の判定結果に応じて顔照合手段における判定用閾値を変更する判定用閾値変更手段を備える顔認証装置が提案されている。   In Patent Document 3, a flow line extracting unit that extracts a pedestrian's flow line from an image captured by the imaging unit, and a flow line extracted by the flow line extracting unit are compared with a preset flow line. Then, an imaging target determination unit that determines whether or not the pedestrian is appropriate as an imaging target, and a determination threshold value change that changes a determination threshold value in the face matching unit according to the determination result of the imaging target determination unit There has been proposed a face authentication device including means.

特開２００５−５６１７３号公報JP 2005-56173 A 特開２００４−１７８２７６号公報JP 2004-178276 A 特開２００６−２３６２６０号公報JP 2006-236260 A

特許文献１あるいは特許文献２に記載されたシステムは、来店客の行動履歴をリアルタイムで把握して、売り場の配置や商品の配列の改善に必要な情報を収集することができるが、来店客の個性を把握することができないという問題があった。つまり、特許文献１あるいは特許文献２に記載されたシステムは、性別も年齢も分からない、もちろん何処の誰であるかも分からない、いわば「顔の無い」来店客の行動履歴を把握するだけなので、来店客の性別や年齢層に応じた、売り場の配置や商品の配列の最適化あるいは販売計画の立案に必要な情報を収集することができなかった。   The system described in Patent Document 1 or Patent Document 2 can grasp the visitor's behavior history in real time and collect information necessary for improving the arrangement of the sales floor and the arrangement of the products. There was a problem that individuality could not be grasped. In other words, the system described in Patent Document 1 or Patent Document 2 does not know the gender or age, of course, who knows who it is, only to understand the behavior history of the “faceless” visitor, It was impossible to collect information necessary for optimizing the arrangement of sales floors, the arrangement of products, or the planning of sales plans according to the gender and age group of customers.

また、特許文献３の顔認証装置は、１台の撮像手段の視野内で移動する歩行者の動線を抽出するが、複数の撮像手段の視野の間の転々移動する特定の歩行者を追跡して、当該特定の歩行者の複数の撮像手段の視野の間での移動経路（動線）を算出・記録する手段についての示唆はない。   Further, the face authentication device of Patent Document 3 extracts a flow line of a pedestrian that moves within the field of view of one imaging unit, but tracks a specific pedestrian that moves between the fields of view of a plurality of imaging units. There is no suggestion about a means for calculating / recording a movement path (flow line) between the fields of view of the plurality of imaging means of the specific pedestrian.

本発明は、このような背景に鑑みてなされたものであり、来店客の行動履歴を個々の来店客毎に把握するとともに、前記来店客の性別年齢等を推定して、特定の性や年齢層に特有の行動パターンを把握する動線管理システム及びプログラムを提供するものである。   The present invention has been made in view of such a background, and grasps the behavior history of the store visitor for each store visitor and estimates the sex age of the store visitor to determine the specific sex and age. It is intended to provide a flow line management system and program for grasping behavior patterns peculiar to a layer.

本発明に係る動線管理システムは、人物の顔画像を登録する登録者データベースと、複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された顔画像とを照合する顔画像照合手段と、前記複数の撮影エリアのいずれか１の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、同一登録者を同一撮影エリアで撮影した前記履歴ファイルを時系列に配列した時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムにおいて、前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、全ての登録顔画像についての前記類似度が第１の閾値未満である場合に、前記登録者データベースに新たな登録者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、全ての登録顔画像についての前記類似度が前記第１の閾値以上であって、第２の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか１の登録画像に対する前記類似度が前記第２の閾値以上であって、第３の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか１の登録画像に対する前記類似度が前記第３の閾値以上となる場合に、前記顔画像検出手段で検出された顔画像の前記登録者データベースへの登録を行わない自動登録手段を備えることを特徴とする。 The flow line management system according to the present invention includes a registrant database for registering a person's face image, a face image detecting means for detecting a person's face image from images taken in a plurality of shooting areas , and the face image detecting means. A face image is detected from an image photographed in any one of the plurality of photographing areas , and a face image collating means for collating the face image detected in step 1 with the face image registered in the registrant database. Then, the face image and the face image registered in the registrant database are collated to identify which person the registrant is related to the face image, and the shooting area where the face image was shot And history file creation means for recording the time at which the face image was shot in the history file of the specified registrant, and the history file in which the same registrant was shot in the same shooting area are arranged in time series A series of the history files in which the difference between the most recent shooting time between the one shooting time and the one shooting time is equal to or less than a predetermined threshold, and the retention data for each shooting area of the same registrant is created. In addition, it is provided with means for creating a stay summary data for each shooting area to be registered in the flow line management file, personally identifying human images shown in images shot in a plurality of shooting areas, and calculating and recording a flow line. In the line management system, the registrant database includes a registrant file for registering a person's face image for each person, and the face image collating unit includes the face image detected by the face image detecting unit, and the registration. The similarity of registered face images registered in the database is calculated, and when the similarity for all registered face images is less than a first threshold, a new registration is added to the registrant database. Create a person file, register the face image detected by the face image detection means in the new registrant file, and the similarity for all registered face images is greater than or equal to the first threshold, The face image detected by the face image detecting means is registered in the registrant file to which the registered image having the maximum similarity belongs when it is less than the second threshold, and the similarity to any one of the registered images If the image is greater than or equal to the second threshold and less than the third threshold, the face image detected by the face image detection means is registered in the registrant file to which the registered image belongs, and any one registration An automatic registration unit that does not register the face image detected by the face image detection unit in the registrant database when the similarity with respect to an image is equal to or greater than the third threshold value is provided .

本発明に係るプログラムは、コンピュータにインストールされて、当該コンピュータを人物の顔画像を登録する登録者データベースと、複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された登録顔画像とを照合する顔画像照合手段と、前記複数の撮影エリアのいずれか１の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、同一登録者を同一撮影エリアで撮影した前記履歴ファイルを時系列に配列した時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムとして機能させるプログラムにおいて、前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、前記動線管理システムは、全ての登録顔画像についての前記類似度が第１の閾値未満である場合に、前記登録者データベースに新たな登録者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、全ての登録顔画像についての前記類似度が前記第１の閾値以上であって、第２の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか１の登録画像に対する前記類似度が前記第２の閾値以上であって、第３の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか１の登録画像に対する前記類似度が前記第３の閾値以上となる場合に、前記顔画像検出手段で検出された顔画像の前記登録者データベースへの登録を行わない自動登録手段を備えることを特徴とする。
A program according to the present invention is installed in a computer, a registrant database for registering a person's face image in the computer, and a face image detecting means for detecting a person's face image from images taken in a plurality of shooting areas. , a face image collation device for collating with the face registration face image registered in the detected face image and the registered person database image detection means, taken in any one of the imaging areas of the plurality of imaging areas When a face image is detected from the image, the face image is compared with the face image registered in the registrant database to identify which person the registrant is related to the face image, and the face The same registrant is the same as the history file creation means that records the shooting area where the image was shot and the time when the face image was shot in the history file of the identified registrant. When the history files photographed in the shadow area are arranged in time series, a series of the history files in which the difference between the most recent photographing time between the one photographing time and the one photographing time is equal to or less than a predetermined threshold is collected. A retention summary data by shooting area is created to create the retention summary data by shooting area of the same registrant and register it in the flow line management file, and images of persons appearing in images shot in a plurality of shooting areas In the program for functioning as a flow line management system for personal identification and calculating / recording a flow line, the registrant database includes a registrant file for registering a person's face image for each person, and the face image collating means Calculates the similarity between the face image detected by the face image detection means and the registered face image registered in the registration database, and the flow line management system When the similarity for all registered face images is less than a first threshold, a new registrant file is created in the registrant database, and the face images detected by the face image detecting means A registered image having the maximum similarity when the similarity for all registered face images is greater than or equal to the first threshold and less than the second threshold. When the face image detected by the face image detecting means is registered in the registrant file, and the similarity to any one of the registered images is not less than the second threshold and less than the third threshold, When the face image detected by the face image detecting means is registered in the registrant file to which the registered image belongs, and the similarity to any one of the registered images is equal to or greater than the third threshold value, the face image detection Detected by means And automatic registration means that does not register the face image in the registrant database .

本発明の動線管理システムは、顔画像検出手段で検出された顔画像と顔画像データベースに登録された顔画像とを照合する顔画像照合手段を備えるので、来店客の行動履歴を個別に把握・蓄積することができる。   The flow line management system of the present invention includes face image matching means for matching the face image detected by the face image detecting means with the face image registered in the face image database, so that the behavior history of the store visitor can be grasped individually.・ Can be accumulated.

以下、本発明を実施するための最良の形態について説明する。   Hereinafter, the best mode for carrying out the present invention will be described.

図１は、本発明に係る動線管理システムの概念的な構成を示す構成図である。図１に示すように、動線管理システム１は、認証装置２、動線情報蓄積装置３及び動線分析装置４から構成され、ネットワーク網５を介して監視カメラ６と接続される。   FIG. 1 is a configuration diagram showing a conceptual configuration of a flow line management system according to the present invention. As shown in FIG. 1, the flow line management system 1 includes an authentication device 2, a flow line information storage device 3, and a flow line analysis device 4, and is connected to a monitoring camera 6 via a network 5.

監視カメラ６は、複数の撮影エリア（例えば、正面入り口、化粧品売り場、雑貨売り場、婦人服売り場、通用口など）に配置されて、当該撮影エリアにいる来店客７を撮影して画像を取得する。そして、監視カメラ６で取得された画像は、ネットワーク網５を介して動線管理システム１の認証装置２に送られる。   The surveillance camera 6 is arranged in a plurality of shooting areas (for example, a front entrance, a cosmetics department, a general merchandise department, a women's clothing department, a service entrance, etc.), and images the store customers 7 in the imaging area to acquire images. . Then, the image acquired by the monitoring camera 6 is sent to the authentication device 2 of the flow line management system 1 via the network 5.

認証装置２は、監視カメラ６から送られた画像を処理するコンピュータであり、顔検出エンジン８、顔認証エンジン９及び推定エンジン１０を有する。顔検出エンジン８は監視カメラ６から送られた画像から来店客７の顔部分の画像（顔画像）を検出するモジュールである。また、顔認証エンジン９は、顔検出エンジン８で検出された顔画像と、動線情報蓄積装置３に登録された顔画像（登録顔画像）と照合するモジュールであり、前記顔画像が前記登録顔画像のいずれかと一致すれば、前記顔画像を当該登録顔画像に係る人物の顔画像であると認証し、その顔画像が撮像された時刻と撮影エリアを動線情報蓄積装置３に記録する。また前記顔画像が、前記登録顔画像のいずれとも一致しなければ、前記顔画像は、新規の登録画像として動線情報蓄積装置３に登録される。また、推定エンジン１０は前記顔画像から来店客７の性別・年齢を推定して、その結果を動線情報蓄積装置３に登録するモジュールである。   The authentication device 2 is a computer that processes an image sent from the monitoring camera 6, and includes a face detection engine 8, a face authentication engine 9, and an estimation engine 10. The face detection engine 8 is a module that detects an image (face image) of the face portion of the customer 7 from the image sent from the monitoring camera 6. The face authentication engine 9 is a module that collates the face image detected by the face detection engine 8 with the face image registered in the flow line information storage device 3 (registered face image). If the face image matches one of the face images, the face image is authenticated as a face image of a person related to the registered face image, and the time when the face image was captured and the shooting area are recorded in the flow line information storage device 3. . If the face image does not match any of the registered face images, the face image is registered in the flow line information storage device 3 as a new registered image. The estimation engine 10 is a module that estimates the sex / age of the customer 7 from the face image and registers the result in the flow line information storage device 3.

動線情報蓄積装置３は、認証装置２および動線分析装置４による処理結果を蓄積する記憶装置であり、登録者データベース（ＤＢ）１１、履歴ファイル１２及び動線管理ファイル１３を有する。   The flow line information storage device 3 is a storage device that stores the processing results of the authentication device 2 and the flow line analysis device 4, and includes a registrant database (DB) 11, a history file 12, and a flow line management file 13.

登録者データベース１１は、監視カメラ６が顔画像を識別コード及びその顔画像に係る人物の属性、つまり、性別、年齢その他の属人的な情報と共に登録するデータベースである。前述したように、登録者データベース１１に登録された顔画像は、顔認証エンジン９に読み出されて、顔検出エンジン８で検出された顔画像と照合される。また、顔検出エンジン８で検出された顔画像が登録者データベース１１に登録された顔画像のいずれとも一致しない場合、つまり、顔検出エンジン８で検出された顔画像が、動線管理システム１が初めて検出した人物の顔画像である場合は、顔認証エンジン９が、その顔画像に新たな識別コードを付与して、登録者データベース１１に登録する。   The registrant database 11 is a database in which the monitoring camera 6 registers the face image together with the identification code and the person's attribute related to the face image, that is, sex, age, and other personal information. As described above, the face image registered in the registrant database 11 is read by the face authentication engine 9 and collated with the face image detected by the face detection engine 8. Further, when the face image detected by the face detection engine 8 does not match any of the face images registered in the registrant database 11, that is, the face image detected by the face detection engine 8 is detected by the flow line management system 1. In the case of a face image of a person detected for the first time, the face authentication engine 9 adds a new identification code to the face image and registers it in the registrant database 11.

履歴ファイル１２は、顔認証エンジン９で認証された顔画像と識別コードに、推定エンジン１０で推定された当該顔画像に係る人物性別・年齢、及び当該顔画像が撮像された日時及び当該顔画像を撮像した監視カメラ６の識別コード（言い換えれば、当該顔画像が撮像された場所を示す情報である）を記載したファイルであり、監視カメラ６が来店客７を撮像し、顔検出エンジン８が顔画像を検出する度に作成される。したがって、同一の来店客７が同一の場所（同一の監視カメラ６の視野）に滞留すると、複数の履歴ファイル１２が作成される。また、来店客７が、ある場所（ある監視カメラ６の視野）から別の場所（別の監視カメラ６の視野）に移動すると、移動する度に履歴ファイル１２が作成される。   The history file 12 includes the face image and identification code authenticated by the face authentication engine 9, the personal gender and age related to the face image estimated by the estimation engine 10, the date and time when the face image was captured, and the face image. Is a file that describes the identification code of the surveillance camera 6 that captured the image (in other words, information indicating the location where the face image was captured). The surveillance camera 6 captures the customer 7, and the face detection engine 8 Created whenever a face image is detected. Therefore, when the same customer 7 stays in the same place (the field of view of the same monitoring camera 6), a plurality of history files 12 are created. In addition, when the customer 7 moves from one place (the field of view of a certain monitoring camera 6) to another place (the field of view of another monitoring camera 6), the history file 12 is created each time the shop visitor 7 moves.

動線管理ファイル１３は、同一の識別コードを付された履歴ファイル１２に記載された情報を集約して時系列に配列したファイルである。   The flow line management file 13 is a file in which information described in the history file 12 with the same identification code is aggregated and arranged in time series.

動線分析装置４は、動線管理ファイル１３を解析して、個々の来店客７（同一の識別コードを付された来店客７）の移動経路、撮影エリア別の滞留時間等の動線情報を算出し、蓄積するコンピュータである。また、動線分析装置４は、蓄積された多数の来店客７の動線情報を統計処理することもできる。   The flow line analysis device 4 analyzes the flow line management file 13 to flow information such as the travel route of each store visitor 7 (store visitor 7 with the same identification code) and the residence time for each imaging area. Is a computer that calculates and accumulates Further, the flow line analyzer 4 can also statistically process the accumulated flow line information of many customers 7.

次に、図２を参照しながら、動線管理システム１の動作を説明する。   Next, the operation of the flow line management system 1 will be described with reference to FIG.

動線管理システム１に接続された複数個の監視カメラ６は、それぞれの撮影エリアを常時、撮影して、来店客７を捜索する。いずれかの監視カメラ６の視野に来店客７が入ると、顔検出エンジン８でその来店客７の顔画像が検出される（ステップＳ１）。   The plurality of monitoring cameras 6 connected to the flow line management system 1 always shoots the respective shooting areas and searches the store customers 7. When the customer 7 enters the field of view of one of the surveillance cameras 6, the face detection engine 8 detects the facial image of the customer 7 (step S1).

来店客７の顔画像が検出されると、顔認証エンジン９が登録者データベース１１から登録顔画像を読み出して、その顔画像と登録顔画像を照合し、両者が一致すれば、その顔画像に当該登録顔画像と同一の識別コードを付与する。その顔画像が登録顔画像のいずれとも一致しなければ、その顔画像に新たな識別コードを付与するとともに、その顔画像を新たな識別コードと共に登録者データベース１１に登録する（ステップＳ２）。   When the face image of the customer 7 is detected, the face authentication engine 9 reads the registered face image from the registrant database 11 and collates the face image with the registered face image. The same identification code as that of the registered face image is assigned. If the face image does not match any of the registered face images, a new identification code is assigned to the face image, and the face image is registered in the registrant database 11 together with the new identification code (step S2).

また、推定エンジン１０は、顔検出エンジン８で検出された顔画像に基づいて、その顔画像に係る来店客７の性別及び年齢を推定し、その結果を登録者データベース１１に登録する（ステップＳ３）。   Further, the estimation engine 10 estimates the sex and age of the customer 7 related to the face image based on the face image detected by the face detection engine 8, and registers the result in the registrant database 11 (step S3). ).

次に、動線情報蓄積装置３の履歴ファイル１２に、顔画像の識別コード、顔画像が撮影された日付及び時刻、顔画像を撮影した監視カメラの識別コード、及び、その顔画像に係る来店客７の性別・年齢（推定エンジン１０による推定値）を登録する（ステップＳ４）。   Next, in the history file 12 of the flow line information storage device 3, the identification code of the face image, the date and time when the face image was photographed, the identification code of the surveillance camera that photographed the face image, and the visit related to the face image The sex / age of the customer 7 (estimated value by the estimation engine 10) is registered (step S4).

履歴ファイル１２が作成されたら、同一の識別コードを付された履歴ファイル１２を集約して動線管理ファイル１３を作成する（ステップＳ５）。なお、動線管理ファイル１３の作成は、履歴ファイル１２が作成される度に実施してもよいし、所定のスケジュールに従って、定期的に実施してもよい。あるいは動線管理システム１の運転停止（例えば閉店）後に一括して実施するようにしてもよい。   When the history file 12 is created, the history file 12 with the same identification code is aggregated to create the flow line management file 13 (step S5). The flow line management file 13 may be created every time the history file 12 is created, or may be periodically implemented according to a predetermined schedule. Or you may make it implement collectively after the operation stop (for example, store closing) of the flow line management system 1. FIG.

前述したように、来店客７が同一の監視カメラ６の撮影エリアに留まっている場合、監視カメラ６は所定の周期で撮像を繰り返すから、来店客７の履歴ファイル１２が多数作成される。   As described above, when the customer 7 stays in the shooting area of the same surveillance camera 6, the surveillance camera 6 repeats imaging at a predetermined cycle, and therefore a large number of history files 12 of the customer 7 are created.

例えば、次のような時刻（時：分：秒）に同一の監視カメラ６が同一の来店客７を撮像して、履歴ファイル１２を作成した場合を考える。
時刻１（１０：００：００）
時刻２（１０：００：０５）
時刻３（１０：００：１０）
時刻４（１０：００：１５）
時刻５（１０：００：５０）
時刻６（１０：０１：００）
時刻７（１０：０１：１０） For example, consider a case where the same surveillance camera 6 images the same customer 7 and creates the history file 12 at the following time (hour: minute: second).
Time 1 (10:00:00)
Time 2 (10:00:05)
Time 3 (10:00:10)
Time 4 (10:00:15)
Time 5 (10:00:50)
Time 6 (10:01:00)
Time 7 (10:01:10)

ある履歴ファイル１２と直近の履歴ファイル１２の撮像時刻の差が小さければ、その履歴ファイル１２の撮像時刻と直近の履歴ファイル１２の撮像時刻の間の時間は、来店客７は同一の監視カメラ６の撮影エリアに滞留していた見なすことができる。そこで、滞留見なし時間を設定し、直近の履歴ファイル１２の撮像時刻の差が滞留見なし時間未満である場合には、当該直近の履歴ファイル１２を集約して撮影エリア別滞留サマリデータを作成する。例えば、滞留見なし時間を３０秒に設定すると、時刻４と時刻５の履歴ファイル１２の間の時間は３５秒なので、滞留見なし時間を超える。したがって、時刻４と時刻５の間で滞留が途切れたとみなして、次の２つの撮影エリア別滞留サマリデータを作成する。   If the difference between the imaging times of a certain history file 12 and the latest history file 12 is small, the customer 7 has the same monitoring camera 6 for the time between the imaging time of the history file 12 and the imaging time of the latest history file 12. Can be regarded as staying in the shooting area. Therefore, a staying time is set, and when the difference in imaging time between the latest history files 12 is less than the staying time, the latest history files 12 are aggregated to create staying summary data for each shooting area. For example, if the staying time is set to 30 seconds, the time between the history file 12 at time 4 and time 5 is 35 seconds, which exceeds the staying time. Therefore, it is assumed that the stay has been interrupted between time 4 and time 5, and the following two stay area summary data by photographing area are created.

撮影エリア別滞留サマリデータＡ（１０：００：００〜１０：００：１５）
撮影エリア別滞留サマリデータＢ（１０：００：５０〜１０：０１：１０） Retention summary data A by shooting area (10:00 to 10:00:15)
Retention summary data B by shooting area (10: 00: 50-10: 01: 10)

前記撮影エリア別滞留サマリデータＡは、来店客７が監視カメラ６の撮影エリアに１０時０分０秒から１０時０分１５秒まで滞留していたことを示し、前記撮影エリア別滞留サマリデータＢは、来店客７が監視カメラ６の撮影エリアに１０時０分５０秒から１０時１分１０秒まで滞留していたことを示している。また、１０時０分１５秒から１０時０分５０秒の間は、来店客７は監視カメラ６の撮影エリア外に出ていたとみなされる。この撮影エリア別滞留サマリデータＡ及びＢは動線管理ファイル１３に記載される。   The staying area data A by shooting area indicates that the customer 7 stayed in the shooting area of the surveillance camera 6 from 10:00:00 to 10:00:15. B indicates that the customer 7 stayed in the photographing area of the monitoring camera 6 from 10:00:50 to 10: 1: 10. In addition, it is considered that the customer 7 was out of the shooting area of the monitoring camera 6 between 10:00:15 and 10:00:50. The staying area data A and B for each photographing area are described in the flow line management file 13.

動線情報蓄積装置３に動線管理ファイル１３が蓄積されると、動線分析装置４がこれを解析して、来店客７の動線情報を算出して記録する（ステップＳ６）。動線情報とは、特定の来店客７が、複数の監視カメラ６の撮影エリアを、何時、どのような順序で回ったか、また、各撮影エリアで、どの程度の時間滞留したかを示すデータである。言い換えれば、来店客７が、どの入り口から入店して、どの売り場をどのような順序で回って、どの出口から退店したのか、また、各売り場には何分ずつ滞在したかを示すデータである。   When the flow line management file 13 is stored in the flow line information storage device 3, the flow line analysis device 4 analyzes it and calculates and records the flow line information of the customer 7 (step S6). The flow line information is data indicating when and in what order a specific store visitor 7 went around the shooting areas of the plurality of monitoring cameras 6 and how long the customer stayed in each shooting area. It is. In other words, data indicating which store 7 the customer entered from which entrance, which store went in what order, from which exit, and how many minutes stayed at each store. It is.

動線分析装置４は、動線分析装置４に記録された多数の来店客７の動線情報を統計処理して、性別や年齢層の違いによる来店客７の行動パターンの差異を分析することもできる（ステップＳ７）。また、性別や年齢層別の来店客７の行動パターンを更に分析すれば、売り上げ向上のための施策を検討することができる。例えば、来店客７が滞留する場所と、売り上げ実績を比較して、来店客７の滞留時間に比べて、売り上げが大きくない場所を発見すれば、その場所に販売員を多く配置するなどの対策を立てることができる。また、来店客７の滞留時間が長い売り場（商品）が分かれば、来店客７の滞留時間が長い売り場（商品）の間に、それ以外の売り場（商品）を配置して、来店客７が全ての売り場（商品）を見て回るように誘導することができる。また、新商品を配置した売り場に、どのような性別・年齢層の来店客７が滞留するかを知れば、当該新商品の購買層を絞り込んだ販売戦略を立案することができる。   The flow line analyzer 4 statistically processes the flow line information of a large number of customers 7 recorded in the flow line analyzer 4 to analyze differences in behavior patterns of the customers 7 due to differences in sex and age group. (Step S7). Further, if the behavior patterns of the store visitor 7 by sex and age group are further analyzed, measures for improving sales can be examined. For example, if you compare a sales record with a place where the customer 7 stays, and if you find a place where the sales are not large compared to the stay time of the customer 7, you can arrange a lot of sales staff at that place. Can stand up. In addition, if a store (product) with a long residence time of the customer 7 is known, another store (product) is arranged between the store (product) with a long residence time of the customer 7, and the customer 7 You can be guided to look around all the sales floors (products). In addition, if it is known what type of gender / age store visitor 7 stays at the sales floor where a new product is placed, a sales strategy can be devised that narrows down the purchase range of the new product.

また、動線管理システム１では、登録者データベース１１に登録されていない来店客７が発見される度に、その来店客７の顔画像を自動的に登録者データベース１１に登録して、登録された来店客７の動線情報を収集するようにしたが、特定の人物の顔画像を事前に手動で登録するようにしてもよい。   Further, in the flow line management system 1, every time a customer 7 who is not registered in the registrant database 11 is found, the face image of the customer 7 is automatically registered in the registrant database 11 and registered. Although the flow line information of the customer 7 is collected, a face image of a specific person may be manually registered in advance.

店が特別の注意を払わなければならない特定の人物、例えば上得意客、あるいは、要注意人物等（以下、「監視対象者」という）の顔画像を、事前に登録者データベース１１に登録しておいて、顔認証エンジン９が前記監視対象者の顔画像に一致する顔画像を発見した場合に、その旨を担当者に警報あるいは、通報するようにすれば、サービスやセキュリティの質の向上に役立つ。   A face image of a specific person, for example, a customer who needs special attention or a person who needs attention (hereinafter referred to as a “monitoring person”) must be registered in the registrant database 11 in advance. If the face authentication engine 9 finds a face image that matches the face image of the person to be monitored, it is useful to improve the quality of service and security if the person in charge is warned or notified. .

具体的には、例えば、図３に示すように、動線情報蓄積装置３に監視対象登録装置１４を、認証装置２に警報装置１５を接続する。   Specifically, for example, as shown in FIG. 3, the monitoring target registration device 14 is connected to the flow line information storage device 3, and the alarm device 15 is connected to the authentication device 2.

監視対象登録装置１４は前記監視対象者の顔画像を登録者データベース１１に登録する手段であり、警報装置１５は顔認証エンジン９が前記監視対象者の顔画像に一致する顔画像を発見した場合に、警報を発する装置である。   The monitoring target registration device 14 is means for registering the face image of the monitoring subject in the registrant database 11, and the alarm device 15 is used when the face authentication engine 9 finds a face image that matches the face image of the monitoring subject. It is a device that issues an alarm.

監視対象登録装置１４は前記監視対象者の顔画像を登録者データベース１１に登録する手段であり、外部から前記監視対象者の顔画像を動線情報蓄積装置３に入力できる装置であれば形式は問わない。一般に、認証装置２、動線情報蓄積装置３及び動線分析装置４は、パーソナルコンピュータ等に必要なソフトウェアをインストールして実現されるから、監視対象登録装置１４も、そのパーソナルコンピュータ等の入出力機能（例えば、ＣＤＲＯＭドライブ）を利用して実現することができる。あるいは、外部のコンピュータから送信される前記監視対象者の顔画像を受信する通信インターフェイスを監視対象登録装置１４としてもよい。   The monitoring target registration device 14 is means for registering the face image of the monitoring subject in the registrant database 11, and any format can be used as long as the device can input the face image of the monitoring subject to the flow line information storage device 3 from the outside. It doesn't matter. Generally, the authentication device 2, the flow line information storage device 3 and the flow line analysis device 4 are realized by installing software necessary for a personal computer or the like. It can be realized by using a function (for example, a CDROM drive). Or it is good also considering the communication interface which receives the said monitoring subject's face image transmitted from an external computer as the monitoring object registration apparatus 14. FIG.

警報装置１５は顔認証エンジン９が前記監視対象者の顔画像に一致する顔画像を発見した場合に、警報を発する装置である。警報には音声、発光、画像などを利用することができる。認証装置２、動線情報蓄積装置３及び動線分析装置４を構成するパーソナルコンピュータ等の出力装置（音声出力装置、画像出力装置など）を警報装置１５に利用することもできる。   The warning device 15 is a device that issues a warning when the face authentication engine 9 finds a face image that matches the face image of the person to be monitored. Sound, light emission, image, etc. can be used for the alarm. An output device (sound output device, image output device, etc.) such as a personal computer constituting the authentication device 2, the flow line information storage device 3, and the flow line analysis device 4 can also be used for the alarm device 15.

また、前記監視対象者の顔画像に有効期間を設けるようにしてもよい。例えば監視対象登録装置１４を使って、前記監視対象者の顔画像を登録者データベース１１に登録する際に、当該顔画像の有効期間を入力して、有効期間が経過すると、当該顔画像を登録者データベース１１から削除するようにプログラムしてもよい。あるいは有効期間が経過した顔画像は顔認証の対象から除外するように顔認証エンジン９をプログラムしてもよい。   An effective period may be provided for the face image of the person to be monitored. For example, when registering the face image of the person to be monitored in the registrant database 11 using the monitoring object registration device 14, the effective period of the face image is input, and when the effective period elapses, the face image is registered. May be programmed to be deleted from the operator database 11. Alternatively, the face authentication engine 9 may be programmed so as to exclude a face image for which the valid period has passed from the face authentication target.

なお、動線管理システム１の設置場所や使用目的によっては、事前に登録されていない人物を検出したときに警報を発するように変形して使用することもできる。つまり、顔認証エンジン９が前記監視対象者の顔画像に一致しない顔画像（つまり前記監視対象者の以外の人物の顔画像）を発見した場合に、警報装置１５が警報を発するようにすることもできる。このようにすれば、例えば、従業員の顔画像を事前に登録しておいて、従業員以外の立ち入りが禁止されいるエリアで、来店客等が発見された場合に警報することができる。   Depending on the installation location and purpose of use of the flow line management system 1, the flow line management system 1 may be modified so that an alarm is issued when a person who is not registered in advance is detected. That is, when the face authentication engine 9 finds a face image that does not match the face image of the monitoring target person (that is, a face image of a person other than the monitoring target person), the alarm device 15 issues a warning. You can also. In this way, for example, an employee's face image can be registered in advance, and a warning can be issued when a visitor or the like is found in an area where entry by other than employees is prohibited.

さて、登録者データベース１１に、同一の登録者について複数の顔画像を登録すれば、顔認証の精度が向上する。例えば、ある来店客７の顔部を正面から撮像した顔画像を登録者データベース１１に登録した後で、当該来店客７と同一人物の横顔を撮像した場合に、当該来店客７の横顔の画像をデータベース１１に追加登録しておけば、その後、当該来店客７の横顔を撮像した場合に、その顔画像が当該来店客７の顔画像であるあることを容易に認証することができる。しかしながら、同一人物の顔を撮像する度に登録者データベース１１に顔画像を登録すれば、登録者データベース１１の記憶容量が不足したり、顔認証の処理時間が長くなるという問題が生じる。   Now, if a plurality of face images are registered for the same registrant in the registrant database 11, the accuracy of face authentication is improved. For example, when a facial image obtained by capturing a face image of a certain customer 7 from the front is registered in the registrant database 11 and a profile of the same person as the customer 7 is imaged, an image of the profile of the customer 7 Is registered in the database 11, it is possible to easily authenticate that the face image is the face image of the customer 7 when the profile of the customer 7 is taken. However, if a face image is registered in the registrant database 11 every time the face of the same person is imaged, there arises a problem that the storage capacity of the registrant database 11 is insufficient and the processing time for face authentication becomes long.

そこで、顔認証エンジン９で、顔検出エンジン８で検出された顔画像と登録者データベース１１に登録された登録顔画像の類似度を評価して認証スコア（全く類似しない場合には、０．０となり、全く同一の画像であれば、１００．０となる）を算出し、この認証スコアと以下のルールに基づいて、顔検出エンジン８で検出された顔画像を登録者データベース１１に自動登録するようにすれば、前記の問題を解決して、動線管理システム１の機能を向上させることができる。   Therefore, the face authentication engine 9 evaluates the similarity between the face image detected by the face detection engine 8 and the registered face image registered in the registrant database 11, and an authentication score (in the case of no similarity, 0.0 If the images are exactly the same, 100.0 is calculated), and the face image detected by the face detection engine 8 is automatically registered in the registrant database 11 based on the authentication score and the following rules. By doing so, the above problem can be solved and the function of the flow line management system 1 can be improved.

（ルール１）全ての登録顔画像について、認証スコアが第１の水準Ｌｖ１未満である場合（認証スコアが第１の水準Ｌｖ１以上になる登録顔画像が登録者データベース１１に登録されていない場合）は、来店客７を新規の来店者であると見なして、来店客７に新規の識別コードを与え、登録者データベース１１に新規の登録者ファイルを作成して、その新規の登録者ファイルに当該識別コードとともに来店客７の顔画像を書き込む。来店客７の顔画像を撮像した時刻も、前記登録者ファイルに書き込む。ここで、認証スコアＸとは両者の類似度を示すパラメータであり、全く類似しない場合には、認証スコアＸは０．０となり、全く同一の画像であれば、認証スコアＸは１００．０となる。 (Rule 1) For all registered face images, when the authentication score is less than the first level Lv1 (when a registered face image whose authentication score is equal to or higher than the first level Lv1 is not registered in the registrant database 11) Considers the customer 7 to be a new customer, gives a new identification code to the customer 7, creates a new registrant file in the registrant database 11, and adds the new registrant file to the new registrant file. A face image of the customer 7 is written together with the identification code. The time when the face image of the customer 7 is captured is also written in the registrant file. Here, the authentication score X is a parameter indicating the degree of similarity between the two. If they are not at all similar, the authentication score X is 0.0. If the images are exactly the same, the authentication score X is 100.0. Become.

（ルール２）全ての登録顔画像についての認証スコアが前記第１の水準Ｌｖ１以上であるが、第２の水準Ｌｖ２未満である場合は、認証スコアが最大になる登録顔画像が属する登録者ファイルに来店客７の顔画像を書き込む。認証スコアがこの範囲にあれば、来店客７の顔画像が認証スコアが最大になる登録者の顔画像である蓋然性が高いからである。 (Rule 2) When the authentication score for all registered face images is equal to or higher than the first level Lv1, but is lower than the second level Lv2, the registrant file to which the registered face image with the maximum authentication score belongs. The face image of the customer 7 is written in This is because if the authentication score is within this range, the face image of the customer 7 is highly likely to be the face image of the registrant who has the maximum authentication score.

（ルール３）いずれかの登録顔画像についての認証スコアが第２の水準Ｌｖ２以上であるが、第３の水準Ｌｖ３未満である場合は、当該登録顔画像が属する登録者ファイルに来店客７の顔画像を書き込む。認証スコアがこの範囲にあれば、来店客７の顔画像が当該登録者の顔画像である蓋然性は極めて高く、かつ、来店客７の顔画像を当該登録者ファイルに追加登録することは、以後の顔認証の高精度化、高効率化に役立つからである。


Authentication scores for (Rule 3) one of the registered face image but is the second level Lv2 above, is less than the third level Lv3 is registrant files to the shopper 7 in which the registered face image belongs Write a face image. If the authentication score is within this range, the probability that the face image of the visitor 7 is the face image of the registrant is very high, and the face image of the visitor 7 is additionally registered in the registrant file. It is useful for improving the accuracy and efficiency of face recognition.


（ルール４）いずれかの登録顔画像についての認証スコアが第３の水準Ｌｖ３以上である場合は、来店客７の顔画像の登録者データベース１１への追加登録は一切行わない。つまり、来店客７の顔画像を破棄する。全く同一であると見なせる登録顔画像が既に登録されている場合に新たな顔画像を登録しても、以後の顔認証の精度の向上の利益は小さく、照合対象が増えることによる効率低下の不利益が大きいからである。 (Rule 4) If the authentication score for any registered face image is equal to or higher than the third level Lv3, no additional registration of the face image of the customer 7 in the registrant database 11 is performed. That is, the face image of the customer 7 is discarded. Even if a new face image is registered when registered face images that can be regarded as identical are already registered, the benefit of improving the accuracy of face authentication is small, and there is no reduction in efficiency due to an increase in the number of verification targets. This is because the profit is large.

上記のルールによる自動登録を行うために、図４に示すような自動登録プログラムを顔認証エンジン９に備える。なお、この自動登録プログラムは、前述した動線管理システムの概略フローチャート（図２）のステップＳ２で実行される。   In order to perform automatic registration based on the above rules, an automatic registration program as shown in FIG. This automatic registration program is executed in step S2 of the schematic flow chart (FIG. 2) of the flow line management system described above.

図４に示すように、顔検出エンジン８で来店客７の顔画像が検出されると、顔認証エンジン９が登録者データベース１１から登録顔画像を読み出して（ステップＳ２１）、その顔画像と登録顔画像を照合して、両者の認証スコアＸを算出する（ステップＳ２２）。ここで、認証スコアＸとは両者の類似度を示すパラメータであり、全く類似しない場合には、認証スコアＸは０．０となり、全く同一の画像であれば、認証スコアＸは１００．０となる。   As shown in FIG. 4, when the face detection engine 8 detects the face image of the customer 7, the face authentication engine 9 reads out the registered face image from the registrant database 11 (step S21), and the face image and registration. The face images are collated, and both authentication scores X are calculated (step S22). Here, the authentication score X is a parameter indicating the degree of similarity between the two. If they are not at all similar, the authentication score X is 0.0. If the images are exactly the same, the authentication score X is 100.0. Become.

認証スコアＸが第３の水準Ｌｖ３以上であれば（ステップＳ２３：ＹＥＳ）、そのまま、自動登録プログラムを終了する。つまり、この場合は顔検出エンジン８で検出された来店客７の顔画像はどこにも登録されず、廃棄される。   If the authentication score X is equal to or higher than the third level Lv3 (step S23: YES), the automatic registration program is terminated as it is. That is, in this case, the face image of the customer 7 detected by the face detection engine 8 is not registered anywhere and is discarded.

また、認証スコアＸが第３の水準Ｌｖ３未満（ステップＳ２３：ＮＯ）で、第２の水準Ｌｖ２以上であれば（ステップＳ２４：ＹＥＳ）、当該登録顔画像が属する登録者ファイルに来店客７の顔画像を登録して（ステップＳ２５）、自動登録プログラムを終了する。   Further, if the authentication score X is less than the third level Lv3 (step S23: NO) and is equal to or higher than the second level Lv2 (step S24: YES), the customer 7 is registered in the registrant file to which the registered face image belongs. The face image is registered (step S25), and the automatic registration program is terminated.

また、認証スコアＸが第２の水準Ｌｖ２未満であって、（ステップＳ２４：ＮＯ）、照合していない登録顔画像が登録者データベース１１に残っていれば（ステップＳ２６：ＹＥＳ）、ステップＳ２１に戻って、次の登録顔画像を登録者データベース１１から読み出して、前述の処理を繰り返す。   Further, if the authentication score X is less than the second level Lv2 (step S24: NO) and the registered face image that has not been verified remains in the registrant database 11 (step S26: YES), the process proceeds to step S21. Returning, the next registered face image is read from the registrant database 11, and the above-described processing is repeated.

すべての登録顔画像についての認証スコアが第２の水準Ｌｖ２未満であれば（ステップＳ２６：ＮＯ）、ステップＳ２７に進み、ここまでに算出した認証スコアＸの最大値が第１の水準Ｌｖ１以上であれば（ステップＳ２７：ＹＥＳ）、前記最大値に係る登録顔画像が属する登録者ファイルに来店客７の顔画像を登録して（ステップＳ２８）、自動登録プログラムを終了する。   If the authentication score for all the registered face images is less than the second level Lv2 (step S26: NO), the process proceeds to step S27, and the maximum value of the authentication score X calculated so far is equal to or higher than the first level Lv1. If there is (step S27: YES), the face image of the customer 7 is registered in the registrant file to which the registered face image related to the maximum value belongs (step S28), and the automatic registration program is terminated.

前記最大値が第１の水準Ｌｖ１未満、つまり、すべての認証スコアが第１の水準Ｌｖ１未満であれば（ステップＳ２７：ＮＯ）、来店客７に新たな識別コードを与えるとともに、登録者データベース１１に新たな登録者ファイルを作成して、前記新たな登録者ファイルに前記新たな識別コードと来店客７の顔画像を登録して（ステップＳ２９）、自動登録プログラムを終了する。   If the maximum value is less than the first level Lv1, that is, if all the authentication scores are less than the first level Lv1 (step S27: NO), a new identification code is given to the customer 7 and the registrant database 11 A new registrant file is created, the new identification code and the face image of the customer 7 are registered in the new registrant file (step S29), and the automatic registration program is terminated.

また、顔検出エンジン８において、顔画像の向きを算出して、当該顔画像が正面画像と見なされる範囲（例えば正面画像の向きを０°とした場合に、−１０°〜＋１０°の範囲）にある場合にだけ、ステップＳ２９における新規登録者ファイルの作成と、顔画像の登録の登録を行うようにしてもよい。正面画像は顔認証の基本データであるからである。   Further, the face detection engine 8 calculates the orientation of the face image, and a range in which the face image is regarded as a front image (for example, a range of −10 ° to + 10 ° when the orientation of the front image is 0 °). Only when it is, the creation of a new registrant file and the registration of the registration of the face image in step S29 may be performed. This is because the front image is basic data for face authentication.

また登録者ファイルに登録される顔画像の数に上限を設定して、この上限を超えた場合に、ステップＳ２５あるいはステップＳ２８における顔画像の追加登録を行わないようにプログラムしてもよい。登録者ファイルを大きくしないためである。   Alternatively, an upper limit may be set for the number of face images registered in the registrant file, and the program may be programmed not to perform additional registration of face images in step S25 or step S28 when the upper limit is exceeded. This is because the registrant file is not enlarged.

このように、顔認証エンジン９に自動登録プログラムを備えると、来店客７の顔画像を既登録者の顔画像と比較して、その類似度に応じて既登録の登録者ファイルまたは新規の登録者ファイルに登録するので、動線管理システム１による顔認証の精度が向上する。   Thus, when the face authentication engine 9 is provided with an automatic registration program, the face image of the customer 7 is compared with the face image of the registered person, and the registered user file or new registration is registered according to the degree of similarity. Therefore, the accuracy of face authentication by the flow line management system 1 is improved.

なお、第１〜第３の水準Ｌｖ１〜Ｌｖ３の値は、所定の値に固定しておいてもよいし、ユーザが必要に応じて変更できるようにしてもよい。   The values of the first to third levels Lv1 to Lv3 may be fixed to predetermined values, or may be changed by the user as necessary.

動線管理システムの例を示す概念的な構成図である。It is a notional block diagram which shows the example of a flow line management system. 前記動線管理システムの動作を示す概略フローチャートである。It is a schematic flowchart which shows operation | movement of the said flow line management system. 動線管理システムの別の例を示す概念的な構成図である。It is a notional block diagram which shows another example of a flow line management system. 自動登録プログラムの例を示すフローチャートである。It is a flowchart which shows the example of an automatic registration program.

符号の説明Explanation of symbols

１ 動線管理システム
２ 認証装置
３ 動線情報蓄積装置
４ 動線分析装置
５ ネットワーク網
６ 監視カメラ
７ 来店客
８ 顔検出エンジン
９ 顔認証エンジン
１０ 推定エンジン
１１ 登録者データベース
１２ 履歴ファイル
１３ 動線管理ファイル
１４ 監視対象登録装置
１５ 警報装置 DESCRIPTION OF SYMBOLS 1 Flow line management system 2 Authentication apparatus 3 Flow line information storage apparatus 4 Flow line analysis apparatus 5 Network 6 Monitoring camera
7 Customer 8 Face detection engine 9 Face authentication engine 10 Estimation engine 11 Registrant database 12 History file 13 Flow line management file 14 Monitoring target registration device 15 Alarm device

Claims (2)

人物の顔画像を登録する登録者データベースと、
複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された顔画像とを照合する顔画像照合手段と、
前記複数の撮影エリアのいずれか１の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、
同一登録者を同一撮影エリアで撮影した前記履歴ファイルを時系列に配列した時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、
複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムにおいて、
前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、
前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、
全ての登録顔画像についての前記類似度が第１の閾値未満である場合に、前記登録者データベースに新たな登録者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、
全ての登録顔画像についての前記類似度が前記第１の閾値以上であって、第２の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、
いずれか１の登録画像に対する前記類似度が前記第２の閾値以上であって、第３の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、
いずれか１の登録画像に対する前記類似度が前記第３の閾値以上となる場合に、前記顔画像検出手段で検出された顔画像の前記登録者データベースへの登録を行わない自動登録手段を備える
ことを特徴とする動線管理システム。 A registrant database for registering human face images;
Face image detecting means for detecting a human face image from images taken in a plurality of shooting areas ;
Face image collating means for collating the face image detected by the face image detecting means and the face image registered in the registrant database ;
When a face image is detected from an image shot in any one of the plurality of shooting areas, the face image is compared with the face image registered in the registrant database, and the face image is History file creating means for identifying which person is the registrant and recording the shooting area where the face image was shot and the time when the face image was shot in the history file of the identified registrant When,
A series of the history files in which the difference between one shooting time and the most recent shooting time of the one shooting time is equal to or less than a predetermined threshold when the history files obtained by shooting the same registrant in the same shooting area are arranged in time series , And a retention summary data by shooting area that creates the retention summary data by shooting area of the same registrant and registers it in the flow line management file .
In a flow line management system that personally identifies a person's image shown in images taken in multiple shooting areas and calculates and records a flow line,
The registrant database includes a registrant file that registers a person's face image for each person.
The face image collating means calculates the similarity between the face image detected by the face image detecting means and the registered face image registered in the registration database;
When the similarity for all registered face images is less than a first threshold, a new registrant file is created in the registrant database, and the face images detected by the face image detecting means Register to a valid registrant file,
When the similarity for all registered face images is equal to or greater than the first threshold and less than the second threshold, the face image is detected in the registrant file to which the registered image having the maximum similarity belongs. Register the face image detected by the means,
The face detected by the face image detection means in the registrant file to which the registered image belongs when the similarity to any one of the registered images is greater than or equal to the second threshold and less than the third threshold. Register the image,
An automatic registration unit that does not register the face image detected by the face image detection unit in the registrant database when the similarity to any one of the registered images is equal to or greater than the third threshold value; A flow line management system characterized by コンピュータにインストールされて、当該コンピュータを  Installed on a computer,
人物の顔画像を登録する登録者データベースと、  A registrant database for registering human face images;
複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、  Face image detecting means for detecting a human face image from images taken in a plurality of shooting areas;
前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された登録顔画像とを照合する顔画像照合手段と、  Face image matching means for matching the face image detected by the face image detecting means with the registered face image registered in the registrant database;
前記複数の撮影エリアのいずれか１の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、When a face image is detected from an image shot in any one of the plurality of shooting areas, the face image is compared with the face image registered in the registrant database, and the face image is History file creating means for identifying which person is the registrant and recording the shooting area where the face image was shot and the time when the face image was shot in the history file of the identified registrant When,
同一登録者を同一撮影エリアで撮影した前記履歴ファイルを時系列に配列した時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、  A series of the history files in which the difference between one shooting time and the most recent shooting time of the one shooting time is equal to or less than a predetermined threshold when the history files obtained by shooting the same registrant in the same shooting area are arranged in time series , And a retention summary data by shooting area that creates the retention summary data by shooting area of the same registrant and registers it in the flow line management file.
複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムとして機能させるプログラムにおいて、  In a program for functioning as a flow line management system that personally identifies a person image shown in images taken in a plurality of shooting areas and calculates and records a flow line,
前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、  The registrant database includes a registrant file that registers a person's face image for each person.
前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、  The face image collating means calculates the similarity between the face image detected by the face image detecting means and the registered face image registered in the registration database;
前記動線管理システムは、  The flow line management system includes:
全ての登録顔画像についての前記類似度が第１の閾値未満である場合に、前記登録者データベースに新たな登録者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、  When the similarity for all registered face images is less than a first threshold, a new registrant file is created in the registrant database, and the face images detected by the face image detecting means Register to a valid registrant file,
全ての登録顔画像についての前記類似度が前記第１の閾値以上であって、第２の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、  When the similarity for all registered face images is equal to or greater than the first threshold and less than the second threshold, the face image is detected in the registrant file to which the registered image having the maximum similarity belongs. Register the face image detected by the means,
いずれか１の登録画像に対する前記類似度が前記第２の閾値以上であって、第３の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、  The face detected by the face image detection means in the registrant file to which the registered image belongs when the similarity to any one of the registered images is greater than or equal to the second threshold and less than the third threshold. Register the image,
いずれか１の登録画像に対する前記類似度が前記第３の閾値以上となる場合に、前記顔画像検出手段で検出された顔画像の前記登録者データベースへの登録を行わない自動登録手段を備える  An automatic registration unit that does not register the face image detected by the face image detection unit in the registrant database when the similarity to any one of the registered images is equal to or greater than the third threshold;
ことを特徴とするプログラム。  A program characterized by that.
JP2008304916A 2008-07-31 2008-11-28 Flow line management system and program Active JP4753193B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008304916A JP4753193B2 (en) 2008-07-31 2008-11-28 Flow line management system and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008198522 2008-07-31
JP2008198522 2008-07-31
JP2008304916A JP4753193B2 (en) 2008-07-31 2008-11-28 Flow line management system and program

Publications (2)

Publication Number Publication Date
JP2010055594A JP2010055594A (en) 2010-03-11
JP4753193B2 true JP4753193B2 (en) 2011-08-24

Family

ID=41614893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008304916A Active JP4753193B2 (en) 2008-07-31 2008-11-28 Flow line management system and program

Country Status (2)

Country Link
JP (1) JP4753193B2 (en)
CN (1) CN101639922A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023263A (en) * 2016-06-12 2016-10-12 朱兰英 Indoor patrol analysis method based on human face
CN106023264A (en) * 2016-06-13 2016-10-12 朱兰英 Indoor patrol analysis system based on human face
CN110175863A (en) * 2019-04-18 2019-08-27 特斯联（北京）科技有限公司 A kind of multi-purpose scenic spot advertising platform of the personalization based on big data

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227710A (en) * 2010-04-20 2011-11-10 Mega Chips Corp Data processor, data processing system, and program
JP5507334B2 (en) * 2010-05-14 2014-05-28 本田技研工業株式会社 Registration apparatus, registration method, and computer program
JP5618628B2 (en) * 2010-05-28 2014-11-05 エヌ・ティ・ティ・コムウェア株式会社 Person information automatic collection system, person information automatic collection method and program thereof
JP5549418B2 (en) * 2010-06-25 2014-07-16 オムロン株式会社 Information processing apparatus and method, and program
JP5316906B2 (en) 2010-09-29 2013-10-16 オムロン株式会社 Information processing apparatus and method, and program
JP2012094104A (en) * 2010-09-29 2012-05-17 Omron Corp Information processing device and method, and program
JP5680954B2 (en) * 2010-12-27 2015-03-04 株式会社構造計画研究所 Residence time measuring device, residence time measuring system, and residence time measuring method
JP6049253B2 (en) * 2011-12-02 2016-12-21 綜合警備保障株式会社 Face authentication database management method, face authentication database management apparatus, and face authentication database management program
JP5660638B2 (en) * 2012-03-22 2015-01-28 Ｎｅｃソリューションイノベータ株式会社 Characteristic determination apparatus, characteristic determination method, and program
KR20140114238A (en) 2013-03-18 2014-09-26 삼성전자주식회사 Method for generating and displaying image coupled audio
JP5438859B1 (en) * 2013-05-30 2014-03-12 パナソニック株式会社 Customer segment analysis apparatus, customer segment analysis system, and customer segment analysis method
US9405978B2 (en) * 2013-06-10 2016-08-02 Globalfoundries Inc. Prioritization of facial recognition matches based on likely route
WO2015033577A1 (en) * 2013-09-06 2015-03-12 日本電気株式会社 Customer behavior analysis system, customer behavior analysis method, non-temporary computer-readable medium, and shelf system
JP6067527B2 (en) * 2013-09-30 2017-01-25 株式会社日立ソリューションズ Mobile object information management method, apparatus, and program
JP2015090579A (en) * 2013-11-06 2015-05-11 株式会社日立ソリューションズ Behavior analysis system
JP6319421B2 (en) * 2014-02-25 2018-05-09 日本電気株式会社 Information processing apparatus, data analysis method, and program
JP2016045743A (en) * 2014-08-22 2016-04-04 東芝テック株式会社 Information processing apparatus and program
JP6289308B2 (en) * 2014-08-22 2018-03-07 東芝テック株式会社 Information processing apparatus and program
WO2016079860A1 (en) * 2014-11-21 2016-05-26 中国電力株式会社 Visitor authentication system and visitor authentication method
JP6905653B2 (en) * 2015-06-15 2021-07-21 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 Face recognition system, face recognition server and face recognition method
WO2017010316A1 (en) * 2015-07-16 2017-01-19 ソニー株式会社 Image capturing device and information processing system
CN105787756A (en) * 2016-02-19 2016-07-20 龚齐伟 Human behavior analysis apparatus, method and system
JP2017174343A (en) 2016-03-25 2017-09-28 富士ゼロックス株式会社 Customer attribute extraction device and customer attribute extraction program
CN106203685B (en) * 2016-06-29 2021-07-16 联想(北京)有限公司 Information processing method and electronic equipment
JP2016219065A (en) * 2016-09-27 2016-12-22 株式会社野村総合研究所 Staying analysis system and method
CN107871111B (en) * 2016-09-28 2021-11-26 苏宁易购集团股份有限公司 Behavior analysis method and system
CN106778925B (en) * 2016-11-03 2021-10-08 五邑大学 Face recognition pose over-complete face automatic registration method and device
JP6909575B2 (en) * 2016-11-30 2021-07-28 マクセル株式会社 Monitoring information collection system
CN107103029B (en) * 2017-03-03 2021-08-20 北京光年无限科技有限公司 Image data processing method for robot
CN107153886A (en) * 2017-03-31 2017-09-12 深圳市亿兆互联技术有限公司 A kind of customer's localization method for market layout optimization
JP2019020777A (en) 2017-07-11 2019-02-07 キヤノン株式会社 Information processing device, control method of information processing device, computer program, and storage medium
JP6800820B2 (en) * 2017-07-14 2020-12-16 パナソニック株式会社 People flow analysis method, people flow analyzer, and people flow analysis system
CN108228871A (en) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 Facial image dynamic storage method and device, electronic equipment, medium, program
WO2019052917A1 (en) * 2017-09-13 2019-03-21 Koninklijke Philips N.V. Subject identification systems and methods
JP7369623B2 (en) * 2017-09-26 2023-10-26 ソニーセミコンダクタソリューションズ株式会社 Information processing system and information processing method
KR102147100B1 (en) * 2018-04-04 2020-08-25 한국과학기술연구원 Method for generatinig video synopsis by identifying target object using plurality of image devices and system for performing the same
CN109063590A (en) * 2018-07-12 2018-12-21 上海商汤智能科技有限公司 Information processing method, apparatus and system based on recognition of face
CN109189972A (en) * 2018-07-16 2019-01-11 高新兴科技集团股份有限公司 A kind of target whereabouts determine method, apparatus, equipment and computer storage medium
JP6734891B2 (en) * 2018-07-17 2020-08-05 株式会社野村総合研究所 Sales performance analysis system and analysis method
JP6633156B2 (en) * 2018-08-27 2020-01-22 東芝テック株式会社 Servers and programs
CN109902644A (en) * 2019-03-07 2019-06-18 北京海益同展信息科技有限公司 Face identification method, device, equipment and computer-readable medium
CN110717003A (en) * 2019-09-27 2020-01-21 四川长虹电器股份有限公司 Intelligent shopping cart autonomous navigation and automatic following method based on path planning
WO2022230022A1 (en) * 2021-04-26 2022-11-03 日本電気株式会社 Image processing device
WO2023032000A1 (en) * 2021-08-30 2023-03-09 日本電気株式会社 Processing device, processing method, and program
WO2023152977A1 (en) * 2022-02-14 2023-08-17 日本電気株式会社 Image processing device, image processing method, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3584334B2 (en) * 1997-12-05 2004-11-04 オムロン株式会社 Human detection tracking system and human detection tracking method
JP2000200357A (en) * 1998-10-27 2000-07-18 Toshiba Tec Corp Method and device for collecting human movement line information
JP2003263641A (en) * 2002-03-11 2003-09-19 Mitsubishi Heavy Ind Ltd Movement analyzing device
JP2004133805A (en) * 2002-10-11 2004-04-30 Ntt Data Corp Moving picture processing method, moving picture processing device and program for executing the method by computer
JP2004178129A (en) * 2002-11-26 2004-06-24 Toshiba Lighting & Technology Corp Sales floor plan support system
CN1650274A (en) * 2002-12-26 2005-08-03 富士通株式会社 Operation managing method and operation managing server
JP2005056173A (en) * 2003-08-05 2005-03-03 Hitachi Kiden Kogyo Ltd Management system for sales floor information
JP2005071252A (en) * 2003-08-27 2005-03-17 Casio Comput Co Ltd System for processing flow line information
WO2006022503A1 (en) * 2004-08-23 2006-03-02 Retail Tech Co., Ltd. Shopping pattern analysis system and method based on rf
JP2007316867A (en) * 2006-05-24 2007-12-06 Toshiba Corp Area evaluation device and method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023263A (en) * 2016-06-12 2016-10-12 朱兰英 Indoor patrol analysis method based on human face
CN106023264A (en) * 2016-06-13 2016-10-12 朱兰英 Indoor patrol analysis system based on human face
CN110175863A (en) * 2019-04-18 2019-08-27 特斯联（北京）科技有限公司 A kind of multi-purpose scenic spot advertising platform of the personalization based on big data
CN110175863B (en) * 2019-04-18 2020-09-11 武汉特斯联智能工程有限公司 Personalized multipurpose scenic spot advertisement platform based on big data

Also Published As

Publication number Publication date
JP2010055594A (en) 2010-03-11
CN101639922A (en) 2010-02-03

Similar Documents

Publication Publication Date Title
JP4753193B2 (en) Flow line management system and program
US10445563B2 (en) Time-in-store estimation using facial recognition
JP6854881B2 (en) Face image matching system and face image search system
JP3584334B2 (en) Human detection tracking system and human detection tracking method
US8855364B2 (en) Apparatus for identification of an object queue, method and computer program
US7167576B2 (en) Method and apparatus for measuring dwell time of objects in an environment
US10552687B2 (en) Visual monitoring of queues using auxillary devices
CN109272347A (en) A kind of statistical analysis technique and system of shops's volume of the flow of passengers
KR20180042802A (en) Method and system for tracking an object in a defined area
CN103578018A (en) Method, device and system for detecting lost sales due to an out-of-shelf condition
CN111325954B (en) Personnel loss early warning method, device, system and server
US11657650B2 (en) Techniques for automatically identifying secondary objects in a stereo-optical counting system
WO2013043590A1 (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
JP2015090579A (en) Behavior analysis system
CN111127066A (en) Mining application method and device based on user information
US20210133491A1 (en) System and method for detecting, tracking and counting human objects of interest with an improved height calculation
WO2021095869A1 (en) Information processing device, information processing method, program, recording medium, and camera system
JP2021106330A (en) Information processing apparatus, information processing method, and program
WO2017048148A1 (en) Monitoring a flow of objects by a sim card detector
CN111723616B (en) Personnel correlation measurement method and device
JP2020064675A (en) Transit time storage system, method for storing transit time, and transit time storage program
JP2021077245A (en) Number of persons for each attribute totalizing system and number of persons for each attribute totalizing device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4753193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350