JP4753193B2 - Flow line management system and program - Google Patents

Flow line management system and program Download PDF

Info

Publication number
JP4753193B2
JP4753193B2 JP2008304916A JP2008304916A JP4753193B2 JP 4753193 B2 JP4753193 B2 JP 4753193B2 JP 2008304916 A JP2008304916 A JP 2008304916A JP 2008304916 A JP2008304916 A JP 2008304916A JP 4753193 B2 JP4753193 B2 JP 4753193B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
face image
flow line
shopper
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008304916A
Other languages
Japanese (ja)
Other versions
JP2010055594A (en )
Inventor
信治 吉野
Original Assignee
九州日本電気ソフトウェア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、店舗等における来店客等の動線を追跡して、前記来店客等の行動履歴を個々の来店客毎に把握するとともに、前記来店客等の性別年齢等を推定して、性別や年齢層ごとの行動パターンを把握する動線管理システムに関する。 The present invention tracks the flow line, such as a shopper in a store or the like, to grasp the action history such as the shopper for each individual shopper estimates the gender age such as the shopper, gender on the flow line management system to understand the behavior patterns of each and ages.

店舗における売り場の配置や商品の配列を最適化して売り上げを向上するための資料を収集するために、来店客の動線を追跡して、前記来店客の行動履歴を把握するシステムが各種提案されている。 In order to collect the article in order to improve the sales by optimizing the placement and arrangement of goods for sale in the store, to track the flow line of the shopper, the system to understand the behavior history of the visit customers are various proposals ing.

例えば、特許文献1には、売り場に備えるカート等に電波信号を発信するタグを取り付けるとともに、売り場の所定位置に位置情報発信器を設置し、前記タグが、位置情報発信器から発信された位置情報を受信したとき、受信した位置情報及びタグの自己IDを管理コンピュータに送信し、管理コンピュータに送信された位置情報及びタグの自己IDを、送信された時間と共に管理コンピュータに備えた記録手段に記録して、来店客の行動履歴を把握する売り場情報の管理システムが提案されている。 For example, Patent Document 1, is attached a tag for transmitting a radio signal to the carts provided in the sales floor, established the positional information transmitter at a predetermined position of the sales floor, the tag is transmitted from the position information transmitter position when receiving the information, sends its own ID of the positional information and the tag received in the management computer, the self ID of the positional information and the tag is transmitted to the management computer, in a recording means provided in the management computer together with the transmission time and record and management system of the department information to understand the behavior history of the shopper has been proposed.

また、特許文献2には、監視カメラシステムによって、移動人物を検出・追跡して、当該移動人物の動線を計測する動線計測手段を備える売場計画支援システムが提案されている。 Further, Patent Document 2, the surveillance camera system, to detect and track the movement person, sales plan support system comprising a flow line measuring means for measuring the flow line of the moving person have been proposed.

また、特許文献3には、撮像手段で撮像された画像から歩行者の動線を抽出する動線抽出手段と、この動線抽出手段で抽出された動線をあらかじめ設定された動線と比較して、当該歩行者が撮像対象として適切であるか否かを判定する撮像対象判定手段と、この撮像対象判定手段の判定結果に応じて顔照合手段における判定用閾値を変更する判定用閾値変更手段を備える顔認証装置が提案されている。 Further, Patent Document 3, the flow line extraction means for extracting a flow line of the walker from the image captured by the image pickup means, and the flow line extracted by the flow line extraction unit preset flow line comparison to an imaging target determining means determines the walker is whether it is suitable as an imaging target, determination threshold change for changing the determination threshold in the face recognition unit according to the determination result of the imaging object determination means face authentication apparatus comprising means have been proposed.

特開2005−56173号公報 JP 2005-56173 JP 特開2004−178276号公報 JP 2004-178276 JP 特開2006−236260号公報 JP 2006-236260 JP

特許文献1あるいは特許文献2に記載されたシステムは、来店客の行動履歴をリアルタイムで把握して、売り場の配置や商品の配列の改善に必要な情報を収集することができるが、来店客の個性を把握することができないという問題があった。 System described in Patent Document 1 or Patent Document 2, to understand the behavior history of shopper in real time, it is possible to collect the information needed to improve the placement and arrangement of goods for sale, the shopper there has been a problem that it is not possible to understand the personality. つまり、特許文献1あるいは特許文献2に記載されたシステムは、性別も年齢も分からない、もちろん何処の誰であるかも分からない、いわば「顔の無い」来店客の行動履歴を把握するだけなので、来店客の性別や年齢層に応じた、売り場の配置や商品の配列の最適化あるいは販売計画の立案に必要な情報を収集することができなかった。 In other words, the system described in Patent Document 1 or Patent Document 2, gender also do not know the age, of course, I do not know be the who of where, since only so to speak, to understand the behavior history of the "faceless" shopper, according to the gender and age of the shopper, it was not able to collect the information necessary for the planning of optimization or sales plan of arrangement or array of goods for sale.

また、特許文献3の顔認証装置は、1台の撮像手段の視野内で移動する歩行者の動線を抽出するが、複数の撮像手段の視野の間の転々移動する特定の歩行者を追跡して、当該特定の歩行者の複数の撮像手段の視野の間での移動経路(動線)を算出・記録する手段についての示唆はない。 The face authentication device of Patent Document 3 is to extract the pedestrian flow line which moves in the field of view of one of the imaging means, track specific pedestrian open-loop transfer between the field of view of a plurality of image pickup means to, there is no suggestion of the means for calculating and recording the movement path between the field of view of a plurality of image pickup means of the particular pedestrian (flow line).

本発明は、このような背景に鑑みてなされたものであり、来店客の行動履歴を個々の来店客毎に把握するとともに、前記来店客の性別年齢等を推定して、特定の性や年齢層に特有の行動パターンを把握する動線管理システム及びプログラムを提供するものである。 The present invention has been made in view of such a background, to grasp the behavior history of shopper for each individual shopper estimates the gender age and the like of the shopper, the particular sex and age there is provided a flow line control system and a program to understand the specific behavior pattern in the layer.

本発明に係る動線管理システムは、 人物の顔画像を登録する登録者データベースと、複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された顔画像とを照合する顔画像照合手段と、前記複数の撮影エリアのいずれか1の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、同一登録者を同一撮影エリアで撮影した前記履歴ファイルを時系列に配列 Flow line management system according to the present invention, a registrant database for registering the face image of a person, a face image detection means for detecting a human face image from the image captured by the plurality of imaging areas, the face image detecting means a face image matching means for matching the registered face image and the detected face image to the registrant database in, the face image is detected from any one of the image photographed by the imaging areas of the plurality of imaging areas that when, by matching with the face image and the registered in the registrant database the face image, the photographing area of ​​a person according to the face image is identified which of the registrant, the face image is photographed and sequences the time when the face image is captured, and the history file creating means for recording the identified registrant history file, the history file obtained by photographing the same registrant in the same shot area in time series た時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムにおいて、前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、全ての登録顔画像についての前記類似度が第1の閾値未満である場合に、前記登録者データベースに新たな登 And when, to aggregate a set of said history file a difference of the latest photographing time of one shooting time and the one of shooting time is equal to or lower than a predetermined threshold value, creating the same registrant of specific imaging area residence summary data movement which was, provided with a photographing area-specific residence summary data generation means for registering the flow line management file, an image of the person reflected in an image captured by the plurality of imaging areas by personal identification, it is calculated and recorded flow line in line management system, the registrant database comprises a subscriber file for registering the face image of a person for each said person, the face image matching means includes a face image detected by the facial image detection means, the registration calculates the similarity of the registered face image registered in the database, if the degree of similarity of all of the registered face image is less than the first threshold value, new to the registrant database registration 者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、全ての登録顔画像についての前記類似度が前記第1の閾値以上であって、第2の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか1の登録画像に対する前記類似度が前記第2の閾値以上であって、第3の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか1の登録画像に対する前記類似度が前記第3の閾値以上となる場合に、前記顔画像検出手段で検出された顔画像の前記登録者データベースへの登録を行わない自動登録手段を備えることを特徴とする。 Who file by creating the face of the face image detected by the image detection means registered in the new registrant file, there is the degree of similarity of all of the registered face image the first threshold value or more, If it is less than the second threshold value, the degree of similarity to register the face images detected by the facial image detection means in the registrant files belonging registration image that maximizes the similarity to any one of the registered image a is but more the second threshold value, if it is less than the third threshold value, to register the face images detected by the facial image detection means in the registrant files the reference image belongs, registered in any one If the degree of similarity for the image is greater than or equal to the third threshold value, characterized in that it comprises an automatic registration means does not perform registration in the registrant database the face image detected by the face image detection means.

本発明に係るプログラムは、 コンピュータにインストールされて 、当該コンピュータを人物の顔画像を登録する登録者データベースと、 複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された登録顔画像とを照合する顔画像照合手段と、前記複数の撮影エリアのいずれか1の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、同一登録者を同一 Program according to the present invention, is installed on the computer, the registrant database for registering the face image of the computer person, a face image detection means for detecting a face image of a person from the image captured by the plurality of imaging areas , a face image collation device for collating with the face registration face image registered in the detected face image and the registered person database image detection means, taken in any one of the imaging areas of the plurality of imaging areas When the face image is detected from an image, by matching with the face image as the face image in which the registered in the registrant database, a person related to the face image to identify which of the registrant, the face same time the shooting area and the face image on which an image is photographed is photographed, the history file creating means for recording the identified registrant history file, the same registrant 影エリアで撮影した前記履歴ファイルを時系列に配列した時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムとして機能させるプログラムにおいて、前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、前記動線管理システムは The history file recorded in the shadow area when arranged in time series, to aggregate a set of said history file a difference of the latest photographing time of one shooting time and the one of shooting time is equal to or lower than a predetermined threshold value, create a shooting area-specific residence summary data of the same registrant, includes an imaging area-specific residence summary data generation means for registering the flow line management file, an image of the person reflected in an image captured by the plurality of imaging areas and personal identification, in the program to function as a flow line control system to calculate and record the flow line, the registrant database comprises a subscriber file for registering the face image of a person for each said person, the face image matching means , said a face image detected by the face image detecting unit, and calculates the similarity of the registered registered face image in the registration database, the flow line management system 全ての登録顔画像についての前記類似度が第1の閾値未満である場合に、前記登録者データベースに新たな登録者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、全ての登録顔画像についての前記類似度が前記第1の閾値以上であって、第2の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか1の登録画像に対する前記類似度が前記第2の閾値以上であって、第3の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、いずれか1の登録画像に対する前記類似度が前記第3の閾値以上となる場合に、前記顔画像検出手段で検出され If the degree of similarity of all of the registered face image is less than the first threshold value, the create new registrant file in the registrant database, the detected face image in the face image detecting means the new registered Do registrant file, there is the degree of similarity of all of the registered face image the first threshold value or more, if it is less than the second threshold value, the registered image belongs the similarity is maximized when registering the face images detected by the facial image detection means in the registrant file, there is the similarity to any one of the registered images is more than the second threshold value is less than the third threshold value, registers the detected face image in the face image detection means in the registrant files the reference image belongs, when the similarity to any one of the registered images is equal to or larger than the third threshold, the face image detecting It is detected by means た顔画像の前記登録者データベースへの登録を行わない自動登録手段を備えることを特徴とする。 Characterized in that it comprises an automatic registration means does not perform the registration in the registrant database of face images.

本発明の動線管理システムは、顔画像検出手段で検出された顔画像と顔画像データベースに登録された顔画像とを照合する顔画像照合手段を備えるので、来店客の行動履歴を個別に把握・蓄積することができる。 Flow line management system of the present invention, since includes a face image collating means for collating the face image registered in the detected face image and the face image database the face image detection means, individually grasped the behavior history of shopper - it can be accumulated.

以下、本発明を実施するための最良の形態について説明する。 The following describes the best mode for carrying out the present invention.

図1は、本発明に係る動線管理システムの概念的な構成を示す構成図である。 Figure 1 is a block diagram showing a conceptual configuration of a flow line management system according to the present invention. 図1に示すように、動線管理システム1は、認証装置2、動線情報蓄積装置3及び動線分析装置4から構成され、ネットワーク網5を介して監視カメラ6と接続される。 As shown in FIG. 1, flow line management system 1 is composed of the authentication device 2, flow line information storage device 3 and the flow line analysis apparatus 4 is connected to the surveillance camera 6 via the network 5.

監視カメラ6は、複数の撮影エリア(例えば、正面入り口、化粧品売り場、雑貨売り場、婦人服売り場、通用口など)に配置されて、当該撮影エリアにいる来店客7を撮影して画像を取得する。 Surveillance camera 6, a plurality of imaging areas (e.g., main entrance, cosmetics shop, sundries shop, women's clothing shop, etc. side entrance) is arranged to acquire an image by photographing a shopper 7 being in the shooting area . そして、監視カメラ6で取得された画像は、ネットワーク網5を介して動線管理システム1の認証装置2に送られる。 Then, the image acquired by the monitoring camera 6 is sent to the authentication device 2 of the flow line management system 1 via the network 5.

認証装置2は、監視カメラ6から送られた画像を処理するコンピュータであり、顔検出エンジン8、顔認証エンジン9及び推定エンジン10を有する。 The authentication device 2 is a computer that processes an image sent from the monitoring camera 6 has a face detection engine 8, the face authentication engine 9 and estimated engine 10. 顔検出エンジン8は監視カメラ6から送られた画像から来店客7の顔部分の画像(顔画像)を検出するモジュールである。 Face detection engine 8 is a module for detecting an image (face image) of the face portion of the shopper 7 transmitted from the monitoring camera 6 images. また、顔認証エンジン9は、顔検出エンジン8で検出された顔画像と、動線情報蓄積装置3に登録された顔画像(登録顔画像)と照合するモジュールであり、前記顔画像が前記登録顔画像のいずれかと一致すれば、前記顔画像を当該登録顔画像に係る人物の顔画像であると認証し、その顔画像が撮像された時刻と撮影エリアを動線情報蓄積装置3に記録する。 The face authentication engine 9 is a module for matching the face image detected by the face detection engine 8, and the face image registered in the flow line information storage device 3 (registered face image), the facial image is the registration if they match with any of the face image, the face image is authenticated as a facial image of a person according to the registered face image, and records the imaging area and time at which the face image is captured in the flow line information storage device 3 . また前記顔画像が、前記登録顔画像のいずれとも一致しなければ、前記顔画像は、新規の登録画像として動線情報蓄積装置3に登録される。 Also, the face image is, unless with any match of the registered face image, the face image is registered in the flow line information storage device 3 as a new registered image. また、推定エンジン10は前記顔画像から来店客7の性別・年齢を推定して、その結果を動線情報蓄積装置3に登録するモジュールである。 Further, the estimated engine 10 estimates the gender and age of shopper 7 from the face image, a module for registering the result in the flow line information storage device 3.

動線情報蓄積装置3は、認証装置2および動線分析装置4による処理結果を蓄積する記憶装置であり、登録者データベース(DB)11、履歴ファイル12及び動線管理ファイル13を有する。 Flow line information storage device 3 is a storage device for storing the processing result by the authentication apparatus 2 and the flow line analysis apparatus 4, having a registrant database (DB) 11, a history file 12 and the flow line management file 13.

登録者データベース11は、監視カメラ6が顔画像を識別コード及びその顔画像に係る人物の属性、つまり、性別、年齢その他の属人的な情報と共に登録するデータベースである。 Registrant database 11, the person of attributes surveillance camera 6 according to the identification code and the face image a face image, i.e., a database for registering sex, with age and other Zokujin information. 前述したように、登録者データベース11に登録された顔画像は、顔認証エンジン9に読み出されて、顔検出エンジン8で検出された顔画像と照合される。 As described above, the face image registered in the registrant database 11 is read out to the face authentication engine 9 is collated with face images detected by the face detection engine 8. また、顔検出エンジン8で検出された顔画像が登録者データベース11に登録された顔画像のいずれとも一致しない場合、つまり、顔検出エンジン8で検出された顔画像が、動線管理システム1が初めて検出した人物の顔画像である場合は、顔認証エンジン9が、その顔画像に新たな識別コードを付与して、登録者データベース11に登録する。 Further, when the face image detected by the face detection engine 8 does not match any of the registered face image in the registrant database 11, that is, the face image detected by the face detection engine 8, the flow line management system 1 If a person's face image detected for the first time, the face authentication engine 9, by applying a new identification code to the face image is registered in the registrant database 11.

履歴ファイル12は、顔認証エンジン9で認証された顔画像と識別コードに、推定エンジン10で推定された当該顔画像に係る人物性別・年齢、及び当該顔画像が撮像された日時及び当該顔画像を撮像した監視カメラ6の識別コード(言い換えれば、当該顔画像が撮像された場所を示す情報である)を記載したファイルであり、監視カメラ6が来店客7を撮像し、顔検出エンジン8が顔画像を検出する度に作成される。 History file 12, and the identification code authentication face image in the face authentication engine 9, a person gender and age according to the face image that has been estimated by the estimation engine 10, and the face image is captured date and the face image (in other words, the face image is a is information indicating a location captured) the identification code of the monitoring camera 6 of the captured a file that contains a monitoring camera 6 images the shopper 7, the face detection engine 8 It is created each time of detecting a face image. したがって、同一の来店客7が同一の場所(同一の監視カメラ6の視野)に滞留すると、複数の履歴ファイル12が作成される。 Therefore, the same shopper 7 is staying in the same location (the field of view of the same surveillance cameras 6), a plurality of history file 12 is created. また、来店客7が、ある場所(ある監視カメラ6の視野)から別の場所(別の監視カメラ6の視野)に移動すると、移動する度に履歴ファイル12が作成される。 In addition, shopper 7, when you move from one location (the field of view of a surveillance camera 6) to another location (the field of view of another surveillance camera 6), history file 12 is created every time that you want to move.

動線管理ファイル13は、同一の識別コードを付された履歴ファイル12に記載された情報を集約して時系列に配列したファイルである。 Flow line management file 13 is a file that is arranged in a time series aggregates the information in the history file 12 which is marked with the same identification code.

動線分析装置4は、動線管理ファイル13を解析して、個々の来店客7(同一の識別コードを付された来店客7)の移動経路、撮影エリア別の滞留時間等の動線情報を算出し、蓄積するコンピュータである。 Flow line analysis apparatus 4 analyzes the flow line management file 13, the movement path, flow line information, such as different residence time imaging areas of the individual shopper 7 (shopper 7, labeled with the same identification code) It calculates the accumulation computer. また、動線分析装置4は、蓄積された多数の来店客7の動線情報を統計処理することもできる。 Further, the flow line analysis apparatus 4 can be statistically processing flow line information of a number of shopper 7 accumulated.

次に、図2を参照しながら、動線管理システム1の動作を説明する。 Next, referring to FIG. 2, the operation of the flow line management system 1.

動線管理システム1に接続された複数個の監視カメラ6は、それぞれの撮影エリアを常時、撮影して、来店客7を捜索する。 A plurality of surveillance cameras 6 which are connected to the flow line management system 1, the respective imaging areas at all times, by photographing and searching the shopper 7. いずれかの監視カメラ6の視野に来店客7が入ると、顔検出エンジン8でその来店客7の顔画像が検出される(ステップS1)。 When shopper 7 enters one of the field of view of the monitoring camera 6, the face image of the shopper 7 at the face detection engine 8 is detected (step S1).

来店客7の顔画像が検出されると、顔認証エンジン9が登録者データベース11から登録顔画像を読み出して、その顔画像と登録顔画像を照合し、両者が一致すれば、その顔画像に当該登録顔画像と同一の識別コードを付与する。 When the face image of the shopper 7 is detected, the face authentication engine 9 reads out the registered face image from the registrant database 11, and collates the registered face image and the face image, If they match, on the face image It imparts the same identification code and the registered face image. その顔画像が登録顔画像のいずれとも一致しなければ、その顔画像に新たな識別コードを付与するとともに、その顔画像を新たな識別コードと共に登録者データベース11に登録する(ステップS2)。 If it does not match any of the face image is a registered face image, as well as impart a new identification code to the face image is registered in the registrant database 11 the face image with a new identification code (step S2).

また、推定エンジン10は、顔検出エンジン8で検出された顔画像に基づいて、その顔画像に係る来店客7の性別及び年齢を推定し、その結果を登録者データベース11に登録する(ステップS3)。 Further, the estimated engine 10, based on the face images detected by the face detection engine 8, estimates the gender and age of shopper 7 in accordance with the face image, and registers the result in the registrant database 11 (step S3 ).

次に、動線情報蓄積装置3の履歴ファイル12に、顔画像の識別コード、顔画像が撮影された日付及び時刻、顔画像を撮影した監視カメラの識別コード、及び、その顔画像に係る来店客7の性別・年齢(推定エンジン10による推定値)を登録する(ステップS4)。 Next, the history file 12 of the flow line data storage device 3, the identification code of the face image, the date and time the face image is captured, the identification code of the monitoring camera by photographing a facial image, and visit according to the face image to register the gender and age of customers 7 (estimated by the estimation engine 10) (step S4).

履歴ファイル12が作成されたら、同一の識別コードを付された履歴ファイル12を集約して動線管理ファイル13を作成する(ステップS5)。 When the history file 12 is created, to aggregate history file 12, labeled the same identification code to create the flow line management file 13 (step S5). なお、動線管理ファイル13の作成は、履歴ファイル12が作成される度に実施してもよいし、所定のスケジュールに従って、定期的に実施してもよい。 Incidentally, creation of flow line management file 13 may be performed every time the history file 12 is created, according to a predetermined schedule or may be performed periodically. あるいは動線管理システム1の運転停止(例えば閉店)後に一括して実施するようにしてもよい。 Or it may be carried out collectively after the stop of the operation of the flow line management system 1 (e.g., closed).

前述したように、来店客7が同一の監視カメラ6の撮影エリアに留まっている場合、監視カメラ6は所定の周期で撮像を繰り返すから、来店客7の履歴ファイル12が多数作成される。 As described above, shopper 7 cases remains in imaging areas of the same monitoring camera 6, surveillance camera 6 from repeated imaging at a predetermined cycle, the history file 12 of shopper 7 is created number.

例えば、次のような時刻(時:分:秒)に同一の監視カメラ6が同一の来店客7を撮像して、履歴ファイル12を作成した場合を考える。 For example, the following time the same surveillance camera 6 (hours: minutes: seconds) is by imaging the same shopper 7, consider the case when you create a history file 12.
時刻1(10:00:00) Time 1 (10:00:00)
時刻2(10:00:05) Time 2 (10:00:05)
時刻3(10:00:10) Time 3 (10:00:10)
時刻4(10:00:15) Time 4 (10:00:15)
時刻5(10:00:50) Time 5 (10:00:50)
時刻6(10:01:00) Time 6 (10:01:00)
時刻7(10:01:10) Time 7 (10:01:10)

ある履歴ファイル12と直近の履歴ファイル12の撮像時刻の差が小さければ、その履歴ファイル12の撮像時刻と直近の履歴ファイル12の撮像時刻の間の時間は、来店客7は同一の監視カメラ6の撮影エリアに滞留していた見なすことができる。 Smaller differences in some history file 12 and the imaging time of the most recent history file 12, the time between the imaging time of the image capturing time and the most recent history file 12 of the history file 12, the shopper 7 same monitoring camera 6 it can be considered had been staying in the shooting area. そこで、滞留見なし時間を設定し、直近の履歴ファイル12の撮像時刻の差が滞留見なし時間未満である場合には、当該直近の履歴ファイル12を集約して撮影エリア別滞留サマリデータを作成する。 Therefore, to set the dwell regarded time, if the difference between the imaging time of the most recent history file 12 is less than the time deemed residence creates a specific shooting area residence summary data by aggregating the last history file 12. 例えば、滞留見なし時間を30秒に設定すると、時刻4と時刻5の履歴ファイル12の間の時間は35秒なので、滞留見なし時間を超える。 For example, if you set the residence regards time to 30 seconds, the time between the history file 12 time 4 and time 5 Since 35 seconds more than the residence regarded time. したがって、時刻4と時刻5の間で滞留が途切れたとみなして、次の2つの撮影エリア別滞留サマリデータを作成する。 Therefore, by regarding the retention between times 4 and times 5 is broken, to create a two shot area-specific residence summary data.

撮影エリア別滞留サマリデータA(10:00:00〜10:00:15) Specific imaging area residence summary data A (10: 00: 00~10: 00: 15)
撮影エリア別滞留サマリデータB(10:00:50〜10:01:10) Specific shooting area residence summary data B (10: 00: 50~10: 01: 10)

前記撮影エリア別滞留サマリデータAは、来店客7が監視カメラ6の撮影エリアに10時0分0秒から10時0分15秒まで滞留していたことを示し、前記撮影エリア別滞留サマリデータBは、来店客7が監視カメラ6の撮影エリアに10時0分50秒から10時1分10秒まで滞留していたことを示している。 The imaging area-specific residence summary data A indicates that the shopper 7 is staying from 10 o'clock, 0 minute, 0 second of the shooting area of ​​surveillance cameras 6 to 0 minutes 15 seconds at 10, the specific imaging area residence summary data B shows that the shopper 7 is staying 10:00 0 minutes 50 seconds shooting area surveillance camera 6 to 1 minute 10 seconds at 10. また、10時0分15秒から10時0分50秒の間は、来店客7は監視カメラ6の撮影エリア外に出ていたとみなされる。 Moreover, between 10 hours, 0 minutes, 15 seconds 10 hours, 0 minutes, 50 seconds, shopper 7 is considered to have been left out of the imaging area of ​​surveillance cameras 6. この撮影エリア別滞留サマリデータA及びBは動線管理ファイル13に記載される。 The specific imaging area residence summary data A and B are described in the flow line management file 13.

動線情報蓄積装置3に動線管理ファイル13が蓄積されると、動線分析装置4がこれを解析して、来店客7の動線情報を算出して記録する(ステップS6)。 When the flow line management file 13 in the flow line information storage device 3 is stored, the flow line analysis apparatus 4 analyzes this, and records the calculated flow line information of shopper 7 (step S6). 動線情報とは、特定の来店客7が、複数の監視カメラ6の撮影エリアを、何時、どのような順序で回ったか、また、各撮影エリアで、どの程度の時間滞留したかを示すデータである。 The flow line information, a particular shopper 7, the imaging area of ​​a plurality of monitoring cameras 6, when, what turned in order, also, in the photographing area, data indicating whether staying for how long it is. 言い換えれば、来店客7が、どの入り口から入店して、どの売り場をどのような順序で回って、どの出口から退店したのか、また、各売り場には何分ずつ滞在したかを示すデータである。 In other words, shopper 7, and visiting from which entrance, data indicating around which department in any order, or from which exit to that leaves the store, also whether to stay by many minutes in each department it is.

動線分析装置4は、動線分析装置4に記録された多数の来店客7の動線情報を統計処理して、性別や年齢層の違いによる来店客7の行動パターンの差異を分析することもできる(ステップS7)。 Flow line analysis apparatus 4, a flow line information of a number of shopper 7, which is recorded in the flow line analysis apparatus 4 by statistically processing, analyzing the difference in the behavior patterns of shopper 7 due to differences in gender and age may (step S7). また、性別や年齢層別の来店客7の行動パターンを更に分析すれば、売り上げ向上のための施策を検討することができる。 In addition, if further analysis of the behavior patterns of gender or age group of shopper 7, it is possible to consider measures for the sales improvement. 例えば、来店客7が滞留する場所と、売り上げ実績を比較して、来店客7の滞留時間に比べて、売り上げが大きくない場所を発見すれば、その場所に販売員を多く配置するなどの対策を立てることができる。 For example, measures such as the location where the shopper 7 is retained, by comparing the sales track record, compared to the residence time of the shopper 7, if discover the location of sales is not large, to place a lot of sales staff in its place it is possible to make a. また、来店客7の滞留時間が長い売り場(商品)が分かれば、来店客7の滞留時間が長い売り場(商品)の間に、それ以外の売り場(商品)を配置して、来店客7が全ての売り場(商品)を見て回るように誘導することができる。 In addition, if the residence time is long department of shopper 7 (products) is known, during the residence time is long department of shopper 7 (products), place the other department (goods), the shopper 7 it can be induced to look around all the department (products). また、新商品を配置した売り場に、どのような性別・年齢層の来店客7が滞留するかを知れば、当該新商品の購買層を絞り込んだ販売戦略を立案することができる。 In addition, the department placed the new product, knowing whether the shopper 7 of any gender and age groups to stay, it is possible to develop a sales strategy that narrowed down the demographics of the new products.

また、動線管理システム1では、登録者データベース11に登録されていない来店客7が発見される度に、その来店客7の顔画像を自動的に登録者データベース11に登録して、登録された来店客7の動線情報を収集するようにしたが、特定の人物の顔画像を事前に手動で登録するようにしてもよい。 Further, the flow line management system 1, each time the shopper 7 has not been registered in the registrant database 11 is found, it registers the face image of the shopper 7 to automatically registrant database 11 is registered It was to collect the flow line information of shopper 7, may be registered manually to advance the face image of a specific person.

店が特別の注意を払わなければならない特定の人物、例えば上得意客、あるいは、要注意人物等(以下、「監視対象者」という)の顔画像を、事前に登録者データベース11に登録しておいて、顔認証エンジン9が前記監視対象者の顔画像に一致する顔画像を発見した場合に、その旨を担当者に警報あるいは、通報するようにすれば、サービスやセキュリティの質の向上に役立つ。 Particular person that shops have to pay special attention, for example regular customer customer or, suspicious person or the like (hereinafter, referred to as a "person to be monitored") a face image of, you are pre-registered in the subscriber database 11 There are, in case of finding a face image in which the face authentication engine 9 coincides with the monitored person of the face image, an alarm to that effect to the person in charge or, if so notifies, help improve service and security quality .

具体的には、例えば、図3に示すように、動線情報蓄積装置3に監視対象登録装置14を、認証装置2に警報装置15を接続する。 Specifically, for example, as shown in FIG. 3, the monitoring target registration device 14 to the flow line data storage device 3, for connecting the alarm device 15 to the authentication device 2.

監視対象登録装置14は前記監視対象者の顔画像を登録者データベース11に登録する手段であり、警報装置15は顔認証エンジン9が前記監視対象者の顔画像に一致する顔画像を発見した場合に、警報を発する装置である。 Monitoring target registration unit 14 is a means for registering the face image of the person to be monitored in the registrant database 11, the alarm device 15 If you find a face image in which the face authentication engine 9 coincides with the monitored person of the face image in, it is a device that emits an alarm.

監視対象登録装置14は前記監視対象者の顔画像を登録者データベース11に登録する手段であり、外部から前記監視対象者の顔画像を動線情報蓄積装置3に入力できる装置であれば形式は問わない。 Monitoring target registration unit 14 is a means for registering the face image of the person to be monitored in the registrant database 11 format to any apparatus capable of inputting a face image of the person to be monitored in the flow line information storage device 3 from the outside No preference. 一般に、認証装置2、動線情報蓄積装置3及び動線分析装置4は、パーソナルコンピュータ等に必要なソフトウェアをインストールして実現されるから、監視対象登録装置14も、そのパーソナルコンピュータ等の入出力機能(例えば、CDROMドライブ)を利用して実現することができる。 In general, the authentication apparatus 2, the flow line data storage device 3 and the flow line analysis apparatus 4, since is realized by installing the necessary software in a personal computer or the like, also the monitoring target registration unit 14, input and output, such as the personal computer function (e.g., CDROM drive) can be realized by utilizing. あるいは、外部のコンピュータから送信される前記監視対象者の顔画像を受信する通信インターフェイスを監視対象登録装置14としてもよい。 Alternatively, a communication interface that receives the monitoring target's face image transmitted from an external computer may be monitored registration device 14.

警報装置15は顔認証エンジン9が前記監視対象者の顔画像に一致する顔画像を発見した場合に、警報を発する装置である。 Alarm device 15 in a case of finding a face image in which the face authentication engine 9 coincides with the monitored person of the face image, a device for issuing an alarm. 警報には音声、発光、画像などを利用することができる。 It can be utilized voice, light emission, images, etc. The alarm. 認証装置2、動線情報蓄積装置3及び動線分析装置4を構成するパーソナルコンピュータ等の出力装置(音声出力装置、画像出力装置など)を警報装置15に利用することもできる。 The authentication device 2, flow line information storage device 3 and output device (audio output device, such as an image output apparatus) such as a personal computer constituting the flow line analysis apparatus 4 may be the use the alarm device 15.

また、前記監視対象者の顔画像に有効期間を設けるようにしてもよい。 Further, there may be provided an effective period to the monitoring target's face image. 例えば監視対象登録装置14を使って、前記監視対象者の顔画像を登録者データベース11に登録する際に、当該顔画像の有効期間を入力して、有効期間が経過すると、当該顔画像を登録者データベース11から削除するようにプログラムしてもよい。 For example, using a monitoring target registration apparatus 14, when registering the face image of the person to be monitored in the registrant database 11, enter a valid period of the facial image, the valid period elapses, registers the face image it may be programmed to be deleted from the user database 11. あるいは有効期間が経過した顔画像は顔認証の対象から除外するように顔認証エンジン9をプログラムしてもよい。 Or validity period has elapsed face image may be programmed face recognition engine 9 to excluded from face authentication.

なお、動線管理システム1の設置場所や使用目的によっては、事前に登録されていない人物を検出したときに警報を発するように変形して使用することもできる。 Depending on the location and purpose of the flow line management system 1, it may also be used modified as issues an alarm upon detection of a person that is not registered in advance. つまり、顔認証エンジン9が前記監視対象者の顔画像に一致しない顔画像(つまり前記監視対象者の以外の人物の顔画像)を発見した場合に、警報装置15が警報を発するようにすることもできる。 That is, in a case of finding a face image in which the face authentication engine 9 does not correspond to the monitoring subject's face image (i.e. the person to be monitored person's face image other than the), the alarm device 15 is to emit an alarm It can also be. このようにすれば、例えば、従業員の顔画像を事前に登録しておいて、従業員以外の立ち入りが禁止されいるエリアで、来店客等が発見された場合に警報することができる。 If in this manner, for example, are allowed to register a face image of the employee in advance, in areas where entrance of non-employees have been prohibited, it is possible to alarm when the shopper or the like has been discovered.

さて、登録者データベース11に、同一の登録者について複数の顔画像を登録すれば、顔認証の精度が向上する。 Now, the registrant database 11, by registering a plurality of face images for the same registrant, to improve the accuracy of face recognition. 例えば、ある来店客7の顔部を正面から撮像した顔画像を登録者データベース11に登録した後で、当該来店客7と同一人物の横顔を撮像した場合に、当該来店客7の横顔の画像をデータベース11に追加登録しておけば、その後、当該来店客7の横顔を撮像した場合に、その顔画像が当該来店客7の顔画像であるあることを容易に認証することができる。 For example, certain face portion of shopper 7 After registering the face image captured from the front in the registrant database 11, when imaging the profile of the same person with the shopper 7, profile image of the shopper 7 the if in addition registered in the database 11, then, when capturing the profile of the shopper 7, it is possible that the facial image is easily authenticate that there is a face image of the shopper 7. しかしながら、同一人物の顔を撮像する度に登録者データベース11に顔画像を登録すれば、登録者データベース11の記憶容量が不足したり、顔認証の処理時間が長くなるという問題が生じる。 However, by registering the face image in the registrant database 11 every time imaging the face of the same person, or insufficient storage capacity of the registrant database 11, a problem that the processing time of the face authentication is longer occur.

そこで、顔認証エンジン9で、顔検出エンジン8で検出された顔画像と登録者データベース11に登録された登録顔画像の類似度を評価して認証スコア(全く類似しない場合には、0.0となり、全く同一の画像であれば、100.0となる)を算出し、この認証スコアと以下のルールに基づいて、顔検出エンジン8で検出された顔画像を登録者データベース11に自動登録するようにすれば、前記の問題を解決して、動線管理システム1の機能を向上させることができる。 Therefore, face authentication engine 9, if not evaluate and similar authentication scores (any similarity of the registered face image registered in the face image with register database 11 detected by the face detection engine 8, 0.0 next, if the identical image, calculates a 100.0), based this authentication score following rules to automatically register a face image detected by the face detection engine 8 in the registrant database 11 if so, to solve the above problems, it is possible to improve the function of the flow line management system 1.

(ルール1)全ての登録顔画像について、認証スコアが第1の水準Lv1未満である場合(認証スコアが第1の水準Lv1以上になる登録顔画像が登録者データベース11に登録されていない場合)は、来店客7を新規の来店者であると見なして、来店客7に新規の識別コードを与え、登録者データベース11に新規の登録者ファイルを作成して、その新規の登録者ファイルに当該識別コードとともに来店客7の顔画像を書き込む。 For (Rule 1) all of the registered face image, (if authentication score is registered face image becomes the first level Lv1 or higher is not registered in the registrant database 11) authentication score is less than the first level Lv1 is the shopper 7 is regarded as a new visit's to shopper 7 gives a new identification code, and create a new registrant files in the registrant database 11, the to the new registrant file writes the face image of the shopper 7 together with the identification code. 来店客7の顔画像を撮像した時刻も、前記登録者ファイルに書き込む。 Time of the captured face image of the shopper 7 is also written in the registrant files. ここで、認証スコアXとは両者の類似度を示すパラメータであり、全く類似しない場合には、認証スコアXは0.0となり、全く同一の画像であれば、認証スコアXは100.0となる。 Here, a parameter indicating a degree of similarity of both the authentication score X, if not at all similar, authentication score X becomes 0.0, if exactly the same image, the authentication score X 100.0 and Become.

(ルール2)全ての登録顔画像についての認証スコアが前記第1の水準Lv1以上であるが、第2の水準Lv2未満である場合は、認証スコアが最大になる登録顔画像が属する登録者ファイルに来店客7の顔画像を書き込む。 (Rule 2) authentication scores for all the registered face image is the first level Lv1 or higher, is less than the second level Lv2 is registrant files registered face image authentication score is maximized belongs writes the face image of the shopper 7. 認証スコアがこの範囲にあれば、来店客7の顔画像が認証スコアが最大になる登録者の顔画像である蓋然性が高いからである。 If authentication score is in this range, the face image authentication score of shopper 7 there is a high probability that a registered person of the face image to be maximum.

(ルール3)いずれかの登録顔画像についての認証スコアが第2の水準Lv2以上であるが、第3の水準Lv3 未満である場合は、当該登録顔画像が属する登録者ファイルに来店客7の顔画像を書き込む。 Authentication scores for (Rule 3) one of the registered face image but is the second level Lv2 above, is less than the third level Lv3 is registrant files to the shopper 7 in which the registered face image belongs writes the face image. 認証スコアがこの範囲にあれば、来店客7の顔画像が当該登録者の顔画像である蓋然性は極めて高く、かつ、来店客7の顔画像を当該登録者ファイルに追加登録することは、以後の顔認証の高精度化、高効率化に役立つからである。 If authentication score in this range, the probability facial image of shopper 7 is a face image of the registrant is extremely high, and it additionally registering the face image of shopper 7 in the registrant file, thereafter Improvement of the face authentication, because help efficiency.


(ルール4)いずれかの登録顔画像についての認証スコアが第3の水準Lv3以上である場合は、来店客7の顔画像の登録者データベース11への追加登録は一切行わない。 If the authentication score for (Rule 4) any of the registered face image is the third level Lv3 or more, the additional registration of the registrant database 11 of the face image of shopper 7 is not performed at all. つまり、来店客7の顔画像を破棄する。 In other words, destroy the face image of the shopper 7. 全く同一であると見なせる登録顔画像が既に登録されている場合に新たな顔画像を登録しても、以後の顔認証の精度の向上の利益は小さく、照合対象が増えることによる効率低下の不利益が大きいからである。 Be registered new face image when it is completely registered already registered face images which can be regarded to be identical, the small benefit of improving the accuracy of subsequent face authentication, the efficiency reduction due to the matching target is increased not This is because the profit is large.

上記のルールによる自動登録を行うために、図4に示すような自動登録プログラムを顔認証エンジン9に備える。 For automatic registration according to the above rules, an automatic registration program as shown in FIG. 4 in the face authentication engine 9. なお、この自動登録プログラムは、前述した動線管理システムの概略フローチャート(図2)のステップS2で実行される。 Note that this automatic registration program is executed in step S2 of schematic flow chart of a flow line control system described above (FIG. 2).

図4に示すように、顔検出エンジン8で来店客7の顔画像が検出されると、顔認証エンジン9が登録者データベース11から登録顔画像を読み出して(ステップS21)、その顔画像と登録顔画像を照合して、両者の認証スコアXを算出する(ステップS22)。 As shown in FIG. 4, when the face image of the shopper 7 at the face detection engine 8 is detected, the face authentication engine 9 reads out the registered face image from the registrant database 11 (step S21), and registration and the face image by collating a face image, it calculates both the authentication score X (step S22). ここで、認証スコアXとは両者の類似度を示すパラメータであり、全く類似しない場合には、認証スコアXは0.0となり、全く同一の画像であれば、認証スコアXは100.0となる。 Here, a parameter indicating a degree of similarity of both the authentication score X, if not at all similar, authentication score X becomes 0.0, if exactly the same image, the authentication score X 100.0 and Become.

認証スコアXが第3の水準Lv3以上であれば(ステップS23:YES)、そのまま、自動登録プログラムを終了する。 If authentication score X is the third level Lv3 more (step S23: YES), ends the automatic registration program. つまり、この場合は顔検出エンジン8で検出された来店客7の顔画像はどこにも登録されず、廃棄される。 In other words, the face image of shopper 7 in this case is detected by the face detection engine 8 is anywhere without being registered, is discarded.

また、認証スコアXが第3の水準Lv3未満(ステップS23:NO)で、第2の水準Lv2以上であれば(ステップS24:YES)、当該登録顔画像が属する登録者ファイルに来店客7の顔画像を登録して(ステップS25)、自動登録プログラムを終了する。 Moreover, less than authentication score X third level Lv3: in (step S23 NO), if the second level Lv2 more (step S24: YES), the registrant files the registered face image belongs shopper 7 to register the face image (step S25), and terminates the automatic registration program.

また、認証スコアXが第2の水準Lv2未満であって、(ステップS24:NO)、照合していない登録顔画像が登録者データベース11に残っていれば(ステップS26:YES)、ステップS21に戻って、次の登録顔画像を登録者データベース11から読み出して、前述の処理を繰り返す。 Further, the authentication score X is less than the second level Lv2, (step S24: NO), if the registration face image that is not the matching is still in the registrant database 11 (step S26: YES), the step S21 back, reads the next registered face image from the registrant database 11, the above processing is repeated.

すべての登録顔画像についての認証スコアが第2の水準Lv2未満であれば(ステップS26:NO)、ステップS27に進み、ここまでに算出した認証スコアXの最大値が第1の水準Lv1以上であれば(ステップS27:YES)、前記最大値に係る登録顔画像が属する登録者ファイルに来店客7の顔画像を登録して(ステップS28)、自動登録プログラムを終了する。 If the authentication score for all of the registered face image below a second level Lv2 (Step S26: NO), the process proceeds to step S27, the maximum value of the authentication score X calculated so far is the first level Lv1 or higher if (step S27: YES), the registered face images of shopper 7 in the registrant files registered face image belongs according to the maximum value (step S28), and ends the automatic registration program.

前記最大値が第1の水準Lv1未満、つまり、すべての認証スコアが第1の水準Lv1未満であれば(ステップS27:NO)、来店客7に新たな識別コードを与えるとともに、登録者データベース11に新たな登録者ファイルを作成して、前記新たな登録者ファイルに前記新たな識別コードと来店客7の顔画像を登録して(ステップS29)、自動登録プログラムを終了する。 Less than said maximum value is a first level Lv1, that is, if all of the authentication score is less than the first level Lv1 (step S27: NO), together with providing a new identification code to the shopper 7, registrant database 11 create a new registrant file in, I said to register a new identification code and the face image of the shopper 7 to the new registrant file (step S29), and terminates the automatic registration program.

また、顔検出エンジン8において、顔画像の向きを算出して、当該顔画像が正面画像と見なされる範囲(例えば正面画像の向きを0°とした場合に、−10°〜+10°の範囲)にある場合にだけ、ステップS29における新規登録者ファイルの作成と、顔画像の登録の登録を行うようにしてもよい。 Further, the face detection engine 8, by calculating the orientation of the face image, the face image is a range to be considered a front image (in case of a 0 ° orientation, for example the front image, the range of -10 ° ~ + 10 °) only when it is in, and the creation of a new registrant file in step S29, may be performed registration of registration of the face image. 正面画像は顔認証の基本データであるからである。 Front image is because the basic data of the face authentication.

また登録者ファイルに登録される顔画像の数に上限を設定して、この上限を超えた場合に、ステップS25あるいはステップS28における顔画像の追加登録を行わないようにプログラムしてもよい。 Also by setting an upper limit to the number of face images to be registered in the registrant file, if it exceeds the upper limit may be programmed so as not to additionally register a face image in step S25 or step S28. 登録者ファイルを大きくしないためである。 This is because you do not increase the registrant files.

このように、顔認証エンジン9に自動登録プログラムを備えると、来店客7の顔画像を既登録者の顔画像と比較して、その類似度に応じて既登録の登録者ファイルまたは新規の登録者ファイルに登録するので、動線管理システム1による顔認証の精度が向上する。 Thus, when an automatic registration program in the face authentication engine 9, by comparing the face image of the shopper 7 and registered's face image, the registrant files or new registration registered in accordance with the degree of similarity since it registered in the person file, to improve the accuracy of face authentication by the flow line management system 1.

なお、第1〜第3の水準Lv1〜Lv3の値は、所定の値に固定しておいてもよいし、ユーザが必要に応じて変更できるようにしてもよい。 The value of the first to third levels Lv1~Lv3 may be previously fixed to a predetermined value, may be user can modify as needed.

動線管理システムの例を示す概念的な構成図である。 It is a conceptual block diagram illustrating an example of a flow line control system. 前記動線管理システムの動作を示す概略フローチャートである。 It is a schematic flow chart illustrating the operation of the flow line management system. 動線管理システムの別の例を示す概念的な構成図である。 It is a conceptual configuration diagram showing another example of a flow line control system. 自動登録プログラムの例を示すフローチャートである。 Is a flowchart illustrating an example of an automatic registration program.

符号の説明 DESCRIPTION OF SYMBOLS

1 動線管理システム2 認証装置3 動線情報蓄積装置4 動線分析装置5 ネットワーク網6 監視カメラ 1 flow line management system 2 authentication device 3 flow line information storing apparatus 4 the flow line analysis apparatus 5 network system 6 surveillance camera
7 来店客8 顔検出エンジン9 顔認証エンジン10 推定エンジン11 登録者データベース12 履歴ファイル13 動線管理ファイル14 監視対象登録装置15 警報装置 7 shopper 8 face detection engine 9 face authentication engine 10 estimates the engine 11 registrant database 12 history file 13 flow line management file 14 monitored registration device 15 alarm device

Claims (2)

  1. 人物の顔画像を登録する登録者データベースと、 And the registrant database to register the face image of a person,
    複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、 A face image detection means for detecting a face image of a person from the image captured by the plurality of imaging areas,
    前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された顔画像とを照合する顔画像照合手段と、 A face image matching means for matching the face image registered in the detected face image and the registered person database the face image detection means,
    前記複数の撮影エリアのいずれか1の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、 Wherein the face image from any one of the image photographed by the imaging areas of the plurality of imaging areas are detected, by matching with the face image and is registered in the registrant database the face image, according to the face image person identifies which of the registrant, a time when photographing area and the face image in which the face image is photographed is photographed, the history file creating means for recording the identified registrant history file When,
    同一登録者を同一撮影エリアで撮影した前記履歴ファイルを時系列に配列した時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、 The history file obtained by photographing the same registrant in the same shooting area when arranged in time series, a series of the history file that the difference in the most recent capture time of one shooting time and the one of shooting time is equal to or lower than a predetermined threshold value to aggregate, to create a shooting area-specific residence summary data of the same registrant, includes an imaging area-specific residence summary data generation means for registering the flow line management file,
    複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムにおいて、 The image of the person reflected in an image captured by the plurality of imaging areas by the personal identification, the flow line management system to calculate and record the flow line,
    前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、 The registrant database comprises a subscriber file for registering the face image of a person for each said person,
    前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、 The face image matching means, to calculate the face image detected by the facial image detection means, the similarity of the registered registered face image in the registration database,
    全ての登録顔画像についての前記類似度が第1の閾値未満である場合に、前記登録者データベースに新たな登録者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、 If the degree of similarity of all of the registered face image is less than the first threshold value, the create new registrant file in the registrant database, the detected face image in the face image detecting means the new registered in the Do registrant files,
    全ての登録顔画像についての前記類似度が前記第1の閾値以上であって、第2の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、 It said degree of similarity for all the registered face image be more than the first threshold value, if it is less than the second threshold value, the face image detected in the registrant files registered image the degree of similarity is maximized belongs registers the detected face image section,
    いずれか1の登録画像に対する前記類似度が前記第2の閾値以上であって、第3の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、 A is the similarity to any one of the registered images is more than the second threshold value, if it is less than the third threshold value, the reference image is detected by the face image detection means in the registrant files belonging face register the image,
    いずれか1の登録画像に対する前記類似度が前記第3の閾値以上となる場合に、前記顔画像検出手段で検出された顔画像の前記登録者データベースへの登録を行わない自動登録手段を備える When the similarity to any one of the registered images is equal to or larger than the third threshold value, an automatic registration means does not perform registration in the registrant database the face image detected by the facial image detection means
    ことを特徴とする動線管理システム。 Flow line control system, characterized in that.
  2. コンピュータにインストールされて、当該コンピュータを It is installed in the computer, the computer
    人物の顔画像を登録する登録者データベースと、 And the registrant database to register the face image of a person,
    複数の撮影エリアで撮影された画像から人物の顔画像を検出する顔画像検出手段と、 A face image detection means for detecting a face image of a person from the image captured by the plurality of imaging areas,
    前記顔画像検出手段で検出された顔画像と前記登録者データベースに登録された登録顔画像とを照合する顔画像照合手段と、 A face image matching means for matching the registered face image registered in the detected face image and the registered person database the face image detection means,
    前記複数の撮影エリアのいずれか1の撮影エリアで撮影された画像から顔画像が検出されると、当該顔画像と前記登録者データベースに登録された顔画像と照合して、当該顔画像に係る人物が前記登録者の何れであるかを特定し、当該顔画像が撮影された撮影エリア及び当該顔画像が撮影された時刻を、前記特定された登録者の履歴ファイルに記録する履歴ファイル作成手段と、 Wherein the face image from any one of the image photographed by the imaging areas of the plurality of imaging areas are detected, by matching with the face image and is registered in the registrant database the face image, according to the face image person identifies which of the registrant, a time when photographing area and the face image in which the face image is photographed is photographed, the history file creating means for recording the identified registrant history file When,
    同一登録者を同一撮影エリアで撮影した前記履歴ファイルを時系列に配列した時に、一の撮影時刻と前記一の撮影時刻の直近の撮影時刻の差が所定の閾値以下となる一連の前記履歴ファイルを集約して、当該同一登録者の撮影エリア別滞留サマリデータを作成して、動線管理ファイルに登録する撮影エリア別滞留サマリデータ作成手段を備えて、 The history file obtained by photographing the same registrant in the same shooting area when arranged in time series, a series of the history file that the difference in the most recent capture time of one shooting time and the one of shooting time is equal to or lower than a predetermined threshold value to aggregate, to create a shooting area-specific residence summary data of the same registrant, includes an imaging area-specific residence summary data generation means for registering the flow line management file,
    複数の撮影エリアで撮影された画像に映る人物の画像を個人識別して、動線を算出・記録する動線管理システムとして機能させるプログラムにおいて、 The image of the person reflected in an image captured by the plurality of imaging areas by personal identification, in the program to function as a flow line control system to calculate and record the flow line,
    前記登録者データベースは、人物の顔画像を当該人物毎に登録する登録者ファイルを備え、 The registrant database comprises a subscriber file for registering the face image of a person for each said person,
    前記顔画像照合手段は、前記顔画像検出手段で検出された顔画像と、前記登録データベースに登録された登録顔画像の類似度を算出するとともに、 The face image matching means, to calculate the face image detected by the facial image detection means, the similarity of the registered registered face image in the registration database,
    前記動線管理システムは、 The flow line management system,
    全ての登録顔画像についての前記類似度が第1の閾値未満である場合に、前記登録者データベースに新たな登録者ファイルを作成して、前記顔画像検出手段で検出された顔画像を当該新たな登録者ファイルに登録し、 If the degree of similarity of all of the registered face image is less than the first threshold value, the create new registrant file in the registrant database, the detected face image in the face image detecting means the new registered in the Do registrant files,
    全ての登録顔画像についての前記類似度が前記第1の閾値以上であって、第2の閾値未満である場合に、前記類似度が最大になる登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、 It said degree of similarity for all the registered face image be more than the first threshold value, if it is less than the second threshold value, the face image detected in the registrant files registered image the degree of similarity is maximized belongs registers the detected face image section,
    いずれか1の登録画像に対する前記類似度が前記第2の閾値以上であって、第3の閾値未満である場合に、当該登録画像が属する登録者ファイルに前記顔画像検出手段で検出された顔画像を登録し、 A is the similarity to any one of the registered images is more than the second threshold value, if it is less than the third threshold value, the reference image is detected by the face image detection means in the registrant files belonging face register the image,
    いずれか1の登録画像に対する前記類似度が前記第3の閾値以上となる場合に、前記顔画像検出手段で検出された顔画像の前記登録者データベースへの登録を行わない自動登録手段を備える When the similarity to any one of the registered images is equal to or larger than the third threshold value, an automatic registration means does not perform registration in the registrant database the face image detected by the facial image detection means
    ことを特徴とするプログラム。 Program, characterized in that.
JP2008304916A 2008-07-31 2008-11-28 Flow line management system and program Active JP4753193B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008198522 2008-07-31
JP2008198522 2008-07-31
JP2008304916A JP4753193B2 (en) 2008-07-31 2008-11-28 Flow line management system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008304916A JP4753193B2 (en) 2008-07-31 2008-11-28 Flow line management system and program

Publications (2)

Publication Number Publication Date
JP2010055594A true JP2010055594A (en) 2010-03-11
JP4753193B2 true JP4753193B2 (en) 2011-08-24

Family

ID=41614893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008304916A Active JP4753193B2 (en) 2008-07-31 2008-11-28 Flow line management system and program

Country Status (2)

Country Link
JP (1) JP4753193B2 (en)
CN (1) CN101639922A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023264A (en) * 2016-06-13 2016-10-12 朱兰英 Indoor patrol analysis system based on human face
CN106023263A (en) * 2016-06-12 2016-10-12 朱兰英 Indoor patrol analysis method based on human face

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227710A (en) * 2010-04-20 2011-11-10 Mega Chips Corp Data processor, data processing system, and program
JP5507334B2 (en) * 2010-05-14 2014-05-28 本田技研工業株式会社 Registration apparatus, registration method and computer program
JP5618628B2 (en) * 2010-05-28 2014-11-05 エヌ・ティ・ティ・コムウェア株式会社 Person information automatic collection system and individual information automatic collection method and a program
JP5549418B2 (en) * 2010-06-25 2014-07-16 オムロン株式会社 An information processing apparatus and method, and program
JP5316906B2 (en) * 2010-09-29 2013-10-16 オムロン株式会社 An information processing apparatus and method, and program
JP2012094104A (en) * 2010-09-29 2012-05-17 Omron Corp Information processing device and method, and program
JP5680954B2 (en) * 2010-12-27 2015-03-04 株式会社構造計画研究所 The residence time measuring apparatus, the residence time measuring system, and the residence time measuring method
JP6049253B2 (en) * 2011-12-02 2016-12-21 綜合警備保障株式会社 Face authentication database management method, face authentication database management apparatus and face authentication database management program
JP5660638B2 (en) * 2012-03-22 2015-01-28 Necソリューションイノベータ株式会社 Characteristics determining device, characteristics determination method, and a program
KR20140114238A (en) 2013-03-18 2014-09-26 삼성전자주식회사 Method for generating and displaying image coupled audio
US9405978B2 (en) * 2013-06-10 2016-08-02 Globalfoundries Inc. Prioritization of facial recognition matches based on likely route
JP6067527B2 (en) * 2013-09-30 2017-01-25 株式会社日立ソリューションズ Mobile information management method and apparatus, and program
JP2015090579A (en) * 2013-11-06 2015-05-11 株式会社日立ソリューションズ Behavior analysis system
US20170011410A1 (en) * 2014-02-25 2017-01-12 Nec Corporation Information-processing device, data analysis method, and recording medium
JP2016045743A (en) * 2014-08-22 2016-04-04 東芝テック株式会社 Information processing apparatus and program
JP6289308B2 (en) * 2014-08-22 2018-03-07 東芝テック株式会社 Information processing apparatus and program
JP5937276B1 (en) * 2014-11-21 2016-06-22 中国電力株式会社 Visitor authentication system, and visitor authentication method
WO2017010316A1 (en) * 2015-07-16 2017-01-19 ソニー株式会社 Image capturing device and information processing system
JP2016219065A (en) * 2016-09-27 2016-12-22 株式会社野村総合研究所 Staying analysis system and method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3584334B2 (en) * 1997-12-05 2004-11-04 オムロン株式会社 Human detection and tracking system and human detection and tracking method
JP2000200357A (en) * 1998-10-27 2000-07-18 Toshiba Tec Corp Method and device for collecting human movement line information
JP2003263641A (en) * 2002-03-11 2003-09-19 Mitsubishi Heavy Ind Ltd Movement analyzing device
JP2004133805A (en) * 2002-10-11 2004-04-30 Ntt Data Corp Moving picture processing method, moving picture processing device and program for executing the method by computer
JP2004178129A (en) * 2002-11-26 2004-06-24 Toshiba Lighting & Technology Corp Sales floor plan support system
CN1650274A (en) * 2002-12-26 2005-08-03 富士通株式会社 Operation managing method and operation managing server
JP2005056173A (en) * 2003-08-05 2005-03-03 Hitachi Kiden Kogyo Ltd Management system for sales floor information
JP2005071252A (en) * 2003-08-27 2005-03-17 Casio Comput Co Ltd System for processing flow line information
JP2008511066A (en) * 2004-08-23 2008-04-10 ジェ ミュン アン Shopping pattern analysis system and method Rfid foundation
JP2007316867A (en) * 2006-05-24 2007-12-06 Toshiba Corp Area evaluation device and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023263A (en) * 2016-06-12 2016-10-12 朱兰英 Indoor patrol analysis method based on human face
CN106023264A (en) * 2016-06-13 2016-10-12 朱兰英 Indoor patrol analysis system based on human face

Also Published As

Publication number Publication date Type
JP2010055594A (en) 2010-03-11 application
CN101639922A (en) 2010-02-03 application

Similar Documents

Publication Publication Date Title
Ge et al. Vision-based analysis of small groups in pedestrian crowds
US20060291695A1 (en) Target detection and tracking from overhead video streams
US6421943B1 (en) Biometric authorization and registration systems and methods
US8098888B1 (en) Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
US20120274482A1 (en) Parking lot management system
US7957565B1 (en) Method and system for recognizing employees in a physical space based on automatic behavior analysis
US20120330721A1 (en) Triggering collection of consumer input based on location data
JP2005227957A (en) Optimal face image recording device and optimal face image recording method
US8224029B2 (en) Object matching for tracking, indexing, and search
US8665333B1 (en) Method and system for optimizing the observation and annotation of complex human behavior from video sources
US20030002712A1 (en) Method and apparatus for measuring dwell time of objects in an environment
JP2004328622A (en) Action pattern identification device
US20130063581A1 (en) Authentication system
US20080040277A1 (en) Image Recognition Authentication and Advertising Method
US20110022443A1 (en) Employment inference from mobile device data
US8295597B1 (en) Method and system for segmenting people in a physical space based on automatic behavior analysis
US20110228094A1 (en) Adaptive multi-modal integrated biometric identification detection and surveillance systems
JP2003187352A (en) System for detecting specified person
Introna et al. Facial recognition technology a survey of policy and implementation issues
US8116534B2 (en) Face recognition apparatus and face recognition method
JP2005259173A (en) Human detector, human detecting method and program
US20130266181A1 (en) Object tracking and best shot detection system
US20140314278A1 (en) Image processing apparatus, image processing method, program, and image processing system
US8380558B1 (en) Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US20110199486A1 (en) Customer behavior recording device, customer behavior recording method, and recording medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100506

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110216

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350