JP5888770B2 - Lost child detection system and method - Google Patents

Lost child detection system and method Download PDF

Info

Publication number
JP5888770B2
JP5888770B2 JP2011207350A JP2011207350A JP5888770B2 JP 5888770 B2 JP5888770 B2 JP 5888770B2 JP 2011207350 A JP2011207350 A JP 2011207350A JP 2011207350 A JP2011207350 A JP 2011207350A JP 5888770 B2 JP5888770 B2 JP 5888770B2
Authority
JP
Japan
Prior art keywords
child
guardian
information
party
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011207350A
Other languages
Japanese (ja)
Other versions
JP2013069128A (en
Inventor
雅典 小関
雅典 小関
Original Assignee
Necエンベデッドプロダクツ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necエンベデッドプロダクツ株式会社 filed Critical Necエンベデッドプロダクツ株式会社
Priority to JP2011207350A priority Critical patent/JP5888770B2/en
Publication of JP2013069128A publication Critical patent/JP2013069128A/en
Application granted granted Critical
Publication of JP5888770B2 publication Critical patent/JP5888770B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、多人数が来訪する場所等において、迷子の発生を早期に発見する迷子発見システム及び方法に関する。   The present invention relates to a lost child detection system and method for early detection of the occurrence of a lost child at a place where many people visit.

ショッピングセンターや子供向けイベント会場においては、子供が保護者からはぐれてしまういわゆる迷子の事象が発生しがちである。従来は、子供がいないことに気付いた保護者からの申告に基づいて、迷子となった子供の捜索を開始するため、実際に迷子となったときからその解決までの時間が長くかかりがちである。   In shopping centers and children's event venues, there is a tendency for children to get lost from their parents. Traditionally, the search for a lost child starts based on a report from a parent who notices that there are no children, so it tends to take a long time to resolve the lost child. .

特許文献1には、予め複数のカメラが配置されて映像を収集している会場内において迷子となった子供を捜すための迷子検索・監視システムが開示されている。この迷子検索・監視システムでは、現在までに撮影された(あるいは現に撮影しつつある)映像に映っている人物像の中から、迷子となった子供の人物像と類似しているものを検索することによって、その子供が現時点でどこにいるか(あるいは直前にどこにいたか)を探し出すものである。このシステムでは、迷子となった子供の人物像を必要とするが、これについては、迷子となる前にはその子供と保護者とは同一映像に記録されているであろうことを利用する。すなわち、保護者から迷子の発生の申告があったときに、その保護者の画像を撮影し、会場内のカメラで既に撮影した映像の中からその保護者が含まれているものを検索し、保護者と一緒に写っている子供を捜索対象の子供の候補として提示し、候補の中から捜索対象の子供が指定されたら、指定された子供の人物像を迷子となった子供の人物像として用いる。   Patent Document 1 discloses a lost child search / monitoring system for searching for a lost child in a venue where a plurality of cameras are arranged in advance and collecting images. This lost child search / monitoring system searches for images similar to the child image of the lost child from the images of the images that have been captured (or are currently being captured). To find out where the child is at the present time (or where it was just before). This system requires a portrait of a lost child, which takes advantage of the fact that the child and guardian would have been recorded in the same video before getting lost. In other words, when a guardian reports the occurrence of a lost child, he / she takes a picture of the guardian, searches the video already taken by the camera in the venue for the one that contains the guardian, The child shown with the guardian is presented as a candidate for the child to be searched, and if the child to be searched is specified from the candidates, the specified child's character image is used as the lost child's character image. Use.

特開2004−151820JP 2004-151820 A

保護者によって迷子発生の申告があってから、迷子となる子供の捜索を開始する場合には、迷子の発生に気付くのが遅くなればなるほど、子供が迷子状態となっている時間が長くなってしまう、という問題点がある。特許文献1に記載の迷子捜索・監視システムも保護者からの申告があることを前提としている。しかしながら、子供の連れ去りなどの犯罪を未然に防止する観点からも迷子の早期解決が必要であり、保護者からの申告の有無等によらず、迷子の事象の発生を早期に検出できるようにすることが求められている。   If you start searching for a lost child after a parent has declared a lost child, the later you notice the lost child, the longer the child is lost. There is a problem that. The lost child search / monitoring system described in Patent Document 1 is also premised on the declaration from the guardian. However, from the viewpoint of preventing crimes such as the removal of children, early resolution of lost children is necessary, so that the occurrence of lost children can be detected at an early stage regardless of whether or not there is a report from a parent. It is demanded.

本発明の目的は、保護者などからの申告に依存することなく、迷子の発生を早期に検出し、その迷子に対応できるようにする迷子発見システム及び方法を提供することにある。   An object of the present invention is to provide a lost child detection system and method capable of detecting the occurrence of a lost child at an early stage and responding to the lost child without depending on a report from a guardian or the like.

本発明の迷子発見システムは、子供とその子供の保護者とが来訪する場所に設けられる迷子発見システムであって、場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の年齢を推定する年齢推定手段と、各保護者について顔特徴情報を保持する保護者情報と、各子供についてその子供の顔特徴情報と迷子度と対応する保護者に関する保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、場所の入場口に設けられたカメラによる撮像データ内に写っている人物に関し、年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて保護者推定データベースに登録する保護者推定DB登録手段と、子供を含んでいる新たな撮像データに関し、その子供の顔特徴量に基づいて保護者推定データベース内の子供情報を検索してまず子供を特定してその子供に対応する保護者の保護者情報からその子供に対応する保護者の顔特徴情報を取得して撮像データとのマッチングを行うことにより、子供が保護者と一緒に写っているか否かを判別し、一緒に写っていればその子供の迷子度をダウンし、一緒に写っていなければアップし、その後、迷子度がしきい値に達していればアラームを発生する保護者推定手段と、を有する。 The lost child detection system of the present invention is a lost child detection system provided in a place where a child and a guardian of the child visit, and a visitor image database that holds imaging data from a plurality of cameras provided in the place. And face feature information extraction means for extracting facial feature information of a person included in the captured image data from each captured image data in the visitor image database; and a person included in the captured image data from each captured image data in the visitor image database Age estimation means for estimating the age of the child, guardian information for holding the facial feature information for each guardian, links to the guardian information for the parent corresponding to the child's facial feature information and the degree of lost child for each child, and A child information database, a guardian estimation database, and a person shown in the image data taken by the camera provided at the entrance of the place Based on the estimated age obtained by the age estimating means, the child is classified into a parent and a guardian thereof, the guardian estimation DB registration means for registering the classified child and the guardian in association with each other in the guardian estimation database, and the child The child information in the guardian estimation database is searched based on the face feature amount of the child regarding the new imaging data included, and the child is first identified and the child is identified from the guardian information of the guardian corresponding to the child. By acquiring the facial feature information of the guardian corresponding to the and matching it with the imaging data, it is determined whether or not the child is photographed together with the guardian. And a guardian estimating means for generating an alarm if the lost child degree reaches a threshold value.

本発明の迷子発見方法は、子供とその子供の保護者とが来訪する場所における迷子発見方法であって、各保護者について顔特徴情報を保持する保護者情報と、各子供についてその子供の顔特徴情報と迷子度と対応する保護者に関する保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用い、場所内に複数台設けられたカメラからの撮像データを来場者画像データベースに保持することと、画像処理により、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の顔特徴情報を抽出することと、画像処理により、推定年齢として、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の年齢を推定することと、場所の入場口に設けられたカメラによる撮像データ内に写っている人物に関し、推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて、保護者推定データベースに登録することと、子供を含んでいる新たな撮像データに関し、子供の顔特徴量に基づいて保護者推定データベース内の子供情報を検索してまずその子供を特定してその子供に対応する保護者の保護者情報からその子供に対応する保護者の顔特徴情報を取得して撮像データとのマッチングを行うことにより、子供が保護者と一緒に写っているか否かを判別し、一緒に写っていればその子供の迷子度をダウンし、一緒に写っていなければアップし、その後、迷子度がしきい値に達していればアラームを発生することと、を有する。 The lost child detection method of the present invention is a lost child detection method in a place where a child and a guardian of the child visit, the guardian information holding face feature information for each guardian, and the child's face for each child Using the parental information database that holds the feature information and the child information that has links to the parental information related to the parent that corresponds to the degree of lost child, the image data from a plurality of cameras installed in the location is received by the visitors and be held in the image database, the image processing from the image pickup data of the visitor image database and Rukoto issuing extract the facial feature information of a person included in the image pickup data, the image processing, as the estimated age, visitors and estimating the age of a person included in the captured data from the imaging data in the image database, imaging by a camera provided on the entrance location data Categorized as a child and its guardian based on the estimated age, registering the classified child and its guardian in association with each other, registering them in the guardian estimation database, and including a new child For specific imaging data, search the child information in the guardian estimation database based on the facial feature amount of the child, first identify the child, and protect the child from the guardian information of the parent corresponding to the child By acquiring the facial feature information of the person and matching with the imaging data, it is determined whether or not the child is photographed with the guardian, and if it is photographed together, the child's lost level is reduced, It is up if it is not taken together, and then an alarm is generated if the lost child level reaches a threshold value.

本発明では、入場口での撮像データに基づいて子供とその子供に対応する保護者とを判別して保護者推定データベースに登録し、その後の新たな撮像データにおいて子供が保護者とは一緒に写っていない場合にはその子供の迷子度を大きくし、迷子度がしきい値に達した時点でアラームを自動的に発生させることにより、子供が保護者と離れて行動していることを推測できて、保護者が気づいていない早期の段階から迷子の発生を検出できるように、迷子の早期解決を可能とすることができる。   In the present invention, a child and a guardian corresponding to the child are discriminated based on the image data at the entrance and registered in the guardian estimation database, and the child is together with the guardian in the new image data thereafter. If it is not visible, increase the child's lost level and automatically generate an alarm when the lost level reaches the threshold to guess that the child is acting away from the parent It is possible to make it possible to resolve the lost child early so that the occurrence of the lost child can be detected from an early stage that the guardian is not aware of.

本発明の実施の一形態の迷子発見システムの構成を示す概要図である。It is a schematic diagram which shows the structure of the lost child discovery system of one Embodiment of this invention. 実施の一形態の迷子発見システムの構成を示すブロック図である。It is a block diagram which shows the structure of the lost child detection system of one Embodiment. 実施の一形態の迷子発見システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the lost child discovery system of one Embodiment. 実施の一形態の迷子発見システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the lost child discovery system of one Embodiment. 実施の一形態の迷子発見システムの動作を説明する図である。It is a figure explaining operation | movement of the lost child discovery system of one Embodiment. 実施の一形態の迷子発見システムの動作を説明する図である。It is a figure explaining operation | movement of the lost child discovery system of one Embodiment. 実施の一形態の迷子発見システムの動作を説明する図である。It is a figure explaining operation | movement of the lost child discovery system of one Embodiment. 実施の一形態の迷子発見システムの動作を説明する図である。It is a figure explaining operation | movement of the lost child discovery system of one Embodiment. 入場口の構造の一例を示す図である。It is a figure which shows an example of the structure of an entrance. 入場口の構造の一例を示す図である。It is a figure which shows an example of the structure of an entrance.

次に本発明の実施の形態について、図面を参照して説明する。図1は、本発明の実施の一形態の迷子発見システムの概要を示している。ここで示す例では、子供連れを含む多数の来訪者がある場所としてショッピングセンターを例に挙げ、ショッピングセンターにおいて迷子の早期発見を行う場合を説明する。   Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows an overview of a lost child detection system according to an embodiment of the present invention. In the example shown here, a shopping center is taken as an example of a place where there are many visitors including children, and a case where early detection of a lost child is performed in the shopping center will be described.

ショッピングセンター10では、例えば、1階に食料品売り場、2階に婦人服売り場、3階に玩具売り場と子供服売り場が設けられているものとし、1階の入場口と各売り場とには、来場者を撮像するために、それぞれカメラ11が設けられている。カメラ11で撮像されたデータは、ネットワークを構成するハブ12を介して、管理装置13に送信される。管理装置13は、例えば、パーソナルコンピュータなどによって構成することができる。特にこの迷子発見システムでは、来場者が来場した時点で画像処理によって保護者と子供とを対応付けており、このため、入場口では、保護者と子供との組み合わせごとにそれらの保護者と子供とが一緒に写った画像を取得する必要がある。そこで後述するように、一例として入場口において回転扉を用い、保護者と子供との組み合わせごとに回転扉を介して入場するようにしてその入場の際にカメラ11によって画像を取得する。   In the shopping center 10, for example, there is a grocery store on the first floor, a women's clothing store on the second floor, a toy store and a children's clothing store on the third floor, Cameras 11 are provided for capturing images of visitors. Data captured by the camera 11 is transmitted to the management apparatus 13 via the hub 12 constituting the network. The management device 13 can be configured by, for example, a personal computer. In particular, in this lost child detection system, a guardian and a child are associated with each other by image processing when the visitor arrives. Therefore, at the entrance, for each combination of the guardian and the child, the guardian and the child. It is necessary to acquire an image that is taken together. Therefore, as will be described later, as an example, a revolving door is used at the entrance, and each combination of a guardian and a child enters through the revolving door, and an image is acquired by the camera 11 at the time of admission.

図2は、本実施形態の迷子発見システムの構成を示すブロック図である。   FIG. 2 is a block diagram showing the configuration of the lost child detection system of this embodiment.

ショッピングセンター10内の各所に配置された複数台のカメラ11と、管理装置13とは、ハブ12(図1参照)を含むネットワーク14を介して接続している。複数台のカメラ11には、重複がないようにカメラ番号が付与されている。図示したものでは、入場口、食料品売り場、婦人服売り場、玩具売り場及び子供服売り場のカメラ11に対し、それぞれ、1〜5のカメラ番号が付与されているものとする。各カメラ11は、レンズとイメージセンサなどを備えて実際に画像を取得する撮像部21と、撮像部21で取得した撮像データから画像処理によって顔を検出し、その撮像データ中に含まれる人物の人数を検出人数として判定する顔検出部22と、ネットワーク14と接続するインタフェース(I/F)23とを備えている。顔検出部22は、例えば、公知の技術によって、撮像データから瞳を検出することにより顔を検出するものである。各カメラ11から管理装置13へは、ネットワーク14を介して、当該カメラのカメラ番号と、撮像データと、その撮像データの撮像時刻と、その撮像データに対する検出人数とが送信されるようになっている。   A plurality of cameras 11 arranged at various locations in the shopping center 10 and the management apparatus 13 are connected via a network 14 including a hub 12 (see FIG. 1). Camera numbers are assigned to the plurality of cameras 11 so as not to overlap. In the illustrated example, the camera numbers 1 to 5 are assigned to the cameras 11 at the entrance, the grocery store, the women's clothing store, the toy store, and the children's clothing store, respectively. Each camera 11 includes a lens, an image sensor, and the like. The imaging unit 21 that actually acquires an image, and detects a face by image processing from the imaging data acquired by the imaging unit 21, and the person included in the imaging data A face detection unit 22 for determining the number of persons as the number of detected persons and an interface (I / F) 23 connected to the network 14 are provided. For example, the face detection unit 22 detects a face by detecting a pupil from imaging data by a known technique. From each camera 11 to the management apparatus 13, the camera number of the camera, imaging data, the imaging time of the imaging data, and the number of detected people for the imaging data are transmitted via the network 14. Yes.

管理装置13は、ネットワーク14に対して接続するインタフェース(I/F)31と、各カメラ11による撮像データを保存するためのデータベース(DB)である来場者画像DB32と、人物を特定するために、撮像データから検出された顔の特徴点を顔特徴情報として抽出する顔特徴情報抽出部33と、撮像データから検出された顔からその人物の年齢を推定する年齢推定部34と、顔特徴情報抽出部33によって抽出された顔特徴情報と年齢推定部34によって推定された推定年齢とを保持する顔特徴DB35と、子供情報と保護者情報と第三者情報とがリンク付けされて記録されるデータベースである保護者推定DB36と、保護者推定DB36中の指定された子供情報に対応する保護者もしくは第三者として保護者情報もしくは第三者情報を保護者推定DB36に登録する保護者推定DB登録部37と、保護者推定部38と、を備えている。保護者推定部38は、推定年齢から子供を含んでいると判定された撮像データに関し、その撮像データによる画像中の子供以外の人物について、その人物の顔画像特徴と、保護者推定DB36においてその画像中の子供に対応する子供情報に関連付けられている保護者の顔画像特徴とのマッチングを行い、一致すれば保護者として推定し、一致しなければ第三者として推定する。保護者推定部38は、推定結果と保護者推定DB36内の各情報とに基づいて、迷子の発生などを検知し、アラームを出力する機能も備えている。   The management device 13 specifies an interface (I / F) 31 connected to the network 14, a visitor image DB 32 that is a database (DB) for storing imaging data of each camera 11, and a person A facial feature information extraction unit 33 that extracts facial feature points detected from the imaging data as facial feature information; an age estimation unit 34 that estimates the age of the person from the face detected from the imaging data; and facial feature information A face feature DB 35 that holds the face feature information extracted by the extraction unit 33 and the estimated age estimated by the age estimation unit 34, and child information, guardian information, and third party information are linked and recorded. Parental information DB as a parent or a third party as a parent or a third party corresponding to the child information designated in the parental estimation DB 36 It includes a guardian estimation DB registration unit 37 for registering a three-party information to the guardian estimation DB 36, with parents estimating unit 38, a. The guardian estimation unit 38 relates to imaging data determined to include a child from the estimated age, and for the person other than the child in the image based on the imaging data, the person's face image characteristics and the guardian estimation DB 36 Matching is performed with the face image features of the guardian associated with the child information corresponding to the child in the image. If they match, it is estimated as a guardian, and if they do not match, it is estimated as a third party. The guardian estimation unit 38 also has a function of detecting the occurrence of a lost child based on the estimation result and each information in the guardian estimation DB 36 and outputting an alarm.

ここで、管理装置13内に設けられる3つのデータベース(来場者画像DB32、顔特徴DB35及び保護者推定DB36)について説明する。   Here, three databases (visitor image DB32, face feature DB35, and guardian estimation DB36) provided in the management apparatus 13 will be described.

カメラ11による撮像データを保存するための来場者画像DB32は、カメラ番号で特定されるカメラごとに、及び、撮像時刻ごとに、撮像データとその撮像データ中に含まれる人物の人数(すなわち検出人数)とを格納するものであり、データフィールドとして、「カメラ番号」、「撮像データ」、「撮像時刻」及び「検出人数」を備えている。来場者画像DB32には、管理装置13がネットワーク14を介してそれぞれのカメラ11から撮像データを受け取るたびに、その撮像データが蓄積されることになる。   The visitor image DB 32 for storing the image data captured by the camera 11 includes the image data and the number of persons included in the image data (that is, the number of detected persons) for each camera specified by the camera number and for each image capturing time. ), And the data fields include “camera number”, “imaging data”, “imaging time”, and “number of detected people”. Each time the management apparatus 13 receives imaging data from each camera 11 via the network 14, the imaging data is accumulated in the visitor image DB 32.

顔特徴DB35は、各撮像データに含まれる人物像ごとに、顔特徴情報抽出部33によって抽出された顔特徴情報と年齢推定部34によって推定された推定年齢とを保持する。例えば、あるカメラのある時刻の撮像データに3人の人物が写っていたとすれば、その撮像データから顔特徴DB35における3件分のデータレコードが生成することになる顔特徴DB35は、データフィールドとして、「カメラ番号」、「撮像時刻」、「顔特徴情報」及び「推定年齢」を備えている。

The face feature DB 35 holds the face feature information extracted by the face feature information extracting unit 33 and the estimated age estimated by the age estimating unit 34 for each human image included in each image data. For example, if three people are captured in the imaging data at a certain time of a certain camera, three data records in the face feature DB 35 are generated from the imaging data . The face feature DB 35 includes “camera number”, “imaging time”, “face feature information”, and “estimated age” as data fields.

保護者推定DB36は、上述したように、子供情報と保護者情報と第三者情報とをリンク付けして記録するデータベースである。ここで子供情報とは、推定年齢により子供であると判断された来場者ごとに、その子供である来場者の顔特徴情報、推定年齢、迷子度、保護者情報及び第三者情報への関連付けを記録するものであり、データフィールドとして、「子供番号」、「顔特徴情報」、「推定年齢」、「迷子度」、「保護者情報へのリンク」、「第三者情報へのリンク」を含んでいる。子供番号は、子供である来場者を重複なく識別するために一意に付与される番号である。   As described above, the guardian estimation DB 36 is a database that records child information, guardian information, and third party information in a linked manner. Here, the child information means that each visitor determined to be a child by the estimated age is associated with the face feature information, estimated age, lost child degree, guardian information, and third party information of the visitor who is the child. The data fields include “child number”, “facial feature information”, “estimated age”, “lost child degree”, “link to parental information”, “link to third party information” Is included. The child number is a number uniquely assigned to identify a visitor who is a child without duplication.

保護者情報とは、入場口で取得した撮像データにおいて子供と一緒に写っていたことにより、その子供の保護者と推定した来場者ごとに、その来場者の顔特徴情報、推定年齢、保護者同伴度、他の保護者情報への関連付けを記録するものであり、データフィールドとして、「保護者番号」、「顔特徴情報」、「推定年齢」、「保護者同伴度」、「次の保護者情報へのリンク」を含んでいる。保護者番号は、保護者と推定された来場者を重複なく識別するために一意に付与される番号である。子供情報から保護者情報へのリンク付けは、子供情報の「保護者情報へのリンク」のフィールドに、その子供に対応する保護者の保護者番号を格納することによって行われる。1人の子供に対して2人以上の保護者が対応する場合があり得るが、その場合は、子供情報の「保護者情報へのリンク」のフィールドに複数の保護者番号を格納するか、あるいは、子供情報の「保護者情報へのリンク」には1人分の保護者番号を格納し、残りの保護者については、子供情報からリンクされている保護者情報の「次の保護者情報へのリンク」に保護者番号を格納することにより、ディジーチェーン形態で子供情報から保護者情報をたぐることができるようにする。   Parental information refers to each person who is estimated to be the parent of the child in the captured image data acquired at the entrance, so that the face feature information, estimated age, and parent The degree of companion and the association with other guardian information are recorded, and data fields include “guardian number”, “facial feature information”, “estimated age”, “guardian companion degree”, “next protection” Link to person information ". The guardian number is a number uniquely assigned to identify a visitor estimated to be a guardian without duplication. The link from the child information to the guardian information is performed by storing the guardian number of the guardian corresponding to the child in the “link to the guardian information” field of the child information. There may be cases where two or more guardians respond to one child. In that case, a plurality of guardian numbers are stored in the “link to guardian information” field of the child information, Alternatively, the guardian number for one person is stored in the “link to guardian information” of the child information, and the “next guardian information” of the guardian information linked from the child information is stored for the remaining guardians. By storing the guardian number in "Link to", the guardian information can be retrieved from the child information in the form of a daisy chain.

第三者情報とは、子供でもその子供に対して推定された保護者でもないが、いずれかの撮像データにおいてその子供と一緒に写っていた来場者(以下、第三者と呼ぶ)に関する情報であり、子供情報や保護者情報とは異なって、そのような第三者の存在が確認されたときに初めて生成されるものである。第三者情報は、第三者であると判断された来場者ごとに、その来場者の顔特徴情報、推定年齢、第三者同伴度、他の第三者情報への関連付けを記録するものであり、データフィールドとして、「第三者番号」、「顔特徴情報」、「推定年齢」、「第三者同伴度」、「次の第三者情報へのリンク」を含んでいる。第三者番号は、第三者と判断された来場者を重複なく識別するために一意に付与される番号である。子供情報から第三者情報へのリンク付けは、子供情報の「第三者情報へのリンク」のフィールドに、その子供に対応する第三者の第三者番号を格納することによって行われる。1人の子供に対して2人以上の第三者が対応する場合があり得るが、その場合は、子供情報の「第三者情報へのリンク」のフィールドに複数の第三者番号を格納するか、あるいは、子供情報の「第三者情報へのリンク」には1人分の第三者番号を格納し、残りの第三者については、子供情報からリンクされている第三者情報の「次の第三者情報へのリンク」に第三者番号を格納することにより、ディジーチェーン形態で子供情報から第三者情報をたぐることができるようにする。なお、推定された保護者であるか第三者であるかは、子供である来場者からの関係で決定されるので、ある子供の保護者として推定された人物が、他の子供との関係では第三者となることは起こり得ることである。   Third-party information is information about a visitor (hereinafter referred to as a third party) that was shown with the child in any of the imaging data, although it was neither a child nor a guardian estimated for the child. Unlike child information and guardian information, it is generated only when the existence of such a third party is confirmed. Third-party information is recorded for each visitor who is determined to be a third party, and records their facial feature information, estimated age, degree of third-party companionship, and association with other third-party information. The data fields include “third party number”, “face feature information”, “estimated age”, “degree of third party companion”, and “link to next third party information”. The third party number is a number uniquely assigned to uniquely identify a visitor who is determined to be a third party. The link from the child information to the third party information is performed by storing the third party third party number corresponding to the child in the “link to third party information” field of the child information. In some cases, two or more third parties may correspond to one child. In that case, multiple third party numbers are stored in the “Link to third party information” field of the child information. Or store the third party number for one person in the “link to third party information” of the child information, and the third party information linked from the child information for the remaining third parties By storing the third party number in the “link to the next third party information”, the third party information can be obtained from the child information in the form of a daisy chain. Whether the parent is an estimated parent or a third party is determined by the relationship from the visitors who are children, so the person who is estimated as the parent of a child has a relationship with other children. So becoming a third party can happen.

次に、保護者指定DB36に格納される「迷子度」、「保護者同伴度」及び「第三者同伴度」について説明する。   Next, the “lost child degree”, “guardian accompanying degree”, and “third party accompanying degree” stored in the guardian designation DB 36 will be described.

迷子度とは、例えば0以上の整数値で表され、その値が大きいほど、子供である来場者についてその子供が迷子であるとことがより強く推定される指標である。入場口で撮像された画像において推定年齢から子供と判断された人物が、その後に撮像された画像において、その子供に関して推定された保護者と一緒には写っていない場合、すなわち、その子供一人で行動しているか、保護者以外の来場者のみとともに写っている場合に、迷子度の値は大きく(例えば、1だけアップ(すなわちインクリメント))される。一方、子供がその保護者と一緒に画像に写っている場合には、迷子度の値は小さく(例えば、1だけダウン(すなわちデクリメント))されるか、あるいはゼロにリセットされる。入場口では子供とその保護者とは一緒の画像に写っているので、迷子度の初期値はゼロとする。以下の説明において、入場口での撮像により推定年齢から子供と判断された人物のことを単に「子供」と呼ぶ。ある子供に関して迷子度があるしきい値(例えば、3)以上となった場合に、保護者推定部38は、その子供に関して迷子になったおそれがあるとして、アラームを発生する。   The lost child degree is expressed by an integer value of, for example, 0 or more, and is an index that more strongly estimates that a child is a lost child for a visitor who is a child as the value increases. A person who is determined to be a child from the estimated age in the image taken at the entrance is not shown together with the guardian estimated for the child in the image taken thereafter, that is, the child alone The value of the lost child degree is increased (for example, increased by 1 (that is, incremented) by 1) when the user is acting or is captured with only the visitors other than the guardian. On the other hand, if the child is in the image with the guardian, the lost child value is reduced (eg, decreased by 1 (ie, decremented) by 1) or reset to zero. Since the child and his / her guardian are shown in the same image at the entrance, the initial value of the lost child degree is set to zero. In the following description, a person determined to be a child from the estimated age by imaging at the entrance is simply referred to as “child”. When the degree of lost child for a certain child becomes equal to or greater than a certain threshold value (for example, 3), the guardian estimating unit 38 generates an alarm that there is a possibility that the child has lost the child.

保護者同伴度とは、入場口での撮像によってある子供の保護者と推定された人物(以下、単に「保護者」と呼ぶ)に関し、その人物とリンクされている子供とどれだけ一緒にいるかを示す指標であって、例えば、0以上の整数値で表されるものである。新たに入力した画像において子供が、その子供に関連付けられている保護者と一緒に写っている場合に、その保護者についての保護者同伴度が大きく(例えば、1だけアップ)され、そうでない場合には、保護者同伴度は小さく(例えば、1だけダウン)される。1人の子供に2人の保護者が対応することもあるが、その場合、いずれかの画像において一方の保護者だけが子供と一緒に映っていたとすれば、当該画像に写っている方の保護者の保護者同伴度を大きくし、写っていない方の保護者同伴度を小さくする。入場口では子供とその保護者とは一緒の画像に写っているので、保護者同伴度の初期値は例えば10とする。この初期値は、子供と一緒に画像に写っている保護者についての保護者同伴度の最小値としても使用することができる。このように最小値を設定すると、子供と別れて行動していたなどの理由で保護者同伴度が例えば7などになっていたとしても、子供と同一画像に写ることで、保護者同伴度は少なくとも10にまで回復することになる。子供とその保護者が常に同じ行動をとっていると、保護者同伴度が際限なく大きくなる可能性があるので、保護者同伴度のとりうる値に上限を設け、上限に達した後は、画像において子供と一緒にその保護者が写っている場合には保護者同伴度を変化させないようにしてもよい。   The degree of parental companion refers to a person who is estimated to be a parent of a child by imaging at the entrance (hereinafter simply referred to as “guardian”), and how much together with the child linked to that person is. For example, it is expressed by an integer value of 0 or more. When a child appears in a newly entered image together with a guardian associated with the child, the degree of guardian companion for the guardian is increased (for example, by 1), otherwise The guardian companion degree is reduced (for example, by 1). Two guardians may correspond to one child. In that case, if only one guardian is shown with the child in any of the images, the one in the image Increase the guardian's degree of guardian companion, and decrease the degree of guardian companion who is not in the picture. Since the child and his / her guardian are shown in the same image at the entrance, the initial value of the guardian companion level is set to 10, for example. This initial value can also be used as the minimum value of the degree of parental companion for the parent who is shown in the image with the child. When the minimum value is set in this way, even if the guardian companion degree is 7, for example, because he / she was separated from the child, the guardian companion degree is It will recover to at least 10. If the child and his / her guardian are always taking the same action, the guardian's degree of companion may increase without limit. When the guardian is shown together with the child in the image, the degree of guardian companion may not be changed.

第三者同伴度は、子供の連れ去りなどのおそれを早期に発見するために設けられた指標であり、例えば、0以上の整数値で表されるものである。入場口での撮像データ中には子供と写ってはいないのでその子供の保護者ではないが、それ以降に撮像された画像において子供と一緒に写っている人物を第三者と定義する。ある子供に関してその子供がその保護者とは一緒に写っていない画像において、ある第三者がその子供と一緒に写っていれば、その第三者についての第三者同伴度が大きく(例えば、1だけアップ)される。一方、画像においてその子供が単独で写っている場合、あるいは、その第三者も写っているがその子供の保護者とも一緒に写っている場合には、その第三者についての第三者同伴度は小さく(例えば、1だけダウン)される。ただし、保護者と第三者が子供と一緒に撮像データ中に写っている場合には、最低でも第三者同伴度が1となるようにする。ある子供に関してその子供と対応付けられている第三者の第三者同伴度があるしきい値(例えば、3)以上となった場合に、保護者推定部38は、その子供に関して第三者による連れ去りのおそれがあるとして、アラームを発生する。第三者は入場口での画像では子供とは写っていないので、第三者同伴度の初期値は潜在的には0であるが、実際には、子供と一緒に写っている第三者を初めて検出した時点で上述した保護者推定DB36中の第三者情報が生成されるので、第三者を初めて検出した時点でゼロでない第三者同伴度をその第三者に与えるようにすればよい。また、第三者同伴度の値が正からゼロになった時点で、対応する第三者の第三者情報自体を保護者推定DB36から削除してしまえばよい。   The third-party accompanying degree is an index provided for early detection of the risk of taking away a child, and is represented by an integer value of 0 or more, for example. Since the image data at the entrance does not show the child, it is not a guardian of the child, but a person who is shown with the child in the images taken after that is defined as a third person. If an image of a child is not shown with the guardian and the third person is shown with the child, the third party is more likely to be associated with the child (for example, 1 up). On the other hand, if the child is shown alone in the image, or if the third party is also shown but also with the guardian of the child, the third party accompanying the third party The degree is reduced (eg, down by 1). However, when the guardian and the third party are captured in the image data together with the child, the degree of third party companion is set to 1 at a minimum. When a third party accompanying the third party associated with the child is more than a certain threshold (for example, 3), the guardian estimating unit 38 sets the third party regarding the child. An alarm is generated as there is a risk of being taken away. Since the third party is not shown as a child in the image at the entrance, the initial value of the third party's degree of companion is potentially 0, but in reality, the third person is shown with the child. Since the third party information in the guardian estimation DB 36 described above is generated at the time when the third party is detected for the first time, it is recommended that the third party be given a non-zero third party companion degree when the third party is first detected. That's fine. Moreover, the third party information itself of the corresponding third party may be deleted from the guardian estimation DB 36 when the third party companion degree value changes from positive to zero.

本実施形態では第三者同伴度を規定しているが、第三者同伴度を用いることにより、保護者以外の第三者と子供が行動を共にしていることを早期に検出できるので、連れ去りなどの万が一の犯罪の発生抑止に寄与することができる。   In this embodiment, the degree of third party companion is regulated, but by using the third party companion degree, it can be detected early that a third party other than the guardian and the child are acting together, It can contribute to the prevention of crimes such as taking away.

「迷子度」、「保護者同伴度」及び「第三者同伴度」についての説明から明らかなように、入場口での撮像データに基づいて子供とその保護者との関連付けがなされ、それに基づいて保護者推定DB36に子供情報と保護者情報が記録されているとして、保護者推定部38は、入場口以外で撮像され新たに入力した撮像データであって子供を含む画像に関し、顔特徴量に基づいて保護者推定DB36内の子供情報を検索してまずその子供を特定し、その画像に子供が単独で写っていれば迷子度をアップして保護者同伴度と第三者同伴度をダウンし、その画像に保護者が写っていれば迷子度と第三者同伴度をダウンして保護者同伴度をアップし、その画像に保護者は写っていないが第三者が写っていれば迷子度と第三者同伴度をアップして保護者同伴度をダウンする処理を行い、迷子度と第三者同伴度のいずれかがそれぞれのしきい値に達した場合にアラームを発生する処理を実行する。   As is clear from the descriptions of “lost child”, “guardian companion” and “third party companion”, the child is associated with the guardian based on the imaging data at the entrance, and based on that Assuming that the child information and the guardian information are recorded in the guardian estimation DB 36, the guardian estimation unit 38 relates to the image including the child that is newly input imaged data captured outside the entrance, and includes facial features. First, the child information in the guardian estimation DB 36 is searched based on the above information, and the child is first identified. If the child appears alone in the image, the lost child degree is increased, and the degree of guardian companion and the degree of third party companion are increased. If a guardian appears in the image, the lost child degree and third party companion degree are lowered to increase the guardian companion degree, and the guardian is not reflected in the image, but the third party is reflected Protects by increasing the degree of lost children and the degree of accompanying third parties It performs a process of down-entrained degree, either lost degree and third-party entrained degree executes a process of generating an alarm when it reaches the respective threshold.

次に、この迷子発見システムの動作を説明する。   Next, the operation of this lost child detection system will be described.

まず、図3を用いて、入場口で撮像した撮像データに対する処理を説明する。ステップ101では、入場口のカメラ11において、撮像を行って来場者の瞳検出を行い、そのカメラのカメラ番号と撮像データと検出人数と撮像時刻とを管理装置13に送信する。入場口では、子供と保護者との対応付けを行うために、子供と保護者とが1枚の画像に収まるように誘導して撮像を行うようにする。次にステップ102において、管理装置13では、カメラ11から送信されてきたこれらのデータを来場者画像DB32に登録する。   First, the process for the image data captured at the entrance will be described with reference to FIG. In step 101, the entrance camera 11 performs imaging to detect the pupils of the visitors, and transmits the camera number, imaging data, number of detected persons, and imaging time of the camera to the management device 13. At the entrance, in order to associate the child with the guardian, the child and the guardian are guided so as to fit in one image and imaged. Next, in step 102, the management apparatus 13 registers these data transmitted from the camera 11 in the visitor image DB 32.

次に、ステップ103において、来場者画像DB32に登録された撮像データから、顔特徴情報抽出部33が顔特徴情報を抽出し、年齢推定部34が年齢を推定し、これらの顔特徴情報と推定年齢とは、対応する撮像データのカメラ番号と撮像時刻とともに、顔特徴DB35に登録される。ステップ104では、対象としている撮像データから検出された全ての人物に関して顔特徴データDB35への登録が行われたかどうかをチェックし、未処理の人物があればステップ103に戻り、検出された全ての人物に関して処理が完了していれば、ステップ105に進む。   Next, in step 103, the facial feature information extraction unit 33 extracts facial feature information from the captured image data registered in the visitor image DB 32, the age estimation unit 34 estimates the age, and estimates the facial feature information. The age is registered in the face feature DB 35 together with the camera number and imaging time of the corresponding imaging data. In step 104, it is checked whether or not all persons detected from the target imaging data have been registered in the face feature data DB 35. If there is an unprocessed person, the process returns to step 103, and all detected persons are detected. If the process for the person has been completed, the process proceeds to step 105.

ステップ105では、保護者推定DB登録部37が、顔特徴DB35に登録されたデータに関してその中に子供が存在するかを判断し、存在していなければそのまま処理を終了し、存在していれば、ステップ106において保護者推定DB36への登録処理を行ってから、処理を終了する。ステップ106の登録処理では、同一の撮像データから検出された人物に関し、推定年齢から子供と判断される人物に関する顔特徴情報と推定年齢とを保護者推定DB36の子供情報に登録し、子供とは判断されなかった人物を保護者として、保護者の顔特徴情報と推定年齢とを保護者推定DB36の保護者情報に登録する。これらの処理は、同一の撮像データから検出された全ての人物に関して実行される。   In step 105, the guardian estimation DB registration unit 37 determines whether or not a child exists in the data registered in the face feature DB 35. If there is no child, the process is terminated. In step 106, the registration process to the guardian estimation DB 36 is performed, and then the process ends. In the registration process of step 106, facial feature information and estimated age related to a person determined to be a child from the estimated age are registered in the child information of the guardian estimation DB 36 for the person detected from the same imaging data. The person who has not been determined is regarded as a guardian, and the face feature information and the estimated age of the guardian are registered in the guardian information of the guardian estimation DB 36. These processes are executed for all persons detected from the same imaging data.

以上の処理により、入場口で撮像された画像に基づいて、子供とその潜在保護者とが関連付けられて保護者推定DB36に登録されたことになる。   Through the above processing, the child and the potential guardian are associated and registered in the guardian estimation DB 36 based on the image captured at the entrance.

次に、入場口以外のカメラ11(すなわち、各売り場等に設けられたカメラ11)で撮像した撮像データに対する処理を説明する。   Next, processing for image data captured by the camera 11 other than the entrance (that is, the camera 11 provided at each sales floor) will be described.

ステップ111において、各売り場などに設けられたカメラ11において撮像を行って来場者の瞳検出を行い、そのカメラのカメラ番号と撮像データと検出人数と撮像時刻とを管理装置13に送信する。次にステップ112において、管理装置13では、カメラ11から送信されてきたこれらのデータを来場者画像DB32に登録する。次に、ステップ113において、来場者画像DB32に登録された撮像データから、顔特徴情報抽出部33が顔特徴情報を抽出し、年齢推定部34が年齢を推定し、これらの顔特徴情報と推定年齢とは、対応する撮像データのカメラ番号と撮像時刻とともに、顔特徴DB35に登録される。ステップ114では、対象としている撮像データから検出された全ての人物に関して顔特徴データDB35への登録が行われたかどうかをチェックし、未処理の人物があればステップ113に戻り、検出された全ての人物に関して処理が完了していれば、ステップ115に進む。ステップ115では、保護者推定部38が、顔特徴DB35に登録されたデータに関してその中に子供が存在するかを判断し、存在していなければそのまま処理を終了し、存在していれば、ステップ116に進む。   In step 111, the camera 11 provided at each sales floor or the like performs imaging to detect the pupils of the visitors, and transmits the camera number, imaging data, number of detected persons, and imaging time of the camera to the management device 13. Next, in step 112, the management apparatus 13 registers these data transmitted from the camera 11 in the visitor image DB 32. Next, in step 113, the face feature information extraction unit 33 extracts the face feature information from the captured image data registered in the visitor image DB 32, the age estimation unit 34 estimates the age, and estimates the face feature information. The age is registered in the face feature DB 35 together with the camera number and imaging time of the corresponding imaging data. In step 114, it is checked whether or not all persons detected from the target imaging data have been registered in the face feature data DB 35. If there is an unprocessed person, the process returns to step 113, and all detected persons are detected. If the process is completed for the person, the process proceeds to step 115. In step 115, the guardian estimation unit 38 determines whether or not a child exists in the data registered in the face feature DB 35. If it does not exist, the process is terminated. Proceed to 116.

ステップ116では、子供を含む現在処理対象としている撮像データに関し、保護者推定部38が、その子供の顔特徴に基づいて保護者推定DB36内の子供情報を検索してどの子供であるかを特定し、その子供に対応した保護者を検索する。具体的には、顔特徴DB35から得られたその子供の顔特徴情報と同じ顔特徴情報である子供を子供情報から検索する。   In step 116, regarding the imaging data that is currently processed including the child, the guardian estimation unit 38 searches the child information in the guardian estimation DB 36 based on the child's facial features and identifies which child is the child. And search for a guardian corresponding to the child. Specifically, a child having the same face feature information as that of the child obtained from the face feature DB 35 is searched from the child information.

次にステップ117において、保護者推定部38は、現在処理対象としている撮像データ中に、ステップ116で特定した子供以外の人物が存在するかどうかを調べ、もし存在すればその人物を現時点推定保護者とする。現時点推定保護者には、入場口での撮像によってその子供に関連付けられた保護者と、第三者との両方が含まれ得る。ステップ117ののち、ステップ118では、撮像データ中に現時点推定保護者が含まれているかどうかを判断し、現時点推定保護者がいればステップ119に進み、いなければステップ125に進む。   Next, in step 117, the guardian estimation unit 38 checks whether or not a person other than the child specified in step 116 exists in the imaging data that is currently processed. I will be a person. Current estimated parents may include both parents associated with the child by imaging at the entrance and third parties. After step 117, in step 118, it is determined whether or not the current estimated guardian is included in the imaging data. If there is a current estimated guardian, the process proceeds to step 119, and if not, the process proceeds to step 125.

ステップ119では、保護者推定部38は、特定された子供に関し、保護者推定DB36内の子供情報中の「保護者情報へのリンク」をたどってその子供の保護者情報を取得し、保護者情報中の顔特徴情報と現時点推定保護者の顔特徴情報とをマッチングさせる。ステップ120では、マッチングの結果、一致したかどうか、すなわち、対象とした撮像データ中に保護者がいたかどうかを判断する。一致した場合は、子供がその保護者と同一行動をとっている場合なので、ステップ121において、当該保護者の保護者同伴度をアップし、その子供の迷子度をダウンし、第三者同伴度が設定されている場合であればその第三者同伴度もダウンする。ただし、現時点推定保護者が複数存在し、一方が保護者であって他方が第三者である場合もあるが、その場合は、第三者同伴度を原則としてダウンさせるものの、第三者同伴度がゼロにはならないようにする。   In step 119, the guardian estimation unit 38 acquires the guardian information of the child by following the “link to guardian information” in the child information in the guardian estimation DB 36 for the identified child, The face feature information in the information is matched with the face feature information of the currently estimated guardian. In step 120, it is determined whether or not there is a match as a result of the matching, that is, whether or not there is a guardian in the target imaging data. If there is a match, the child is taking the same action as the guardian. In step 121, the guardian degree of the guardian is increased, the child's lost child degree is lowered, and the third party companion degree is decreased. If is set, the third party's degree of companion will also go down. However, there are cases where there are multiple presumed guardians at the present time, one of which is a guardian and the other is a third party. Make sure the degree is never zero.

ステップ120において一致しなかった場合、これは、子供と一緒に写っている現時点推定保護者が第三者である場合なので、ステップ122において、その第三者について第三者情報が作成されていなければ第三者情報を作成した上で、当該第三者に対する第三者同伴度をアップし、子供の迷子度をアップし、保護者同伴度をダウンする。その後、ステップ123において、第三者同伴度がしきい値に達したかどうかを判断する。しきい値に達していない場合にはそのまま処理を終了し、しきい値に達した場合には、第三者による連れ去りのおそれがあるとして、ステップ124において、保護者推定部38は、アラームを発生し、その上で保護者の所在検索を行って処理を終了する。保護者の所在検索は、対象となる子供に関連した保護者の保護者情報に含まれる顔特徴情報を抽出し、その顔特徴情報と同じ顔特徴情報のデータを顔特徴DB内35で検索して、その顔特徴情報を含む撮像データのカメラ番号(すなわち撮像場所)と撮像時刻とを求めることによって行われる。当然のことながら、より直近の撮像データが優先して検索される。また、1人の子供に対して複数の保護者が対応する場合もあるが、その場合は、保護者同伴度の高い方の保護者を優先して検索する。   If there is no match in step 120, this is the case when the presumed guardian shown with the child is a third party, so in step 122 third party information must have been created for the third party. For example, after creating third party information, increase the third party companion degree for the third party, increase the child's lost child degree, and lower the guardian companion degree. Thereafter, in step 123, it is determined whether the third party accompanying degree has reached a threshold value. If the threshold value has not been reached, the processing is terminated as it is, and if the threshold value has been reached, the guardian estimating unit 38 issues an alarm in step 124 because there is a risk of being taken away by a third party. Then, the parent's location search is performed, and the process is terminated. In the parental location search, the facial feature information included in the parental guardian information of the parent related to the target child is extracted, and the same facial feature information data as the facial feature information is searched in the facial feature DB 35. Then, it is performed by obtaining the camera number (that is, the imaging location) and the imaging time of the imaging data including the face feature information. As a matter of course, the most recent image data is preferentially searched. In addition, a plurality of guardians may correspond to one child, but in that case, the guardian who has a higher degree of guardian companion is preferentially searched.

ステップ118において現時点推定保護者が存在しない場合は、対象としている子供が1人で行動しているときであるので、ステップ125において、保護者推定部38は、その子供の迷子度をアップし、対応する保護者の保護者同伴度をダウンし、対応する第三者同伴度が正の場合にはその第三者同伴度もダウンする。その後、ステップ126において、迷子度がしきい値に達したかどうかを判断する。しきい値に達していない場合にはそのまま処理を終了し、しきい値に達した場合には、迷子になっているおそれがあるとして、ステップ127において、保護者推定部38は、アラームを発生し、その上で保護者の所在検索を行って処理を終了する。保護者の所在検索のやり方については、ステップ124の場合と同様である。   If there is no current estimated guardian in step 118, it means that the target child is acting alone, so in step 125, the guardian estimating unit 38 increases the child's lost child degree, The guardian companion degree of the corresponding guardian is reduced, and when the corresponding third party companion degree is positive, the third party companion degree is also lowered. Thereafter, in step 126, it is determined whether the lost child level has reached a threshold value. If the threshold value has not been reached, the processing is terminated as it is, and if the threshold value has been reached, the guardian estimation unit 38 generates an alarm in step 127 because there is a possibility of getting lost. Then, the parent's location search is performed and the process is terminated. The way of searching for the parent's location is the same as in the case of step 124.

以上の処理により、保護者推定部38は、迷子の発生や連れ去りのおそれなどを早期に発見してアラームを出力することができる。   Through the above processing, the guardian estimating unit 38 can detect the occurrence of a lost child or the possibility of being taken away at an early stage and output an alarm.

上述したように管理装置13は、パーソナルコンピュータなどのコンピュータを用いて構成することができる。コンピュータによって管理装置13を構成する場合には、上述した各機能を実現するためのプログラムを用意し、そのプログラムをコンピュータ上で実行させればよい。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述の実施形態における管理装置13として機能させ、前述した処理を行わせる。   As described above, the management apparatus 13 can be configured using a computer such as a personal computer. When the management device 13 is configured by a computer, a program for realizing the above-described functions may be prepared and the program may be executed on the computer. The program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, and is read by the computer at the time of starting up the computer, etc. And function as the management device 13 in FIG.

以下、例を挙げて本実施形態を説明する。図5〜図8において、太線で示された枠内は、カメラで撮像された撮像データの異例を示しており、子供Aと大人Pを結ぶ線などの細線で示されたものは、保護者推定DB36内での結びつきの関係を示している。   Hereinafter, the present embodiment will be described with examples. In FIGS. 5 to 8, the inside of the frame indicated by the thick line shows an example of the image data captured by the camera, and the thin line such as a line connecting the child A and the adult P indicates the guardian. The connection relationship in the estimation DB 36 is shown.

図5は子供1人(子供A)とその保護者1人(大人P)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと大人Pとが一緒に撮像され、これにより、子供Aに対して大人Pが保護者であると関連付けられ、保護者推定DB36に登録される。このとき、子供Aの迷子度は0であり、大人Pの保護者同伴度は10である。続いて、(b)に示すように、子供Aと大人Pのほかに、もう一人の人物(大人X)が同一画像内に映ったとする。子供Aと大人Pは子供とその保護者の関係にあるが、大人Xは第三者に該当するので、保護者推定DB36中では、子供Aの迷子度は0、大人Pの保護者同伴度は11とされ、大人Xの第三者同伴度は1にされる。続いて、(c)に示すように、子供Aが単独で撮像されたら、子供Aの迷子度がアップされて1となり、大人Pの保護者同伴度はダウンして10となり、大人Xの第三者同伴度も0にされる。その後、子供Aはしばらくの間、1人で行動していたとすると、(d)に示すように、子供Aの迷子度が3になってしきい値に達し、迷子アラームが発生する。このとき、大人Pの保護者同伴度はさらにダウンされて8となる。(e)に示すように、子供Aと大人Pとが落ち合って同一撮像データ中に存在するようになると、子供Aの迷子度は0となり、迷子アラームが解除する。   FIG. 5 shows a case where one child (child A) and one guardian (adult P) come together. As shown to (a), in the entrance camera 11, the child A and the adult P are imaged together, whereby the child P is associated with the adult P as a guardian, and the guardian estimation DB 36 Registered in At this time, the child A has a lost child degree of 0 and the adult P has a guardian companion degree of 10. Then, as shown in (b), it is assumed that in addition to the child A and the adult P, another person (adult X) appears in the same image. Child A and adult P are in the relationship between the child and their guardian, but since adult X is a third party, child A's lost child degree is 0 and adult P's guardian companion degree in the guardian estimation DB 36 11 is set, and the degree of adult X accompanying the third party is set to 1. Subsequently, as shown in (c), when the child A is imaged alone, the child A's lost child degree is increased to 1, the adult P's guardian companion level is decreased to 10, and the adult X's Triad companion level is also reduced to zero. Thereafter, if the child A has been acting alone for a while, the lost child degree of the child A reaches 3 and reaches a threshold value as shown in (d), and a lost child alarm is generated. At this time, the degree of guardian companion of the adult P is further lowered to 8. As shown in (e), when the child A and the adult P meet and come to exist in the same imaging data, the child A's lost child degree becomes 0 and the lost child alarm is released.

図6は子供1人(子供A)とその保護者1人(大人P)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと大人Pとが一緒に撮像され、図5(a)のときと同様に、保護者推定DB36に登録される。このとき、子供Aの迷子度は0であり、大人Pの保護者同伴度は10である。続いて、(b)に示すように、子供Aと大人Pのほかに、第三者(大人X)が同一画像内に映ったとすると、子供Aの迷子度は0、大人Pの保護者同伴度は11とされ、大人Xの第三者同伴度は1にされる。続いて、(c)に示すように、子供Aと第三者である大人Xが同一画像中に撮像されたが保護者(大人P)がいないとすると、子供Aの迷子度がアップされて1となり、大人Pの保護者同伴度はダウンして10となり、大人Xの第三者同伴度は2にされる。その後、子供Aと第三者である大人Xとが同一行動をとっていたとすると、(d)に示すように、大人Xの第三者同伴度が3になってしきい値に達し、連れ去りアラームが発生する。このとき、大人Pの保護者同伴度はさらにダウンされて9となり、子供Aの迷子度も2となる。(e)に示すように、子供Aと大人Pとが落ち合って同一撮像データ中に存在するようになると、大人Xの第三者同伴度はダウンしてしきい値未満となり、連れ去りアラームが解除する。   FIG. 6 shows a case where one child (child A) and one guardian (adult P) come together. As shown in (a), at the entrance camera 11, the child A and the adult P are imaged together and registered in the guardian estimation DB 36 as in FIG. 5 (a). At this time, the child A has a lost child degree of 0 and the adult P has a guardian companion degree of 10. Next, as shown in (b), if a third party (adult X) appears in the same image in addition to the child A and the adult P, the child A's lost child degree is 0 and the adult P is accompanied by a guardian The degree is set to 11, and the degree of third party accompanying the adult X is set to 1. Subsequently, as shown in (c), if child A and adult X who is a third party are captured in the same image but there is no guardian (adult P), the lost degree of child A is increased. The parental degree of the adult P is decreased to 10, and the third party of the adult X is set to 2. Then, if the child A and the adult X who is a third person are taking the same action, as shown in (d), the third person's companion degree of the adult X reaches 3 and reaches the threshold. An alarm occurs. At this time, the guardian companion degree of the adult P is further lowered to 9, and the lost child degree of the child A is also 2. As shown in (e), when the child A and the adult P meet and exist in the same imaging data, the degree of third party companion of the adult X falls below the threshold value, and the take-away alarm is canceled To do.

図7は子供2人(子供A、子供B)とその保護者1人(大人P)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと子供Bと大人Pとが一緒に撮像され、その結果、子供Aに対して大人Pが対応付けられ、子供Bに対しても大人Pが対応付けられ、保護者推定DB36に登録される。子供Aに関し、迷子度は0であり、子供Aからみた大人Pの保護者同伴度は10である。同様に子供Bについても迷子度は0であり、子供Bからみた大人Pの保護者同伴度も10である。次に、子供Aと子供Bとが別行動となり、保護者である大人Pは子供Bと一緒に行動したものとする。このとき、(b)に示すように、子供Aの画像には第三者である大人Xが写っているとすると、そこには保護者はいないので、子供Aの迷子度は1となり、子供Aに対する大人Pの保護者同伴度はダウンして9となり、子供Aに対する大人Xの第三者同伴度が1となる。同時に、子供Aが写っているのとは別のカメラでは、(c)に示すように、子供Bと大人Pとが一緒に写っており、こちらでは、子供Bの迷子度は0であり、子供Bに対する大人Pの保護者同伴度はアップして11となる。その後、子供A、子供B及び大人Pが一緒に行動すると、(d)に示すように、子供A、子供B及び大人Pが同一のカメラ内で撮像されることとなって、子供Aの迷子度は0となり、子供Aに対する大人Pの保護者同伴度はアップして10となり、子供Aに対する大人Xの第三者同伴度は0となる。子供Bの方は引き続き迷子度が0であって、子供Bに対する大人Pの保護者同伴度はさらにアップして12となる。   FIG. 7 shows a case where two children (child A and child B) and one guardian (adult P) come together. As shown to (a), in the entrance camera 11, the child A, the child B, and the adult P are imaged together. As a result, the adult P is associated with the child A. Is also associated with the adult P and registered in the guardian estimation DB 36. With regard to the child A, the lost child degree is 0, and the guardian companion degree of the adult P viewed from the child A is 10. Similarly, for child B, the degree of lost child is 0, and the degree of guardian companion of adult P viewed from child B is also 10. Next, it is assumed that the child A and the child B have different actions, and the adult P who is a guardian has acted together with the child B. At this time, as shown in (b), if an image of child A shows an adult X as a third party, since there is no guardian there, child A's lost child degree becomes 1, The guardian companion degree of adult P with respect to A goes down to 9, and the third person companion degree of adult X with respect to child A becomes 1. At the same time, in a camera other than the child A, the child B and the adult P are photographed together as shown in (c). Here, the child B has a lost child degree of 0, The degree of parental companion of adult P with respect to child B is increased to 11. Thereafter, when the child A, the child B, and the adult P act together, the child A, the child B, and the adult P are imaged in the same camera as shown in FIG. The degree is 0, the degree of parental companion of adult P to child A is increased to 10, and the degree of third party accompanying adult X to child A is zero. The child B continues to have a lost child degree of 0, and the adult P's guardian companion degree for the child B further increases to 12.

図8は子供1人(子供A)とその保護者2人(大人P、大人Q)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと大人Pと大人Qとが一緒に撮像され、その結果、子供Aに対して大人Pと大人Qとが対応付けられ、保護者推定DB36に登録される。子供Aの迷子度は0であり、大人Pと大人Qの保護者同伴度はいずれも10である。次に、(b)に示すように、同一画像に子供Aと大人Qと第三者である大人Xが写っているとすると、保護者がいるので子供Aの迷子度は0のままであり、大人Qの保護者同伴度は11にアップし、大人Xの第三者同伴度は1となる。大人Pについては、子供Aとは一緒にはいないので、保護者同伴度は9にダウンする。次に、(c)に示すように、子供Aと大人Xだけが写って保護者が写らなかった場合には、子供Aの迷子度が1となり、大人Xの第三者同伴度は2となり、大人Pと大人Qの保護者同伴度はいずれもダウンしてそれぞれ8と10になる。次に、(d)に示すように、画像には子供Aだけが写っているとすると、子供Aの迷子度は2となり、大人Pと大人Qの保護者同伴度はいずれもダウンしてそれぞれ7と9になり、大人Xの第三者同伴度は1となる。その後、(e)に示すように、今度は、大人Pと子供Aが一緒に行動している場合には、子供Aの迷子度は0にされ、大人Pの保護者同伴度はアップして10となり、大人Qの保護者同伴度はダウンして8となり、大人Xの第三者同伴度は0となる。   FIG. 8 shows a case where one child (child A) and two guardians (adult P, adult Q) come together. As shown to (a), in the entrance camera 11, the child A, the adult P, and the adult Q are imaged together. As a result, the adult P and the adult Q are associated with the child A and protected. Registered in the person estimation DB 36. Child A has a lost child degree of 0, and adult P and adult Q have a guardian companion degree of 10. Next, as shown in (b), if child A, adult Q, and adult X, who is a third person, are shown in the same image, the lost child degree of child A remains 0 because there is a guardian. The adult companion degree of adult Q is increased to 11, and the adult companion degree of adult X is 1. Since the adult P is not together with the child A, the guardian companion degree is lowered to 9. Next, as shown in (c), when only the child A and the adult X are captured and the guardian is not captured, the child A has a lost child degree of 1, and the adult X has a third party companion degree of 2. , Adult P and adult Q's guardian companion level goes down to 8 and 10, respectively. Next, as shown in (d), if only the child A is shown in the image, the lost degree of the child A will be 2, and the degree of guardian companion of the adult P and the adult Q will both be lowered. It becomes 7 and 9, and the degree of third party companion of adult X is 1. Then, as shown in (e), this time, when adult P and child A are acting together, child A's lost child degree is set to 0, and adult P's guardian companion degree is increased. The adult guardian companion level of adult Q goes down to 8, and the adult third party companion degree of adult X becomes zero.

本実施形態の迷子発見システムでは、来場者が来場した時点で画像処理によって保護者と子供とを対応付けており、このため入場口では、保護者と子供との組み合わせごとにそれらの保護者と子供とが一緒に写り、かつ他人が写っていない画像を取得する必要がある。そこで、何らかの手段で来場者を誘導して、保護者と子供との組み合わせごとに入場させ、かつ、その際に入場口で保護者と子供とを一緒に撮像できるようにする必要がある。以下、保護者と子供との組み合わせごとに入場させるための構成の例を説明する。   In the lost child detection system of the present embodiment, parents and children are associated with each other by image processing at the time when a visitor arrives. Therefore, at the entrance, for each combination of the guardian and the child, It is necessary to acquire an image that is shown together with a child and that no other person is shown. Therefore, it is necessary to guide the visitors by some means to enter each combination of the guardian and the child, and at that time, it is necessary to be able to image the guardian and the child together at the entrance. Hereinafter, the example of the structure for making it enter for every combination of a guardian and a child is demonstrated.

図9は、入場口を回転扉とした例を示しており、ここでは、回転扉を上から見た状態を示している。回転扉41の扇形の区画42ごとに子供と保護者とが入るようにし、かつ、一例として、回転扉の作動力を調整して、子供の力では回転扉を押せないようにして、保護者と子供とが一緒に入場するようにしている。自動式の回転扉41を用いる場合であれば、子供が操作できないように回転扉41の操作スイッチを設けることも考えられる。   FIG. 9 shows an example in which the entrance is a revolving door. Here, the revolving door is viewed from above. For each fan-shaped section 42 of the revolving door 41, a child and a guardian can enter, and as an example, the operating force of the revolving door is adjusted so that the revolving door cannot be pushed by the power of the child. And children are allowed to enter together. If the automatic revolving door 41 is used, an operation switch for the revolving door 41 may be provided so that a child cannot operate.

また、図10は、連動型の二重扉を使用した例を示している。二重扉43は、入場方向に対して外側に配置された外扉44と内側に配置された内扉45とを備えており、通常時は、(a)に示すように、外扉44が開いて内扉45が閉じており、保護者と子供との組み合わせが外扉44を通って二重扉43の内部(すなわち、外扉44と内扉45の間の空間)に入ったら、(b)に示すように外扉44を閉め、その直後に(c)に示すように内扉45を開けて、入場を促すようにしたものである。その際、保護者と子供との組み合わせを単位として入場するように、例えば、外扉44の前に、スピーカーとマイクロホンとを設置し、来場者に対して「何名様ですか?」と問いかけ、その返答があったら、返答された人数と一致する人数が二重扉43の内部に入らない限り、外扉44を閉めない(したがって、内扉45は開かない)構成とすることができる。あるいは、二重扉43の内部に、外扉44を閉じるためのスイッチを子供では操作できないように配置することが考えられる。二重扉43は、入場口に、例えば、1または複数設けることができる。   FIG. 10 shows an example in which an interlocking type double door is used. The double door 43 includes an outer door 44 disposed on the outer side with respect to the entrance direction and an inner door 45 disposed on the inner side. Normally, as shown in FIG. When the inner door 45 is opened and the parent / child combination passes through the outer door 44 and enters the interior of the double door 43 (that is, the space between the outer door 44 and the inner door 45), As shown in (b), the outer door 44 is closed, and immediately after that, as shown in (c), the inner door 45 is opened to encourage entry. At that time, for example, a speaker and a microphone are installed in front of the outer door 44 so as to enter the combination of the guardian and the child as a unit, and the visitors are asked “How many people?” If there is a response, the outer door 44 may not be closed (therefore, the inner door 45 will not be opened) unless the number of persons that matches the number of persons who have responded enters the double door 43. Alternatively, a switch for closing the outer door 44 may be arranged inside the double door 43 so that it cannot be operated by a child. For example, one or more double doors 43 can be provided at the entrance.

あるいは、エレベータを用いて入場する建物構造となっている場合には、子供連れの来訪者に対しては、保護者と子供との組み合わせで一緒にエレベータに乗るように促したりすることもできる。また、動く歩道を入場口に配置し、保護者と子供との組み合わせで一緒に歩く歩道を利用するように促したりすることもできる。   Alternatively, in the case of a building structure that uses an elevator, visitors with children can be urged to ride the elevator together in a combination of a guardian and a child. It is also possible to place a moving sidewalk at the entrance to encourage the use of a sidewalk that walks together with parents and children.

以上説明した本発明の実施形態では、保護者の所在検索を行う際の優先順位を設定するために保護者同伴度を用いている。このような優先順位を設定しない場合には、保護者推定DB36の保護者情報内に保護者同伴度を記録する必要はなく、また、保護者同伴度に関連した上述の諸処理を行う必要もない。また、連れ去りなどの防止のために、保護者推定DB36内に第三者情報を設け、第三者同伴度を記録するようにしているが、来場者が限定されているなどの理由で連れ去りの防止等を行う必要がない場合には、保護者推定DB36内に第三者情報を設ける必要はなく、第三者や第三者同伴度に関連した上述の諸処理も行う必要はない。   In the embodiment of the present invention described above, the guardian companion degree is used to set the priority order when performing the parental location search. When such a priority order is not set, it is not necessary to record the degree of guardian companion in the guardian information of the guardian estimation DB 36, and it is also necessary to perform the above-described various processes related to the degree of guardian companion Absent. In order to prevent removal, etc., third-party information is provided in the guardian estimation DB 36 and the degree of third-party participation is recorded. When it is not necessary to perform prevention or the like, it is not necessary to provide third-party information in the guardian estimation DB 36, and it is not necessary to perform the above-described various processes related to the degree of third-party or third-party accompanying.

10 ショッピングセンター
11 カメラ
12 ハブ
13 管理装置
14 ネットワーク
21 撮像部
22 顔検出部
23,31 インタフェース(I/F)
32 来場者画像DB(データベース)
33 顔特徴情報抽出部
34 年齢推定部
35 顔特徴DB
36 保護者推定DB
37 保護者推定DB登録部
38 保護者推定部
41 回転扉
42 区画
43 二重扉
44 外扉
45 内扉
101〜106,111〜127 ステップ
DESCRIPTION OF SYMBOLS 10 Shopping center 11 Camera 12 Hub 13 Management apparatus 14 Network 21 Image pick-up part 22 Face detection part 23,31 Interface (I / F)
32 Visitor image database (database)
33 face feature information extraction unit 34 age estimation unit 35 face feature DB
36 Guardian estimation DB
37 guardian estimation DB registration part 38 guardian estimation part 41 revolving door 42 division 43 double door 44 outer door 45 inner door 101-106, 111-127 step

Claims (11)

  1. 子供と前記子供の保護者とが来訪する場所に設けられる迷子発見システムであって、
    前記場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、
    前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、
    前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定する年齢推定手段と、
    各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、
    前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて前記保護者推定データベースに登録する保護者推定DB登録手段と、
    子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生する保護者推定手段と、
    を有する、迷子発見システム。
    A lost child detection system provided in a place where a child and a guardian of the child visit,
    A visitor image database that holds imaging data from a plurality of cameras provided in the place;
    Facial feature information extraction means for extracting facial feature information of a person included in the imaging data from each imaging data in the visitor image database;
    Age estimation means for estimating the age of a person included in the imaging data from each imaging data in the visitor image database;
    Parent information that holds facial feature information for each parent, and child information that has a link to the parent information relating to the parent corresponding to the child's facial feature information and the degree of lost child for each child. Parental database,
    The person shown in the imaging data by the camera provided at the entrance of the place is classified into a child and its guardian based on the estimated age obtained by the age estimating means, and the classified child and its protection A guardian estimation DB registration means for associating a person with a person and registering them in the guardian estimation database;
    With respect to new imaging data including a child, the child information in the guardian estimation database is searched based on the face feature amount of the child, the child is first identified, and the guardian of the guardian corresponding to the child By acquiring the facial feature information of the guardian corresponding to the child from the information and performing matching with the imaging data, it is determined whether or not the child is photographed together with the guardian, and is photographed together. If it is not reflected together, the child's lost child level is lowered, and if the lost child level reaches a threshold value, then a guardian estimating means for generating an alarm,
    A lost child detection system.
  2. 前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
    前記保護者推定手段は、前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項1に記載の迷子発見システム。
    The guardian estimation database is related to the third person's facial feature information and the child's facial feature information for a third person who is not a guardian of the child but is captured with the child in any imaging data. Further maintain third party information with the degree of third party companionship,
    The guardian estimating means relates to the third party's degree of third party when the child and the third party are photographed together and the guardian corresponding to the child is not photographed with respect to the new imaging data. If the child, the third party and the guardian corresponding to the child are shown together, the third party's degree of third party companion is reduced, and then The lost child detection system according to claim 1, wherein an alarm is generated if a threshold value is reached.
  3. 前記保護者情報内に保護者同伴度を有し、
    前記保護者推定手段は、前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていれば当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、
    請求項1または2に記載の迷子発見システム。
    The guardian information is included in the guardian information,
    The parents estimating means, the relates new imaging data, the child and the parents corresponding to the child up the guardian of the optionally lever said guardian photographed together, the parents with respect to the child If the parental guardian of the parent is lowered and the alarm is generated, the parent who has the highest guardian accompanying the parent of the child is searched for the parent's location. Do,
    The lost child detection system according to claim 1 or 2.
  4. 前記各撮像データごとに撮像したカメラを特定する情報と、撮像時刻と、当該撮像データに含まれる人物の前記顔特徴情報及び前記推定年齢とを保持する顔特徴データベースをさらに備える、請求項1乃至3のいずれか1項に記載の迷子発見システム。   The image processing apparatus further comprises a face feature database that holds information for identifying a camera that has been imaged for each of the imaging data, an imaging time, and the face feature information and the estimated age of a person included in the imaging data. 4. The lost child detection system according to any one of items 3.
  5. 前記入場口に、前記子供と前記子供に対応する保護者との組み合わせごとに前記場所に来場することを促すための回転扉または二重扉を備える、請求項1乃至4のいずれか1項に記載の迷子発見システム。   5. The entrance according to any one of claims 1 to 4, further comprising a revolving door or a double door for urging to visit the place for each combination of the child and a guardian corresponding to the child. The described lost child detection system.
  6. 子供と前記子供の保護者とが来訪する場所における迷子発見方法であって、
    各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用い、
    前記場所内に複数台設けられたカメラからの撮像データを来場者画像データベースに保持することと、
    画像処理により、前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出することと、
    画像処理により、推定年齢として、前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定することと、
    前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて、前記保護者推定データベースに登録することと、
    子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生することと、
    を有する、迷子発見方法。
    A method for finding a lost child in a place where a child and a guardian of the child visit,
    Parent information that holds facial feature information for each parent, and child information that has a link to the parent information relating to the parent corresponding to the child's facial feature information and the degree of lost child for each child. Using parental database,
    Holding imaging data from a plurality of cameras provided in the place in a visitor image database;
    The image processing, and Rukoto out extract the facial feature information of a person included in the captured image data from the imaging data of the visitor image database,
    By estimating the age of a person included in the imaging data from each imaging data in the visitor image database as an estimated age by image processing;
    For the person shown in the imaging data by the camera provided at the entrance of the place, classify the child and its guardian based on the estimated age, associate the classified child and its guardian, Registering in the guardian estimation database;
    With respect to new imaging data including a child, the child information in the guardian estimation database is searched based on the face feature amount of the child, the child is first identified, and the guardian of the guardian corresponding to the child By acquiring the facial feature information of the guardian corresponding to the child from the information and performing matching with the imaging data, it is determined whether or not the child is photographed together with the guardian, and is photographed together. If the child's lost child degree is lowered, if it is not reflected together, it is increased, and then if the lost child's degree reaches a threshold value, an alarm is generated,
    A method for finding a lost child.
  7. 前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
    前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項6に記載の迷子発見方法。
    The guardian estimation database is related to the third person's facial feature information and the child's facial feature information for a third person who is not a guardian of the child but is captured with the child in any imaging data. Further maintain third party information with the degree of third party companionship,
    Regarding the new imaging data, when the child and the third party are photographed together and the guardian corresponding to the child is not photographed, the degree of third party companion of the third party is increased, and the child and When the third party and the guardian corresponding to the child are shown together, the third party's degree of third party companion is lowered, and then the third party companion degree has reached the threshold. The lost child detection method according to claim 6, wherein an alarm is generated.
  8. 前記保護者情報内に保護者同伴度を有し、
    前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていれば当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、請求項6または7に記載の迷子発見方法。
    The guardian information is included in the guardian information,
    Wherein regard new imaging data, the child and the parents corresponding to the child up the guardian of the lever said guardian not appear together, unless the parents with respect to the child not appear together 8. When the guardian's degree of guardian's companion is lowered and the alarm is generated, a location search of the guardian is performed from a guardian who has a high degree of guardian's companion among the guardians of the child. The lost child detection method described in 1.
  9. コンピュータを、
    子供と前記子供の保護者とが来訪する場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、
    前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、
    前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定する年齢推定手段と、
    各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、
    前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて前記保護者推定データベースに登録する保護者推定DB登録手段と、
    子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生する保護者推定手段と、
    として機能させるプログラム。
    Computer
    A visitor image database that holds imaging data from a plurality of cameras provided in a place where a child and a guardian of the child visit;
    Facial feature information extraction means for extracting facial feature information of a person included in the imaging data from each imaging data in the visitor image database;
    Age estimation means for estimating the age of a person included in the imaging data from each imaging data in the visitor image database;
    Parent information that holds facial feature information for each parent, and child information that has a link to the parent information relating to the parent corresponding to the child's facial feature information and the degree of lost child for each child. Parental database,
    The person shown in the imaging data by the camera provided at the entrance of the place is classified into a child and its guardian based on the estimated age obtained by the age estimating means, and the classified child and its protection A guardian estimation DB registration means for associating a person with a person and registering them in the guardian estimation database;
    With respect to new imaging data including a child, the child information in the guardian estimation database is searched based on the face feature amount of the child, the child is first identified, and the guardian of the guardian corresponding to the child By acquiring the facial feature information of the guardian corresponding to the child from the information and performing matching with the imaging data, it is determined whether or not the child is photographed together with the guardian, and is photographed together. If it is not reflected together, the child's lost child level is lowered, and if the lost child level reaches a threshold value, then a guardian estimating means for generating an alarm,
    Program to function as.
  10. 前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
    前記保護者推定手段は、前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項9に記載のプログラム。
    The guardian estimation database is related to the third person's facial feature information and the child's facial feature information for a third person who is not a guardian of the child but is captured with the child in any imaging data. Further maintain third party information with the degree of third party companionship,
    The guardian estimating means relates to the third party's degree of third party when the child and the third party are photographed together and the guardian corresponding to the child is not photographed with respect to the new imaging data. If the child, the third party and the guardian corresponding to the child are shown together, the third party's degree of third party companion is reduced, and then The program according to claim 9, wherein an alarm is generated if a threshold value is reached.
  11. 前記保護者情報内に保護者同伴度を有し、
    前記保護者推定手段は、前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていれば当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、
    請求項9または10に記載のプログラム。
    The guardian information is included in the guardian information,
    The parents estimating means, the relates new imaging data, the child and the parents corresponding to the child up the guardian of the optionally lever said guardian photographed together, the parents with respect to the child If the parental guardian of the parent is lowered and the alarm is generated, the parent who has the highest guardian accompanying the parent of the child is searched for the parent's location. Do,
    The program according to claim 9 or 10.
JP2011207350A 2011-09-22 2011-09-22 Lost child detection system and method Active JP5888770B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011207350A JP5888770B2 (en) 2011-09-22 2011-09-22 Lost child detection system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011207350A JP5888770B2 (en) 2011-09-22 2011-09-22 Lost child detection system and method

Publications (2)

Publication Number Publication Date
JP2013069128A JP2013069128A (en) 2013-04-18
JP5888770B2 true JP5888770B2 (en) 2016-03-22

Family

ID=48474770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011207350A Active JP5888770B2 (en) 2011-09-22 2011-09-22 Lost child detection system and method

Country Status (1)

Country Link
JP (1) JP5888770B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6350024B2 (en) * 2014-06-26 2018-07-04 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method therefor, and program
JP2018011263A (en) 2016-07-15 2018-01-18 パナソニックIpマネジメント株式会社 Monitor system, monitor camera, and management device
US10163042B2 (en) 2016-08-02 2018-12-25 International Business Machines Corporation Finding missing persons by learning features for person attribute classification based on deep learning
JP2018132803A (en) * 2017-02-13 2018-08-23 日本電気株式会社 Person detection system
JP6805996B2 (en) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 Information processing equipment, information processing methods and information processing systems
JP2019086906A (en) * 2017-11-02 2019-06-06 Necプラットフォームズ株式会社 Monitoring apparatus, system, method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151820A (en) * 2002-10-29 2004-05-27 Hitachi Eng Co Ltd Lost child searching and monitoring system
JP4506381B2 (en) * 2004-09-27 2010-07-21 沖電気工業株式会社 Single actor and group actor detection device
JP2007060528A (en) * 2005-08-26 2007-03-08 Toshiba Corp Facility user management system and user management method

Also Published As

Publication number Publication date
JP2013069128A (en) 2013-04-18

Similar Documents

Publication Publication Date Title
Planinc et al. Introducing the use of depth data for fall detection
Kwolek et al. Improving fall detection by the use of depth sensor and accelerometer
Cardinaux et al. Video based technology for ambient assisted living: A review of the literature
JP5383705B2 (en) Determining social relationships from personal photo collections
JP5058010B2 (en) How to detect objects left behind in a scene
JP4101655B2 (en) Apparatus and method for resolving entry / exit conflict in security monitoring system
Anderson et al. Recognizing falls from silhouettes
US7668345B2 (en) Image processing apparatus, image processing system and recording medium for programs therefor
TWI496092B (en) Face identifying device, character image searching system, program for controlling face identifying device, computer readable recording medium, and method for controlling face identifying device
JP4125634B2 (en) Customer information collection management method and system
JP4702877B2 (en) Display device
US9390334B2 (en) Number of persons measurement device
JP4937016B2 (en) Monitoring device, monitoring method and program
JP4241763B2 (en) Person recognition apparatus and method
US10839227B2 (en) Queue group leader identification
JP4622301B2 (en) Surveillance system and surveillance camera
US9224278B2 (en) Automated method and system for detecting the presence of a lit cigarette
US8724845B2 (en) Content determination program and content determination device
US20090292549A1 (en) Social network construction based on data association
US8295545B2 (en) System and method for model based people counting
US10078693B2 (en) People searches by multisensor event correlation
JP2007249588A (en) Face image registration device, method, program, and storage medium
JP4881766B2 (en) Inter-camera link relation information generation device
KR20130095727A (en) Semantic parsing of objects in video
JP4622702B2 (en) Video surveillance device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160212

R150 Certificate of patent or registration of utility model

Ref document number: 5888770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150