WO2023238614A1 - Information processing device, information processing system, information processing method, and program - Google Patents

Information processing device, information processing system, information processing method, and program Download PDF

Info

Publication number
WO2023238614A1
WO2023238614A1 PCT/JP2023/018219 JP2023018219W WO2023238614A1 WO 2023238614 A1 WO2023238614 A1 WO 2023238614A1 JP 2023018219 W JP2023018219 W JP 2023018219W WO 2023238614 A1 WO2023238614 A1 WO 2023238614A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
group
unit
tracking
information processing
Prior art date
Application number
PCT/JP2023/018219
Other languages
French (fr)
Japanese (ja)
Inventor
洸太 坂巻
将士 園山
和輝 中道
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2023238614A1 publication Critical patent/WO2023238614A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing device, an information processing system, an information processing method, and a program.
  • the measures include distributing flyers before Christmas to commercial areas of commercial facilities and areas where many families live.
  • Management verifies the effectiveness of leaflet distribution by counting the number of visitors during the event period.
  • technological developments have been actively conducted to make it easier and more accurate to verify the effectiveness of measures taken by managers.
  • Patent Document 1 discloses an invention that creates and visualizes the flow information of beacon owners using information acquired from a plurality of beacons placed at various locations within a collection target area.
  • Patent Document 2 discloses an invention that mainly visualizes the movement of tourists visiting Japan on a map using user attributes such as gender, nationality, age, and purpose of visit in addition to the user's location information. ing.
  • Patent Documents 1 and 2 merely focus on each target person and analyze the behavior of each person. For this reason, there is a problem in that it is not possible to sufficiently accurately verify the effectiveness of the measures implemented by the manager of the commercial facility for customers visiting the commercial facility.
  • An information processing device comprising:
  • the drawing unit may draw the movement of the group in the Sankey diagram in different colors depending on the number of people in the group, or draw the movement of the group in the Sankey diagram when the number of people in the group is a predetermined number.
  • the information processing device according to (3) which performs highlighted drawing in a diagram.
  • the identification result of the person identification unit, the tracking result of the person tracking unit, and the determination result of the group determination unit are multiple types of results in multiple types of periods
  • the drawing unit The information processing device according to (3) or (4), wherein the movement of the group during the plurality of types of periods is drawn in the Sankey diagram based on the plurality of types of results.
  • the movement of the group includes a first movement in a first period as the plurality of types of periods, and a second movement in a second period as the plurality of types of periods, and the drawing unit: The information processing device according to (5), wherein the difference between the first movement and the second movement is drawn in the Sankey diagram.
  • the person identifying unit assigns attribute information to the identified person based on the image information
  • the person tracking unit assigns attribute information to each of the plurality of photographing devices based on the assigned attribute information.
  • the information processing device according to (8) which determines the identity of the identified person based on image information acquired from the image information.
  • the attribute information described in (9) or (10) includes at least one of the identified person's gender, age, clothing, color, presence or absence of a hat, presence or absence of glasses, and presence or absence of a bag. Information processing device.
  • the person identifying unit identifies the person multiple times by changing one or both of the location and time, and the person tracking unit associates the results of identifying the person multiple times.
  • the information processing device wherein the identified person is tracked, and the group determination unit determines the group attribute of the group by tracking the person for a plurality of people.
  • An information processing device and a plurality of photographing devices including a person identification unit that identifies a person, a person tracking unit that tracks the identified person, and a person tracking unit that tracks the person.
  • An information processing system comprising: a group determination unit that determines the number of people in a group to which the identified person belongs using the results.
  • An information processing method comprising: identifying a person; tracking the identified person; and determining the number of people in a group to which the identified person belongs, using the results of the tracking. .
  • a person identification unit that identifies a person, a person tracking unit that tracks the identified person, and a group that uses the tracking results of the person tracking unit to determine the number of people in the group to which the identified person belongs.
  • FIG. 1 is an example of an overall configuration diagram of an information processing system according to this embodiment.
  • the information processing system 100 includes an information processing device 1 and a plurality of cameras 2.
  • the information processing device 1 is a computer that performs predetermined arithmetic processing.
  • the camera 2 is a photographing device installed at various locations in a commercial facility (for example, an entrance, an escalator entrance or exit, an elevator entrance, a store entrance).
  • the information processing device 1 and the camera 2 are each connected to be able to communicate by wire or wirelessly.
  • the information processing device 1 can acquire images taken by each of the cameras 2 as image information from each of the cameras 2.
  • the information processing device 1 includes a person identifying section 11, a person tracking section 12, a group determining section 13, and a drawing section 14.
  • the information processing device 1 also stores a tracking DB 15 and a group DB 16.
  • "DB” is an abbreviation for database (DataBase).
  • the person identifying unit 11 identifies a person within a commercial facility. Specifically, the person identification unit 11 identifies a person from an image taken by the camera 2 based on image information acquired from the camera 2 . For example, the person identifying unit 11 can be implemented as a learning device that is machine-trained to detect a person from an image.
  • the person tracking unit 12 tracks the person identified by the person identifying unit 11.
  • the group determination unit 13 uses the tracking results of the person tracking unit 12 to determine the group to which the person identified by the person identification unit 11 belongs.
  • a group is a collection of people (customers) who act together in a commercial facility. For example, groups include, but are not limited to, families (parents and children) and partners (pairs of men and women).
  • the drawing unit 14 draws the movement of the group based on the identification result of the person identification unit 11, the tracking result of the person tracking unit 12, and the determination result of the group determination unit 13. Drawing can be performed, for example, on the display unit of the information processing device 1.
  • Attribute information is information indicating one or more types of attributes assigned to a person.
  • the attribute information may include, but is not limited to, at least one of the identified person's gender, age, clothing, color, presence or absence of a hat, presence or absence of glasses, and presence or absence of a bag. Attributes play the role of distinguishing people by being assigned to them (in other words, they have the function of distinguishing each person), and the value of each attribute can be determined from image information using machine learning. .
  • Image information from the cameras 2 is generated at predetermined time intervals, and the person identification unit 11 can assign ID and attribute information to all cameras 2 at predetermined time intervals. As a result, the person identification unit 11 can partially create the tracking DB 15.
  • the values registered in the "Age” column, "Gender” column, and “Color” column of the tracking DB 15 are examples of the value of the attribute indicated by the attribute information.
  • the values of attributes registered in the tracking DB 15 are not limited to these. For example, values indicating the person's clothing, presence or absence of a hat, presence or absence of glasses, presence or absence of a bag, etc. can be prepared.
  • the "unified ID between cameras” column when the person shown in the images taken by a plurality of cameras 2 is the same person, the value of the ID given to the person is registered. The unified ID between cameras will be described later.
  • the person identification unit 11 creates each record in the tracking DB 15 for image information that is generated every moment.
  • FIG. 4 it can be seen that at 11:25:30, persons A and B are shown in the frame of camera No. 1, camera 2. Also, at 11:25:40, person A is shown in the frame of camera 2 of camera No. 2, and at 11:25:41, person B is shown in the frame of camera 2 of camera No. 2. .
  • the group determination unit 13 can determine that persons A and B belong to a group. Further, as shown in FIG. 3, the group determination unit 13 assigns a group ID: "1" to the group of persons A and B.
  • at 11:25:31 person C is shown in the frame of camera No. 1, camera 2, and at 11:25:32, person D is shown in the frame of camera No. 1, camera 2.
  • FIG. 5 is an explanatory diagram example (part 2) of group determination.
  • the table shown in FIG. 5 has the same format as the cable shown in FIG. 4, but the contents are different.
  • FIG. 5 shows another example of how the group determining unit 13 determines groups.
  • a case will be considered in which two or more of the same person are shown in close-up frames shot by the same camera 2 over a predetermined period of time.
  • the group determination unit 13 determines that the same person is in a group.
  • a group ID is assigned to the determined group.
  • the group determination unit 13 can determine the number of people forming the determined group. According to the example of FIG. 4, for the group of persons A and B, the group determination unit 13 determines that the number of people in the group is two. At this time, as shown in FIG. 3, the group determination unit 13 assigns a group number of "2" to the group of persons A and B. Similarly, for the group of persons C, D, and E, the group determination unit 13 determines that the number of people in the group is three. At this time, as shown in FIG. 3, the group determination unit 13 assigns a group number of "3" to the group of persons C, D, and E.
  • the group determination unit 13 can determine the group attribute of the determined group based on the attribute information of the persons belonging to the group. For example, according to FIG. 2, by referring to the attribute information, it can be inferred that persons A and B are a male and female pair in their 20s. Therefore, the group determination unit 13 determines that persons A and B are partners, and registers the value of "partner" in the "group attribute” column of the records of persons A and B (group information in FIG. 3). Furthermore, according to FIG. 2, it can be inferred that persons C, D, and E are a parent and child by referring to the attribute information. Therefore, the group determination unit 13 determines that persons C, D, and E are a family, and enters the value of "family” in the "group attribute” column of the records of persons C, D, and E (group information in FIG. 3). register.
  • the map registered in the information processing device 1 may be a simple map that includes aisle network information that is data about the connections of aisles, and store location information that is data that is the location of stores.
  • the passage network information includes, for example, a node set as a reference of the passage (for example, the center in the width direction) and a link connecting the nodes.
  • a node is set, for example, at a branch point of a passage, a point where a store is located, a point where the camera 2 is installed, or the like.
  • the location information of the store and the location information of the camera 2 may be associated with nodes of the aisle network information, for example.
  • the information processing device 1 can determine which store the person photographed by the camera 2 is heading to. However, it is not essential that the information processing device 1 stores location information of stores within the commercial facility. For example, the operator of the information processing device 1 can select a predetermined period of time (for example, one day) during which images were taken by the camera 2.
  • the drawing unit 14 can extract tracking information included in the selected predetermined period from the tracking information in the tracking DB 15.
  • the drawing unit 14 can extract group information corresponding to the extracted tracking information from the group DB 16. Then, the drawing unit 14 can draw a Sankey diagram based on the extracted tracking information and group information.
  • FIG. 6 is an explanatory diagram example (part 1) of the Sankey diagram.
  • Figure 6 shows the flow of people when customers who stopped by stores (store 0, store 1, store 2, store 3, store 4) in a commercial facility were tracked.
  • the bands shown in FIG. 6 represent the movement of customers.
  • the movement of the customer is shown in the right direction.
  • the movement of each customer can be identified by referring to the tracking DB 15.
  • the drawing unit 14 can express bands in different colors depending on group attributes.
  • a band whose group attribute is "family” and a band whose group attribute is "partner” are shown in different colors (for convenience of illustration, they are shown by different hatching rather than different colors).
  • the color of the band can be specified by referring to the "group attribute" column of the group DB 16.
  • the vertical width of the band represents the number of customers moving.
  • the vertical width of each color band can be specified by referring to the tracking DB 15 and the group DB 16.
  • the store is the starting point or end point of the customer's movement, and as shown in FIG. 6, the drawing unit 14 represents the store with a vertical bar.
  • the drawing unit 14 can perform similar visualization for a larger number of group attributes. Further, the drawing unit 14 may draw the movement of the group in a Sankey diagram in different colors depending on the number of people in the group. Further, the drawing unit 14 can perform emphasized drawing such that the array of interest is colored in a dark color and the other arrays are colored in a light color. Such highlighted drawing allows the group attributes that the manager of the commercial facility wants to see to be displayed in an easy-to-understand manner. Further, the drawing unit 14 may use a Sankey diagram to highlight the movement of the group when the number of people in the group is a predetermined number.
  • FIG. 7 is an explanatory diagram example (part 2) of the Sankey diagram.
  • FIG. 8 is an explanatory diagram example (part 3) of the Sankey diagram.
  • Figures 7 and 8 show two sections of data passing through stores (store 0, store 1, store 2, store 3, store 4) in a commercial facility extracted from the tracking DB 15 and group DB 16 and drawn in Sankey diagrams. This is a diagram of the time.
  • FIG. 7 is a Sankey diagram drawn by the drawing unit 14 based on tracking information when the operator selects one week one month ago and group information corresponding to the tracking information.
  • FIG. 8 is a Sankey diagram drawn by the drawing unit 14 based on tracking information when the operator selects the past week and group information corresponding to the tracking information.
  • the bands drawn in FIGS. 7 and 8 are narrowed down to bands of the family layer (groups whose group attribute is "family").
  • FIG. 9 is an explanatory diagram example (part 4) of the Sankey diagram.
  • a Sankey diagram has the property that it can be drawn by adding or subtracting two or more Sankey diagrams.
  • the Sankey diagram in FIG. 9 corresponds to the Sankey diagram for one week up to the present in FIG. 8 minus the Sankey diagram for one week from one month ago in FIG. 7.
  • the bands shown in FIG. 9 represent the positive value (increase) and negative value (decrease) of the customer's movement amount after taking the difference.
  • the manager of the commercial facility displays two Sankey diagrams on the drawing unit 14 to compare with past data and compares the differences to confirm the increase or decrease in the amount of customer movement. , I was able to think of measures.
  • the manager of a commercial facility can check the increase or decrease in the amount of customer movement at a glance by referring to one Sankey diagram, and can verify measures more intuitively.
  • FIG. 10 is a flowchart showing the information processing method of this embodiment.
  • the information processing device 1 starts processing using image information acquired from each of the plurality of cameras 2.
  • the person identification unit 11 identifies a person from an image taken by the camera 2 (step S1). An ID and attribute information are assigned to the identified person and registered in the tracking DB 15. The person identifying unit 11 can identify a person multiple times by changing one or both of the location and time.
  • the person tracking unit 12 tracks the specified person by determining the identity of the specified person based on the attribute information (step S2). The person tracking unit 12 can track the identified person by associating the results of identifying the person multiple times.
  • the group determination unit 13 determines the number of people in the group to which the identified person belongs (step S3). At this time, the group determination unit 13 determines the group to which the identified person belongs by referring to the tracking DB 15.
  • the media I/F 207 reads the program or data stored in the recording medium 208 and provides it to the CPU 201 via the RAM 202.
  • the CPU 201 loads this program from the recording medium 208 onto the RAM 202 via the media I/F 207, and executes the loaded program.
  • the recording medium 208 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • the CPU 201 of the computer 200 realizes the functions of each part by executing a program loaded onto the RAM 202.
  • data stored in the HDD 204 is used.
  • the CPU 201 of the computer 200 reads these programs from the recording medium 208 and executes them, but as another example, these programs may be acquired from another device via the communication network 209.
  • the person identifying unit 11 identifies a person, determines the number of people in a group, etc. using image information acquired from a plurality of cameras 2.
  • the person identification unit 11 can identify a person or determine the number of people in a group by using identification information and location information that can be obtained from a terminal such as a smartphone owned by each person, rather than image information from the camera 2. You may do so.
  • identification information and position information that can be obtained from beacons may be used to identify people, determine the number of people in a group, and the like.
  • the identification of a person by the person identification unit 11 may be performed based on image information obtained from a plurality of cameras 2, or may be performed based on image information obtained from a single camera 2. good.
  • the information processing device may be implemented using one computer, or may be implemented using two or more computers.

Abstract

The purpose of the present invention is to accurately verify the efficacy of measures developed for multiple persons. The information processing device (1) according to the present invention comprises: a person identifying unit (11) that identifies a person; a person tracking unit (12) that tracks the identified person; and a group determining unit (13) that uses the tracking results of the person tracking unit (12) to determine a group to which the identified person belongs. This device also comprises a plotting unit (14) that plots the movement of the group on the basis of identification results from the person identifying unit (11), tracking results from the person tracking unit (12), and determination results from the group determining unit (13). The plotting unit (14) plots the movement of the group in a Sankey diagram.

Description

情報処理装置、情報処理システム、情報処理方法、及びプログラムInformation processing device, information processing system, information processing method, and program
　本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, an information processing method, and a program.
　複数のテナントが存在する商業施設の経営者は、各シーズンや、クリスマス、バレンタインデーなどのイベントに合わせた施策を展開することが多い。施策は、例えば、クリスマス前に商業施設の商業範囲や、ファミリー層の居住が多い地域にチラシを配ることである。経営者は、イベント期間の来場者数をカウントするなどしてチラシ配布の効果を検証する。近年、経営者が展開する施策の効果の検証を容易にしたり、正確にしたりするための技術開発が盛んに行われている。 Managers of commercial facilities with multiple tenants often develop measures tailored to each season and events such as Christmas and Valentine's Day. For example, the measures include distributing flyers before Christmas to commercial areas of commercial facilities and areas where many families live. Management verifies the effectiveness of leaflet distribution by counting the number of visitors during the event period. In recent years, technological developments have been actively conducted to make it easier and more accurate to verify the effectiveness of measures taken by managers.
　例えば、特許文献１には、採取対象領域内の各所に配置した複数のビーコンから取得した情報を用いてビーコン所有者の人流情報を作成し、可視化する発明が開示されている。また、特許文献２には、ユーザの位置情報に加えて、性別・国籍・年代・訪問目的などのユーザの属性を用いて、主に訪日観光客の移動を地図上に可視化する発明が開示されている。 For example, Patent Document 1 discloses an invention that creates and visualizes the flow information of beacon owners using information acquired from a plurality of beacons placed at various locations within a collection target area. Additionally, Patent Document 2 discloses an invention that mainly visualizes the movement of tourists visiting Japan on a map using user attributes such as gender, nationality, age, and purpose of visit in addition to the user's location information. ing.
特開２０１６－２１２７４６号公報JP2016-212746A 特開２０１９－２３８５１号公報JP2019-23851A
　しかしながら、特許文献１，２の発明は、対象人物の各々に着目し、各人の行動を分析しているに過ぎない。このため、商業施設に来場する顧客に対して、商業施設の経営者が展開する施策の効果を十分に正確に検証することができない問題がある。 However, the inventions of Patent Documents 1 and 2 merely focus on each target person and analyze the behavior of each person. For this reason, there is a problem in that it is not possible to sufficiently accurately verify the effectiveness of the measures implemented by the manager of the commercial facility for customers visiting the commercial facility.
　上記事情に鑑みて、本発明では、複数の人物を対象にして展開する施策の効果を正確に検証することを課題とする。 In view of the above circumstances, it is an object of the present invention to accurately verify the effectiveness of measures developed for a plurality of people.
　本発明の上記の目的は、下記の手段によって達成される。 The above objects of the present invention are achieved by the following means.
（１）：人物を特定する人物特定部と、前記特定した人物を追跡する人物追跡部と、前記人物追跡部の追跡結果を用いて、前記特定した人物が属するグループを判定するグループ判定部と、を備える情報処理装置。 (1): a person identification unit that identifies a person; a person tracking unit that tracks the identified person; and a group determination unit that uses the tracking results of the person tracking unit to determine a group to which the identified person belongs. An information processing device comprising:
（２）：前記人物特定部の特定の結果、前記人物追跡部の追跡の結果、及び前記グループ判定部の判定の結果に基づいて、前記グループの移動を描画する描画部、をさらに備える（１）に記載の情報処理装置。 (2): further comprising a drawing unit that draws the movement of the group based on the identification result of the person identification unit, the tracking result of the person tracking unit, and the determination result of the group determination unit (1 ).
（３）：前記描画部は、前記グループの移動をサンキー図で描画する（２）に記載の情報処理装置。 (3): The information processing device according to (2), wherein the drawing unit draws the movement of the group in a Sankey diagram.
（４）：前記描画部は、前記グループの人数に応じて前記グループの移動を異なる色で前記サンキー図で描画する、又は前記グループの人数が所定人数であるときの前記グループの移動を前記サンキー図で強調描画する（３）に記載の情報処理装置。 (4): The drawing unit may draw the movement of the group in the Sankey diagram in different colors depending on the number of people in the group, or draw the movement of the group in the Sankey diagram when the number of people in the group is a predetermined number. The information processing device according to (3), which performs highlighted drawing in a diagram.
（５）：前記人物特定部の特定の結果、前記人物追跡部の追跡の結果、及び前記グループ判定部の判定の結果は、複数種類の期間における複数種類の結果であり、前記描画部は、前記複数種類の結果に基づいて前記複数種類の期間における前記グループの移動を前記サンキー図で描画する（３）又は（４）に記載の情報処理装置。 (5): The identification result of the person identification unit, the tracking result of the person tracking unit, and the determination result of the group determination unit are multiple types of results in multiple types of periods, and the drawing unit: The information processing device according to (3) or (4), wherein the movement of the group during the plurality of types of periods is drawn in the Sankey diagram based on the plurality of types of results.
（６）：前記グループの移動は、前記複数種類の期間としての第１期間における第１移動、及び前記複数種類の期間としての第２期間における第２移動を含んでおり、前記描画部は、前記第１移動と前記第２移動との差分を前記サンキー図で描画する（５）に記載の情報処理装置。 (6): The movement of the group includes a first movement in a first period as the plurality of types of periods, and a second movement in a second period as the plurality of types of periods, and the drawing unit: The information processing device according to (5), wherein the difference between the first movement and the second movement is drawn in the Sankey diagram.
（７）：前記描画部は、前記差分の正値及び負値を異なる色で前記サンキー図で描画する（６）に記載の情報処理装置。 (7): The information processing device according to (6), wherein the drawing unit draws the positive and negative values of the difference in different colors in the Sankey diagram.
（８）：前記人物特定部は、撮影装置から取得した画像情報に基づいて前記人物の特定をする（１）に記載の情報処理装置。 (8): The information processing device according to (1), wherein the person identifying unit identifies the person based on image information acquired from a photographing device.
（９）：前記人物特定部は、前記画像情報に基づいて、前記特定した人物に属性情報を付与し、前記人物追跡部は、前記付与した属性情報に基づいて、複数の前記撮影装置の各々から取得された画像情報に基づいて特定された人物の同一性を判定する（８）に記載の情報処理装置。 (9): The person identifying unit assigns attribute information to the identified person based on the image information, and the person tracking unit assigns attribute information to each of the plurality of photographing devices based on the assigned attribute information. The information processing device according to (8), which determines the identity of the identified person based on image information acquired from the image information.
（１０）：前記グループ判定部は、前記付与した属性情報に基づいて、前記グループのグループ属性を判定する（９）に記載の情報処理装置。 (10): The information processing device according to (9), wherein the group determination unit determines a group attribute of the group based on the assigned attribute information.
（１１）：前記属性情報は、前記特定した人物の性別、年代、服装、服色、帽子の有無、メガネの有無、カバンの有無の少なくとも何れかを含む（９）又は（１０）に記載の情報処理装置。 (11): The attribute information described in (9) or (10) includes at least one of the identified person's gender, age, clothing, color, presence or absence of a hat, presence or absence of glasses, and presence or absence of a bag. Information processing device.
（１２）：前記人物特定部は、場所及び時刻の一方又は双方を変えて前記人物の特定を複数回に亘って行い、前記人物追跡部は、複数回における前記人物の特定の結果を関連付けることで、前記特定した人物を追跡し、前記グループ判定部は、前記人物の追跡を複数人に対して行うことで、前記グループのグループ属性を判定する（１）に記載の情報処理装置。 (12): The person identifying unit identifies the person multiple times by changing one or both of the location and time, and the person tracking unit associates the results of identifying the person multiple times. The information processing device according to (1), wherein the identified person is tracked, and the group determination unit determines the group attribute of the group by tracking the person for a plurality of people.
（１３）：情報処理装置と、複数の撮影装置とを備え、前記情報処理装置は、人物を特定する人物特定部と、前記特定した人物を追跡する人物追跡部と、前記人物追跡部の追跡結果を用いて、前記特定した人物が属するグループの人数を判定するグループ判定部と、を備える情報処理システム。 (13): An information processing device and a plurality of photographing devices, the information processing device including a person identification unit that identifies a person, a person tracking unit that tracks the identified person, and a person tracking unit that tracks the person. An information processing system comprising: a group determination unit that determines the number of people in a group to which the identified person belongs using the results.
（１４）：人物を特定するステップと、前記特定した人物を追跡するステップと、前記追跡の追跡結果を用いて、前記特定した人物が属するグループの人数を判定するステップと、を備える情報処理方法。 (14): An information processing method comprising: identifying a person; tracking the identified person; and determining the number of people in a group to which the identified person belongs, using the results of the tracking. .
（１５）：コンピュータを、人物を特定する人物特定部、前記特定した人物を追跡する人物追跡部、前記人物追跡部の追跡結果を用いて、前記特定した人物が属するグループの人数を判定するグループ判定部、として機能させるためのプログラム。 (15): A person identification unit that identifies a person, a person tracking unit that tracks the identified person, and a group that uses the tracking results of the person tracking unit to determine the number of people in the group to which the identified person belongs. A program to function as a judgment unit.
　本発明によれば、複数の人物を対象にして展開する施策の効果を正確に検証することができる。 According to the present invention, it is possible to accurately verify the effectiveness of measures developed for multiple people.
本実施形態の情報処理システムの全体構成図例である。1 is an example of an overall configuration diagram of an information processing system according to the present embodiment. 追跡ＤＢのデータ構造図例である。It is an example of a data structure diagram of a tracking DB. グループＤＢのデータ構造図例である。It is an example of a data structure diagram of a group DB. グループの判定の説明図例（その１）である。FIG. 2 is an example (part 1) of an explanatory diagram of group determination. FIG. グループの判定の説明図例（その２）である。This is an example (part 2) of an explanatory diagram of group determination. サンキー図の説明図例（その１）である。This is an explanatory diagram example (part 1) of a Sankey diagram. サンキー図の説明図例（その２）である。This is an explanatory diagram example (part 2) of a Sankey diagram. サンキー図の説明図例（その３）である。This is an explanatory diagram example (Part 3) of a Sankey diagram. サンキー図の説明図例（その４）である。This is an explanatory diagram example (Part 4) of a Sankey diagram. 本実施形態の情報処理方法を示すフローチャートである。3 is a flowchart showing an information processing method according to the present embodiment. 情報処理装置のハードウェア構成図である。FIG. 2 is a hardware configuration diagram of an information processing device.
　以下、本発明を実施するための形態の例について、添付図面を参照して説明する。本明細書及び添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。 Hereinafter, examples of modes for carrying out the present invention will be described with reference to the accompanying drawings. In this specification and the accompanying drawings, components having substantially the same functions or configurations are given the same reference numerals and redundant explanations are omitted.
［構成］
　図１は、本実施形態の情報処理システムの全体構成図例である。情報処理システム１００は、情報処理装置１と、複数のカメラ２とを備えている。情報処理装置１は、所定の演算処理をするコンピュータである。カメラ２は、商業施設の各所（例：入口、エスカレータの乗り口又は降り口、エレベータの乗り降り口、店舗入り口）に設置されている撮影装置である。情報処理装置１及びカメラ２の各々は、有線又は無線で通信可能に接続されている。情報処理装置１は、カメラ２の各々が撮影した画像を画像情報としてカメラ２の各々から取得できる。 [composition]
FIG. 1 is an example of an overall configuration diagram of an information processing system according to this embodiment. The information processing system 100 includes an information processing device 1 and a plurality of cameras 2. The information processing device 1 is a computer that performs predetermined arithmetic processing. The camera 2 is a photographing device installed at various locations in a commercial facility (for example, an entrance, an escalator entrance or exit, an elevator entrance, a store entrance). The information processing device 1 and the camera 2 are each connected to be able to communicate by wire or wirelessly. The information processing device 1 can acquire images taken by each of the cameras 2 as image information from each of the cameras 2.
　情報処理装置１は、人物特定部１１と、人物追跡部１２と、グループ判定部１３と、描画部１４とを備えている。また、情報処理装置１は、追跡ＤＢ１５と、グループＤＢ１６とを記憶している。「ＤＢ」はデータベース（DataBase）の略である。 The information processing device 1 includes a person identifying section 11, a person tracking section 12, a group determining section 13, and a drawing section 14. The information processing device 1 also stores a tracking DB 15 and a group DB 16. "DB" is an abbreviation for database (DataBase).
　人物特定部１１は、商業施設内にいる人物を特定する。具体的には、人物特定部１１は、カメラ２から取得した画像情報に基づいて、カメラ２が撮影した画像から人物を特定する。例えば、人物特定部１１は、画像から人物を検出するように機械学習された学習器として実装できる。
　人物追跡部１２は、人物特定部１１が特定した人物を追跡する。
　グループ判定部１３は、人物追跡部１２の追跡結果を用いて、人物特定部１１が特定した人物が属するグループを判定する。グループは、商業施設内で行動を共にする人物（顧客）の集合体である。例えば、グループとしては、ファミリー（父母子）、パートナー（男女ペア）があるが、これらに限定されない。
　描画部１４は、人物特定部１１の特定の結果、人物追跡部１２の追跡の結果、及びグループ判定部１３の判定の結果に基づいて、グループの移動を描画する。描画は、例えば、情報処理装置１の表示部で実行できる。 The person identifying unit 11 identifies a person within a commercial facility. Specifically, the person identification unit 11 identifies a person from an image taken by the camera 2 based on image information acquired from the camera 2 . For example, the person identifying unit 11 can be implemented as a learning device that is machine-trained to detect a person from an image.
The person tracking unit 12 tracks the person identified by the person identifying unit 11.
The group determination unit 13 uses the tracking results of the person tracking unit 12 to determine the group to which the person identified by the person identification unit 11 belongs. A group is a collection of people (customers) who act together in a commercial facility. For example, groups include, but are not limited to, families (parents and children) and partners (pairs of men and women).
The drawing unit 14 draws the movement of the group based on the identification result of the person identification unit 11, the tracking result of the person tracking unit 12, and the determination result of the group determination unit 13. Drawing can be performed, for example, on the display unit of the information processing device 1.
　追跡ＤＢ１５は、追跡情報を管理するデータベースである。追跡情報は、商業施設内にいる人物を追跡するための情報であり、画像情報の解析結果である。追跡ＤＢ１５及び追跡情報の詳細は後記する。
　グループＤＢ１６は、グループ情報を管理するデータベースである。グループ情報は、商業施設内にいるグループを特定するための情報であり、画像情報の解析結果である。グループＤＢ１６及びグループ情報の詳細は後記する。 The tracking DB 15 is a database that manages tracking information. The tracking information is information for tracking a person in a commercial facility, and is an analysis result of image information. Details of the tracking DB 15 and tracking information will be described later.
Group DB 16 is a database that manages group information. Group information is information for identifying a group within a commercial facility, and is an analysis result of image information. Details of the group DB 16 and group information will be described later.
［人物特定の詳細］
　人物特定部１１は、カメラ２が撮影した画像から人物を検出すると、検出した人物に対して固有のID（IDentifier）及び属性情報を付与することで人物を特定する。なお、IDの付与は必須ではない。属性情報は、人物に割り当てられる、１又は複数種類の属性を示す情報である。属性情報は、特定した人物の性別、年代、服装、服色、帽子の有無、メガネの有無、カバンの有無の少なくとも何れかを含むことができるが、これらに限定されない。属性は、人物に付与されることで当該人物を区別する役割を担い（言い換えると、人物の各々を区別する機能を有しており）、各属性の値は、機械学習により画像情報から決定できる。カメラ２からの画像情報は所定の時刻ごとに生成され、人物特定部１１は、ID及び属性情報の付与を、すべてのカメラ２に対して、所定の時刻ごとに行うことができる。その結果、人物特定部１１は、追跡ＤＢ１５を部分的に作成できる。 [Details of person identification]
When the person identification unit 11 detects a person from the image taken by the camera 2, it identifies the person by assigning a unique ID (IDentifier) and attribute information to the detected person. Note that it is not necessary to provide an ID. Attribute information is information indicating one or more types of attributes assigned to a person. The attribute information may include, but is not limited to, at least one of the identified person's gender, age, clothing, color, presence or absence of a hat, presence or absence of glasses, and presence or absence of a bag. Attributes play the role of distinguishing people by being assigned to them (in other words, they have the function of distinguishing each person), and the value of each attribute can be determined from image information using machine learning. . Image information from the cameras 2 is generated at predetermined time intervals, and the person identification unit 11 can assign ID and attribute information to all cameras 2 at predetermined time intervals. As a result, the person identification unit 11 can partially create the tracking DB 15.
　図２は、追跡ＤＢのデータ構造図例である。追跡情報は、追跡ＤＢ１５の各レコードに相当する。追跡ＤＢ１５は、表形式であり、「時刻」欄、「カメラNo」欄、「ID」欄、「Age」欄、「Gender」欄、「Color」欄、「カメラ間統一ID」欄を備えている。
　「時刻」欄には、カメラ２が撮影した画像の撮影時刻（画像情報の生成時刻）が登録される。図２では、時分秒（hh:mm:ss）が示されているが、年月日（yy/mm/dd）の情報が含まれていてもよい。
　「カメラNo」欄には、画像を撮影したカメラ２の識別番号が登録される。
　「ID」欄には、カメラ２が撮影した画像に映されている人物に付与されたIDの値が登録される。なお、人物特定部１１は、IDの値の形式を適宜決定できる。
　「Age」欄には、画像に映されている人物の年齢（年代）が登録される。
　「Gender」欄には、画像に映されている人物の性別が登録される。
　「Color」欄には、画像に映されている人物の服色が登録される。 FIG. 2 is an example of a data structure diagram of the tracking DB. The tracking information corresponds to each record in the tracking DB 15. The tracking DB 15 is in a table format and includes a "time" column, a "camera No." column, an "ID" column, an "Age" column, a "Gender" column, a "Color" column, and a "uniform ID between cameras" column. There is.
In the "time" column, the photographing time (image information generation time) of the image photographed by the camera 2 is registered. Although hours, minutes, and seconds (hh:mm:ss) are shown in FIG. 2, information on the year, month, and day (yy/mm/dd) may also be included.
The identification number of the camera 2 that took the image is registered in the "Camera No." column.
In the "ID" column, the value of the ID given to the person shown in the image taken by the camera 2 is registered. Note that the person identification unit 11 can appropriately determine the format of the ID value.
The age (age) of the person shown in the image is registered in the "Age" column.
In the "Gender" column, the gender of the person shown in the image is registered.
In the "Color" column, the clothing color of the person shown in the image is registered.
　追跡ＤＢ１５の「Age」欄、「Gender」欄、「Color」欄に登録される値は、属性情報が示す属性の値の例である。しかし、追跡ＤＢ１５に登録される属性の値は、これらに限定されない。例えば人物の服装、帽子の有無、メガネの有無、カバンの有無などをを示す値を用意することができる。
　「カメラ間統一ID」欄には、複数のカメラ２が撮影した画像に映されている人物が同一人物である場合に当該人物に対して付与されるIDの値が登録される。カメラ間統一IDについては後記する。
　人物特定部１１は、刻々と生成される画像情報に対して、追跡ＤＢ１５の各レコードを作成する。 The values registered in the "Age" column, "Gender" column, and "Color" column of the tracking DB 15 are examples of the value of the attribute indicated by the attribute information. However, the values of attributes registered in the tracking DB 15 are not limited to these. For example, values indicating the person's clothing, presence or absence of a hat, presence or absence of glasses, presence or absence of a bag, etc. can be prepared.
In the "unified ID between cameras" column, when the person shown in the images taken by a plurality of cameras 2 is the same person, the value of the ID given to the person is registered. The unified ID between cameras will be described later.
The person identification unit 11 creates each record in the tracking DB 15 for image information that is generated every moment.
［人物追跡の詳細］
　人物追跡部１２は、人物特定部１１が特定した人物に付与した属性情報に基づいて、複数のカメラ２の各々から取得された画像情報に基づいて特定された人物の同一性を判定する。具体的には、人物追跡部１２は、追跡ＤＢ１５を参照して、属性が一致する人物を同一人物とする。図２の場合において、カメラNoが「1」のカメラ２が撮影し、IDが「1001」である人物と、カメラNoが「2」のカメラ２が撮影し、IDが「2001」である人物との間で、属性情報（Age：「23」、Gender：「Man」（男性）、Color：「Black」（黒））が一致する。よって、人物追跡部１２は、IDが「1001」である人物と、IDが「2001」である人物が同一人物であると判定する。その結果、人物追跡部１２は、追跡ＤＢ１５において、IDが「1001」のレコードの「カメラ間統一ID」欄、及びIDが「2001」のレコードの「カメラ間統一ID」欄に同じ値「A」を登録し、人物Aを特定する。
　人物追跡部１２は、追跡ＤＢ１５の他のレコードについても人物の同一性の判定をする。つまり、各レコードの「カメラ間統一ID」欄に所定の値（「B」、「C」、「D」、「E」など）が登録され、人物B,C,D,Eが特定される。その結果、人物追跡部１２は、追跡ＤＢ１５の残り（人物特定部１１が作成した部分以外の部分）を作成できる。 [Details of person tracking]
The person tracking section 12 determines the identity of the person specified based on the image information acquired from each of the plurality of cameras 2, based on the attribute information given to the person specified by the person identification section 11. Specifically, the person tracking unit 12 refers to the tracking DB 15 and identifies persons with matching attributes as the same person. In the case of Figure 2, a person is photographed by camera 2 whose camera number is "1" and whose ID is "1001", and a person whose ID is "2001" is photographed by camera 2 whose camera number is "2" The attribute information (Age: "23", Gender: "Man", Color: "Black") matches. Therefore, the person tracking unit 12 determines that the person whose ID is "1001" and the person whose ID is "2001" are the same person. As a result, in the tracking DB 15, the person tracking unit 12 enters the same value "A ” and identify Person A.
The person tracking unit 12 also determines the identity of persons in other records in the tracking DB 15. In other words, a predetermined value ("B", "C", "D", "E", etc.) is registered in the "Uniform ID between cameras" column of each record, and persons B, C, D, and E are identified. . As a result, the person tracking section 12 can create the remainder of the tracking DB 15 (the portion other than the portion created by the person identification section 11).
［グループの人数判定の詳細］
　グループ判定部１３は、追跡ＤＢ１５においてID及びカメラ間統一IDが登録された人物が属するグループを判定し、また、当該グループが何名で構成されているかを判定する。グループ判定部１３は、判定結果をグループＤＢ１６として作成する。 [Details of determining the number of people in the group]
The group determination unit 13 determines the group to which the person whose ID and inter-camera unified ID are registered in the tracking DB 15 belongs, and also determines how many people the group consists of. The group determination unit 13 creates the determination results as a group DB 16.
　図３は、グループＤＢのデータ構造図例である。グループ情報は、グループＤＢ１６の各レコードに相当する。グループＤＢ１６は表形式であり、「ID」欄、「カメラ間統一ID」欄、「グループID」欄、「グループ人数」欄、「グループ属性」欄を備えている。
　「ID」欄は、追跡ＤＢ１５の「ID」欄と同じである。「カメラ間統一ID」欄は、追跡ＤＢ１５の「カメラ間統一ID」欄と同じである。よって、追跡ＤＢ１５及びグループＤＢ１６は、関連付けられている。
　「グループID」欄には、対象の人物が属するグループを識別するグループIDが登録される。
　「グループ人数」欄には、対象の人物が属するグループを構成する人数が登録される。
　「グループ属性」欄には、対象の人物が属するグループの属性を示す値が登録される。グループの属性には、例えば、ファミリー（父母子）、パートナー（男女ペア）があるが、これらに限定されない。 FIG. 3 is an example of a data structure diagram of the group DB. Group information corresponds to each record in the group DB 16. The group DB 16 is in a table format and includes an "ID" column, a "unified ID between cameras" column, a "group ID" column, a "number of group members" column, and a "group attribute" column.
The "ID" column is the same as the "ID" column of the tracking DB 15. The “uniform ID between cameras” column is the same as the “uniform ID between cameras” column of the tracking DB 15. Therefore, the tracking DB 15 and the group DB 16 are associated.
In the "Group ID" column, a group ID that identifies the group to which the target person belongs is registered.
In the "Group Number" field, the number of people forming the group to which the target person belongs is registered.
In the "group attribute" field, a value indicating the attribute of the group to which the target person belongs is registered. Group attributes include, for example, family (parent and child) and partner (man and woman pair), but are not limited to these.
　図４は、グループの判定の説明図例（その１）である。図４に示すテーブルは、図２の追跡ＤＢ１５から、「時刻」欄、「カメラNo」欄、「カメラ間統一ID」欄を抜き出したものに相当する。例えば、同一のカメラ２が撮影した近接フレーム同士に、２以上の同一人物が映されていた場合を採り上げる。「近接フレーム同士」とは、撮影した時刻の差が極めて小さい所定値以下となるフレーム同士である。この場合、グループ判定部１３は、当該同一人物がグループであると判定し、判定したグループにグループIDを付与する。 FIG. 4 is an explanatory diagram example (part 1) of group determination. The table shown in FIG. 4 corresponds to the "time" column, "camera No." column, and "unified camera ID" column extracted from the tracking DB 15 in FIG. 2. For example, consider a case where two or more of the same person are shown in close-up frames taken by the same camera 2. “Next frames” are frames in which the difference in photographing times is extremely small and equal to or less than a predetermined value. In this case, the group determining unit 13 determines that the same person belongs to a group, and assigns a group ID to the determined group.
　図４によれば、11:25:30にはカメラNo1のカメラ２のフレームに人物A,Bが映し出されていることがわかる。また、11:25:40にはカメラNo2のカメラ２のフレームに人物Aが映し出されており、11:25:41にはカメラNo2のカメラ２のフレームに人物Bが映し出されていることがわかる。この場合、グループ判定部１３は、人物A,Bがグループであると判定することができる。また、図３に示すように、グループ判定部１３は、人物A,Bのグループに対してグループID：「1」を付与する。
　同様にして、図４によれば、11:25:31にはカメラNo1のカメラ２のフレームに人物Cが映し出されており、11:25:32にはカメラNo1のカメラ２のフレームに人物Dが映し出されており、11:25:35にはカメラNo1のカメラ２のフレームに人物Eが映し出されていることがわかる。また、11:25:41にはカメラNo2のカメラ２のフレームに人物Cが映し出されており、11:25:43にはカメラNo2のカメラ２のフレームに人物Dが映し出されており、11:25:44にはカメラNo2のカメラ２のフレームに人物Eが映し出されていることがわかる。この場合、グループ判定部１３は、人物C,D,Eがグループであると判定することができる。また、図３に示すように、グループ判定部１３は、人物C,D,Eのグループに対してグループID：「2」を付与する。 According to FIG. 4, it can be seen that at 11:25:30, persons A and B are shown in the frame of camera No. 1, camera 2. Also, at 11:25:40, person A is shown in the frame of camera 2 of camera No. 2, and at 11:25:41, person B is shown in the frame of camera 2 of camera No. 2. . In this case, the group determination unit 13 can determine that persons A and B belong to a group. Further, as shown in FIG. 3, the group determination unit 13 assigns a group ID: "1" to the group of persons A and B.
Similarly, according to FIG. 4, at 11:25:31, person C is shown in the frame of camera No. 1, camera 2, and at 11:25:32, person D is shown in the frame of camera No. 1, camera 2. It can be seen that at 11:25:35, person E is shown in the frame of camera No. 1 and camera 2. Also, at 11:25:41, person C is shown in the frame of camera 2 of camera No. 2, and at 11:25:43, person D is shown in the frame of camera 2 of camera No. 2, and 11: At 25:44, it can be seen that person E is reflected in the frame of camera No. 2, camera 2. In this case, the group determination unit 13 can determine that persons C, D, and E belong to a group. Further, as shown in FIG. 3, the group determination unit 13 assigns a group ID: "2" to the group of persons C, D, and E.
　図５は、グループの判定の説明図例（その２）である。図５に示すテーブルは、図４に示すケーブルと同じ形式であるが、内容は異なっている。図５は、グループ判定部１３がグループを判定する方法の他の例を示している。つまり、所定期間に亘って、同一のカメラ２が撮影した近接フレーム同士に、２以上の同一人物が映されていた場合を採り上げる。この場合において、２以上の同一人物が映されていたフレームが、所定期間内の全フレームに対して50％以上の割合を占めていたとき、グループ判定部１３は、当該同一人物がグループであると判定し、判定したグループにグループIDを付与する。 FIG. 5 is an explanatory diagram example (part 2) of group determination. The table shown in FIG. 5 has the same format as the cable shown in FIG. 4, but the contents are different. FIG. 5 shows another example of how the group determining unit 13 determines groups. In other words, a case will be considered in which two or more of the same person are shown in close-up frames shot by the same camera 2 over a predetermined period of time. In this case, when the frames in which two or more of the same person are shown account for 50% or more of all frames within the predetermined period, the group determination unit 13 determines that the same person is in a group. A group ID is assigned to the determined group.
　図５によれば、人物Aは、カメラNo1のカメラ２の11:25:30のフレーム、カメラNo2のカメラ２の11:25:31のフレーム、カメラNo4のカメラ２の11:25:35のフレーム、カメラNo5のカメラ２の11:25:41のフレーム、カメラNo6のカメラ２の11:25:43のフレームに映し出されている。また、人物Bは、カメラNo1のカメラ２の11:25:30のフレーム、カメラNo3のカメラ２の11:25:32のフレーム、カメラNo4のカメラ２の11:25:40のフレーム、カメラNo5のカメラ２の11:25:41のフレーム、カメラNo7のカメラ２の11:25:44のフレームに映し出されている。人物A,Bが同一のカメラ２に映し出された近接フレーム（図５ではハッチングを付す）の数が６であり、所定期間（11:25:30～11:25:44）内の全フレーム数が１０であるため、人物A,Bが映されていたフレームの割合が60％となり、50％以上となる。よって、グループ判定部１３は、人物A,Bがグループであると判定することができ、当該グループに対してグループIDを付与することができる。 According to FIG. 5, person A is in the frame of camera No. 1 and camera 2 at 11:25:30, the frame of camera No. 2 and camera 2 at 11:25:31, and the frame of camera No. 4 and camera 2 at 11:25:35. The frame is shown in the 11:25:41 frame of camera No. 5 and camera 2, and the 11:25:43 frame of camera No. 6 and camera 2. Person B also has a frame at 11:25:30 on camera No. 1 and camera 2, a frame at 11:25:32 on camera No. 3 and camera 2, a frame at 11:25:40 on camera No. 4 and camera 2, and a frame at camera No. 5 at 11:25:30. It is shown in the frame of camera No. 2 at 11:25:41, and the frame of camera No. 7 at 11:25:44. The number of close frames (hatched in Figure 5) in which people A and B are shown on the same camera 2 is 6, and the total number of frames within the predetermined period (11:25:30 to 11:25:44) is 10, so the proportion of frames in which persons A and B are shown is 60%, which is more than 50%. Therefore, the group determining unit 13 can determine that persons A and B belong to a group, and can assign a group ID to the group.
　また、グループ判定部１３は、判定したグループに対して、当該グループを構成する人数を判定することができる。図４の例によれば、人物A,Bのグループについて、グループ判定部１３は、グループの人数を２と判定する。このとき、図３に示すように、グループ判定部１３は、人物A,Bのグループに対してグループ人数：「2」を付与する。同様に、人物C,D,Eのグループについて、グループ判定部１３は、グループの人数を３と判定する。このとき、図３に示すように、グループ判定部１３は、人物C,D,Eのグループに対してグループ人数：「3」を付与する。 Furthermore, the group determination unit 13 can determine the number of people forming the determined group. According to the example of FIG. 4, for the group of persons A and B, the group determination unit 13 determines that the number of people in the group is two. At this time, as shown in FIG. 3, the group determination unit 13 assigns a group number of "2" to the group of persons A and B. Similarly, for the group of persons C, D, and E, the group determination unit 13 determines that the number of people in the group is three. At this time, as shown in FIG. 3, the group determination unit 13 assigns a group number of "3" to the group of persons C, D, and E.
　また、グループ判定部１３は、判定したグループに対して、当該グループに属する人物の属性情報に基づいてグループ属性を判定することができる。例えば、図２によれば、属性情報を参照して人物A,Bは、20代の男女ペアであると推測できる。よって、グループ判定部１３は、人物A,Bがパートナーであると判定し、人物A,Bのレコード（図３のグループ情報）の「グループ属性」欄に「パートナー」の値を登録する。また、図２によれば、属性情報を参照して人物C,D,Eは父母子であると推測できる。よって、グループ判定部１３は、人物C,D,Eがファミリーであると判定し、人物C,D,Eのレコード（図３のグループ情報）の「グループ属性」欄に「ファミリー」の値を登録する。 Furthermore, the group determination unit 13 can determine the group attribute of the determined group based on the attribute information of the persons belonging to the group. For example, according to FIG. 2, by referring to the attribute information, it can be inferred that persons A and B are a male and female pair in their 20s. Therefore, the group determination unit 13 determines that persons A and B are partners, and registers the value of "partner" in the "group attribute" column of the records of persons A and B (group information in FIG. 3). Furthermore, according to FIG. 2, it can be inferred that persons C, D, and E are a parent and child by referring to the attribute information. Therefore, the group determination unit 13 determines that persons C, D, and E are a family, and enters the value of "family" in the "group attribute" column of the records of persons C, D, and E (group information in FIG. 3). register.
［人流の描画］
　追跡ＤＢ１５及びグループＤＢ１６は、人物特定部１１の特定の結果、人物追跡部１２の追跡の結果、及びグループ判定部１３の判定の結果に相当する。描画部１４は、所定期間内の追跡情報及びグループ情報を用いてグループの移動をサンキー図で描画できる。サンキー図は、複数の工程間の流量を表現する図表であるが、本実施形態では、商業施設内の店舗を訪れる人物（顧客）の人流を表現する。
　なお、情報処理装置１は、カメラ２の各々の位置情報及び向き情報を記憶している。よって、情報処理装置１は、カメラ２が撮影する人物の位置情報を求めることができるが、求めなくてもよい。また、情報処理装置１は、商業施設内の店舗の位置情報を記憶している。つまり、情報処理装置１には、商業施設内の地図およびカメラ２の配置が予め登録されている。なお、情報処理装置１に登録される地図は、通路のつながりをデータ化した通路ネットワーク情報と、店舗の位置をデータ化した店舗位置情報とで構成される簡易的なものであってもよい。通路ネットワーク情報は、例えば、通路の基準（例えば、幅方向の中心）に設定されるノードと、ノード間を結ぶリンクとで構成される。ノードは、例えば通路の分岐点、店舗が存在する地点、カメラ２が設置される地点などに設定される。この場合、店舗の位置情報およびカメラ２の位置情報は、例えば通路ネットワーク情報のノードに対応付けられたものであってよい。よって、情報処理装置１は、カメラ２が撮影する人物がどの店舗に向かうかを求めることができる。しかし、情報処理装置１が商業施設内の店舗の位置情報を記憶していることは必須ではない。
　例えば、情報処理装置１のオペレータは、カメラ２が撮影した所定期間（例：１日間）を選択することができる。描画部１４は、追跡ＤＢ１５の追跡情報から、選択された所定期間に含まれる追跡情報を抽出することができる。また、描画部１４は、抽出した追跡情報に対応するグループ情報をグループＤＢ１６から抽出することができる。そして、描画部１４は、抽出した追跡情報及びグループ情報に基づいてサンキー図を描画できる。 [Drawing of people]
The tracking DB 15 and the group DB 16 correspond to the identification results of the person identification unit 11, the tracking results of the person tracking unit 12, and the determination results of the group determination unit 13. The drawing unit 14 can draw the movement of a group in a Sankey diagram using tracking information and group information within a predetermined period. A Sankey diagram is a chart that expresses the flow rate between a plurality of processes, and in this embodiment, it expresses the flow of people (customers) visiting a store in a commercial facility.
Note that the information processing device 1 stores position information and orientation information of each camera 2. Therefore, although the information processing device 1 can obtain the position information of the person photographed by the camera 2, it does not need to do so. The information processing device 1 also stores location information of stores within the commercial facility. That is, a map within the commercial facility and the arrangement of the cameras 2 are registered in the information processing device 1 in advance. Note that the map registered in the information processing device 1 may be a simple map that includes aisle network information that is data about the connections of aisles, and store location information that is data that is the location of stores. The passage network information includes, for example, a node set as a reference of the passage (for example, the center in the width direction) and a link connecting the nodes. A node is set, for example, at a branch point of a passage, a point where a store is located, a point where the camera 2 is installed, or the like. In this case, the location information of the store and the location information of the camera 2 may be associated with nodes of the aisle network information, for example. Therefore, the information processing device 1 can determine which store the person photographed by the camera 2 is heading to. However, it is not essential that the information processing device 1 stores location information of stores within the commercial facility.
For example, the operator of the information processing device 1 can select a predetermined period of time (for example, one day) during which images were taken by the camera 2. The drawing unit 14 can extract tracking information included in the selected predetermined period from the tracking information in the tracking DB 15. Furthermore, the drawing unit 14 can extract group information corresponding to the extracted tracking information from the group DB 16. Then, the drawing unit 14 can draw a Sankey diagram based on the extracted tracking information and group information.
　図６は、サンキー図の説明図例（その１）である。図６は、商業施設内の店舗（店0、店1、店2、店3、店4）に立ち寄った顧客を追跡したときの人流を示している。図６に示す帯は、顧客の移動を表している。図６では、顧客の移動を右方向で表している。顧客の各々の移動は、追跡ＤＢ１５を参照することで特定できる。描画部１４は、グループ属性に応じて帯を異なる色で表現できる。図６では、グループ属性が「ファミリー」である帯と、「パートナー」である帯が異なる色で示されている（図示の便宜上、色の違いではなくハッチングの違いで示されている）。帯の色は、グループＤＢ１６の「グループ属性」欄を参照することで特定できる。また、帯の縦幅は、移動する顧客の人数を表している。色別の帯の縦幅は、追跡ＤＢ１５及びグループＤＢ１６を参照することで特定できる。また、店舗は顧客の移動の始点又は終点となり、図６に示すように、描画部１４は店舗を縦棒で表現している。 FIG. 6 is an explanatory diagram example (part 1) of the Sankey diagram. Figure 6 shows the flow of people when customers who stopped by stores (store 0, store 1, store 2, store 3, store 4) in a commercial facility were tracked. The bands shown in FIG. 6 represent the movement of customers. In FIG. 6, the movement of the customer is shown in the right direction. The movement of each customer can be identified by referring to the tracking DB 15. The drawing unit 14 can express bands in different colors depending on group attributes. In FIG. 6, a band whose group attribute is "family" and a band whose group attribute is "partner" are shown in different colors (for convenience of illustration, they are shown by different hatching rather than different colors). The color of the band can be specified by referring to the "group attribute" column of the group DB 16. Further, the vertical width of the band represents the number of customers moving. The vertical width of each color band can be specified by referring to the tracking DB 15 and the group DB 16. Further, the store is the starting point or end point of the customer's movement, and as shown in FIG. 6, the drawing unit 14 represents the store with a vertical bar.
　図６によれば、店0から店1へのファミリー層（グループ属性がファミリーであるグループ）の移動が多いこと、さらに店1から店4へのファミリー層の移動が多いことがわかる。つまり、ファミリー層の多くは、店0→店1→店4という経路で移動していることがわかる。また、店2から店4へのファミリー層の移動がほとんどないことがわかる。よって、商業施設の経営者は、図６のサンキー図を見て、店2から店4までを移動するファミリー層の動線を確保するための看板を適所に配置するなどの具体的な施策を練ることができる。 According to Figure 6, it can be seen that there is a large movement of families (groups whose group attribute is family) from store 0 to store 1, and that there is also a large movement of families from store 1 to store 4. In other words, it can be seen that many of the families move along the route of store 0 → store 1 → store 4. It can also be seen that there is almost no movement of families from Store 2 to Store 4. Therefore, managers of commercial facilities should look at the Sankey diagram in Figure 6 and take specific measures, such as placing signboards in appropriate locations, to ensure a flow line for families moving from store 2 to store 4. You can practice.
　また、図６によれば、店2から店3へのパートナー層（グループ属性がパートナーであるグループ）の移動量割合がとても多いことがわかる。よって、商業施設の経営者は、サンキー図を参照することで、各店舗間がコラボレーションイベントを実施したときの移動量割合がどうなるかといった効果測定を検証することができる。 Also, according to Figure 6, it can be seen that the proportion of movement of the partner class (group whose group attribute is partner) from store 2 to store 3 is very high. Therefore, by referring to the Sankey diagram, the manager of a commercial facility can verify effect measurement, such as what will happen to the movement amount ratio when a collaboration event is implemented between stores.
　図６のサンキー図では、２種類の配列（グループ属性）を２色で可視化した。しかし、描画部１４は、より多いグループ属性に対して同様の可視化を行うことができる。また、描画部１４は、グループの人数に応じてグループの移動を異なる色でサンキー図で描画してもよい。また、描画部１４は、注目したい配列を濃い色にし、他の配列を薄い色にするように強調描画することができる。このような強調描画により、商業施設の経営者が見たいグループ属性をわかりやすく表示することができる。また、描画部１４は、グループの人数が所定人数であるときのグループの移動をサンキー図で強調描画してもよい。 In the Sankey diagram in Figure 6, two types of arrays (group attributes) are visualized in two colors. However, the drawing unit 14 can perform similar visualization for a larger number of group attributes. Further, the drawing unit 14 may draw the movement of the group in a Sankey diagram in different colors depending on the number of people in the group. Further, the drawing unit 14 can perform emphasized drawing such that the array of interest is colored in a dark color and the other arrays are colored in a light color. Such highlighted drawing allows the group attributes that the manager of the commercial facility wants to see to be displayed in an easy-to-understand manner. Further, the drawing unit 14 may use a Sankey diagram to highlight the movement of the group when the number of people in the group is a predetermined number.
［過去データとの比較］
　図７は、サンキー図の説明図例（その２）である。図８は、サンキー図の説明図例（その３）である。図７及び図８は、商業施設内の店舗（店0、店1、店2、店3、店4）を経由する２区間のデータを追跡ＤＢ１５及びグループＤＢ１６から抽出し、サンキー図で描画したときの図である。また、図７は、１カ月前の１週間をオペレータが選択したときの追跡情報、及び当該追跡情報に対応するグループ情報に基づいて描画部１４が描画したサンキー図である。図８は、現在までの１週間をオペレータが選択したときの追跡情報、及び当該追跡情報に対応するグループ情報に基づいて描画部１４が描画したサンキー図である。また、図７及び図８にて描画されている帯はファミリー層（グループ属性が「ファミリー」であるグループ）の帯に絞っている。 [Comparison with past data]
FIG. 7 is an explanatory diagram example (part 2) of the Sankey diagram. FIG. 8 is an explanatory diagram example (part 3) of the Sankey diagram. Figures 7 and 8 show two sections of data passing through stores (store 0, store 1, store 2, store 3, store 4) in a commercial facility extracted from the tracking DB 15 and group DB 16 and drawn in Sankey diagrams. This is a diagram of the time. Further, FIG. 7 is a Sankey diagram drawn by the drawing unit 14 based on tracking information when the operator selects one week one month ago and group information corresponding to the tracking information. FIG. 8 is a Sankey diagram drawn by the drawing unit 14 based on tracking information when the operator selects the past week and group information corresponding to the tracking information. Moreover, the bands drawn in FIGS. 7 and 8 are narrowed down to bands of the family layer (groups whose group attribute is "family").
　図７及び図８によれば、店1から店4へのファミリー層の移動は、今週の方が多くなっていることがわかる。商業施設の経営者は、図７及び図８のサンキー図を見比べることで、人流の移動量の増減が妥当であるのか否かを判定できる。また、商業施設の経営者は、妥当でなかったときの施策を早期にたてることができる。 According to Figures 7 and 8, it can be seen that more families are moving from Store 1 to Store 4 this week. By comparing the Sankey diagrams of FIGS. 7 and 8, the manager of a commercial facility can determine whether the increase or decrease in the amount of movement of people is appropriate. In addition, managers of commercial facilities can quickly take measures in case something is not appropriate.
　図９は、サンキー図の説明図例（その４）である。サンキー図は、２以上のサンキー図を足し合わせたり、差分をとったりして描画できる性質を有する。図９のサンキー図は、図８の現在までの１週間のサンキー図から図７の１カ月前の１週間のサンキー図を差し引いたものに相当する。図９に示す帯は、差分をとった顧客の移動量の正値（増大）及び負値（減少）を表す。 FIG. 9 is an explanatory diagram example (part 4) of the Sankey diagram. A Sankey diagram has the property that it can be drawn by adding or subtracting two or more Sankey diagrams. The Sankey diagram in FIG. 9 corresponds to the Sankey diagram for one week up to the present in FIG. 8 minus the Sankey diagram for one week from one month ago in FIG. 7. The bands shown in FIG. 9 represent the positive value (increase) and negative value (decrease) of the customer's movement amount after taking the difference.
　図７及び図８の場合、商業施設の経営者は、過去のデータと比較するために２つのサンキー図を描画部１４に表示させて差異を見比べることで、顧客の移動量の増減を確認し、施策を考えることができた。これに対し、図９の場合、商業施設の経営者は１つのサンキー図を参照することで顧客の移動量の増減を一目で確認でき、施策の検証をより直感的に行うことができる。 In the case of FIGS. 7 and 8, the manager of the commercial facility displays two Sankey diagrams on the drawing unit 14 to compare with past data and compares the differences to confirm the increase or decrease in the amount of customer movement. , I was able to think of measures. On the other hand, in the case of FIG. 9, the manager of a commercial facility can check the increase or decrease in the amount of customer movement at a glance by referring to one Sankey diagram, and can verify measures more intuitively.
［処理］
　情報処理装置１が実行する処理について説明する。図１０は、本実施形態の情報処理方法を示すフローチャートである。情報処理装置１は、複数のカメラ２の各々から取得した画像情報を用いて処理を開始する。 [process]
The processing executed by the information processing device 1 will be explained. FIG. 10 is a flowchart showing the information processing method of this embodiment. The information processing device 1 starts processing using image information acquired from each of the plurality of cameras 2.
　まず、人物特定部１１が、カメラ２が撮影した画像から人物を特定する（ステップＳ１）。特定した人物に対して、ID及び属性情報が付与され、追跡ＤＢ１５に登録される。人物特定部１１は、場所及び時刻の一方又は双方を変えて人物の特定を複数回に亘って行うことができる。次に、人物追跡部１２が、属性情報に基づいて、特定された人物の同一性を判定することで、特定された人物を追跡する（ステップＳ２）。人物追跡部１２は、複数回における人物の特定の結果を関連付けることで、特定した人物を追跡することができる。次に、グループ判定部１３が、特定された人物が属するグループの人数を判定する（ステップＳ３）。このとき、グループ判定部１３は、追跡ＤＢ１５を参照することで、特定した人物が属するグループを判定する。判定したグループに対してグループIDが付与され、グループＤＢ１６に登録される。また、グループ判定部１３は、判定したグループを構成するグループ人数を判定し、グループ人数がグループＤＢ１６に登録される。また、グループ判定部１３は、グループに属する人物の属性情報に基づいてグループ属性を判定し、グループ属性がグループＤＢ１６に登録される。グループ判定部１３は、人物の追跡を複数人に対して行うことで、グループのグループ属性を判定することができる。最後に、描画部１４が、グループ人数及びグループ属性が判定されたグループの移動を描画する（ステップＳ４）。描画はサンキー図で行うことができる。 First, the person identification unit 11 identifies a person from an image taken by the camera 2 (step S1). An ID and attribute information are assigned to the identified person and registered in the tracking DB 15. The person identifying unit 11 can identify a person multiple times by changing one or both of the location and time. Next, the person tracking unit 12 tracks the specified person by determining the identity of the specified person based on the attribute information (step S2). The person tracking unit 12 can track the identified person by associating the results of identifying the person multiple times. Next, the group determination unit 13 determines the number of people in the group to which the identified person belongs (step S3). At this time, the group determination unit 13 determines the group to which the identified person belongs by referring to the tracking DB 15. A group ID is assigned to the determined group and registered in the group DB 16. Further, the group determining unit 13 determines the number of group members constituting the determined group, and the number of group members is registered in the group DB 16. Furthermore, the group determining unit 13 determines group attributes based on attribute information of persons belonging to the group, and the group attributes are registered in the group DB 16. The group determination unit 13 can determine the group attributes of a group by tracking a plurality of people. Finally, the drawing unit 14 draws the movement of the group whose number of group members and group attributes have been determined (step S4). The drawing can be done using a Sankey diagram.
［効果］
　本実施形態によれば、各人の行動を分析するにとどまらず、各人が属するグループに着目し、グループの移動を判定する。これにより、グループの追跡が可能となるため、複数の人物を対象にして展開する施策の効果を正確に検証することができる。
　また、グループの移動を描画することで、グループの移動を視覚的に把握できる。
　また、サンキー図で描画することで、グループの追跡を容易に把握できる。
　また、グループの移動を異なる色で描画したり、強調描画したりすることで、人流の詳細を視覚的に把握できる。
　また、現在のデータを過去のデータと対比可能な態様でサンキー図で描画することで、施策の効果を容易に把握することができる。
　また、現在のデータと過去のデータとの差異を１つのサンキー図で描画することで、施策の効果を容易に把握することができる。
　また、現在のデータと過去のデータとの差異を色味の違いで描画することで、施策の効果を容易に把握することができる。
　また、カメラ２から取得した画像情報で人物を特定することで、スマートフォンなどの情報端末を有しない人物も特定することができ、当該人物が属するグループの移動を判定できる。
　また、複数のカメラ２を用いることで、スマートフォンなどの情報端末を有しない人物も追跡することができる。
　また、グループ属性を判定することで、グループ属性ごとのグループの追跡が可能であり、グループ属性ごとにグループの移動をサンキー図で描画できる。
　また、人物の属性情報に複数種類の属性を設定することで、人物の特定や、グループ属性の判定を容易にすることができる。
　また、人物の特定、追跡を複数回に亘って行い、グループ属性を判定することで、人流をグループの集合体として捉えることを容易にすることができる。 [effect]
According to this embodiment, not only the behavior of each person is analyzed, but also the group to which each person belongs is focused, and movement of the group is determined. This makes it possible to track groups, making it possible to accurately verify the effectiveness of measures targeted at multiple people.
Furthermore, by drawing the movement of the group, it is possible to visually understand the movement of the group.
Also, by drawing a Sankey diagram, group tracking can be easily understood.
Additionally, by drawing the movements of groups in different colors or highlighting them, it is possible to visually grasp the details of the flow of people.
In addition, by drawing current data in a Sankey diagram in a manner that allows comparison with past data, it is possible to easily understand the effects of measures.
In addition, by drawing the difference between current data and past data in one Sankey diagram, it is possible to easily understand the effects of measures.
Furthermore, by depicting the differences between current data and past data using different colors, it is possible to easily understand the effects of measures.
Furthermore, by identifying a person using the image information acquired from the camera 2, it is possible to identify a person who does not have an information terminal such as a smartphone, and it is possible to determine the movement of the group to which the person belongs.
Furthermore, by using a plurality of cameras 2, it is possible to track even a person who does not have an information terminal such as a smartphone.
Furthermore, by determining group attributes, it is possible to track groups for each group attribute, and the movement of groups for each group attribute can be drawn in a Sankey diagram.
Furthermore, by setting multiple types of attributes in the attribute information of a person, it is possible to easily identify a person and determine group attributes.
Furthermore, by identifying and tracking people multiple times and determining group attributes, it is possible to easily understand the flow of people as a collection of groups.
［ハードウェア構成］
　図１１は、情報処理装置のハードウェア構成図である。上述してきた情報処理装置１は、例えば図７に示すようなハードウェア構成で示されるコンピュータ２００によって実現される。コンピュータ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、通信Ｉ／Ｆ（インターフェイス）２０５、入出力Ｉ／Ｆ２０６、およびメディアＩ／Ｆ２０７を有する。 [Hardware configuration]
FIG. 11 is a hardware configuration diagram of the information processing device. The information processing apparatus 1 described above is realized, for example, by a computer 200 having a hardware configuration as shown in FIG. The computer 200 has a CPU 201, a RAM 202, a ROM 203, an HDD 204, a communication I/F (interface) 205, an input/output I/F 206, and a media I/F 207.
　ＣＰＵ２０１は、ＲＯＭ２０３またはＨＤＤ２０４に格納されたプログラムに基づいて動作し、各部（人物特定部１１、人物追跡部１２、グループ判定部１３、描画部１４）の制御を行う。ＲＯＭ２０３は、コンピュータｚの起動時にＣＰＵ２０１によって実行されるブートプログラムや、コンピュータｚのハードウェアに依存するプログラム等を格納する。 The CPU 201 operates based on a program stored in the ROM 203 or the HDD 204, and controls each section (person identification section 11, person tracking section 12, group determination section 13, drawing section 14). The ROM 203 stores a boot program executed by the CPU 201 when the computer z is started, programs depending on the hardware of the computer z, and the like.
　ＨＤＤ２０４は、ＣＰＵ２０１によって実行されるプログラム、及びかかるプログラムによって使用されるデータ等を格納する。通信Ｉ／Ｆ２０５は、通信網２０９を介して他の機器からデータを受信してＣＰＵ２０１へ送り、ＣＰＵ２０１が生成したデータを、通信網２０９を介して他の機器へ送信する。 The HDD 204 stores programs executed by the CPU 201 and data used by the programs. The communication I/F 205 receives data from other devices via the communication network 209 and sends it to the CPU 201, and sends data generated by the CPU 201 to the other devices via the communication network 209.
　ＣＰＵ２０１は、入出力Ｉ／Ｆ２０６を介して、ディスプレイやプリンタ等の出力装置、及びキーボードやマウス等の入力装置を制御する。ＣＰＵ２０１は、入出力Ｉ／Ｆ２０６を介して、入力装置からデータを取得する。また、ＣＰＵ２０１は、生成したデータを入出力Ｉ／Ｆ２０６を介して出力装置へ出力する。 The CPU 201 controls output devices such as a display and printer, and input devices such as a keyboard and mouse via the input/output I/F 206. The CPU 201 acquires data from an input device via the input/output I/F 206. Further, the CPU 201 outputs the generated data to an output device via the input/output I/F 206.
　メディアＩ／Ｆ２０７は、記録媒体２０８に格納されたプログラム又はデータを読み取り、ＲＡＭ２０２を介してＣＰＵ２０１に提供する。ＣＰＵ２０１は、かかるプログラムを、メディアＩ／Ｆ２０７を介して記録媒体２０８からＲＡＭ２０２上にロードし、ロードしたプログラムを実行する。記録媒体２０８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 The media I/F 207 reads the program or data stored in the recording medium 208 and provides it to the CPU 201 via the RAM 202. The CPU 201 loads this program from the recording medium 208 onto the RAM 202 via the media I/F 207, and executes the loaded program. The recording medium 208 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
　例えば、コンピュータｚが情報処理装置１として機能する場合、コンピュータ２００のＣＰＵ２０１は、ＲＡＭ２０２上にロードされたプログラムを実行することにより、各部の機能を実現する。プログラム実行の際、ＨＤＤ２０４が格納するデータ等が使用される。コンピュータ２００のＣＰＵ２０１は、これらのプログラムを記録媒体２０８から読み取って実行するが、他の例として、他の装置から通信網２０９を介してこれらのプログラムを取得してもよい。 For example, when the computer z functions as the information processing device 1, the CPU 201 of the computer 200 realizes the functions of each part by executing a program loaded onto the RAM 202. When executing a program, data stored in the HDD 204 is used. The CPU 201 of the computer 200 reads these programs from the recording medium 208 and executes them, but as another example, these programs may be acquired from another device via the communication network 209.
［特許請求の範囲との関係］
　図７のサンキー図を描画する際、オペレータが選択した「１カ月前の１週間」という期間は、特許請求の範囲の「第１期間」の例である。
　図８のサンキー図を描画する際、オペレータが選択した「現在までの１週間」という期間は、特許請求の範囲の「第２期間」の例である。 [Relationship with the scope of claims]
When drawing the Sankey diagram in FIG. 7, the period "one week from one month ago" selected by the operator is an example of the "first period" in the claims.
When drawing the Sankey diagram of FIG. 8, the period "one week up to now" selected by the operator is an example of the "second period" in the claims.
［変形例］
（ａ）：本実施形態では、複数のカメラ２から取得した画像情報を用いて、人物特定部１１による人物の特定や、グループの人数の判定などが行われた。しかし、例えば、カメラ２からの画像情報ではなく、各人物が有するスマートフォンなどの端末から取得可能な識別情報や位置情報を用いて、人物特定部１１による人物の特定や、グループの人数の判定などを行ってもよい。また、ビーコンから取得可能な識別情報や位置情報を用いて人物の特定や、グループの人数の判定などを行ってもよい。
（ｂ）：人物特定部１１による人物の特定は、複数のカメラ２から取得される画像情報に基づいて行ってもよいが、１台のカメラ２から取得される画像情報に基づいて行ってもよい。
（ｃ）：情報処理装置は、１台の計算機で実装してもよいし、２台以上の計算機で実装してもよい。 [Modified example]
(a): In the present embodiment, the person identifying unit 11 identifies a person, determines the number of people in a group, etc. using image information acquired from a plurality of cameras 2. However, for example, the person identification unit 11 can identify a person or determine the number of people in a group by using identification information and location information that can be obtained from a terminal such as a smartphone owned by each person, rather than image information from the camera 2. You may do so. Furthermore, identification information and position information that can be obtained from beacons may be used to identify people, determine the number of people in a group, and the like.
(b): The identification of a person by the person identification unit 11 may be performed based on image information obtained from a plurality of cameras 2, or may be performed based on image information obtained from a single camera 2. good.
(c): The information processing device may be implemented using one computer, or may be implemented using two or more computers.
（ｄ）：本実施形態で説明した種々の技術を適宜組み合わせた技術を実現することもできる。
（ｅ）：本実施形態で説明したソフトウェアをハードウェアとして実現することもでき、ハードウェアをソフトウェアとして実現することもできる。
（ｆ）：その他、本発明の構成要素について、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。 (d): It is also possible to realize a technique that combines the various techniques described in this embodiment as appropriate.
(e): The software described in this embodiment can be implemented as hardware, and the hardware can also be implemented as software.
(f): Other constituent elements of the present invention may be modified as appropriate without departing from the spirit of the present invention.
　１００　情報処理システム
　　　１　情報処理装置
　　　２　カメラ
　　１１　人物特定部
　　１２　人物追跡部
　　１３　グループ判定部
　　１４　描画部
　　１５　追跡ＤＢ
　　１６　グループＤＢ 100 Information processing system 1 Information processing device 2 Camera 11 Person identification unit 12 Person tracking unit 13 Group determination unit 14 Drawing unit 15 Tracking DB
16 Group DB

Claims (15)

  1. 　人物を特定する人物特定部と、
    　前記特定した人物を追跡する人物追跡部と、
    　前記人物追跡部の追跡結果を用いて、前記特定した人物が属するグループを判定するグループ判定部と、を備える情報処理装置。     a person identification unit that identifies a person;
    a person tracking unit that tracks the identified person;
    An information processing device comprising: a group determination unit that determines a group to which the identified person belongs using a tracking result of the person tracking unit.
  2. 　前記人物特定部の特定の結果、前記人物追跡部の追跡の結果、及び前記グループ判定部の判定の結果に基づいて、前記グループの移動を描画する描画部、をさらに備える請求項１に記載の情報処理装置。 2. The drawing unit according to claim 1, further comprising a drawing unit that draws the movement of the group based on the identification result of the person identification unit, the tracking result of the person tracking unit, and the determination result of the group determination unit. Information processing device.
  3. 　前記描画部は、前記グループの移動をサンキー図で描画する請求項２に記載の情報処理装置。 The information processing device according to claim 2, wherein the drawing unit draws the movement of the group in a Sankey diagram.
  4. 　前記描画部は、前記グループの人数に応じて前記グループの移動を異なる色で前記サンキー図で描画する、又は前記グループの人数が所定人数であるときの前記グループの移動を前記サンキー図で強調描画する請求項３に記載の情報処理装置。 The drawing unit may draw the movement of the group in the Sankey diagram in different colors depending on the number of people in the group, or highlight the movement of the group when the number of people in the group is a predetermined number in the Sankey diagram. The information processing device according to claim 3.
  5. 　前記人物特定部の特定の結果、前記人物追跡部の追跡の結果、及び前記グループ判定部の判定の結果は、複数種類の期間における複数種類の結果であり、
    　前記描画部は、前記複数種類の結果に基づいて前記複数種類の期間における前記グループの移動を前記サンキー図で描画する請求項３又は請求項４に記載の情報処理装置。     The identification result of the person identification unit, the tracking result of the person tracking unit, and the determination result of the group determination unit are multiple types of results in multiple types of periods,
    The information processing apparatus according to claim 3 or 4, wherein the drawing unit draws the movement of the group during the plurality of types of periods in the Sankey diagram based on the plurality of types of results.
  6. 　前記グループの移動は、前記複数種類の期間としての第１期間における第１移動、及び前記複数種類の期間としての第２期間における第２移動を含んでおり、
    　前記描画部は、前記第１移動と前記第２移動との差分を前記サンキー図で描画する請求項５に記載の情報処理装置。     The movement of the group includes a first movement in a first period as the plurality of types of periods, and a second movement in a second period as the plurality of types of periods,
    The information processing apparatus according to claim 5, wherein the drawing unit draws the difference between the first movement and the second movement in the Sankey diagram.
  7. 　前記描画部は、前記差分の正値及び負値を異なる色で前記サンキー図で描画する請求項６に記載の情報処理装置。 The information processing device according to claim 6, wherein the drawing unit draws the positive and negative values of the difference in different colors in the Sankey diagram.
  8. 　前記人物特定部は、撮影装置から取得した画像情報に基づいて前記人物の特定をする請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein the person identifying unit identifies the person based on image information acquired from a photographing device.
  9. 　前記人物特定部は、前記画像情報に基づいて、前記特定した人物に属性情報を付与し、
    　前記人物追跡部は、前記付与した属性情報に基づいて、複数の前記撮影装置の各々から取得された画像情報に基づいて特定された人物の同一性を判定する請求項８に記載の情報処理装置。     The person identifying unit assigns attribute information to the identified person based on the image information,
    The information processing device according to claim 8, wherein the person tracking unit determines the identity of the person identified based on the image information acquired from each of the plurality of photographing devices, based on the assigned attribute information. .
  10. 　前記グループ判定部は、前記付与した属性情報に基づいて、前記グループのグループ属性を判定する請求項９に記載の情報処理装置。 The information processing device according to claim 9, wherein the group determination unit determines the group attribute of the group based on the assigned attribute information.
  11. 　前記属性情報は、前記特定した人物の性別、年代、服装、服色、帽子の有無、メガネの有無、カバンの有無の少なくとも何れかを含む請求項９又は請求項１０に記載の情報処理装置。 The information processing device according to claim 9 or 10, wherein the attribute information includes at least one of the identified person's gender, age, clothing, color, presence or absence of a hat, presence or absence of glasses, and presence or absence of a bag.
  12. 　前記人物特定部は、場所及び時刻の一方又は双方を変えて前記人物の特定を複数回に亘って行い、
    　前記人物追跡部は、複数回における前記人物の特定の結果を関連付けることで、前記特定した人物を追跡し、
    　前記グループ判定部は、前記人物の追跡を複数人に対して行うことで、前記グループのグループ属性を判定する請求項１に記載の情報処理装置。     The person identifying unit identifies the person multiple times by changing one or both of the location and time,
    The person tracking unit tracks the identified person by associating specific results of the person multiple times,
    The information processing apparatus according to claim 1, wherein the group determination unit determines the group attribute of the group by tracking the person for a plurality of people.
  13. 　情報処理装置と、複数の撮影装置とを備え、
    　前記情報処理装置は、
    　人物を特定する人物特定部と、
    　前記特定した人物を追跡する人物追跡部と、
    　前記人物追跡部の追跡結果を用いて、前記特定した人物が属するグループの人数を判定するグループ判定部と、を備える情報処理システム。     Equipped with an information processing device and multiple imaging devices,
    The information processing device includes:
    a person identification unit that identifies a person;
    a person tracking unit that tracks the identified person;
    An information processing system comprising: a group determination unit that determines the number of people in a group to which the identified person belongs using a tracking result of the person tracking unit.
  14. 　人物を特定するステップと、
    　前記特定した人物を追跡するステップと、
    　前記追跡の追跡結果を用いて、前記特定した人物が属するグループの人数を判定するステップと、を備える情報処理方法。     a step of identifying a person;
    tracking the identified person;
    An information processing method comprising the step of determining the number of people in a group to which the specified person belongs, using the tracking result of the tracking.
  15. 　コンピュータを、
    　人物を特定する人物特定部、
    　前記特定した人物を追跡する人物追跡部、
    　前記人物追跡部の追跡結果を用いて、前記特定した人物が属するグループの人数を判定するグループ判定部、として機能させるためのプログラム。     computer,
    a person identification unit that identifies a person;
    a person tracking unit that tracks the identified person;
    A program for functioning as a group determination unit that determines the number of people in a group to which the identified person belongs using a tracking result of the person tracking unit.
PCT/JP2023/018219 2022-06-09 2023-05-16 Information processing device, information processing system, information processing method, and program WO2023238614A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022093424 2022-06-09
JP2022-093424 2022-06-09

Publications (1)

Publication Number Publication Date
WO2023238614A1 true WO2023238614A1 (en) 2023-12-14

Family

ID=89118158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018219 WO2023238614A1 (en) 2022-06-09 2023-05-16 Information processing device, information processing system, information processing method, and program

Country Status (1)

Country Link
WO (1) WO2023238614A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134235A (en) * 2001-10-19 2003-05-09 Ntt Docomo Kansai Inc Information transmission system, information processing apparatus, computer program and recording medium
WO2018180588A1 (en) * 2017-03-27 2018-10-04 株式会社日立国際電気 Facial image matching system and facial image search system
JP2019023851A (en) * 2017-07-21 2019-02-14 株式会社エヌ・ティ・ティ・アド Data analysis system and data analysis method
WO2020195376A1 (en) * 2019-03-27 2020-10-01 日本電気株式会社 Monitoring device, suspicious object detecting method, and recording medium
JP2021140636A (en) * 2020-03-09 2021-09-16 日本電気株式会社 Coupon issuing device, method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134235A (en) * 2001-10-19 2003-05-09 Ntt Docomo Kansai Inc Information transmission system, information processing apparatus, computer program and recording medium
WO2018180588A1 (en) * 2017-03-27 2018-10-04 株式会社日立国際電気 Facial image matching system and facial image search system
JP2019023851A (en) * 2017-07-21 2019-02-14 株式会社エヌ・ティ・ティ・アド Data analysis system and data analysis method
WO2020195376A1 (en) * 2019-03-27 2020-10-01 日本電気株式会社 Monitoring device, suspicious object detecting method, and recording medium
JP2021140636A (en) * 2020-03-09 2021-09-16 日本電気株式会社 Coupon issuing device, method and program

Similar Documents

Publication Publication Date Title
Corona et al. Meva: A large-scale multiview, multimodal video dataset for activity detection
AU2021202992B2 (en) System of Automated Script Generation With Integrated Video Production
Newman et al. New insights into retail space and format planning from customer-tracking data
JP6444655B2 (en) Display method, stay information display system, display control device, and display control method
CN108027827A (en) Coordinating communication and/or storage based on graphical analysis
CN111563396A (en) Method and device for online identifying abnormal behavior, electronic equipment and readable storage medium
US20230088595A1 (en) Event management system
CN109145707A (en) Image processing method and device, electronic equipment and storage medium
WO2014168283A1 (en) System for travel scheduling service, service control method and travel scheduling method
Chapleau et al. Strict and deep comparison of revealed transit trip structure between computer-assisted telephone interview household travel survey and smart cards
JP2015513331A (en) System and method for rule-based content optimization
WO2023238614A1 (en) Information processing device, information processing system, information processing method, and program
WO2019245183A1 (en) Method, device, and program for selecting place and providing information
JP2007102341A (en) Automatic counter
WO2021104388A1 (en) System and method for interactive perception and content presentation
JP2004133805A (en) Moving picture processing method, moving picture processing device and program for executing the method by computer
Queralt et al. Estimating the unmet need for services: A middling approach
WO2012124939A2 (en) System and method for providing a content-monitoring and push service based on a search portfolio of a user and a real space location
WO2021199179A1 (en) Seat guidance device, system, method, and non-transitory computer-readable medium having program stored thereon
KR20220068339A (en) Method for collecting data reflecting traveler's behavioral characteristics using facial recognition
US20210342428A1 (en) Information processing apparatus, information processing method, and storage medium
JP2007102342A (en) Automatic counter
US20240046652A1 (en) System and program
Muller Tutorial Architectural Reasoning Using Conceptual Modeling
WO2021192313A1 (en) Seat guidance device, system, method, and non-transitory computer-readable medium having program stored therein

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819598

Country of ref document: EP

Kind code of ref document: A1