WO2016166990A1 - 動線分析システム及び動線分析方法 - Google Patents

動線分析システム及び動線分析方法 Download PDF

Info

Publication number
WO2016166990A1
WO2016166990A1 PCT/JP2016/002063 JP2016002063W WO2016166990A1 WO 2016166990 A1 WO2016166990 A1 WO 2016166990A1 JP 2016002063 W JP2016002063 W JP 2016002063W WO 2016166990 A1 WO2016166990 A1 WO 2016166990A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow line
image
line analysis
information
server device
Prior art date
Application number
PCT/JP2016/002063
Other languages
English (en)
French (fr)
Inventor
晋平 萩巣
哲生 田山
英俊 木下
公嗣 矢野
中村 学
隆恵 小口
高橋 秀明
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2016166990A1 publication Critical patent/WO2016166990A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Definitions

  • the present invention relates to a flow line analysis system and a flow line analysis method for generating a flow line analysis image in which a person's staying information or passage information is superimposed on an image obtained by imaging with a camera device.
  • Patent Document 1 is known as a prior art for displaying an activity level of a person for each hour at a shooting site where a camera device is installed as a heat map image.
  • an activity level is calculated by analyzing a flow line of a person at a shooting site where a security camera connected via a network is installed, and a sensor detection result is superimposed on a floor plan of the shooting site. It is disclosed to generate a heat map image and display the heat map image on a browser screen corresponding to the security camera. Thereby, by browsing the heat map image displayed on the screen of the browser, it becomes possible to grasp the activity level of the person at the shooting site.
  • the camera device captures a predetermined imaging region (for example, a predetermined position in the store), and further, the layout relating to the arrangement of product shelves and the like in the store is changed.
  • a predetermined imaging region for example, a predetermined position in the store
  • Patent Document 1 For this reason, every time the layout in the store is changed, in Patent Document 1, it is necessary to change the floor layout of the layout. Since this is an image, a person is reflected in this image, and there arises a problem that the privacy of the person is not properly protected.
  • the present invention appropriately protects the privacy of a person appearing in an imaging region, and accurately superimposes the person's staying information or passage information on a background image updated at a predetermined timing. It is an object of the present invention to provide a flow line analysis system and a flow line analysis method capable of generating a flow line analysis image and confirming the transition of the flow line analysis image with a simple operation.
  • the present invention is a flow line analysis system in which a camera device and a server device are connected, wherein the camera device generates a captured image and extracts flow line information related to a staying position or a passing position of a moving body.
  • the generated captured image and the extracted flow line information of the moving body are transmitted to the server device at a predetermined transmission cycle, and the server device transmits the moving body motion to the captured image.
  • a flow line analysis image in which line information is superimposed is generated, the generated flow line analysis image is displayed on a display unit, and the server device further includes a captured image and a motion in a first predetermined period arbitrarily specified.
  • the first predetermined flow In a state where the first flow line analysis image generated based on the line information is displayed, when an instruction to move the first predetermined period by a predetermined amount is made by a user operation, the first predetermined flow The duration does not change
  • a flow line analysis system that moves the predetermined amount to a second predetermined period and displays the second flow line analysis image generated based on the captured image and the flow line information in the second predetermined period.
  • the present invention is also a flow line analysis system in which a camera device and a server device are connected, wherein the camera device generates a background image of the captured image and moves the moving object with respect to the staying position or passing position.
  • Line information is extracted, and the generated background image and the extracted flow line information of the moving body are transmitted to the server device at a predetermined transmission cycle.
  • a flow line analysis image in which the flow line information of the moving body is superimposed is generated, the generated flow line analysis image is displayed on a display unit, and the server device further includes a background image and a motion image in a first predetermined period.
  • the second flow line generated based on the background image and the flow line information in the second predetermined period according to the period change operation for the first flow line analysis image generated based on the line information.
  • Flow line to display analysis image To provide analysis system.
  • the present invention also relates to a flow line analysis method in a flow line analysis system in which a camera device and a server device are connected to each other, wherein the camera device generates a captured image, and the moving object stays or passes through Flow line information is extracted, and the generated captured image and the extracted flow line information of the moving body are transmitted to the server device at a predetermined transmission cycle. In the server device, the captured image is transmitted.
  • a flow line analysis image on which the flow line information of the moving body is superimposed, the generated flow line analysis image is displayed on a display unit, and the server device further includes a first arbitrarily specified In a state where the first flow line analysis image generated based on the captured image and the flow line information in a predetermined period is displayed, an instruction to move the first predetermined period by a predetermined amount is not given by a user operation. The first predetermined period is moved to the second predetermined period without changing the length, and the second predetermined period is generated based on the captured image and the flow line information in the second predetermined period.
  • a flow line analysis method for displaying the flow line analysis image is provided.
  • the present invention also relates to a flow line analysis method in a flow line analysis system in which a camera device and a server device are connected, wherein the camera device generates a background image of a captured image, and a moving object stays at the position.
  • the flow line information related to the passing position is extracted, and the generated background image and the extracted flow line information of the moving body are transmitted to the server device at a predetermined transmission cycle.
  • a flow line analysis image in which the flow line information of the moving body is superimposed on the background image is generated, the generated flow line analysis image is displayed on a display unit, and the server device further includes a first predetermined period. For the first flow line analysis image generated based on the background image and the flow line information in FIG. 5, the first generated based on the background image and the flow line information in the second predetermined period according to the period change operation. 2 And it displays the flow-line analysis image, providing flow line analysis method.
  • the present invention is also a flow line analysis system in which a camera device and a server device are connected, the camera device generating a picked-up captured image, and flow line information relating to a staying position or a passing position of a moving body. Is generated based on the extracted flow line information, and the number of counts that the moving body passes through at least one line designated by the server device or the input device for the captured image is generated.
  • the server device transmits the captured image, the extracted flow line information of the moving body, and the derived count number corresponding to the at least one line to the server device at a predetermined transmission cycle.
  • the server device Generates a count number image in which the count number corresponding to the at least one line is superimposed on the captured image, displays the generated count number image on a display unit, and In addition, the server device displays a first count number image generated based on a captured image, flow line information, and a count number corresponding to at least one line in a first predetermined period arbitrarily specified.
  • the first predetermined period is moved by a predetermined amount by the user's operation, and the first predetermined period is moved to the second predetermined period without changing the length.
  • a flow line analysis system for displaying a captured image, flow line information and a second count number image generated based on a count number corresponding to at least one line in the second predetermined period.
  • the present invention is also a flow line analysis system in which a camera device and a server device are connected, wherein the camera device generates a background image of the captured image and relates to a staying position or a passing position of the moving body.
  • Flow line information is extracted, and based on the extracted flow line information, a count number that the moving body passes through at least one line designated by the server device or the input device with respect to the captured image is derived.
  • the generated background image, the extracted flow line information of the moving body, and the derived count number corresponding to the at least one line are transmitted to the server device every predetermined transmission cycle,
  • the server device generates a count number image in which a count number corresponding to the at least one line is superimposed on the background image, and the generated count number image is displayed on a display unit.
  • the server apparatus the background image in the first predetermined period. For the first count number image generated based on the flow line information and the count number corresponding to at least one line, according to the period change operation, the background image, the flow line information, and at least 1 in the second predetermined period A flow line analysis system for displaying a second count number image generated based on a count number corresponding to one line is provided.
  • the present invention also relates to a flow line analysis method in a flow line analysis system in which a camera device and a server device are connected to each other, wherein the camera device generates a picked-up image and captures or passes the moving object.
  • the flow line information on the position is extracted, and based on the extracted flow line information, the count number that the moving body passes through at least one line designated by the server device or the input device with respect to the captured image is calculated.
  • the derived captured image generated, the extracted flow line information of the moving body, and the derived count number corresponding to the at least one line are transmitted to the server device at a predetermined transmission cycle.
  • the server device generates a count number image in which the count number corresponding to the at least one line is superimposed on the captured image, and the generated count value image is generated.
  • the length of the first predetermined period is not changed.
  • a fixed amount is moved to a second predetermined period, and the second count number image generated based on the captured image, the flow line information and the count number corresponding to at least one line in the second predetermined period is displayed.
  • a flow line analysis method is provided.
  • the present invention also relates to a flow line analysis method in a flow line analysis system in which a camera device and a server device are connected, wherein the camera device generates a background image of a captured image and retains a moving body.
  • Flow line information relating to a position or a passing position is extracted, and the moving body passes at least one line designated by the server device or the input device with respect to the captured image based on the extracted flow line information.
  • Deriving the count number, the generated background image, the extracted flow line information of the moving body, and the derived count number corresponding to the at least one line are sent to the server every predetermined transmission period.
  • the server device generates a count number image in which the count number corresponding to the at least one line is superimposed on the background image.
  • Said count number of images displayed on a display unit further, in the server device, the background image in the first predetermined period.
  • the background image For the first count number image generated based on the flow line information and the count number corresponding to at least one line, according to the period change operation, the background image, the flow line information, and at least 1 in the second predetermined period
  • a flow line analysis method for displaying a second count number image generated based on a count number corresponding to one line.
  • the present invention it is possible to appropriately protect the privacy of a person appearing in an imaging region, and to generate an accurate flow line analysis image in which person's staying information or passage information is superimposed on a background image updated at a predetermined timing.
  • the transition of the flow line analysis image can be confirmed with a simple operation.
  • System configuration diagram showing in detail the system configuration of the sales management system including the flow line analysis system of the present embodiment 1 is a block diagram showing in detail the functional internal configuration of each of a camera device and a server device of the present embodiment. Explanatory drawing of the operation
  • generation part of the server apparatus of this embodiment The figure which shows an example of the operation screen of the monthly report in the food department of the store AA of May, 2014 produced
  • Explanatory drawing of the first example of the timeline bar The figure which shows an example of the operation screen containing the flow line analysis image of the store AA corresponding to the time range after the change designated with respect to the timeline bar included in the operation screen shown in FIG.
  • Explanatory drawing which shows the example of a switching display of a flow line analysis image according to pressing of the +1 day button and the -1 day button among the jump buttons shown in FIG.
  • the block diagram which shows each functional internal structure of the camera apparatus and server apparatus of the 3rd modification of this embodiment in detail.
  • Explanatory drawing of the second example of the timeline bar 19 is an explanatory diagram showing a switching display example of the number of people count map image in response to pressing of the +1 day button and the ⁇ 1 day button among the jump buttons shown in FIG.
  • the present embodiment specifically discloses the flow line analysis system and the flow line analysis method according to the present invention will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
  • the accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.
  • the present invention may be defined as a flow line analysis image generation method including an operation (step) in which the camera device generates a flow line analysis image (see later).
  • the flow line analysis systems 500A, 500B, 500C,... are provided for each of a plurality of stores (store AA, store BB, store CC,.
  • a description will be given on the assumption that the sales management system 1000 is installed and connected to a plurality of flow line analysis systems 500A, 500B, 500C,... Via a network NW.
  • the embodiments of the flow line analysis system, the camera device, and the flow line analysis method according to the present invention are not limited to the contents of the present embodiment described later.
  • FIG. 1 is a system configuration diagram showing in detail the system configuration of the sales management system 1000 including the flow line analysis systems 500A, 500B, 500C,... According to the present embodiment.
  • a sales management system 1000 shown in FIG. 1 includes a flow line analysis system 500A, 500B, 500C,... Installed in each of a plurality of stores AA, BB, CC,.
  • the configuration includes a cloud computer 800 and a setting terminal device 900.
  • the server device 600 of the operation headquarters, the smartphone 700, the cloud computer 800, and the setting terminal device 900 are connected to each other via a network NW.
  • the network NW is a wireless network or a wired network.
  • the wireless network is, for example, a wireless LAN (Local Area Network), a wireless WAN (Wide Area Network), 3G, LTE (Long Term Evolution), or WiGig (Wireless Gigabit).
  • the wired network is, for example, an intranet or the Internet.
  • a flow line analysis system 500A installed in the store AA shown in FIG. 1 includes a plurality of camera devices 100, 100A,..., 100N installed on the floor 1, a recorder 200, a server device 300, an input device 400, And a monitor 450.
  • a plurality of camera devices are also installed on the floor 2 in the same manner as the floor 1, and illustration of the camera devices in the floor 2 is omitted.
  • Each of the camera devices 100, 100A,... 100N has the same internal configuration, and details thereof will be described later with reference to FIG.
  • the recorder 200 is configured using, for example, a semiconductor memory or a hard disk device, and an image obtained by imaging of each camera device installed in the store AA (hereinafter, an image obtained by imaging of the camera device is referred to as a “captured image”). Data).
  • the captured image data stored in the recorder 200 is used for monitoring work such as crime prevention.
  • the server apparatus 300 is configured using, for example, a PC (Personal Computer), and is a user who operates the input device 400 (for example, a user of a flow line analysis system and refers to a store clerk or a store manager of the store AA, and so on).
  • the camera apparatus 100 is notified that a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store AA) has occurred.
  • the server device 300 uses data (see below) transmitted from the camera device (for example, the camera device 100) to move a moving body (for example, a store clerk, a store manager, a customer in the imaging area of the camera device (for example, the camera device 100)).
  • a flow line analysis image is generated by superimposing the flow line information on the staying position or passing position of a person (such as the person, etc.) on the captured image of the camera device (for example, the camera device 100), and displayed on the monitor 450.
  • the server apparatus 300 performs a predetermined process (for example, a flow line analysis report generation process described later) in accordance with an input operation of a user who operates the input device 400, and causes the monitor 450 to display the flow line analysis report. Details of the internal configuration of the server apparatus 300 will be described later with reference to FIG.
  • the input device 400 is configured using, for example, a mouse, a keyboard, a touch panel, or a touch pad, and outputs a signal corresponding to a user input operation to the camera device 100 or the server device 300.
  • an arrow is shown only between the input device 400 and the camera apparatus 100, but the input device 400 and other camera apparatuses (for example, the camera apparatuses 100 ⁇ / b> A and 100 ⁇ / b> N). An arrow may be shown between the two.
  • the monitor 450 is configured using, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence), and displays a flow line analysis image or a flow line analysis report data generated by the server device 300.
  • the monitor 450 is provided as an external device different from the server device 300, but may be configured to be included in the server device 300.
  • the server device 600 of the operation headquarters is a flow line analysis installed in each store AA, BB, CC,... According to an input operation of an employee (for example, an officer) of the operation headquarters operating the server device 600 of the operation headquarters. It is a browsing apparatus for acquiring and displaying a flow line analysis image or a flow line analysis report generated in the systems 500A, 500B, 500C,.
  • the server device 600 of the operation headquarters has various information necessary for generating a flow line analysis report (see FIG. 12) (for example, sales information, store visitor information, event schedule information, maximum temperature information, minimum temperature information). ). These various kinds of information may be held in a server device provided for each store AA, BB, CC,.
  • the server apparatus 600 of the administration headquarters may execute each process in a server apparatus installed in each store AA, BB, CC,... (For example, the server apparatus 300 in the case of the store AA).
  • the server apparatus 600 of the operation headquarters can aggregate the data of each store AA, BB, CC,...
  • a flow line analysis report for example, see FIG. 12 described later.
  • Detailed data of one store selected by an input operation on 600 for example, a flow line analysis report shown in FIG. 12
  • a specific sales floor for example, a meat sales floor
  • the smartphone 700 is a flow line analysis system 500A, 500B, 500C installed in each store AA, BB, CC,... According to an input operation of an employee (for example, a sales representative) of the operation headquarters who operates the smartphone 700. ,... Is a browsing apparatus for acquiring and displaying a flow line analysis image or a flow line analysis report generated in.
  • the cloud computer 800 is an online storage that stores data of a flow line analysis image or a flow line analysis report generated in a flow line analysis system 500A, 500B, 500C,... Installed in each store AA, BB, CC,.
  • a predetermined process for example, search and extraction of a flow line analysis report on X, Y, Y
  • the processing result Is transmitted to the smartphone 700.
  • the setting terminal device 900 is configured by using a PC, for example, and is dedicated for displaying the setting screen of the camera device of the flow line analysis systems 500A, 500B, 500C,... Installed in each store AA, BB, CC,. Browser software can be executed.
  • the setting terminal device 900 is a camera device setting screen (for example, CGI (Common Gateway Interface)) in response to an input operation of an employee of the operation headquarters operating the setting terminal device 900 (for example, a system administrator of the sales management system 1000). Is displayed in the browser software, and the setting information of the camera device is edited (corrected, added, deleted) and set.
  • CGI Common Gateway Interface
  • FIG. 2 is a block diagram illustrating in detail the functional internal configurations of the camera device 100 and the server device 300 of the present embodiment.
  • the camera devices installed in the stores AA, BB, CC,... Have the same configuration.
  • the camera device 100 shown in FIG. 2 includes an imaging unit 10, an image input unit 20, a background image generation unit 30, a flow line information analysis unit 40, a schedule management unit 50, a transmission unit 60, and an event information reception unit. 70, a background image storage unit 80, and a passage / staying analysis information storage unit 90.
  • the background image generation unit 30 includes an input image learning unit 31, a moving body separation unit 32, and a background image extraction unit 33.
  • the flow line information analysis unit 40 includes a target detection unit 41, a flow line information acquisition unit 42, and a passage / staying state analysis unit 43.
  • the imaging unit 10 has at least a lens and an image sensor.
  • the lens collects light (light rays) incident from the outside of the camera device 100 and forms an image on a predetermined imaging surface of the image sensor.
  • a fish-eye lens or a wide-angle lens capable of obtaining an angle of view of, for example, 140 degrees or more is used.
  • the image sensor is, for example, a CCD (Charged-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) solid-state imaging device, and converts an optical image formed on the imaging surface into an electrical signal.
  • the image input unit 20 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor), and performs predetermined signal processing using an electrical signal from the imaging unit 10. Then, the captured image data (frame) defined by RGB (Red Green Blue) or YUV (luminance / color difference) recognizable by human beings is generated and output to the background image generation unit 30 and the flow line information analysis unit 40 To do.
  • a CPU Central Processing Unit
  • MPU Micro Processing Unit
  • DSP Digital Signal Processor
  • the background image generation unit 30 is configured by using, for example, a CPU, MPU, or DSP, and each captured image data (frame) output from the image input unit 20 at a predetermined frame rate (for example, 30 fps (frame per second)).
  • a background image excluding a moving body (for example, a person) included in the captured image is generated and stored in the background image storage unit 80.
  • the background image generation processing in the background image generation unit 30 can use, for example, the method disclosed in the following reference patent document, but is not limited to the method disclosed in this reference patent document.
  • FIG. 3 is an explanatory diagram of an outline of the operation of the background image generation unit 30 of the camera device 100 of the present embodiment.
  • FIG. 4A is a diagram illustrating an example of a captured image input to the image input unit 20.
  • FIG. 4B is a diagram illustrating an example of a background image generated by the background image generation unit 30.
  • FIG. 3 the generation results of the input image learning unit 31, the moving body separation unit 32, and the background image extraction unit 33 are schematically shown from the left side to the right side of the page orthogonal to the time axis from the upper side to the lower side of the page. It is shown that a store visitor carries one cardboard out of four cardboards containing beverages.
  • the input image learning unit 31 displays the distribution state of the pixel luminance and color difference values for each pixel in a plurality of captured image frames output from the image input unit 20 (for example, the respective frames FM1 to FM5 shown in FIG. 3). analyse.
  • the moving body separation unit 32 uses the learning result of the input image learning unit 31 (that is, the analysis result of the luminance and color difference distribution state for each same pixel between a plurality of frames (for example, in the time axis direction shown in FIG. 3)).
  • the information is separated into information on a moving object (for example, a person) (see, for example, frames FM1a to FM5a) and information other than the moving object (for example, in the background) (for example, see frames FM1b to FM5b).
  • the moving body separating unit 32 regards the cardboard carried by the person as the moving body.
  • the background image extraction unit 33 uses the frames FM1b to FM5b in which information other than the moving body is reflected among the information separated by the moving body separation unit 32, and the background images of the frames FM1 to FM5 of the captured image output from the image input unit 20.
  • the frames FM1c to FM5c are extracted and stored in the background image storage unit 80.
  • the captured image frame FM10a shown in FIG. 4A for example, a person who provides food in a cafeteria and a person who receives food in a tray are shown as moving bodies.
  • the background image frame FM10c generated by the background image generation unit 30 see FIG. 4B
  • cooking is performed in the same canteen as a moving object. It is excluded so that neither the person who provides it nor the person who receives food is shown.
  • the flow line information analysis unit 40 is configured using, for example, a CPU, MPU, or DSP, and takes a captured image for each data (frame) of the captured image output from the image input unit 20 at a predetermined frame rate (for example, 10 fps).
  • a predetermined frame rate for example, 10 fps.
  • the flow line information relating to the staying position or passing position of the moving body (for example, a person) included in the moving object is detected and stored in the passing / staying analysis information accumulating unit 90.
  • the target detection unit 41 performs predetermined image processing (for example, person detection processing, face detection processing) on the frame of the captured image output from the image input unit 20, thereby moving the moving body ( For example, the presence or absence of a person is detected.
  • the target detection unit 41 detects a moving body included in the frame of the captured image
  • the target detection unit 41 outputs information (for example, coordinate information of the frame) regarding the detection area of the moving body to the frame of the captured image to the flow line information acquisition unit 42.
  • the object detection part 41 outputs the information (for example, predetermined null information) regarding the detection area
  • the flow line information acquisition unit 42 is based on the information on the detection area of the moving object output from the target detection unit 41, and the information on the captured image output from the image input unit 20 and the information on the detection area of the past moving object. (For example, captured image information and coordinate information) are used to link information on the current and past detection areas, and pass / stay status as flow line information (for example, the amount of change in the coordinate information of the detection area of the moving object).
  • the data is output to the analysis unit 43.
  • the passage / staying state analyzing unit 43 is based on the flow line information output from the flow line information acquiring unit 42 for a plurality of captured images, and the staying position or the passing position of the moving body (for example, a person) in the frame of the captured image.
  • the flow line information (for example, “target position information”, “flow line information”, and “information about passage status or staying status”) is extracted and generated.
  • the passage / staying state analysis unit 43 uses a flow line analysis generated in the display image generation unit 350 of the server device 300 using the extraction result of the flow line information regarding the staying position or passing position of the moving body (for example, a person).
  • a visualized image of the color portion of the image may be generated.
  • the passing / staying state analyzing unit 43 uses the flow line information for the frames of the plurality of captured images, so that the moving body (for example, a person) stays in the captured image frame output from the image input unit 20. Alternatively, it is possible to extract and generate accurate flow line information regarding the passing position.
  • the schedule management unit 50 is configured using, for example, a CPU, MPU, or DSP, and the background image data stored in the background image storage unit 80 and the staying information of the moving object stored in the passage / staying analysis information storage unit 90 or
  • the transmission unit 60 is instructed for a predetermined transmission cycle for periodically transmitting the data of the extraction result of the flow line information regarding the passage information to the server device 300.
  • the predetermined transmission period is, for example, 15 minutes, 1 hour, 12 hours, 24 hours, etc., but is not limited to these time intervals.
  • the transmission unit 60 transmits the background image data stored in the background image storage unit 80 and the moving object stored in the passage / staying analysis information storage unit 90.
  • the data of the result of extracting the flow line information regarding the stay information or the passage information is acquired and transmitted to the server apparatus 300.
  • the transmission timing in the transmission part 60 is later mentioned with reference to FIG.5, FIG.6, FIG.7 and FIG.
  • the event information receiving unit 70 as an example of the event information acquiring unit receives (acquires) notification of detection of a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store AA) from the server device 300 or the input device 400.
  • a predetermined event for example, a change in the layout of the sales floor on the floor 1 of the store AA
  • the background image data stored in the background image storage unit 80 and the movement information related to the staying information or passing information of the moving object stored in the passing / staying analysis information storage unit 90 are stored.
  • the transmission instruction to the server apparatus 300 of the line information extraction result data is output to the transmission unit 60.
  • the background image storage unit 80 is configured by using, for example, a semiconductor memory or a hard disk device, and stores background image data (frames) generated by the background image generation unit 30.
  • the passage / staying analysis information accumulating unit 90 is configured by using, for example, a semiconductor memory or a hard disk device, and extracts flow line information regarding the staying position or passing position of a moving body (for example, a person) generated by the flow line information analyzing unit 40. Data of the results (for example, “target position information”, “flow line information”, and “information regarding passage state or staying state”) are stored.
  • the camera device 100 shown in FIG. 2 may include a scene identification unit SD instead of the event information receiving unit 70, and so on (see, for example, FIG. 13).
  • the scene identification unit SD as an example of the image change detection unit detects whether there is a change in the captured image output from the image input unit 20 (for example, an event that the layout of the sales floor on the floor 1 of the store AA has changed).
  • the scene identification unit SD detects a change in the captured image
  • the background image data stored in the background image storage unit 80 and the staying information or passage of the moving object stored in the passage / staying analysis information storage unit 90 are detected.
  • the transmission instruction to the server apparatus 300 of the data of the extraction result of the flow line information regarding the information is output to the transmission unit 60.
  • the camera device 100 shown in FIG. 2 may further include a person counting unit CT, and the same applies to the following (for example, see FIG. 13).
  • the person counting unit CT as an example of the moving body detection unit performs predetermined image processing (for example, person detection processing) on the captured image output from the image input unit 20, so that the moving body included in the captured image is detected. Count the number of detections.
  • the person count unit CT outputs information related to the number of detected moving bodies included in the captured image to the transmission unit 60.
  • (Server device) 2 includes an event information receiving unit 310, a notification unit 320, a reception unit 330, a reception information storage unit 340, a display image generation unit 350, and a report generation output unit 360. is there.
  • the event information receiving unit 310 receives, from the input device 400, information indicating that a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store AA) has occurred for each corresponding camera device (for example, the camera device 100). If so, a notification of detection of a predetermined event is received.
  • the event information receiving unit 310 outputs to the notification unit 320 that a notification of detection of a predetermined event has been received.
  • the information indicating that a predetermined event has occurred includes the identification number (for example, C1, C2,... Described later) of the camera device that captures an image of the location where the predetermined event has occurred.
  • the notification unit 320 transmits a notification of detection of a predetermined event output from the event information reception unit 310 to a corresponding camera device (for example, the camera device 100).
  • the receiving unit 330 receives the data transmitted from the transmission unit 60 of the camera device 100 (that is, the background image data stored in the background image storage unit 80 and the retention of the moving object stored in the pass / stay analysis information storage unit 90). Information or data on the result of extraction of flow line information related to passage information) is received and output to the reception information storage unit 340 and the display image generation unit 350.
  • the reception information storage unit 340 is configured using, for example, a semiconductor memory or a hard disk device, and receives data received by the reception unit 330 (that is, background image data stored in the background image storage unit 80 and a pass / stay analysis information storage unit). 90, the data of the extraction result of the flow line information related to the staying information or the passing information of the moving object stored in 90 is stored.
  • the display image generation unit 350 as an example of the image generation unit is configured by using, for example, a CPU, MPU, or DSP, and is acquired from the reception unit 330 or the reception information storage unit 340 (that is, stored in the background image storage unit 80). Using the background image data and the moving object staying information stored in the passage / staying analysis information accumulating unit 90 or the data of the flow line information on the passing information). A flow line analysis image in which flow line information related to the position is superimposed is generated.
  • the flow line information that visually indicates where the vehicle has passed is an image that is quantitatively visualized within a predetermined range (for example, a value of 0 to 255) like a heat map.
  • the display image generation unit 350 as an example of the display control unit causes the monitor 450 to display the generated flow line analysis image.
  • the report generation output unit 360 as an example of the report generation unit is configured by using, for example, a CPU, MPU, or DSP, and when a flow line analysis report generation instruction is input from the input device 400, a flow line analysis described later. A report (see, for example, FIG. 12) is generated.
  • the report generation / output unit 360 as an example of the display control unit displays the generated flow line analysis report on the monitor 450.
  • FIG. 5 is a time chart for explaining the operation timing of the transmission processing of the camera device 100 of the present embodiment.
  • FIG. 6 is a time chart when the camera apparatus 100 of the present embodiment periodically performs transmission processing.
  • FIG. 7 is a time chart when the camera apparatus 100 according to the present embodiment changes the operation timing of the transmission process according to the detection of the event.
  • FIG. 8 is a time chart when the camera apparatus 100 of the present embodiment omits the transmission process before and after detecting an event.
  • the background image generation unit 30 when a captured image is output from the image input unit 20 (image input), the background image generation unit 30 generates a background image of the captured image output from the image input unit 20 to generate a background.
  • the image data is stored in the image storage unit 80 (background image generation), and the flow line information analysis unit 40 stores flow line information regarding the staying position or passing position of the moving body (for example, a person) included in the captured image output from the image input unit 20. Extract (flow line information analysis).
  • Extract flow line information analysis
  • the transmission unit 60 performs the transmission cycle instructed from the schedule management unit 50, for example, as illustrated in FIG. 7.
  • the expiration time for example, a timer interrupt is received from the schedule management unit 50, and the background image data and the pass / stay analysis information stored in the background image storage unit 80 from the previous transmission time t0 to the current transmission time t1.
  • Data on the extraction result of the flow line information related to the staying information or passage information of the moving object stored in the storage unit 90 is acquired and transmitted to the server device 300 (time t1).
  • the regular transmission interval (transmission cycle) in the transmission unit 60 is 15 minutes, 1 hour, 12 hours, 24 hours, etc., and is instructed from the schedule management unit 50 in advance.
  • the background image data transmitted by the transmission unit 60 may be data for one sheet or data for a plurality of sheets (for example, a plurality of background images obtained every 5 minutes).
  • the transmission unit 60 is instructed by the schedule management unit 50, for example, as shown in FIG. 7, for each of the second and subsequent image input, background image generation, and flow line information analysis processes shown in FIG.
  • a timer interrupt is received from the schedule management unit 50, and the background image data and passage stored in the background image storage unit 80 from the previous transmission time t1 to the current transmission time t2 are passed.
  • Acquisition data of the movement information related to the staying information or passage information of the moving object stored in the staying analysis information storage unit 90 is acquired and transmitted to the server apparatus 300 (time t2).
  • the transmission unit 60 receives a notification of detection of a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store AA) from the event information reception unit 70 (time t3)
  • a predetermined event for example, a change in the layout of the sales floor on the floor 1 of the store AA
  • time t3 For example, when an event interrupt is received from the event information receiving unit 70, the background image data stored in the background image storage unit 80 and the passing / staying analysis information storage unit 90 from the previous transmission time t2 to the current transmission time t3
  • the data of the movement result extraction related to the staying information or passage information of the stored moving object is acquired and transmitted to the server device 300 (time t3).
  • the transmission unit 60 receives notification of detection of a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store AA) from the event information reception unit 70 (time t3), for example, the event information reception
  • a predetermined event for example, a change in the layout of the sales floor on the floor 1 of the store AA
  • the event information reception The event interrupt is received from the unit 70 and the background image data stored in the background image storage unit 80 and the pass / stay analysis information storage unit 90 are stored from the previous transmission time t2 to the time t3 when the event interrupt is received.
  • the data of the extraction result of the flow line information related to the staying information or the passage information of the mobile object is acquired and transmitted to the server device 300 (time t3).
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50, for example, from the time t3 when the event interrupt is received to the current transmission time t4.
  • the background image data stored in the background image storage unit 80 and the moving object retention information or the flow line information extraction result data related to the passage information stored in the passage / stay analysis information storage unit 90 are acquired. It transmits to the server apparatus 300 (time t4).
  • the transmission unit 60 saves it in the background image storage unit 80 from the previous transmission time t2 to the time t3 when the event interrupt is received.
  • the transmission of the background image data and the data of the movement line extraction information relating to the staying information or passing information of the moving object stored in the passing / staying analysis information storage unit 90 to the server device 300 is omitted (time t3). ).
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50, for example, from time t3 to time t4 when the event interrupt is received. Transmission of the background image data stored in the image storage unit 80 and the data on the movement result of the moving object staying information or passage information stored in the passage / staying analysis information storage unit 90 to the server apparatus 300 Is omitted (time t4).
  • the transmitting unit 60 when receiving an event interrupt from the event information receiving unit 70 at time t3, the transmitting unit 60 starts the next transmission cycle that received the event interrupt from the previous transmission time t2 (time t4 in FIG. 8).
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50 (time t4), for example, the background image data stored in the background image storage unit 80 and the pass / stay analysis information storage unit 90
  • the transmission of the flow line information extraction result data relating to the staying information or passage information of the moving object stored in the server apparatus 300 to the server apparatus 300 is resumed.
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50, for example, when the transmission period instructed from the schedule management unit 50 comes to an end after time t ⁇ b> 4.
  • FIG. 9 is a diagram showing an example of a layout of a food department where a plurality of camera devices 100 according to the present embodiment are installed.
  • FIG. 9 shows a state where a plurality of (for example, eight) camera devices are installed on the ceiling surface or the like of the floor 1 in, for example, the food department on the floor 1 (1F) of the store AA.
  • a total of eight camera devices including north entrance cameras C1A and C1B, pre-registration cameras C2A and C2B, special sale cameras C3, meat counter camera C4, fish counter camera C5, and vegetable counter camera C6. Device) is set.
  • the type of camera device is not limited to an omnidirectional camera device, and may be a fixed camera device with a fixed angle of view, or a PTZ (Pan Tilt Zoom) camera device having a pan direction, a tilt direction, and a zoom function. good.
  • PTZ Pan Tilt Zoom
  • FIG. 10 is a diagram illustrating a first example of an operation screen including a flow line analysis image of the store AA generated by the display image generation unit 350 of the server apparatus 300 according to the present embodiment.
  • FIG. 11 is a diagram illustrating a second example of the operation screen including the flow line analysis image of the store AA generated by the display image generation unit 350 of the server apparatus 300 according to the present embodiment.
  • the operation screens shown in FIGS. 10 and 11 are displayed on the monitor 450 by the display image generation unit 350.
  • a list of selection screens of camera devices installed in the store is hierarchically displayed in the left display area LL1.
  • the north entrance camera C1A (identification number: C1)
  • the north entrance camera C1B (identification number: C2)
  • the pre-registration camera C2A (identification number: C3)
  • Pre-registration camera C2B (identification number: C4)
  • vegetable section camera C6 (identification number: C5)
  • fish section camera C5 identification number: C6
  • meat section camera C4 identification number: C7
  • special sale camera C3 is shown hierarchically. Since it is the same in the clothing department of floor 2 (2F) and other departments, description is abbreviate
  • the display area R1 on the right side includes a display area MA1 for main (for example, current flow line analysis information) and a display area CE1 for sub (for comparison) flow line analysis information. It is displayed.
  • the flow line analysis information display area MA1 includes a designated time (including date) when the server 300 generates a flow line analysis image to be browsed, and a half day unit, a day unit, a week unit, or a month, for example.
  • a stay map showing the stay information of the moving body (for example, a person) shown in FIG. 10 and a count showing pass information of the moving body (for example, a person) shown in FIG. A map and the captured image itself are included.
  • the display area CT1 of the number of customers for each sales floor the number of detected moving bodies (for example, people) detected by the number of people counting unit CT in time series (for example, every hour in FIGS. 10 and 11) is shown.
  • the input device 400 shifts the selection bar KR displayed in the display area CT1 of the number of visitors for each sales floor in the time axis direction by the user's input operation, the display image generation unit 350 at the time indicated by the selection bar KR.
  • the generated flow line analysis images are displayed in order.
  • Analysis result display including a specified condition display area CE1a including a video display type of a flow line analysis image, a graph display type, a graph display G (group), and a display area CT2 of the number of visitors for each sales floor A region CE1b is displayed.
  • the comparison before and after the layout change in the store for example, in addition to the comparison before and after the layout change in the store, the comparison before and after applying the discount sticker to the product, the comparison before and after the time sale, Applications such as a comparison between today and the same day one year ago, and between stores (for example, a comparison between the meat department of the store AA and the meat department of the store BB) may be included.
  • the number of mobile bodies (for example, persons) detected by the number of persons counting section CT is shown in time series (for example, every hour in FIGS. 10 and 11).
  • the input device 400 shifts the selection bar KR displayed in the display area CT2 of the number of customers for each sales floor in the time axis direction by the user's input operation, the display image generation unit 350 at the time indicated by the selection bar KR.
  • the generated flow line analysis images are reproduced and displayed in order.
  • the input device 400 designates a specific time zone on the time axis and inputs a comment (for example, time sale, 3F event, TV broadcast, game at the adjacent dome, etc.) by the user's input operation. Can be entered.
  • the video display type is a count map, and other matters are the same as in the description of FIG.
  • the input device 400 shifts the selection bar KR displayed in the display areas CT ⁇ b> 3 and CT ⁇ b> 4 of the number of customers for each sales floor in the time axis direction by a user input operation
  • the display image The generation unit 350 sequentially reproduces and displays the flow line analysis images generated at the time indicated by the selection bar KR.
  • FIG. 12 is a diagram illustrating an example of an operation screen RPT of a monthly report in the food department of the store AA in May 2014 generated by the report generation / output unit 360 of the server apparatus 300 of the present embodiment.
  • the monthly report (see FIG. 12) as an example of the flow line analysis report of the present embodiment has a report output button OPT provided at the lower part of the display area LL1 on the left side of the operation screen shown in FIG.
  • the button 400 is pressed, the screen is generated by the report generation output unit 360 and displayed on the monitor 450.
  • the report generation / output unit 360 of the server apparatus 300 receives the monthly report shown in FIG.
  • the store clerk at store AA receives distribution of a monthly report printout in the whole food department or a part of the meat department, for example, with the content of the flow line analysis image not showing the customers visiting the store being output. Can do.
  • servers in the corresponding store for example, the store AA
  • server device 600 of the operation headquarters It is transmitted to a device (for example, server device 300).
  • Various information related to the title of the monthly report, temperature information, sales information, event information, store visitor configuration information, etc. may be stored in advance in the server device 300 or storage unit (not shown) in the store. good.
  • the input device 400 is selected in the display areas CT5 and CT6 of the number of customers for each sales floor, for example, by a user input operation.
  • the display image generation unit 350 sequentially displays the flow line analysis images generated at the time indicated by the selection bar KR.
  • the camera device 100 generates a background image of the captured image in the predetermined imaging area, and the staying position in the imaging area of the moving body (for example, a person) included in the captured image Alternatively, the flow line information related to the passing position is extracted, and the background image of the captured image and the flow line information of the moving body are transmitted to the server device 300 at predetermined transmission cycles.
  • the server device 300 generates a flow line analysis image in which the flow line information of the moving object is superimposed on the background image of the captured image, and causes the monitor 450 to display the flow line analysis image.
  • the flow line analysis system 500A generates the background image that is the basis of the flow line analysis image by excluding the moving object (for example, a person) so that it is captured when the flow line analysis image is generated.
  • the moving object for example, a person
  • the privacy of a moving object (person) reflected in the area can be appropriately protected.
  • the flow line analysis system 500A has a flow line related to a stay position or a passing position in the imaging region of a moving object (person) on a background image that has already been updated at a predetermined timing (for example, when a regular transmission cycle arrives).
  • the moving body Since the information is superimposed, every time a predetermined transmission period is reached, the moving body appropriately excludes the moving body from the captured image, and the movement information appropriately indicating the accurate flow line information regarding the staying position or the passing position in the imaging area of the moving body is displayed.
  • the line analysis image can be visually displayed to the user.
  • the flow line analysis system 500A instructs a predetermined transmission cycle for transmitting the background image and the flow line information of the moving body in the schedule management unit 50 of the camera device.
  • the image and the flow line information of the moving body can be periodically transmitted to the server apparatus 300.
  • the server analyzes the background image and the flow line information of the moving body. Since the data is transmitted to the apparatus 300, the server apparatus 300 generates a flow line analysis image that accurately reflects the flow line information regarding the staying position or passing position of the moving body in the imaging region before and after the specific event is detected. be able to.
  • a predetermined event for example, an event of changing the layout of a sales floor in a store
  • the flow line analysis system 500 ⁇ / b> A transmits the background image and the flow line information of the moving body to the server device 300 when detecting the change in the captured image (for example, the layout change of the sales floor in the store) in the scene identification unit SD.
  • the server apparatus 300 can generate a flow line analysis image that accurately reflects the flow line information regarding the staying position or the passing position of the moving body in the imaging region before and after the change of the captured image is detected.
  • the flow line analysis system 500A counts the number of detected moving bodies included in the captured image in the person counting unit CT and outputs information on the detected number to the transmitting unit 60.
  • a display screen (operation screen) including a flow line analysis image including information on the passing position and the number of detected moving bodies can be displayed on the monitor 450.
  • the flow line analysis system 500A omits transmission of the background image and the flow line information of the moving object in the transmission cycle including the time point when the event information receiving unit 70 receives the notification of detection of the predetermined event.
  • the flow line information related to the staying position or passing position of the moving body in the imaging region before and after detection of a predetermined event is used in a mixed manner. You can avoid that.
  • the flow line analysis system 500A includes a flow line analysis image generated before detection of a predetermined event (for example, a layout change of a sales floor in a store), and a flow line analysis image generated after detection of the predetermined event. Since the report generation / output unit 360 generates a flow line analysis report including the moving line analysis report, the flow line information related to the staying position or the passing position of the moving object in the imaging region has been changed in a comprehensible manner by a predetermined event. be able to.
  • a predetermined event for example, a layout change of a sales floor in a store
  • the flow line analysis system 500A displays the generated flow line analysis report on the monitor 450 by a predetermined input operation (for example, a user's operation of pressing a report output button), so the flow line analysis report is visually displayed to the user. Can be displayed automatically.
  • a predetermined input operation for example, a user's operation of pressing a report output button
  • the flow line analysis system 500A executes generation of a background image of the captured image and extraction of flow line information regarding the staying position or passing position of the moving body included in the captured image in each of the camera devices 100, 100A,. Then, since the flow line analysis image is generated and displayed in the server device 300, the generation of the background image of the captured image and the extraction of the flow line information related to the staying position or the passing position of the moving body included in the captured image are performed. Since the processing load of the server apparatus 300 can be reduced as compared with the case where it is executed by the server apparatus 300, the restriction on the number of camera apparatuses connectable to one server apparatus 300 can be relaxed.
  • FIG. 13 is a block diagram showing in detail the functional internal configuration of the camera device 100S of the first modification of the present embodiment. 13 includes an imaging unit 10, an image input unit 20, a background image generation unit 30, a flow line information analysis unit 40, a schedule management unit 50, a transmission unit 60S, and an event information reception unit. 70, a background image storage unit 80, a passage / staying analysis information storage unit 90, and a display image generation unit 350S.
  • the display image generation unit 350S as an example of the image generation unit receives the background image data stored in the background image storage unit 80 and the pass / stay analysis information in response to an instruction from the schedule management unit 50 or the event information reception unit 70.
  • the flow line analysis image in which the flow line information related to the staying position or the passing position of the moving object is superimposed on the background image using the data of the extraction result of the flow line information related to the staying information or the passing information of the moving object stored in the storage unit 90 And output to the transmission unit 60.
  • the transmission unit 60S transmits the data of the flow line analysis image generated by the display image generation unit 350S to the server device 300.
  • the camera device 100S generates the background image of the captured image in the predetermined imaging region, and the staying position in the imaging region of the moving body (for example, a person) included in the captured image or Extracts flow line information related to the passing position, and uses the background image of the captured image and the flow line information of the moving body to generate a flow line analysis image in which the moving line information of the moving body is superimposed on the background image of the captured image .
  • the camera device 100S generates the background image that is the basis of the flow line analysis image by excluding the moving body (for example, a person), so that when the flow line analysis image is generated, the camera device 100S generates the background image. It is possible to appropriately protect the privacy of the moving object (person) reflected. In addition, since the camera device 100S superimposes flow line information on the staying position or the passing position in the imaging region of the moving object (person) on the captured image obtained in real time, the moving object is excluded from the captured image. In addition, it is possible to generate a flow line analysis image that appropriately indicates the latest flow line information regarding the staying position or the passing position in the imaging region of the moving body.
  • the camera apparatus 100S executes the process up to the generation process of the flow line analysis image and transmits the data of the flow line analysis image as the generation result to the server apparatus 300, for example, in a state where the processing load of the server apparatus 300 is considerably high. Since it is not necessary for the server apparatus 300 to execute the flow line analysis image generation process, an increase in the processing load of the server apparatus 300 can be suppressed.
  • One embodiment of the present invention is a flow line analysis system in which a camera device and a server device are connected to each other, and the camera device includes an imaging unit that images a predetermined imaging region, and a captured image of the imaging region A background image generation unit that generates a background image, a flow line information analysis unit that extracts flow line information related to a staying position or a passing position of the moving body included in the captured image, and a predetermined transmission cycle A transmission unit that transmits the background image generated by the background image generation unit and the flow line information of the moving body extracted by the flow line information analysis unit to the server device; The image generation unit that generates a flow line analysis image in which the flow line information of the moving body is superimposed on the background image of the captured image, and the flow line analysis image generated by the image generation unit is displayed on the display unit Table And a control unit, and a flow line analysis system.
  • the camera device generates a background image of the captured image of the predetermined imaging area, extracts flow line information regarding the staying position or the passing position in the imaging area of the moving body (for example, a person) included in the captured image,
  • the background image of the captured image and the flow line information of the moving body are transmitted to the server device every predetermined transmission cycle.
  • a server apparatus produces
  • the flow line analysis system is excluded so that a moving body (for example, a person) is not reflected in the background image that is the basis of the flow line analysis image. It is possible to appropriately protect the privacy of the moving object (person) reflected.
  • the flow line analysis system uses the flow line information related to the staying position or passing position in the imaging area of the moving object (person) to the background image that has already been updated at a predetermined timing (for example, when a regular transmission cycle arrives). Therefore, for each predetermined transmission cycle, a flow line that appropriately indicates accurate flow line information regarding the staying position or the passing position in the imaging region of the moving body in a state where the moving body is excluded from the captured image.
  • the analysis image can be visually displayed to the user.
  • the camera device further includes a schedule management unit that instructs the transmission unit to transmit the predetermined transmission cycle for transmitting the background image and the flow line information of the moving body.
  • a schedule management unit that instructs the transmission unit to transmit the predetermined transmission cycle for transmitting the background image and the flow line information of the moving body. This is a flow line analysis system.
  • the flow line analysis system instructs a predetermined transmission cycle for transmitting the background image and the flow line information of the moving body in the schedule management unit of the camera device.
  • the background image and the flow line information of the moving body can be periodically transmitted to the server device.
  • the camera device further includes an event information acquisition unit that acquires a notification of detection of a predetermined event, and the event information acquisition unit notifies the detection of the predetermined event.
  • the flow line analysis system acquires the background image and the flow line information of the moving object. Is transmitted to the server device, and a flow line analysis image that accurately reflects the flow line information regarding the staying position or passing position of the moving body in the imaging region before and after the specific event is detected is generated in the server device. be able to.
  • the camera device further includes an image change detection unit that detects a change in the captured image, and the image change detection unit detects the change in the captured image, and then It is a flow line analysis system which instruct
  • the flow line analysis system transmits the background image and the flow line information of the moving body to the server device. Therefore, the flow line analysis image that accurately reflects the flow line information regarding the staying position or the passing position of the moving body in the imaging region before and after the change of the captured image is detected can be generated in the server device.
  • the camera device further includes a moving body detection unit that counts the number of detected moving bodies included in the captured image, and the moving body detection unit is included in the captured image. It is a flow line analysis system which outputs the information regarding the detected number of moving bodies to the said transmission part.
  • the flow line analysis system counts the number of detections of the moving object included in the captured image in the moving object detection unit, and outputs information on the detection number to the transmission unit.
  • a display screen (operation screen) including a flow line analysis image including information on the position or the passing position and the number of detected moving bodies can be displayed on the display unit.
  • the transmission unit includes the background image and the moving object in the predetermined transmission cycle including a time point when the event information acquisition unit acquires a notification of detection of the predetermined event.
  • This is a flow line analysis system that omits transmission with flow line information.
  • the flow line analysis system omits transmission of the background image and the flow line information of the moving object in the transmission cycle including the time point when the event information acquisition unit acquires the notification of detection of the predetermined event.
  • the flow line information related to the staying position or passing position of the moving object in the imaging region before and after detection of a predetermined event is used in a mixed manner Can be avoided.
  • the server device causes the flow line analysis image generated by the image generation unit before detection of the predetermined event and the image generation unit after detection of the predetermined event. It is a flow line analysis system further provided with the report production
  • the flow line analysis system includes a flow line analysis image generated before detection of a predetermined event (for example, layout change of a sales floor in a store) and a flow line generated after detection of the predetermined event. Since the flow line analysis report including the analysis image is generated in the report generation unit, it is easy to understand how the flow line information related to the staying position or passing position of the moving object in the imaging area has changed due to a predetermined event. Can show.
  • a predetermined event for example, layout change of a sales floor in a store
  • an embodiment of the present invention is the flow line analysis system in which the report generation unit displays the flow line analysis report on the display unit according to a predetermined input operation.
  • the flow line analysis system displays the generated flow line analysis report on the display unit by a predetermined input operation (for example, a user's operation of pressing a report output button). On the other hand, it can be displayed visually.
  • an imaging unit that captures a predetermined imaging region, a background image generation unit that generates a background image of a captured image in the imaging region, and the imaging of a moving body included in the captured image
  • a flow line information analysis unit that extracts flow line information relating to a stay position or a passage position in the region; the background image generated by the background image generation unit; and the movement of the moving object extracted by the flow line information analysis unit.
  • An image generation unit that generates a flow line analysis image in which the flow line information of the moving body is superimposed on the background image of the captured image using line information.
  • the camera device generates a background image of the captured image of the predetermined imaging area, extracts flow line information regarding the staying position or the passing position in the imaging area of the moving body (for example, a person) included in the captured image, Using the background image of the captured image and the flow line information of the moving body, a flow line analysis image in which the flow line information of the moving body is superimposed on the background image of the captured image is generated.
  • the camera device generates the background image that is the basis of the flow line analysis image by excluding the moving body (for example, a person) so that it appears in the imaging region when the flow line analysis image is generated.
  • the privacy of the moving object (person) can be appropriately protected.
  • the camera device superimposes flow line information regarding the staying position or the passing position in the imaging region of the moving object (person) on the background image that has already been updated at a predetermined timing (for example, when a regular transmission cycle arrives). Therefore, it is possible to generate a flow line analysis image that appropriately shows accurate flow line information regarding the staying position or the passing position in the imaging region of the moving body in a state where the moving body is excluded from the captured image.
  • An embodiment of the present invention is a flow line analysis method in a flow line analysis system in which a camera device and a server device are connected to each other, and the camera device captures a predetermined imaging region; A step of generating a background image of a captured image of the imaging region, a step of extracting flow line information regarding a staying position or a passing position of the moving body included in the captured image in the imaging region, and a predetermined transmission cycle, Transmitting the generated background image and the extracted flow line information of the moving body to the server device; and in the server device, the flow line information of the moving body is added to the background image of the captured image.
  • a flow line analysis method comprising: generating a superimposed flow line analysis image; and displaying the generated flow line analysis image on a display unit.
  • the camera device generates a background image of a captured image of a predetermined imaging area, extracts flow line information regarding a staying position or a passing position in an imaging area of a moving body (for example, a person) included in the captured image,
  • the background image of the captured image and the flow line information of the moving body are transmitted to the server device every predetermined transmission cycle.
  • a server apparatus produces
  • the flow line analysis system is excluded so that a moving body (for example, a person) is not reflected in the background image that is the basis of the flow line analysis image. It is possible to appropriately protect the privacy of the moving object (person) reflected.
  • the flow line analysis system uses the flow line information related to the staying position or the passing position in the imaging area of the moving object (person) in the background image already updated in the dictionary at a predetermined timing (for example, when a regular transmission cycle arrives). Therefore, for each predetermined transmission cycle, a flow line that appropriately indicates accurate flow line information regarding the staying position or the passing position in the imaging region of the moving body in a state where the moving body is excluded from the captured image.
  • the analysis image can be visually displayed to the user.
  • the server device 300 according to the second modification example of the present embodiment displays, for example, the operation screen including the generated flow line analysis image on the monitor 450.
  • the operation screen WD1 shown in FIG. 14 may be displayed.
  • FIG. 14 is a diagram illustrating a third example of the operation screen including the flow line analysis image of the store AA generated by the display image generation unit 350 of the server device 300 according to the second modification of the present embodiment.
  • the data necessary for generating the flow line analysis image (that is, the data of the background image stored in the background image storage unit 80 and the moving object stored in the passage / stagnation analysis information storage unit 90).
  • the data of the extraction result of the flow line information related to the stay information or the passage information of, and the input of the input field (data acquisition field) of the specified condition of the “camera transmission data”) and the setting item related to the display of the flow line analysis image A column (display setting column), a flow line analysis image HM1, a timeline bar TLB, a jump button JMP including a plurality of buttons, and a scale change button SCL1 are displayed.
  • the identification number of the camera device that is the transmission source of the above-described camera transmission data and the period for which the camera transmission data is requested (that is, the flow line related to the background image data and the staying information or passage information of the moving object)
  • the start date and the end date of the data extraction result data) are specified.
  • the server apparatus 300 receives and acquires camera transmission data that matches the conditions specified in the data acquisition field from the corresponding camera apparatus (for example, the camera apparatus 100), or acquires the server transmission data. Acquire data that has already been received and stored at.
  • the type displayed as the flow line analysis image is a passage map (that is, an image that visually shows the number of persons that have passed through a specific location in the imaging region) or a stay map (that is, Any one of the images) that visually shows the time during which the person stays in a specific place like a heat map is selected.
  • a region to be displayed may be selected from the flow line analysis image of the imaging region generated by the display image generation unit 350.
  • the presence / absence of camera transmission data from the camera device is a time zone (hereinafter referred to as “scale”). Shown for each. That is, the presence / absence of camera transmission data from the camera device for 24 hours on “April 9, 2015” is the presence / absence of a total of 24 colors or pattern patterns for each cell (cell) of the timeline bar TLB. Can be visually discriminated.
  • the time range DIV1 (that is, the time range from midnight to 9 am on April 9, 2015) indicates that there is no camera transmission data from the camera device
  • the time range DIV2 (that is, the time range from 9 am to midnight on April 9, 2015) indicates that there is camera transmission data from the camera device.
  • the time zone corresponding to the scale (that is, one cell) indicates one hour.
  • the time zone corresponding to the scale (that is, one cell) can be easily changed by the left / right sliding operation of the scale change button SCL1.
  • the display image generation unit 350 For example, the time zone corresponding to the scale (that is, one cell) is changed to one day larger than one hour, and the timeline bar TLB is displayed again.
  • the time zone longer than one hour is not limited to one day, and may be two hours, for example, and can be arbitrarily changed. This change can be set according to the user's operation on the screen on which the setting tab of the operation screen WD1 shown in FIG. 14 is selected, for example.
  • the generation unit 350 changes the time zone corresponding to the scale (that is, one cell) to 15 minutes smaller than one hour, and displays the timeline bar TLB again.
  • the time zone smaller than one hour is not limited to 15 minutes, and may be 30 minutes, for example, and can be arbitrarily changed. This change can be set according to the user's operation on the screen on which the setting tab of the operation screen WD1 shown in FIG. 14 is selected, for example.
  • the jump button JMP is provided with a -1 week button JMP1, a -1 day button JMP2, a previous section button JMP3, a back section button JMP4, a +1 day button JMP5, and a +1 week button JMP6.
  • the jump button JMP is not limited to these six types of buttons.
  • the numerical part of “ ⁇ 1 week button JMP1, ⁇ 1 day button JMP2, +1 day button JMP5, +1 week button JMP6” including numbers in the button names is a setting screen (not shown) (for example, an operation screen shown in FIG. 14).
  • the screen in which the setting tab of WD1 is selected) can be arbitrarily changed according to the user's operation.
  • the display image generation unit 350 When the camera transmission data from the camera device up to one week before the present time is acquired, when the -1 week button JMP1 is pressed by a user operation, the display image generation unit 350 The flow line analysis image HM1 displayed at the time point is switched to the flow line analysis image generated one week before the flow line analysis image and displayed on the monitor 450.
  • the display image generation unit 350 is pressed.
  • the flow line analysis image HM1 displayed at that time is switched to the flow line analysis image generated one day before the flow line analysis image and displayed on the monitor 450 (see FIG. 17).
  • the display image generation unit 350 is pressed.
  • the flow line analysis image HM1 displayed in is switched to a flow line analysis image generated one day after the flow line analysis image and displayed on the monitor 450 (see FIG. 17).
  • the display image generation unit 350 When the camera transmission data from the camera device up to the time when one week has elapsed from the current time is acquired, when the +1 week button JMP6 is pressed by a user operation, the display image generation unit 350 The flow line analysis image HM1 displayed in step S1 is switched to a flow line analysis image generated one week after the flow line analysis image and displayed on the monitor 450.
  • the generation time of the camera transmission data that is the basis of the flow line analysis image when the jump button JMP is pressed is, for example, on the operation screen WD1 shown in FIG. Settings can be made according to the user's operation on the screen where the setting tab is selected.
  • FIG. 15 is an explanatory diagram of a first example of a timeline bar.
  • a timeline bar TLBb different from the timeline bar TLB included in the operation screen WD1 shown in FIG. 14 is shown.
  • the time zone corresponding to the scale (that is, one cell) is set to one hour as in FIG.
  • the user can visually determine the presence or absence of camera transmission data from the camera device based on the color or pattern displayed on the timeline bar TLBb. Also, the user can easily specify on the timeline bar TLBb which time zone the flow line analysis image is displayed on the monitor 450 by operating the server device 300 or the input device 400.
  • the user operates the input device 400 such as a mouse to specify (for example, left click) the cursor CSR on the start time cell of the specified time zone RNG1, and drags the cursor CSR to the end time of the time zone RNG1.
  • the button of the input device 400 such as a mouse is released at the drag end position (that is, the drag ends).
  • display image generation unit 350 determines the start time and end time of time zone RNG1.
  • the display image generation unit 350 uses a color or pattern that is different from the color or pattern indicating that there is camera transmission data from the camera device for the color or pattern of the time zone RNG1 specified by the user's operation. Is displayed (see FIG. 15).
  • the time zone RNG1 is a time zone from 5 am to 9 am on April 2, and the color or pattern corresponding to this time zone RNG1 is obtained from the camera device. This is different from the color or pattern of the time zone from 0 am to 11 am and 2 pm on and after April 2 when there is camera transmission data for the camera.
  • the timeline bar TLBb shown in FIG. 15 is displayed so as to be included in the operation screen WD1 shown in FIG. 14, and the flow line analysis image on this operation screen uses, for example, camera transmission data for three days. It is assumed that the time zone (that is, one cell) that has been generated and corresponds to the scale is, for example, one hour.
  • the image generation unit 35 displays the timeline bar TLBb so as to be scrollable in the left-right direction. Therefore, the user can easily check by scrolling the timeline bar TLBb when he / she wants to check whether there is camera transmission data at a date and time not apparently displayed on the timeline bar TBLb.
  • the display image generation unit 350 treats the time zone RNG1 described with reference to FIG. 15 as one section, and when the previous section button JMP3 is pressed by a user operation among the jump buttons JMP illustrated in FIG.
  • the flow line analysis image HM1 displayed at the time point is switched to the flow line analysis image generated one section before the flow line analysis image HM1 (for example, 4 hours corresponding to the time zone RNG1) and displayed on the monitor 450
  • the display image generation unit 350 treats the time zone RNG1 described with reference to FIG. 15 as one section, and when the rear section button JMP4 is pressed by a user operation among the jump buttons JMP illustrated in FIG.
  • the flow line analysis image HM1 displayed at the time of pressing is switched to the flow line analysis image generated after one section (for example, 4 hours corresponding to the time zone RNG1) from the flow line analysis image HM1, and is displayed on the monitor 450. Display.
  • FIG. 16 is a diagram illustrating an example of the operation screen WD2 including the flow line analysis image of the store AA corresponding to the changed time range specified for the timeline bar TLB included in the operation screen WD1 illustrated in FIG. is there.
  • the flow line analysis image HM2 corresponding to the changed time range is displayed from the flow line analysis image HM1 shown in FIG. It is shown that the data is generated by the generation unit 350 and displayed on the monitor 450.
  • the user performs a mouse or the like on the determined time zone TBLK.
  • the time zone TBLK is temporarily fixed (in other words, the confirmed time zone TBLK is grasped on the timeline bar TLB).
  • the display image generating unit 350 can generate a flow line analysis image corresponding to the time zone after the moving operation and display it on the monitor 450.
  • the display image generation unit 350 Switch the operation screen WD2 including the flow line analysis image corresponding to 9 am to 1 pm to another operation screen including the flow line analysis image corresponding to 4 pm to 8 pm and display the operation screen on the monitor 450. Can do.
  • FIG. 17 is an explanatory diagram showing a switching display example of the flow line analysis image in response to pressing of the +1 day button JMP5 and the ⁇ 1 day button JMP2 among the jump buttons JMP shown in FIG.
  • the start date of the data acquisition column is April 8, 2015
  • the end date is April 10, 2015.
  • the transmission data from the camera device in these three days is acquired by the server device 300.
  • the current time is April 9, 2015.
  • the display image generation unit 350 switches the flow line analysis image HM3 displayed at the time of being pressed to the flow line analysis image HM3m generated one day before the flow line analysis image HM3.
  • An operation screen including the analysis image HM3m is displayed on the monitor 450.
  • the display image generation unit 350 switches the flow line analysis image HM3 displayed at the time of being pressed to the flow line analysis image HM3p generated after one day from the flow line analysis image HM3.
  • An operation screen including the analysis image HM3p is displayed on the monitor 450 (see FIG. 17).
  • the server apparatus 300 when generating the flow line analysis image, moves from the captured image while appropriately protecting the privacy of the moving object (person) reflected in the imaging region.
  • a flow line analysis image that appropriately shows accurate flow line information regarding the staying position or passing position in the imaging area of the moving body can be visually displayed to the user, and further, a simple operation by the user
  • By pressing one of the jump buttons JMP it is possible to switch to a flow line analysis image generated at a different timing and display the convenience of the user (for example, the convenience of confirming the transition of the flow line analysis image). It can be improved.
  • FIG. 19 is a diagram illustrating a fourth example of the operation screen including the number of people count map image CM1 of the store AA generated by the display image generation unit 350T of the server device 300T according to the third modification of the present embodiment.
  • the count of people as a count number image indicating the count result of a moving body (for example, a person) straddling at least one passing line set in advance for each camera device installed in the store AA.
  • a map image CM1 is displayed.
  • the number of people count map image CM1 is generated by the display image generation unit 350T of the server device 300T.
  • the flow line analysis system 500A when analyzing the flow line of a person in the store AA by the flow line analysis system 500A, if the number of moving objects passing through a location that the user is paying attention to, such as a specific sales floor in the store AA, can be understood, Analysis becomes possible. For this reason, in the third modified example of the present embodiment, at least one passing line is set for each camera device at a location where the user is paying attention, and the server device 300T is a moving body that straddles the passing line. A person count map image is generated and displayed on the monitor 450 as an image indicating the number of persons (for example, persons).
  • FIG. 18 is a block diagram showing in detail the functional internal configurations of the camera device and the server device according to the third modification of the present embodiment.
  • the same components and operations as those of the camera device 100 and the server device 300 shown in FIG. The different contents will be described.
  • the camera device 100T includes a passage line setting unit 45 in addition to the configuration of FIG.
  • the passing line setting unit 45 is configured using, for example, a CPU, MPU, or DSP, and implements each function by executing processing according to a predetermined program.
  • the passing line setting unit 45 receives a setting instruction for a passing line from the server device 300T or the input device 400 based on a user operation
  • the passing line setting unit 45 sets a passing line for counting the number of moving objects at a designated position of the captured image or the background image.
  • the event information receiving unit 70T receives a pass line setting instruction from the server device 300T or the input device 400 based on a user operation.
  • This passing line setting instruction includes coordinate information that specifies the position of the passing line in the captured image or the background image specified by the user operation.
  • a pass line setting instruction is generated for each camera device to be set as a pass line, and transmitted from the server device 300T or the input device 400 to each corresponding camera device.
  • the event information receiving unit 70T receives a pass line setting instruction, the event information receiving unit 70T outputs it to the pass line setting unit 45.
  • the passing line setting unit 45 outputs passing line setting information (for example, identification information of the passing line, captured image of the passing line, or coordinate information in the background image) to the person counting unit CT.
  • the person counting unit CT receives data stored in the passage / staying analysis information accumulating unit 90 (that is, data on the extraction result of the flow line information regarding the staying information or passing information of the moving object) and the passing line setting unit 45. Based on the set information of the passing line, the cumulative number of moving bodies across the set passing line is counted.
  • the number-of-people counting unit CT separately counts the number of moving objects that straddle the passing line in one direction and the number of moving objects that straddle the passing line in the opposite direction.
  • the person counting unit CT outputs the count value of the moving body that has passed through the passage line (in other words, straddled) to the transmitting unit 60 as the person counting result.
  • the transmission unit 60 transmits the number of people counting result from the number of people counting unit CT to the server device 300T.
  • the display image generation unit 350T is an image obtained by superimposing various types of information on the passing line on the captured image or the background image as a person count map image for displaying the count result of the moving object that straddles the passing line set on the captured image or the background image. Is generated.
  • the various types of information regarding the passing line include, for example, identification information of the passing line, identifiers of positions that define the direction crossing the passing line (position A, position B), and the number of moving objects that straddle the passing line (in other words, count results ).
  • the above-described flow line information is not superimposed on the number of people count map image.
  • the flow line information may be superimposed.
  • the person count map image moves only the outline or silhouette from which privacy information such as the content of the person's video is removed so that it is difficult to identify the person appearing in the captured image.
  • a contour image including a body may be used.
  • a technique for generating a contour image from a captured image is a known technique. For example, Japanese Unexamined Patent Application Publication No. 2015-149557, Japanese Unexamined Patent Application Publication No. 2015-149558, and Japanese Unexamined Patent Application Publication No. 2015-149559. It is described in.
  • the number of people count map image is generated by superimposing the number of people count result counted by the number of people counting unit CT on the background image generated by the background image generating unit 30 of the camera device 100T.
  • the person count map image may be generated by superimposing the person count result counted by the person count unit CT on the captured image obtained by the imaging unit 10 of the camera device 100T.
  • data necessary for generating the people count map image (that is, data of the background image stored in the background image storage unit 80 and data of the people count result derived by the people count unit CT).
  • a specification condition input field data acquisition field
  • a setting item input field display setting field relating to the display of time-series transition of the number of people count result
  • a number of people count map image CM1 a passing line selection field SLT1
  • a passing line display field EXN a timeline bar GPH1, a scroll bar SCL2, a jump button JMP including a plurality of buttons, a scale change button SCL1, and a data output button OPT1 are displayed.
  • data necessary for generating the people count map image that is, data of the background image stored in the background image storage unit 80 and data of the people count result derived by the people count unit CT
  • camera transmission data That's it.
  • the identification number of the camera device that is the transmission source of the camera transmission data described above and the period for which the camera transmission data is requested are generated. Specified date and time).
  • the server apparatus 300T receives and acquires camera transmission data that matches the condition specified in the data acquisition field from the corresponding camera apparatus (for example, the camera apparatus 100T), or acquires the server apparatus 300T. Acquire data that has already been received and stored at.
  • a display method of the time series transition of the number of people count result is specified in a timeline bar GPH1 described later.
  • the server apparatus 300T displays the result of counting the number of people on the monitor 450 in time series as shown in the timeline bar GPH1 of FIG.
  • the server apparatus 300T displays the result of counting people on the monitor 450 in a time series in a table format.
  • the count result of a moving body for example, a person straddling the passing lines L3, L4, L5, L6, and L12 from the position A to the position B or from the position B to the position A, respectively.
  • the total is displayed superimposed with each passing line, position A, and position B.
  • the total number of persons straddling the passing line L3 from the position A to the position B from 00:00 on April 2, 2015 to 23:59 on April 4, 2015 is “203”.
  • the total number of persons straddling the passing line L3 from the position B toward the position A is “112”.
  • the total number of persons straddling the passing line L4 from the position A to the position B is “127”, and the total number of persons striding the passing line L4 from the position B to the position A is “206”.
  • the total number of persons straddling the passing line L5 from the position A to the position B is “127”, and the total number of persons striding the passing line L5 from the position B to the position A is “247”.
  • the total number of persons straddling the passing line L6 from the position A to the position B is “228”, and the total number of persons striding the passing line L6 from the position B to the position A is “172”.
  • the total number of persons straddling the passing line L12 from the position A to the position B is “268”, and the total number of persons striding the passing line L12 from the position B to the position A is “268”.
  • the user can set at least one passing line at an arbitrary location that the user is paying attention to in the captured image of the camera device 100T, for example, in the imaging area of the camera device 100T installed in the store AA. .
  • the server device 300T counts the total number of persons that have passed through the passing line in the captured image or background image set by the user operation for each passing direction, and displays it on the monitor 450 as a person count map image CM1. It is possible to visually and quantitatively show the flow line information in the imaging area of the moving body (for example, a customer).
  • the passing lines set based on the user operation with respect to the captured image or background image of the camera device 100T are displayed in both directions from position A to position B and vice versa. Specifically, twelve kinds of passing lines L1, L2, L3, L4, L5, L6, L7, L8, L9, L10, L11, and L12 are set by the user operation, and each passing line L1 to L12 is set. On the other hand, a total of 24 check boxes are provided in the direction from position A to position B and in the direction from position B to position A.
  • the server apparatus 300T When a check marker is input to these check boxes, the server apparatus 300T causes the number of people count map in which the number of people counting result corresponding to the passing line and the passing direction to which the check marker is attached is superimposed on the captured image or the background image.
  • the image CM1 is displayed on the monitor 450.
  • check markers are input to all the check boxes, but in order to avoid the complexity of FIG. 19, for example, pass lines L 3, L 4, L 5, L 6 and L 12 and their passing directions are defined. The positions A and B and the result of counting the number of people for each passing direction are shown.
  • the type of color defining the set of all the passing lines L1 to L12 shown in the passing line selection column SLT1 and the passing direction of each passing line is displayed.
  • FIG. 19 since a set of 24 passage lines and passage methods is selected in total, for example, the position A ⁇ position B direction of the passage line L1, the position B ⁇ position A direction of the passage line L1, the passage line Only the direction of the position A ⁇ the position B of the L2, the position B ⁇ the direction of the passage line L2, the direction of the position A ⁇ the position B of the passage line L3, and the direction of the position B ⁇ the position A of the passage line L3 are displayed.
  • the user can confirm the display color of another set by operating the scroll bar in the vertical direction.
  • the time zone of one scale indicates 15 minutes, and the display size of the operation screen WD6 shown in FIG. The band count result cannot be displayed.
  • the server apparatus 300T displays the result of counting the number of people according to the date and time and time zone after the slide on the timeline bar GPH1.
  • the graph-format timeline bar GPH1 can be switched to a tabular format timeline bar and displayed by a user operation on the display setting field.
  • the time zone (that is, one cell) in the horizontal axis direction of the timeline bar GPH1 can be easily changed by a horizontal slide operation of the scale change button SCL1.
  • the display image generation unit 350T sets the scale to one scale.
  • the corresponding time zone is changed to one day larger than one hour, and the timeline bar GPH1 is displayed again.
  • the time zone longer than one hour is not limited to one day, and may be two hours, for example, and can be arbitrarily changed. This change can be set according to the user's operation on the screen on which the setting tab of the operation screen WD6 shown in FIG. 19 is selected, for example.
  • the display image generation unit 350T when the time zone corresponding to one scale indicates one hour, when the user operates the input device 400 such as a mouse and slides the scale change button SCL1 to the left, the display image generation unit 350T, for example, The time zone corresponding to one scale is changed to 15 minutes smaller than one hour, and the timeline bar GPH1 is displayed again.
  • the time zone smaller than one hour is not limited to 15 minutes, and may be 30 minutes, for example, and can be arbitrarily changed. This change can be set according to the user's operation on the screen on which the setting tab of the operation screen WD6 shown in FIG. 19 is selected, for example.
  • jump button JMP consisting of six buttons is the same as the jump button JMP on the operation screen WD1 shown in FIG. 14, the description of each button is omitted.
  • the display image generation unit 350T When the camera transmission data from the camera device 100T up to a point one week before the present time is acquired, when the ⁇ 1 week button JMP1 is pressed by a user operation, the display image generation unit 350T The person count map image displayed at the time of pressing is switched to the person count map image generated one week before the person count map image and displayed on the monitor 450.
  • the display image generation unit 350T When the camera transmission data from the camera device 100T up to a point one day before the current time is acquired, when the -1 day button JMP2 is pressed by a user operation, the display image generation unit 350T The person count map image CM2 displayed at that time is switched to the person count map image CM2m generated one day before the person count map image CM2 and displayed on the monitor 450 (see FIG. 21).
  • the display image generation unit 350T is pressed.
  • the person count map image CM2 displayed at the time is switched to the person count map image CM2p generated one day after the person count map image CM2 and displayed on the monitor 450 (see FIG. 21).
  • the display image generation unit 350T is pressed.
  • the person count map image displayed at the time is switched to the person count map image generated one week later than the person count map image and displayed on the monitor 450.
  • the generation time of the camera transmission data (in other words, the time or time zone at which the jump starts) when the jump button JMP is pressed is, for example, on the operation screen WD6 shown in FIG. Settings can be made according to the user's operation on the screen where the setting tab is selected.
  • FIG. 20 is an explanatory diagram of a second example of the timeline bar.
  • the time zone corresponding to one scale is 15 minutes as in FIG.
  • the user can easily specify on the timeline bar GPH1 which time zone the person count map image is displayed on the monitor 450 by an operation on the server device 300T or the input device 400.
  • the user operates the input device 400 such as a mouse to specify the cursor CSR on the cell at the start time of the target time zone RNG2 (for example, left click) and drag the cursor CSR to the end time of the time zone RNG2. Then, the button of the input device 400 such as a mouse is released at the drag end position (that is, the drag ends).
  • display image generation unit 350T determines the start time and end time of time zone RNG2.
  • the display image generation unit 350T changes the color or pattern of the time zone RNG2 designated by the user's operation to a color (for example, orange) different from the background color (for example, white) of the timeline bar or a different pattern pattern. Is displayed (see FIG. 20).
  • the time zone RNG2 designated by the user operation is set to 1 hour and 15 minutes from 15:00 to 16:15 on the 2nd of the month (that is, a time zone corresponding to 5 scales).
  • the server apparatus 300T changes and displays the background color of the period. Then, the display is switched to the person count map image during that period and displayed on the monitor 450.
  • the user can grasp
  • the display image generation unit 350T treats the time zone RNG2 described with reference to FIG. 20 as one section, and when the previous section button JMP3 is pressed by a user operation among the jump buttons JMP illustrated in FIG.
  • the person count map image displayed at that time is switched to the person count map image generated before one section (for example, 1 hour and 15 minutes corresponding to the time zone RNG2) and displayed on the monitor 450.
  • the display image generation unit 350T treats the time zone RNG2 described with reference to FIG. 20 as one section, and when the rear section button JMP4 is pressed by a user operation among the jump buttons JMP illustrated in FIG.
  • the person count map image displayed at the time of pressing is switched to the person count map image generated after one section (for example, 1 hour and 15 minutes corresponding to the time zone RNG2) from the person count map image, and is displayed on the monitor 450. Display.
  • the data output button OPT1 is a button that can output and save, for example, the entire operation screen WD6 shown in FIG. 19 or the people count map image CM1 as image data.
  • the display image generation unit 350T of the server apparatus 300T for example, uses the operation screen WD6 shown in FIG. 19 or the person count map image CM1 in the operation screen WD6 as image data in the reception information storage unit 340T. save.
  • the data output button having the same function as the data output button OPT1 is also shown in FIGS. 14, 16, 17, and 21.
  • FIG. 21 is an explanatory diagram showing an example of switching display of the person count map image CM2 in response to pressing of the +1 day button JMP5 and the ⁇ 1 day button JMP2 among the jump buttons JMP shown in FIG.
  • the start date of the data acquisition column is April 2, 2015 and the end date is April 4, 2015.
  • the camera transmission data from the camera device 100T in these three days is stored in the server device 300T. It is assumed that the current time in the explanation of FIG. 21 is April 3, 2015.
  • the display image generation unit 350T switches the number count map image CM2 displayed at the time of being pressed to the number count map image CM2m generated one day before the number count map image CM2, An operation screen WD6m including the person count map image CM2m is displayed on the monitor 450 (see FIG. 21).
  • the total number of persons straddling the passing line L5 from the position A to the position B is changed from “127” to “144”, and the total number of persons striding the passing line L5 from the position B to the position A is “247”.
  • the total number of persons straddling the passing line L6 from the position A to the position B is changed from “228” to “220”, and the total number of persons striding the passing line L6 from the position B to the position A is “172”.
  • the total number of persons straddling the passing line L12 from the position A to the position B is changed from “268” to “256”, and the total number of persons striding the passing line L12 from the position B to the position A is “268”.
  • the display image generation unit 350T switches the number-of-people count map image CM2 displayed at the time of being pressed to the number-of-people count map image CM2p generated one day after the number-of-people count map image CM2.
  • An operation screen WD6p including the person count map image CM2p is displayed on the monitor 450 (see FIG. 21).
  • the total number of persons straddling the passing line L5 from the position A to the position B is changed from “127” to “100”, and the total number of persons striding the passing line L5 from the position B to the position A is “247”.
  • the total number of persons straddling the passing line L6 from the position A to the position B is changed from “228” to “200”, and the total number of persons striding the passing line L6 from the position B to the position A is “172”.
  • the total number of persons straddling the passing line L12 from the position A to the position B is changed from “268” to “200”, and the total number of persons striding the passing line L12 from the position B to the position A is “268”.
  • the server device 300T moves from the captured image while appropriately protecting the privacy of the moving object (person) reflected in the imaging region when generating the person count map image.
  • a person count map image indicating the exact number of passing lines of the passing line in the imaging area of the moving body can be displayed visually and quantitatively to the user.
  • the server device 300T switches to a people count map image generated using the people count results derived in different periods by a simple operation of the user (pressing one of the jump buttons JMP). It is possible to improve the convenience for the user (for example, the convenience of confirming the transition of the number of persons for each passing direction across the position of the passing line).
  • the server device 300T uses, for example, the direction from the position A of the passage line L1 to the position B or the position of the passage line L1 in the passage line selection field SLT1 of the operation screen WD6 illustrated in FIG. It is also possible to select only one of the directions from B to the position A and display the number of people count map image corresponding to the selected passing direction. Thereby, the user can grasp
  • the server device 300T of the third modification example of the present embodiment for example, in the passing line selection field SLT1 of the operation screen WD6 shown in FIG. 19, for example, the direction from the position A to the position B of the passing line L1 and the position of the passing line L1. It is also possible to select both the direction from B to the position A and display the person count map image corresponding to the selected passing direction. Thereby, the user can quantitatively grasp the number of persons heading in the passing direction (for example, both the entrance / exit direction of the store and the opposite direction) that he / she is paying attention to, and the statistical difference of the passing number by the passing direction Can be grasped.
  • the present invention appropriately protects the privacy of a person appearing in an imaging area, generates an accurate flow line analysis image in which person's staying information or passage information is superimposed on a background image updated at a predetermined timing, and allows easy operation It is useful as a flow line analysis system and flow line analysis method that can confirm the transition of flow line analysis images.

Abstract

カメラ装置(100)は、撮像領域の撮像画像の背景画像を繰り返し生成する背景画像生成部(30)と、撮像画像に含まれる移動体の動線情報を抽出する動線情報分析部(40)と、所定の送信周期毎に、背景画像と移動体の動線情報とをサーバ装置に送信する送信部(60)とを備える。サーバ装置(300)は、撮像画像の背景画像に移動体の動線情報を重畳した動線分析画像を生成し、動線分析画像を表示部に表示させる表示画像生成部(350)を備える。表示画像生成部(350)は、第1のタイミングに生成された第1の動線分析画像に対し、タイミング変更操作があると、第2のタイミングに生成された第2の動線分析画像に切り替えてモニタ(450)に表示させる。

Description

動線分析システム及び動線分析方法
 本発明は、カメラ装置の撮像により得られた画像に、人物の滞留情報又は通過情報を重畳した動線分析画像を生成する動線分析システム及び動線分析方法に関する。
 カメラ装置が設置された撮影現場における時間毎の人物の活動量レベルをヒートマップ画像として表示する先行技術として、例えば特許文献1が知られている。
 特許文献1では、ネットワークを介して接続されたセキュリティカメラが設置された撮影現場における人物の動線を分析して活動量レベルを算出し、撮影現場の床配置図にセンサの検出結果を重畳したヒートマップ画像を生成し、セキュリティカメラに対応したブラウザの画面上にヒートマップ画像を表示することが開示されている。これにより、ブラウザの画面上に表示されたヒートマップ画像を閲覧することにより、撮影現場における人物の活動量レベルが把握可能となる。
 また、特許文献1に示す床配置図とは異なり、カメラ装置が撮像した画像上に、人物の動線密度や人数検出結果を重畳したヒートマップ画像を生成して表示する技術も提案されている(例えば非特許文献1参照)。
 ここで、特許文献1における床配置図にセンサの検出結果を重畳させる場合、床配置図とセキュリティカメラの撮影現場における画像とが正確にマッチング(一致)していることが必要となるが、特許文献1では床配置図は変更されず不変であるため、ヒートマップ画像の元となる床配置図を作成した時点から、撮影現場の配置が変更ない場合に限り、画像と床配置図とはマッチングする。
日本国特開2009-134688号公報
"今までなかった360°をたった一台で監視できる!革新的監視カメラMOBOTIX Q24",[online],株式会社オーピーエヌ,2014,[retrieved on 2014-06-16],Retrieved from the Internet:<URL:http://www.opn-web.com/mobotix/index.htm>.
 ここで、カメラ装置が所定の撮像領域(例えば店舗内の予め決められた位置)を撮像し、更に、店舗内の商品棚等の配置に関するレイアウトが変更される場合を考える。
 カメラ装置の撮像により得られた画像に、人物の滞留情報又は通過情報を重畳したヒートマップ画像を生成する際、店舗内のレイアウトが変更されると、変更前に得られた人物の滞留情報又は通過情報と変更後にカメラ装置の撮像により得られた画像とがマッチングしないため、正確な滞留情報又は通過情報のヒートマップ画像が得られない。
 このため、店舗内のレイアウトが変更される度に、特許文献1ではレイアウトの床配置図を変更する必要があり、非特許文献1ではヒートマップ画像の元となる画像がカメラ装置の撮像により得られた画像であるため、この画像では人物が映ってしまうことになり当該人物のプライバシーが的確に保護されないという課題が生じる。
 本発明は、上述した従来の課題を解決するために、撮像領域に映る人物のプライバシーを適切に保護し、所定のタイミングで更新された背景画像に人物の滞留情報又は通過情報を重畳した正確な動線分析画像を生成し、簡易な操作で動線分析画像の推移を確認できる動線分析システム及び動線分析方法を提供することを目的とする。
 本発明は、カメラ装置とサーバ装置とが接続された動線分析システムであって、前記カメラ装置は、撮像した撮像画像を生成し、移動体の滞留位置又は通過位置に関する動線情報を抽出し、生成された前記撮像画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置は、前記撮像画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、生成された前記動線分析画像を表示部に表示させ、さらに、前記サーバ装置は、任意に指定された第1の所定期間における撮像画像及び動線情報に基づいて生成された第1の前記動線分析画像を表示させている状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる動線分析システムを提供する。
 また、本発明は、カメラ装置とサーバ装置とが接続された動線分析システムであって、前記カメラ装置は、撮像した撮像画像の背景画像を生成し、移動体の滞留位置又は通過位置に関する動線情報を抽出し、生成された前記背景画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置は、前記背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、生成された前記動線分析画像を表示部に表示させ、さらに、前記サーバ装置は、第1の所定期間における背景画像及び動線情報に基づいて生成された第1の前記動線分析画像に対し、期間変更操作に応じて、第2の所定期間における背景画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる、動線分析システムを提供する。
 また、本発明は、カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、撮像した撮像画像を生成し、移動体の滞留位置又は通過位置に関する動線情報を抽出し、生成された前記撮像画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置において、前記撮像画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、生成された前記動線分析画像を表示部に表示させ、さらに、前記サーバ装置において、任意に指定された第1の所定期間における撮像画像及び動線情報に基づいて生成された第1の前記動線分析画像を表示させている状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる、動線分析方法を提供する。
 また、本発明は、カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、撮像した撮像画像の背景画像を生成し、移動体の滞留位置又は通過位置に関する動線情を抽出し、生成された前記背景画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置において、前記背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、生成された前記動線分析画像を表示部に表示させ、さらに、前記サーバ装置において、第1の所定期間における背景画像及び動線情報に基づいて生成された第1の前記動線分析画像に対し、期間変更操作に応じて、第2の所定期間における背景画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる、動線分析方法を提供する。
 また、本発明は、カメラ装置とサーバ装置とが接続された動線分析システムであって、前記カメラ装置は、撮像された撮像画像を生成し、移動体の滞留位置又は通過位置に関する動線情報を抽出し、抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、生成された前記撮像画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置は、前記撮像画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、生成された前記カウント数画像を表示部に表示し、さらに、前記サーバ装置は、任意に指定された第1の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像を表示している状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、動線分析システムを提供する。
 また、本発明は、カメラ装置とサーバ装置とが接続された動線分析システムであって、前記カメラ装置は、撮像された撮像画像の背景画像を生成し、移動体の滞留位置又は通過位置に関する動線情報を抽出し、抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、生成された前記背景画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置は、前記背景画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、生成された前記カウント数画像を表示部に表示し、さらに、前記サーバ装置は、第1の所定期間における背景画像。動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像に対し、期間変更操作に応じて、第2の所定期間における背景画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、動線分析システムを提供する。
 また、本発明は、カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、撮像された撮像画像を生成し、移動体の滞留位置又は通過位置に関する動線情報を抽出し、抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、生成された前記撮像画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置において、前記撮像画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、生成された前記カウント数画像を表示部に表示し、さらに、前記サーバ装置において、任意に指定された第1の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像を表示している状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、動線分析方法を提供する。
 また、本発明は、カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、撮像された撮像画像の背景画像を生成し、移動体の滞留位置又は通過位置に関する動線情報を抽出し、抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、生成された前記背景画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、前記サーバ装置において、前記背景画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、生成された前記カウント数画像を表示部に表示し、さらに、前記サーバ装置において、第1の所定期間における背景画像。動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像に対し、期間変更操作に応じて、第2の所定期間における背景画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、動線分析方法を提供する。
 本発明によれば、撮像領域に映る人物のプライバシーを適切に保護することができ、所定のタイミングで更新された背景画像に人物の滞留情報又は通過情報を重畳した正確な動線分析画像を生成でき、簡易な操作で動線分析画像の推移を確認できる。
本実施形態の動線分析システムを含む販売管理システムのシステム構成を詳細に示すシステム構成図 本実施形態のカメラ装置及びサーバ装置のそれぞれの機能的な内部構成を詳細に示すブロック図 本実施形態のカメラ装置の背景画像生成部の動作概要の説明図 (A)画像入力部に入力された撮像画像の一例を示す図、(B)背景画像生成部により生成された背景画像の一例を示す図 本実施形態のカメラ装置の画像入力、背景画像生成、動線情報分析の各処理の動作タイミングを説明するタイムチャート 本実施形態のカメラ装置が定期的に送信処理を行う場合のタイムチャート 本実施形態のカメラ装置がイベントの検出に応じて送信処理の動作タイミングを変更する場合のタイムチャート 本実施形態のカメラ装置がイベントの検出前後では送信処理を省略する場合のタイムチャート 本実施形態のカメラ装置が複数個設置された食料品売場のレイアウトの一例を示す図 本実施形態のサーバ装置の表示画像生成部により生成された店舗AAの動線分析画像を含む運用画面の第1例を示す図 本実施形態のサーバ装置の表示画像生成部により生成された店舗AAの動線分析画像を含む運用画面の第2例を示す図 本実施形態のサーバ装置のレポート生成出力部により生成された2014年5月度の店舗AAの食料品売場における月例報告書の運用画面の一例を示す図 本実施形態の第1変形例のカメラ装置の機能的な内部構成を詳細に示すブロック図 本実施形態の第2変形例のサーバ装置の表示画像生成部により生成された店舗AAの動線分析画像を含む運用画面の第3例を示す図 タイムラインバーの第1例の説明図 図14に示す運用画面に含まれるタイムラインバーに対して指定された変更後の時間範囲に対応する店舗AAの動線分析画像を含む運用画面の一例を示す図 図14に示すジャンプボタンのうち、+1日ボタン、-1日ボタンの押下に応じた動線分析画像の切り替え表示例を示す説明図 本実施形態の第3変形例のカメラ装置及びサーバ装置のそれぞれの機能的な内部構成を詳細に示すブロック図 本実施形態の第3変形例のサーバ装置の表示画像生成部により生成された店舗AAの人数カウントマップ画像を含む運用画面の第4例を示す図 タイムラインバーの第2例の説明図 図19に示すジャンプボタンのうち、+1日ボタン、-1日ボタンの押下に応じた人数カウントマップ画像の切り替え表示例を示す説明図
 以下、適宜図面を参照しながら、本発明に係る動線分析システム及び動線分析方法を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。なお、本発明は、カメラ装置が動線分析画像(後述参照)を生成する動作(ステップ)を含む動線分析画像生成方法として規定しても良い。
 また、以下の本実施形態では、図1に示すように、例えば本発明に係る動線分析システム500A,500B,500C,…が複数の店舗(店舗AA,店舗BB,店舗CC,…)毎に設置され、複数の動線分析システム500A,500B,500C,…がネットワークNWを介して接続された販売管理システム1000の使用形態を想定して説明する。但し、本発明に係る動線分析システム、カメラ装置及び動線分析方法の実施形態は、後述する本実施形態の内容に限定されない。
 図1は、本実施形態の動線分析システム500A,500B,500C,…を含む販売管理システム1000のシステム構成を詳細に示すシステム構成図である。図1に示す販売管理システム1000は、複数の店舗AA,BB,CC,…に個々に設置された動線分析システム500A,500B,500C,…と、運営本部のサーバ装置600と、スマートフォン700と、クラウドコンピュータ800と、設定端末装置900とを含む構成である。
 それぞれの動線分析システム500A,500B,500C,…と、運営本部のサーバ装置600と、スマートフォン700と、クラウドコンピュータ800と、設定端末装置900とは、ネットワークNWを介して相互に接続されている。ネットワークNWは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線LAN(Local Area Network)、無線WAN(Wide Area Network)、3G、LTE(Long Term Evolution)又はWiGig(Wireless Gigabit)である。有線ネットワークは、例えばイントラネット又はインターネットである。
 図1に示す店舗AAに設置された動線分析システム500Aは、フロア1に設置された複数のカメラ装置100,100A,…,100Nと、レコーダ200と、サーバ装置300と、入力デバイス400と、モニタ450とを含む構成である。なお、フロア2にもフロア1と同様に複数のカメラ装置が設置され、フロア2内のカメラ装置の図示を省略している。それぞれのカメラ装置100,100A,…100Nの内部構成は同様であり、その詳細については図2を参照して後述する。
 レコーダ200は、例えば半導体メモリ又はハードディスク装置を用いて構成され、店舗AA内に設置された各カメラ装置の撮像により得られた画像(以下、カメラ装置の撮像により得られた画像を「撮像画像」という)のデータを記憶する。レコーダ200に記憶された撮像画像のデータは、例えば防犯等の監視業務に供される。
 サーバ装置300は、例えばPC(Personal Computer)を用いて構成され、入力デバイス400を操作するユーザ(例えば動線分析システムのユーザであって、店舗AAの店員や店長を指す。以下同様。)の入力操作に応じて、所定のイベント(例えば店舗AAのフロア1の売場のレイアウトの変更)が発生したことをカメラ装置100に通知する。
 また、サーバ装置300は、カメラ装置(例えばカメラ装置100)から送信されたデータ(後述参照)を用いて、カメラ装置(例えばカメラ装置100)の撮像領域における移動体(例えば店員、店長、来店客等の人物。以下同様。)の滞留位置又は通過位置に関する動線情報をカメラ装置(例えばカメラ装置100)の撮像画像に重畳した動線分析画像を生成してモニタ450に表示させる。
 更に、サーバ装置300は、入力デバイス400を操作するユーザの入力操作に応じて、所定の処理(例えば後述する動線分析レポートの生成処理)を行い、動線分析レポートをモニタ450に表示させる。サーバ装置300の内部構成の詳細については図2を参照して後述する。
 入力デバイス400は、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、ユーザの入力操作に応じた信号をカメラ装置100又はサーバ装置300に出力する。なお、図1では、図面を簡単にするために、入力デバイス400とカメラ装置100との間にだけ矢印が図示されているが、入力デバイス400と他のカメラ装置(例えばカメラ装置100A、100N)との間に矢印が図示されても良い。
 モニタ450は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、サーバ装置300により生成された動線分析画像又は動線分析レポートのデータを表示する。なお、モニタ450は、サーバ装置300とは異なる外部装置として設けられるが、サーバ装置300の内部に含まれた構成としても良い。
 運営本部のサーバ装置600は、運営本部のサーバ装置600を操作する運営本部の従業員(例えば役員)の入力操作に応じて、各店舗AA,BB,CC,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。また、運営本部のサーバ装置600は、動線分析レポート(図12参照)を生成するために必要となる各種情報(例えば売上情報、来店者数情報、イベント日程情報、最高気温情報、最低気温情報)を保持する。なお、これらの各種情報は、店舗AA,BB,CC,…毎に設けられたサーバ装置において保持されても良い。なお、運営本部のサーバ装置600は、各店舗AA,BB,CC,…内に設置されたサーバ装置(例えば店舗AAであればサーバ装置300)における各処理を実行しても良い。これにより、運営本部のサーバ装置600は、各店舗AA,BB,CC,…のデータを集約して動線分析レポート(例えば後述する図12参照)を生成することができ、運営本部のサーバ装置600に対する入力操作によって選択された一つの店舗の詳細データ(例えば図12に示す動線分析レポート等)を取得することができ、又は複数の店舗間における特定の売場(例えば肉売場)のデータ比較結果の表示を行うことが可能になる。
 スマートフォン700は、スマートフォン700を操作する運営本部の従業員(例えば営業担当者)の入力操作に応じて、各店舗AA,BB,CC,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。
 クラウドコンピュータ800は、各店舗AA,BB,CC,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートのデータを記憶するオンラインストレージであり、スマートフォン700を操作する運営本部の従業員(例えば営業担当者)の入力操作に応じて、所定の処理(例えばX月Y日の動線分析レポートの検索及び抽出)を行い、処理結果をスマートフォン700に送信する。
 設定端末装置900は、例えばPCを用いて構成され、各店舗AA,BB,CC,…内に設置された動線分析システム500A,500B,500C,…のカメラ装置の設定画面を表示する専用のブラウザソフトウェアを実行可能である。設定端末装置900は、設定端末装置900を操作する運営本部の従業員(例えば販売管理システム1000のシステム管理者)の入力操作に応じて、カメラ装置の設定画面(例えばCGI(Common Gateway Interface))をブラウザソフトウェアにおいて表示し、カメラ装置の設定情報を編集(修正、追加、削除)して設定する。
(カメラ装置)
 図2は、本実施形態のカメラ装置100及びサーバ装置300のそれぞれの機能的な内部構成を詳細に示すブロック図である。図1に示す販売管理システム1000において、店舗AA,BB,CC,…に設置されるそれぞれのカメラ装置は同様な構成であるため、図2ではカメラ装置100を例示して説明する。
 図2に示すカメラ装置100は、撮像部10と、画像入力部20と、背景画像生成部30と、動線情報分析部40と、スケジュール管理部50と、送信部60と、イベント情報受領部70と、背景画像蓄積部80と、通過/滞留分析情報蓄積部90とを含む構成である。背景画像生成部30は、入力画像学習部31と、移動体分離部32と、背景画像抽出部33とを含む構成である。動線情報分析部40は、対象検出部41と、動線情報取得部42と、通過/滞留状況分析部43とを含む構成である。
 撮像部10は、レンズとイメージセンサとを少なくとも有する。レンズは、カメラ装置100の外部から入射する光(光線)を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、魚眼レンズ、又は例えば140度以上の画角が得られる広角レンズが用いられる。イメージセンサは、例えばCCD(Charged-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
 画像入力部20は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、撮像部10からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なRGB(Red Green Blue)又はYUV(輝度・色差)等により規定される撮像画像のデータ(フレーム)を生成して背景画像生成部30及び動線情報分析部40に出力する。
 背景画像生成部30は、例えばCPU、MPU又はDSPを用いて構成され、所定のフレームレート(例えば30fps(frame per second))で、画像入力部20から出力された撮像画像のデータ(フレーム)毎に、撮像画像に含まれる移動体(例えば人物)を排除した背景画像を生成して背景画像蓄積部80に保存する。背景画像生成部30における背景画像の生成処理は、例えば下記の参考特許文献に開示されている方法を用いることができるが、この参考特許文献に開示されている方法に限定されない。
 (参考特許文献)日本国特開2012-203680号公報
 ここで、背景画像生成部30の動作概要について、図3及び図4を参照して簡単に説明する。図3は、本実施形態のカメラ装置100の背景画像生成部30の動作概要の説明図である。図4(A)は、画像入力部20に入力された撮像画像の一例を示す図である。図4(B)は、背景画像生成部30により生成された背景画像の一例を示す図である。
 図3では、紙面の上側から下側に向かう時間軸に直交する紙面の左側から右側に向かって、入力画像学習部31、移動体分離部32、背景画像抽出部33の生成結果が模式的に示され、店舗の来店客が飲料の入った4つの段ボールのうち1つの段ボールを持ち運ぶ様子が示されている。
 入力画像学習部31は、画像入力部20から出力された複数の撮像画像のフレーム(例えば図3に示す各フレームFM1~FM5)において、画素毎に、画素の輝度及び色差の値の分布状況を分析する。
 移動体分離部32は、入力画像学習部31の学習結果(即ち、複数のフレーム間(例えば図3に示す時間軸方向)の同一画素毎の輝度及び色差の分布状況の分析結果)を用いて、撮像画像の各フレームFM1~FM5において、移動体(例えば人物)の情報(例えばフレームFM1a~FM5a参照)と移動体以外(例えば背景)の情報(例えばフレームFM1b~FM5b参照)とに分離する。なお、移動体である人物が段ボールを持ち運ぶ様子を示す撮像画像のフレームFM3,FM4では、人物が持ち運ぶ段ボールの画素に対応する輝度及び色差の値は時間軸方向(例えば図3参照)に沿って変化するので、移動体分離部32は、人物が持ち運ぶ段ボールを移動体とみなす。
 背景画像抽出部33は、移動体分離部32が分離した情報のうち、移動体以外の情報が映るフレームFM1b~FM5bを、画像入力部20から出力された撮像画像のフレームFM1~FM5の背景画像のフレームFM1c~FM5cとして抽出して背景画像蓄積部80に保存する。
 図4(A)に示す撮像画像のフレームFM10aでは、例えば食堂の中で料理を提供している人、料理をトレーで受け取る人がそれぞれ移動体として示されている。図4(A)に示す撮像画像のフレームFM10aに対して、背景画像生成部30が生成した背景画像のフレームFM10c(図4(B)参照)では、移動体としての同じ食堂の中で料理を提供している人も料理を受け取る人も映らないように排除されている。
 動線情報分析部40は、例えばCPU、MPU又はDSPを用いて構成され、所定のフレームレート(例えば10fps)で、画像入力部20から出力された撮像画像のデータ(フレーム)毎に、撮像画像に含まれる移動体(例えば人物)の滞留位置又は通過位置に関する動線情報を検出して通過/滞留分析情報蓄積部90に保存する。
 対象検出部41は、画像入力部20から出力された撮像画像のフレームに対して所定の画像処理(例えば人物検出処理、顔検出処理)を行うことで、撮像画像のフレームに含まれる移動体(例えば人物)の有無を検出する。対象検出部41は、撮像画像のフレームに含まれる移動体を検出した場合には、撮像画像のフレームに対する移動体の検出領域に関する情報(例えばフレームの座標情報)を動線情報取得部42に出力する。なお、対象検出部41は、撮像画像のフレームに含まれる移動体を検出しなかった場合には、移動体の検出領域に関する情報(例えば所定のヌル情報)を動線情報取得部42に出力する。
 動線情報取得部42は、対象検出部41から出力された移動体の検出領域に関する情報を基に、画像入力部20から出力された撮像画像の情報と、過去の移動体の検出領域に関する情報(例えば、撮像画像情報や座標情報)を用いて、現在と過去の検出領域に関する情報の紐付けを行い、動線情報(例えば移動体の検出領域の座標情報の変化量)として通過/滞留状況分析部43に出力する。
 通過/滞留状況分析部43は、複数の撮像画像に対して動線情報取得部42から出力された動線情報を基に、撮像画像のフレームにおける移動体(例えば人物)の滞留位置又は通過位置に関する動線情報(例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」)を抽出して生成する。また、通過/滞留状況分析部43は、移動体(例えば人物)の滞留位置又は通過位置に関する動線情報の抽出結果を用いて、サーバ装置300の表示画像生成部350において生成される動線分析画像(ヒートマップ画像)のカラー部分の可視化画像を生成しても良い。
 通過/滞留状況分析部43は、複数の撮像画像のフレームに対する動線情報を用いることで、画像入力部20から出力された撮像画像のフレームの中で、移動体(例えば人物)が滞留した位置又は通過した位置に関する正確な動線情報を抽出して生成することができる。
 スケジュール管理部50は、例えばCPU、MPU又はDSPを用いて構成され、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとをサーバ装置300に定期的に送信するための所定の送信周期を送信部60に指示する。所定の送信周期は、例えば15分、1時間、12時間、24時間等であるが、これらの時間間隔に限定されない。
 送信部60は、スケジュール管理部50又はイベント情報受領部70からの指示に応じて、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する。送信部60における送信タイミングについては、図5、図6、図7及び図8を参照して後述する。
 イベント情報取得部の一例としてのイベント情報受領部70は、サーバ装置300又は入力デバイス400から所定のイベント(例えば店舗AAのフロア1の売場のレイアウトの変更)の検出の通知を受領(取得)し、所定のイベントの検出の通知を受領したことで、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信指示を送信部60に出力する。
 背景画像蓄積部80は、例えば半導体メモリ又はハードディスク装置を用いて構成され、背景画像生成部30により生成された背景画像のデータ(フレーム)を記憶する。
 通過/滞留分析情報蓄積部90は、例えば半導体メモリ又はハードディスク装置を用いて構成され、動線情報分析部40により生成された移動体(例えば人物)の滞留位置又は通過位置に関する動線情報の抽出結果(例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」)のデータを記憶する。
 なお、図2に示すカメラ装置100は、イベント情報受領部70の代わりに、シーン識別部SDを設けても良く、以下同様である(例えば図13参照)。画像変化検出部の一例としてのシーン識別部SDは、画像入力部20から出力された撮像画像の変化(例えば店舗AAのフロア1の売場のレイアウトが変更したというイベント)の有無を検出する。シーン識別部SDは、撮像画像の変化を検出した場合には、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信指示を送信部60に出力する。
 また、図2に示すカメラ装置100は、人数カウント部CTを更に設けても良く、以下同様である(例えば図13参照)。移動体検出部の一例としての人数カウント部CTは、画像入力部20から出力された撮像画像に対して所定の画像処理(例えば人物検出処理)を行うことで、撮像画像に含まれる移動体の検出数をカウントする。人数カウント部CTは、撮像画像に含まれる移動体の検出数に関する情報を送信部60に出力する。
(サーバ装置)
 図2に示すサーバ装置300は、イベント情報受領部310と、通知部320と、受信部330と、受信情報蓄積部340と、表示画像生成部350と、レポート生成出力部360とを含む構成である。
 イベント情報受領部310は、該当するカメラ装置(例えばカメラ装置100)毎に、所定のイベント(例えば店舗AAのフロア1の売場のレイアウトの変更)が発生したことを示す情報が入力デバイス400から入力された場合には、所定のイベントの検出の通知を受領する。イベント情報受領部310は、所定のイベントの検出の通知を受領したことを通知部320に出力する。なお、所定のイベントが発生したことを示す情報には、所定のイベントが発生した場所を撮像領域として撮像するカメラ装置の識別番号(例えば後述するC1,C2,…)が含まれる。
 通知部320は、イベント情報受領部310から出力された所定のイベントの検出の通知を該当するカメラ装置(例えばカメラ装置100)に送信する。
 受信部330は、カメラ装置100の送信部60から送信されたデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ)を受信して受信情報蓄積部340及び表示画像生成部350に出力する。
 受信情報蓄積部340は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部330が受信したデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ)を記憶する。
 画像生成部の一例としての表示画像生成部350は、例えばCPU、MPU又はDSPを用いて構成され、受信部330又は受信情報蓄積部340から取得したデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ)を用いて、背景画像に移動体の滞留位置又は通過位置に関する動線情報を重畳した動線分析画像を生成する。
 動線分析画像は、カメラ装置100が撮像した撮像画像の中で移動体(例えば人物)が映らないように排除された背景画像に、撮像画像に対応する撮像領域において移動体がどこによく滞留したか、又はどこを通過したかを視覚的に示す動線情報がヒートマップのように所定のレンジ(例えば0~255の値)の範囲内に定量的に可視化された画像である。また、表示制御部の一例としての表示画像生成部350は、生成した動線分析画像をモニタ450に表示させる。
 レポート生成部の一例としてのレポート生成出力部360は、例えばCPU、MPU又はDSPを用いて構成され、動線分析レポートの生成指示が入力デバイス400から入力された場合には、後述する動線分析レポート(例えば図12参照)を生成する。また、表示制御部の一例としてのレポート生成出力部360は、生成した動線分析レポートをモニタ450に表示させる。
(カメラ装置からサーバ装置へのデータ送信処理)
 次に、カメラ装置100からサーバ装置300へのデータの送信処理について、図5、図6、図7及び図8を参照して説明する。図5は、本実施形態のカメラ装置100の送信処理の動作タイミングを説明するタイムチャートである。図6は、本実施形態のカメラ装置100が定期的に送信処理を行う場合のタイムチャートである。図7は、本実施形態のカメラ装置100がイベントの検出に応じて送信処理の動作タイミングを変更する場合のタイムチャートである。図8は、本実施形態のカメラ装置100がイベントの検出前後では送信処理を省略する場合のタイムチャートである。
 図5において、カメラ装置100では、画像入力部20から撮像画像が出力されると(画像入力)、背景画像生成部30は画像入力部20から出力された撮像画像の背景画像を生成して背景画像蓄積部80に保存し(背景画像生成)、動線情報分析部40は画像入力部20から出力された撮像画像に含まれる移動体(例えば人物)の滞留位置又は通過位置に関する動線情報を抽出する(動線情報分析)。これらの画像入力、背景画像生成、動線情報分析の各処理は定期的に繰り返して実行される。但し、これらの画像入力、背景画像生成、動線情報分析の各処理は繰り返して実行されるのであれば、各処理の間隔は同一でなくてもよい。
 例えば図5に示す第1回目の画像入力、背景画像生成、動線情報分析の各処理の後、送信部60は、例えば図7に示すように、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、前回の送信時刻t0から今回の送信時刻t1までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t1)。なお、上述したように送信部60における定期的な送信間隔(送信周期)は、15分、1時間、12時間、24時間等であり予めスケジュール管理部50から指示されている。また、送信部60により送信される背景画像のデータは1枚分のデータでも良いし、複数枚(例えば5分毎に得られた複数の背景画像)分のデータでも良い。
 次に、図5に示す第2回目以降の画像入力、背景画像生成、動線情報分析の各処理の度に、送信部60は、例えば図7に示すように、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、前回の送信時刻t1から今回の送信時刻t2までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t2)。
 また、送信部60は、例えば図7に示すように、所定のイベント(例えば店舗AAのフロア1の売場のレイアウトの変更)の検出の通知をイベント情報受領部70から受けると(時刻t3)、例えばイベント情報受領部70からイベント割込を受けて、前回の送信時刻t2から今回の送信時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t3)。なお、送信部60における送信処理については、図7に示す方法以外に、図6又は図8のうちいずれかの方法に従っても良い。
 図6、図7及び図8では、図5の送信処理と同一の内容についての説明は簡略化又は省略し、異なる内容について説明する。具体的には、図6では、送信部60は、時刻t3においてイベント情報受領部70からイベント割込を受けても、前回の送信時刻t2から今回の送信時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t3)。
 しかし、図6の送信処理では、時刻t2から時刻t3までに所定のイベントが発生した場合、撮像画像の内容が更新されているので、イベントの検出前後で異なる背景画像が混在して使用されることになり、動線分析画像の内容が正確ではない可能性がある。
 そこで、図7では、送信部60は、所定のイベント(例えば店舗AAのフロア1の売場のレイアウトの変更)の検出の通知をイベント情報受領部70から受けると(時刻t3)、例えばイベント情報受領部70からイベント割込を受けて、前回の送信時刻t2からイベント割込を受けた時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t3)。更に、送信部60は、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、イベント割込を受けた時刻t3から今回の送信時刻t4までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t4)。
 また図8では、送信部60は、時刻t3においてイベント情報受領部70からイベント割込を受けても、前回の送信時刻t2からイベント割込を受けた時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t3)。更に、送信部60は、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、イベント割込を受けた時刻t3から時刻t4までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t4)。
 言い換えると、送信部60は、時刻t3においてイベント情報受領部70からイベント割込を受けた場合、前回の送信時刻t2からイベント割込を受けた次の送信周期の開始時点(図8では時刻t4)までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t2~時刻t4)。
 更に、図8では、送信部60は、例えばスケジュール管理部50からタイマー割込を受けると(時刻t4)、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を再開する。具体的には、送信部60は、図8では図示されていないが、時刻t4以降にスケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受け、時刻t4から今回の送信時刻までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータを取得してサーバ装置300に送信する。
 図9は、本実施形態のカメラ装置100が複数個設置された食料品売場のレイアウトの一例を示す図である。図9では、例えば店舗AAのフロア1(1F)の食料品売場において、複数(例えば8個)のカメラ装置がフロア1の天井面等に設置されている様子が示されている。具体的には、北入口カメラC1A,C1B、レジ前カメラC2A,C2B、特売品カメラC3、肉売場カメラC4、魚売場カメラC5、野菜売場カメラC6の計8個のカメラ装置(例えば全方位カメラ装置)が設定されている。なお、カメラ装置の種類は、全方位カメラ装置に限定されず、固定の画角が設定された固定カメラ装置、又は、パン方向やチルト方向並びにズーム機能を有するPTZ(Pan Tilt Zoom)カメラ装置でも良い。
 図10は、本実施形態のサーバ装置300の表示画像生成部350により生成された店舗AAの動線分析画像を含む運用画面の第1例を示す図である。図11は、本実施形態のサーバ装置300の表示画像生成部350により生成された店舗AAの動線分析画像を含む運用画面の第2例を示す図である。図10及び図11に示す運用画面は、表示画像生成部350によってモニタ450に表示される。
 図10に示す運用画面では、左側の表示領域LL1には、店舗内に設置されたカメラ装置の選択画面の一覧が階層的に表示されている。例えば、フロア1(1F)の食料品売場(識別番号:G1)では、北入口カメラC1A(識別番号:C1)、北入口カメラC1B(識別番号:C2)、レジ前カメラC2A(識別番号:C3),レジ前カメラC2B(識別番号:C4)、野菜売場カメラC6(識別番号:C5)、魚売場カメラC5(識別番号:C6)、肉売場カメラC4(識別番号:C7)、特売品カメラC3(識別番号:C8)が階層的に示されている。フロア2(2F)の衣料品売場その他の売場において同様であるため、説明を省略する。
 また、図10に示す運用画面では、右側の表示領域R1には、メイン(例えば現在)の動線分析情報の表示領域MA1とサブ(例えば比較用)の動線分析情報の表示領域CE1とが表示されている。
 動線分析情報の表示領域MA1には、サーバ装置300が閲覧対象の動線分析画像を生成した指定時刻(年月日を含む)と、例えば半日単位、1日単位、1週間単位又は1箇月単位を示す統計期間と、表示領域LL1において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域MA1aと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示G(グループ)と、売場毎の来店者数の表示領域CT1とを含む動線分析結果表示領域MA1bとが表示される。
 動線分析画像の映像表示種別には、図10に示す移動体(例えば人物)の滞留情報が示された滞留マップと、図11に示す移動体(例えば人物)の通過情報が示されたカウントマップと、撮像画像そのものとが含まれる。売場毎の来店者数の表示領域CT1には、時系列(例えば図10及び図11では1時間毎)に人数カウント部CTにより検出された移動体(例えば人物)の検出数が示される。例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT1に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に表示する。
 なお、図11に示すように、動線分析情報の表示領域MA1の売場毎のカメラ装置の選択画面の代わりに、図9に示す複数個のカメラ装置が売場毎に設置されたレイアウトMP1の一例が表示されても良い。
 また同様に、サブの動線分析情報の表示領域CE1には、メインの動線分析情報の表示領域MA1の比較対象としてサーバ装置300が閲覧対象の動線分析画像を生成した指定時刻(年月日を含む)と、例えば半日単位、1日単位、1週間単位又は1箇月単位を示す統計期間と、メインの動線分析情報の表示領域MA1において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域CE1aと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示G(グループ)と、売場毎の来店者数の表示領域CT2とを含む動線分析結果表示領域CE1bとが表示される。なお、サブの動線分析情報の表示領域CE1を用いる場合には、例えば店舗内のレイアウトの変更の前後の比較以外に、割引シールを商品に貼付した前後の比較、タイムセールの前後の比較、今日と一年前の同日との比較、店舗間(例えば店舗AAの肉売場と店舗BBの肉売場との比較)等の用途が含まれても良い。
 売場毎の来店者数の表示領域CT2には、時系列(例えば図10及び図11では1時間毎)に人数カウント部CTにより検出された移動体(例えば人物)の検出数が示される。例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT2に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に再生して表示する。
 また、メイン(例えば現在)の動線分析情報の表示領域MA1の売場毎の来店者数の表示領域CT1とサブ(例えば比較例)の動線分析情報の表示領域CE1の売場毎の来店者数の表示領域CT2とにおいて、入力デバイス400は、ユーザの入力操作により、時間軸上の特定の時間帯を指定してコメント(例えばタイムセール、3Fイベント、TV放映、隣のドームで試合等)を入力することができる。
 図11では映像表示種別がカウントマップとなっており、その他の事項は図10の説明と同様であるため、詳細な説明は省略する。図11でも、図10と同様に、例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT3,CT4に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に再生して表示する。
 図12は、本実施形態のサーバ装置300のレポート生成出力部360により生成された2014年5月度の店舗AAの食料品売場における月例報告書の運用画面RPTの一例を示す図である。本実施形態の動線分析レポートの一例としての月例報告書(図12参照)は、図10又は図11に示す運用画面の左側の表示領域LL1の下部に設けられたレポート出力ボタンOPTが入力デバイス400により押下されると、レポート生成出力部360が生成してモニタ450に表示した画面である。なお、サーバ装置300のレポート生成出力部360は、図12に示す月例報告書又はその一部の情報(例えば食料品売場のうちの肉売場における月例報告書)を、店舗AAに設置されたプリンタ(不図示)に出力しても良い。これにより、店舗AAの店員は、来店客が映っていない動線分析画像が出力された内容で、例えば食料品売場全体又はその一部の肉売場における月例報告書のプリントアウトの配布を受けることができる。
 図12に示す月例報告書(動線分析レポート)の運用画面RPTでは、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報に関する表示領域SR1と、店舗(例えば店舗AA)の来店者数等の統計情報に関する表示領域CR1と、所定のイベントの一例として売場のレイアウトの変更の発生前後において表示画像生成部350が生成したそれぞれの動線分析画像HM5,HM6の表示領域と、売場毎の来店者数の表示領域CT5,CT6とが示されている。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、例えば運営本部のサーバ装置600から該当する店舗(例えば店舗AA)内のサーバ装置(例えばサーバ装置300)に送信される。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、店舗内のサーバ装置300又は記憶部(不図示)に予め記憶されても良い。
 図12に示す月例報告書の運用画面RPTでも、図10又は図11と同様に、例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT5,CT6に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に表示する。
 以上により、本実施形態の動線分析システム500Aでは、カメラ装置100は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを所定の送信周期毎にサーバ装置300に送信する。サーバ装置300は、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成し、この動線分析画像をモニタ450に表示させる。
 これにより、動線分析システム500Aは、動線分析画像の元になる背景画像を移動体(例えば人物)が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、動線分析システム500Aは、所定のタイミング(例えば定期的な送信周期の到来時)の時点において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、予め決められた送信周期毎に、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示することができる。
 また、動線分析システム500Aは、背景画像と移動体の動線情報とを送信するための所定の送信周期をカメラ装置のスケジュール管理部50において指示するので、予め指示された送信周期に従って、背景画像と移動体の動線情報とを定期的にサーバ装置300に送信することができる。
 また、動線分析システム500Aは、所定のイベント(例えば店舗内の売場のレイアウト変更のイベント)の検出の通知をイベント情報受領部70において取得すると、背景画像と移動体の動線情報とをサーバ装置300に送信するので、特定のイベントが検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置300において生成することができる。
 また、動線分析システム500Aは、撮像画像の変化(例えば店舗内の売場のレイアウト変更)をシーン識別部SDにおいて検出すると、背景画像と移動体の動線情報とをサーバ装置300に送信するので、撮像画像の変化が検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置300において生成することができる。
 また、動線分析システム500Aは、撮像画像に含まれる移動体の検出数を人数カウント部CTにおいてカウントし、検出数に関する情報を送信部60に出力するので、撮像領域における移動体の滞留位置又は通過位置に関する情報を含む動線分析画像と移動体の検出数とを含む表示画面(運用画面)をモニタ450に表示させることができる。
 また、動線分析システム500Aは、イベント情報受領部70が所定のイベントの検出の通知を取得した時点を含む送信周期では背景画像と移動体の動線情報との送信を省略するので、サーバ装置300において動線分析画像を生成する際に、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を混在して使用することを回避することができる。
 また、動線分析システム500Aは、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前に生成された動線分析画像と、同所定のイベントの検出後に生成された動線分析画像とを含む動線分析レポートをレポート生成出力部360において生成するので、所定のイベントにより撮像領域における移動体の滞留位置又は通過位置に関する動線情報がどのような変更があったかを対比的に分かり易く示すことができる。
 また、動線分析システム500Aは、所定の入力操作(例えばユーザのレポート出力ボタンの押下操作)により、生成した動線分析レポートをモニタ450に表示させるので、動線分析レポートをユーザに対して視覚的に表示することができる。
 更に、動線分析システム500Aは、撮像画像の背景画像の生成と撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報の抽出とを各カメラ装置100,100A,…,100Nにおいて実行させてから、サーバ装置300において動線分析画像を生成して表示するので、撮像画像の背景画像の生成と撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報の抽出をサーバ装置300に実行させる場合に比べて、サーバ装置300の処理負荷を軽減することができるので、1つのサーバ装置300に接続可能なカメラ装置の台数の制限を緩和することができる。
(本実施形態の第1変形例)
 なお、上述した本実施形態では、動線分析画像の生成処理はサーバ装置300において実行されているが、動線分析画像の生成処理までをカメラ装置100が実行しても良い(図13参照)。図13は、本実施形態の第1変形例のカメラ装置100Sの機能的な内部構成を詳細に示すブロック図である。図13に示すカメラ装置100Sは、撮像部10と、画像入力部20と、背景画像生成部30と、動線情報分析部40と、スケジュール管理部50と、送信部60Sと、イベント情報受領部70と、背景画像蓄積部80と、通過/滞留分析情報蓄積部90と、表示画像生成部350Sとを含む構成である。図13に示すカメラ装置100Sの各部の説明において、図2に示すカメラ装置100と同一の構成及び動作のものには同一の符号を付して説明を省略し、異なる内容について説明する。
 画像生成部の一例としての表示画像生成部350Sは、スケジュール管理部50又はイベント情報受領部70からの指示に応じて、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータを用いて、背景画像に移動体の滞留位置又は通過位置に関する動線情報を重畳した動線分析画像を生成して送信部60に出力する。
 送信部60Sは、表示画像生成部350Sにより生成された動線分析画像のデータをサーバ装置300に送信する。
 以上により、本実施形態の第1変形例では、カメラ装置100Sは、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを用いて、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成する。
 これにより、カメラ装置100Sは、動線分析画像の元になる背景画像を移動体(例えば人物)が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、カメラ装置100Sは、リアルタイムに得られた撮像画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する最新の動線情報を適切に示す動線分析画像を生成することができる。
 また、カメラ装置100Sは、動線分析画像の生成処理まで実行して生成結果である動線分析画像のデータをサーバ装置300に送信するので、例えばサーバ装置300の処理負荷が相当に高い状態では、動線分析画像の生成処理をサーバ装置300に実行させないで良いため、サーバ装置300の処理負荷の増大を抑制することができる。
 最後に、本発明に係る動線分析システム、カメラ装置及び動線分析方法の構成、作用、効果をそれぞれ説明する。
 本発明の一実施形態は、カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、前記カメラ装置は、所定の撮像領域を撮像する撮像部と、前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、所定の送信周期毎に、前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを前記サーバ装置に送信する送信部と、を備え、前記サーバ装置は、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、前記画像生成部により生成された前記動線分析画像を表示部に表示させる表示制御部と、を備える、動線分析システムである。
 この構成では、カメラ装置は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを所定の送信周期毎にサーバ装置に送信する。サーバ装置は、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成し、この動線分析画像を表示部に表示させる。
 これにより、動線分析システムは、動線分析画像の元になる背景画像には移動体(例えば人物)が映らないように排除されるので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、動線分析システムは、所定のタイミング(例えば定期的な送信周期の到来時)の時点において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、予め決められた送信周期毎に、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示することができる。
 また、本発明の一実施形態は、前記カメラ装置は、前記背景画像と前記移動体の動線情報とを送信するための前記所定の送信周期を前記送信部に指示するスケジュール管理部、を更に備える、動線分析システムである。
 この構成によれば、動線分析システムは、背景画像と移動体の動線情報とを送信するための所定の送信周期をカメラ装置のスケジュール管理部において指示するので、予め指示された送信周期に従って、背景画像と移動体の動線情報とを定期的にサーバ装置に送信することができる。
 また、本発明の一実施形態は、前記カメラ装置は、所定のイベントの検出の通知を取得するイベント情報取得部、を更に備え、前記イベント情報取得部は、前記所定のイベントの検出の通知を取得した後、前記背景画像と前記移動体の動線情報との送信タイミングを前記送信部に指示する、動線分析システムである。
 この構成によれば、動線分析システムは、所定のイベント(例えば店舗内の売場のレイアウト変更のイベント)の検出の通知をイベント情報取得部において取得すると、背景画像と移動体の動線情報とをサーバ装置に送信するので、特定のイベントが検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置において生成することができる。
 また、本発明の一実施形態は、前記カメラ装置は、前記撮像画像の変化を検出する画像変化検出部、を更に備え、前記画像変化検出部は、前記撮像画像の変化を検出した後、前記背景画像と前記移動体の動線情報との送信タイミングを前記送信部に指示する、動線分析システムである。
 この構成によれば、動線分析システムは、撮像画像の変化(例えば店舗内の売場のレイアウト変更)を画像変化検出部において検出すると、背景画像と移動体の動線情報とをサーバ装置に送信するので、撮像画像の変化が検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置において生成することができる。
 また、本発明の一実施形態は、前記カメラ装置は、前記撮像画像に含まれる移動体の検出数をカウントする移動体検出部、を更に備え、前記移動体検出部は、前記撮像画像に含まれる移動体の検出数に関する情報を前記送信部に出力する、動線分析システムである。
 この構成によれば、動線分析システムは、撮像画像に含まれる移動体の検出数を移動体検出部においてカウントし、検出数に関する情報を送信部に出力するので、撮像領域における移動体の滞留位置又は通過位置に関する情報を含む動線分析画像と移動体の検出数とを含む表示画面(運用画面)を表示部において表示させることができる。
 また、本発明の一実施形態は、前記送信部は、前記イベント情報取得部が前記所定のイベントの検出の通知を取得した時点を含む前記所定の送信周期では、前記背景画像と前記移動体の動線情報との送信を省略する、動線分析システムである。
 この構成によれば、動線分析システムは、イベント情報取得部が所定のイベントの検出の通知を取得した時点を含む送信周期では背景画像と移動体の動線情報との送信を省略するので、サーバ装置において動線分析画像を生成する際に、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を混在して使用することを回避することができる。
 また、本発明の一実施形態は、前記サーバ装置は、前記所定のイベントの検出前に前記画像生成部により生成された前記動線分析画像と、前記所定のイベントの検出後に前記画像生成部により生成された前記動線分析画像とを含む動線分析レポートを生成するレポート生成部、を更に備える、動線分析システムである。
 この構成によれば、動線分析システムは、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前に生成された動線分析画像と、同所定のイベントの検出後に生成された動線分析画像とを含む動線分析レポートをレポート生成部において生成するので、所定のイベントにより撮像領域における移動体の滞留位置又は通過位置に関する動線情報がどのような変更があったかを対比的に分かり易く示すことができる。
 また、本発明の一実施形態は、前記レポート生成部は、所定の入力操作に応じて、前記動線分析レポートを前記表示部に表示させる、動線分析システムである。
 この構成によれば、動線分析システムは、所定の入力操作(例えばユーザのレポート出力ボタンの押下操作)により、生成した動線分析レポートを表示部に表示させるので、動線分析レポートをユーザに対して視覚的に表示することができる。
 また、本発明の一実施形態は、所定の撮像領域を撮像する撮像部と、前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを用いて、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、を備える、カメラ装置である。
 この構成では、カメラ装置は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを用いて、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成する。
 これにより、カメラ装置は、動線分析画像の元になる背景画像を移動体(例えば人物)が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、カメラ装置は、所定のタイミング(例えば定期的な送信周期の到来時)の時点において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像を生成することができる。
 また、本発明の一実施形態は、カメラ装置とサーバ装置とが相互に接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、所定の撮像領域を撮像するステップと、前記撮像領域の撮像画像の背景画像を生成するステップと、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出するステップと、所定の送信周期毎に、生成された前記背景画像と、抽出された前記移動体の動線情報とを前記サーバ装置に送信するステップと、前記サーバ装置において、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成するステップと、生成された前記動線分析画像を表示部に表示させるステップと、を有する、動線分析方法である。
 この方法では、カメラ装置は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを所定の送信周期毎にサーバ装置に送信する。サーバ装置は、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成し、この動線分析画像を表示部に表示させる。
 これにより、動線分析システムは、動線分析画像の元になる背景画像には移動体(例えば人物)が映らないように排除されるので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、動線分析システムは、所定のタイミング(例えば定期的な送信周期の到来時)の辞典において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、予め決められた送信周期毎に、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示することができる。
 以上、図面を参照して本発明に係る動線分析システム及び動線分析方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
(本実施形態の第2変形例)
 また、本実施形態の第2変形例のサーバ装置300は、生成した動線分析画像を含む運用画面をモニタ450に表示させる際に、図10や図11に示す運用画面の他に、例えば図14に示す運用画面WD1を表示させてもよい。図14は、本実施形態の第2変形例のサーバ装置300の表示画像生成部350により生成された店舗AAの動線分析画像を含む運用画面の第3例を示す図である。
 図14に示す運用画面WD1では、動線分析画像の生成に必要なデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータであり、以下「カメラ送信データ」という)の指定条件の入力欄(データ取得欄)と、動線分析画像の表示に関する設定項目の入力欄(表示設定欄)と、動線分析画像HM1と、タイムラインバーTLBと、複数のボタンからなるジャンプボタンJMPと、スケール変更ボタンSCL1とが表示されている。
 データ取得欄では、上記したカメラ送信データの送信元となるカメラ装置の識別番号と、カメラ送信データの要求対象となる期間(つまり、背景画像のデータと移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとが生成された期間)の開始日及び終了日とが指定される。ダウンロードボタンが押下されると、サーバ装置300は、データ取得欄において指定された条件に合致するカメラ送信データを該当するカメラ装置(例えばカメラ装置100)から受信して取得するか、又はサーバ装置300にて既に受信して蓄積していたデータを取得する。
 表示設定欄では、動線分析画像として表示される種別が通過マップ(つまり、撮像領域の特定の場所を通過した人物の数をヒートマップのように視覚的に示す画像)又は滞留マップ(つまり、人物が特定の場所に滞留した時間をヒートマップのように視覚的に示す画像)のいずれかが選択される。必要に応じて、表示画像生成部350により生成された撮像領域の動線分析画像のうち、表示される領域が選択されてもよい。
 タイムラインバーTLBでは、例えばデータ取得欄において「2015年4月9日」の1日分が指定された場合に、カメラ装置からのカメラ送信データの有無が時間帯(以下、「スケール」という)毎に示される。つまり、「2015年4月9日」の24時間分のカメラ装置からのカメラ送信データの有無が、タイムラインバーTLBの一つ一つの升目(セル)の計24個の色又は模様パターンの有無によって視覚的に判別可能となる。より具体的に言うと、時間範囲DIV1(つまり、2015年4月9日の午前0時から午前9時までの時間範囲)では、カメラ装置からのカメラ送信データが無いことが示されており、時間範囲DIV2(つまり、2015年4月9日の午前9時から午前0時までの時間範囲)では、カメラ装置からのカメラ送信データがあることが示されている。図14では、スケールに対応する時間帯(つまり、1つのセル)は1時間を示す。
 スケールに対応する時間帯(つまり、1つのセル)は、スケール変更ボタンSCL1の左右方向のスライド操作によって容易に変更可能である。例えばスケールに対応する時間帯(つまり、1つのセル)が1時間を示す場合に、ユーザがマウス等の入力デバイス400を操作してスケール変更ボタンSCL1を右方向にスライドすると、表示画像生成部350は、例えばスケールに対応する時間帯(つまり、1つのセル)を1時間より大きい1日に変更してタイムラインバーTLBを再度表示させる。1時間より大きい時間帯として1日に限定されず、例えば2時間でもよく任意に変更可能である。この変更は、例えば図14に示す運用画面WD1の設定タブが選択された画面においてユーザの操作に応じて設定可能となる。
 同様に、例えばスケールに対応する時間帯(つまり、1つのセル)が1時間を示す場合に、ユーザがマウス等の入力デバイス400を操作してスケール変更ボタンSCL1を左方向にスライドすると、表示画像生成部350は、例えばスケールに対応する時間帯(つまり、1つのセル)を1時間より小さい15分に変更してタイムラインバーTLBを再度表示させる。1時間より小さい時間帯として15分に限定されず、例えば30分でもよく任意に変更可能である。この変更は、例えば図14に示す運用画面WD1の設定タブが選択された画面においてユーザの操作に応じて設定可能となる。
 ジャンプボタンJMPには、-1週ボタンJMP1、-1日ボタンJMP2、前区間ボタンJMP3、後区間ボタンJMP4、+1日ボタンJMP5、+1週ボタンJMP6が設けられている。但し、ジャンプボタンJMPは、これらの6種類のボタンに限定されない。例えばボタンの名称に数字が含まれる「-1週ボタンJMP1,-1日ボタンJMP2,+1日ボタンJMP5,+1週ボタンJMP6」の数字部分は、不図示の設定画面(例えば図14に示す運用画面WD1の設定タブが選択された画面)においてユーザの操作に応じて任意に変更可能である。
 例えば現時点から1週間前に遡った時点までのカメラ装置からのカメラ送信データが取得されている場合に、-1週ボタンJMP1がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1週間前に生成された動線分析画像に切り替えてモニタ450に表示させる。
 例えば現時点から1日前に遡った時点までのカメラ装置からのカメラ送信データが取得されている場合に、-1日ボタンJMP2がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1日前に生成された動線分析画像に切り替えてモニタ450に表示させる(図17参照)。
 例えば現時点から1日経過した時点までのカメラ装置からのカメラ送信データが取得されている場合に、+1日ボタンJMP5がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1日後に生成された動線分析画像に切り替えてモニタ450に表示させる(図17参照)。
 例えば現時点から1週間経過した時点までのカメラ装置からのカメラ送信データが取得されている場合に、+1週ボタンJMP6がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1週間後に生成された動線分析画像に切り替えてモニタ450に表示させる。
 また、ジャンプボタンJMPが押下された場合の動線分析画像の元になるカメラ送信データの生成時点(言い換えると、ジャンプの起点となる時刻又は時間帯)は、例えば図14に示す運用画面WD1の設定タブが選択された画面においてユーザの操作に応じて設定可能である。
 前区間ボタンJMP3及び後区間ボタンJMP4を説明する前に、1区間について図15を参照して説明する。図15は、タイムラインバーの第1例の説明図である。図15では、説明の都合上、図14に示す運用画面WD1に含まれるタイムラインバーTLBとは異なるタイムラインバーTLBbが示されている。
 図15において、スケールに対応する時間帯(つまり、1つのセル)は、図14と同様に1時間としている。ユーザは、タイムラインバーTLBbに表示された色又は模様パターンによって、カメラ装置からのカメラ送信データの有無を視覚的に判別可能である。また、ユーザは、サーバ装置300又は入力デバイス400に対する操作によって、どの時間帯の動線分析画像をモニタ450に表示させるかを、タイムラインバーTLBb上において簡易に指定することができる。
 例えばユーザは、マウス等の入力デバイス400を操作してカーソルCSRを指定対象の時間帯RNG1の開始時刻のセル上において指定(例えば左クリック)し、かつ時間帯RNG1の終了時刻までカーソルCSRをドラッグし、ドラッグ終了位置においてマウス等の入力デバイス400のボタンを離す(つまりドラッグを終了する)。ドラッグ終了位置においてマウス等の入力デバイス400のボタンを押すユーザの指が離されると、表示画像生成部350は、時間帯RNG1の開始時刻及び終了時刻を確定する。これにより、表示画像生成部350は、ユーザの操作により指定された時間帯RNG1の色又は模様パターンを、カメラ装置からのカメラ送信データがあることを示す色又は模様パターンとは異なる色又は模様パターンに変更して表示する(図15参照)。
 例えば図15に示すタイムラインバーTLBbでは、時間帯RNG1は4月2日の午前5時~午前9時までの時間帯であり、この時間帯RNG1に対応する色又は模様パターンは、カメラ装置からのカメラ送信データがある4月2日の午前0時~午前11時及び午後2時以降の時間帯の色又は模様パターンとは異なっている。なお、図15に示すタイムラインバーTLBbが図14に示す運用画面WD1に含むように表示された場合であって、この運用画面における動線分析画像が例えば3日分のカメラ送信データを用いて生成されており、かつスケールに対応する時間帯(つまり、1つのセル)が例えば1時間であるとする。この場合、タイムラインバーTLBbは、全長で3日分の長さ(つまり、24時間×3日=72個)のセルとなるが、運用画面に全てのセルが表示不可の場合には、表示画像生成部35は、タイムラインバーTLBbを左右方向にスクロール可能に表示させる。従って、ユーザは、一見タイムラインバーTBLb上で表示されていない日時にカメラ送信データがあるか否かを確認したい場合に、タイムラインバーTLBbをスクロール操作することで容易にチェックできる。
 表示画像生成部350は、例えば図15を参照して説明した時間帯RNG1を1区間として扱い、図14に示すジャンプボタンJMPのうちユーザの操作によって前区間ボタンJMP3が押下されると、押下された時点において表示された動線分析画像HM1を、その動線分析画像HM1よりも1区間(例えば時間帯RNG1に対応する4時間)前に生成された動線分析画像に切り替えてモニタ450に表示させる。
 一方、表示画像生成部350は、例えば図15を参照して説明した時間帯RNG1を1区間として扱い、図14に示すジャンプボタンJMPのうちユーザの操作によって後区間ボタンJMP4が押下されると、押下された時点において表示された動線分析画像HM1を、その動線分析画像HM1よりも1区間(例えば時間帯RNG1に対応する4時間)後に生成された動線分析画像に切り替えてモニタ450に表示させる。
 図16は、図14に示す運用画面WD1に含まれるタイムラインバーTLBに対して指定された変更後の時間範囲に対応する店舗AAの動線分析画像を含む運用画面WD2の一例を示す図である。図16では、タイムラインバーTLBにおいてユーザにより指定された時間範囲が変更されたことで、図14に示す動線分析画像HM1から、変更後の時間範囲に対応する動線分析画像HM2が表示画像生成部350により生成されてモニタ450に表示されたことが示されている。
 また、タイムラインバーTLB上に対するユーザの指定操作によって1区間に相当する時間帯TBLK(図15に示す時間帯RNG1参照)が確定した後、ユーザが、確定済みの時間帯TBLKに対してマウス等の入力デバイス400の操作(例えば右クリック)を行うことによってその時間帯TBLKを一時的に固定させた状態(言い換えると、確定済みの時間帯TBLKをタイムラインバーTLB上で掴んだ状態)でタイムラインバーTLB上を移動させてもよい。この移動操作によって、表示画像生成部350は
、移動操作後の時間帯に対応した動線分析画像を生成してモニタ450に表示させることができる。
 例えば移動操作前の時間帯が午前9時~午後1時で、移動操作後の時間帯が午後4時~午後8時(時間帯は4時間で同一)であった場合、表示画像生成部350は、午前9時~午後1時に対応する動線分析画像を含む運用画面WD2を、午後4時~午後8時に対応する動線分析画像を含む他の運用画面に切り替えてモニタ450に表示させることができる。
 図17は、図14に示すジャンプボタンJMPのうち、+1日ボタンJMP5、-1日ボタンJMP2の押下に応じた動線分析画像の切り替え表示例を示す説明図である。図17では、データ取得欄の開始日が2015年4月8日、終了日が2015年4月10日となっており、これらの3日間におけるカメラ装置からの送信データがサーバ装置300において取得されているとし、現時点を2015年4月9日とする。
 例えば現時点(2015年4月9日)から1日前に遡った時点(2015年4月8日)までのカメラ装置からの送信データが取得されている場合に、-1日ボタンJMP2が押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM3を、その動線分析画像HM3よりも1日前に生成された動線分析画像HM3mに切り替えて、その動線分析画像HM3mを含む運用画面をモニタ450に表示させる。
 また、例えば現時点(2015年4月9日)から1日経過した時点(2015年4月10日)までのカメラ装置からの送信データが取得されている場合に、+1日ボタンJMP5が押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM3を、その動線分析画像HM3よりも1日後に生成された動線分析画像HM3pに切り替えて、その動線分析画像HM3pを含む運用画面をモニタ450に表示させる(図17参照)。
 これにより、本実施形態の第2変形例のサーバ装置300は、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護しながら撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示でき、更に、ユーザの簡易な操作(ジャンプボタンJMPのうちいずれかのボタンの押下)によって、異なるタイミングにおいて生成された動線分析画像に切り替えて表示でき、ユーザの利便性(例えば動線分析画像の推移の確認の便利さ)を向上できる。
(本実施形態の第3変形例)
 また、本実施形態の第3変形例のサーバ装置300Tは、運用画面をモニタ450に表示させる際に、図10、図11、図14に示す運用画面の他に、例えば図19に示す運用画面WD6を表示させてもよい。図19は、本実施形態の第3変形例のサーバ装置300Tの表示画像生成部350Tにより生成された店舗AAの人数カウントマップ画像CM1を含む運用画面の第4例を示す図である。図19に示す運用画面WD6では、例えば店舗AA内に設置されたカメラ装置毎に予め設定された少なくとも1つの通過ラインを跨ぐ移動体(例えば人物)のカウント結果を示すカウント数画像としての人数カウントマップ画像CM1が表示される。人数カウントマップ画像CM1は、サーバ装置300Tの表示画像生成部350Tにより生成される。
 例えば動線分析システム500Aによって店舗AA内の人物の動線分析を行う場合、例えば店舗AA内の特定の売場など、ユーザが注目している箇所を通過する移動体数を把握できれば、より詳細な分析が可能となる。このために、本実施形態の第3変形例では、カメラ装置毎に、ユーザが注目している箇所に対して通過ラインが少なくとも1つ設定され、サーバ装置300Tは、その通過ラインを跨ぐ移動体(例えば人物)の数を示す画像として、人数カウントマップ画像を生成してモニタ450に表示させる。
 図18は、本実施形態の第3変形例のカメラ装置及びサーバ装置のそれぞれの機能的な内部構成を詳細に示すブロック図である。図18に示すカメラ装置100T及びサーバ装置300Tの各部の説明において、図2に示すカメラ装置100及びサーバ装置300と同一の構成及び動作のものには同一の符号を付して説明を省略し、異なる内容について説明する。
 カメラ装置100Tは、図2の構成に加えて、通過ライン設定部45を備える。通過ライン設定部45は、例えばCPU、MPU又はDSPを用いて構成され、所定のプログラムに従って処理を実行することにより、それぞれの機能を実現する。通過ライン設定部45は、ユーザ操作に基づくサーバ装置300T又は入力デバイス400からの通過ラインの設定指示を受けると、撮像画像又は背景画像の指定箇所に、移動体数をカウントするための通過ラインを設定する。ユーザ操作に基づくサーバ装置300T又は入力デバイス400からの通過ラインの設定指示は、イベント情報受領部70Tにおいて受領される。この通過ラインの設定指示には、ユーザ操作により指定された、撮像画像又は背景画像中の通過ラインの位置を規定する座標情報が含まれる。
 通過ラインの設定指示は、通過ラインの設定対象となるカメラ装置毎に生成され、サーバ装置300T又は入力デバイス400から該当するカメラ装置毎に送信される。イベント情報受領部70Tは、通過ラインの設定指示を受領すると、通過ライン設定部45に出力する。
 通過ライン設定部45は、通過ラインの設定情報(例えば通過ラインの識別情報、通過ラインの撮像画像又は背景画像における座標情報)を人数カウント部CTに出力する。人数カウント部CTは、通過/滞留分析情報蓄積部90に記憶されているデータ(即ち、移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ)と、通過ライン設定部45から渡された通過ラインの設定情報とを基に、設定された通過ラインを跨ぐ移動体の累計数をカウントする。人数カウント部CTは、通過ラインを一方向に跨ぐ移動体の数と、通過ラインをその反対方向に跨ぐ移動体の数とをそれぞれ別個にカウントする。人数カウント部CTは、通過ラインを通過した(言い換えると、跨いだ)移動体の計数値を、人数カウント結果として送信部60に出力する。送信部60は、人数カウント部CTからの人数カウント結果をサーバ装置300Tに送信する。
 サーバ装置300Tでは、送信部60から送信された人数カウント結果は受信情報蓄積部340Tにおいて蓄積される。表示画像生成部350Tは、撮像画像又は背景画像に設定された通過ラインを跨いだ移動体のカウント結果を表示する人数カウントマップ画像として、撮像画像又は背景画像に通過ラインに関する各種情報を重畳した画像を生成する。通過ラインに関する各種情報は、例えば通過ラインの識別情報と、通過ラインを跨ぐ方向を定義する位置の識別子(位置A,位置B)と、通過ラインを跨いだ移動体の数(言い換えると、カウント結果)とを含む。
 また、本実施形態の第3変形例において、人数カウントマップ画像には、上述した動線情報が重畳されないとして説明しているが、動線情報が重畳されても構わない。この場合、人数カウントマップ画像は、撮像画像又は背景画像の代わりに、撮像画像に現れる人物の特定が困難となるように、人物の映像の中身などのプライバシー情報を除去した輪郭又はシルエットのみの移動体を含む輪郭画像が使用されてもよい。なお、撮像画像から輪郭画像を生成するための技術は、公知技術であり、例えば日本国特開2015-149557号公報、日本国特開2015-149558号公報、日本国特開2015-149559号公報に記載されている。
 以下、人数カウントマップ画像は、カメラ装置100Tの背景画像生成部30により生成された背景画像に、人数カウント部CTによりカウントされた人数カウント結果が重畳されて生成されるとして説明する。但し、上述したように、人数カウントマップ画像は、カメラ装置100Tの撮像部10により得られた撮像画像に、人数カウント部CTによりカウントされた人数カウント結果が重畳されて生成されてもよい。
 図19に示す運用画面WD6では、人数カウントマップ画像の生成に必要なデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと人数カウント部CTにより導出された人数カウント結果のデータ)の指定条件の入力欄(データ取得欄)と、人数カウント結果の時系列の推移の表示に関する設定項目の入力欄(表示設定欄)と、人数カウントマップ画像CM1と、通過ライン選別欄SLT1と、通過ライン表示欄EXNと、タイムラインバーGPH1と、スクロールバーSCL2と、複数のボタンからなるジャンプボタンJMPと、スケール変更ボタンSCL1と、データ出力ボタンOPT1とが表示されている。以下、人数カウントマップ画像の生成に必要なデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと人数カウント部CTにより導出された人数カウント結果のデータ)を、「カメラ送信データ」という。
 データ取得欄では、上記したカメラ送信データの送信元となるカメラ装置の識別番号と、カメラ送信データの要求対象となる期間(つまり、背景画像のデータと通過ラインの人数カウント結果のデータとが生成された期間)の開始日及び終了日とが指定される。ダウンロードボタンが押下されると、サーバ装置300Tは、データ取得欄において指定された条件に合致するカメラ送信データを該当するカメラ装置(例えばカメラ装置100T)から受信して取得するか、又はサーバ装置300Tにて既に受信して蓄積していたデータを取得する。
 表示設定欄では、後述するタイムラインバーGPH1において人数カウント結果の時系列の推移の表示方法が指定される。「グラフ」ボタンが押下されると、サーバ装置300Tは、図19のタイムラインバーGPH1に示すように、人数カウント結果をグラフ形式でモニタ450上に時系列に表示させる。一方、「表」ボタンが押下されると、サーバ装置300Tは、人数カウント結果を表形式でモニタ450上に時系列に表示させる。
 人数カウントマップ画像CM1では、例えば通過ラインL3,L4,L5,L6,L12をそれぞれ位置Aから位置Bに向かって跨ぐ又は位置Bから位置Aに向かって跨ぐ移動体(例えば人物)のカウント結果の累計が、各通過ラインと位置A,位置Bとともに重畳されて表示されている。例えば2015年4月2日の0時0分~2015年4月4日の23時59分までの間において、通過ラインL3を位置Aから位置Bに向かって跨ぐ人物数の累計は「203」、通過ラインL3を位置Bから位置Aに向かって跨ぐ人物数の累計は「112」である。同様に、通過ラインL4を位置Aから位置Bに向かって跨ぐ人物数の累計は「127」、通過ラインL4を位置Bから位置Aに向かって跨ぐ人物数の累計は「206」である。通過ラインL5を位置Aから位置Bに向かって跨ぐ人物数の累計は「127」、通過ラインL5を位置Bから位置Aに向かって跨ぐ人物数の累計は「247」である。通過ラインL6を位置Aから位置Bに向かって跨ぐ人物数の累計は「228」、通過ラインL6を位置Bから位置Aに向かって跨ぐ人物数の累計は「172」である。通過ラインL12を位置Aから位置Bに向かって跨ぐ人物数の累計は「268」、通過ラインL12を位置Bから位置Aに向かって跨ぐ人物数の累計は「268」である。
 これにより、ユーザは、例えば店舗AAに設置されたカメラ装置100Tの撮像エリアにおいて、ユーザ自身がカメラ装置100Tの撮像画像の中で注目している任意の箇所に、少なくとも1つの通過ラインを設定できる。サーバ装置300Tは、ユーザ操作によって設定された撮像画像又は背景画像中の通過ラインを通過した人物数の累計をその通過方向毎にカウントして人数カウントマップ画像CM1としてモニタ450に表示することで、移動体(例えば顧客)の撮像エリア中の動線情報を視覚的かつ定量的に示すことができる。
 通過ライン選別欄SLT1では、カメラ装置100Tの撮像画像又は背景画像に対してユーザ操作に基づいて設定された通過ラインが位置Aから位置Bの向きとその逆向きとの両方で表示されている。具体的には、ユーザ操作により12種類の通過ラインL1,L2,L3,L4,L5,L6,L7,L8,L9,L10,L11,L12が設定されており、それぞれの通過ラインL1~L12に対して位置Aから位置Bに向かう方向と位置Bから位置Aに向かう方向の計24個のチェックボックスが設けられている。これらのチェックボックスに対してチェックマーカが入力された場合に、サーバ装置300Tは、チェックマーカが付与された通過ライン及び通過方向に対応する人数カウント結果を撮像画像又は背景画像に重畳した人数カウントマップ画像CM1をモニタ450に表示させる。図19に示す例では、全てのチェックボックスにチェックマーカが入力されているが、図19の複雑化を避けるために、例えば通過ラインL3,L4,L5,L6,L12とこれらの通過方向を定義付ける位置A,Bとそれぞれの通過方向毎の人数カウント結果とが図示されている。
 通過ライン表示欄EXNでは、通過ライン選別欄SLT1に示される全ての通過ラインL1~L12とそれぞれの通過ラインの通過方向とのセットを定義付ける色の種類が表示される。なお、図19では合計24個の通過ライン及び通過方法のセットが選別されているので、例えば通過ラインL1の位置A→位置Bの方向、通過ラインL1の位置B→位置Aの方向、通過ラインL2の位置A→位置Bの方向、通過ラインL2の位置B→位置Aの方向、通過ラインL3の位置A→位置Bの方向、通過ラインL3の位置B→位置Aの方向だけが表示されているが、ユーザは、スクロールバーで上下方向に操作することで他のセットの表示色を確認できる。
 タイムラインバーGPH1では、例えばデータ取得欄において「2015年4月2日~2015年4月4日」までの3日分が指定された場合に、通過ライン及び通過方法に対応する人数カウント結果が3日間分にわたって時系列に示される。しかしながら、図19や図20に示すタイムラインバーGPH1において、1目盛り(1スケール)の時間帯は15分を示しており、図19に示す運用画面WD6の表示サイズでは、3日間の全ての時間帯の人数カウント結果が表示できない。この場合、ユーザ操作によりスクロールバーSCL2が左右方向にスライドされると、サーバ装置300Tは、タイムラインバーGPH1に、スライドされた後の日時や時間帯に応じた人数カウント結果をタイムラインバーGPH1上においてグラフ形式で表示する。なお、上述したように、グラフ形式のタイムラインバーGPH1は、表示設定欄に対するユーザ操作により、表形式のタイムラインバーに切り替えて表示することが可能である。
 タイムラインバーGPH1の横軸方向の1目盛り(1スケール)の時間帯(つまり、1つのセル)は、スケール変更ボタンSCL1の左右方向のスライド操作によって容易に変更可能である。例えば1スケールに対応する時間帯が1時間を示す場合に、ユーザがマウス等の入力デバイス400を操作してスケール変更ボタンSCL1を右方向にスライドすると、表示画像生成部350Tは、例えば1スケールに対応する時間帯を1時間より大きい1日に変更してタイムラインバーGPH1を再度表示させる。1時間より大きい時間帯として1日に限定されず、例えば2時間でもよく任意に変更可能である。この変更は、例えば図19に示す運用画面WD6の設定タブが選択された画面においてユーザの操作に応じて設定可能となる。
 同様に、例えば1スケールに対応する時間帯が1時間を示す場合に、ユーザがマウス等の入力デバイス400を操作してスケール変更ボタンSCL1を左方向にスライドすると、表示画像生成部350Tは、例えば1スケールに対応する時間帯を1時間より小さい15分に変更してタイムラインバーGPH1を再度表示させる。1時間より小さい時間帯として15分に限定されず、例えば30分でもよく任意に変更可能である。この変更は、例えば図19に示す運用画面WD6の設定タブが選択された画面においてユーザの操作に応じて設定可能となる。
 6個のボタンからなるジャンプボタンJMPは図14に示す運用画面WD1のジャンプボタンJMPと同一であるため、それぞれのボタンの説明は省略する。
 例えば現時点から1週間前に遡った時点までのカメラ装置100Tからのカメラ送信データが取得されている場合に、-1週ボタンJMP1がユーザの操作によって押下されると、表示画像生成部350Tは、押下された時点において表示された人数カウントマップ画像を、その人数カウントマップ画像よりも1週間前に生成された人数カウントマップ画像に切り替えてモニタ450に表示させる。
 例えば現時点から1日前に遡った時点までのカメラ装置100Tからのカメラ送信データが取得されている場合に、-1日ボタンJMP2がユーザの操作によって押下されると、表示画像生成部350Tは、押下された時点において表示された人数カウントマップ画像CM2を、その人数カウントマップ画像CM2よりも1日前に生成された人数カウントマップ画像CM2mに切り替えてモニタ450に表示させる(図21参照)。
 例えば現時点から1日経過した時点までのカメラ装置100Tからのカメラ送信データが取得されている場合に、+1日ボタンJMP5がユーザの操作によって押下されると、表示画像生成部350Tは、押下された時点において表示された人数カウントマップ画像CM2を、その人数カウントマップ画像CM2よりも1日後に生成された人数カウントマップ画像CM2pに切り替えてモニタ450に表示させる(図21参照)。
 例えば現時点から1週間経過した時点までのカメラ装置100Tからのカメラ送信データが取得されている場合に、+1週ボタンJMP6がユーザの操作によって押下されると、表示画像生成部350Tは、押下された時点において表示された人数カウントマップ画像を、その人数カウントマップ画像よりも1週間後に生成された人数カウントマップ画像に切り替えてモニタ450に表示させる。
 また、ジャンプボタンJMPが押下された場合の人数カウントマップ画像の元になるカメラ送信データの生成時点(言い換えると、ジャンプの起点となる時刻又は時間帯)は、例えば図19に示す運用画面WD6の設定タブが選択された画面においてユーザの操作に応じて設定可能である。
 前区間ボタンJMP3及び後区間ボタンJMP4を説明する前に、1区間について図20を参照して説明する。図20は、タイムラインバーの第2例の説明図である。
 図20において、1目盛り(1スケール)に対応する時間帯は、図19と同様に15分としている。ユーザは、サーバ装置300T又は入力デバイス400に対する操作によって、どの時間帯の人数カウントマップ画像をモニタ450に表示させるかを、タイムラインバーGPH1上において簡易に指定することができる。
 例えばユーザは、マウス等の入力デバイス400を操作してカーソルCSRを指定対象の時間帯RNG2の開始時刻のセル上において指定(例えば左クリック)し、かつ時間帯RNG2の終了時刻までカーソルCSRをドラッグし、ドラッグ終了位置においてマウス等の入力デバイス400のボタンを離す(つまりドラッグを終了する)。ドラッグ終了位置においてマウス等の入力デバイス400のボタンを押すユーザの指が離されると、表示画像生成部350Tは、時間帯RNG2の開始時刻及び終了時刻を確定する。これにより、表示画像生成部350Tは、ユーザの操作により指定された時間帯RNG2の色又は模様パターンを、タイムラインバーの背景色(例えば白色)とは異なる色(例えばオレンジ色)又は異なる模様パターンに変更して表示する(図20参照)。
 図20に示すタイムラインバーGPH1では、例えば2015年4月2日の12時45分~19時00分までの時間帯が示されており、ユーザ操作により指定された時間帯RNG2は2015年4月2日の15時00分~16時15分までの1時間15分(つまり、5スケール分の時間帯)を示す。サーバ装置300Tは、例えばタイムラインバーGPH1において2015年4月2日の15時00~16時15分までの期間がユーザ操作により指定されると、その期間の背景色を変更して表示するとともに、その期間における人数カウントマップ画像に切り替えてモニタ450に表示させる。
 これにより、ユーザは、自分が気になる時間帯だけを局所的に選択することで、その選択された時間帯における人数カウント結果を人数カウントマップ画像によって視覚的かつ定量的に把握することができる。
 表示画像生成部350Tは、例えば図20を参照して説明した時間帯RNG2を1区間として扱い、図19に示すジャンプボタンJMPのうちユーザの操作によって前区間ボタンJMP3が押下されると、押下された時点において表示された人数カウントマップ画像を、その人数カウントマップ画像よりも1区間(例えば時間帯RNG2に対応する1時間15分)前に生成された人数カウントマップ画像に切り替えてモニタ450に表示させる。
 一方、表示画像生成部350Tは、例えば図20を参照して説明した時間帯RNG2を1区間として扱い、図19に示すジャンプボタンJMPのうちユーザの操作によって後区間ボタンJMP4が押下されると、押下された時点において表示された人数カウントマップ画像を、その人数カウントマップ画像よりも1区間(例えば時間帯RNG2に対応する1時間15分)後に生成された人数カウントマップ画像に切り替えてモニタ450に表示させる。
 データ出力ボタンOPT1は、例えば図19に示す運用画面WD6の全体又は人数カウントマップ画像CM1を画像データとして出力、保存が可能なボタンである。データ出力ボタンOPT1が押下されると、サーバ装置300Tの表示画像生成部350Tは、例えば図19に示す運用画面WD6又は運用画面WD6中の人数カウントマップ画像CM1を画像データとして受信情報蓄積部340Tに保存する。なお、データ出力ボタンOPT1と同一機能を有するデータ出力ボタンは、図14、図16、図17、図21にも示されている。
 図21は、図19に示すジャンプボタンJMPのうち、+1日ボタンJMP5、-1日ボタンJMP2の押下に応じた人数カウントマップ画像CM2の切り替え表示例を示す説明図である。図21では、データ取得欄の開始日が2015年4月2日、終了日が2015年4月4日となっており、これらの3日間におけるカメラ装置100Tからのカメラ送信データがサーバ装置300Tにおいて取得されているとし、図21の説明における現時点を2015年4月3日とする。
 例えば現時点(2015年4月3日)から1日前に遡った時点(2015年4月2日)までのカメラ装置100Tからのカメラ送信データが取得されている場合に、-1日ボタンJMP2が押下されると、表示画像生成部350Tは、押下された時点において表示された人数カウントマップ画像CM2を、その人数カウントマップ画像CM2よりも1日前に生成された人数カウントマップ画像CM2mに切り替えて、その人数カウントマップ画像CM2mを含む運用画面WD6mをモニタ450に表示させる(図21参照)。
 具体的には、人数カウントマップ画像CM2から人数カウントマップ画像CM2mに切り替えられた場合、2015年4月2日の0時0分~2015年4月4日の23時59分までの間において、通過ラインL3を位置Aから位置Bに向かって跨ぐ人物数の累計は「203」→「180」に変更し、通過ラインL3を位置Bから位置Aに向かって跨ぐ人物数の累計は「112」→「135」に変更した。同様に、通過ラインL4を位置Aから位置Bに向かって跨ぐ人物数の累計は「127」→「120」に変更し、通過ラインL4を位置Bから位置Aに向かって跨ぐ人物数の累計は「206」→「213」に変更した。通過ラインL5を位置Aから位置Bに向かって跨ぐ人物数の累計は「127」→「144」に変更し、通過ラインL5を位置Bから位置Aに向かって跨ぐ人物数の累計は「247」→「230」に変更した。通過ラインL6を位置Aから位置Bに向かって跨ぐ人物数の累計は「228」→「220」に変更し、通過ラインL6を位置Bから位置Aに向かって跨ぐ人物数の累計は「172」→「180」に変更した。通過ラインL12を位置Aから位置Bに向かって跨ぐ人物数の累計は「268」→「256」に変更し、通過ラインL12を位置Bから位置Aに向かって跨ぐ人物数の累計は「268」→「280」に変更した。
 また、例えば現時点(2015年4月3日)から1日経過した時点(2015年4月4日)までのカメラ装置100Tからのカメラ送信データが取得されている場合に、+1日ボタンJMP5が押下されると、表示画像生成部350Tは、押下された時点において表示された人数カウントマップ画像CM2を、その人数カウントマップ画像CM2よりも1日後に生成された人数カウントマップ画像CM2pに切り替えて、その人数カウントマップ画像CM2pを含む運用画面WD6pをモニタ450に表示させる(図21参照)。
 具体的には、人数カウントマップ画像CM2から人数カウントマップ画像CM2pに切り替えられた場合、2015年4月2日の0時0分~2015年4月4日の23時59分までの間において、通過ラインL3を位置Aから位置Bに向かって跨ぐ人物数の累計は「203」→「190」に変更し、通過ラインL3を位置Bから位置Aに向かって跨ぐ人物数の累計は「112」→「125」に変更した。同様に、通過ラインL4を位置Aから位置Bに向かって跨ぐ人物数の累計は「127」→「150」に変更し、通過ラインL4を位置Bから位置Aに向かって跨ぐ人物数の累計は「206」→「183」に変更した。通過ラインL5を位置Aから位置Bに向かって跨ぐ人物数の累計は「127」→「100」に変更し、通過ラインL5を位置Bから位置Aに向かって跨ぐ人物数の累計は「247」→「274」に変更した。通過ラインL6を位置Aから位置Bに向かって跨ぐ人物数の累計は「228」→「200」に変更し、通過ラインL6を位置Bから位置Aに向かって跨ぐ人物数の累計は「172」→「200」に変更した。通過ラインL12を位置Aから位置Bに向かって跨ぐ人物数の累計は「268」→「200」に変更し、通過ラインL12を位置Bから位置Aに向かって跨ぐ人物数の累計は「268」→「336」に変更した。
 以上により、本実施形態の第3変形例のサーバ装置300Tは、人数カウントマップ画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護しながら撮像画像の中から移動体を排除した状態で、移動体の撮像領域における通過ラインの正確な通過者数を示す人数カウントマップ画像をユーザに対して視覚的かつ定量的に表示できる。さらに、サーバ装置300Tは、ユーザの簡易な操作(ジャンプボタンJMPのうちいずれかのボタンの押下)によって、異なる期間において導出された人数カウント結果を用いて生成された人数カウントマップ画像に切り替えて表示でき、ユーザの利便性(例えば通過ラインの位置を跨いだ通過方向毎の人物数の推移の確認の便利さ)を向上できる。
 また、本実施形態の第3変形例のサーバ装置300Tは、図19に示す運用画面WD6の通過ライン選別欄SLT1において、例えば通過ラインL1の位置Aから位置Bに向かう方向又は通過ラインL1の位置Bから位置Aに向かう方向のいずれか一方だけを選択して選択された通過方向に対応する人数カウントマップ画像を表示することも可能である。これにより、ユーザは、自ら注目している通過方向(例えば店舗の出入り口方向)に向かっている人物数を定量的に把握することができる。
 また、本実施形態の第3変形例のサーバ装置300Tは、図19に示す運用画面WD6の通過ライン選別欄SLT1において、例えば通過ラインL1の位置Aから位置Bに向かう方向と通過ラインL1の位置Bから位置Aに向かう方向との両方を選択して選択された通過方向に対応する人数カウントマップ画像を表示することも可能である。これにより、ユーザは、自ら注目している通過方向(例えば店舗の出入り口方向とその反対方向の両方)に向かっている人物数を定量的に把握でき、通過方向別の通過人数の統計的な差分を把握することができる。
 なお、本出願は、2015年4月17日出願の日本特許出願(特願2015-085454)に基づくものであり、その内容は本出願の中に参照として援用される。
 本発明は、撮像領域に映る人物のプライバシーを適切に保護し、所定のタイミングで更新された背景画像に人物の滞留情報又は通過情報を重畳した正確な動線分析画像を生成し、簡易な操作で動線分析画像の推移を確認できる動線分析システム及び動線分析方法として有用である。
10 撮像部
20 画像入力部
30 背景画像生成部
31 入力画像学習部
32 移動体分離部
33 背景画像抽出部
40 動線情報分析部
41 対象検出部
42 動線情報取得部
43 通過/滞留状況分析部
45 通過ライン設定部
50 スケジュール管理部
60 送信部
70、70T イベント情報受領部
80 背景画像蓄積部
90 通過/滞留分析情報蓄積部
100、100A、100N、100T、100S カメラ装置
200 レコーダ
300、300T、600 サーバ装置
310 イベント情報受領部
320 通知部
330 受信部
340、340T 受信情報蓄積部
350、350T 表示画像生成部
360 レポート生成出力部
400 入力デバイス
450 モニタ
500A、500B、500C 動線分析システム
700 スマートフォン
800 クラウドコンピュータ
900 設定端末装置
1000 販売管理システム
CT 人数カウント部
SD シーン識別部 

Claims (16)

  1.  カメラ装置とサーバ装置とが接続された動線分析システムであって、
     前記カメラ装置は、
     撮像した撮像画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     生成された前記撮像画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置は、
     前記撮像画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、
     生成された前記動線分析画像を表示部に表示させ、
     さらに、前記サーバ装置は、任意に指定された第1の所定期間における撮像画像及び動線情報に基づいて生成された第1の前記動線分析画像を表示させている状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる、
     動線分析システム。
  2.  カメラ装置とサーバ装置とが接続された動線分析システムであって、
     前記カメラ装置は、
     撮像した撮像画像の背景画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     生成された前記背景画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置は、
     前記背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、
     生成された前記動線分析画像を表示部に表示させ、
     さらに、前記サーバ装置は、第1の所定期間における背景画像及び動線情報に基づいて生成された第1の前記動線分析画像に対し、期間変更操作に応じて、第2の所定期間における背景画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる、
     動線分析システム。
  3.  請求項1に記載の動線分析システムであって、
     前記カメラ装置は、前記撮像画像を繰り返し生成する、
     動線分析システム。
  4.  請求項2に記載の動線分析システムであって、
     前記カメラ装置は、前記背景画像を繰り返し生成する、
     動線分析システム。
  5.  カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、
     前記カメラ装置において、
     撮像した撮像画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     生成された前記撮像画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置において、
     前記撮像画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、
     生成された前記動線分析画像を表示部に表示させ、
     さらに、前記サーバ装置において、
     任意に指定された第1の所定期間における撮像画像及び動線情報に基づいて生成された第1の前記動線分析画像を表示させている状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる、
     動線分析方法。
  6.  カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、
     前記カメラ装置において、
     撮像した撮像画像の背景画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     生成された前記背景画像と、抽出された前記移動体の動線情報とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置において、
     前記背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成し、
     生成された前記動線分析画像を表示部に表示させ、
     さらに、前記サーバ装置において、
     第1の所定期間における背景画像及び動線情報に基づいて生成された第1の前記動線分析画像に対し、期間変更操作に応じて、第2の所定期間における背景画像及び動線情報に基づいて生成された第2の前記動線分析画像を表示させる、
     動線分析方法。
  7.  請求項5に記載の動線分析方法であって、
     前記カメラ装置は、前記撮像画像を繰り返し生成する、
     動線分析方法。
  8.  請求項6に記載の動線分析方法であって、
     前記カメラ装置は、前記背景画像を繰り返し生成する、
     動線分析方法。
  9.  カメラ装置とサーバ装置とが接続された動線分析システムであって、
     前記カメラ装置は、
     撮像された撮像画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、
     生成された前記撮像画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置は、
     前記撮像画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、
     生成された前記カウント数画像を表示部に表示し、
     さらに、前記サーバ装置は、任意に指定された第1の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像を表示している状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、
     動線分析システム。
  10.  カメラ装置とサーバ装置とが接続された動線分析システムであって、
     前記カメラ装置は、
     撮像された撮像画像の背景画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、
     生成された前記背景画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置は、
     前記背景画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、
     生成された前記カウント数画像を表示部に表示し、
     さらに、前記サーバ装置は、第1の所定期間における背景画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像に対し、期間変更操作に応じて、第2の所定期間における背景画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、
     動線分析システム。
  11.  請求項9に記載の動線分析システムであって、
     前記カメラ装置は、前記撮像画像を繰り返し生成する、
     動線分析システム。
  12.  請求項10に記載の動線分析システムであって、
     前記カメラ装置は、前記背景画像を繰り返し生成する、
     動線分析システム。
  13.  請求項9又は10に記載の動線分析システムであって、
     前記カメラ装置は、前記少なくとも1つのラインを一方向に通過した移動体の累計を、前記カウント数として導出する、
     動線分析システム。
  14.  請求項9又は10に記載の動線分析システムであって、
     前記カメラ装置は、前記少なくとも1つのラインを一方向に通過した移動体の累計と前記少なくとも1つのラインを前記一方向の反対方向に通過した移動体の累計とを、前記カウント数として導出する、
     動線分析システム。
  15.  カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、
     前記カメラ装置において、
     撮像された撮像画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、
     生成された前記撮像画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置において、
     前記撮像画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、
     生成された前記カウント数画像を表示部に表示し、
     さらに、前記サーバ装置において、
     任意に指定された第1の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像を表示している状態で、ユーザの操作により前記第1の所定期間を所定量移動させる指示がなされた場合、前記第1の所定期間を長さは変えないで前記所定量移動させて第2の所定期間とし、前記第2の所定期間における撮像画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、
     動線分析方法。
  16.  カメラ装置とサーバ装置とが接続された動線分析システムにおける動線分析方法であって、
     前記カメラ装置において、
     撮像された撮像画像の背景画像を生成し、
     移動体の滞留位置又は通過位置に関する動線情報を抽出し、
     抽出された前記動線情報を基に、前記撮像画像に対して前記サーバ装置又は入力デバイスにより指定された少なくとも1つのラインを前記移動体が通過したカウント数を導出し、
     生成された前記背景画像と、抽出された前記移動体の動線情報と、導出された前記少なくとも1つのラインに対応するカウント数とを、所定の送信周期毎に前記サーバ装置に送信し、
     前記サーバ装置において、
     前記背景画像に、前記少なくとも1つのラインに対応するカウント数を重畳したカウント数画像を生成し、
     生成された前記カウント数画像を表示部に表示し、
     さらに、前記サーバ装置において、
     第1の所定期間における背景画像。動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第1のカウント数画像に対し、期間変更操作に応じて、第2の所定期間における背景画像、動線情報及び少なくとも1つのラインに対応するカウント数に基づいて生成された第2のカウント数画像を表示する、
     動線分析方法。
PCT/JP2016/002063 2015-04-17 2016-04-15 動線分析システム及び動線分析方法 WO2016166990A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-085454 2015-04-17
JP2015085454A JP5915960B1 (ja) 2015-04-17 2015-04-17 動線分析システム及び動線分析方法

Publications (1)

Publication Number Publication Date
WO2016166990A1 true WO2016166990A1 (ja) 2016-10-20

Family

ID=55951930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002063 WO2016166990A1 (ja) 2015-04-17 2016-04-15 動線分析システム及び動線分析方法

Country Status (3)

Country Link
US (2) US10602080B2 (ja)
JP (1) JP5915960B1 (ja)
WO (1) WO2016166990A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
JP2017174343A (ja) * 2016-03-25 2017-09-28 富士ゼロックス株式会社 入店者属性抽出装置及び入店者属性抽出プログラム
US10740934B2 (en) * 2016-03-31 2020-08-11 Nec Corporation Flow line display system, flow line display method, and program recording medium
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
US10163237B2 (en) * 2016-08-05 2018-12-25 Casio Computer Co., Ltd. Information display system and non-transitory computer-readable recording medium
JP6565822B2 (ja) * 2016-08-05 2019-08-28 カシオ計算機株式会社 情報表示システムおよびプログラム
JP6615800B2 (ja) * 2017-01-11 2019-12-04 株式会社東芝 情報処理装置、情報処理方法およびプログラム
WO2018132923A1 (en) * 2017-01-20 2018-07-26 Robert Johnsen System and method for assessing customer service times
JP6910208B2 (ja) * 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7187154B2 (ja) * 2018-02-05 2022-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6593949B1 (ja) * 2019-07-31 2019-10-23 アースアイズ株式会社 情報処理装置、及び、マーケティング活動支援装置
JP7443002B2 (ja) * 2019-09-13 2024-03-05 キヤノン株式会社 画像解析装置、画像解析方法、及びプログラム
JP2022011927A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
CN112162682A (zh) * 2020-09-18 2021-01-01 北京字节跳动网络技术有限公司 内容显示方法、装置、电子设备及计算机可读存储介质
US11810343B2 (en) * 2021-05-11 2023-11-07 Asio Advanced Control Solutions Ltd Artificial intuition based visual data extraction for distributed systems
GB2614241A (en) * 2021-12-21 2023-07-05 Milestone Systems As A method of displaying video surveillance data in a video management system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242987A (ja) * 1995-03-08 1996-09-24 Sanyo Electric Co Ltd 店内レイアウト評価装置
JP2003205159A (ja) * 2002-01-10 2003-07-22 Daito Hanbai Kk 遊技場管理システム
JP2003256843A (ja) * 2002-02-26 2003-09-12 Oki Electric Ind Co Ltd 計測システム
JP2005148863A (ja) * 2003-11-11 2005-06-09 Konica Minolta Holdings Inc 人数計数システム
WO2010044186A1 (ja) * 2008-10-17 2010-04-22 パナソニック株式会社 動線作成システム、動線作成装置及び3次元動線表示装置
JP2011254289A (ja) * 2010-06-02 2011-12-15 Toa Corp 移動体軌跡表示装置および移動体軌跡表示プログラム
JP5838371B1 (ja) * 2014-06-30 2016-01-06 パナソニックIpマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179704A (en) * 1977-12-27 1979-12-18 Cbs Inc. Television system for displaying and recording paths of motion
US4233631A (en) * 1978-10-04 1980-11-11 Cbs Inc. Television system for displaying and recording paths of motion
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
JPH1164505A (ja) 1997-08-26 1999-03-05 Tec Corp 動線調査装置
JP3851430B2 (ja) * 1997-11-04 2006-11-29 株式会社エクォス・リサーチ 交通情報表示装置
US6992702B1 (en) 1999-09-07 2006-01-31 Fuji Xerox Co., Ltd System for controlling video and motion picture cameras
US7246045B1 (en) * 2000-08-04 2007-07-17 Wireless Valley Communication, Inc. System and method for efficiently visualizing and comparing communication network system performance
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
KR100421740B1 (ko) * 2000-11-14 2004-03-10 삼성전자주식회사 객체 활동 모델링 방법
US20030053659A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
AU2003280516A1 (en) 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
US7590261B1 (en) * 2003-07-31 2009-09-15 Videomining Corporation Method and system for event detection by analysis of linear feature occlusion
US8558892B2 (en) 2004-01-20 2013-10-15 Honeywell International Inc. Object blocking zones to reduce false alarms in video surveillance systems
US7447331B2 (en) * 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
US7263472B2 (en) * 2004-06-28 2007-08-28 Mitsubishi Electric Research Laboratories, Inc. Hidden markov model based object tracking and similarity metrics
JP4140567B2 (ja) * 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
WO2006012645A2 (en) 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
GB2418312A (en) * 2004-09-18 2006-03-22 Hewlett Packard Development Co Wide area tracking system
GB0502369D0 (en) * 2005-02-04 2005-03-16 British Telecomm Classifying an object in a video frame
AU2006338248B2 (en) 2005-03-25 2011-01-20 Sensormatic Electronics, LLC Intelligent camera selection and object tracking
JP2006309280A (ja) 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触icタグを利用した店舗内顧客購買行動分析システム
US7720257B2 (en) 2005-06-16 2010-05-18 Honeywell International Inc. Object tracking system
WO2007022011A2 (en) 2005-08-12 2007-02-22 Core Memory Circuits Llc System and process for capturing processing, compressing, and displaying image information
JP2007272488A (ja) * 2006-03-31 2007-10-18 Yokogawa Electric Corp 画像処理装置、監視カメラ及び画像監視システム
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
US20100013935A1 (en) * 2006-06-14 2010-01-21 Honeywell International Inc. Multiple target tracking system incorporating merge, split and reacquisition hypotheses
US7974869B1 (en) * 2006-09-20 2011-07-05 Videomining Corporation Method and system for automatically measuring and forecasting the behavioral characterization of customers to help customize programming contents in a media network
JP5134226B2 (ja) 2006-09-21 2013-01-30 日立情報通信エンジニアリング株式会社 移動物測定システム
US20080130949A1 (en) * 2006-11-30 2008-06-05 Ivanov Yuri A Surveillance System and Method for Tracking and Identifying Objects in Environments
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US8189926B2 (en) * 2006-12-30 2012-05-29 Videomining Corporation Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
US7787656B2 (en) * 2007-03-01 2010-08-31 Huper Laboratories Co., Ltd. Method for counting people passing through a gate
US8965042B2 (en) 2007-03-20 2015-02-24 International Business Machines Corporation System and method for the measurement of retail display effectiveness
US7957565B1 (en) * 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
US8195598B2 (en) * 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
US8310542B2 (en) 2007-11-28 2012-11-13 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
US8098891B2 (en) * 2007-11-29 2012-01-17 Nec Laboratories America, Inc. Efficient multi-hypothesis multi-human 3D tracking in crowded scenes
US8098888B1 (en) * 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
JP2009265830A (ja) 2008-04-23 2009-11-12 Toshiba Corp 店舗内行動分析装置、店舗内行動分析方法
JP4585580B2 (ja) 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
US8614744B2 (en) * 2008-07-21 2013-12-24 International Business Machines Corporation Area monitoring using prototypical tracks
JP2010206475A (ja) 2009-03-03 2010-09-16 Fujitsu Ltd 監視支援装置、その方法、及びプログラム
JP2010231629A (ja) 2009-03-27 2010-10-14 Toshiba Tec Corp 店舗管理装置
US20110002548A1 (en) 2009-07-02 2011-01-06 Honeywell International Inc. Systems and methods of video navigation
US8280153B2 (en) 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US20110072037A1 (en) * 2009-09-18 2011-03-24 Carey Leigh Lotzer Intelligent media capture, organization, search and workflow
US9430923B2 (en) * 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
US20110205355A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Data Mining Method and System For Estimating Relative 3D Velocity and Acceleration Projection Functions Based on 2D Motions
US8438175B2 (en) * 2010-03-17 2013-05-07 Lighthaus Logic Inc. Systems, methods and articles for video analysis reporting
WO2011114610A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
JP2011248836A (ja) 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
AU2010257454B2 (en) * 2010-12-24 2014-03-06 Canon Kabushiki Kaisha Summary view of video objects sharing common attributes
DE102011011930A1 (de) 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren und System zur Bestimmung einer Anzahl von Übergangsobjekten
JP5715863B2 (ja) 2011-03-25 2015-05-13 セコム株式会社 画像処理装置
US8736704B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
KR101222482B1 (ko) 2011-06-23 2013-01-15 브이씨에이 테크놀러지 엘티디 설정 인터페이스를 구비한 피플 카운터 및 그 설정 방법
US9922256B2 (en) * 2011-06-30 2018-03-20 Yale University Subject sensing in an environment
US9269243B2 (en) 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
EP2780871B1 (en) * 2011-11-15 2015-09-16 Swiss Timing Ltd. Tracklet-based multi-commodity network flow for tracking multiple people
US9282296B2 (en) 2011-12-07 2016-03-08 Siemens Aktiengesellschaft Configuration tool for video analytics
US8989775B2 (en) * 2012-02-29 2015-03-24 RetailNext, Inc. Method and system for WiFi-based identification of person tracks
EP2709064B1 (en) * 2012-07-18 2019-06-26 AGT International GmbH Image processing to derive movement characteristics for a plurality of queue objects
KR101480348B1 (ko) 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
US9955124B2 (en) * 2013-06-21 2018-04-24 Hitachi, Ltd. Sensor placement determination device and sensor placement determination method
US9436692B1 (en) * 2013-06-25 2016-09-06 Emc Corporation Large scale video analytics architecture
JP6159179B2 (ja) * 2013-07-09 2017-07-05 キヤノン株式会社 画像処理装置、画像処理方法
JP5683663B1 (ja) 2013-09-27 2015-03-11 パナソニックIpマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
KR102092316B1 (ko) 2013-10-14 2020-03-23 한화테크윈 주식회사 모니터링 방법
JP5613815B1 (ja) * 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP5597762B1 (ja) 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP5834196B2 (ja) 2014-02-05 2015-12-16 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5707561B1 (ja) 2014-02-05 2015-04-30 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5834193B2 (ja) 2014-02-05 2015-12-16 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US9693023B2 (en) 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method
JP5597781B1 (ja) 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
US9456311B2 (en) * 2014-04-07 2016-09-27 At&T Intellectual Property I, L.P. Determining indoor location of devices using reference points and sensors
JP6344953B2 (ja) * 2014-04-07 2018-06-20 パナソニック株式会社 軌跡解析装置および軌跡解析方法
US9361520B2 (en) * 2014-04-10 2016-06-07 Disney Enterprises, Inc. Method and system for tracking objects
JP2016015579A (ja) 2014-07-01 2016-01-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9659598B2 (en) * 2014-07-21 2017-05-23 Avigilon Corporation Timeline synchronization control method for multiple display views
JP5866564B1 (ja) 2014-08-27 2016-02-17 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5907362B1 (ja) * 2014-10-08 2016-04-26 パナソニックIpマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
WO2016104395A1 (ja) * 2014-12-24 2016-06-30 株式会社日立国際電気 群集監視システム
CN107431742B (zh) 2015-03-20 2020-06-16 索尼半导体解决方案公司 图像处理装置、图像处理系统和图像处理方法
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP2016224919A (ja) * 2015-06-01 2016-12-28 キヤノン株式会社 データ閲覧装置、データ閲覧方法、及びプログラム
JP5909711B1 (ja) 2015-06-15 2016-04-27 パナソニックIpマネジメント株式会社 動線分析システム及び動線表示方法
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
EP3246849A1 (en) * 2016-05-18 2017-11-22 L-1 Identity Solutions AG Method for analyzing video data
US10121515B2 (en) * 2016-06-06 2018-11-06 Avigilon Corporation Method, system and computer program product for interactively identifying same individuals or objects present in video recordings

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242987A (ja) * 1995-03-08 1996-09-24 Sanyo Electric Co Ltd 店内レイアウト評価装置
JP2003205159A (ja) * 2002-01-10 2003-07-22 Daito Hanbai Kk 遊技場管理システム
JP2003256843A (ja) * 2002-02-26 2003-09-12 Oki Electric Ind Co Ltd 計測システム
JP2005148863A (ja) * 2003-11-11 2005-06-09 Konica Minolta Holdings Inc 人数計数システム
WO2010044186A1 (ja) * 2008-10-17 2010-04-22 パナソニック株式会社 動線作成システム、動線作成装置及び3次元動線表示装置
JP2011254289A (ja) * 2010-06-02 2011-12-15 Toa Corp 移動体軌跡表示装置および移動体軌跡表示プログラム
JP5838371B1 (ja) * 2014-06-30 2016-01-06 パナソニックIpマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法

Also Published As

Publication number Publication date
US10602080B2 (en) 2020-03-24
JP5915960B1 (ja) 2016-05-11
US10567677B2 (en) 2020-02-18
JP2016206810A (ja) 2016-12-08
US20160307049A1 (en) 2016-10-20
US20160309096A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
WO2016166990A1 (ja) 動線分析システム及び動線分析方法
JP5838371B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6558579B2 (ja) 動線分析システム及び動線分析方法
JP6803749B2 (ja) 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム
US10497130B2 (en) Moving information analyzing system and moving information analyzing method
US20170193309A1 (en) Moving information analyzing system and moving information analyzing method
JP5909711B1 (ja) 動線分析システム及び動線表示方法
JP6226308B1 (ja) 動線分析システム及び動線分析方法
JP6485707B2 (ja) 動線分析システム及び動線分析方法
JP6688611B2 (ja) 動線分析システム及び動線分析方法
JP6226309B1 (ja) 動線分析システム及び動線分析方法
JP6421936B2 (ja) 動線分析システム及び動線分析方法
JP6421937B2 (ja) 動線分析システム及び動線分析方法
JP5909710B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6439934B2 (ja) 動線分析システム、カメラ装置、動線分析方法及びプログラム
JP5909708B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP5909712B1 (ja) 動線分析システム、カメラ装置及び動線分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16779782

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16779782

Country of ref document: EP

Kind code of ref document: A1