WO2016002173A1 - 動線分析システム、カメラ装置及び動線分析方法 - Google Patents

動線分析システム、カメラ装置及び動線分析方法 Download PDF

Info

Publication number
WO2016002173A1
WO2016002173A1 PCT/JP2015/003209 JP2015003209W WO2016002173A1 WO 2016002173 A1 WO2016002173 A1 WO 2016002173A1 JP 2015003209 W JP2015003209 W JP 2015003209W WO 2016002173 A1 WO2016002173 A1 WO 2016002173A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow line
unit
image
information
line analysis
Prior art date
Application number
PCT/JP2015/003209
Other languages
English (en)
French (fr)
Inventor
麻理恵 桑原
純子 野田
伸一 塚原
光慶 山本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP15814021.0A priority Critical patent/EP3163872B1/en
Publication of WO2016002173A1 publication Critical patent/WO2016002173A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Definitions

  • the present invention relates to a flow line analysis system, a camera apparatus, and a flow line analysis method for generating a flow line analysis image in which a person's staying information or passage information is superimposed on an image obtained by imaging by a camera device.
  • Patent Document 1 is known as a prior art for displaying an activity level of a person for each hour at a shooting site where a camera device is installed as a heat map image.
  • an activity level is calculated by analyzing a flow line of a person at a shooting site where a security camera connected via a network is installed, and a sensor detection result is superimposed on a floor plan of the shooting site. It is disclosed to generate a heat map image and display the heat map image on a browser screen corresponding to the security camera. Thereby, by browsing the heat map image displayed on the screen of the browser, it becomes possible to grasp the activity level of the person at the shooting site.
  • Patent Document 1 Unlike the floor layout shown in Patent Document 1, there is also a network camera system technology that generates and displays a heat map image in which a person's flow line density and the number of people detection result are superimposed on an image captured by a camera device.
  • a network camera system technology that generates and displays a heat map image in which a person's flow line density and the number of people detection result are superimposed on an image captured by a camera device.
  • MOBOTIX Q24 manufactured by MOBOTIX AG.
  • the camera device captures a predetermined imaging region (for example, a predetermined position in the store), and further, the layout relating to the arrangement of product shelves and the like in the store is changed.
  • a predetermined imaging region for example, a predetermined position in the store
  • Patent Document 1 For this reason, every time the layout in the store is changed, in Patent Document 1, it is necessary to change the floor layout of the layout, and in the network camera system, an image that is the basis of the heat map image is obtained by imaging of the camera device. Since this is an image, a person is reflected in this image, and there arises a problem that the privacy of the person is not properly protected.
  • the present invention is a flow line analysis system in which a camera device and a server device are connected to each other.
  • the camera device includes: an imaging unit that captures a predetermined imaging region; a background image generation unit that generates a background image of a captured image in the imaging region; and a staying position in the imaging region of a moving object included in the captured image
  • a flow line information analysis unit for extracting flow line information regarding the passing position, the background image generated by the background image generation unit for each predetermined transmission period, and the moving body extracted by the flow line information analysis unit
  • a transmission unit that transmits the flow line information to the server device.
  • the server device displays an image generation unit that generates a flow line analysis image in which the flow line information of the moving body is superimposed on a background image of the captured image, and the flow line analysis image generated by the image generation unit
  • a display control unit to be displayed on the unit.
  • the present invention it is possible to appropriately protect the privacy of a person appearing in an imaging region and generate an accurate flow line analysis image in which person's staying information or passage information is superimposed on a background image updated at a predetermined timing. it can.
  • FIG. 1 is a system configuration diagram showing in detail the system configuration of a sales management system including the flow line analysis system of the present embodiment.
  • FIG. 2 is a block diagram showing in detail the functional internal configuration of each of the camera device and the server device of the present embodiment.
  • FIG. 3 is an explanatory diagram of an outline of the operation of the background image generation unit of the camera device of this embodiment.
  • FIG. 4A is a diagram illustrating an example of a captured image input to the image input unit.
  • FIG. 4B is a diagram illustrating an example of the background image generated by the background image generation unit.
  • FIG. 5 is a time chart for explaining the operation timing of each process of image input, background image generation, and flow line information analysis of the camera device of this embodiment.
  • FIG. 1 is a system configuration diagram showing in detail the system configuration of a sales management system including the flow line analysis system of the present embodiment.
  • FIG. 2 is a block diagram showing in detail the functional internal configuration of each of the camera device and the server device of the present embodiment.
  • FIG. 6 is a time chart when the camera apparatus of the present embodiment periodically performs transmission processing.
  • FIG. 7 is a time chart when the camera apparatus of the present embodiment changes the operation timing of the transmission process in response to the detection of an event.
  • FIG. 8 is a time chart in the case where the transmission processing is omitted before and after the event detection by the camera device of the present embodiment.
  • FIG. 9 is a diagram showing an example of a layout of a food department where a plurality of camera devices of this embodiment are installed.
  • FIG. 10 is a diagram illustrating an example of an operation screen including a flow line analysis image of the store A generated by the display image generation unit of the server device of the present embodiment.
  • FIG. 11 is a diagram illustrating another example of the operation screen including the flow line analysis image of the store A generated by the display image generation unit of the server device of the present embodiment.
  • FIG. 12 is a diagram showing an example of an operation screen for a monthly report in the food department of the store A in May 2014 generated by the report generation / output unit of the server device of the present embodiment.
  • FIG. 13 is a block diagram illustrating in detail a functional internal configuration of a camera device according to a modification of the present embodiment.
  • the present invention may be defined as a flow line analysis image generation method including an operation (step) in which the camera device generates a flow line analysis image (see later).
  • the flow line analysis system 500A, 500B, 500C,... is provided for each of a plurality of stores (store A, store B, store C,.
  • a description will be given on the assumption that the sales management system 1000 is installed and connected to a plurality of flow line analysis systems 500A, 500B, 500C,... Via a network NW.
  • the embodiments of the flow line analysis system, the camera device, and the flow line analysis method according to the present invention are not limited to the contents of the present embodiment described later.
  • FIG. 1 is a system configuration diagram showing in detail the system configuration of the sales management system 1000 including the flow line analysis systems 500A, 500B, 500C,... According to the present embodiment.
  • a sales management system 1000 shown in FIG. 1 includes flow line analysis systems 500A, 500B, 500C,... Installed in a plurality of stores A, B, C,.
  • the configuration includes a cloud computer 800 and a setting terminal device 900.
  • the server device 600 of the operation headquarters, the smartphone 700, the cloud computer 800, and the setting terminal device 900 are connected to each other via a network NW.
  • the network NW is a wireless network or a wired network.
  • the wireless network is, for example, a wireless LAN (Local Area Network), a wireless WAN (Wide Area Network), 3G, LTE (Long Term Evolution), or WiGig (Wireless Gigabit).
  • the wired network is, for example, an intranet or the Internet.
  • a flow line analysis system 500A installed in the store A shown in FIG. 1 includes a plurality of camera devices 100, 100A,..., 100N installed on the floor 1, a recorder 200, a server device 300, an input device 400, And a monitor 450.
  • a plurality of camera devices are also installed on the floor 2 in the same manner as the floor 1, and illustration of the camera devices in the floor 2 is omitted.
  • Each of the camera devices 100, 100A,... 100N has the same internal configuration, and details thereof will be described later with reference to FIG.
  • the recorder 200 is configured using, for example, a semiconductor memory or a hard disk device, and an image obtained by imaging of each camera device installed in the store A (hereinafter, an image obtained by imaging of the camera device is referred to as a “captured image”). Data).
  • the captured image data stored in the recorder 200 is used for monitoring work such as crime prevention.
  • the server apparatus 300 is configured by using, for example, a PC (Personal Computer), and is a user who operates the input device 400 (for example, a user of a flow line analysis system and indicates a store clerk or a store manager of the store A. The same applies hereinafter).
  • the camera apparatus 100 is notified that a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store A) has occurred.
  • the server device 300 uses data (see below) transmitted from the camera device (for example, the camera device 100) to move a moving body (for example, a store clerk, a store manager, a customer in the imaging area of the camera device (for example, the camera device 100)).
  • a flow line analysis image is generated by superimposing the flow line information on the staying position or passing position of a person (such as the person, etc.) on the captured image of the camera device (for example, the camera device 100), and displayed on the monitor 450.
  • the server apparatus 300 performs a predetermined process (for example, a flow line analysis report generation process described later) in accordance with an input operation of a user who operates the input device 400, and causes the monitor 450 to display the flow line analysis report. Details of the internal configuration of the server apparatus 300 will be described later with reference to FIG.
  • the input device 400 is configured using, for example, a mouse, a keyboard, a touch panel, or a touch pad, and outputs a signal corresponding to a user input operation to the camera device 100 or the server device 300.
  • an arrow is shown only between the input device 400 and the camera apparatus 100, but the input device 400 and other camera apparatuses (for example, the camera apparatuses 100 ⁇ / b> A and 100 ⁇ / b> N). An arrow may be shown between the two.
  • the monitor 450 is configured using, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence), and displays data of a flow line analysis image or a flow line analysis report generated by the server device 300.
  • the monitor 450 is provided as an external device different from the server device 300, but may be configured to be included in the server device 300.
  • the server device 600 of the operation headquarters is a flow line analysis installed in each store A, B, C,... According to an input operation of an employee (for example, an officer) of the operation headquarters who operates the server device 600 of the operation headquarters. It is a browsing apparatus for acquiring and displaying a flow line analysis image or a flow line analysis report generated in the systems 500A, 500B, 500C,.
  • the server device 600 of the operation headquarters has various information necessary for generating a flow line analysis report (see FIG. 12) (for example, sales information, store visitor information, event schedule information, maximum temperature information, minimum temperature information). ). In addition, these various information may be hold
  • the server apparatus 600 of the administration headquarters may execute each process in a server apparatus (for example, the server apparatus 300 in the case of the store A) installed in each store A, B, C,.
  • the server device 600 of the operation headquarters can aggregate the data of the stores A, B, C,...
  • a flow line analysis report for example, see FIG. 12 described later.
  • Detailed data of one store selected by an input operation on 600 for example, a flow line analysis report shown in FIG. 12
  • a specific sales floor for example, a meat sales floor
  • the smartphone 700 is a flow line analysis system 500A, 500B, 500C installed in each store A, B, C,... According to an input operation of an employee (for example, a sales representative) of the operation headquarters who operates the smartphone 700. ,... Is a browsing apparatus for acquiring and displaying a flow line analysis image or a flow line analysis report generated in.
  • the cloud computer 800 stores online flow analysis images or data of flow analysis reports generated in the flow analysis systems 500A, 500B, 500C,... Installed in the stores A, B, C,.
  • a predetermined process for example, search and extraction of a flow line analysis report on X, Y, Y
  • the processing result Is transmitted to the smartphone 700 is performed.
  • the setting terminal device 900 is configured by using a PC, for example, and is dedicated for displaying a setting screen of the camera device of the flow line analysis systems 500A, 500B, 500C,... Installed in each store A, B, C,. Browser software can be executed.
  • the setting terminal device 900 is a camera device setting screen (for example, CGI (Common Gateway Interface)) in response to an input operation by an employee of the operation headquarters operating the setting terminal device 900 (for example, a system administrator of the sales management system 1000). Is displayed in the browser software, and the setting information of the camera device is edited (corrected, added, deleted) and set.
  • CGI Common Gateway Interface
  • FIG. 2 is a block diagram illustrating in detail the functional internal configurations of the camera device 100 and the server device 300 of the present embodiment.
  • the camera devices installed in the stores A, B, C,... Have the same configuration, and therefore the camera device 100 will be described as an example in FIG.
  • the camera device 100 shown in FIG. 2 includes an imaging unit 10, an image input unit 20, a background image generation unit 30, a flow line information analysis unit 40, a schedule management unit 50, a transmission unit 60, and an event information reception unit. 70, a background image storage unit 80, and a passage / staying analysis information storage unit 90.
  • the background image generation unit 30 includes an input image learning unit 31, a moving body separation unit 32, and a background image extraction unit 33.
  • the flow line information analysis unit 40 includes a target detection unit 41, a flow line information acquisition unit 42, and a passage / staying state analysis unit 43.
  • the imaging unit 10 has at least a lens and an image sensor.
  • the lens collects light (light rays) incident from the outside of the camera device 100 and forms an image on a predetermined imaging surface of the image sensor.
  • a fish-eye lens or a wide-angle lens capable of obtaining an angle of view of, for example, 140 degrees or more is used.
  • the image sensor is, for example, a CCD (Charged-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) solid-state imaging device, and converts an optical image formed on the imaging surface into an electrical signal.
  • the image input unit 20 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor), and performs predetermined signal processing using an electrical signal from the imaging unit 10.
  • the image data (frame) defined by RGB (Red Green Blue) or YUV (luminance / color difference) that can be recognized by humans is generated and output to the background image generation unit 30 and the flow line information analysis unit 40 To do.
  • the background image generation unit 30 is configured by using, for example, a CPU, MPU, or DSP, and each captured image data (frame) output from the image input unit 20 at a predetermined frame rate (for example, 30 fps (frame per second)).
  • a background image excluding a moving body (for example, a person) included in the captured image is generated and stored in the background image storage unit 80.
  • the background image generation processing in the background image generation unit 30 can use, for example, an image processing method disclosed in JP 2012-203680 A, but is not limited to this image processing method.
  • FIG. 3 is an explanatory diagram of an outline of the operation of the background image generation unit 30 of the camera device 100 of the present embodiment.
  • FIG. 4A is a diagram illustrating an example of a captured image input to the image input unit 20.
  • FIG. 4B is a diagram illustrating an example of a background image generated by the background image generation unit 30.
  • FIG. 3 the generation results of the input image learning unit 31, the moving body separation unit 32, and the background image extraction unit 33 are schematically shown from the left side to the right side of the page orthogonal to the time axis from the upper side to the lower side of the page. It is shown that a store visitor carries one cardboard out of four cardboards containing beverages.
  • the input image learning unit 31 displays the distribution state of the pixel luminance and color difference values for each pixel in a plurality of captured image frames output from the image input unit 20 (for example, the respective frames FM1 to FM5 shown in FIG. 3). analyse.
  • the moving body separation unit 32 uses the learning result of the input image learning unit 31 (that is, the analysis result of the luminance and color difference distribution state for each same pixel between a plurality of frames (for example, in the time axis direction shown in FIG. 3)).
  • the information is separated into information on a moving object (for example, a person) (see, for example, frames FM1a to FM5a) and information other than the moving object (for example, in the background) (for example, see frames FM1b to FM5b).
  • the moving body separating unit 32 regards the cardboard carried by the person as the moving body.
  • the background image extraction unit 33 uses the frames FM1b to FM5b in which information other than the moving body is reflected among the information separated by the moving body separation unit 32, and the background images of the frames FM1 to FM5 of the captured image output from the image input unit 20.
  • the frames FM1c to FM5c are extracted and stored in the background image storage unit 80.
  • a person who provides food in a cafeteria and a person who receives food on a tray are shown as moving bodies.
  • the background image frame FM10c generated by the background image generation unit 30 in contrast to the captured image frame FM10a shown in FIG. 4A, a person serving food in the same canteen as a moving object. People who receive food are excluded so that they do not appear.
  • the flow line information analysis unit 40 is configured using, for example, a CPU, MPU, or DSP, and takes a captured image for each data (frame) of the captured image output from the image input unit 20 at a predetermined frame rate (for example, 10 fps).
  • a predetermined frame rate for example, 10 fps.
  • the flow line information relating to the staying position or passing position of the moving body (for example, a person) included in the moving object is detected and stored in the passing / staying analysis information accumulating unit 90.
  • the target detection unit 41 performs predetermined image processing (for example, person detection processing, face detection processing) on the frame of the captured image output from the image input unit 20, thereby moving the moving body ( For example, the presence or absence of a person is detected.
  • the target detection unit 41 detects a moving body included in the frame of the captured image
  • the target detection unit 41 outputs information (for example, coordinate information of the frame) regarding the detection area of the moving body to the frame of the captured image to the flow line information acquisition unit 42.
  • the object detection part 41 outputs the information (for example, predetermined null information) regarding the detection area
  • the flow line information acquisition unit 42 is based on the information on the detection area of the moving object output from the target detection unit 41, and the information on the captured image output from the image input unit 20 and the information on the detection area of the past moving object. (For example, captured image information and coordinate information) are used to link information on the current and past detection areas, and pass / stay status as flow line information (for example, the amount of change in the coordinate information of the detection area of the moving object).
  • the data is output to the analysis unit 43.
  • the passage / staying state analyzing unit 43 is based on the flow line information output from the flow line information acquiring unit 42 for a plurality of captured images, and the staying position or the passing position of the moving body (for example, a person) in the frame of the captured image.
  • the flow line information (for example, “target position information”, “flow line information”, and “information about passage status or staying status”) is extracted and generated.
  • the passage / staying state analysis unit 43 uses a flow line analysis generated in the display image generation unit 350 of the server device 300 using the extraction result of the flow line information regarding the staying position or passing position of the moving body (for example, a person).
  • a visualized image of the color portion of the image may be generated.
  • the passing / staying state analyzing unit 43 uses the flow line information for the frames of the plurality of captured images, so that the moving body (for example, a person) stays in the captured image frame output from the image input unit 20. Alternatively, it is possible to extract and generate accurate flow line information regarding the passing position.
  • the schedule management unit 50 is configured using, for example, a CPU, MPU, or DSP, and the background image data stored in the background image storage unit 80 and the staying information of the moving object stored in the passage / staying analysis information storage unit 90 or
  • the transmission unit 60 is instructed for a predetermined transmission cycle for periodically transmitting the data of the extraction result of the flow line information regarding the passage information to the server device 300.
  • the predetermined transmission period is, for example, 15 minutes, 1 hour, 12 hours, 24 hours, etc., but is not limited to these time intervals.
  • the transmission unit 60 transmits the background image data stored in the background image storage unit 80 and the moving object stored in the passage / staying analysis information storage unit 90.
  • the data of the result of extracting the flow line information regarding the stay information or the passage information is acquired and transmitted to the server apparatus 300.
  • the transmission timing in the transmission part 60 is later mentioned with reference to FIG.5, FIG.6, FIG.7 and FIG.
  • the event information receiving unit 70 as an example of the event information acquiring unit receives (acquires) notification of detection of a predetermined event (for example, change in the layout of the sales floor on the floor 1 of the store A) from the server device 300 or the input device 400.
  • a predetermined event for example, change in the layout of the sales floor on the floor 1 of the store A
  • the background image data stored in the background image storage unit 80 and the movement information related to the staying information or passing information of the moving object stored in the passing / staying analysis information storage unit 90 are stored.
  • the transmission instruction to the server apparatus 300 of the line information extraction result data is output to the transmission unit 60.
  • the background image storage unit 80 is configured by using, for example, a semiconductor memory or a hard disk device, and stores background image data (frames) generated by the background image generation unit 30.
  • the passage / staying analysis information accumulating unit 90 is configured by using, for example, a semiconductor memory or a hard disk device, and extracts flow line information regarding the staying position or passing position of a moving body (for example, a person) generated by the flow line information analyzing unit 40. Data of the results (for example, “target position information”, “flow line information”, and “information regarding passage state or staying state”) are stored.
  • the camera device 100 shown in FIG. 2 may include a scene identification unit SD instead of the event information receiving unit 70, and so on (see, for example, FIG. 13).
  • the scene identification unit SD as an example of the image change detection unit detects whether there is a change in the captured image output from the image input unit 20 (for example, an event that the layout of the sales floor on the floor 1 of the store A has changed).
  • the scene identification unit SD detects a change in the captured image
  • the background image data stored in the background image storage unit 80 and the staying information or passage of the moving object stored in the passage / staying analysis information storage unit 90 are detected.
  • the transmission instruction to the server apparatus 300 of the data of the extraction result of the flow line information regarding the information is output to the transmission unit 60.
  • the camera device 100 shown in FIG. 2 may further include a person counting unit CT, and the same applies to the following (for example, see FIG. 13).
  • the person counting unit CT as an example of the moving body detection unit performs predetermined image processing (for example, person detection processing) on the captured image output from the image input unit 20, so that the moving body included in the captured image is detected. Count the number of detections.
  • the person count unit CT outputs information related to the number of detected moving bodies included in the captured image to the transmission unit 60.
  • (Server device) 2 includes an event information receiving unit 310, a notification unit 320, a reception unit 330, a reception information storage unit 340, a display image generation unit 350, and a report generation output unit 360. is there.
  • the event information receiving unit 310 receives, from the input device 400, information indicating that a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store A) has occurred for each corresponding camera device (for example, the camera device 100). If so, a notification of detection of a predetermined event is received.
  • the event information receiving unit 310 outputs to the notification unit 320 that a notification of detection of a predetermined event has been received.
  • the information indicating that a predetermined event has occurred includes the identification number (for example, C1, C2,... Described later) of the camera device that captures an image of the location where the predetermined event has occurred.
  • the notification unit 320 transmits a notification of detection of a predetermined event output from the event information reception unit 310 to a corresponding camera device (for example, the camera device 100).
  • the receiving unit 330 receives the data transmitted from the transmission unit 60 of the camera device 100 (that is, the background image data stored in the background image storage unit 80 and the retention of the moving object stored in the pass / stay analysis information storage unit 90). Information or data on the result of extraction of flow line information related to passage information) is received and output to the reception information storage unit 340 and the display image generation unit 350.
  • the reception information storage unit 340 is configured using, for example, a semiconductor memory or a hard disk device, and receives data received by the reception unit 330 (that is, background image data stored in the background image storage unit 80 and a pass / stay analysis information storage unit). 90, the data of the extraction result of the flow line information related to the staying information or the passing information of the moving object stored in 90 is stored.
  • the display image generation unit 350 as an example of the image generation unit is configured by using, for example, a CPU, MPU, or DSP, and is acquired from the reception unit 330 or the reception information storage unit 340 (that is, stored in the background image storage unit 80). Using the background image data and the moving object staying information stored in the passage / staying analysis information accumulating unit 90 or the data of the flow line information on the passing information). A flow line analysis image in which flow line information related to the position is superimposed is generated.
  • the flow line information that visually indicates where the vehicle has passed is an image that is quantitatively visualized within a predetermined range (for example, a value of 0 to 255) like a heat map.
  • the display image generation unit 350 as an example of the display control unit causes the monitor 450 to display the generated flow line analysis image.
  • the report generation output unit 360 as an example of the report generation unit is configured by using, for example, a CPU, MPU, or DSP, and when a flow line analysis report generation instruction is input from the input device 400, a flow line analysis described later. A report (see, for example, FIG. 12) is generated.
  • the report generation / output unit 360 as an example of the display control unit displays the generated flow line analysis report on the monitor 450.
  • FIG. 5 is a time chart for explaining the operation timing of the transmission processing of the camera device 100 of the present embodiment.
  • FIG. 6 is a time chart when the camera apparatus 100 of the present embodiment periodically performs transmission processing.
  • FIG. 7 is a time chart when the camera apparatus 100 according to the present embodiment changes the operation timing of the transmission process according to the detection of the event.
  • FIG. 8 is a time chart when the camera apparatus 100 of the present embodiment omits the transmission process before and after detecting an event.
  • the background image generation unit 30 when a captured image is output from the image input unit 20 (image input), the background image generation unit 30 generates a background image of the captured image output from the image input unit 20 to generate a background.
  • the image data is stored in the image storage unit 80 (background image generation), and the flow line information analysis unit 40 stores flow line information regarding the staying position or passing position of the moving body (for example, a person) included in the captured image output from the image input unit 20. Extract (flow line information analysis). These processes of image input, background image generation, and flow line information analysis are periodically repeated.
  • the transmission unit 60 performs the transmission cycle instructed from the schedule management unit 50, for example, as illustrated in FIG. 7.
  • the expiration time for example, a timer interrupt is received from the schedule management unit 50, and the background image data and the pass / stay analysis information stored in the background image storage unit 80 from the previous transmission time t0 to the current transmission time t1.
  • Data on the extraction result of the flow line information related to the staying information or passage information of the moving object stored in the storage unit 90 is acquired and transmitted to the server device 300 (time t1).
  • the regular transmission interval (transmission cycle) in the transmission unit 60 is 15 minutes, 1 hour, 12 hours, 24 hours, etc., and is instructed from the schedule management unit 50 in advance.
  • the background image data transmitted by the transmission unit 60 may be data for one sheet or data for a plurality of sheets (for example, a plurality of background images obtained every 5 minutes).
  • the transmission unit 60 is instructed by the schedule management unit 50, for example, as shown in FIG. 7, for each of the second and subsequent image input, background image generation, and flow line information analysis processes shown in FIG.
  • a timer interrupt is received from the schedule management unit 50, and the background image data and passage stored in the background image storage unit 80 from the previous transmission time t1 to the current transmission time t2 are passed.
  • Acquisition data of the movement information related to the staying information or passage information of the moving object stored in the staying analysis information storage unit 90 is acquired and transmitted to the server apparatus 300 (time t2).
  • the transmission unit 60 when the transmission unit 60 receives a notification of detection of a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store A) from the event information reception unit 70 (time t3), For example, when an event interrupt is received from the event information receiving unit 70, the background image data stored in the background image storage unit 80 and the passing / staying analysis information storage unit 90 from the previous transmission time t2 to the current transmission time t3 The data of the movement result extraction related to the staying information or passage information of the stored moving object is acquired and transmitted to the server device 300 (time t3).
  • a notification of detection of a predetermined event for example, a change in the layout of the sales floor on the floor 1 of the store A
  • the transmission unit 60 receives a notification of detection of a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store A) from the event information reception unit 70 (time t3), for example, the event information reception
  • a predetermined event for example, a change in the layout of the sales floor on the floor 1 of the store A
  • the event information reception The event interrupt is received from the unit 70 and the background image data stored in the background image storage unit 80 and the pass / stay analysis information storage unit 90 are stored from the previous transmission time t2 to the time t3 when the event interrupt is received.
  • the data of the extraction result of the flow line information related to the staying information or the passage information of the mobile object is acquired and transmitted to the server device 300 (time t3).
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50, for example, from the time t3 when the event interrupt is received to the current transmission time t4.
  • the background image data stored in the background image storage unit 80 and the moving object retention information or the flow line information extraction result data related to the passage information stored in the passage / stay analysis information storage unit 90 are acquired. It transmits to the server apparatus 300 (time t4).
  • the transmission unit 60 saves it in the background image storage unit 80 from the previous transmission time t2 to the time t3 when the event interrupt is received.
  • the transmission of the background image data and the data of the movement line extraction information relating to the staying information or passing information of the moving object stored in the passing / staying analysis information storage unit 90 to the server device 300 is omitted (time t3). ).
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50, for example, from time t3 to time t4 when the event interrupt is received. Transmission of the background image data stored in the image storage unit 80 and the data on the movement result of the moving object staying information or passage information stored in the passage / staying analysis information storage unit 90 to the server apparatus 300 Is omitted (time t4).
  • the transmitting unit 60 when receiving an event interrupt from the event information receiving unit 70 at time t3, the transmitting unit 60 starts the next transmission cycle that received the event interrupt from the previous transmission time t2 (time t4 in FIG. 8).
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50 (time t4), for example, the background image data stored in the background image storage unit 80 and the pass / stay analysis information storage unit 90
  • the transmission of the flow line information extraction result data relating to the staying information or passage information of the moving object stored in the server apparatus 300 to the server apparatus 300 is resumed.
  • the transmission unit 60 receives a timer interrupt from the schedule management unit 50, for example, when the transmission period instructed from the schedule management unit 50 comes to an end after time t ⁇ b> 4.
  • FIG. 9 is a diagram showing an example of a layout of a food department where a plurality of camera devices 100 according to the present embodiment are installed.
  • FIG. 9 shows a state in which a plurality of (for example, eight) camera devices are installed on the ceiling surface or the like of the floor 1 in the food department on the floor 1 (1F) of the store A, for example.
  • a total of eight camera devices including north entrance cameras C1A and C1B, pre-registration cameras C2A and C2B, special sale cameras C3, meat counter camera C4, fish counter camera C5, and vegetable counter camera C6. Device) is set.
  • the type of camera device is not limited to an omnidirectional camera device, but may be a fixed camera device having a fixed angle of view or a PTZ (Pan Tilt Zoom) camera device having a pan direction, a tilt direction, and a zoom function. good.
  • PTZ Pan Tilt Zoom
  • FIG. 10 is a diagram illustrating an example of an operation screen including a flow line analysis image of the store A generated by the display image generation unit 350 of the server apparatus 300 according to the present embodiment.
  • FIG. 11 is a diagram illustrating another example of the operation screen including the flow line analysis image of the store A generated by the display image generation unit 350 of the server apparatus 300 of the present embodiment.
  • the operation screens shown in FIGS. 10 and 11 are displayed on the monitor 450 by the display image generation unit 350.
  • a list of camera device selection screens installed in the store is hierarchically displayed in the left display area L1.
  • the north entrance camera C1A (identification number: C1)
  • the north entrance camera C1B (identification number: C2)
  • the pre-registration camera C2A (identification number: C3)
  • Pre-registration camera C2B (identification number: C4)
  • vegetable section camera C6 (identification number: C5)
  • fish section camera C5 identification number: C6)
  • meat section camera C4 (identification number: C7)
  • special sale camera C3 is shown hierarchically. Since it is the same in the clothing department of floor 2 (2F) and other departments, description is abbreviate
  • the display area R1 on the right side includes a display area MA1 for main (for example, current flow line analysis information) and a display area CE1 for sub (for comparison) flow line analysis information. It is displayed.
  • the flow line analysis information display area MA1 includes a designated time (including date) when the server 300 generates a flow line analysis image to be browsed, and a half day unit, a day unit, a week unit, or a month, for example.
  • a stay map showing the stay information of the moving body (for example, a person) shown in FIG. 10 and a count showing pass information of the moving body (for example, a person) shown in FIG. A map and the captured image itself are included.
  • the display area CT1 of the number of customers for each sales floor the number of detected moving bodies (for example, people) detected by the number of people counting unit CT in time series (for example, every hour in FIGS. 10 and 11) is shown.
  • the input device 400 shifts the selection bar KR displayed in the display area CT1 of the number of visitors for each sales floor in the time axis direction by the user's input operation, the display image generation unit 350 at the time indicated by the selection bar KR.
  • the generated flow line analysis images are displayed in order.
  • the sub flow line analysis information display screen CE1 includes a designated time (year and month) when the server apparatus 300 generates a flow line analysis image to be viewed as a comparison target of the main flow line analysis information display screen MA1. And a statistical period indicating, for example, a half day unit, a day unit, a week unit, or a month unit, and a camera device selection screen for each sales floor selected on the main flow line analysis information display screen MA1.
  • Analysis result display including a specified condition display area CE1a including a video display type of a flow line analysis image, a graph display type, a graph display G (group), and a display area CT2 of the number of visitors for each sales floor A region CE1b is displayed.
  • the comparison before and after the layout change in the store for example, in addition to the comparison before and after the layout change in the store, the comparison before and after applying the discount sticker to the product, the comparison before and after the time sale, Applications such as a comparison between today and the same day one year ago, and between stores (for example, a comparison between a meat store in store A and a store in store B) may be included.
  • the number of mobile bodies (for example, persons) detected by the number of persons counting section CT is shown in time series (for example, every hour in FIGS. 10 and 11).
  • the input device 400 shifts the selection bar KR displayed in the display area CT2 of the number of customers for each sales floor in the time axis direction by the user's input operation, the display image generation unit 350 at the time indicated by the selection bar KR.
  • the generated flow line analysis images are reproduced and displayed in order.
  • the input device 400 designates a specific time zone on the time axis and inputs a comment (for example, time sale, 3F event, TV broadcast, game at the adjacent dome, etc.) by the user's input operation. Can be entered.
  • the video display type is a count map, and other matters are the same as in the description of FIG.
  • the input device 400 shifts the selection bar KR displayed in the display areas CT ⁇ b> 3 and CT ⁇ b> 4 of the number of customers for each sales floor in the time axis direction by a user input operation
  • the display image The generation unit 350 sequentially reproduces and displays the flow line analysis images generated at the time indicated by the selection bar KR.
  • FIG. 12 is a diagram illustrating an example of an operation screen RPT of a monthly report in the food department of the store A in May 2014 generated by the report generation output unit 360 of the server apparatus 300 of the present embodiment.
  • a monthly report (see FIG. 12) as an example of the flow line analysis report of the present embodiment has a report output button OPT provided at the bottom of the display area L1 on the left side of the operation screen shown in FIG. When the button 400 is pressed, the screen is generated by the report generation output unit 360 and displayed on the monitor 450.
  • the report generation / output unit 360 of the server device 300 receives the monthly report shown in FIG. 12 or a part of the report (for example, the monthly report at the meat department in the food department) at the printer installed in the store A.
  • the store clerk at store A receives distribution of the printed report of the monthly report in the whole food department or a part of the meat department, for example, with the content of the flow line analysis image not showing the customers visiting the store being output. Can do.
  • servers in the corresponding store for example, store A
  • server device 300 Various information related to the title of the monthly report, temperature information, sales information, event information, store visitor configuration information, etc. may be stored in advance in the server device 300 or storage unit (not shown) in the store. good.
  • the input device 400 is selected in the display areas CT5 and CT6 of the number of customers for each sales floor, for example, by a user input operation.
  • the display image generation unit 350 sequentially displays the flow line analysis images generated at the time indicated by the selection bar KR.
  • the camera device 100 generates a background image of the captured image in the predetermined imaging area, and the staying position in the imaging area of the moving body (for example, a person) included in the captured image Alternatively, the flow line information related to the passing position is extracted, and the background image of the captured image and the flow line information of the moving body are transmitted to the server device 300 at predetermined transmission cycles.
  • the server device 300 generates a flow line analysis image in which the flow line information of the moving object is superimposed on the background image of the captured image, and causes the monitor 450 to display the flow line analysis image.
  • the flow line analysis system 500A generates the background image that is the basis of the flow line analysis image by excluding the moving object (for example, a person) so that it is captured when the flow line analysis image is generated.
  • the moving object for example, a person
  • the privacy of a moving object (person) reflected in the area can be appropriately protected.
  • the flow line analysis system 500A has a flow line related to a stay position or a passing position in the imaging region of a moving object (person) on a background image that has already been updated at a predetermined timing (for example, when a regular transmission cycle arrives).
  • the moving body Since the information is superimposed, every time a predetermined transmission period is reached, the moving body appropriately excludes the moving body from the captured image, and the movement information appropriately indicating the accurate flow line information regarding the staying position or the passing position in the imaging area of the moving body is displayed.
  • the line analysis image can be visually displayed to the user.
  • the flow line analysis system 500A instructs a predetermined transmission cycle for transmitting the background image and the flow line information of the moving body in the schedule management unit 50 of the camera device.
  • the image and the flow line information of the moving body can be periodically transmitted to the server apparatus 300.
  • the server analyzes the background image and the flow line information of the moving body. Since the data is transmitted to the apparatus 300, the server apparatus 300 generates a flow line analysis image that accurately reflects the flow line information regarding the staying position or passing position of the moving body in the imaging region before and after the specific event is detected. be able to.
  • a predetermined event for example, an event of changing the layout of a sales floor in a store
  • the flow line analysis system 500 ⁇ / b> A transmits the background image and the flow line information of the moving body to the server device 300 when detecting the change in the captured image (for example, the layout change of the sales floor in the store) in the scene identification unit SD.
  • the server apparatus 300 can generate a flow line analysis image that accurately reflects the flow line information regarding the staying position or the passing position of the moving body in the imaging region before and after the change of the captured image is detected.
  • the flow line analysis system 500A counts the number of detected moving bodies included in the captured image in the person counting unit CT and outputs information on the detected number to the transmitting unit 60.
  • a display screen (operation screen) including a flow line analysis image including information on the passing position and the number of detected moving bodies can be displayed on the monitor 450.
  • the flow line analysis system 500A omits transmission of the background image and the flow line information of the moving object in the transmission cycle including the time point when the event information receiving unit 70 receives the notification of detection of the predetermined event.
  • the flow line information related to the staying position or passing position of the moving body in the imaging region before and after detection of a predetermined event is used in a mixed manner. You can avoid that.
  • the flow line analysis system 500A includes a flow line analysis image generated before detection of a predetermined event (for example, a layout change of a sales floor in a store), and a flow line analysis image generated after detection of the predetermined event. Since the report generation / output unit 360 generates a flow line analysis report including the moving line analysis report, the flow line information related to the staying position or the passing position of the moving object in the imaging region has been changed in a comprehensible manner by a predetermined event. be able to.
  • a predetermined event for example, a layout change of a sales floor in a store
  • the flow line analysis system 500A displays the generated flow line analysis report on the monitor 450 by a predetermined input operation (for example, a user's operation of pressing a report output button), so the flow line analysis report is visually displayed to the user. Can be displayed automatically.
  • a predetermined input operation for example, a user's operation of pressing a report output button
  • the flow line analysis system 500A executes generation of a background image of the captured image and extraction of flow line information regarding the staying position or passing position of the moving body included in the captured image in each of the camera devices 100, 100A,. Then, since the flow line analysis image is generated and displayed in the server device 300, the generation of the background image of the captured image and the extraction of the flow line information related to the staying position or the passing position of the moving body included in the captured image are performed. Since the processing load of the server apparatus 300 can be reduced as compared with the case where it is executed by the server apparatus 300, the restriction on the number of camera apparatuses connectable to one server apparatus 300 can be relaxed.
  • FIG. 13 is a block diagram illustrating in detail a functional internal configuration of a camera device 100S according to a modification of the present embodiment. 13 includes an imaging unit 10, an image input unit 20, a background image generation unit 30, a flow line information analysis unit 40, a schedule management unit 50, a transmission unit 60S, and an event information reception unit. 70, a background image storage unit 80, a passage / staying analysis information storage unit 90, and a display image generation unit 350S.
  • the display image generation unit 350S as an example of the image generation unit receives the background image data stored in the background image storage unit 80 and the pass / stay analysis information in response to an instruction from the schedule management unit 50 or the event information reception unit 70.
  • the flow line analysis image in which the flow line information related to the staying position or the passing position of the moving object is superimposed on the background image using the data of the extraction result of the flow line information related to the staying information or the passing information of the moving object stored in the storage unit 90 And output to the transmission unit 60.
  • the transmission unit 60S transmits the data of the flow line analysis image generated by the display image generation unit 350S to the server device 300.
  • the camera device 100S generates the background image of the captured image in the predetermined imaging area, and the staying position or the passing position in the imaging area of the moving body (for example, a person) included in the captured image.
  • the flow line information regarding the moving body is superimposed on the background image of the captured image using the background image of the captured image and the flow line information of the moving body.
  • the camera device 100S generates the background image that is the basis of the flow line analysis image by excluding the moving body (for example, a person), so that when the flow line analysis image is generated, the camera device 100S generates the background image. It is possible to appropriately protect the privacy of the moving object (person) reflected. In addition, since the camera device 100S superimposes flow line information on the staying position or the passing position in the imaging region of the moving object (person) on the captured image obtained in real time, the moving object is excluded from the captured image. In addition, it is possible to generate a flow line analysis image that appropriately indicates the latest flow line information regarding the staying position or the passing position in the imaging region of the moving body.
  • the camera apparatus 100S executes the process up to the generation process of the flow line analysis image and transmits the data of the flow line analysis image as the generation result to the server apparatus 300, for example, in a state where the processing load of the server apparatus 300 is considerably high. Since it is not necessary for the server apparatus 300 to execute the flow line analysis image generation process, an increase in the processing load of the server apparatus 300 can be suppressed.
  • the present invention appropriately protects the privacy of a person appearing in an imaging region, and generates an accurate flow line analysis system in which a person's staying information or passage information is superimposed on a background image updated at a predetermined timing. It is useful as a camera device and a flow line analysis method.

Abstract

　本発明は、カメラ装置とサーバ装置とが相互に接続された動線分析システムである。前記カメラ装置は、所定の撮像領域を撮像する撮像部と、前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、所定の送信周期毎に、前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを前記サーバ装置に送信する送信部と、を備える。前記サーバ装置は、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、前記画像生成部により生成された前記動線分析画像を表示部に表示させる表示制御部と、を備えるものである。

Description

動線分析システム、カメラ装置及び動線分析方法
　本発明は、カメラ装置の撮像により得られた画像に、人物の滞留情報又は通過情報を重畳した動線分析画像を生成する動線分析システム、カメラ装置及び動線分析方法に関する。
　カメラ装置が設置された撮影現場における時間毎の人物の活動量レベルをヒートマップ画像として表示する先行技術として、例えば特許文献１が知られている。
　特許文献１では、ネットワークを介して接続されたセキュリティカメラが設置された撮影現場における人物の動線を分析して活動量レベルを算出し、撮影現場の床配置図にセンサの検出結果を重畳したヒートマップ画像を生成し、セキュリティカメラに対応したブラウザの画面上にヒートマップ画像を表示することが開示されている。これにより、ブラウザの画面上に表示されたヒートマップ画像を閲覧することにより、撮影現場における人物の活動量レベルが把握可能となる。
　また、特許文献１に示す床配置図とは異なり、カメラ装置が撮像した画像上に、人物の動線密度や人数検出結果を重畳したヒートマップ画像を生成して表示するネットワークカメラシステムの技術も提案されている（例えば、ＭＯＢＯＴＩＸ　ＡＧ社製のネットワークカメラシステム“ＭＯＢＯＴＩＸ Ｑ２４”を参照）。
　ここで、特許文献１における床配置図にセンサの検出結果を重畳させる場合、床配置図とセキュリティカメラの撮影現場における画像とが正確にマッチング（一致）していることが必要となるが、特許文献１では床配置図は変更されず不変であるため、ヒートマップ画像の元となる床配置図を作成した時点から、撮影現場の配置が変更ない場合に限り、画像と床配置図とはマッチングする。
　ここで、カメラ装置が所定の撮像領域（例えば店舗内の予め決められた位置）を撮像し、更に、店舗内の商品棚等の配置に関するレイアウトが変更される場合を考える。
　人物のプライバシーを守るために開店前の静止画等の画像に、開店後の人物の滞留情報又は通過情報を重畳したヒートマップ画像を生成する際、店舗内のレイアウトが変更されると、変更前に得られた人物の滞留情報又は通過情報と変更後にカメラ装置の撮像により得られた画像とがマッチングしないため、正確な滞留情報又は通過情報のヒートマップ画像が得られない。
　このため、店舗内のレイアウトが変更される度に、特許文献１ではレイアウトの床配置図を変更する必要があり、前記ネットワークカメラシステムではヒートマップ画像の元となる画像がカメラ装置の撮像により得られた画像であるため、この画像では人物が映ってしまうことになり当該人物のプライバシーが的確に保護されないという課題が生じる。
特開２００９－１３４６８８号公報
　本発明は、カメラ装置とサーバ装置とが相互に接続された動線分析システムである。前記カメラ装置は、所定の撮像領域を撮像する撮像部と、前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、所定の送信周期毎に、前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを前記サーバ装置に送信する送信部と、を備える。前記サーバ装置は、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、前記画像生成部により生成された前記動線分析画像を表示部に表示させる表示制御部と、を備えるものである。
　本発明によれば、撮像領域に映る人物のプライバシーを適切に保護し、所定のタイミングで更新された背景画像に人物の滞留情報又は通過情報を重畳した正確な動線分析画像を生成することができる。
図１は、本実施形態の動線分析システムを含む販売管理システムのシステム構成を詳細に示すシステム構成図である。 図２は、本実施形態のカメラ装置及びサーバ装置のそれぞれの機能的な内部構成を詳細に示すブロック図である。 図３は、本実施形態のカメラ装置の背景画像生成部の動作概要の説明図である。 図４Ａは、画像入力部に入力された撮像画像の一例を示す図である。 図４Ｂは、背景画像生成部により生成された背景画像の一例を示す図である。 図５は、本実施形態のカメラ装置の画像入力、背景画像生成、動線情報分析の各処理の動作タイミングを説明するタイムチャートである。 図６は、本実施形態のカメラ装置が定期的に送信処理を行う場合のタイムチャートである。 図７は、本実施形態のカメラ装置がイベントの検出に応じて送信処理の動作タイミングを変更する場合のタイムチャートである。 図８は、本実施形態のカメラ装置がイベントの検出前後では送信処理を省略する場合のタイムチャートである。 図９は、本実施形態のカメラ装置が複数個設置された食料品売場のレイアウトの一例を示す図である。 図１０は、本実施形態のサーバ装置の表示画像生成部により生成された店舗Ａの動線分析画像を含む運用画面の一例を示す図である。 図１１は、本実施形態のサーバ装置の表示画像生成部により生成された店舗Ａの動線分析画像を含む運用画面の他の一例を示す図である。 図１２は、本実施形態のサーバ装置のレポート生成出力部により生成された２０１４年５月度の店舗Ａの食料品売場における月例報告書の運用画面の一例を示す図である。 図１３は、本実施形態の変形例のカメラ装置の機能的な内部構成を詳細に示すブロック図である。
　以下、本発明に係る動線分析システム、カメラ装置及び動線分析方法の実施形態（以下、「本実施形態」という）について、図面を参照して説明する。なお、本発明は、カメラ装置が動線分析画像（後述参照）を生成する動作（ステップ）を含む動線分析画像生成方法として規定しても良い。
　また、以下の本実施形態では、図１に示すように、例えば本発明に係る動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…が複数の店舗（店舗Ａ，店舗Ｂ，店舗Ｃ，…）毎に設置され、複数の動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…がネットワークＮＷを介して接続された販売管理システム１０００の使用形態を想定して説明する。但し、本発明に係る動線分析システム、カメラ装置及び動線分析方法の実施形態は、後述する本実施形態の内容に限定されない。
　図１は、本実施形態の動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…を含む販売管理システム１０００のシステム構成を詳細に示すシステム構成図である。図１に示す販売管理システム１０００は、複数の店舗Ａ，Ｂ，Ｃ，…に個々に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…と、運営本部のサーバ装置６００と、スマートフォン７００と、クラウドコンピュータ８００と、設定端末装置９００とを含む構成である。
　それぞれの動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…と、運営本部のサーバ装置６００と、スマートフォン７００と、クラウドコンピュータ８００と、設定端末装置９００とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、３Ｇ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）又はＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ　Ｇｉｇａｂｉｔ）である。有線ネットワークは、例えばイントラネット又はインターネットである。
　図１に示す店舗Ａに設置された動線分析システム５００Ａは、フロア１に設置された複数のカメラ装置１００，１００Ａ，…，１００Ｎと、レコーダ２００と、サーバ装置３００と、入力デバイス４００と、モニタ４５０とを含む構成である。なお、フロア２にもフロア１と同様に複数のカメラ装置が設置され、フロア２内のカメラ装置の図示を省略している。それぞれのカメラ装置１００，１００Ａ，…１００Ｎの内部構成は同様であり、その詳細については図２を参照して後述する。
　レコーダ２００は、例えば半導体メモリ又はハードディスク装置を用いて構成され、店舗Ａ内に設置された各カメラ装置の撮像により得られた画像（以下、カメラ装置の撮像により得られた画像を「撮像画像」という）のデータを記憶する。レコーダ２００に記憶された撮像画像のデータは、例えば防犯等の監視業務に供される。
　サーバ装置３００は、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を用いて構成され、入力デバイス４００を操作するユーザ（例えば動線分析システムのユーザであって、店舗Ａの店員や店長を指す。以下同様。）の入力操作に応じて、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）が発生したことをカメラ装置１００に通知する。
　また、サーバ装置３００は、カメラ装置（例えばカメラ装置１００）から送信されたデータ（後述参照）を用いて、カメラ装置（例えばカメラ装置１００）の撮像領域における移動体（例えば店員、店長、来店客等の人物。以下同様。）の滞留位置又は通過位置に関する動線情報をカメラ装置（例えばカメラ装置１００）の撮像画像に重畳した動線分析画像を生成してモニタ４５０に表示させる。
　更に、サーバ装置３００は、入力デバイス４００を操作するユーザの入力操作に応じて、所定の処理（例えば後述する動線分析レポートの生成処理）を行い、動線分析レポートをモニタ４５０に表示させる。サーバ装置３００の内部構成の詳細については図２を参照して後述する。
　入力デバイス４００は、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、ユーザの入力操作に応じた信号をカメラ装置１００又はサーバ装置３００に出力する。なお、図１では、図面を簡単にするために、入力デバイス４００とカメラ装置１００との間にだけ矢印が図示されているが、入力デバイス４００と他のカメラ装置（例えばカメラ装置１００Ａ、１００Ｎ）との間に矢印が図示されても良い。
　モニタ４５０は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成され、サーバ装置３００により生成された動線分析画像又は動線分析レポートのデータを表示する。なお、モニタ４５０は、サーバ装置３００とは異なる外部装置として設けられるが、サーバ装置３００の内部に含まれた構成としても良い。
　運営本部のサーバ装置６００は、運営本部のサーバ装置６００を操作する運営本部の従業員（例えば役員）の入力操作に応じて、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。また、運営本部のサーバ装置６００は、動線分析レポート（図１２参照）を生成するために必要となる各種情報（例えば売上情報、来店者数情報、イベント日程情報、最高気温情報、最低気温情報）を保持する。なお、これらの各種情報は、店舗Ａ，Ｂ，Ｃ，…毎に設けられたサーバ装置において保持されても良い。なお、運営本部のサーバ装置６００は、各店舗Ａ，Ｂ，Ｃ，…内に設置されたサーバ装置（例えば店舗Ａであればサーバ装置３００）における各処理を実行しても良い。これにより、運営本部のサーバ装置６００は、各店舗Ａ，Ｂ，Ｃ，…のデータを集約して動線分析レポート（例えば後述する図１２参照）を生成することができ、運営本部のサーバ装置６００に対する入力操作によって選択された一つの店舗の詳細データ（例えば図１２に示す動線分析レポート等）を取得することができ、又は複数の店舗間における特定の売場（例えば肉売場）のデータ比較結果の表示を行うことが可能になる。
　スマートフォン７００は、スマートフォン７００を操作する運営本部の従業員（例えば営業担当者）の入力操作に応じて、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。
　クラウドコンピュータ８００は、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像又は動線分析レポートのデータを記憶するオンラインストレージであり、スマートフォン７００を操作する運営本部の従業員（例えば営業担当者）の入力操作に応じて、所定の処理（例えばＸ月Ｙ日の動線分析レポートの検索及び抽出）を行い、処理結果をスマートフォン７００に送信する。
　設定端末装置９００は、例えばＰＣを用いて構成され、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…のカメラ装置の設定画面を表示する専用のブラウザソフトウェアを実行可能である。設定端末装置９００は、設定端末装置９００を操作する運営本部の従業員（例えば販売管理システム１０００のシステム管理者）の入力操作に応じて、カメラ装置の設定画面（例えばＣＧＩ（Ｃｏｍｍｏｎ　Ｇａｔｅｗａｙ　Ｉｎｔｅｒｆａｃｅ））をブラウザソフトウェアにおいて表示し、カメラ装置の設定情報を編集（修正、追加、削除）して設定する。
　（カメラ装置）
　図２は、本実施形態のカメラ装置１００及びサーバ装置３００のそれぞれの機能的な内部構成を詳細に示すブロック図である。図１に示す販売管理システム１０００において、店舗Ａ，Ｂ，Ｃ，…に設置されるそれぞれのカメラ装置は同様な構成であるため、図２ではカメラ装置１００を例示して説明する。
　図２に示すカメラ装置１００は、撮像部１０と、画像入力部２０と、背景画像生成部３０と、動線情報分析部４０と、スケジュール管理部５０と、送信部６０と、イベント情報受領部７０と、背景画像蓄積部８０と、通過／滞留分析情報蓄積部９０とを含む構成である。背景画像生成部３０は、入力画像学習部３１と、移動体分離部３２と、背景画像抽出部３３とを含む構成である。動線情報分析部４０は、対象検出部４１と、動線情報取得部４２と、通過／滞留状況分析部４３とを含む構成である。
　撮像部１０は、レンズとイメージセンサとを少なくとも有する。レンズは、カメラ装置１００の外部から入射する光（光線）を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、魚眼レンズ、又は例えば１４０度以上の画角が得られる広角レンズが用いられる。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
　画像入力部２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いて構成され、撮像部１０からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）又はＹＵＶ（輝度・色差）等により規定される撮像画像のデータ（フレーム）を生成して背景画像生成部３０及び動線情報分析部４０に出力する。
　背景画像生成部３０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、所定のフレームレート（例えば３０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ））で、画像入力部２０から出力された撮像画像のデータ（フレーム）毎に、撮像画像に含まれる移動体（例えば人物）を排除した背景画像を生成して背景画像蓄積部８０に保存する。背景画像生成部３０における背景画像の生成処理は、例えば特開２０１２－２０３６８０号公報に開示されている画像処理方法を用いることができるが、この画像処理方法に限定されない。
　ここで、背景画像生成部３０の動作概要について、図３及び図４Ａ、図４Ｂを参照して簡単に説明する。図３は、本実施形態のカメラ装置１００の背景画像生成部３０の動作概要の説明図である。図４Ａは、画像入力部２０に入力された撮像画像の一例を示す図である。図４Ｂは、背景画像生成部３０により生成された背景画像の一例を示す図である。
　図３では、紙面の上側から下側に向かう時間軸に直交する紙面の左側から右側に向かって、入力画像学習部３１、移動体分離部３２、背景画像抽出部３３の生成結果が模式的に示され、店舗の来店客が飲料の入った４つの段ボールのうち１つの段ボールを持ち運ぶ様子が示されている。
　入力画像学習部３１は、画像入力部２０から出力された複数の撮像画像のフレーム（例えば図３に示す各フレームＦＭ１～ＦＭ５）において、画素毎に、画素の輝度及び色差の値の分布状況を分析する。
　移動体分離部３２は、入力画像学習部３１の学習結果（即ち、複数のフレーム間（例えば図３に示す時間軸方向）の同一画素毎の輝度及び色差の分布状況の分析結果）を用いて、撮像画像の各フレームＦＭ１～ＦＭ５において、移動体（例えば人物）の情報（例えばフレームＦＭ１ａ～ＦＭ５ａ参照）と移動体以外（例えば背景）の情報（例えばフレームＦＭ１ｂ～ＦＭ５ｂ参照）とに分離する。なお、移動体である人物が段ボールを持ち運ぶ様子を示す撮像画像のフレームＦＭ３，ＦＭ４では、人物が持ち運ぶ段ボールの画素に対応する輝度及び色差の値は時間軸方向（例えば図３参照）に沿って変化するので、移動体分離部３２は、人物が持ち運ぶ段ボールを移動体とみなす。
　背景画像抽出部３３は、移動体分離部３２が分離した情報のうち、移動体以外の情報が映るフレームＦＭ１ｂ～ＦＭ５ｂを、画像入力部２０から出力された撮像画像のフレームＦＭ１～ＦＭ５の背景画像のフレームＦＭ１ｃ～ＦＭ５ｃとして抽出して背景画像蓄積部８０に保存する。
　図４Ａに示す撮像画像のフレームＦＭ１０ａでは、例えば食堂の中で料理を提供している人、料理をトレーで受け取る人がそれぞれ移動体として示されている。図４Ａに示す撮像画像のフレームＦＭ１０ａに対して、背景画像生成部３０が生成した背景画像のフレームＦＭ１０ｃ（図４Ｂ参照）では、移動体としての同じ食堂の中で料理を提供している人も料理を受け取る人も映らないように排除されている。
　動線情報分析部４０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、所定のフレームレート（例えば１０ｆｐｓ）で、画像入力部２０から出力された撮像画像のデータ（フレーム）毎に、撮像画像に含まれる移動体（例えば人物）の滞留位置又は通過位置に関する動線情報を検出して通過／滞留分析情報蓄積部９０に保存する。
　対象検出部４１は、画像入力部２０から出力された撮像画像のフレームに対して所定の画像処理（例えば人物検出処理、顔検出処理）を行うことで、撮像画像のフレームに含まれる移動体（例えば人物）の有無を検出する。対象検出部４１は、撮像画像のフレームに含まれる移動体を検出した場合には、撮像画像のフレームに対する移動体の検出領域に関する情報（例えばフレームの座標情報）を動線情報取得部４２に出力する。なお、対象検出部４１は、撮像画像のフレームに含まれる移動体を検出しなかった場合には、移動体の検出領域に関する情報（例えば所定のヌル情報）を動線情報取得部４２に出力する。
　動線情報取得部４２は、対象検出部４１から出力された移動体の検出領域に関する情報を基に、画像入力部２０から出力された撮像画像の情報と、過去の移動体の検出領域に関する情報（例えば、撮像画像情報や座標情報）を用いて、現在と過去の検出領域に関する情報の紐付けを行い、動線情報（例えば移動体の検出領域の座標情報の変化量）として通過／滞留状況分析部４３に出力する。
　通過／滞留状況分析部４３は、複数の撮像画像に対して動線情報取得部４２から出力された動線情報を基に、撮像画像のフレームにおける移動体（例えば人物）の滞留位置又は通過位置に関する動線情報（例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」）を抽出して生成する。また、通過／滞留状況分析部４３は、移動体（例えば人物）の滞留位置又は通過位置に関する動線情報の抽出結果を用いて、サーバ装置３００の表示画像生成部３５０において生成される動線分析画像（ヒートマップ画像）のカラー部分の可視化画像を生成しても良い。
　通過／滞留状況分析部４３は、複数の撮像画像のフレームに対する動線情報を用いることで、画像入力部２０から出力された撮像画像のフレームの中で、移動体（例えば人物）が滞留した位置又は通過した位置に関する正確な動線情報を抽出して生成することができる。
　スケジュール管理部５０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとをサーバ装置３００に定期的に送信するための所定の送信周期を送信部６０に指示する。所定の送信周期は、例えば１５分、１時間、１２時間、２４時間等であるが、これらの時間間隔に限定されない。
　送信部６０は、スケジュール管理部５０又はイベント情報受領部７０からの指示に応じて、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置３００に送信する。送信部６０における送信タイミングについては、図５、図６、図７及び図８を参照して後述する。
　イベント情報取得部の一例としてのイベント情報受領部７０は、サーバ装置３００又は入力デバイス４００から所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）の検出の通知を受領（取得）し、所定のイベントの検出の通知を受領したことで、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置３００への送信指示を送信部６０に出力する。
　背景画像蓄積部８０は、例えば半導体メモリ又はハードディスク装置を用いて構成され、背景画像生成部３０により生成された背景画像のデータ（フレーム）を記憶する。
　通過／滞留分析情報蓄積部９０は、例えば半導体メモリ又はハードディスク装置を用いて構成され、動線情報分析部４０により生成された移動体（例えば人物）の滞留位置又は通過位置に関する動線情報の抽出結果（例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」）のデータを記憶する。
　なお、図２に示すカメラ装置１００は、イベント情報受領部７０の代わりに、シーン識別部ＳＤを設けても良く、以下同様である（例えば図１３参照）。画像変化検出部の一例としてのシーン識別部ＳＤは、画像入力部２０から出力された撮像画像の変化（例えば店舗Ａのフロア１の売場のレイアウトが変更したというイベント）の有無を検出する。シーン識別部ＳＤは、撮像画像の変化を検出した場合には、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置３００への送信指示を送信部６０に出力する。
　また、図２に示すカメラ装置１００は、人数カウント部ＣＴを更に設けても良く、以下同様である（例えば図１３参照）。移動体検出部の一例としての人数カウント部ＣＴは、画像入力部２０から出力された撮像画像に対して所定の画像処理（例えば人物検出処理）を行うことで、撮像画像に含まれる移動体の検出数をカウントする。人数カウント部ＣＴは、撮像画像に含まれる移動体の検出数に関する情報を送信部６０に出力する。
　（サーバ装置）
　図２に示すサーバ装置３００は、イベント情報受領部３１０と、通知部３２０と、受信部３３０と、受信情報蓄積部３４０と、表示画像生成部３５０と、レポート生成出力部３６０とを含む構成である。
　イベント情報受領部３１０は、該当するカメラ装置（例えばカメラ装置１００）毎に、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）が発生したことを示す情報が入力デバイス４００から入力された場合には、所定のイベントの検出の通知を受領する。イベント情報受領部３１０は、所定のイベントの検出の通知を受領したことを通知部３２０に出力する。なお、所定のイベントが発生したことを示す情報には、所定のイベントが発生した場所を撮像領域として撮像するカメラ装置の識別番号（例えば後述するＣ１，Ｃ２，…）が含まれる。
　通知部３２０は、イベント情報受領部３１０から出力された所定のイベントの検出の通知を該当するカメラ装置（例えばカメラ装置１００）に送信する。
　受信部３３０は、カメラ装置１００の送信部６０から送信されたデータ（即ち、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ）を受信して受信情報蓄積部３４０及び表示画像生成部３５０に出力する。
　受信情報蓄積部３４０は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部３３０が受信したデータ（即ち、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ）を記憶する。
　画像生成部の一例としての表示画像生成部３５０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、受信部３３０又は受信情報蓄積部３４０から取得したデータ（即ち、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ）を用いて、背景画像に移動体の滞留位置又は通過位置に関する動線情報を重畳した動線分析画像を生成する。
　動線分析画像は、カメラ装置１００が撮像した撮像画像の中で移動体（例えば人物）が映らないように排除された背景画像に、撮像画像に対応する撮像領域において移動体がどこによく滞留したか、又はどこを通過したかを視覚的に示す動線情報がヒートマップのように所定のレンジ（例えば０～２５５の値）の範囲内に定量的に可視化された画像である。また、表示制御部の一例としての表示画像生成部３５０は、生成した動線分析画像をモニタ４５０に表示させる。
　レポート生成部の一例としてのレポート生成出力部３６０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、動線分析レポートの生成指示が入力デバイス４００から入力された場合には、後述する動線分析レポート（例えば図１２参照）を生成する。また、表示制御部の一例としてのレポート生成出力部３６０は、生成した動線分析レポートをモニタ４５０に表示させる。
　（カメラ装置からサーバ装置へのデータ送信処理）
　次に、カメラ装置１００からサーバ装置３００へのデータの送信処理について、図５、図６、図７及び図８を参照して説明する。図５は、本実施形態のカメラ装置１００の送信処理の動作タイミングを説明するタイムチャートである。図６は、本実施形態のカメラ装置１００が定期的に送信処理を行う場合のタイムチャートである。図７は、本実施形態のカメラ装置１００がイベントの検出に応じて送信処理の動作タイミングを変更する場合のタイムチャートである。図８は、本実施形態のカメラ装置１００がイベントの検出前後では送信処理を省略する場合のタイムチャートである。
　図５において、カメラ装置１００では、画像入力部２０から撮像画像が出力されると（画像入力）、背景画像生成部３０は画像入力部２０から出力された撮像画像の背景画像を生成して背景画像蓄積部８０に保存し（背景画像生成）、動線情報分析部４０は画像入力部２０から出力された撮像画像に含まれる移動体（例えば人物）の滞留位置又は通過位置に関する動線情報を抽出する（動線情報分析）。これらの画像入力、背景画像生成、動線情報分析の各処理は定期的に繰り返して実行される。
　例えば図５に示す第１回目の画像入力、背景画像生成、動線情報分析の各処理の後、送信部６０は、例えば図７に示すように、スケジュール管理部５０から指示された送信周期の満了時点になると、例えばスケジュール管理部５０からタイマー割込を受けて、前回の送信時刻ｔ０から今回の送信時刻ｔ１までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置３００に送信する（時刻ｔ１）。なお、上述したように送信部６０における定期的な送信間隔（送信周期）は、１５分、１時間、１２時間、２４時間等であり予めスケジュール管理部５０から指示されている。また、送信部６０により送信される背景画像のデータは１枚分のデータでも良いし、複数枚（例えば５分毎に得られた複数の背景画像）分のデータでも良い。
　次に、図５に示す第２回目以降の画像入力、背景画像生成、動線情報分析の各処理の度に、送信部６０は、例えば図７に示すように、スケジュール管理部５０から指示された送信周期の満了時点になると、例えばスケジュール管理部５０からタイマー割込を受けて、前回の送信時刻ｔ１から今回の送信時刻ｔ２までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置３００に送信する（時刻ｔ２）。
　また、送信部６０は、例えば図７に示すように、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）の検出の通知をイベント情報受領部７０から受けると（時刻ｔ３）、例えばイベント情報受領部７０からイベント割込を受けて、前回の送信時刻ｔ２から今回の送信時刻ｔ３までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置３００に送信する（時刻ｔ３）。なお、送信部６０における送信処理については、図７に示す方法以外に、図６又は図８のうちいずれかの方法に従っても良い。
　図６、図７及び図８では、図５の送信処理と同一の内容についての説明は簡略化又は省略し、異なる内容について説明する。具体的には、図６では、送信部６０は、時刻ｔ３においてイベント情報受領部７０からイベント割込を受けても、前回の送信時刻ｔ２から今回の送信時刻ｔ３までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置３００への送信を省略する（時刻ｔ３）。
　しかし、図６の送信処理では、時刻ｔ２から時刻ｔ３までに所定のイベントが発生した場合、撮像画像の内容が更新されているので、イベントの検出前後で異なる背景画像が混在して使用されることになり、動線分析画像の内容が正確ではない可能性がある。
　そこで、図７では、送信部６０は、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）の検出の通知をイベント情報受領部７０から受けると（時刻ｔ３）、例えばイベント情報受領部７０からイベント割込を受けて、前回の送信時刻ｔ２からイベント割込を受けた時刻ｔ３までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置３００に送信する（時刻ｔ３）。更に、送信部６０は、スケジュール管理部５０から指示された送信周期の満了時点になると、例えばスケジュール管理部５０からタイマー割込を受けて、イベント割込を受けた時刻ｔ３から今回の送信時刻ｔ４までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置３００に送信する（時刻ｔ４）。
　また図８では、送信部６０は、時刻ｔ３においてイベント情報受領部７０からイベント割込を受けても、前回の送信時刻ｔ２からイベント割込を受けた時刻ｔ３までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置３００への送信を省略する（時刻ｔ３）。更に、送信部６０は、スケジュール管理部５０から指示された送信周期の満了時点になると、例えばスケジュール管理部５０からタイマー割込を受けて、イベント割込を受けた時刻ｔ３から時刻ｔ４までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置３００への送信を省略する（時刻ｔ４）。
　言い換えると、送信部６０は、時刻ｔ３においてイベント情報受領部７０からイベント割込を受けた場合、前回の送信時刻ｔ２からイベント割込を受けた次の送信周期の開始時点（図８では時刻ｔ４）までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置３００への送信を省略する（時刻ｔ２～時刻ｔ４）。
　更に、図８では、送信部６０は、例えばスケジュール管理部５０からタイマー割込を受けると（時刻ｔ４）、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置３００への送信を再開する。具体的には、送信部６０は、図８では図示されていないが、時刻ｔ４以降にスケジュール管理部５０から指示された送信周期の満了時点になると、例えばスケジュール管理部５０からタイマー割込を受け、時刻ｔ４から今回の送信時刻までに背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータを取得してサーバ装置３００に送信する。
　図９は、本実施形態のカメラ装置１００が複数個設置された食料品売場のレイアウトの一例を示す図である。図９では、例えば店舗Ａのフロア１（１Ｆ）の食料品売場において、複数（例えば８個）のカメラ装置がフロア１の天井面等に設置されている様子が示されている。具体的には、北入口カメラＣ１Ａ，Ｃ１Ｂ、レジ前カメラＣ２Ａ，Ｃ２Ｂ、特売品カメラＣ３、肉売場カメラＣ４、魚売場カメラＣ５、野菜売場カメラＣ６の計８個のカメラ装置（例えば全方位カメラ装置）が設定されている。なお、カメラ装置の種類は、全方位カメラ装置に限定されず、固定の画角が設定された固定カメラ装置、又は、パン方向やチルト方向並びにズーム機能を有するＰＴＺ（Ｐａｎ　Ｔｉｌｔ　Ｚｏｏｍ）カメラ装置でも良い。
　図１０は、本実施形態のサーバ装置３００の表示画像生成部３５０により生成された店舗Ａの動線分析画像を含む運用画面の一例を示す図である。図１１は、本実施形態のサーバ装置３００の表示画像生成部３５０により生成された店舗Ａの動線分析画像を含む運用画面の他の一例を示す図である。図１０及び図１１に示す運用画面は、表示画像生成部３５０によってモニタ４５０に表示される。
　図１０に示す運用画面では、左側の表示領域Ｌ１には、店舗内に設置されたカメラ装置の選択画面の一覧が階層的に表示されている。例えば、フロア１（１Ｆ）の食料品売場（識別番号：Ｇ１）では、北入口カメラＣ１Ａ（識別番号：Ｃ１）、北入口カメラＣ１Ｂ（識別番号：Ｃ２）、レジ前カメラＣ２Ａ（識別番号：Ｃ３），レジ前カメラＣ２Ｂ（識別番号：Ｃ４）、野菜売場カメラＣ６（識別番号：Ｃ５）、魚売場カメラＣ５（識別番号：Ｃ６）、肉売場カメラＣ４（識別番号：Ｃ７）、特売品カメラＣ３（識別番号：Ｃ８）が階層的に示されている。フロア２（２Ｆ）の衣料品売場その他の売場において同様であるため、説明を省略する。
　また、図１０に示す運用画面では、右側の表示領域Ｒ１には、メイン（例えば現在）の動線分析情報の表示領域ＭＡ１とサブ（例えば比較用）の動線分析情報の表示領域ＣＥ１とが表示されている。
　動線分析情報の表示領域ＭＡ１には、サーバ装置３００が閲覧対象の動線分析画像を生成した指定時刻（年月日を含む）と、例えば半日単位、１日単位、１週間単位又は１箇月単位を示す統計期間と、表示領域Ｌ１において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域ＭＡ１ａと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示Ｇ（グループ）と、売場毎の来店者数の表示領域ＣＴ１とを含む動線分析結果表示領域ＭＡ１ｂとが表示される。
　動線分析画像の映像表示種別には、図１０に示す移動体（例えば人物）の滞留情報が示された滞留マップと、図１１に示す移動体（例えば人物）の通過情報が示されたカウントマップと、撮像画像そのものとが含まれる。売場毎の来店者数の表示領域ＣＴ１には、時系列（例えば図１０及び図１１では１時間毎）に人数カウント部ＣＴにより検出された移動体（例えば人物）の検出数が示される。例えばユーザの入力操作により、入力デバイス４００が売場毎の来店者数の表示領域ＣＴ１に表示された選択バーＫＲを時間軸方向にシフトすると、表示画像生成部３５０は、選択バーＫＲが示す時刻に生成した動線分析画像を順に表示する。
　なお、図１１に示すように、動線分析情報の表示領域ＭＡ１の売場毎のカメラ装置の選択画面の代わりに、図９に示す複数個のカメラ装置が売場毎に設置されたレイアウトＭＰ１の一例が表示されても良い。
　また同様に、サブの動線分析情報の表示画面ＣＥ１には、メインの動線分析情報の表示画面ＭＡ１の比較対象としてサーバ装置３００が閲覧対象の動線分析画像を生成した指定時刻（年月日を含む）と、例えば半日単位、１日単位、１週間単位又は１箇月単位を示す統計期間と、メインの動線分析情報の表示画面ＭＡ１において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域ＣＥ１ａと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示Ｇ（グループ）と、売場毎の来店者数の表示領域ＣＴ２とを含む動線分析結果表示領域ＣＥ１ｂとが表示される。なお、サブの動線分析情報の表示画面ＣＥ１を用いる場合には、例えば店舗内のレイアウトの変更の前後の比較以外に、割引シールを商品に貼付した前後の比較、タイムセールの前後の比較、今日と一年前の同日との比較、店舗間（例えば店舗Ａの肉売場と店舗Ｂの肉売場との比較）等の用途が含まれても良い。
　売場毎の来店者数の表示領域ＣＴ２には、時系列（例えば図１０及び図１１では１時間毎）に人数カウント部ＣＴにより検出された移動体（例えば人物）の検出数が示される。例えばユーザの入力操作により、入力デバイス４００が売場毎の来店者数の表示領域ＣＴ２に表示された選択バーＫＲを時間軸方向にシフトすると、表示画像生成部３５０は、選択バーＫＲが示す時刻に生成した動線分析画像を順に再生して表示する。
　また、メイン（例えば現在）の動線分析情報の表示領域ＭＡ１の売場毎の来店者数の表示領域ＣＴ１とサブ（例えば比較例）の動線分析情報の表示領域ＣＥ１の売場毎の来店者数の表示領域ＣＴ２とにおいて、入力デバイス４００は、ユーザの入力操作により、時間軸上の特定の時間帯を指定してコメント（例えばタイムセール、３Ｆイベント、ＴＶ放映、隣のドームで試合等）を入力することができる。
　図１１では映像表示種別がカウントマップとなっており、その他の事項は図１０の説明と同様であるため、詳細な説明は省略する。図１１でも、図１０と同様に、例えばユーザの入力操作により、入力デバイス４００が売場毎の来店者数の表示領域ＣＴ３，ＣＴ４に表示された選択バーＫＲを時間軸方向にシフトすると、表示画像生成部３５０は、選択バーＫＲが示す時刻に生成した動線分析画像を順に再生して表示する。
　図１２は、本実施形態のサーバ装置３００のレポート生成出力部３６０により生成された２０１４年５月度の店舗Ａの食料品売場における月例報告書の運用画面ＲＰＴの一例を示す図である。本実施形態の動線分析レポートの一例としての月例報告書（図１２参照）は、図１０又は図１１に示す運用画面の左側の表示領域Ｌ１の下部に設けられたレポート出力ボタンＯＰＴが入力デバイス４００により押下されると、レポート生成出力部３６０が生成してモニタ４５０に表示した画面である。なお、サーバ装置３００のレポート生成出力部３６０は、図１２に示す月例報告書又はその一部の情報（例えば食料品売場のうちの肉売場における月例報告書）を、店舗Ａに設置されたプリンタ（不図示）に出力しても良い。これにより、店舗Ａの店員は、来店客が映っていない動線分析画像が出力された内容で、例えば食料品売場全体又はその一部の肉売場における月例報告書のプリントアウトの配布を受けることができる。
　図１２に示す月例報告書（動線分析レポート）の運用画面ＲＰＴでは、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報に関する表示領域ＳＲ１と、店舗（例えば店舗Ａ）の来店者数等の統計情報に関する表示領域ＣＲ１と、所定のイベントの一例として売場のレイアウトの変更の発生前後において表示画像生成部３５０が生成したそれぞれの動線分析画像ＨＭ５，ＨＭ６の表示領域と、売場毎の来店者数の表示領域ＣＴ５，ＣＴ６とが示されている。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、例えば運営本部のサーバ装置６００から該当する店舗（例えば店舗Ａ）内のサーバ装置（例えばサーバ装置３００）に送信される。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、店舗内のサーバ装置３００又は記憶部（不図示）に予め記憶されても良い。
　図１２に示す月例報告書の運用画面ＲＰＴでも、図１０又は図１１と同様に、例えばユーザの入力操作により、入力デバイス４００が売場毎の来店者数の表示領域ＣＴ５，ＣＴ６に表示された選択バーＫＲを時間軸方向にシフトすると、表示画像生成部３５０は、選択バーＫＲが示す時刻に生成した動線分析画像を順に表示する。
　以上により、本実施形態の動線分析システム５００Ａでは、カメラ装置１００は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体（例えば人物）の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを所定の送信周期毎にサーバ装置３００に送信する。サーバ装置３００は、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成し、この動線分析画像をモニタ４５０に表示させる。
　これにより、動線分析システム５００Ａは、動線分析画像の元になる背景画像を移動体（例えば人物）が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体（人物）のプライバシーを適切に保護することができる。また、動線分析システム５００Ａは、所定のタイミング（例えば定期的な送信周期の到来時）の時点において既に更新された背景画像に移動体（人物）の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、予め決められた送信周期毎に、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示することができる。
　また、動線分析システム５００Ａは、背景画像と移動体の動線情報とを送信するための所定の送信周期をカメラ装置のスケジュール管理部５０において指示するので、予め指示された送信周期に従って、背景画像と移動体の動線情報とを定期的にサーバ装置３００に送信することができる。
　また、動線分析システム５００Ａは、所定のイベント（例えば店舗内の売場のレイアウト変更のイベント）の検出の通知をイベント情報受領部７０において取得すると、背景画像と移動体の動線情報とをサーバ装置３００に送信するので、特定のイベントが検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置３００において生成することができる。
　また、動線分析システム５００Ａは、撮像画像の変化（例えば店舗内の売場のレイアウト変更）をシーン識別部ＳＤにおいて検出すると、背景画像と移動体の動線情報とをサーバ装置３００に送信するので、撮像画像の変化が検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置３００において生成することができる。
　また、動線分析システム５００Ａは、撮像画像に含まれる移動体の検出数を人数カウント部ＣＴにおいてカウントし、検出数に関する情報を送信部６０に出力するので、撮像領域における移動体の滞留位置又は通過位置に関する情報を含む動線分析画像と移動体の検出数とを含む表示画面（運用画面）をモニタ４５０に表示させることができる。
　また、動線分析システム５００Ａは、イベント情報受領部７０が所定のイベントの検出の通知を取得した時点を含む送信周期では背景画像と移動体の動線情報との送信を省略するので、サーバ装置３００において動線分析画像を生成する際に、所定のイベント（例えば店舗内の売場のレイアウト変更）の検出前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を混在して使用することを回避することができる。
　また、動線分析システム５００Ａは、所定のイベント（例えば店舗内の売場のレイアウト変更）の検出前に生成された動線分析画像と、同所定のイベントの検出後に生成された動線分析画像とを含む動線分析レポートをレポート生成出力部３６０において生成するので、所定のイベントにより撮像領域における移動体の滞留位置又は通過位置に関する動線情報がどのような変更があったかを対比的に分かり易く示すことができる。
　また、動線分析システム５００Ａは、所定の入力操作（例えばユーザのレポート出力ボタンの押下操作）により、生成した動線分析レポートをモニタ４５０に表示させるので、動線分析レポートをユーザに対して視覚的に表示することができる。
　更に、動線分析システム５００Ａは、撮像画像の背景画像の生成と撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報の抽出とを各カメラ装置１００，１００Ａ，…，１００Ｎにおいて実行させてから、サーバ装置３００において動線分析画像を生成して表示するので、撮像画像の背景画像の生成と撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報の抽出をサーバ装置３００に実行させる場合に比べて、サーバ装置３００の処理負荷を軽減することができるので、１つのサーバ装置３００に接続可能なカメラ装置の台数の制限を緩和することができる。
　（本実施形態の変形例）
　なお、上述した本実施形態では、動線分析画像の生成処理はサーバ装置３００において実行されているが、動線分析画像の生成処理までをカメラ装置１００が実行しても良い（図１３参照）。図１３は、本実施形態の変形例のカメラ装置１００Ｓの機能的な内部構成を詳細に示すブロック図である。図１３に示すカメラ装置１００Ｓは、撮像部１０と、画像入力部２０と、背景画像生成部３０と、動線情報分析部４０と、スケジュール管理部５０と、送信部６０Ｓと、イベント情報受領部７０と、背景画像蓄積部８０と、通過／滞留分析情報蓄積部９０と、表示画像生成部３５０Ｓとを含む構成である。図１３に示すカメラ装置１００Ｓの各部の説明において、図２に示すカメラ装置１００と同一の構成及び動作のものには同一の符号を付して説明を省略し、異なる内容について説明する。
　画像生成部の一例としての表示画像生成部３５０Ｓは、スケジュール管理部５０又はイベント情報受領部７０からの指示に応じて、背景画像蓄積部８０に保存された背景画像のデータと通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータを用いて、背景画像に移動体の滞留位置又は通過位置に関する動線情報を重畳した動線分析画像を生成して送信部６０に出力する。
　送信部６０Ｓは、表示画像生成部３５０Ｓにより生成された動線分析画像のデータをサーバ装置３００に送信する。
　以上により、本実施形態の変形例では、カメラ装置１００Ｓは、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体（例えば人物）の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを用いて、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成する。
　これにより、カメラ装置１００Ｓは、動線分析画像の元になる背景画像を移動体（例えば人物）が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体（人物）のプライバシーを適切に保護することができる。また、カメラ装置１００Ｓは、リアルタイムに得られた撮像画像に移動体（人物）の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する最新の動線情報を適切に示す動線分析画像を生成することができる。
　また、カメラ装置１００Ｓは、動線分析画像の生成処理まで実行して生成結果である動線分析画像のデータをサーバ装置３００に送信するので、例えばサーバ装置３００の処理負荷が相当に高い状態では、動線分析画像の生成処理をサーバ装置３００に実行させないで良いため、サーバ装置３００の処理負荷の増大を抑制することができる。
　以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
　本発明は、撮像領域に映る人物のプライバシーを適切に保護し、所定のタイミングで更新された背景画像に人物の滞留情報又は通過情報を重畳した正確な動線分析画像を生成する動線分析システム、カメラ装置及び動線分析方法として有用である。
１０　　撮像部
２０　　画像入力部
３０　　背景画像生成部
３１　　入力画像学習部
３２　　移動体分離部
３３　　背景画像生成部
４０　　動線情報分析部
４１　　対象検出部
４２　　動線情報取得部
４３　　通過／滞留状況分析部
５０　　スケジュール管理部
６０　　送信部
７０　　イベント情報受領部
８０　　背景画像蓄積部
９０　　通過／滞留分析情報蓄積部
１００，１００Ａ，１００Ｎ，１００Ｓ　　カメラ装置
２００　　レコーダ
３００，６００　　サーバ装置
３１０　　イベント情報受領部
３２０　　通知部
３３０　　受信部
３４０　　受信情報蓄積部
３５０　　表示画像生成部
３６０　　レポート生成出力部
４００　　入力デバイス
４５０　　モニタ
５００Ａ，５００Ｂ，５００Ｃ　　動線分析システム
７００　　スマートフォン
８００　　クラウドコンピュータ
９００　　設定端末装置
１０００　　販売管理システム
ＣＴ　　人数カウント部
ＳＤ　　シーン識別部

Claims (10)

  1. 　カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、
    　前記カメラ装置は、
    　所定の撮像領域を撮像する撮像部と、
    　前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、
    　前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、
    　所定の送信周期毎に、前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを前記サーバ装置に送信する送信部と、を備え、
    　前記サーバ装置は、
    　前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、
    　前記画像生成部により生成された前記動線分析画像を表示部に表示させる表示制御部と、を備える、
    　動線分析システム。
  2. 　請求項１に記載の動線分析システムであって、
    　前記カメラ装置は、
    　前記背景画像と前記移動体の動線情報とを送信するための前記所定の送信周期を前記送信部に指示するスケジュール管理部、を更に備える、
    　動線分析システム。
  3. 　請求項２に記載の動線分析システムであって、
    　前記カメラ装置は、
    　所定のイベントの検出の通知を取得するイベント情報取得部、を更に備え、
    　前記イベント情報取得部は、
    　前記所定のイベントの検出の通知を取得した後、前記背景画像と前記移動体の動線情報との送信タイミングを前記送信部に指示する、
    　動線分析システム。
  4. 　請求項１に記載の動線分析システムであって、
    　前記カメラ装置は、
    　前記撮像画像の変化を検出する画像変化検出部、を更に備え、
    　前記画像変化検出部は、
    　前記撮像画像の変化を検出した後、前記背景画像と前記移動体の動線情報との送信タイミングを前記送信部に指示する、
    　動線分析システム。
  5. 　請求項１に記載の動線分析システムであって、
    　前記カメラ装置は、
    　前記撮像画像に含まれる移動体の検出数をカウントする移動体検出部、を更に備え、
    　前記移動体検出部は、
    　前記撮像画像に含まれる移動体の検出数に関する情報を前記送信部に出力する、
    　動線分析システム。
  6. 　請求項３に記載の動線分析システムであって、
    　前記送信部は、
    　前記イベント情報取得部が前記所定のイベントの検出の通知を取得した時点を含む前記所定の送信周期では、前記背景画像と前記移動体の動線情報との送信を省略する、
    　動線分析システム。
  7. 　請求項３に記載の動線分析システムであって、
    　前記サーバ装置は、
    　前記所定のイベントの検出前に前記画像生成部により生成された前記動線分析画像と、前記所定のイベントの検出後に前記画像生成部により生成された前記動線分析画像とを含む動線分析レポートを生成するレポート生成部、を更に備える、
    　動線分析システム。
  8. 　請求項７に記載の動線分析システムであって、
    　前記レポート生成部は、
    　所定の入力操作に応じて、前記動線分析レポートを前記表示部に表示させる、
    　動線分析システム。
  9. 　サーバ装置と接続し、動線分析システムで用いられるカメラ装置であって、
    　所定の撮像領域を撮像する撮像部と、
    　前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、
    　前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、
    　前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを用いて、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、を備える、
    　カメラ装置。
  10. 　カメラ装置とサーバ装置とが相互に接続された動線分析システムにおける動線分析方法であって、
    　前記カメラ装置において、
    　所定の撮像領域を撮像するステップと、
    　前記撮像領域の撮像画像の背景画像を生成するステップと、
    　前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出するステップと、
    　所定の送信周期毎に、生成された前記背景画像と、抽出された前記移動体の動線情報とを前記サーバ装置に送信するステップと、
    　前記サーバ装置において、
    　前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成するステップと、
    　生成された前記動線分析画像を表示部に表示させるステップと、を有する、
    　動線分析方法。
PCT/JP2015/003209 2014-06-30 2015-06-26 動線分析システム、カメラ装置及び動線分析方法 WO2016002173A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP15814021.0A EP3163872B1 (en) 2014-06-30 2015-06-26 Flow line analysis system, camera device, and flow line analysis method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014135232A JP5838371B1 (ja) 2014-06-30 2014-06-30 動線分析システム、カメラ装置及び動線分析方法
JP2014-135232 2014-06-30

Publications (1)

Publication Number Publication Date
WO2016002173A1 true WO2016002173A1 (ja) 2016-01-07

Family

ID=54931104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003209 WO2016002173A1 (ja) 2014-06-30 2015-06-26 動線分析システム、カメラ装置及び動線分析方法

Country Status (4)

Country Link
US (1) US9948901B2 (ja)
EP (1) EP3163872B1 (ja)
JP (1) JP5838371B1 (ja)
WO (1) WO2016002173A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6688611B2 (ja) * 2016-01-06 2020-04-28 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 動線分析システム及び動線分析方法
JP6485707B2 (ja) * 2016-01-06 2019-03-20 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6669564B2 (ja) * 2016-03-31 2020-03-18 センスシングスジャパン株式会社 監視システム
JP6226309B1 (ja) * 2016-05-10 2017-11-08 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6226308B1 (ja) * 2016-05-10 2017-11-08 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
JP6099025B1 (ja) * 2016-06-20 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、マスク処理設定方法及びコンピュータプログラム
WO2017221451A1 (ja) * 2016-06-24 2017-12-28 日本碍子株式会社 層状複水酸化物を含む機能層及び複合材料
JP6099027B1 (ja) * 2016-07-14 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
JP6099026B1 (ja) * 2016-07-14 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
JP6733434B2 (ja) * 2016-09-02 2020-07-29 富士ゼロックス株式会社 情報表示システムおよび画像形成装置
JP6803749B2 (ja) 2016-12-28 2020-12-23 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム
JP7002846B2 (ja) * 2017-03-03 2022-01-20 キヤノン株式会社 画像処理装置およびその制御方法
JP7171212B2 (ja) * 2018-04-02 2022-11-15 キヤノン株式会社 情報処理装置、画像表示方法、コンピュータプログラム、及び記憶媒体
WO2021106513A1 (ja) * 2019-11-29 2021-06-03 ソニーセミコンダクタソリューションズ株式会社 電子機器
JP2021136666A (ja) 2020-02-28 2021-09-13 キヤノン株式会社 撮像装置、デバイス、制御方法、およびプログラム
JP2021136664A (ja) 2020-02-28 2021-09-13 キヤノン株式会社 デバイス、制御方法、およびプログラム
CN114302234B (zh) * 2021-12-29 2023-11-07 杭州当虹科技股份有限公司 一种空中技巧快速包装方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101999A (ja) * 2001-09-20 2003-04-04 Toshiba Lighting & Technology Corp 監視カメラシステム
JP2009284167A (ja) * 2008-05-21 2009-12-03 Toshiba Tec Corp 人物行動監視装置及び人物行動監視プログラム
JP2010272958A (ja) * 2009-05-19 2010-12-02 Duse Technologies Co Ltd 監視装置、監視システム、および監視プログラム
JP2011248513A (ja) * 2010-05-25 2011-12-08 Nomura Research Institute Ltd 繁忙検知システム及び繁忙検知プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319218A (ja) * 2000-02-29 2001-11-16 Hitachi Ltd 画像監視装置
JP2001273500A (ja) * 2000-03-23 2001-10-05 Hitachi Ltd 運動物体計測装置および球技分析システムおよびデータサービスシステム
JP2004021542A (ja) * 2002-06-14 2004-01-22 Oki Electric Ind Co Ltd 画像処理装置、撮影端末、及び画像処理システム
JP2004133805A (ja) * 2002-10-11 2004-04-30 Ntt Data Corp 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム
WO2006105655A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
WO2007022011A2 (en) * 2005-08-12 2007-02-22 Core Memory Circuits Llc System and process for capturing processing, compressing, and displaying image information
CA2626841A1 (en) * 2005-11-23 2007-05-31 Object Video, Inc. Object density estimation in video
US8310542B2 (en) 2007-11-28 2012-11-13 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
JP4900266B2 (ja) * 2008-01-30 2012-03-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8885047B2 (en) * 2008-07-16 2014-11-11 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP5603663B2 (ja) * 2010-06-02 2014-10-08 Ｔｏａ株式会社 移動体軌跡表示装置および移動体軌跡表示プログラム
JP5712401B2 (ja) * 2010-06-25 2015-05-07 公立大学法人首都大学東京 行動監視システム、行動監視プログラム、及び行動監視方法
JP6040660B2 (ja) 2012-09-14 2016-12-07 株式会社リコー 画像処理装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101999A (ja) * 2001-09-20 2003-04-04 Toshiba Lighting & Technology Corp 監視カメラシステム
JP2009284167A (ja) * 2008-05-21 2009-12-03 Toshiba Tec Corp 人物行動監視装置及び人物行動監視プログラム
JP2010272958A (ja) * 2009-05-19 2010-12-02 Duse Technologies Co Ltd 監視装置、監視システム、および監視プログラム
JP2011248513A (ja) * 2010-05-25 2011-12-08 Nomura Research Institute Ltd 繁忙検知システム及び繁忙検知プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3163872A4 *

Also Published As

Publication number Publication date
US9948901B2 (en) 2018-04-17
EP3163872A4 (en) 2017-05-03
EP3163872A1 (en) 2017-05-03
US20150379725A1 (en) 2015-12-31
JP2016015540A (ja) 2016-01-28
JP5838371B1 (ja) 2016-01-06
EP3163872B1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
JP5838371B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP5915960B1 (ja) 動線分析システム及び動線分析方法
JP6558579B2 (ja) 動線分析システム及び動線分析方法
JP2018110303A (ja) 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム
US10497130B2 (en) Moving information analyzing system and moving information analyzing method
US20170193309A1 (en) Moving information analyzing system and moving information analyzing method
WO2016203678A1 (ja) 動線分析システム及び動線表示方法
WO2016194275A1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6226308B1 (ja) 動線分析システム及び動線分析方法
JP2017123026A (ja) 動線分析システム及び動線分析方法
JP6688611B2 (ja) 動線分析システム及び動線分析方法
JP6485707B2 (ja) 動線分析システム及び動線分析方法
JP5909710B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6439934B2 (ja) 動線分析システム、カメラ装置、動線分析方法及びプログラム
JP6226309B1 (ja) 動線分析システム及び動線分析方法
JP5909708B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP5909709B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP5909712B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6421937B2 (ja) 動線分析システム及び動線分析方法
JP6421936B2 (ja) 動線分析システム及び動線分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15814021

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015814021

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015814021

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE