WO2020194421A1 - 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体 - Google Patents

情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2020194421A1
WO2020194421A1 PCT/JP2019/012342 JP2019012342W WO2020194421A1 WO 2020194421 A1 WO2020194421 A1 WO 2020194421A1 JP 2019012342 W JP2019012342 W JP 2019012342W WO 2020194421 A1 WO2020194421 A1 WO 2020194421A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
time
subject
aggregation
target space
Prior art date
Application number
PCT/JP2019/012342
Other languages
English (en)
French (fr)
Inventor
洋介 岩松
康史 平川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/012342 priority Critical patent/WO2020194421A1/ja
Priority to US17/439,496 priority patent/US11836147B2/en
Priority to JP2021508400A priority patent/JP7180750B2/ja
Publication of WO2020194421A1 publication Critical patent/WO2020194421A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an information processing device, an analysis system, and a non-temporary computer-readable medium in which a data aggregation method and a program are stored.
  • Patent Document 1 describes a technique relating to an image processing device that detects a turning point of a scene based on a change in brightness between previous and next image frames in the moving image data and creates an optimum thumbnail corresponding to the scene change.
  • Patent Document 2 discloses a technique relating to an apparatus for preventing image quality deterioration in compression and restoration of moving image data.
  • Patent Document 3 discloses a technique relating to a moving image conversion device for reducing the amount of data of the entire moving image while leaving an important frame in the moving image.
  • Patent Document 4 discloses a technique relating to a vehicle peripheral monitoring device that monitors the periphery of a vehicle using an image captured by a camera mounted on the vehicle. The technique according to Patent Document 4 is to calculate the distance without delay by sampling in an untimed period when the change in the distance to the subject is large.
  • Japanese Unexamined Patent Publication No. 2008-263657 Japanese Unexamined Patent Publication No. 2006-054569 Japanese Unexamined Patent Publication No. 2006-246175 Japanese Unexamined Patent Publication No. 2010-257377
  • the present disclosure has been made to solve such a problem, and the amount of data can be reduced while suppressing a decrease in the analysis accuracy of the distribution of a specific subject included in a plurality of images taken in a predetermined period. It is an object of the present invention to provide an information processing device, an analysis system, and a non-temporary computer-readable medium in which a data aggregation method and a program are stored for reduction.
  • the information processing device is An acquisition unit that acquires first time-series data including information on existing areas in the target space for one or more subjects included in a plurality of images taken from the target space in a predetermined period.
  • a data set generation unit that generates a plurality of data sets from the start time point of the predetermined period to a plurality of different time widths from the existing area information regarding a specific subject in the first time series data. Based on the existence area information included in each of the plurality of data sets, the analysis accuracy of the distribution of the subject in the target space when the data sets are aggregated into the representative data is determined by the plurality of data sets.
  • estimation part that estimates for each time width of A determination unit that determines the time width to be aggregated based on the degree of data reduction due to the aggregation and the analysis accuracy in each data set.
  • An aggregation unit that aggregates the data set corresponding to the determined time width into the representative data, and To be equipped.
  • the analysis system is An analysis device that analyzes a plurality of images taken in a predetermined period from a target space in which one or more subjects exist, and outputs a first time-series data including information on an existing area in the target space of the subject. From the acquisition unit that acquires the first time-series data from the analysis device and the existence area information regarding a specific subject in the first time-series data, from the start time of the predetermined period to a plurality of different time widths. In the target space when each data set is aggregated into representative data based on the data set generation unit that generates a plurality of data sets and the existing area information in each of the plurality of data sets.
  • a data aggregation device including a unit and an aggregation unit that aggregates the data set corresponding to the determined time width into the representative data.
  • a storage device that stores the aggregated representative data, and A data analyzer that analyzes the distribution of the subject in the target space from the representative data stored in the storage device, and To be equipped.
  • the data aggregation method is The computer Acquire the first time-series data including the existence area information in the target space for one or more subjects included in a plurality of images taken in a predetermined period from the target space.
  • a plurality of data sets from the start time of the predetermined period to a plurality of different time widths are generated from the existence area information regarding a specific subject in the first time series data.
  • the analysis accuracy of the distribution regarding the subject in the target space when each of the data sets is aggregated into the representative data is determined by the plurality of times.
  • Estimate by width The time width to be aggregated is determined based on the degree of data reduction by the aggregation and the analysis accuracy in each data set.
  • the data set corresponding to the determined time width is aggregated into the representative data.
  • the non-transitory computer-readable medium in which the data aggregation program according to the fourth aspect of the present disclosure is stored is a human-readable medium.
  • an information processing device for reducing the amount of data while suppressing a decrease in analysis accuracy of a distribution related to a specific subject included in a plurality of images taken in a predetermined period.
  • a non-transitory computer-readable medium containing a data aggregation method and a program can be provided.
  • FIG. It is a figure which shows the example of the degree of deterioration of the analysis accuracy of the distribution by aggregation according to the time width of the subject data which concerns on Embodiment 2.
  • FIG. It is a figure which shows the example of the analysis accuracy for each time width which takes on the present Embodiment 2. It is a figure which shows the example of the data reduction rate model according to the time width required for this Embodiment 2. It is a figure which shows the example of the data reduction rate for each time width which takes to this Embodiment 2. It is a figure which shows the example of the satisfaction degree model of the analysis accuracy concerning this Embodiment 2. It is a figure which shows the example of the satisfaction degree model of the data reduction rate concerning this Embodiment 2.
  • FIG. It is a figure which shows the example of the sufficiency degree for each time width which takes to this Embodiment 2. It is a figure for demonstrating the concept of the start point of the next time division of the subject data which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the structure of the data aggregation apparatus which concerns on Embodiment 3. It is a flowchart which shows the flow of the sufficiency degree calculation process which concerns on this Embodiment 3. It is a figure which shows the example of the analysis accuracy model of the subject data which concerns on Embodiment 3. It is a figure which shows the example of the change of the size of the subject data which concerns on this Embodiment 3.
  • FIG. 1 is a block diagram showing a configuration of an information processing device 100 according to the first embodiment.
  • the information processing device 100 represents one or more subject data included in a plurality of images taken from a target space in a predetermined period while sequentially dividing the subject data into one of a plurality of types of time widths. It is a computer that aggregates data and stores it for later analysis processing.
  • the information processing device 100 includes an acquisition unit 110, a data set generation unit 120, an estimation unit 130, a determination unit 140, and an aggregation unit 150.
  • the acquisition unit 110 acquires the first time-series data including the existence area information in the target space of one or more subjects included in a plurality of images taken in a predetermined period from the target space.
  • the target space is a space to be photographed by a photographing device such as a camera installed at a predetermined position, and it is assumed that at least one or more subjects are present.
  • each image may be taken by a plurality of photographing devices installed at a plurality of positions having different target spaces.
  • the subject is a moving object such as a human being, an animal, a luggage, or a vehicle (in the case of a luggage, it can move together with the human or the vehicle), and is an object to be photographed by a camera or the like.
  • the existing area information is information for specifying an area in which the subject exists in the target space. For example, a coordinate group for specifying the outer shape of the subject, a coordinate group for a rectangular area that approximates the outer shape of the subject, and an area. The size (area) of the area, the shape of the area, etc.
  • the first time-series data is a set of data groups in which the existence area information and the shooting time are associated with each other. Further, the first time-series data may include existence area information (time-series data) for each of a plurality of subjects at each shooting time.
  • the acquisition unit 110 receives from the external device time-series subject data in which the existence area information of the subject is extracted in advance from a plurality of image data in the external device.
  • the acquisition unit 110 may acquire the data by reading the first time-series data stored in the storage device (not shown) built in the information processing device 100.
  • the data set generation unit 120 generates a plurality of data sets from the start time of a predetermined period to a plurality of different time widths from the existence area information regarding a specific subject in the first time series data. For example, when the time width is three, the data set generation unit 120 generates the existence area information regarding a specific subject from the start time of the predetermined period to the first time width as the first data set. Similarly, the data set generation unit 120 provides the existing area information regarding a specific subject from the start time of the predetermined period to the second time width and the third time width, respectively, in the second data set and the third data set. Generate as. That is, the data set generation unit 120 generates data sets having different numbers of elements for the number of predetermined time widths. In addition, each data set has a common start time point. The time width can also be called a time division width.
  • the estimation unit 130 determines the accuracy of analysis of the distribution of the subject in the target space when each of the data sets is aggregated into the representative data based on the existence area information in each of the plurality of data sets. Estimate for each time width.
  • the aggregation from the data set to the representative data means that the representative value is calculated from the plurality of existing area information in the data set, and the plurality of existing area information is discarded and replaced with the representative value. That is, the amount of data is reduced by aggregation.
  • the representative value may be an average value, a mode value, a median value, or the like, and can be said to be a statistic (summary statistic) that typically represents the characteristics of the distribution of the sample.
  • the distribution regarding the subject is, for example, the distribution of the existence position of the subject in the target space, the distribution of the area size, and the like.
  • the accuracy of distribution analysis is the degree of decrease in accuracy when the distribution is analyzed on the representative data after aggregation as compared with the case where the distribution on the subject is analyzed on the data set before aggregation. is there.
  • the estimation unit 130 estimates the analysis accuracy on the assumption that each data set is aggregated into representative data without actually performing aggregation.
  • the determination unit 140 determines the time width of the aggregation target based on the degree of data reduction and analysis accuracy due to aggregation in each data set.
  • the degree of data reduction by aggregation in the data set is an estimate of the degree of data reduction when the data set is aggregated into representative data. Then, the determination unit 140 determines the time width to be aggregated, which has a good balance between the degree of data reduction and the analysis accuracy, from among the plurality of time widths.
  • the aggregation unit 150 aggregates the data set corresponding to the determined time width into the representative data. That is, as described above, the aggregation unit 150 aggregates data by calculating representative values from a plurality of existing region information in the data set corresponding to the determined time width.
  • FIG. 2 is a flowchart showing the flow of the data aggregation method according to the first embodiment.
  • the acquisition unit 110 acquires first time-series data including information on existing areas in the target space for one or more subjects included in a plurality of images taken in a predetermined period from the target space (S11).
  • the data set generation unit 120 generates a plurality of data sets from the start time of a predetermined period to a plurality of different time widths from the existence area information regarding a specific subject in the first time series data (S12). ..
  • the estimation unit 130 determines the analysis accuracy of the distribution of the subject in the target space when each of the data sets is aggregated into the representative data based on the existence area information in each of the plurality of data sets.
  • the determination unit 140 determines the time width of the aggregation target based on the degree of data reduction by aggregation and the analysis accuracy in each data set (S14). After that, the aggregation unit 150 aggregates the data set corresponding to the determined time width into the representative data (S15).
  • data sets of subjects having a plurality of different time widths are generated for the subject data of the time series, and the analysis accuracy when each data set is aggregated is obtained.
  • the degree of data reduction for each time width is also used. Then, the time width is determined after considering the analysis accuracy and the degree of data reduction, and the data set of the subject in the determined time width is aggregated. Therefore, it is possible to reduce the amount of data while suppressing a decrease in the analysis accuracy of the distribution of a specific subject included in a plurality of images taken in a predetermined period.
  • the information processing device 100 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the data aggregation method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the functions of the acquisition unit 110, the data set generation unit 120, the estimation unit 130, the determination unit 140, and the aggregation unit 150.
  • the acquisition unit 110, the data set generation unit 120, the estimation unit 130, the determination unit 140, and the aggregation unit 150 may each be realized by dedicated hardware. Further, a part or all of each component of each device may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program. Further, as a processor, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • each component of the information processing device 100 when a part or all of each component of the information processing device 100 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged. It may be distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client-server system and a cloud computing system.
  • the function of the information processing apparatus 100 may be provided in the SaaS (Software as a Service) format.
  • the second embodiment is a specific embodiment of the first embodiment described above.
  • the problems to be solved by the present disclosure will be described in detail.
  • FIG. 3 is a diagram for explaining the concept of distribution of the existence position of the subject.
  • the target space is grasped as a plane, the plane is divided into a plurality of rectangular regions in a mesh shape, and the number of subjects existing in each region within the analysis target period is conceptually shown.
  • the area X is a high-risk area because the subjects are denser and mixed than the other areas.
  • FIG. 4 is a diagram for explaining problems that may occur due to related technologies.
  • the subject data P before aggregation on the left side is, for example, a set of the center coordinates of the existence region of the same subject included in each of the 11 images continuously captured by 1 FPS (Frame Per Second). Then, it can be said that the subject data P shows a locus of meandering from the central upper portion gold in the lower right direction.
  • the subject data P before aggregation passes through 6 regions, and the distribution of the subjects is 6 regions in 11 seconds.
  • the subject data after division will be a data set of 3 coordinates each (finally 2 coordinates).
  • representative data is generated from each data set.
  • the coordinates corresponding to the intermediate time among the three coordinates are used as the representative data. Therefore, the subject data after aggregation on the right side is representative data P1, P2, P3, and P4.
  • the distribution of the subject data after aggregation is 4 regions in 11 seconds, which means that no subject exists in the regions X1 and X2. That is, the aggregation causes the subject data in the regions X1 and X2 to be lost, and the analysis accuracy of the distribution of the existing positions of the subjects is lowered.
  • FIG. 5 is a block diagram showing the overall configuration of the analysis system 200 according to the second embodiment.
  • the analysis system 200 includes an analysis device 20 connected to the video distribution device 10, a data aggregation device 30, a data storage device 40, and a data analysis device 50.
  • the video distribution device 10 transmits images taken at predetermined intervals by a photographing device installed at a predetermined position in a target space in which a plurality of subjects exist to at least the analysis device 20.
  • the video distribution device 10 may distribute the video to the analysis device 20 via the network.
  • the analysis device 20 analyzes a plurality of images continuously received from the video distribution device 10, extracts information on existing areas in the target space of each of the plurality of subjects included in each image, and performs time-series data (subjects). Data) is output to the data aggregation device 30.
  • the existing area information is, for example, rectangular coordinates that approximate the existing area of the subject, and the subject data is associated with the shooting time, the ID of the subject, and the rectangular coordinates.
  • the data aggregation device 30 is an example of the above-mentioned information processing apparatus 100, buffers subject data received from the analysis device 20 for a certain period of time, performs data aggregation processing, and stores subject data (representative data) after aggregation. It is stored in the device 40.
  • the internal configuration of the data aggregation device 30 will be described later.
  • the data storage device 40 is a storage device that stores subject data after aggregation, that is, a non-volatile storage device.
  • the data storage device 40 may be a storage system including two or more storage devices.
  • the data analysis device 50 analyzes the distribution of the subject in the target space from the representative data stored in the data storage device 40.
  • the data analyzer 50 analyzes the distribution of the existence position of the subject, but the distribution is not limited to this.
  • Each of the video distribution device 10, the analysis device 20, the data aggregation device 30, and the data analysis device 50 can be realized by one or more information processing devices. Further, the analysis device 20, the data aggregation device 30, and the data analysis device 50 may be partially realized on a common information processing device.
  • FIG. 6 is a block diagram showing the configuration of the data aggregation device 30 according to the second embodiment.
  • the data aggregation device 30 includes a storage device 31, a control unit 32, a memory 33, and a communication unit 34.
  • the storage device 31 is a non-volatile storage device such as a hard disk or a flash memory.
  • the storage device 31 stores the subject data 311 and the time width 312 and the data aggregation program 313.
  • the subject data 311 is time series data received from the analysis device 20.
  • the time width 312 is a plurality of preset definition information of the time width.
  • the time width 312 includes, for example, 5 seconds width, 10 seconds width, 20 seconds width, and 40 seconds width, but is not limited to this, and may be any width of 2 or more.
  • the data aggregation program 313 is a computer program in which the processing of the data aggregation method according to the present embodiment is implemented.
  • the memory 33 is a volatile storage device such as a RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 32 operates.
  • the communication unit 34 is an interface for inputting / outputting to / from the outside of the data aggregation device 30. For example, the communication unit 34 outputs the data received from the analysis device 20 to the control unit 32, and outputs the data received from the control unit 32 to the data storage device 40.
  • the control unit 32 is a processor, that is, a control device that controls each configuration of the information processing device 100.
  • the control unit 32 reads the data aggregation program 313 from the storage device 31 into the memory 33 and executes the data aggregation program 313.
  • the control unit 32 realizes the functions of the acquisition unit 321, the data set generation unit 322, the estimation unit 323, the determination unit 324, and the aggregation unit 325.
  • the acquisition unit 321 is an example of the acquisition unit 110 described above, and acquires subject data from the analysis device 20. Then, the acquisition unit 321 stores the acquired subject data in the storage device 31.
  • the data set generation unit 322 is an example of the above-mentioned data set generation unit 120.
  • the data set generation unit 322 classifies subject data (first time-series data) into a plurality of groups for each subject, and generates a plurality of data sets for each group. As a result, time-series data in which a plurality of subject data are mixed can be accurately aggregated for each subject.
  • the data set generation unit 322 sets the time when the determined time width has elapsed from the start time after the determination by the determination unit 324 as the next start time. Then, the data set generation unit 322 determines the next time width from the second time series data after the acquisition unit 321 acquires the second time series data for a predetermined period from the next start time. In addition, the following multiple data sets are generated. As a result, the appropriate time width can be determined in more detail.
  • the estimation unit 323 is an example of the estimation unit 130 described above.
  • the estimation unit 323 estimates the analysis accuracy based on the degree of loss of information other than the representative data when the data sets are aggregated into the representative data. As a result, the estimation accuracy of the analysis accuracy is improved.
  • the estimation unit 323 according to the present embodiment aggregates each of a plurality of data sets into representative data based on the degree of movement of the position of a specific subject in the target space, and the subject in the target space.
  • the analysis accuracy of the distribution of the existence position of is estimated for each of multiple time widths.
  • the estimation unit 323 estimates the data reduction rate for each time width. An example of a method for calculating the classification accuracy and the data reduction rate will be described later.
  • the determination unit 324 is an example of the determination unit 140 described above, and calculates an index value in consideration of the degree of data reduction by aggregation and analysis accuracy for each of the plurality of time widths, and the time corresponding to the best index value.
  • the width is determined as the time width to be aggregated.
  • the estimation unit 323 calculates the degree of sufficiency for each time width as an index value based on the estimated classification accuracy and the data reduction rate.
  • the degree of sufficiency is an example of an index value indicating how much the classification accuracy and the data reduction rate are satisfied when comprehensively taken into consideration. An example of a method for calculating the degree of sufficiency will be described later.
  • the aggregation unit 325 is an example of the above-mentioned aggregation unit 150, and aggregates the data set corresponding to the determined time width into the representative data. Then, the aggregation unit 325 stores the aggregated representative data in the data storage device 40.
  • FIG. 7 is a sequence diagram showing a flow of processing for analyzing the distribution of the subject from the image according to the second embodiment.
  • the video distribution device 10 transmits the image data captured from the target space to the analysis device 20 (S21).
  • the analysis device 20 analyzes the received image data and extracts the subject data (S22). For example, the analysis device 20 extracts feature points from image data, recognizes a set of each feature point as a subject, and identifies a rectangular region that approximates the existence region of the feature points of each subject. Then, the analysis device 20 associates the rectangular area with the ID of the subject and the shooting time to obtain subject data. After that, the analysis device 20 outputs the subject data to the data aggregation device 30 (S23).
  • the data aggregation device 30 performs data aggregation processing on the received subject data (S24).
  • FIG. 8 is a flowchart showing the flow of the data aggregation process according to the second embodiment.
  • the acquisition unit 321 receives subject data for a predetermined period from the analysis device 20 (S241).
  • the subject data includes existence area information regarding a plurality of subjects.
  • the predetermined period is, for example, a maximum value of 40 seconds or more in the time width.
  • FIG. 9 is a diagram for explaining the concept of input subject data obj according to the second embodiment.
  • the data set generation unit 322 groups the subject data for the same subject (S242). For example, the data set generation unit 322 classifies the rectangular area associated with each subject ID in the subject data into a group (for example, an array) of the corresponding subject IDs.
  • FIG. 11 is a diagram for explaining the concept of the subject data group for each time width according to the second embodiment.
  • the subject group g1 will be described, but similarly, a data set of the number of time widths is generated for the subject groups g2 and g3. Further, it is assumed that there are four time widths 312: time width tw11 (5 seconds), time width tw12 (10 seconds), time width tw13 (20 seconds), and time width tw14 (40 seconds).
  • the data set generation unit 322 extracts from the start time of the subject group g1 to 5 seconds and uses it as the data set D11. Similarly, the data set generation unit 322 extracts data sets D12, D13, and D14 from the start time of the subject group g1 for 10 seconds, 20 seconds, and 40 seconds, respectively.
  • FIG. 12 is a flowchart showing the flow of the satisfaction calculation process according to the second embodiment.
  • the data set D11 will be described, but the same applies to the data sets D12, D13 and D14.
  • the estimation unit 323 calculates the moving distance of the subject from the data set D11 (S2441). For example, the estimation unit 323 calculates the maximum value of the movement distance of the center coordinates in each subject data in the data set D11.
  • the estimation unit 323 estimates the analysis accuracy from the maximum value of the travel distance based on the analysis accuracy model (S2442).
  • the analysis accuracy model is a model of the accuracy when analyzing the distribution of the existence position of the subject in the target space when the subject data is aggregated into the representative data.
  • the analysis accuracy model may be formulated by the user from, for example, actual data of a combination of analysis accuracy for the past data set, representative data after aggregation, and representative data, and analysis accuracy for the data set before aggregation.
  • the analysis accuracy model may be a trained model learned by machine learning from these actual data.
  • FIG. 13 is a diagram showing an example of an analysis accuracy model of subject data according to the second embodiment. Here, it is shown that the corresponding analysis accuracy can be specified by inputting the maximum value of the movement distance into the analysis accuracy model.
  • FIG. 14 is a diagram showing an example of the degree of deterioration in the analysis accuracy of the distribution due to aggregation according to the time width of the subject data according to the second embodiment. Since the maximum value of the movement distance of the data set D11 is 50 px, when the distribution is analyzed after aggregating in this range, the mesh that has passed the time width tw11 (5 seconds) but is not counted (missing mesh). Indicates that is unlikely to occur. On the other hand, since the maximum value of the travel distance of the data set D14 is 500 px, when the distribution is analyzed after aggregating in this range, the mesh that has passed the time width tw14 (40 seconds) but is not counted (missing). It shows that mesh) is likely to occur. Therefore, it can be said that the time width tw11 has higher analysis accuracy than the time width tw14.
  • FIG. 15 is a diagram showing an example of analysis accuracy for each time width required for the second embodiment.
  • FIG. 15 is a table showing the maximum value of the moving distance and the analysis accuracy estimated by the analysis accuracy model from each maximum value for each of the time widths of 5 seconds, 10 seconds, 20 seconds, and 40 seconds. In this example, the shorter the time width, the higher the analysis accuracy.
  • the estimation unit 323 estimates the data reduction rate based on the data reduction rate model from the time width corresponding to the data set (S2443).
  • the data reduction rate model is a model of the data reduction rate when the subject data is aggregated for each time width.
  • the data reduction rate model may be formulated by the user from actual data such as the past frame rate and the number of aggregated data for each time width.
  • the data reduction rate model may be a trained model learned by machine learning from these actual data.
  • FIG. 16 is a diagram showing an example of a data reduction rate model according to the time width required for the second embodiment.
  • FIG. 17 is a diagram showing an example of the data reduction rate for each time width required for the second embodiment.
  • FIG. 17 is a table showing the data reduction rate estimated (calculated) from each of the time widths of 5 seconds, 10 seconds, 20 seconds, and 40 seconds.
  • the determination unit 324 calculates the degree of sufficiency from the estimated analysis accuracy and data reduction rate (S2444). Specifically, the determination unit 324 calculates the analysis accuracy sufficiency Sa from the estimated analysis accuracy a based on the analysis accuracy sufficiency model.
  • the satisfaction model of the analysis accuracy may be formulated by the user based on the system requirements.
  • FIG. 18 is a diagram showing an example of a satisfaction model of analysis accuracy according to the second embodiment.
  • the sufficiency model of analysis accuracy is not limited to this.
  • the determination unit 324 calculates the satisfaction degree Sb of the data reduction rate from the estimated data reduction rate b based on the satisfaction degree model of the data reduction rate.
  • the satisfaction model of the data reduction rate may be formulated by the user based on the system requirements.
  • FIG. 19 is a diagram showing an example of a satisfaction model of the data reduction rate according to the second embodiment.
  • the sufficiency model shows that the sufficiency Sb is a substantially constant value until the data reduction rate b is about 0.7, and the sufficiency Sb rises sharply when the data reduction rate b approaches 0.8 or 0.9. ..
  • the data reduction rate satisfaction model is not limited to this.
  • the determination unit 324 calculates the overall sufficiency c from the calculated sufficiency Sa of the analysis accuracy and the sufficiency Sb of the data reduction rate.
  • the determination unit 324 calculates, for example, the total satisfaction degree c by multiplying the satisfaction degree Sa of the analysis accuracy and the satisfaction degree Sb of the data reduction rate.
  • step S244 the satisfaction calculation process of step S244 is executed for each group. Therefore, the determination unit 324 calculates the overall sufficiency c for each of the subject groups g1 to g3.
  • the determination unit 324 determines, for each group, the data set having the highest degree of satisfaction as the aggregation target (S245). That is, the determination unit 324 selects the highest sufficiency degree from the total sufficiency degree c calculated in each time width for each of the subject groups g1 to g3, and aggregates the data set corresponding to the selected sufficiency degree. Determine as a target.
  • FIG. 20 is a diagram showing an example of the degree of satisfaction for each time width required for the second embodiment.
  • the highest degree of sufficiency Sa of analysis accuracy is 0.90 at a time width of 5 seconds, and the lowest is 0.0 at a time width of 40 seconds.
  • the highest degree of satisfaction Sb of the data reduction rate is 0.9 at a time width of 40 seconds, and the lowest is 0.5 at a time width of 5 seconds.
  • the highest of the total satisfaction degree c calculated from the satisfaction degree Sa and the satisfaction degree Sb is 0.595 in a time width of 10 seconds. That is, when the time width is 10 seconds, neither the analysis accuracy nor the data reduction rate is the highest value among the four time widths, but overall, it shows that the system requirements are most satisfied.
  • the aggregation unit 325 divides the subject data for each group according to the time width determined in step S245 (S246). For example, when the time width of 10 seconds is determined for the subject group g1, the aggregation unit 325 divides the data set of the subject group g1 into data (first half) for 10 seconds from the start point and the remaining data. The same applies to the subject groups g2 and g3.
  • FIG. 21 is a diagram for explaining the concept of the start point of the next time division of the subject data g1 according to the second embodiment.
  • the aggregation unit 325 divides the first half of the subject group g1 as a data set D12 having a time width tw12 (10 seconds).
  • the data set D12 the one generated in step S242 may be used.
  • the data set generation unit 322 sets 10 seconds after the start time as the next start time.
  • the aggregation unit 325 aggregates the divided (first half) subject data into representative data for each group (S247).
  • the data aggregation device 30 outputs the aggregated representative data to the data storage device 40 (S25). Then, the data storage device 40 stores the representative data received from the data aggregation device 30 in the storage area (S26).
  • the data analysis device 50 reads out the representative data stored in the data storage device 40 (S27), and performs data analysis processing on the representative data (S28). For example, the data analyzer 50 allocates the subject of each representative data to any one of a plurality of mesh-like rectangular regions of a plane corresponding to the target space based on the rectangular coordinates indicated by the plurality of representative data, and the existing position of the subject. Analyze the distribution of.
  • the data analysis device 50 performs data analysis processing at intervals of, for example, 10 minutes. It is desirable that the interval of data analysis processing is longer than the execution interval of data aggregation processing. This is because more accurate analysis can be performed by accumulating a certain number of representative data in the data storage device 40. On the other hand, in order to perform the analysis faster, it is desirable to perform the analysis before the number of representative data becomes too large.
  • the third embodiment is another specific embodiment of the first embodiment described above, and is a modified example of the second embodiment. Since the configuration of the analysis system according to the third embodiment is the same as that of FIG. 5, the illustration is omitted and the description of the common configuration is omitted.
  • FIG. 22 is a block diagram showing the configuration of the data aggregation device 30a according to the third embodiment.
  • the data aggregation program 313 and the estimation unit 323 are replaced with the data aggregation program 313a and the estimation unit 323a as compared with FIG. Since the other configurations are the same as those in the second embodiment, the description of the common configurations will be omitted.
  • the data aggregation program 313a is a computer program in which the processing of the search method according to the third embodiment is implemented.
  • the estimation unit 323a determines the distribution of the area size of the subject in the target space when each of the plurality of data sets is aggregated into representative data based on the degree of variation in the area size of the specific subject in the target space.
  • the analysis accuracy is estimated for each of multiple time widths.
  • FIG. 23 is a flowchart showing the flow of the satisfaction calculation process according to the third embodiment.
  • steps SS441 and S2442 are replaced with SS441a and S2442a as compared with FIG. Since the other steps are the same as those in FIG. 12, the description thereof will be omitted as appropriate.
  • the estimation unit 323a calculates the variation in the size of the subject from the data set D11 (S2441a). For example, the estimation unit 323a calculates the area of the rectangular region of each subject data in the data set D11. Next, the estimation unit 323 calculates the maximum or minimum difference in the area of the rectangular region as a variation value of the size.
  • the estimation unit 323a estimates the analysis accuracy from the fluctuation value of the size based on the analysis accuracy model (S2442a).
  • the analysis accuracy model is a model of the accuracy when analyzing the distribution of the area size of the subject in the target space when the subject data is aggregated into the representative data.
  • the analysis accuracy model may be a trained model formulated by the user or learned from actual data by machine learning.
  • FIG. 24 is a diagram showing an example of an analysis accuracy model of subject data according to the third embodiment. Here, it is shown that the corresponding analysis accuracy can be specified by inputting the fluctuation value (maximum or minimum) of the size of the subject into the analysis accuracy model.
  • FIG. 25 is a diagram showing an example of variation in the size of subject data according to the third embodiment.
  • the data set D11 since the fluctuation of the size of the subject in the time width tw11 (5 seconds) is 1.2 times, it can be said that the distance that the subject moves back and forth of the camera is shorter than the other time widths. Therefore, when the distribution is analyzed after aggregating in this range, it is shown that data loss of the data interval (bin) in the analysis is unlikely to occur.
  • the data set D14 since the fluctuation of the size of the subject in the time width tw14 (40 seconds) is 3.8 times, it can be said that the distance that the subject moves back and forth of the camera is longer than in other time widths. .. Therefore, when the distribution is analyzed after aggregating in this range, it is shown that data loss of the data interval (bin) in the analysis is likely to occur.
  • FIG. 26 is a diagram showing an example of analysis accuracy for each time width required for the third embodiment.
  • FIG. 26 is a table showing the fluctuation of the size of the subject and the analysis accuracy estimated by the analysis accuracy model from the fluctuation of each size for each of the time widths of 5 seconds, 10 seconds, 20 seconds, and 40 seconds. Is. In this example, the shorter the time width, the higher the analysis accuracy.
  • FIG. 27 is a diagram showing an example of a satisfaction model of analysis accuracy according to the third embodiment.
  • the sufficiency model of analysis accuracy is not limited to this.
  • the data reduction rate model and the satisfaction model of the data reduction rate model are the same as those in the second embodiment, and for example, FIGS. 17 and 19 can be used.
  • FIG. 28 is a diagram showing an example of the degree of satisfaction for each time width required for the third embodiment.
  • the highest degree of sufficiency Sa of analysis accuracy is 0.90 at a time width of 5 seconds, and the lowest is 0.0 at a time width of 40 seconds.
  • the highest degree of satisfaction Sb of the data reduction rate is 0.9 at a time width of 40 seconds, and the lowest is 0.5 at a time width of 5 seconds.
  • the highest of the total satisfaction degree c calculated from the satisfaction degree Sa and the satisfaction degree Sb is 0.45 in the time width of 5 seconds. That is, when the time width is 5 seconds, the data reduction rate is not the highest value among the four time widths, but overall, it indicates that the system requirements are most satisfied.
  • the distribution of the area size of the subject is analyzed as the distribution related to the subject.
  • the rectangular area of the subject for example, the upper body
  • the fact that the size of the rectangular area of the subject fluctuates in each shot image means that the distance between the subject and the camera is large. It means that it has fluctuated. For example, if the size of the subject increases in chronological order, it can be considered that the subject has moved from far to near in the camera.
  • the shooting quality size, resolution
  • 70% of the size distribution of a certain subject is a predetermined size (200px ⁇ 200px) or more, it can be determined that the camera can properly shoot.
  • the smaller the degree of variation in the area size of the subject the smaller the movement in the perspective direction with respect to the camera, the less data loss due to aggregation, and the higher the analysis accuracy.
  • the installation position and settings of the camera can be improved.
  • each element described in the drawing as a functional block that performs various processes can be composed of a CPU (Central Processing Unit), a memory, and other circuits in terms of hardware, and is software. Specifically, it is realized by a program or the like that the CPU loads and executes in the memory. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any of them.
  • CPU Central Processing Unit
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CD-ROMs (Compact Disc-Read Only Memory), CDs. -R (CD-Recordable), CD-R / W (CD-ReWritable), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)) Including.
  • the program may also be supplied to the computer by various types of temporary computer readable media (transitory computer readable medium).
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix A1) An acquisition unit that acquires first time-series data including information on existing areas in the target space for one or more subjects included in a plurality of images taken from the target space in a predetermined period.
  • a data set generation unit that generates a plurality of data sets from the start time point of the predetermined period to a plurality of different time widths from the existing area information regarding a specific subject in the first time series data. Based on the existence area information included in each of the plurality of data sets, the analysis accuracy of the distribution regarding the subject in the target space when each of the data sets is aggregated into the representative data is determined by the plurality of data sets.
  • a determination unit that determines the time width to be aggregated based on the degree of data reduction due to the aggregation and the analysis accuracy in each data set.
  • An aggregation unit that aggregates the data set corresponding to the determined time width into the representative data, and Information processing device equipped with.
  • the estimation unit The information processing apparatus according to Appendix A1, which estimates the analysis accuracy based on the degree of loss of information other than the representative data when the data sets are aggregated into representative data.
  • An index value is calculated in consideration of the degree of data reduction due to the aggregation and the analysis accuracy.
  • the information processing apparatus according to Appendix A1 or A2, wherein the time width corresponding to the best index value is determined as the time width to be aggregated.
  • the data set generation unit The time when the determined time width has elapsed from the start time is defined as the next start time. After the acquisition unit acquires the second time-series data for the predetermined period from the next start time, the plurality of data sets are used to determine the next time width from the second time-series data.
  • the information processing apparatus according to any one of Supplementary A1 to A3 to be generated.
  • (Appendix A5) The estimation unit Analysis of the distribution of the existence position of the subject in the target space when the representative data is aggregated from each of the plurality of data sets based on the degree of movement of the position of the specific subject in the target space.
  • the information processing apparatus according to any one of Supplementary A1 to A4, wherein the accuracy is estimated for each of the plurality of time widths.
  • (Appendix A6) The estimation unit Distribution of the area size of the subject in the target space when aggregating each of the plurality of data sets into representative data based on the degree of fluctuation of the area size of the specific subject in the target space.
  • the first time-series data includes information on existing areas in the target space of two or more subjects.
  • the data set generation unit The first time series data is classified into a plurality of groups for each subject, and the data is classified into a plurality of groups.
  • the information processing apparatus according to any one of Supplementary A1 to A6, which generates the plurality of data sets for each group.
  • Appendix B1 An analysis device that analyzes a plurality of images taken in a predetermined period from a target space in which one or more subjects exist, and outputs a first time-series data including information on an existing area in the target space of the subject.
  • Determine the time width of the aggregation target based on the estimation unit that estimates the analysis accuracy of the distribution related to the subject for each of the plurality of time widths, the degree of data reduction due to the aggregation in each data set, and the analysis accuracy.
  • a data aggregation device including a unit and an aggregation unit that aggregates the data set corresponding to the determined time width into the representative data.
  • a storage device that stores the aggregated representative data, and A data analyzer that analyzes the distribution of the subject in the target space from the representative data stored in the storage device, and Analytical system with.
  • the computer Acquire the first time-series data including the existence area information in the target space for one or more subjects included in a plurality of images taken in a predetermined period from the target space.
  • a plurality of data sets from the start time of the predetermined period to a plurality of different time widths are generated from the existence area information regarding a specific subject in the first time series data.
  • the analysis accuracy of the distribution regarding the subject in the target space when each of the data sets is aggregated into the representative data is determined by the plurality of times.
  • Estimate by width The time width to be aggregated is determined based on the degree of data reduction by the aggregation and the analysis accuracy in each data set.
  • the data set corresponding to the determined time width is aggregated into the representative data.
  • Data aggregation method. (Appendix D1) A process of acquiring first time-series data including information on existing areas in the target space for one or more subjects included in a plurality of images taken from the target space in a predetermined period.
  • Information processing device 110 Acquisition unit 120 Data set generation unit 130 Estimating unit 140 Decision unit 150 Aggregation unit X area P Subject data P1 Representative data P2 Representative data P3 Representative data P4 Representative data X1 area X2 area 10
  • Video distribution device 20 Analysis device 30
  • Data storage device 50 Data analysis device 200 Analysis system 31
  • Storage device 311 Subject data 312 Time width 313 Data aggregation program 313a Data aggregation program 32 Control unit 321 Acquisition unit 322 Data collection generation unit 323 Estimating unit 323a Estimating unit 324 Determination unit 325 Aggregation unit 33

Abstract

情報処理装置(100)は、対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する取得部(110)と、第1の時系列データのうち特定の被写体に関する存在領域情報から、所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部(120)と、複数のデータ集合のそれぞれに含まれる存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における対象空間内の当該被写体に関する分布の分析精度を、複数の時間幅ごとに推定する推定部(130)と、各データ集合における集約によるデータ削減度合い及び分析精度に基づいて、集約対象の時間幅を決定する決定部(140)と、決定された時間幅に対応するデータ集合に対して代表データへの集約を行う集約部(150)と、を備える。

Description

情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体
 本開示は、情報処理装置、分析システム、並びに、データ集約方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
 近年、被写体等が撮影された映像や画像等を解析して得られる被写体に関する時系列のセンシングデータを分析し、危険な状態や不審な行動等を検出する技術の開発が進められている。
 ここで、特許文献1には、動画データ内の前後の画像フレーム間の輝度の変化を基に、シーンの転換点を検出し、シーン変化に対応した最適なサムネイルを作成する画像処理装置に関する技術が開示されている。特許文献2には、動画像データの圧縮及び復元における画質低下を防止するための装置に関する技術が開示されている。特許文献3には、動画像内の重要なフレームを残しつつ、動画像全体のデータ量を削減するための動画像変換装置に関する技術が開示されている。特許文献4には、車両に搭載されたカメラにより撮像された画像を用いて車両の周辺を監視する車両周辺監視装置に関する技術が開示されている。特許文献4にかかる技術は、被写体との距離の変化が大きい場合に未時間期間でサンプリングすることで、遅延なく距離を算出するものである。
特開2008-263657号公報 特開2006-054569号公報 特開2006-246175号公報 特開2010-257377号公報
 上述した特許文献1から4にかかる技術では、対象空間において所定期間に撮影された複数の画像に含まれる特定の被写体について、画像領域内における当該特定の被写体に関する分布の分析精度が考慮されていない。そのため、当該分析精度の低下を抑制しつつ、データ量を削減することが困難であるという問題点がある。
 本開示は、このような問題点を解決するためになされたものであり、所定期間に撮影された複数の画像に含まれる特定の被写体に関する分布の分析精度の低下を抑制しつつ、データ量を削減するための情報処理装置、分析システム、並びに、データ集約方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
 本開示の第1の態様にかかる情報処理装置は、
 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する取得部と、
 前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、
 前記複数のデータ集合のそれぞれに含まれる前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、
 各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、
 前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、
 を備える。
 本開示の第2の態様にかかる分析システムは、
 1以上の被写体が存在する対象空間から所定期間に撮影された複数の画像を解析して、被写体における当該対象空間内の存在領域情報を含む第1の時系列データを出力する解析装置と、
 前記解析装置から前記第1の時系列データを取得する取得部と、前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、を備えるデータ集約装置と、
 前記集約された前記代表データを記憶する記憶装置と、
 前記記憶装置に記憶された前記代表データから前記対象空間内の前記被写体に関する分布を分析するデータ分析装置と、
 を備える。
 本開示の第3の態様にかかるデータ集約方法は、
 コンピュータが、
 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得し、
 前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成し、
 前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定し、
 各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定し、
 前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う。
 本開示の第4の態様にかかるデータ集約プログラムが格納された非一時的なコンピュータ可読媒体は、
 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する処理と、
 前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する処理と、
 前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する処理と、
 各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する処理と、
 前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う処理と、
 をコンピュータに実行させる。
 上述の態様によれば、所定期間に撮影された複数の画像に含まれる特定の被写体に関する分布の分析精度の低下を抑制しつつ、データ量を削減するための情報処理装置、分析システム、並びに、データ集約方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
本実施形態1にかかる情報処理装置の構成を示すブロック図である。 本実施形態1にかかるデータ集約方法の流れを示すフローチャートである。 被写体の存在位置の分布の概念を説明するための図である。 関連技術により発生し得る課題を説明するための図である。 本実施形態2にかかる分析システムの全体構成を示すブロック図である。 本実施形態2にかかるデータ集約装置の構成を示すブロック図である。 本実施形態2にかかる画像から被写体に関する分布を分析する処理の流れを示すシーケンス図である。 本実施形態2にかかるデータ集約処理の流れを示すフローチャートである。 本実施形態2にかかる入力される被写体データの概念を説明するための図である。 本実施形態2にかかる被写体データを被写体IDごとにグループ分けした場合の概念を説明するための図である。 本実施形態2にかかる時間幅ごとの被写体データ群の概念を説明するための図である。 本実施形態2にかかる充足度算出処理の流れを示すフローチャートである。 本実施形態2にかかる被写体データの分析精度モデルの例を示す図である。 本実施形態2にかかる被写体データの時間幅に応じた集約による分布の分析精度の低下度合いの例を示す図である。 本実施形態2にかかる時間幅ごとの分析精度の例を示す図である。 本実施形態2にかかる時間幅に応じたデータ削減率モデルの例を示す図である。 本実施形態2にかかる時間幅ごとのデータ削減率の例を示す図である。 本実施形態2にかかる分析精度の充足度モデルの例を示す図である。 本実施形態2にかかるデータ削減率の充足度モデルの例を示す図である。 本実施形態2にかかる時間幅ごとの充足度の例を示す図である。 本実施形態2にかかる被写体データの次の時分割の開始点の概念を説明するための図である。 本実施形態3にかかるデータ集約装置の構成を示すブロック図である。 本実施形態3にかかる充足度算出処理の流れを示すフローチャートである。 本実施形態3にかかる被写体データの分析精度モデルの例を示す図である。 本実施形態3にかかる被写体データの大きさの変動の例を示す図である。 本実施形態3にかかる時間幅ごとの分析精度の例を示す図である。 本実施形態3にかかる分析精度の充足度モデルの例を示す図である。 本実施形態3にかかる時間幅ごとの充足度の例を示す図である。
 以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
 図1は、本実施形態1にかかる情報処理装置100の構成を示すブロック図である。情報処理装置100は、対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体データを、複数種類の時間幅のいずれかに順次、分割しつつ、分割後の被写体データを代表データに集約して、後の分析処理のために蓄積するコンピュータである。情報処理装置100は、取得部110と、データ集合生成部120と、推定部130と、決定部140と、集約部150とを備える。
 取得部110は、対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する。ここで、対象空間とは、所定の位置に設置されたカメラ等の撮影装置による撮影対象となる空間であり、少なくとも1以上の被写体が存在するものとする。尚、各画像は、対象空間の異なる複数の位置に設置された複数の撮影装置により撮影されたものであってもよい。また、被写体とは、人間、動物、荷物、車両等の移動体(荷物の場合、人間や車両と併せて移動し得る)であって、カメラ等による撮影対象の物体である。また、存在領域情報とは、対象空間内に被写体が存在する領域を特定するための情報であり、例えば、被写体の外形を特定する座標群、被写体の外形を近似した矩形領域の座標群、領域の大きさ(面積)、領域の形状等である。そして、第1の時系列データは、存在領域情報と撮影時刻とが対応付けられた組のデータ群である。また、第1の時系列データは、複数の被写体のそれぞれについての撮影時刻ごとの存在領域情報(時系列データ)を含んでも良い。
 例えば、取得部110は、外部装置において予め複数の画像データから被写体の存在領域情報が抽出された時系列の被写体データを、当該外部装置から受信する。または、取得部110は、情報処理装置100が内蔵する記憶装置(不図示)に格納された第1の時系列データを読み出すことにより取得してもよい。
 データ集合生成部120は、第1の時系列データのうち特定の被写体に関する存在領域情報から、所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する。例えば、時間幅が3つの場合、データ集合生成部120は、所定期間の開始時点から第1の時間幅までの特定の被写体に関する存在領域情報を第1のデータ集合として生成する。同様に、データ集合生成部120は、所定期間の開始時点から第2の時間幅、第3の時間幅のそれぞれまでの特定の被写体に関する存在領域情報を第2のデータ集合、第3のデータ集合として生成する。つまり、データ集合生成部120は、予め定められた時間幅の個数分の、異なる要素数のデータ集合を生成する。また、各データ集合は、開始時点が共通する。尚、時間幅は、時分割幅と呼ぶこともできる。
 推定部130は、複数のデータ集合のそれぞれにおける存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における対象空間内の当該被写体に関する分布の分析精度を、複数の時間幅ごとに推定する。ここで、データ集合から代表データへの集約とは、データ集合内の複数の存在領域情報から代表値を算出し、複数の存在領域情報を破棄して代表値に置き換えることをいう。つまり、集約によりデータ量が削減される。ここで、代表値は、平均値、最頻値、中央値等であっても良く、標本の分布の特徴を代表的に表す統計量(要約統計量)といえる。また、被写体に関する分布とは、例えば、対象空間内の被写体の存在位置の分布や、領域サイズの分布等である。分布の分析精度とは、集約前のデータ集合に対して被写体に関する分布の分析を行った場合と比べて、集約後の代表データに対して当該分布の分析を行った場合の精度の低下度合いである。尚、推定部130は、実際には集約を行わず、各データ集合に対して代表データへの集約を行ったと仮定して、分析精度の推定を行うものである。
 決定部140は、各データ集合における集約によるデータ削減度合い及び分析精度に基づいて、集約対象の時間幅を決定する。データ集合における集約によるデータ削減度合いとは、データ集合から代表データへの集約を行った場合に、削減されるデータ量の度合いを推定したものである。そして、決定部140は、複数の時間幅の中から、データ削減度合いと分析精度の双方のバランスが良いものを、集約対象の時間幅として決定する。
 集約部150は、決定された時間幅に対応するデータ集合に対して代表データへの集約を行う。すなわち、集約部150は、上述したように、決定された時間幅に対応するデータ集合内の複数の存在領域情報から代表値を算出することによりデータの集約を行う。
 図2は、本実施形態1にかかるデータ集約方法の流れを示すフローチャートである。まず、取得部110は、対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する(S11)。次に、データ集合生成部120は、第1の時系列データのうち特定の被写体に関する存在領域情報から、所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する(S12)。そして、推定部130は、複数のデータ集合のそれぞれにおける存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における対象空間内の当該被写体に関する分布の分析精度を、複数の時間幅ごとに推定する(S13)。そして、決定部140は、各データ集合における集約によるデータ削減度合い及び分析精度に基づいて、集約対象の時間幅を決定する(S14)。その後、集約部150は、決定された時間幅に対応するデータ集合に対して代表データへの集約を行う(S15)。
 このように、本実施形態では、時系列の被写体データに対して異なる複数の時間幅の被写体のデータ集合を生成し、各データ集合について集約を行った場合の分析精度を求める。また、時間幅ごとのデータ削減度合いも用いる。そして、分析精度とデータ削減度合いを加味した上で、時間幅を決定し、決定した時間幅における被写体のデータ集合に対して集約を行う。そのため、所定期間に撮影された複数の画像に含まれる特定の被写体に関する分布の分析精度の低下を抑制しつつ、データ量を削減することができる。
 尚、情報処理装置100は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかるデータ集約方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込み、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部110、データ集合生成部120、推定部130、決定部140及び集約部150の機能を実現する。
 または、取得部110、データ集合生成部120、推定部130、決定部140及び集約部150は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
 また、情報処理装置100の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置100の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
 本実施形態2は、上述した実施形態1の具体的な実施例である。
 ここで、本開示が解決しようとする課題について詳述する。まず、上述した通り、被写体に関する時系列の大量のセンシングデータから、対象空間内の被写体に関する分布(存在位置や大きさ)を分析し、危険な状態や不審な行動等を検出する技術の必要性が高まっている。
 図3は、被写体の存在位置の分布の概念を説明するための図である。ここでは、対象空間を平面でとらえて、当該平面をメッシュ状に複数の矩形領域に分割した上で、分析対象期間内における各領域に存在した被写体の数を概念的に示している。例えば、領域Xは、他の領域より被写体が密集しており混在しているため、危険性が高い箇所であることが分析できる。
 しかし、このような分析を行うには、大量のセンシングデータ(被写体データ)を蓄積するために大量の記憶容量が必要となり、また、分析の処理量も増大する。例えば、フレームごとに生成される被写体データは、短期間で増大するため、蓄積には大量のストレージが必要となる。また、データ量の増加に合わせて、統計分析に必要な処理量も増加する。
 そこで、蓄積するセンシングデータを集約により圧縮することが考えられる。しかしながら、センシングデータを集約すると、データが欠損するため、分析精度の低下を招き易い。
 図4は、関連技術により発生し得る課題を説明するための図である。左側の集約前の被写体データPは、例えば、1FPS(Frame Per Second)で連続して撮影された11画像のそれぞれに含まれる同一の被写体の存在領域の中心座標の集合である。そして、被写体データPは、中央上部部金から右下方向へ蛇行しながら移動した軌跡を示すものともいえる。集約前の被写体データPは6領域を経由しており、被写体の分布は、11秒間に6領域となる。
 そして、被写体データPを集約するために、一定の時間幅で分割する。例えば、時間幅を3秒間とすると、分割後の被写体データは、3座標ずつ(最後は2座標)のデータ集合となる。そして、各データ集合から代表データを生成する。例えば、3座標のうち中間の時刻に対応する座標を代表データとする。そのため、右側の集約後の被写体データは、代表データP1、P2、P3、P4となる。この場合、集約後の被写体データの分布は、11秒間に4領域となり、領域X1及びX2には被写体が存在しなかったことになる。つまり、集約により、領域X1及びX2における被写体データが欠損し、被写体の存在位置の分布の分析精度が低下したことになる。
 そこで、本実施形態2は、上述した課題の少なくとも一部を解決するためになされたものである。図5は、本実施形態2にかかる分析システム200の全体構成を示すブロック図である。分析システム200は、映像配信装置10と接続された解析装置20と、データ集約装置30と、データ記憶装置40と、データ分析装置50とを備える。
 映像配信装置10は、複数の被写体が存在する対象空間の所定の位置に設置された撮影装置により所定間隔で撮影された画像を、少なくとも解析装置20に対して送信する。映像配信装置10は、ネットワークを介して解析装置20に対して映像として配信してもよい。
 解析装置20は、映像配信装置10から連続して受信した複数の画像を解析して、各画像に含まれる複数の被写体のそれぞれにおける対象空間内の存在領域情報を抽出し、時系列データ(被写体データ)としてデータ集約装置30へ出力する。ここで、存在領域情報は、例えば、被写体の存在領域を近似した矩形座標であり、被写体データは、撮影時刻と、被写体のIDと、矩形座標とが対応付けられているものとする。
 データ集約装置30は、上述した情報処理装置100の一例であり、解析装置20から受信した被写体データを一定時間分バッファし、データ集約処理を行い、集約後の被写体データ(代表データ)をデータ記憶装置40へ格納する。尚、データ集約装置30の内部構成は、後述する。
 データ記憶装置40は、集約後の被写体データを記憶するストレージ装置、つまり不揮発性記憶装置である。尚、データ記憶装置40は、2以上の記憶装置からなるストレージシステムであってもよい。
 データ分析装置50は、データ記憶装置40に記憶された代表データから対象空間内の被写体に関する分布を分析する。ここで、本実施形態にかかるデータ分析装置50は、被写体の存在位置の分布を分析するものとするが、分布はこれに限定されない。尚、映像配信装置10、解析装置20、データ集約装置30及びデータ分析装置50のそれぞれは、1以上の情報処理装置で実現可能である。また、解析装置20、データ集約装置30及びデータ分析装置50は、一部が共通の情報処理装置上で実現されてもよい。
 図6は、本実施形態2にかかるデータ集約装置30の構成を示すブロック図である。データ集約装置30は、記憶装置31と、制御部32と、メモリ33と、通信部34とを備える。記憶装置31は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。記憶装置31は、被写体データ311、時間幅312及びデータ集約プログラム313を記憶する。
 被写体データ311は、解析装置20から受信した時系列データである。時間幅312は、予め設定された複数の時間幅の定義情報である。時間幅312は、例えば、5秒幅、10秒幅、20秒幅及び40秒幅が挙げられるが、これに限定されず、2以上の任意の幅であってもよい。
 データ集約プログラム313は、本実施形態にかかるデータ集約方法の処理が実装されたコンピュータプログラムである。
 メモリ33は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部32の動作時に一時的に情報を保持するための記憶領域である。通信部34は、データ集約装置30の外部との入出力を行うインタフェースである。例えば、通信部34は、解析装置20から受信したデータを制御部32へ出力し、制御部32から受け付けたデータをデータ記憶装置40へ出力する。
 制御部32は、情報処理装置100の各構成を制御するプロセッサつまり制御装置である。制御部32は、記憶装置31からデータ集約プログラム313をメモリ33へ読み込み、データ集約プログラム313を実行する。これにより、制御部32は、取得部321、データ集合生成部322、推定部323、決定部324及び集約部325の機能を実現する。
 取得部321は、上述した取得部110の一例であり、解析装置20から被写体データを取得する。そして、取得部321は、取得した被写体データを記憶装置31に保存する。
 データ集合生成部322は、上述したデータ集合生成部120の一例である。データ集合生成部322は、被写体データ(第1の時系列データ)を被写体ごとの複数のグループに分類し、各グループに対して複数のデータ集合を生成する。これにより、複数の被写体データが混在する時系列データに対して、被写体ごとに精度よく、集約を行うことができる。また、データ集合生成部322は、決定部324による決定後、開始時点から、決定された時間幅を経過した時点を次の開始時点とする。そして、データ集合生成部322は、取得部321が次の開始時点から所定期間の分の第2の時系列データを取得した後に、当該第2の時系列データから次の時間幅を決定するために、次の複数のデータ集合を生成する。これにより、適切な時間幅をよりきめ細かく決定できる。
 推定部323は、上述した推定部130一例である。推定部323は、各データ集合のそれぞれから代表データへの集約を行った場合における当該代表データ以外の情報の欠損度合いに基づき、分析精度を推定する。これにより、分析精度の推定精度が向上する。特に、本実施形態にかかる推定部323は、対象空間内の特定の被写体の位置の移動度合いに基づいて、複数のデータ集合のそれぞれを代表データに集約を行った場合における対象空間内の当該被写体の存在位置の分布の分析精度を、複数の時間幅ごとに推定する。また、推定部323は、各時間幅についてデータ削減率を推定する。尚、分類精度及びデータ削減率の算出方法の例は後述する。
 決定部324は、上述した決定部140の一例であり、複数の時間幅のそれぞれについて、集約によるデータ削減度合いと、分析精度とを加味した指標値を算出し、最も良い指標値に対応する時間幅を集約対象の時間幅として決定する。これにより、システム要求をより満たす時間幅をより精度よく決定できる。特に、本実施形態にかかる推定部323は、推定した分類精度及びデータ削減率に基づいて、時間幅ごとの充足度を指標値として算出する。ここで、充足度は、分類精度及びデータ削減率を総合的に加味した場合に、どの程度満たすかを示す指標値の一例である。尚、充足度の算出方法の例は後述する。
 集約部325は、上述した集約部150の一例であり、決定された時間幅に対応するデータ集合に対して代表データへの集約を行う。そして、集約部325は、集約した代表データをデータ記憶装置40に格納する。
 図7は、本実施形態2にかかる画像から被写体に関する分布を分析する処理の流れを示すシーケンス図である。まず、映像配信装置10は、対象空間から撮影された画像データを解析装置20へ送信する(S21)。
 次に、解析装置20は、受信した画像データを解析して被写体データを抽出する(S22)。例えば、解析装置20は、画像データから特徴点を抽出し、各特徴点の集合を被写体と認識し、各被写体の特徴点の存在領域を近似した矩形領域を特定する。そして、解析装置20は、矩形領域と被写体のIDと撮影時刻とを対応付けて被写体データとする。その後、解析装置20は、被写体データをデータ集約装置30へ出力する(S23)。
 データ集約装置30は、受信した被写体データに対してデータ集約処理を行う(S24)。図8は、本実施形態2にかかるデータ集約処理の流れを示すフローチャートである。まず、取得部321は、解析装置20から所定期間分の被写体データを受信する(S241)。このとき、被写体データには、複数の被写体に関する存在領域情報が含まれているものとする。また、所定期間とは、例えば、時間幅の最大値40秒間以上であるものとする。図9は、本実施形態2にかかる入力される被写体データobjの概念を説明するための図である。被写体データobjは、被写体ID=1、2,3の3名の被写体についての存在領域情報が撮影時刻と対応付けられていることを示す。
 次に、データ集合生成部322は、被写体データを同一の被写体ごとにグループ化する(S242)。例えば、データ集合生成部322は、被写体データ内の各被写体IDと対応付けられた矩形領域を、対応する被写体IDのグループ(例えば、配列)に分類する。図10は、本実施形態2にかかる被写体データを被写体IDごとにグループ分けした場合の概念を説明するための図である。例えば、データ集合生成部322は、被写体ID=1に対応付けられた矩形領域を被写体ID=1の被写体グループg1に分類する。同様に、データ集合生成部322は、被写体ID=2に対応付けられた矩形領域を被写体ID=2の被写体グループg2に分類する。また、データ集合生成部322は、被写体ID=3に対応付けられた矩形領域を被写体ID=3の被写体グループg3に分類する。
 そして、データ集合生成部322は、グループごとに、開始時点から複数の時間幅分のデータ集合を生成する(S243)。図11は、本実施形態2にかかる時間幅ごとの被写体データ群の概念を説明するための図である。ここでは、被写体グループg1について説明するが、被写体グループg2及びg3についても同様に、時間幅の個数のデータ集合が生成される。また、時間幅312は、時間幅tw11(5秒間)、時間幅tw12(10秒間)、時間幅tw13(20秒間)、時間幅tw14(40秒間)の4つであるものとする。
 例えば、データ集合生成部322は、被写体グループg1の開始時点から5秒間までを抽出し、データ集合D11とする。同様に、データ集合生成部322は、被写体グループg1の開始時点から10秒間、20秒間及び40秒間のそれぞれまでを抽出し、データ集合D12、D13及びD14とする。
 その後、推定部323及び決定部324は、各データ集合について、充足度算出処理を行う(S244)。図12は、本実施形態2にかかる充足度算出処理の流れを示すフローチャートである。ここでは、データ集合D11を対象として説明するが、データ集合D12、D13及びD14についても同様である。
 まず、推定部323は、データ集合D11から被写体の移動距離を算出する(S2441)。例えば、推定部323は、データ集合D11内の各被写体データのうち、中心座標の移動距離の最大値を算出する。次に、推定部323は、移動距離の最大値から分析精度モデルに基づき分析精度を推定する(S2442)。ここで、分析精度モデルは、被写体データから代表データへの集約を行った場合の対象空間内の被写体の存在位置の分布を分析した場合の精度をモデル化したものである。分析精度モデルは、例えば、過去のデータ集合、集約後の代表データ及び代表データに対する分析精度の組合せと、集約前のデータ集合に対する分析精度との実績データからユーザが定式化しても良い。または、分析精度モデルは、これらの実績データから機械学習により学習した学習済みモデルであってもよい。
 図13は、本実施形態2にかかる被写体データの分析精度モデルの例を示す図である。ここでは、分析精度モデルに移動距離の最大値を入力することで、対応する分析精度が特定できることを示す。
 図14は、本実施形態2にかかる被写体データの時間幅に応じた集約による分布の分析精度の低下度合いの例を示す図である。データ集合D11は、移動距離の最大値が50pxであるため、この範囲で集約を行った上で分布を分析した場合、時間幅tw11(5秒間)に通過したがカウントされないメッシュ(欠損するメッシュ)が発生し難いことを示す。一方、データ集合D14は、移動距離の最大値が500pxであるため、この範囲で集約を行った上で分布を分析した場合、時間幅tw14(40秒間)に通過したがカウントされないメッシュ(欠損するメッシュ)が発生し易いことを示す。そのため、時間幅tw11の方が時間幅tw14よりも分析精度が高いといえる。
 図15は、本実施形態2にかかる時間幅ごとの分析精度の例を示す図である。図15は、時間幅5秒間、10秒間、20秒間及び40秒間のそれぞれについて、移動距離の最大値と、各最大値から分析精度モデルにより推定された分析精度を表で示したものである。この例では、時間幅が短いほど、分析精度が高いことが示されている。
 図12に戻り説明を続ける。推定部323は、データ集合に対応する時間幅からデータ削減率モデルに基づきデータ削減率を推定する(S2443)。ここで、データ削減率モデルは、時間幅ごとに、被写体データを集約した場合のデータ削減率をモデル化したものである。データ削減率モデルは、例えば、過去のフレームレート、時間幅ごとの集約データ数等の実績データからユーザが定式化しても良い。または、データ削減率モデルは、これらの実績データから機械学習により学習した学習済みモデルであってもよい。以下の例では、データ削減率モデルとして、データ削減率=1-1/(時間幅)という式を用いるが、これに限定されない。図16は、本実施形態2にかかる時間幅に応じたデータ削減率モデルの例を示す図である。
 図17は、本実施形態2にかかる時間幅ごとのデータ削減率の例を示す図である。図17は、時間幅5秒間、10秒間、20秒間及び40秒間のそれぞれから推定(算出)されたデータ削減率を表で示したものである。
 図12に戻り説明を続ける。決定部324は、推定した分析精度及びデータ削減率から充足度を算出する(S2444)。具体的には、決定部324は、推定した分析精度aから、分析精度の充足度モデルに基づき分析精度の充足度Saを算出する。ここで、分析精度の充足度モデルは、システム要求に基づきユーザが定式化しても良い。
 図18は、本実施形態2にかかる分析精度の充足度モデルの例を示す図である。当該充足度モデルは、分析精度aが0.5以下の場合はシステム要求を充足しないとして充足度Sa=0となることを示す。尚、分析精度の充足度モデルはこれに限定されない。
 併せて、決定部324は、推定したデータ削減率bから、データ削減率の充足度モデルに基づきデータ削減率の充足度Sbを算出する。ここで、データ削減率の充足度モデルは、システム要求に基づきユーザが定式化しても良い。
 図19は、本実施形態2にかかるデータ削減率の充足度モデルの例を示す図である。当該充足度モデルは、データ削減率bが0.7程度までは充足度Sbが概ね一定値とし、データ削減率bが0.8や0.9に近づくと充足度Sbが急上昇することを示す。尚、データ削減率の充足度モデルはこれに限定されない。
 その後、決定部324は、算出した分析精度の充足度Saとデータ削減率の充足度Sbから全体の充足度cを算出する。決定部324は、例えば、分析精度の充足度Saとデータ削減率の充足度Sbを乗算して全体の充足度cを算出する。
 ここで、ステップS244の充足度算出処理は、グループごとに実行される。そのため、決定部324は、被写体グループg1からg3のそれぞれについて、全体の充足度cを算出する。
 図8に戻り説明を続ける。決定部324は、グループごとに、最も充足度が高いデータ集合を集約対象として決定する(S245)。つまり、決定部324は、被写体グループg1からg3のそれぞれについて、各時間幅において算出された全体の充足度cの中から最も高い充足度を選択し、選択した充足度に対応するデータ集合を集約対象として決定する。
 図20は、本実施形態2にかかる時間幅ごとの充足度の例を示す図である。例えば、分析精度の充足度Saのうち最も高いのは時間幅5秒における0.90であり、最も低いのは時間幅40秒における0.0である。また、データ削減率の充足度Sbのうち最も高いのは時間幅40秒における0.9であり、最も低いのは時間幅5秒における0.5である。そして、充足度Saと充足度Sbから算出される全体の充足度cのうち最も高いのは時間幅10秒における0.595であることを示す。つまり、時間幅10秒の場合、4つの時間幅の中で分析精度及びデータ削減率のいずれも最高値ではないが、総合的には最もシステム要求を満たすことを示す。
 図8に戻り説明を続ける。集約部325は、グループごとに、ステップS245で決定した時間幅により被写体データを分割する(S246)。例えば、被写体グループg1について時間幅10秒が決定された場合、集約部325は、被写体グループg1のデータ集合に対して開始時点から10秒間のデータ(前半)と残りのデータとに分割する。被写体グループg2及びg3についても同様である。
 図21は、本実施形態2にかかる被写体データg1の次の時分割の開始点の概念を説明するための図である。ここでは、集約部325は、被写体グループg1の前半を時間幅tw12(10秒間)のデータ集合D12として分割する。尚、データ集合D12は、ステップS242で生成されたものを用いても良い。そして、データ集合生成部322は、開始時点から10秒後を次の開始時点とする。
 図8に戻り説明を続ける。集約部325は、グループごとに、分割された(前半の)被写体データに対して代表データに集約する(S247)。
 図7に戻り説明を続ける。データ集約装置30は、集約した代表データをデータ記憶装置40に出力する(S25)。そして、データ記憶装置40は、データ集約装置30から受け付けた代表データを記憶領域に蓄積する(S26)。
 その後、データ分析装置50は、データ記憶装置40に記憶された代表データを読み出し(S27)、代表データに対してデータ分析処理を行う(S28)。例えば、データ分析装置50は、複数の代表データが示す矩形座標に基づき、対象空間に対応する平面のメッシュ状の複数の矩形領域のいずれかに各代表データの被写体を振り分けて、被写体の存在位置の分布を分析する。
 ここで、データ分析装置50は、例えば10分間隔でデータ分析処理を行う。データ分析処理の間隔は、データ集約処理の実行間隔よりも長いことが望ましい。データ記憶装置40に代表データがある程度の件数蓄積されることで、より精度の高い分析ができるためである。一方、より早く分析を行うためには、代表データ件数が多くなり過ぎないうちに分析を行うことが望ましい。
 このように、本実施形態2は、対象空間内の特定の被写体の位置の移動度合いに基づいて、複数のデータ集合のそれぞれを代表データに集約を行った場合における対象空間内の当該被写体の存在位置の分布の分析精度を推定するものである。そのため、実施形態1の効果に加えて、分析によって、対象空間における混雑箇所を特定でき、危険可能性を予知し易くなる。
<実施形態3>
 本実施形態3は、上述した実施形態1の具体的な他の実施例であり、実施形態2の変形例である。尚、本実施形態3にかかる分析システムの構成は、図5と同等であるため、図示を省略し、共通する構成についての説明を省略する。
 図22は、本実施形態3にかかるデータ集約装置30aの構成を示すブロック図である。図22は、図6と比べて、データ集約プログラム313及び推定部323がデータ集約プログラム313a及び推定部323aに置き換わったものである。尚、その他の構成は、実施形態2と同等であるため、共通する構成についての説明を省略する。
 データ集約プログラム313aは、本実施形態3にかかる検索方法の処理が実装されたコンピュータプログラムである。
 推定部323aは、対象空間内の特定の被写体の領域サイズの変動度合いに基づいて、複数のデータ集合のそれぞれを代表データに集約を行った場合における対象空間内の当該被写体の領域サイズの分布の分析精度を、複数の時間幅ごとに推定する。
 図23は、本実施形態3にかかる充足度算出処理の流れを示すフローチャートである。図23は、図12と比べて、ステップSS441及びS2442がSS441a及びS2442aに置き換わったものである。尚、他のステップは図12と同様であるため、適宜説明を省略する。
 まず、推定部323aは、データ集合D11から被写体の大きさの変動を算出する(S2441a)。例えば、推定部323aは、データ集合D11内の各被写体データのうち、矩形領域の面積を算出する。次に、推定部323は、矩形領域の面積の最大又は最小の差を、大きさの変動値として算出する。
 そして、推定部323aは、大きさの変動値から分析精度モデルに基づき分析精度を推定する(S2442a)。ここで、分析精度モデルは、被写体データから代表データへの集約を行った場合の対象空間内の被写体の領域サイズの分布を分析した場合の精度をモデル化したものである。尚、分析精度モデルは、実施形態2と同様、ユーザが定式化するか、実績データから機械学習により学習した学習済みモデルであってもよい。以降、ステップS2443及びS2444は、図12と同様である。
 図24は、本実施形態3にかかる被写体データの分析精度モデルの例を示す図である。ここでは、分析精度モデルに被写体の大きさの変動値(最大又は最小)を入力することで、対応する分析精度が特定できることを示す。
 図25は、本実施形態3にかかる被写体データの大きさの変動の例を示す図である。データ集合D11は、時間幅tw11(5秒間)における被写体の大きさの変動が1.2倍であるため、被写体がカメラの前後に移動した距離が他の時間幅と比べて短いといえる。そのため、この範囲で集約を行った上で分布を分析した場合、分析でのデータ区間(bin)のデータ欠損が発生し難いことを示す。一方、データ集合D14は、時間幅tw14(40秒間)における被写体の大きさの変動が3.8倍であるため、被写体がカメラの前後に移動した距離が他の時間幅と比べて長いといえる。そのため、この範囲で集約を行った上で分布を分析した場合、分析でのデータ区間(bin)のデータ欠損が発生し易いことを示す。
 図26は、本実施形態3にかかる時間幅ごとの分析精度の例を示す図である。図26は、時間幅5秒間、10秒間、20秒間及び40秒間のそれぞれについて、被写体の大きさの変動と、各大きさの変動から分析精度モデルにより推定された分析精度を表で示したものである。この例では、時間幅が短いほど、分析精度が高いことが示されている。
 図27は、本実施形態3にかかる分析精度の充足度モデルの例を示す図である。当該充足度モデルは、分析精度aが0.2以下の場合はシステム要求を充足しないとして充足度Sa=0となることを示す。尚、分析精度の充足度モデルはこれに限定されない。
 尚、データ削減率モデル及びデータ削減率モデルの充足度モデルは、実施形態2と同様であり、例えば図17及び図19を用いることができる。
 図28は、本実施形態3にかかる時間幅ごとの充足度の例を示す図である。例えば、分析精度の充足度Saのうち最も高いのは時間幅5秒における0.90であり、最も低いのは時間幅40秒における0.0である。また、データ削減率の充足度Sbのうち最も高いのは時間幅40秒における0.9であり、最も低いのは時間幅5秒における0.5である。そして、充足度Saと充足度Sbから算出される全体の充足度cのうち最も高いのは時間幅5秒における0.45であることを示す。つまり、時間幅5秒の場合、4つの時間幅の中でデータ削減率が最高値ではないが、総合的には最もシステム要求を満たすことを示す。
 このように、本実施形態では、被写体に関する分布として被写体の領域サイズの分布を分析するものである。ここで、被写体の(例えば上半身の)矩形領域は、実際の物理的なサイズの変動はほぼないものと仮定できる。一方で、同一の被写体が特定の場所に固定されたカメラにより撮影された場合、各撮影画像において、被写体の矩形領域の大きさの変動があるということは、被写体がカメラとの遠近の距離が変動したことを意味する。例えば、被写体の大きさが時系列に沿って大きくなれば、被写体はカメラの遠くから近くへ移動したとみなせる。そして、被写体のカメラとの距離間の分析を行うことで、カメラによる顔認識等で人物特定可能な撮影品質(大きさ、解像度)であるかを判定できる。例えば、ある被写体について、大きさの分布の7割が所定の大きさ(200px×200px)以上であれば、カメラにより適切に撮影できていると判定できる。
 そこで、本実施形態では、被写体の領域サイズの変動度合いがより小さいほど、カメラに対する遠近方向の移動が少ないとみなし、集約によるデータ欠損が少なく、分析精度が高いと推定できる。これにより、カメラの設置位置、設定等の改善ができる。
<その他の実施形態>
 なお、上記実施形態において、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他の回路で構成することができ、ソフトウェア的には、CPUがメモリにロードして実行するプログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
 また、上記のプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Compact Disc-Read Only Memory)、CD-R(CD-Recordable)、CD-R/W(CD-ReWritable)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
 (付記A1)
 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する取得部と、
 前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、
 前記複数のデータ集合のそれぞれに含まれる前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、
 各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、
 前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、
 を備える情報処理装置。
 (付記A2)
 前記推定部は、
 各データ集合のそれぞれから代表データへの集約を行った場合における当該代表データ以外の情報の欠損度合いに基づき、前記分析精度を推定する
 付記A1に記載の情報処理装置。
 (付記A3)
 前記決定部は、
 前記複数の時間幅のそれぞれについて、前記集約によるデータ削減度合いと、前記分析精度とを加味した指標値を算出し、
 最も良い前記指標値に対応する時間幅を前記集約対象の時間幅として決定する
 付記A1又はA2に記載の情報処理装置。
 (付記A4)
 前記データ集合生成部は、
 前記開始時点から前記決定された時間幅を経過した時点を次の開始時点とし、
 前記取得部が前記次の開始時点から前記所定期間の分の第2の時系列データを取得した後に、当該第2の時系列データから次の時間幅を決定するために前記複数のデータ集合を生成する
 付記A1乃至A3のいずれか1項に記載の情報処理装置。
 (付記A5)
 前記推定部は、
 前記対象空間内の前記特定の被写体の位置の移動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の存在位置の分布の分析精度を、前記複数の時間幅ごとに推定する
 付記A1乃至A4のいずれか1項に記載の情報処理装置。
 (付記A6)
 前記推定部は、
 前記対象空間内の前記特定の被写体の領域サイズの変動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の領域サイズの分布の分析精度を、前記複数の時間幅ごとに推定する
 付記A1乃至A4のいずれか1項に記載の情報処理装置。
 (付記A7)
 前記第1の時系列データは、2以上の前記被写体における当該対象空間内の存在領域情報を含み、
 前記データ集合生成部は、
 前記第1の時系列データを被写体ごとの複数のグループに分類し、
 各グループに対して前記複数のデータ集合を生成する
 付記A1乃至A6のいずれか1項に記載の情報処理装置。
 (付記B1)
 1以上の被写体が存在する対象空間から所定期間に撮影された複数の画像を解析して、被写体における当該対象空間内の存在領域情報を含む第1の時系列データを出力する解析装置と、
 前記解析装置から前記第1の時系列データを取得する取得部と、前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、を備えるデータ集約装置と、
 前記集約された前記代表データを記憶する記憶装置と、
 前記記憶装置に記憶された前記代表データから前記対象空間内の前記被写体に関する分布を分析するデータ分析装置と、
 を備える分析システム。
 (付記C1)
 コンピュータが、
 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得し、
 前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成し、
 前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定し、
 各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定し、
 前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う、
 データ集約方法。
 (付記D1)
 対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する処理と、
 前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する処理と、
 前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する処理と、
 各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する処理と、
 前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う処理と、
 をコンピュータに実行させるデータ集約プログラムが格納された非一時的なコンピュータ可読媒体。
 以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 100 情報処理装置
 110 取得部
 120 データ集合生成部
 130 推定部
 140 決定部
 150 集約部
 X 領域
 P 被写体データ
 P1 代表データ
 P2 代表データ
 P3 代表データ
 P4 代表データ
 X1 領域
 X2 領域
 10 映像配信装置
 20 解析装置
 30 データ集約装置
 30a データ集約装置
 40 データ記憶装置
 50 データ分析装置
 200 分析システム
 31 記憶装置
 311 被写体データ
 312 時間幅
 313 データ集約プログラム
 313a データ集約プログラム
 32 制御部
 321 取得部
 322 データ集合生成部
 323 推定部
 323a 推定部
 324 決定部
 325 集約部
 33 メモリ
 34 通信部
 obj 被写体データ
 g1 被写体グループ
 g2 被写体グループ
 g3 被写体グループ
 tw11 時間幅
 tw12 時間幅
 tw13 時間幅
 tw14 時間幅
 tw21 時間幅
 tw22 時間幅
 tw23 時間幅
 tw24 時間幅
 D11 データ集合
 D12 データ集合
 D13 データ集合
 D14 データ集合
 D21 データ集合
 D22 データ集合
 D23 データ集合
 D24 データ集合

Claims (10)

  1.  対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する取得部と、
     前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、
     前記複数のデータ集合のそれぞれに含まれる前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、
     各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、
     前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、
     を備える情報処理装置。
  2.  前記推定部は、
     各データ集合のそれぞれから代表データへの集約を行った場合における当該代表データ以外の情報の欠損度合いに基づき、前記分析精度を推定する
     請求項1に記載の情報処理装置。
  3.  前記決定部は、
     前記複数の時間幅のそれぞれについて、前記集約によるデータ削減度合いと、前記分析精度とを加味した指標値を算出し、
     最も良い前記指標値に対応する時間幅を前記集約対象の時間幅として決定する
     請求項1又は2に記載の情報処理装置。
  4.  前記データ集合生成部は、
     前記開始時点から前記決定された時間幅を経過した時点を次の開始時点とし、
     前記取得部が前記次の開始時点から前記所定期間の分の第2の時系列データを取得した後に、当該第2の時系列データから次の時間幅を決定するために前記複数のデータ集合を生成する
     請求項1乃至3のいずれか1項に記載の情報処理装置。
  5.  前記推定部は、
     前記対象空間内の前記特定の被写体の位置の移動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の存在位置の分布の分析精度を、前記複数の時間幅ごとに推定する
     請求項1乃至4のいずれか1項に記載の情報処理装置。
  6.  前記推定部は、
     前記対象空間内の前記特定の被写体の領域サイズの変動度合いに基づいて、前記複数のデータ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体の領域サイズの分布の分析精度を、前記複数の時間幅ごとに推定する
     請求項1乃至4のいずれか1項に記載の情報処理装置。
  7.  前記第1の時系列データは、2以上の前記被写体における当該対象空間内の存在領域情報を含み、
     前記データ集合生成部は、
     前記第1の時系列データを被写体ごとの複数のグループに分類し、
     各グループに対して前記複数のデータ集合を生成する
     請求項1乃至6のいずれか1項に記載の情報処理装置。
  8.  1以上の被写体が存在する対象空間から所定期間に撮影された複数の画像を解析して、被写体における当該対象空間内の存在領域情報を含む第1の時系列データを出力する解析装置と、
     前記解析装置から前記第1の時系列データを取得する取得部と、前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成するデータ集合生成部と、前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する推定部と、各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する決定部と、前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う集約部と、を備えるデータ集約装置と、
     前記集約された前記代表データを記憶する記憶装置と、
     前記記憶装置に記憶された前記代表データから前記対象空間内の前記被写体に関する分布を分析するデータ分析装置と、
     を備える分析システム。
  9.  コンピュータが、
     対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得し、
     前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成し、
     前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定し、
     各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定し、
     前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う、
     データ集約方法。
  10.  対象空間から所定期間に撮影された複数の画像に含まれる1以上の被写体における当該対象空間内の存在領域情報を含む第1の時系列データを取得する処理と、
     前記第1の時系列データのうち特定の被写体に関する前記存在領域情報から、前記所定期間の開始時点から異なる複数の時間幅までの複数のデータ集合を生成する処理と、
     前記複数のデータ集合のそれぞれにおける前記存在領域情報に基づいて、各データ集合のそれぞれから代表データへの集約を行った場合における前記対象空間内の当該被写体に関する分布の分析精度を、前記複数の時間幅ごとに推定する処理と、
     各データ集合における前記集約によるデータ削減度合い及び前記分析精度に基づいて、集約対象の時間幅を決定する処理と、
     前記決定された時間幅に対応するデータ集合に対して前記代表データへの集約を行う処理と、
     をコンピュータに実行させるデータ集約プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2019/012342 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体 WO2020194421A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/012342 WO2020194421A1 (ja) 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体
US17/439,496 US11836147B2 (en) 2019-03-25 2019-03-25 Information processing apparatus, analysis system, data aggregation method, and computer readable medium
JP2021508400A JP7180750B2 (ja) 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びデータ集約プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012342 WO2020194421A1 (ja) 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2020194421A1 true WO2020194421A1 (ja) 2020-10-01

Family

ID=72610721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012342 WO2020194421A1 (ja) 2019-03-25 2019-03-25 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US11836147B2 (ja)
JP (1) JP7180750B2 (ja)
WO (1) WO2020194421A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JPH11149313A (ja) * 1997-06-11 1999-06-02 Hitachi Ltd プラントデータ管理方法及び装置
JP2004020392A (ja) * 2002-06-17 2004-01-22 Nippon Signal Co Ltd:The 移動距離算出装置、移動距離算出方法、及び移動距離算出プログラム
JP2008146151A (ja) * 2006-12-06 2008-06-26 Sumitomo Electric System Solutions Co Ltd 走行データ収集装置、収集プログラム及び方法
JP2019032588A (ja) * 2017-08-04 2019-02-28 セコム株式会社 画像解析装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
JP4590975B2 (ja) 2004-08-10 2010-12-01 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP5016352B2 (ja) 2007-03-30 2012-09-05 パナソニック株式会社 活動量計
JP4656199B2 (ja) 2008-07-22 2011-03-23 カシオ計算機株式会社 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP4733756B2 (ja) 2009-04-28 2011-07-27 本田技研工業株式会社 車両周辺監視装置
US9047759B2 (en) * 2010-11-25 2015-06-02 Panasonic Intellectual Property Corporation Of America Communication device
EP3309751B1 (en) * 2015-06-12 2022-04-20 Sony Group Corporation Image processing device, method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JPH11149313A (ja) * 1997-06-11 1999-06-02 Hitachi Ltd プラントデータ管理方法及び装置
JP2004020392A (ja) * 2002-06-17 2004-01-22 Nippon Signal Co Ltd:The 移動距離算出装置、移動距離算出方法、及び移動距離算出プログラム
JP2008146151A (ja) * 2006-12-06 2008-06-26 Sumitomo Electric System Solutions Co Ltd 走行データ収集装置、収集プログラム及び方法
JP2019032588A (ja) * 2017-08-04 2019-02-28 セコム株式会社 画像解析装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAN MIKAMI, OTSUKA KAZUHIRO, PARTICLE JUNJI YAMATO, PARTICLE FILTERM-PF, FILTERPF M, -PF, M-PF, D: "Memory-based particle filter: Robust visual tracking based on prior prediction using past state history", THE IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol. J93-D, no. 8, August 2010 (2010-08-01), pages 1313 - 1328, XP055744121 *

Also Published As

Publication number Publication date
JP7180750B2 (ja) 2022-11-30
US11836147B2 (en) 2023-12-05
US20220156261A1 (en) 2022-05-19
JPWO2020194421A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
TWI508004B (zh) 物體計數器及計數物體之方法
JP6969871B2 (ja) 移動状況推定装置、移動状況推定方法およびプログラム
US8558903B2 (en) Accelerometer / gyro-facilitated video stabilization
EP2549738B1 (en) Method and camera for determining an image adjustment parameter
US7567704B2 (en) Method and apparatus for identifying physical features in video
US11558549B2 (en) Methods and devices for capturing high-speed and high-definition videos
US20200242780A1 (en) Image processing apparatus, image processing method, and storage medium
JPWO2018061976A1 (ja) 画像処理装置
JPWO2019208411A1 (ja) データ解析装置、精度推定装置、データ解析方法およびプログラム
US20220392228A1 (en) People flow analysis apparatus, people flow analysis method, and storage medium
US11205078B2 (en) System for computationally efficient analysis of traffic details in traffic video stream and a method thereof
WO2020194421A1 (ja) 情報処理装置、分析システム、データ集約方法及びコンピュータ可読媒体
KR20160107417A (ko) 유해 동영상 탐지 방법 및 장치
US20180204071A1 (en) Information processing apparatus, information processing method, and recording medium
JP5002575B2 (ja) 非定常度推定装置、非定常度推定方法、非定常度推定プログラム
WO2018037479A1 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
KR20140045834A (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
JP7131690B2 (ja) 制御装置、制御方法、及びプログラム
JP2012128693A (ja) 映像処理装置、映像処理方法およびプログラム
CN113160027A (zh) 一种图像处理模型训练方法及装置
JP4924423B2 (ja) 特徴量の予測誤差に基づいて動画像のカット点を検出する装置
US11631183B2 (en) Method and system for motion segmentation
WO2022259541A1 (ja) 監視システム、映像品質設定方法、群衆行動解析サーバ及び群衆行動解析プログラムが格納されるコンピュータ読み取り可能な非一時的記録媒体
JP6439571B2 (ja) 交通情報収集装置、交通情報収集方法、および交通情報収集プログラム
CN116489317B (zh) 基于摄像装置的物体侦测方法、系统以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921992

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508400

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921992

Country of ref document: EP

Kind code of ref document: A1