WO2013128822A1 - 解析処理システム - Google Patents

解析処理システム Download PDF

Info

Publication number
WO2013128822A1
WO2013128822A1 PCT/JP2013/000796 JP2013000796W WO2013128822A1 WO 2013128822 A1 WO2013128822 A1 WO 2013128822A1 JP 2013000796 W JP2013000796 W JP 2013000796W WO 2013128822 A1 WO2013128822 A1 WO 2013128822A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis
engine
quality
processing
input
Prior art date
Application number
PCT/JP2013/000796
Other languages
English (en)
French (fr)
Inventor
有熊 威
小山 和也
山田 洋志
洋一 永井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014501999A priority Critical patent/JP6225896B2/ja
Priority to US14/379,541 priority patent/US20150030260A1/en
Publication of WO2013128822A1 publication Critical patent/WO2013128822A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an analysis processing system, and particularly relates to an analysis processing system configured by combining a plurality of analysis engines.
  • analysis engines that analyze various data have been developed.
  • various analysis engines such as an analysis engine that generates position information for tracing human flow lines from moving image data, an analysis engine that identifies a person from still image data, and an analysis engine that generates text data from audio data have been developed. Has been.
  • an analysis processing system that can obtain various analysis processing results from input data by combining a plurality of analysis engines of the same type or different types has been developed. For example, video data input from a camera is processed in parallel or in series using a person extraction engine, a flow line extraction engine, a face extraction engine, a face matching engine, etc., and an analysis process such as determining a person with a predetermined behavior is performed. It can be applied to the system to do.
  • an analysis processing system composed of a large number of analysis engines it is desirable that the accuracy of the analysis result is guaranteed to be a certain level or more, and the processing time is fast, such as the analysis result being output in real time. It is desirable that
  • Patent Document 1 discloses an image processing system in which an image providing apparatus and an image processing apparatus are connected.
  • the image providing apparatus and the image processing apparatus exchange information such as resolution, and the image providing apparatus transfers the requested resolution image to the image processing apparatus.
  • a technique is effective when data to be processed is transmitted and received between one-to-one devices, such as providing an image from an image providing device to an image processing device. It is difficult to apply to a system that processes a plurality of devices. Therefore, there is still a problem that it is difficult to design an analysis processing system configured by a plurality of analysis engines so as to satisfy appropriate analysis requirements.
  • an object of the present invention is to solve the above-described problem that it is difficult to design an analysis processing system including a plurality of analysis engines.
  • An analysis processing system is: Analysis processing execution means for controlling the operation of an analysis processing system configured by combining a plurality of analysis engines each performing predetermined analysis processing and executing analysis processing; The quality characteristics of the processing target data input for each of the analysis engines are determined so as to satisfy the accuracy requirements of the analysis results set in advance, and the analysis processing system is configured based on the determined quality characteristics.
  • Input quality adjusting means for adjusting the quality characteristics of the processing target data input to the analysis engine; With The analysis processing execution means controls the operation of the analysis processing system so as to input the processing target data having a quality corresponding to the quality characteristic adjusted by the input quality adjustment means to the predetermined analysis engine;
  • the configuration is as follows.
  • the program which is the other form of this invention is: An information processing apparatus that controls the operation of an analysis processing system configured by combining a plurality of analysis engines each performing predetermined analysis processing to execute analysis processing, The quality characteristics of the processing target data input for each of the analysis engines are determined so as to satisfy the accuracy requirements of the analysis results set in advance, and the analysis processing system is configured based on the determined quality characteristics.
  • Input quality adjusting means for adjusting the quality characteristics of the processing target data input to the analysis engine; Analysis processing for inputting the processing target data having the quality corresponding to the quality characteristic adjusted by the input quality adjusting means to the predetermined analysis engine, and controlling the operation of the analysis processing system to execute the analysis processing Execution means; It is a program for realizing.
  • an analysis processing method includes: An analysis processing method for executing an analysis process by controlling the operation of an analysis processing system configured by combining a plurality of analysis engines each performing a predetermined analysis process, The quality characteristics of the processing target data input for each of the analysis engines are determined so as to satisfy the accuracy requirements of the analysis results set in advance, and the analysis processing system is configured based on the determined quality characteristics. Adjusting the quality characteristics of the processing target data input to the analysis engine; The processing target data of quality corresponding to the adjusted quality characteristic is input to the predetermined analysis engine, and the analysis processing is executed by controlling the operation of the analysis processing system.
  • the configuration is as follows.
  • the present invention is configured as described above, so that it is easy to design an analysis processing system including a plurality of analysis engines.
  • FIG. 1 It is a block diagram which shows the structure of the analysis processing system in Embodiment 1 of this invention. It is a figure which shows an example of the data memorize
  • FIGS. 1 to 5 are diagrams for explaining the configuration of the analysis processing system in the present embodiment
  • FIGS. 6 to 10 are diagrams for explaining the operation of the analysis processing system.
  • the analysis processing system shown in FIG. 1 includes an analysis processing device 10 configured by one or a plurality of information processing devices, a plurality of analysis engines 20 that respectively perform predetermined analysis processing, and a plurality of cameras 30 that capture images. And a data acquisition unit 40 that acquires video captured by the camera 30.
  • the camera 30 is for acquiring video data (stream data) that is analysis target data in the present embodiment. For this reason, the camera 30 is installed at a plurality of preset locations, captures images of the locations, and outputs the captured image data to the data acquisition unit 40.
  • the analysis target data in the analysis processing system of the present invention is not limited to video data, and may be any data such as audio data and image data.
  • the data acquisition unit 40 acquires video data shot and output by the camera 30 with a preset quality, that is, with a preset resolution and frame rate. For example, the data acquisition unit 40 acquires video data with a resolution of 640 ⁇ 480 [dpi] and a frame rate of 30 [fps].
  • the analysis engine 20 performs analysis processing on video data that is analysis target data by controlling the operation of the analysis processing apparatus 10.
  • the analysis engine 20 in the present embodiment includes a thumbnail generation engine that generates a thumbnail image from video data, a moving body detection engine that detects a person from the video data, a person tracking engine that tracks the movement trajectory of the detected person, A face extraction engine that extracts a face portion of a detected person, and a face matching engine that specifies a person by matching the extracted face portion with a previously registered face.
  • the analysis engine 20 is not limited to performing the above-described analysis processing, and may perform other analysis processing.
  • the analysis processing device 10 includes an analysis processing execution unit 11 and a resolution determination unit 12 that are constructed by incorporating a program into the equipped arithmetic device.
  • the analysis processing device 10 includes a processing flow storage unit 15 and a characteristic information storage unit 16 in the storage device that is equipped.
  • each configuration will be described in detail.
  • the processing flow storage unit 15 stores an analysis processing flow representing an analysis order in which the plurality of analysis engines 20 described above are combined.
  • an example of the analysis processing flow stored in this embodiment is shown in FIGS.
  • the analysis processing flow in the present embodiment is first a still image of a predetermined size representing one scene of video data from the video data acquired by the data acquisition unit 40 by the thumbnail generation engine 21.
  • a thumbnail image is generated, and a series of flows F1 for storing the generated thumbnail image in the thumbnail storage unit 26 is provided.
  • the flow of analysis processing from the thumbnail generation engine 21 to the thumbnail storage unit 26, which is the series of flows F1 is performed as a serial flow portion (serial flow analysis engine unit) having a serial processing order. It is specified by the determination unit 12.
  • the thumbnail storage unit 26 is a partial function of the thumbnail generation engine 21 or a partial function of the analysis processing execution unit 11.
  • the moving object detection engine 22 detects moving objects such as a person based on preset criteria from the video data acquired by the data acquisition unit 40.
  • the person detected by the moving object detection engine 22 is tracked by the person tracking engine 23, and when it is determined that the movement trajectory of the person is the same as a specific trajectory based on a preset reference, an alert notification is sent.
  • An alert is sent to the supervisor or the like in the unit 27.
  • the face extraction engine 24 extracts a face portion from a person detected by the moving object detection engine 22 based on a preset criterion, and further registers in advance with the face portion extracted by the face matching engine 25. Whether the face data matches or not is checked, and if it matches, the alert notification unit 28 notifies an alert to the administrator or the like.
  • the alert notification units 27 and 28 are a part of functions of each analysis engine or a part of functions of the analysis processing execution unit 11.
  • the analysis process from the moving object detection engine 22 to the person tracking engine 23 / alert notification unit 27 and the analysis process from the moving object detection engine 22 to the face extraction engine 24 / face matching engine 25 / alert notification unit 28 are performed.
  • the flow F ⁇ b> 2 that is included in the resolution determination unit 12 is a serial flow part in which the processing order is in series as a whole, although the processing order is branched to the human tracking engine 23 and the face extraction engine 24 of the moving object detection engine 22. Identified.
  • the flow F21 of the analysis process from the person tracking engine 23 to the alert notification unit 27, which is further on the lower side from the lower branch point from the moving object detection engine 22, and the face extraction engine 24 to the face matching engine 25 / alert notification unit is specified by the resolution determination unit 12 described later as a serial subflow part (subflow analysis engine unit) having a serial processing order.
  • analysis processing flow stored in the processing flow storage unit 15 may be stored in the above-described graph expression, and as shown in FIG. 3, the analysis engine flow in which the processing target data acquired for each camera 30 flows. It may be composed of data representing the order.
  • the characteristic information storage unit 16 includes engine characteristic information in which the quality characteristic of the processing target data input to the analysis engine is associated with the accuracy characteristic of the analysis engine, and engine resource characteristic information indicating the resource characteristic of the analysis engine. I remember it.
  • the engine characteristic information includes, for each analysis engine, the quality characteristics indicating the quality of the analysis target data input to the analysis engine and the accuracy of the analysis result by the analysis engine when the analysis target data of the quality is input.
  • the accuracy characteristics to be represented are associated with each other.
  • FIG. 4 shows an example of engine characteristic information.
  • resolution [dpi] and frame rate [fps] are set as input information representing quality characteristics of video data that is analysis target data input to the analysis engine.
  • accuracy information that represents the accuracy characteristics of the analysis engine the accuracy rate that indicates how accurate the analysis result is, the reproducibility that is an index that indicates how much leakage is present in the analysis result, and the analysis result Likelihood, which is an index indicating how much is correct, is set.
  • the moving body detection engine shown in the first row of FIG. 4 has a resolution of 640 ⁇ in order to obtain the accuracy of the analysis result with a precision of 0.4, a recall of 0.5, and a likelihood of 0.3. It is set that it is only necessary to input data to be analyzed with a quality of 480 [dpi] and a frame rate of 5 [fps].
  • the likelihood can be expressed as follows, for example.
  • A) P (A
  • B b) and P (A
  • A P (A
  • B b)
  • the engine resource characteristic information stores the amount of resources used for the analysis processing by the analysis engine for each analysis engine.
  • FIG. 5 shows an example of engine resource characteristic information.
  • the processing time, CPU time, and memory usage required for analyzing data to be processed in a predetermined quality and in a predetermined unit are set as resource amounts.
  • the moving body detection engine to which the processing target data is input from the camera 1 shown in the first row of FIG. 5 has a processing time of 15 [msec / msg], a CPU time of 10 [msec / msg], and a memory of 670 [KB]. It is set that the amount of resources is necessary.
  • the resolution determination unit 12 is input to each analysis engine based on the engine characteristic information and the engine resource characteristic information stored in the characteristic information storage unit 16 and the analysis processing flow stored in the processing flow storage unit 15. Determine and adjust the quality characteristics of the data to be processed.
  • the quality of the processing target data to be determined and adjusted is the frame rate, the quality is simply expressed as a rate or resolution.
  • the resolution determination unit 12 refers to the engine characteristic information and the engine resource characteristic information to satisfy each of the analysis engines 20 so as to satisfy the accuracy requirement and the resource amount requirement of the analysis result set and requested in advance.
  • the quality characteristics of the input data to be processed are determined (Yes in step S1 in FIG. 6, step S2).
  • the resolution determination unit 12 sets, for each analysis engine, the quality characteristic of the processing target data that can output the analysis result while satisfying the accuracy of the set accuracy requirement as the minimum rate that is the minimum quality.
  • the resolution determination unit 12 can perform processing with such a resource amount (resource amount requirement) when an upper limit value such as an allowable CPU usage time or a memory amount is set as the resource amount requirement for each analysis engine. Set the quality characteristics of the data to be processed as the maximum rate.
  • the resolution determination unit 12 also sets an optimal rate that is an optimal quality characteristic of the processing target data input to each analysis engine based on the determined minimum rate and maximum rate. For example, the value of the lowest rate may be applied as it is as the optimum rate, and a value between the lowest rate and the highest rate is set according to a preset criterion. As an example, when the accuracy of the analysis results improves despite the small increase in the amount of resources used, the quality characteristics of the processing target data that is input when the amount of resources is used is set as the optimal rate. . As described above, as shown in FIG. 7, the resolution determination unit 12 determines the quality characteristics including the optimum rate, the lowest rate, and the highest rate for each of the analysis engines 21 to 25.
  • the resolution determination unit 12 reads the information of the analysis processing flow from the processing flow storage unit 15, and determines a serial flow portion including one or a group of analysis engines whose processing order is in a serial relationship based on a preset reference. It is specified (step S4 in FIG. 6). For example, when the analysis processing flow is as shown in FIG. 2 or FIG. 3, two serial flow portions indicated by dotted lines F1 and F2 in FIG. 2 are specified.
  • the resolution determination unit 12 checks whether there is a branch in the serial flow portions F1 and F2 (No in step S4 in FIG. 6, step S5). If there is a branch (Yes in step S5 in FIG. 6), one or a group of analysis engines whose processing order is in a serial relationship based on a preset criterion further downstream (lower side) from the branch point.
  • the serial subflow part consisting of For example, in the example of FIG. 2, two serial subflow portions indicated by dotted lines F21 and F22 are specified in the serial flow portion F2. If there is a further branch in the specified serial subflow part, the serial subflow part is further specified on the downstream side of the branch point.
  • the resolution determination unit 12 adjusts the quality characteristics of the processing target data input to the analysis engine positioned at the highest level in the serial flow portion and the serial subflow portion. (Steps S6, S7, S8, S9 in FIG. 6).
  • the optimum rate 10 fps which is the quality characteristic determined for the person tracking engine 23, is set as it is. (See FIG. 8).
  • the face extraction engine 24 and the face matching engine 25 exist in the serial subflow portion F21, among the optimum rates 1 fps and 3 fps, which are quality characteristics determined for each of them, A maximum value of 3 fps is set (see FIG. 8). Thereby, the resolution
  • serial flow portion F2 since the serial subflow F21 and the serial subflow portion F22 exist downstream of the serial flow portion F2, among the optimum rates 10 fps and 3 fps, which are quality characteristics determined for each of them, A maximum value of 10 fps is set (see FIG. 9).
  • the optimum rate 1 fps of the thumbnail generation engine 21 is set (step S9 in FIG. 6) (see FIG. 9).
  • the resolution determination unit 12 determines the quality characteristics of the processing target data input to the analysis engine positioned at the top of the serial flow portion and the serial subflow portion from the analysis engine positioned at the top. Is adjusted so as to be the maximum value of the quality characteristic determined for the analysis engine whose processing order is positioned on the lower side. Thereby, the quality characteristic of the processing target data in the entire analysis processing flow can be set (steps S10 and S11 in FIG. 6).
  • the quality characteristics of the serial flow portion F2 described above are not limited to adjustment based on the quality characteristics of the serial subflow portions F21 and F22 as described above, but the quality determined for all the analysis engines in the serial flow portion F2. You may adjust based on a characteristic.
  • the quality characteristic of the processing target data input to each analysis engine is determined based on the engine characteristic information and the engine resource characteristic information set for each analysis engine.
  • the determination may be based on information alone.
  • a minimum rate that satisfies a predetermined accuracy requirement as a minimum is determined as a quality characteristic of the processing target data.
  • the frame rate of the video data that is the processing target data is determined as the quality characteristic of the processing target data input to each analysis engine.
  • the resolution of the video data is determined as the quality characteristic. Also good.
  • the quality characteristics of the processing target data are not limited to the frame rate and resolution.
  • the analysis processing execution unit 11 (analysis processing execution means) performs control so as to execute analysis processing on video data input from the camera 30 in a processing procedure based on the analysis processing flow stored in the processing flow storage unit 15. To do. At this time, the quality characteristic of the video data that is the processing target data input to each analysis engine is controlled.
  • the analysis processing execution unit 11 adjusts the quality of the analysis engine at the top of the serial flow portions F1 and F2 and the serial subflow portions F21 and F22 as described above. Control is performed so that processing target data of quality corresponding to the characteristic is input. For example, as shown in FIG. 10, video data with a quality of 30 fps is input from the camera 30 to the data acquisition unit 40, but the serial flow portion F1 located on the lower side thereof has the highest data. Control is performed so that processing target data having a quality of 1 fps adjusted for the thumbnail generation engine 21 located therein is input. Similarly, the serial flow portion F2 positioned on the lower side of the data acquisition unit 40 is controlled to input the processing target data of quality 10 fps adjusted for the moving body detection engine 22 positioned at the uppermost position.
  • control is performed so that processing target data having a quality of 10 fps adjusted with respect to the person tracking engine 23 positioned at the highest level is input to the serial subflow portion F21 positioned on the lower side of the serial flow portion F2. Then, the serial subflow portion F22 located on the lower side of the serial flow portion F2 is controlled to input the processing target data of quality 3 fps adjusted for the face extraction engine 24 located at the top.
  • the analysis engine to which the processing target data with the quality higher than the optimum rate is input may be analyzed using only the processing target data with the required quality.
  • the optimum rate is 5 fps, but since 10 fps processing target data is input, the processing target data input so as to use only data corresponding to 5 fps may be thinned out.
  • the processing target data of the quality required to obtain the analysis result satisfying the required accuracy requirement is input to each analysis engine. Therefore, the analysis result by each analysis engine can satisfy the accuracy requirement, and an analysis processing system that can obtain a necessary analysis result can be easily designed.
  • FIG. 11 is a diagram for explaining the configuration of the analysis processing system in the present embodiment.
  • the analysis processing system according to the present embodiment has substantially the same configuration as that of the first embodiment.
  • the analysis processing system according to the present embodiment includes a characteristic information generation unit 13 as shown in FIG.
  • the characteristic information generation unit 13 (engine characteristic information generation unit, engine resource characteristic information generation unit) newly generates engine characteristic information and engine resource characteristic information stored in the characteristic information storage unit 16 described in the first embodiment. And stored in the characteristic information storage unit 16. Further, when engine characteristic information and engine resource characteristic information are already stored in the characteristic information storage unit 16, these information are updated.
  • the characteristic information generation unit 13 sends the quality characteristics of the processing target data input to each analysis engine 20 and the quality characteristics to the analysis processing execution unit 11 that controls the operation of the analysis engine 20. Is obtained by requesting the measurement of the accuracy characteristics of the analysis result by each analysis engine 20 when the processing target data is input. Then, for each analysis engine 20, the acquired quality characteristic and accuracy characteristic are associated to generate engine characteristic information, and the generated engine characteristic information is stored in the characteristic information storage unit 16 as new engine characteristic information.
  • the characteristic information generation unit 13 uses the amount of resources used when the analysis processing execution unit 11 that controls the operation of the analysis engine 20 performs analysis processing on a predetermined unit of data by each analysis engine 20. Request and obtain measurement of certain resource characteristics. Then, for each analysis engine 20, engine resource characteristic information is generated from the acquired resource characteristic, and the generated engine resource characteristic information is stored in the characteristic information storage unit 16 as new engine resource characteristic information.
  • the quality characteristic of the processing target data input to each analysis engine 20 is determined and adjust.
  • the analysis processing system in the present embodiment has substantially the same configuration as that of the first embodiment disclosed in FIG. 1, but in this embodiment, the characteristic information storage unit 16 (resource allocation information storage means) further includes a resource. The difference is that the allocation information is stored.
  • the resource allocation information is information indicating the ratio of the resource amount of the information processing apparatus allocated to each analysis engine 20, and is set in advance by the camera 30 that captures the type and importance of the analysis engine and the processing target data. For example, a specific analysis engine that processes data to be processed photographed from a specific camera 30 is set to allocate more resources such as CPU time and memory capacity.
  • the resolution determination unit 12 (input quality adjustment means) in the present embodiment sets the resource amount requirement that is allowed to be used in each analysis engine 20 based on the stored resource amount allocation information, and the resource amount The quality characteristics of the processing target data to be input to each analysis engine are determined so as to satisfy the requirements.
  • Analysis processing execution means 111 for controlling the operation of an analysis processing system 110 configured by combining a plurality of analysis engines 120 each performing predetermined analysis processing and executing analysis processing; The quality characteristics of the data to be processed to be input for each analysis engine 120 are determined so as to satisfy the accuracy requirements of the preset analysis results, and the analysis processing system 110 is configured based on the determined quality characteristics.
  • Input quality adjusting means 112 for adjusting the quality characteristic of the processing target data input to the predetermined analysis engine 120; With The analysis processing execution unit 111 operates the analysis processing system 110 so as to input the processing target data having a quality corresponding to the quality characteristic adjusted by the input quality adjustment unit 120 to the predetermined analysis engine 120. To control the Analysis processing system 110.
  • An analysis processing flow storage means for storing an analysis processing flow representing an analysis order by the plurality of analysis engines;
  • the input quality adjustment unit is configured to apply the predetermined analysis engine to the predetermined analysis engine based on the quality characteristic of the processing target data input for each analysis engine determined by the input quality adjustment unit and the analysis processing flow. Adjusting the quality characteristics of the input data to be processed; Analysis processing system.
  • the analysis processing system according to attachment 2, wherein The input quality adjustment unit is configured to set the quality characteristic of the processing target data to be input to the analysis engine determined for the other analysis engine determined in the analysis processing flow with respect to the other analysis engine whose processing order is positioned on the lower side of the predetermined analysis engine. Based on the quality characteristics of the processing target data input to the predetermined analysis engine, Analysis processing system.
  • the input quality adjusting means identifies a serial flow analysis engine unit composed of one or a group of the analysis engines having a serial relationship based on a criterion in which a processing order is set based on the analysis processing flow. Based on the quality characteristics of the processing target data input for each analysis engine determined for each analysis engine constituting the flow analysis engine unit, the processing order is positioned at the top of the serial flow analysis engine unit Adjusting the quality characteristic of the processing target data input to the predetermined analysis engine as the predetermined analysis engine, Analysis processing system.
  • the analysis processing system according to attachment 4 wherein The input quality adjustment means is configured to calculate a maximum value of the quality characteristics of the processing target data input for each analysis engine determined for each analysis engine constituting the serial flow analysis engine unit, as the predetermined analysis. Set as the quality characteristic of the engine, Analysis processing system.
  • the analysis processing system according to appendix 4 or 5
  • the input quality adjustment means identifies a location where the processing order branches in the serial flow analysis engine unit based on the analysis processing flow, and is positioned lower than the branch location and the processing order is preset.
  • the subflow analysis engine unit consisting of one or a group of the analysis engines that are in a series relationship with each other is specified, and the input is made for each analysis engine determined for each of the analysis engines constituting the subflow analysis engine unit.
  • the analysis processing execution unit includes the processing target data having a quality corresponding to the quality characteristic of the processing target data input to the uppermost analysis engine of the subflow analysis engine unit adjusted by the input quality adjustment unit.
  • Analysis processing system To control the operation of the analysis processing system so as to be input to the uppermost analysis engine of the subflow analysis engine unit, Analysis processing system.
  • Appendix 7 The analysis processing system according to any one of appendices 1 to 6, Engine characteristic information that stores engine characteristic information in which the quality characteristic of the processing target data input to the analysis engine and the accuracy characteristic of the analysis result of the analysis engine are set in advance in association with each analysis engine.
  • a storage means The input quality adjusting means determines the quality characteristics of the processing target data respectively input for each analysis engine so as to satisfy a precision requirement of a preset analysis result based on the engine characteristic information. Analysis processing system.
  • the analysis processing system according to appendix 7,
  • the engine characteristic information storage means stores, for each analysis engine, engine resource characteristic information in which a resource characteristic indicating a resource amount used for analysis processing by the analysis engine is preset.
  • the input quality adjusting means is input for each analysis engine so as to satisfy the accuracy requirement of the analysis result and the resource amount requirement of the analysis processing set in advance based on the engine characteristic information and the engine resource characteristic information. Determining the quality characteristics of the data to be processed; Analysis processing system.
  • appendix 11 The analysis processing system according to appendix 8 or 10, Resource allocation information storage means for storing resource allocation information representing resource allocation to the analysis engine set in advance, The input quality adjustment means sets the resource amount requirement based on the resource allocation information, and determines the quality characteristic of the processing target data input for each of the analysis engines so as to satisfy the resource amount requirement. Analysis processing system.
  • An information processing apparatus that controls the operation of an analysis processing system configured by combining a plurality of analysis engines each performing predetermined analysis processing to execute analysis processing, The quality characteristics of the processing target data input for each of the analysis engines are determined so as to satisfy the accuracy requirements of the analysis results set in advance, and the analysis processing system is configured based on the determined quality characteristics.
  • Input quality adjusting means for adjusting the quality characteristics of the processing target data input to the analysis engine; Analysis processing for inputting the processing target data having the quality corresponding to the quality characteristic adjusted by the input quality adjusting means to the predetermined analysis engine, and controlling the operation of the analysis processing system to execute the analysis processing Execution means;
  • the input quality adjusting unit is configured to analyze the quality characteristic of the processing target data input for each of the analysis engines determined by the input quality adjusting unit, and an analysis process representing an analysis order by the plurality of analysis engines stored in advance. And adjusting the quality characteristic of the processing target data input to the predetermined analysis engine based on the flow, program.
  • the above-described program is stored in a storage device or recorded on a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

 本発明の解析処理システムは、複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する解析処理実行手段と、予め設定された解析結果の精度要件を満たすよう解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて解析処理システムを構成する所定の解析エンジンに入力される処理対象データの品質特性を調整する入力品質調整手段と、を備える。

Description

解析処理システム
 本発明は、解析処理システムにかかり、特に、複数の解析エンジンが組み合わされて構成された解析処理システムに関する。
 近年、情報処理技術の発達に伴い、様々なデータの解析を行う解析エンジンの開発が行われている。例えば、動画像データから人間の動線をトレースする位置情報を生成する解析エンジン、静止画像データから人物を特定する解析エンジン、音声データからテキストデータを生成する解析エンジンなど、様々な解析エンジンが開発されている。
 そして、同種あるいは異種の解析エンジンを複数組み合わせて、入力データから様々な解析処理結果を得ることができる解析処理システムの開発も行われている。例えば、カメラから入力した映像データを、人物抽出エンジン、動線抽出エンジン、顔抽出エンジン、顔照合エンジンなどを用いて並列又は直列に処理し、所定の挙動の人物を判定する、といった解析処理を行うシステムに適用することができる。そして、このような多数の解析エンジンで構成される解析処理システムでは、解析結果の精度が一定レベル以上に保証されていることが望ましく、また、解析結果がリアルタイムで出力されるなど処理時間が高速であることが望ましい。
特開平11-136499号公報
 一方で、解析処理システムを構成する各解析エンジンは、それぞれ特性が異なるため、最終的な解析結果が精度や処理時間などの要件を満たすよう解析処理システムを設計することが難しい、という問題がある。例えば、システム設計者は、各解析エンジンの特性を理解した上でシステムを設計する必要があるが、かかる作業には手間がかかり、新規に解析処理システムを設計することが困難となる。
 ここで、特許文献1に、画像提供装置と画像処理装置とが接続された画像処理システムが開示されている。この画像処理システムでは、画像提供装置と画像処理装置とが相互に解像度などの情報をやりして、画像提供装置が要求された解像度の画像を画像処理装置に転送する、という処理を行っている。ところが、かかる技術は、画像提供装置から画像処理装置に画像を提供するというように、処理対象となるデータを1対1の装置間で送受信する場合には有効であるが、処理対象となるデータを複数の装置で処理するシステムには適用することが困難である。従って、依然として、複数の解析エンジンにて構成される解析処理システムを設計する際に、適切な解析要件を満たすよう設計することが困難である、という問題がある。
 このため、本発明の目的は、上述した課題である、複数の解析エンジンにて構成される解析処理システムの設計が困難であること、を解決することにある。
 本発明の一形態である解析処理システムは、
 それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する解析処理実行手段と、
 予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整する入力品質調整手段と、
を備え、
 前記解析処理実行手段は、前記入力品質調整手段にて調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力するよう前記解析処理システムの動作を制御する、
という構成をとる。
 また、本発明の他の形態であるプログラムは、
 それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する情報処理装置に、
 予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整する入力品質調整手段と、
 前記入力品質調整手段にて調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力し、前記解析処理システムの動作を制御して解析処理を実行する解析処理実行手段と、
を実現させるためのプログラムである。
 また、本発明の他の形態である解析処理方法は、
 それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する解析処理方法であり、
 予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整し、
 調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力し、前記解析処理システムの動作を制御して解析処理を実行する、
という構成をとる。
 本発明は、以上のように構成されることにより、複数の解析エンジンにて構成される解析処理システムの設計が容易となる。
本発明の実施形態1における解析処理システムの構成を示すブロック図である。 図1に開示した解析処理装置の処理フロー記憶部に記憶されるデータの一例を示す図である。 図1に開示した解析処理装置の処理フロー記憶部に記憶されるデータの一例を示す図である。 図1に開示した解析処理装置の特性情報記憶部に記憶されるデータの一例を示す図である。 図1に開示した解析処理装置の特性情報記憶部に記憶されるデータの一例を示す図である。 図1に開示した解析処理装置の動作を示すフローチャートである。 図1に開示した解析処理装置による処理の様子を示す図である。 図1に開示した解析処理装置による処理の様子を示す図である。 図1に開示した解析処理装置による処理の様子を示す図である。 図1に開示した解析処理装置による処理の様子を示す図である。 本発明の実施形態2における解析処理システムの構成を示すブロック図である。 本発明の付記1における解析処理システムの構成を示すブロック図である。
 <実施形態1>
 本発明の第1の実施形態を、図1乃至図10を参照して説明する。図1乃至図5は、本実施形態における解析処理システムの構成を説明するための図であり、図6乃至図10は、解析処理システムの動作を説明するための図である。
 図1に示す解析処理システムは、1台又は複数台の情報処理装置で構成された解析処理装置10と、所定の解析処理をそれぞれ行う複数の解析エンジン20と、映像を撮影する複数のカメラ30と、当該カメラ30にて撮影された映像を取得するデータ取得部40と、を備えて構成されている。
 上記カメラ30は、本実施形態における解析対象データとなる映像データ(ストリームデータ)を取得するためのものである。このため、カメラ30は、予め設定された複数の箇所に設置され、それぞれ設置された箇所の映像を撮影し、撮影した映像データをデータ取得部40に出力する。なお、本発明の解析処理システムにおける解析対象データは、映像データであることに限定されず、音声データや画像データなどいかなるデータであってもよい。
 上記データ取得部40は、上記カメラ30にて撮影され出力された映像データを、予め設定された品質、つまり、予め設定された解像度及びフレームレートで取得する。例えば、データ取得部40は、解像度が640×480[dpi]、フレームレートが30[fps]の品質で、映像データを取得する。
 上記解析エンジン20は、解析処理装置10にて動作を制御されることで、解析対象データである映像データを解析処理する。具体的に、本実施形態における解析エンジン20は、映像データからサムネイル画像を生成するサムネイル生成エンジン、映像データ内から人物を検出する動体検出エンジン、検出した人物の移動軌跡を追跡する人物追跡エンジン、検出した人物の顔部分を抽出する顔抽出エンジン、抽出した顔部分と予め登録された顔とを照合して人物を特定する顔照合エンジン、である。但し、解析エンジン20は、上述した解析処理を行うものであることに限定されず、他の解析処理を行うものであってもよい。
 次に、解析処理装置10の構成にて説明する。図1に示すように、解析処理装置10は、装備された演算装置にプログラムが組み込まれることで構築された、解析処理実行部11と、分解能決定部12と、を備えている。また、解析処理装置10は、装備された記憶装置に、処理フロー記憶部15と、特性情報記憶部16と、を備えている。以下、各構成について詳述する。
 上記処理フロー記憶部15(解析処理フロー記憶手段)は、上述した複数の解析エンジン20を組み合わせた解析順序を表す解析処理フローを記憶している。ここで、本実施形態において記憶している解析処理フローの一例を、図2及び図3に示す。
 図2に示すように、本実施形態における解析処理フローは、まず、データ取得部40にて取得した映像データからサムネイル生成エンジン21にて、映像データの一場面を表す所定のサイズの静止画像であるサムネイル画像を生成し、当該生成したサムネイル画像をサムネイル保存部26で保存する一連のフローF1を有する。この一連のフローF1であるサムネイル生成エンジン21からサムネイル保存部26までの解析処理のフローは、後述するように、処理順序が直列の関係にある直列フロー部分(直列フロー解析エンジン部)として、分解能決定部12にて特定される。なお、サムネイル保存部26は、サムネイル生成エンジン21の一部の機能、あるいは、解析処理実行部11の一部の機能である。
 また、解析処理フローは、データ取得部40にて取得した映像データから動体検出エンジン22にて、予め設定された基準に基づいて人物といった動体を検出する。そして、動体検出エンジン22にて検出された人物の追跡を人物追跡エンジン23にて行い、当該人物の移動軌跡が予め設定された基準により特定の軌跡と同一と判断された場合には、アラート通知部27にて監視者などにアラートを通知する。また、動体検出エンジン22にて検出された人物から予め設定された基準に基づいて顔部分の抽出を顔抽出エンジン24にて行い、さらに、顔照合エンジン25にて抽出された顔部分と予め登録された顔データとが一致するか否かの照合を行い、一致している場合にはアラート通知部28にて管理者などにアラートを通知する。なお、アラート通知部27,28は、各解析エンジンの一部の機能、あるいは、解析処理実行部11の一部の機能である。
 そして、上述した動体検出エンジン22から人物追跡エンジン23・アラート通知部27までの解析処理と、動体検出エンジン22から顔抽出エンジン24・顔照合エンジン25・アラート通知部28までの解析処理と、を含むフローF2は、動体検出エンジン22の人物追跡エンジン23と顔抽出エンジン24とに処理順序が分岐しているものの、全体として処理順序が直列の関係にある直列フロー部分として、分解能決定部12にて特定される。また、動体検出エンジン22から下位側の分岐箇所からさらに下位側である、人物追跡エンジン23からアラート通知部27までの解析処理のフローF21と、顔抽出エンジン24から顔照合エンジン25・アラート通知部28までの解析処理のフローF22とは、それぞれ処理順序が直列の関係にある直列サブフロー部分(サブフロー解析エンジン部)として、後述する分解能決定部12にて特定される。
 なお、処理フロー記憶部15に記憶されている解析処理フローは、上述したグラフ表現により記憶されていてもよく、図3に示すように、カメラ30毎に取得した処理対象データが流れる解析エンジンの順序を表したデータにて構成されていてもよい。
 次に、上記特性情報記憶部16(エンジン特性情報記憶手段)に記憶されているデータについて説明する。特性情報記憶部16は、解析エンジンに入力される処理対象データの品質特性と当該解析エンジンの精度特性とが関連付けられたエンジン特性情報と、解析エンジンの資源特性を表すエンジン資源特性情報と、を記憶している。
 上記エンジン特性情報は、各解析エンジン毎に、当該解析エンジンに入力される解析対象データの品質を表す品質特性と、当該品質の解析対象データが入力された場合における解析エンジンによる解析結果の精度を表す精度特性と、が関連付けられている。図4にエンジン特性情報の一例を示す。この図の例では、解析エンジンに入力される解析対象データである映像データの品質特性を表す入力情報として、解像度[dpi]とフレームレート[fps]が設定されている。また、解析エンジンの精度特性を表す精度情報として、解析結果がどれだけ正しいかを表す指標である適合率と、解析結果にどれだけ漏れがないかを表す指標である再現率と、解析結果がどの程度正しいかを表す指標である尤度と、が設定されている。これにより、例えば、図4の一段目に示された動体検出エンジンは、適合率0.4、再現率0.5、尤度0.3の解析結果の精度を得るためには、解像度640×480[dpi]、フレームレート5[fps]の品質の解析対象データを入力すればよい、と設定されている。
 ここで、上述した解析結果の精度について、さらに詳述する。上記適合率は、解析結果で真と判定された結果(TP+NP)うち、本当に真であったもの(TP)の割合を表す値であり、適合率=TP/(TP+NP)で表すことができる。例えば、顔検出エンジンが映像から10の顔を検出し、そのうち7件が本当に顔であった場合の適合率は、7/10=0.7と表される。また、上記再現率は、解析の結果、真と判定されるべきもの(TP+FN)のうち、実際に真と判定されたもの(TP)の割合を表す値であり、再現率=TP/(TP+FN)で表すことができる。例えば、映像中に顔が14人写っている時、顔検出エンジンが10の顔を検出し、そのうち7件が本当に顔であった場合の再現率は、7/14=0.5と表される。また、上記尤度は、例えば以下のように表すことができる。つまり、Aの事象が観測されたときに、B=bの尤度L(b|A)は、L(b|A)=P(A|B=b)と定義でき、P(A|B=b)は、B=bであるときにAが起きる確率である。一例として、顔が検知された(A)の時に、その顔が本当に顔である(B=b)尤度は、L(b|A)=P(A|B=b)となる。仮に、顔検出エンジンが、顔を検知する確率が90%(P(A|B=b))の場合、尤度はL(b|A)=0.9となる。
 また、上記エンジン資源特性情報は、各解析エンジン毎に、当該解析エンジンによる解析処理に利用される資源量が記憶されている。図5にエンジン資源特性情報の一例を示す。この図の例では、解析エンジンで所定の品質かつ所定の単位の処理対象データを解析処理する場合に必要な処理時間、CPU時間、メモリ使用量が、資源量として設定されている。例えば、図5の一段目に示されたカメラ1から処理対象データが入力される動体検出エンジンは、処理時間15[msec/msg]、CPU時間10[msec/msg]、メモリ670[KB]の資源量が必要である、と設定されている。
 なお、上述した処理対象データの品質や精度特性、資源量の内容は一例であって、他の内容の値が、エンジン特性情報、エンジン資源特性情報として記憶されていてもよい。
 次に、上記分解能決定部12(入力品質調整手段)と解析処理実行部11との機能について、これらの動作と共に説明する。分解能決定部12は、特性情報記憶部16に記憶されているエンジン特性情報及びエンジン資源特性情報と、処理フロー記憶部15に記憶されている解析処理フローと、に基づいて、各解析エンジンに入力する処理対象データの品質特性を決定及び調整する。なお、ここでは、決定及び調整する処理対象データの品質がフレームレートであるため、当該品質を単にレートあるいは分解能と称して表現する。
 具体的に、まず、分解能決定部12は、予め設定され要求されている解析結果の精度要件及び資源量要件を満たすよう、エンジン特性情報及びエンジン資源特性情報を参照して、各解析エンジン20にそれぞれ入力される処理対象データの品質特性を決定する(図6のステップS1でYes,ステップS2)。このとき、分解能決定部12は、各解析エンジンについて、設定された精度要件の精度を満たして解析結果を出力することができる処理対象データの品質特性を、最低の品質である最低レートとして設定する。また、分解能決定部12は、各解析エンジンについて、許容されるCPU使用時間やメモリ量などの上限値が資源量要件として設定されている場合に、かかる資源量(資源量要件)で処理可能な処理対象データの品質特性を、最高レートとして設定する。
 さらに、分解能決定部12は、上記決定した最低レートと最大レートとに基づいて、各解析エンジンに入力される処理対象データの最適な品質特性となる最適レートも設定する。例えば、最適レートは、最低レートの値がそのまま適用されてもよく、予め設定された基準により最低レートと最高レートの間の値が設定される。一例として、使用する資源量の増加が少ないにも関わらず解析結果の精度が向上する場合には、その資源量を使用した場合に入力される処理対象データの品質特性を、最適レートとして設定する。以上のようにして、分解能決定部12は、図7に示すように、各解析エンジン21~25毎に、最適レート・最低レート・最高レートからなる品質特性を決定する。
 続いて、分解能決定部12は、処理フロー記憶部15から解析処理フローの情報を読み出し、予め設定された基準において処理順序が直列の関係にある一つ又は一群の解析エンジンからなる直列フロー部分を特定する(図6のステップS4)。例えば、解析処理フローが図2あるいは図3に示すものである場合には、図2の点線の符号F1,F2に示す2つの直列フロー部分が特定される。
 さらに、分解能決定部12は、直列フロー部分F1,F2内に分岐があるかどうか調べる(図6のステップS4でNo,ステップS5)。そして、分岐がある場合には(図6のステップS5でYes)、分岐箇所からさらに下流側(下位側)で予め設定された基準において処理順序が直列の関係にある一つ又は一群の解析エンジンからなる直列サブフロー部分を特定する。例えば、図2の例では、直列フロー部分F2内において点線の符号F21,F22に示す2つの直列サブフロー部分が特定される。なお、特定した直列サブフロー部分内にさらに分岐がある場合には、かかる分岐箇所の下流側においてさらに直列サブフロー部分を特定する。
 続いて、分解能決定部12は、各解析エンジンの品質特性に基づいて、上記直列フロー部分及び直列サブフロー部分において、最上位に位置する解析エンジンに対して入力される処理対象データの品質特性を調整して決定する(図6のステップS6,S7,S8,S9)。
 例えば、まず直列サブフロー部分F21については、当該直列サブフロー部分F21内には人物追跡エンジン23のみが存在するだけであるため、当該人物追跡エンジン23について決定された品質特性である最適レート10fpsがそのまま設定される(図8参照)。また、直列サブフロー部分F22については、当該直列サブフロー部分F21内には顔抽出エンジン24と顔照合エンジン25とが存在するため、これらについてそれぞれ決定された品質特性である最適レート1fps,3fpsのうち、最大値3fpsが設定される(図8参照)。これにより、直列サブフロー部分F21,F22内の各解析エンジンの分解能が決定される。
 さらに、直列フロー部分F2については、当該直列フロー部分F2の下流には直列サブフローF21と直列サブフロー部分F22とが存在するため、これらについてそれぞれ決定された品質特性である最適レート10fps,3fpsのうち、最大値10fpsが設定される(図9参照)。なお、直列フロー部分F1については、当該直列フロー部分F1の下流に分岐がないため、サムネイル生成エンジン21の最適レート1fpsが設定される(図6のステップS9)(図9参照)。
 以上のように、分解能決定部12は、直列フロー部分及び直列サブフロー部分のそれぞれ最上位に位置する解析エンジンに対して入力される処理対象データの品質特性を、当該最上位に位置する解析エンジンよりも下位側に処理順序が位置する解析エンジンについて決定された品質特性の最大値となるよう調整する。これにより、解析処理フロー全体における処理対象データの品質特性を設定することができる(図6のステップS10,S11)。なお、上述した直列フロー部分F2の品質特性は、上述したように直列サブフロー部分F21,F22の品質特性に基づいて調整することに限らず、直列フロー部分F2内の全ての解析エンジンについて決定した品質特性に基づいて調整してもよい。
 ここで、上記では、各解析エンジンに入力される処理対象データの品質特性の決定を、各解析エンジンについて設定されたエンジン特性情報とエンジン資源特性情報とに基づいて決定しているが、エンジン特性情報のみに基づいて決定してもよい。この場合には、各解析エンジンについて、予め決定された精度要件を最低限満たす最低レートが、処理対象データの品質特性として決定される。
 また、上記では、各解析エンジンに入力される処理対象データの品質特性として、処理対象データである映像データのフレームレートを決定する場合を例示したが、映像データの解像度を品質特性として決定してもよい。但し、処理対象データの品質特性は、フレームレートや解像度であることに限定されない。
 上記解析処理実行部11(解析処理実行手段)は、処理フロー記憶部15に記憶されている解析処理フローに基づく処理手順にて、カメラ30から入力される映像データに対する解析処理を実行するよう制御する。このとき、各解析エンジンに対して入力する処理対象データである映像データの品質特性を制御する。
 具体的に、解析処理実行部11は、上述したように直列フロー部分F1,F2、直列サブフロー部分F21,F22の最上位に位置する解析エンジンに対して、当該最上位の解析エンジンについて調整した品質特性に対応する品質の処理対象データを入力するよう制御する。例えば、図10に示すように、データ取得部40に対しては、カメラ30から30fpsの品質の映像データが入力されるが、その下位側に位置する直列フロー部分F1には、その最上位に位置するサムネイル生成エンジン21について調整された品質1fpsの処理対象データを入力するよう制御する。同様に、データ取得部40の下位側に位置する直列フロー部分F2には、その最上位に位置する動体検出エンジン22について調整された品質10fpsの処理対象データを入力するよう制御する。
 また、直列フロー部分F2の下位側に位置する直列サブフロー部分F21には、その最上位に位置する人物追跡エンジン23について調整された品質10fpsの処理対象データを入力するよう制御する。そして、直列フロー部分F2の下位側に位置する直列サブフロー部分F22には、その最上位に位置する顔抽出エンジン24について調整された品質3fpsの処理対象データを入力するよう制御する。
 なお、最適レート以上の品質の処理対象データが入力される解析エンジンについては、必要とする品質の処理対象データのみを用いて解析処理を行ってもよい。例えば、動体検出エンジンでは、最適レートが5fpsであるが、10fpsの処理対象データが入力されるため、そのうち5fpsに相当するデータのみを使用するよう入力された処理対象データを間引いてもよい。
 以上のようにすることで、各解析エンジンに対して、要求される精度要件を満たす解析結果を得るために必要とされる品質の処理対象データが入力されることとなる。従って、各解析エンジンによる解析結果が精度要件を満たすことができ、必要な解析結果を得ることができる解析処理システムを容易に設計することができる。
 <実施形態2>
 次に、本発明の第2の実施形態を、図11を参照して説明する。図11は、本実施形態における解析処理システムの構成を説明するための図である。
 本実施形態における解析処理システムは、実施形態1のものとほぼ同様の構成を備えている。これに加え、本実施形態における解析処理システムは、図11に示すように、特性情報生成部13を備えている。
 上記特性情報生成部13(エンジン特性情報生成手段、エンジン資源特性情報生成手段)は、実施形態1で説明した特徴情報記憶部16に記憶されるエンジン特性情報と、エンジン資源特性情報と、を新規に生成して特性情報記憶部16に記憶する。また、既に特性情報記憶部16にエンジン特性情報やエンジン資源特性情報が記憶されている場合には、これらの情報を更新する。
 具体的に、特性情報生成部13は、解析エンジン20の動作を制御している解析処理実行部11に対して、各解析エンジン20に入力している処理対象データの品質特性と、当該品質特性の処理対象データが入力された場合における各解析エンジン20による解析結果の精度特性と、の計測を要求して取得する。そして、解析エンジン20毎に、取得した品質特性と精度特性とを関連付けて、エンジン特性情報を生成し、生成したエンジン特性情報を、新たなエンジン特性情報として特性情報記憶部16に記憶する。
 同様に、特性情報生成部13は、解析エンジン20の動作を制御している解析処理実行部11に対して、各解析エンジン20による所定単位のデータを解析処理する際に利用される資源量である資源特性の計測を要求して取得する。そして、解析エンジン20毎に、取得した資源特性からエンジン資源特性情報を生成し、生成したエンジン資源特性情報を、新たなエンジン資源特性情報として特性情報記憶部16に記憶する。
 その後は、上述した実施形態1と同様に、特性情報記憶部16に記憶されているエンジン特性情報とエンジン資源特性情報に基づいて、各解析エンジン20に入力する処理対象データの品質特性を決定及び調整する。
 以上のようにすることで、解析エンジンの変更や資源量の変動、さらには処理対象データのデータ内容の変動が生じた場合であっても、かかる変更や変動に対応して適切なエンジン特性情報やエンジン資源特性情報が設定される。従って、常に必要な解析結果を得ることができる解析処理システムを容易に設計することができる。
 <実施形態3>
 次に、本発明の第3の実施形態を説明する。本実施形態における解析処理システムは、図1に開示した実施形態1のものとほぼ同様の構成を備えているが、本実施形態ではさらに、特性情報記憶部16(資源割当情報記憶手段)が資源割当情報を記憶している点で異なる。
 上記資源割当情報は、各解析エンジン20に割り当てる情報処理装置の資源量の割合を表す情報であり、予め解析エンジンの種類や重要度、処理対象データを撮影するカメラ30によって設定されている。例えば、特定のカメラ30から撮影した処理対象データを処理する特定の解析エンジンについては、CPU時間やメモリ量などの資源を多く割り当てるよう設定されている。
 そして、本実施形態における分解能決定部12(入力品質調整手段)は、上記記憶された資源量割当情報に基づいて、各解析エンジン20で使用が許容される資源量要件を設定し、当該資源量要件を満たすよう、各解析エンジンにそれぞれ入力する処理対象データの品質特性を決定する。
 以上のようにすることで、例えば、重要であると設定された解析処理を行う解析エンジンについては、予め多くの資源量を割り当てることにより、解析エンジンの資源量の変動処理対象データのデータ内容の変動に適切に対応することができる。その結果、必要な解析結果を得ることができる解析処理システムを容易に設計することができる。
 <付記>
 上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における解析処理システム(図12参照)、プログラム、解析処理方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
 それぞれ所定の解析処理を行う複数の解析エンジン120を組み合わせて構成される解析処理システム110の動作を制御して解析処理を実行する解析処理実行手段111と、
 予め設定された解析結果の精度要件を満たすよう前記解析エンジン120毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システム110を構成する所定の前記解析エンジン120に入力される前記処理対象データの前記品質特性を調整する入力品質調整手段112と、
を備え、
 前記解析処理実行手段111は、前記入力品質調整手段120にて調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジン120に入力するよう前記解析処理システム110の動作を制御する、
解析処理システム110。
(付記2)
 付記1に記載の解析処理システムであって、
 前記複数の解析エンジンによる解析順序を表す解析処理フローを記憶した解析処理フロー記憶手段を備え、
 前記入力品質調整手段は、当該入力品質調整手段にて決定した前記解析エンジン毎に入力される前記処理対象データの前記品質特性と、前記解析処理フローと、に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
解析処理システム。
(付記3)
 付記2に記載の解析処理システムであって、
 前記入力品質調整手段は、前記解析処理フローにおいて前記所定の解析エンジンの下位側に処理順序が位置する他の前記解析エンジンについて決定した当該解析エンジンに入力される前記処理対象データの前記品質特性に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
解析処理システム。
(付記4)
 付記3に記載の解析処理システムであって、
 前記入力品質調整手段は、前記解析処理フローに基づいて、処理順序が予め設定された基準において直列の関係にある一つ又は一群の前記解析エンジンからなる直列フロー解析エンジン部を特定し、当該直列フロー解析エンジン部を構成する前記解析エンジン毎に決定した当該解析エンジン毎に入力される前記処理対象データの前記品質特性に基づいて、前記直列フロー解析エンジン部の最上位に処理順序が位置する前記解析エンジンを前記所定の解析エンジンとして当該所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
解析処理システム。
(付記5)
 付記4に記載の解析処理システムであって、
 前記入力品質調整手段は、前記直列フロー解析エンジン部を構成する前記解析エンジン毎について決定した当該解析エンジン毎に入力される前記処理対象データの前記品質特性のうちの最大値を、前記所定の解析エンジンの前記品質特性として設定する、
解析処理システム。
(付記6)
 付記4又は5に記載の解析処理システムであって、
 前記入力品質調整手段は、前記解析処理フローに基づいて、前記直列フロー解析エンジン部内で処理順序が分岐している箇所を特定し、当該分岐箇所よりも下位側に位置し処理順序が予め設定された基準において直列の関係にある一つ又は一群の前記解析エンジンからなるサブフロー解析エンジン部を特定し、当該サブフロー解析エンジン部を構成する前記解析エンジン毎に決定した当該解析エンジン毎に入力される前記処理対象データの前記品質特性に基づいて、前記サブフロー解析エンジン部の最上位に処理順序が位置する前記解析エンジンに入力される前記処理対象データの前記品質特性を調整し、
 前記解析処理実行部は、前記入力品質調整手段にて調整された前記サブフロー解析エンジン部の最上位の前記解析エンジンに入力される前記処理対象データの前記品質特性に対応する品質の前記処理対象データを、当該サブフロー解析エンジン部の最上位の前記解析エンジンに入力するよう前記解析処理システムの動作を制御する、
解析処理システム。
(付記7)
 付記1乃至6のいずれかに記載の解析処理システムであって、
 前記解析エンジンに入力される処理対象データの品質特性と、前記解析エンジンの解析結果の精度特性と、が予め関連付けられて設定されたエンジン特性情報を、前記解析エンジン毎にそれぞれ記憶するエンジン特性情報記憶手段を備え、
 前記入力品質調整手段は、前記エンジン特性情報に基づいて、予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される前記処理対象データの前記品質特性を決定する、
解析処理システム。
(付記8)
 付記7に記載の解析処理システムであって、
 前記エンジン特性情報記憶手段は、前記解析エンジンによる解析処理に利用される資源量を表す資源特性が予め設定されたエンジン資源特性情報を、前記解析エンジン毎にそれぞれ記憶しており、
 前記入力品質調整手段は、前記エンジン特性情報及び前記エンジン資源特性情報に基づいて、予め設定された解析結果の精度要件及び解析処理の資源量要件を満たすよう前記解析エンジン毎にそれぞれ入力される前記処理対象データの前記品質特性を決定する、
解析処理システム。
(付記9)
 付記7又は8に記載の解析処理システムであって、
 前記解析処理実行手段から、当該解析処理実行手段にて動作を制御されている前記解析エンジンに入力される前記処理対象データの品質特性と、前記解析エンジンによる解析結果の精度特性と、を前記解析エンジン毎にそれぞれ計測して取得し、当該取得した前記品質特性と前記精度特性とを関連付けて前記エンジン特性情報を生成して前記エンジン特性情報記憶手段に記憶する、あるいは、前記エンジン特性情報記憶手段に記憶されている前記エンジン特性情報を更新する、エンジン特性情報生成手段を備えた、
解析処理システム。
(付記10)
 付記8に記載の解析処理システムであって、
 前記解析処理実行手段から、当該解析処理実行手段にて動作を制御されている前記解析エンジンによる解析処理時に利用される資源量を表す資源特性を、前記解析エンジン毎にそれぞれ計測して取得し、当該取得した前記資源特性からなる前記エンジン資源特性情報を生成して、前記エンジン特性情報記憶手段に記憶する、あるいは、前記エンジン特性情報記憶手段に記憶されている前記エンジン資源特性情報を更新する、エンジン資源特性情報生成手段を備えた、
解析処理システム。
(付記11)
 付記8又は10に記載の解析処理システムであって、
 予め設定された前記解析エンジンに対する資源の割り当てを表す資源割当情報を記憶した資源割当情報記憶手段を備え、
 前記入力品質調整手段は、前記資源割当情報に基づいて前記資源量要件を設定し、当該資源量要件を満たすよう前記解析エンジン毎にそれぞれ入力される前記処理対象データの前記品質特性を決定する、
解析処理システム。
(付記12)
 それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する情報処理装置に、
 予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整する入力品質調整手段と、
 前記入力品質調整手段にて調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力し、前記解析処理システムの動作を制御して解析処理を実行する解析処理実行手段と、
を実現させるためのプログラム。
(付記13)
 付記12に記載のプログラムであって、
 前記入力品質調整手段は、当該入力品質調整手段にて決定した前記解析エンジン毎に入力される前記処理対象データの前記品質特性と、予め記憶された前記複数の解析エンジンによる解析順序を表す解析処理フローと、に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
プログラム。
(付記14)
 それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する解析処理方法であり、
 予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整し、
 調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力し、前記解析処理システムの動作を制御して解析処理を実行する、
解析処理方法。
(付記15)
 付記14に記載の解析処理方法であって、
 前記複数の解析エンジンによる解析順序を表す解析処理フローが記憶されており、
 前記エンジン特性情報に基づいて決定された前記解析エンジン毎に入力される前記処理対象データの前記品質特性と、前記解析処理フローと、に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
解析処理方法。
 なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
 以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
 なお、本発明は、日本国にて2012年3月2日に特許出願された特願2012-046674の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
10 解析処理装置
11 解析処理実行部
12 分解能決定部
15 処理フロー記憶部
16 特性情報記憶部
20 解析エンジン
21 サムネイル生成エンジン
22 動体検出エンジン
23 人物追跡エンジン
24 顔抽出エンジン
25 顔照合エンジン
26 サムネイル保存部
27,28 アラート通知部
30 カメラ
40 データ取得部
110 解析処理システム
111 解析処理実行手段
112 入力品質調整手段
120 解析エンジン
F1,F2 直列フロー部分
F21,F22 直列サブフロー部分
 

Claims (15)

  1.  それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する解析処理実行手段と、
     予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整する入力品質調整手段と、
    を備え、
     前記解析処理実行手段は、前記入力品質調整手段にて調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力するよう前記解析処理システムの動作を制御する、
    解析処理システム。
  2.  請求項1に記載の解析処理システムであって、
     前記複数の解析エンジンによる解析順序を表す解析処理フローを記憶した解析処理フロー記憶手段を備え、
     前記入力品質調整手段は、当該入力品質調整手段にて決定した前記解析エンジン毎に入力される前記処理対象データの前記品質特性と、前記解析処理フローと、に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
    解析処理システム。
  3.  請求項2に記載の解析処理システムであって、
     前記入力品質調整手段は、前記解析処理フローにおいて前記所定の解析エンジンの下位側に処理順序が位置する他の前記解析エンジンについて決定した当該解析エンジンに入力される前記処理対象データの前記品質特性に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
    解析処理システム。
  4.  請求項3に記載の解析処理システムであって、
     前記入力品質調整手段は、前記解析処理フローに基づいて、処理順序が予め設定された基準において直列の関係にある一つ又は一群の前記解析エンジンからなる直列フロー解析エンジン部を特定し、当該直列フロー解析エンジン部を構成する前記解析エンジン毎に決定した当該解析エンジン毎に入力される前記処理対象データの前記品質特性に基づいて、前記直列フロー解析エンジン部の最上位に処理順序が位置する前記解析エンジンを前記所定の解析エンジンとして当該所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
    解析処理システム。
  5.  請求項4に記載の解析処理システムであって、
     前記入力品質調整手段は、前記直列フロー解析エンジン部を構成する前記解析エンジン毎について決定した当該解析エンジン毎に入力される前記処理対象データの前記品質特性のうちの最大値を、前記所定の解析エンジンの前記品質特性として設定する、
    解析処理システム。
  6.  請求項4又は5に記載の解析処理システムであって、
     前記入力品質調整手段は、前記解析処理フローに基づいて、前記直列フロー解析エンジン部内で処理順序が分岐している箇所を特定し、当該分岐箇所よりも下位側に位置し処理順序が予め設定された基準において直列の関係にある一つ又は一群の前記解析エンジンからなるサブフロー解析エンジン部を特定し、当該サブフロー解析エンジン部を構成する前記解析エンジン毎に決定した当該解析エンジン毎に入力される前記処理対象データの前記品質特性に基づいて、前記サブフロー解析エンジン部の最上位に処理順序が位置する前記解析エンジンに入力される前記処理対象データの前記品質特性を調整し、
     前記解析処理実行部は、前記入力品質調整手段にて調整された前記サブフロー解析エンジン部の最上位の前記解析エンジンに入力される前記処理対象データの前記品質特性に対応する品質の前記処理対象データを、当該サブフロー解析エンジン部の最上位の前記解析エンジンに入力するよう前記解析処理システムの動作を制御する、
    解析処理システム。
  7.  請求項1乃至6のいずれかに記載の解析処理システムであって、
     前記解析エンジンに入力される処理対象データの品質特性と、前記解析エンジンの解析結果の精度特性と、が予め関連付けられて設定されたエンジン特性情報を、前記解析エンジン毎にそれぞれ記憶するエンジン特性情報記憶手段を備え、
     前記入力品質調整手段は、前記エンジン特性情報に基づいて、予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される前記処理対象データの前記品質特性を決定する、
    解析処理システム。
  8.  請求項7に記載の解析処理システムであって、
     前記エンジン特性情報記憶手段は、前記解析エンジンによる解析処理に利用される資源量を表す資源特性が予め設定されたエンジン資源特性情報を、前記解析エンジン毎にそれぞれ記憶しており、
     前記入力品質調整手段は、前記エンジン特性情報及び前記エンジン資源特性情報に基づいて、予め設定された解析結果の精度要件及び解析処理の資源量要件を満たすよう前記解析エンジン毎にそれぞれ入力される前記処理対象データの前記品質特性を決定する、
    解析処理システム。
  9.  請求項7又は8に記載の解析処理システムであって、
     前記解析処理実行手段から、当該解析処理実行手段にて動作を制御されている前記解析エンジンに入力される前記処理対象データの品質特性と、前記解析エンジンによる解析結果の精度特性と、を前記解析エンジン毎にそれぞれ計測して取得し、当該取得した前記品質特性と前記精度特性とを関連付けて前記エンジン特性情報を生成して前記エンジン特性情報記憶手段に記憶する、あるいは、前記エンジン特性情報記憶手段に記憶されている前記エンジン特性情報を更新する、エンジン特性情報生成手段を備えた、
    解析処理システム。
  10.  請求項8に記載の解析処理システムであって、
     前記解析処理実行手段から、当該解析処理実行手段にて動作を制御されている前記解析エンジンによる解析処理時に利用される資源量を表す資源特性を、前記解析エンジン毎にそれぞれ計測して取得し、当該取得した前記資源特性からなる前記エンジン資源特性情報を生成して、前記エンジン特性情報記憶手段に記憶する、あるいは、前記エンジン特性情報記憶手段に記憶されている前記エンジン資源特性情報を更新する、エンジン資源特性情報生成手段を備えた、
    解析処理システム。
  11.  請求項8又は10に記載の解析処理システムであって、
     予め設定された前記解析エンジンに対する資源の割り当てを表す資源割当情報を記憶した資源割当情報記憶手段を備え、
     前記入力品質調整手段は、前記資源割当情報に基づいて前記資源量要件を設定し、当該資源量要件を満たすよう前記解析エンジン毎にそれぞれ入力される前記処理対象データの前記品質特性を決定する、
    解析処理システム。
  12.  それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する情報処理装置に、
     予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整する入力品質調整手段と、
     前記入力品質調整手段にて調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力し、前記解析処理システムの動作を制御して解析処理を実行する解析処理実行手段と、
    を実現させるためのプログラム。
  13.  請求項12に記載のプログラムであって、
     前記入力品質調整手段は、当該入力品質調整手段にて決定した前記解析エンジン毎に入力される前記処理対象データの前記品質特性と、予め記憶された前記複数の解析エンジンによる解析順序を表す解析処理フローと、に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
    プログラム。
  14.  それぞれ所定の解析処理を行う複数の解析エンジンを組み合わせて構成される解析処理システムの動作を制御して解析処理を実行する解析処理方法であり、
     予め設定された解析結果の精度要件を満たすよう前記解析エンジン毎にそれぞれ入力される処理対象データの品質特性を決定すると共に、当該決定された品質特性に基づいて前記解析処理システムを構成する所定の前記解析エンジンに入力される前記処理対象データの前記品質特性を調整し、
     調整された前記品質特性に対応する品質の前記処理対象データを、前記所定の解析エンジンに入力し、前記解析処理システムの動作を制御して解析処理を実行する、
    解析処理方法。
  15.  請求項14に記載の解析処理方法であって、
     前記複数の解析エンジンによる解析順序を表す解析処理フローが記憶されており、
     前記エンジン特性情報に基づいて決定された前記解析エンジン毎に入力される前記処理対象データの前記品質特性と、前記解析処理フローと、に基づいて、前記所定の解析エンジンに入力される前記処理対象データの前記品質特性を調整する、
    解析処理方法。
     
PCT/JP2013/000796 2012-03-02 2013-02-14 解析処理システム WO2013128822A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014501999A JP6225896B2 (ja) 2012-03-02 2013-02-14 解析処理システム
US14/379,541 US20150030260A1 (en) 2012-03-02 2013-02-14 Analysis system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012046674 2012-03-02
JP2012-046674 2012-03-02

Publications (1)

Publication Number Publication Date
WO2013128822A1 true WO2013128822A1 (ja) 2013-09-06

Family

ID=49082038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000796 WO2013128822A1 (ja) 2012-03-02 2013-02-14 解析処理システム

Country Status (3)

Country Link
US (1) US20150030260A1 (ja)
JP (1) JP6225896B2 (ja)
WO (1) WO2013128822A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016028143A1 (en) * 2014-08-20 2016-02-25 Mimos Berhad Method and apparatus for performing parallel video analytics

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3142040A1 (en) * 2015-09-11 2017-03-15 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and program
JP6775343B2 (ja) * 2015-09-11 2020-10-28 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
KR102669100B1 (ko) 2018-11-02 2024-05-27 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2020157885A1 (ja) * 2019-01-31 2020-08-06 日本電気株式会社 データストリーム割り当て方法、システムおよびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136499A (ja) * 1997-10-27 1999-05-21 Canon Inc 画像処理システム及び画像処理装置
JP2001175872A (ja) * 1999-12-15 2001-06-29 Clarion Co Ltd 画像処理装置及び方法並びに画像処理用ソフトウェアを記録した記録媒体
JP2011103561A (ja) * 2009-11-11 2011-05-26 Sony Corp 画像処理システム、画像処理装置、画像処理方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210271A1 (en) * 2002-05-13 2003-11-13 King William Davis Power based level-of- detail management system for a portable computer graphics display
KR100679046B1 (ko) * 2005-10-10 2007-02-05 삼성전자주식회사 이미지의 지역적 정보를 이용한 비트 해상도 확장 방법 및장치
US20100199189A1 (en) * 2006-03-12 2010-08-05 Nice Systems, Ltd. Apparatus and method for target oriented law enforcement interception and analysis
US8411940B2 (en) * 2007-08-15 2013-04-02 I.R.I.S. Method for fast up-scaling of color images and method for interpretation of digitally acquired documents
JP5429445B2 (ja) * 2008-04-08 2014-02-26 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
JP5284537B2 (ja) * 2010-03-31 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US20120287487A1 (en) * 2011-05-11 2012-11-15 Xerox Corporation System and method for determining scan limits with control tiers and automatically scanning documents according to same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136499A (ja) * 1997-10-27 1999-05-21 Canon Inc 画像処理システム及び画像処理装置
JP2001175872A (ja) * 1999-12-15 2001-06-29 Clarion Co Ltd 画像処理装置及び方法並びに画像処理用ソフトウェアを記録した記録媒体
JP2011103561A (ja) * 2009-11-11 2011-05-26 Sony Corp 画像処理システム、画像処理装置、画像処理方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016028143A1 (en) * 2014-08-20 2016-02-25 Mimos Berhad Method and apparatus for performing parallel video analytics

Also Published As

Publication number Publication date
JPWO2013128822A1 (ja) 2015-07-30
JP6225896B2 (ja) 2017-11-08
US20150030260A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
JP6225896B2 (ja) 解析処理システム
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
CN109891189B (zh) 策划的摄影测量
US10257502B2 (en) Methods and apparatus for controlling light field capture
US10198660B2 (en) Method and apparatus for event sampling of dynamic vision sensor on image formation
US10269130B2 (en) Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone
US9571726B2 (en) Generating attention information from photos
CN103546692A (zh) 一种实现一体化摄像机自动聚焦的方法及系统
JP2015033103A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2021135639A1 (zh) 活体检测方法及装置
WO2023040423A1 (zh) 镜头的调焦方法、装置、计算机设备和存储介质
CN113066092A (zh) 视频对象分割方法、装置及计算机设备
WO2014091667A1 (ja) 解析制御システム
CN105701762A (zh) 一种图片处理方法和电子设备
CN111178277B (zh) 一种视频流识别方法及装置
CN110060264B (zh) 神经网络训练方法、视频帧处理方法、装置及系统
US11354544B2 (en) Fingerprint image processing methods and apparatuses
WO2016192467A1 (zh) 一种播放视频的方法及装置
US20130051633A1 (en) Image processing apparatus
KR102126370B1 (ko) 동작 인식 장치 및 방법
US9621780B2 (en) Method and system of curve fitting for common focus measures
US9898828B2 (en) Methods and systems for determining frames and photo composition within multiple frames
Ottenwälder et al. Distributed complex event processing for mobile large-scale video applications
JP2017034616A (ja) 画像処理装置及びその制御方法
JP2010122840A (ja) 物体領域検出方法、物体領域検出装置、物体領域検出プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13755128

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014501999

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14379541

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13755128

Country of ref document: EP

Kind code of ref document: A1