WO2018179151A1 - 映像解析装置、映像解析方法、および映像解析プログラム - Google Patents

映像解析装置、映像解析方法、および映像解析プログラム Download PDF

Info

Publication number
WO2018179151A1
WO2018179151A1 PCT/JP2017/012956 JP2017012956W WO2018179151A1 WO 2018179151 A1 WO2018179151 A1 WO 2018179151A1 JP 2017012956 W JP2017012956 W JP 2017012956W WO 2018179151 A1 WO2018179151 A1 WO 2018179151A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
selection
video
analysis
selection unit
Prior art date
Application number
PCT/JP2017/012956
Other languages
English (en)
French (fr)
Inventor
有熊　威
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019508437A priority Critical patent/JP6931203B2/ja
Priority to US16/476,316 priority patent/US11170486B2/en
Priority to PCT/JP2017/012956 priority patent/WO2018179151A1/ja
Publication of WO2018179151A1 publication Critical patent/WO2018179151A1/ja
Priority to US16/662,507 priority patent/US11386536B2/en
Priority to JP2021085856A priority patent/JP7121353B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present invention relates to a video analysis device, a video analysis method, and a video analysis program.
  • Patent Document 1 describes an example of a related art video analysis system. As shown in FIG. 15, the video analysis system disclosed in Patent Document 1 includes a camera 12 that captures an object, an image acquisition unit 20, an image correction unit 22, a position detection unit 24, and a reliability calculation unit 26. Consists of.
  • the image acquisition unit 20 images a target pointing marker.
  • the image correction unit 22 corrects the image so that the marker can be easily detected.
  • the position detection unit 24 estimates the marker position in the image.
  • the reliability calculation unit 26 calculates the reliability of the position and selects only data with high reliability.
  • Patent Document 2 discloses an “image recognition system” that enables learning and updating of a recognizer adaptively according to various environments and objects, and enables highly accurate and robust recognition even in a situation where the recognizer is limited. is doing.
  • the image recognition system described in Patent Document 2 uses a recognition processing unit that processes input image data in parallel by a plurality of recognizers, an integration unit that integrates outputs of the respective recognizers, and teacher data that is a target of processing.
  • the learning unit that updates the recognizer in a learning manner has a basic configuration.
  • the recognition processing unit processes input images in parallel by a plurality of recognizers, extracts a target, and outputs a processed image.
  • a tree-structured image filter in which a plurality of image filters are combined in a tree structure is employed.
  • the optimization of the tree structure is performed in advance in offline pre-learning in order to cope with various scenes, and it is special for typical scenes such as daytime, nighttime, weather, and environment (highways, highways, urban areas, etc.). Is stored in the recognizer database as a recognized recognizer.
  • the learning unit is a recognizer evaluation unit that evaluates each recognizer, a replacement selection unit that obtains an optimal combination from all the recognizers, and replaces the combination of the currently used recognizers with the optimal combination, teacher data
  • a sequential learning unit for newly creating a recognizer is provided.
  • the recognizer evaluation unit individually evaluates the currently used tree structure filter string and the tree structure filter string stocked in the recognizer database by inputting an image serving as teacher data.
  • the replacement selection unit obtains a combination of N trees having the highest evaluation among all trees including the currently used tree and the stocked tree.
  • the optimum tree combination is evaluated using an integrated image of the combined tree group. For example, the evaluation value is calculated by comparing the integrated image with the target image.
  • Patent Document 3 discloses an “image recognition method and apparatus” that automatically processes image data with an appropriate algorithm and performs appropriate image recognition even when there are many types of objects and the characteristics of the image data vary. Is disclosed.
  • the image recognition device disclosed in Patent Literature 3 includes an imaging camera and an image processing device.
  • the image processing apparatus includes an A / D converter, an image data memory, a central processing unit, a program memory, and first to sixth image processing modules.
  • Each image processing module includes a memory and a calculation unit.
  • the object is photographed with a photographing camera.
  • the video signal output from the photographing camera is input to the image processing apparatus.
  • the input video signal is converted into an 8-bit digital signal by the A / D converter and stored in the image data memory.
  • the central processing unit sends a program of image data and processing contents (algorithm) to each image processing module according to the program stored in the program memory.
  • the image data and the processing content program sent to each image processing module are stored in the memory, and the processing unit processes the stored image data according to the processing content program, and notifies the central processing unit of the result.
  • Each image processing module has a different threshold value for binarization.
  • the central processing unit looks at the image processing result sent from each image processing module, selects the image processing module that has produced the optimal solution, and adopts the result to include the shape and position (including the posture of the object). ) Etc. to obtain a recognition result.
  • Patent Documents 1 to 3 described above have the following problems.
  • Patent Document 1 The problem of Patent Document 1 is that applicable environmental conditions are limited. The reason is that the conventional technique performs image correction assuming an environment where there is a certain restriction on the installation environment of lighting and cameras, such as in a general household. However, such image correction is difficult to apply to applications where there are various environmental fluctuations such as the influence of installation location and sunlight, strong winds and rainfall, as in street monitoring.
  • Patent Document 2 merely discloses a technical idea of learning and updating a recognizer adaptively according to various environments and objects. That is, in Patent Document 2, optimum image data is not selected from input image data.
  • Patent Document 3 there is a problem that wasteful calculation resources are consumed.
  • An object of the present invention is to provide a video analysis apparatus that can solve any of the above-described problems.
  • the video analysis apparatus of the present invention includes a plurality of processing execution units that can execute different processes on an input video, an analysis unit that analyzes a change in video caused by an external environment based on the video, A process selection unit that selects at least one of the plurality of process execution units based on the analyzed variation.
  • An advantage of the present invention is that it can automatically cope with various environmental changes without consuming unnecessary computing resources.
  • FIG. 5 It is a block diagram which shows the structure of the video analysis apparatus which concerns on embodiment of this invention. It is a flowchart which shows operation
  • FIG. 5 is a block diagram showing a face authentication device that assumes application of the video analysis device shown in FIG. 4. It is a conceptual diagram of environmental information for demonstrating operation
  • 1 is a block diagram illustrating a configuration of a video analysis system disclosed in Patent Document 1.
  • FIG. 1 is a block diagram showing a configuration of a video analysis apparatus 100 according to an embodiment of the present invention.
  • the illustrated video analysis apparatus 100 includes first to Nth (N is an integer equal to or greater than 2) process execution units 110-1, 100-2,... 100-N, an analysis unit 120, and a process selection unit 130. It consists of.
  • Each of the first to Nth process execution units 110-1 to 110-N can execute different processes on the input video.
  • the analysis unit 120 analyzes the fluctuation (including deterioration) of the video caused by the external environment based on the video.
  • the process selection unit 130 selects at least one of the first to Nth process execution units 110-1 to 110-N based on the analyzed variation, and executes the video processing on the selected process execution unit Let
  • the analysis unit 120 analyzes a change (including deterioration) of a video caused by an external environment based on the input video (step S101).
  • the process selection unit 130 selects at least one of the first to Nth 110-1 to 110-N based on the analyzed variation (step S102).
  • each part (each component) of the video analysis apparatus 100 can be realized using a combination of hardware and software.
  • FIG. 3 is a block diagram showing a video analysis apparatus 200 showing a configuration in which the video analysis apparatus 100 is a combination of hardware and software.
  • the illustrated video analysis device 200 includes an A / D converter 210, a CPU (central processing unit) 220, a work memory 230, and a program memory 240.
  • the A / D converter 210 converts the analog video signal captured by the camera into a digital video signal.
  • the CPU 220 functions as a control unit that controls the operation of the video analysis device 200.
  • the work memory 230 is composed of, for example, a RAM (random access memory), and temporarily stores a digital video signal and a processing result in the CPU 220.
  • the program memory 240 is composed of, for example, a ROM (read only memory) or RAM, and stores a video analysis program.
  • the CPU 220 implements each unit (each component) as various means by executing predetermined processing based on the video analysis program stored in the program memory 240. Further, the video analysis program may be recorded on a recording medium and distributed. The video solution program recorded on the recording medium is read into a memory via a wired, wireless, or recording medium itself, and operates a control unit and the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • a computer that operates as the video analysis apparatus 200 is based on a video analysis program stored in the program memory 240, and the first to Nth process execution units 110-1 to 110-110. It can be realized by operating as -N, analysis unit 120, and processing selection unit 130.
  • FIG. 4 is a block diagram showing the configuration of the video analysis apparatus 300 according to the first embodiment of the present invention.
  • a video analysis apparatus 300 includes a data input unit 310, an analysis unit 320, a sorting switching unit 330, an environment analysis unit 340, a sorting selection unit 350, , A characteristic storage unit 360, a plurality of sorting units 370-1, 370-2,..., And a data output unit 380.
  • the data input unit 310 acquires processing target data from a data acquisition device such as a camera.
  • the analysis unit 320 receives data acquired by the data input unit 310 and performs analysis processing such as detection of an object in an image and detection of abnormal sound in sound.
  • the analysis unit 310 performs additional analysis and adds it to the result.
  • the sorting switching unit 330 switches the data transfer so that the result of the analyzing unit 320 is passed from the sorting selection unit 350 to the designated sorting unit 370.
  • the environment analysis unit 340 receives the data acquired by the data input unit 310 and analyzes environmental information such as luminance and blur in the image.
  • the analysis of the environmental information does not need to be performed on all input data, and may be performed at an arbitrary execution frequency according to the environmental analysis content such as periodic sampling.
  • the selection / selection unit 350 selects the optimum selection unit 370 according to the environment information analyzed by the environment analysis unit 340, the selection characteristic information stored in the characteristic storage unit 360, and the rules corresponding to the environmental information selection function.
  • the sorting selection unit 350 requests the analyzing unit 320 to perform additional analysis when additional analysis necessary for the selected sorting is required.
  • the plurality of sorting units 370 function as the processing execution units 110-1 to 110-N in FIG.
  • the combination of the environment analysis unit 340 and the characteristic storage unit 360 functions as the analysis unit 120 in FIG.
  • the selection / selection unit 350 functions as the process selection unit 230 in FIG.
  • FIG. 5 is a diagram illustrating an example of selection characteristic information stored in the characteristic storage unit 360.
  • FIG. 6 is a diagram illustrating an example of an environment information selection function correspondence rule stored in the characteristic storage unit 360.
  • the characteristic storage unit 360 uses, as selection characteristic information, a selection function for specifying a selection function, an additional analysis function that indicates an additional analysis function requested to the analysis unit 360, and a selection function.
  • Metadata representing data to be processed and a transition time representing the time taken to switch the sorting function are stored.
  • the selection function can use a numerical value and a flag in addition to the character string representing the function.
  • the additional analysis function can use numerical values and flags in addition to the character string representing the function.
  • a numerical value or a flag can be used in addition to a character string representing a data type.
  • the characteristic storage unit 360 stores a sorting function for specifying the sorting function and a rule representing a rule for selecting the sorting as the environment information sorting function correspondence rule.
  • the selection function can use a numerical value and a flag in addition to the character string representing the function.
  • the rule can use not only a simple threshold expression but also a decision tree or a selection algorithm based on machine learning.
  • Each of the sorting units 370-1, 370-2,... Uses the analysis result output from the analysis unit 120320 and its metadata to determine whether to output or reject the analysis result.
  • the data output unit 380 outputs the received sorted data to the external system.
  • the data input unit 310 acquires target data from a camera or the like (step S201 in FIG. 7).
  • the analysis unit 320 analyzes the target data and obtains analysis result data (step S202 in FIG. 7). At this time, if an additional analysis is designated by the selection / selection unit 360, the analysis unit 320 executes the additional analysis together (step S202 in FIG. 7).
  • the environment analysis unit 340 analyzes the target data to obtain environment information (step S203 in FIG. 7).
  • the selection / selection unit 350 selects the selection unit 370 according to the environment information analyzed by the environment analysis unit 340, the selection characteristic information stored in the characteristic storage unit 360, and the rules corresponding to the environmental information selection function (step in FIG. 7). S204).
  • the selection switching unit 330 passes the analysis result data output by the analysis unit 320 to the selection unit 370 determined by the selection selection unit 350 (step S205 in FIG. 7).
  • a sorting process is performed on the analysis result data received by the sorting unit 370 to sort analysis result data necessary for maintaining accuracy (step S206 in FIG. 7).
  • the data output 380 transmits the received analysis result data after sorting to the external system (step S207 in FIG. 7). Steps S201 to S207 are repeated until the system is stopped (step S208 in FIG. 7).
  • step S202 and steps S203 and S204 operate in parallel, but they may operate in series.
  • FIG. 8 is a block diagram showing a configuration of the assumed face authentication apparatus 400.
  • the face authentication device 400 includes a processing unit 420 and a storage unit 440.
  • the processing unit 420 includes a face detection unit 422, a feature amount extraction unit 424, and a collation unit 426.
  • the storage unit 440 includes a database 442 for registering reference feature amounts indicating facial features of a person to be authenticated.
  • the face detection unit 422 detects a face from video captured by the camera. As the face detection unit 422, the video analysis apparatus 300 shown in FIG. 4 is used.
  • the feature amount extraction unit 424 extracts the feature amount of the detected face.
  • the collation unit 426 collates the extracted feature quantity with the reference feature quantity registered in the database 422 to perform face authentication.
  • the video analysis apparatus 300 assumes that the face detection unit 422 detects a face.
  • the analysis unit 320 performs face detection processing on the monitoring video acquired by the data input unit 310.
  • there are three sorting units 370 that is, first to third sorting units 370-1, 370-2, and 370-3.
  • the first selection unit 370-1 uses a simple selection filter.
  • the second selection unit 370-2 uses a single output filter related to luminance.
  • the third sorting unit 370-3 uses a multiple output filter related to blurring.
  • the simple selection filter is a simple selection filter that outputs only high-quality faces that are equal to or higher than a predetermined threshold.
  • the single output filter is a single output filter that selects only one face having the highest quality value among the faces of the same person detected for a certain past time in terms of luminance.
  • the multiple output filter is a multiple output filter that selects a plurality of faces having a high quality value from the faces of the same person detected in a past fixed time with respect to blurring.
  • the selection selecting unit 350 uses FIG. 5, FIG. 6, and FIG. 9 to select the optimum sorting unit 370 according to the environment information. I will explain. Here, as an initial state, it is assumed that the first selection unit (simple selection filter) 370-1 is operating as the selection unit 370.
  • the data input unit 310 divides the video acquired from the camera into frame images and outputs them to the analysis unit 320 and the environment analysis unit 340.
  • the analysis unit 320 performs face detection on the received image, and outputs a plurality of detected faces as analysis result data together with the quality score of each face.
  • the environment analysis unit 340 analyzes the frame image output from the data input unit 310 and outputs environment information. For example, the environment analysis unit 340 analyzes image blur amount and luminance deviation information for each frame image or periodically as shown in FIG. 9 and outputs the result as environment information.
  • FIG. 9 shows an example of a time graph in which the horizontal axis indicates the time in seconds and the vertical axis indicates the amount of blur and the magnitude of the luminance deviation, and an example of the states of the analysis unit 320 and the selection unit 370 at that time.
  • each of the amount of blurring and the magnitude of the luminance deviation is standardized so that the maximum value is 1.0.
  • the amount of blur can be estimated by, for example, performing Fourier transform on the input image and determining that it is blur when there are many low-frequency components.
  • a method for estimating such a blur amount is reported in Non-Patent Document 1.
  • the luminance bias can be estimated by, for example, calculating a luminance histogram in the image and detecting the luminance distribution as a luminance bias when there are many pixels with low luminance or many pixels with high luminance. It is.
  • the sorting selection unit 350 is based on the environment information analyzed by the environment analysis unit 340, the sorting characteristic information (FIG. 5) and the environment information sorting function correspondence rule (FIG. 6) stored in the property storage unit 360. To select the optimum sorting section.
  • the selection / selection unit 350 selects the simple selection filter because both the single output filter (luminance) and the multiple output filters (blur) do not satisfy the rule in the environment information selection function correspondence rule of FIG.
  • the selection switching unit 330 passes the analysis result data output by the analysis unit 320 to the first selection unit 370-1 using the simple selection filter according to the selection of the selection selection unit 350.
  • the first selection unit 370-1 using the simple selection filter compares the quality score of each face included in the input analysis result data with a preset threshold value, and if the quality score is equal to or higher than the threshold value, the analysis result Data is output to the data output unit 380.
  • the selection / selection unit 350 uses the multiple output filter because the rule for the multiple output filter (blur) is satisfied by the environment information selection function support rule of FIG.
  • the selection unit 370-3 is selected.
  • the analysis unit 320 executes tracking analysis for extracting tracking information of the same face between the frame images designated from the selection / selection unit 350 together with the face detection described above.
  • the sorting switching unit 330 passes the analysis result data output by the analyzing unit 320 to the third sorting unit 370-3 using a plurality of output filters in accordance with the selection of the sorting selection unit 350.
  • the selection / selection unit 350 selects the optimum selection unit 370 based on the environmental information analyzed by the environment analysis unit 340, so that it depends on the installation location and sunlight as in street monitoring. Even in the presence of various environmental fluctuations such as impacts, strong winds and rainfall, analysis result data necessary for maintaining accuracy such as recall can be provided.
  • each part (each component) of the video analysis apparatus 300 can be realized by using a combination of hardware and software as shown in FIG.
  • a video analysis program is stored in the program memory 240, and each part (each component) is realized as various means by operating the hardware of the CPU 220 based on the video analysis program.
  • the video analysis program may be recorded on a recording medium and distributed. The program recorded on the recording medium is read into a memory via a wired, wireless, or recording medium itself, and operates a control unit or the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • a computer that operates as the video analysis device 300 is based on a video analysis program stored in the program memory 240, and a data input unit 310, an analysis unit 320, and a selection switching unit. 330, the environment analysis unit 340, the selection / selection unit 350, the characteristic storage unit 360, the plurality of selection units 370, and the data output unit 380.
  • FIG. 10 is a block diagram showing the configuration of a video analysis apparatus 300A according to the second embodiment of the present invention.
  • the result integration unit 390 is provided between the selection unit 370 and the data output unit 380. It is connected.
  • the selection / selection unit 350 selects a plurality of selection units 370 based on the environment information analyzed by the environment analysis unit 340, the selection characteristic information stored in the characteristic storage unit 36, and the environment information selection function correspondence rule.
  • the result integration unit 390 integrates the analysis result data to be finally output based on the results selected by the plurality of selection units 370 and the weights specified by the selection selection unit 350, and the integrated analysis result data is output to the data output unit 380. Output to.
  • the selection / selection unit 350 selects one or more selection units 370 based on the environmental information output from the environment analysis unit 340, the selection characteristic information stored in the characteristic storage unit 360, and the rules corresponding to the environmental information selection function. Select (step S204A in FIG. 11).
  • FIG. 12 is a flowchart for explaining the operation of selection execution (step S300) in the selection unit 350 of FIG.
  • the single sorting unit 370 sorts the analysis result data (steps S301 and S305 in FIG. 12) as in the first embodiment. , S306).
  • the selection switching unit 330 sends analysis result data to the plurality of selection units 370 (step S302 in FIG. 12).
  • Each sorting unit 370 that has received the data performs a sorting process and passes the result to the result integrating unit 390 (step S303 in FIG. 12).
  • the result integration unit 390 integrates the analysis result data to be finally output based on the results selected by the plurality of selection units 370 and the weights specified by the selection selection unit 350, and outputs them to the data output unit 380 (FIG. 12). Step S304).
  • the selection / selection unit 350 selects a selection type based on the environment information analyzed by the environment analysis unit 340 and the environment information selection function correspondence rules stored in the characteristic storage unit 360.
  • the sorting selection unit 350 satisfies the environment information sorting function corresponding rule in FIG. 6 and satisfies the rule of the multiple output filter (blur).
  • the third sorting unit 370-3 that uses the filter is selected.
  • the selection selection unit 350 determines that the simple selection filter is also executed for 2,000 milliseconds from the transition time of the selection characteristic information in FIG. 5 until the multiple output filter (blur) is stabilized, and the analysis unit 320 performs the tracking analysis.
  • the result integration unit 390 is instructed to give priority to the result of the first selection unit 370-1 using the simple selection filter.
  • the result integration unit 390 outputs only the result of the first selection unit 370-1 that uses the simple selection filter among the outputs of the two selection units 370 according to the instruction of the selection selection unit 350.
  • the selection selection unit 350 determines the end of the transition period, and cancels the use of the first selection unit 370-1 that uses the simple selection filter.
  • the result integration unit 390 outputs the result of one selection unit 370 (in this example, the third selection unit 370-3 using a plurality of output filters) to the subsequent stage as it is. This makes it possible to apply a selection algorithm whose operation immediately after the start of execution is not stable.
  • the selection algorithm 350 that selects one or more selection units 370, and the result integration unit 390 integrates the results of the plurality of selection units 370, so that a selection algorithm that takes time for initialization is performed. It is possible to achieve higher accuracy by integrating multiple types of sorting.
  • each part (each component) of the video analysis apparatus 300A can be realized by using a combination of hardware and software as shown in FIG.
  • a video analysis program is stored in the program memory 240, and each part (each component) is realized as various means by operating the hardware of the CPU 220 based on the video analysis program.
  • the video analysis program may be recorded on a recording medium and distributed. The program recorded on the recording medium is read into a memory via a wired, wireless, or recording medium itself, and operates a control unit or the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • a computer that operates as the video analysis device 300A is based on a video analysis program stored in the program memory 240, a data input unit 310, an analysis unit 320, and a selection switching unit. It can be realized by operating as 330, an environment analysis unit 340, a selection / selection unit 350, a characteristic storage unit 360, a plurality of selection units 370, a data output unit 380, and a result integration unit 390.
  • the third embodiment is an example in which the video analysis apparatuses 100, 300, and 300A described above are applied to the intelligent camera 500.
  • FIG. 14 is a block diagram illustrating a configuration of an intelligent camera 500 according to the third embodiment.
  • the illustrated intelligent camera 500 includes an acquisition unit 510 and an image processing unit 520.
  • the acquisition unit 510 acquires a video.
  • the image processing unit 520 operates as one of the video analysis devices 100, 300, and 300A described above.
  • the present invention can be applied to uses such as an analysis system that analyzes video and image data with high accuracy and a program for realizing the analysis system by a computer. Further, the present invention can be applied to uses such as an analysis device in a monitoring system such as street monitoring in a city and a program for realizing the analysis device by a computer.
  • DESCRIPTION OF SYMBOLS 100 Image analysis apparatus 110-1,110-2,110-N Process execution part 120 Analysis part 130 Process selection part 200 Image

Abstract

無駄な計算資源を消費することなく、カメラ設置条件や環境要因による多様な環境変動に自動対応できる映像解析装置を提供する。映像解析装置は、入力される映像に対して異なる処理を実行可能な複数の処理実行部と、映像に基づいて、外的環境に起因する映像の変動を分析する分析部と、分析された変動に基づいて、複数の処理実行部から少なくとも１つを選択する処理選択部と、を備える。

Description

映像解析装置、映像解析方法、および映像解析プログラム
本発明は映像解析装置、映像解析方法、および映像解析プログラムに関する。
特許文献１は、関連技術の映像解析システムの一例を記載している。図１５に示すように、この特許文献1の映像解析システムは、対象物を撮影するカメラ１２と、画像取得部２０と、画像補正部２２と、位置検出部２４と、信頼度演算部２６とから成る。
このような構成を有する特許文献１の映像解析システムは次のように動作する。
すなわち、画像取得部２０が対象となるポインティングマーカを撮像する。画像補正部２２がマーカを検出しやすいように画像を補正する。位置検出部２４が画像中のマーカ位置を推定する。信頼度演算部２６が位置の信頼度を算出し信頼度が高いデータのみを選択する。
特許文献２は、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とする「画像認識システム」を開示している。
特許文献２に記載の画像認識システムは、入力される画像データを複数の認識器で並列に処理する認識処理部、各認識器の出力を統合する統合部、処理の目標となる教師データを用いて認識器を学習的に更新する学習部を基本構成としている。
認識処理部は、複数の認識器で入力画像を並列に処理し、対象を抽出して処理画像を出力する。認識器として、複数の画像フィルタを木構造に組み合わせた木構造状画像フィルタを採用している。木構造の最適化は、各種シーンに対応するため、予めオフラインの事前学習においても実行され、典型的なシーン、例えば、昼、夜、天候、環境（高速道路、幹線道路、市街地等）に特化した認識器として認識器データベースにストックされる。
学習部は、個々の認識器を評価する認識器評価部、全ての認識器の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部、教師データを元に新たに認識器を作成する逐次学習部を備える。
認識器評価部は、教師データとなる画像の入力により、現在使用している木構造フィルタ列、及び認識器データベースにストックされている木構造フィルタ列を個別に評価する。
入替選択部は、現在用いている木とストックしている木とを含めて全ての木の中から、最も評価が高くなるＮ本の木の組み合わせを求める。
最適な木の組み合わせに関しては、組み合わせた木群の統合画像を用いて評価を行う。例えば、統合画像を目標画像と比較して評価値を算出する。
特許文献３は、対象物の種類が多く、その画像データの特性にばらつきがあっても自動的に適正なアルゴリズムにて画像データを処理して適正な画像認識を行う「画像認識方法及び装置」を開示している。
特許文献３に開示された画像認識装置は、撮像カメラと画像処理装置とを備える。画像処理装置は、Ａ／Ｄ変換器、画像データメモリ、中央演算部、プログラムメモリ、第１～第６の画像処理モジュールから成る。各画像処理モジュールは、メモリと演算部を備える。
対象物を撮影カメラによって撮影する。撮影カメラから出力された映像信号は画像処理装置に入力される。入力された映像信号はＡ／Ｄ変換器で８ビットデジタル信号に変換され、画像データメモリに記憶される。中央演算部は、プログラムメモリに記憶されたプログラムに従って、各画像処理モジュールにそれぞれ画像データと処理内容（アルゴリズム）のプログラムを送る。
各画像処理モジュールに送られてきた画像データと処理内容のプログラムはメモリに格納され、演算部が格納された画像データを処理内容のプログラムに従って処理し、結果を中央演算部に知らせる。各画像処理モジュールで２値化のしきい値を異ならせている。
中央演算部は、各画像処理モジュールから送られてきた画像処理結果を見て、最適な解を出した画像処理モジュールを選択し、その結果を採用して対象物の形状や位置（姿勢を含む）などを演算して認識結果を得る。
特開２００９－２４５３４９号公報 特開２００８－２０４１０３号公報 特開２０００－１９４８６１号公報
Said Pertuz, Domencec Puig, Miguel Angel Garcia, "Analysis of focus measure operators for shape-form-focus", Pattern Recognition, November 2012
前述した特許文献１～３には、それぞれ、次に述べるような問題がある。
特許文献１の問題点は、適用可能な環境条件が限定的である事である。その理由は、従来の技術は一般家庭の室内のような照明やカメラの設置環境に一定の制約がある環境を想定し、画像補正を行っている。しかしながら、このような画像補正では、街頭監視のように設置場所や日光による影響、強風や降雨など多様な環境変動が存在する用途には適用困難であるためである。
特許文献２は、単に、多様な環境や対象に合わせて適応的に認識器を学習し更新する技術思想を開示しているに過ぎない。すなわち、特許文献２では、入力される画像データの中から最適な画像データを選別してはいない。
特許文献３は、すべての画像処理モジュールで実行した後で、画像処理結果を見て、最適な解を出した画像処理モジュールを選択している。そのため、特許文献３では、無駄な計算資源の消費が発生しまうという問題がある。
　［発明の目的］
本発明の目的は、上述した課題のいずれかを解決できる映像解析装置を提供することにある。
本発明の映像解析装置は、入力される映像に対して異なる処理を実行可能な複数の処理実行部と、前記映像に基づいて、外的環境に起因する映像の変動を分析する分析部と、前記分析された変動に基づいて、前記複数の処理実行部から少なくとも１つを選択する処理選択部とを有する。
本発明の効果は、無駄な計算資源を消費することなく、多様な環境変動に自動対応できることにある。
本発明の実施形態に係る映像解析装置の構成を示すブロック図である。 図１に示した映像解析装置の動作を示す流れ図である。 図１に示した映像解析装置のハードウェア構成を示すブロック図である。 本発明の第１の実施例に係る映像解析装置の構成を示すブロック図である。 図４に示した映像解析装置に使用される特性記憶部に記憶される選別特性情報の一例を説明する図である。 図４に示した映像解析装置に使用される特性記憶部に記憶される環境情報選別機能対応ルールの一例を説明する図である。 図４に示した映像解析装置の選別選択動作を示す流れ図である。 図４に示した映像解析装置の適用を想定している顔認証装置を示すブロック図である。 図４に示した映像解析装置に使用される選別切替部の動作を説明するための環境情報の概念図である。 本発明の第２の実施例に係る映像解析装置の構成を示すブロック図である。 図１０に示した映像解析装置の選別選択動作を示す流れ図である。 図１０に示した映像解析装置の選別動作を示す流れ図である。 図１０に示した映像解析装置の結果統合部による複数選別処理の統合処理の一例を説明するための図である。 本発明の第３の実施例に係るインテリジェントカメラの構成を示すブロック図である。 特許文献１に開示された映像解析システムの構成を示すブロック図である。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る映像解析装置１００の構成を示すブロック図である。
図示の映像解析装置１００は、第１乃至第Ｎ（Ｎは２以上の整数）の処理実行部１１０－１、１００－２、・・・１００－Ｎと、分析部１２０と、処理選択部１３０とから成る。
第１乃至第Ｎの処理実行部１１０－１～１１０－Ｎの各々は、入力される映像に対して異なる処理を実行可能である。分析部１２０は、映像に基づいて、外的環境に起因する映像の変動（劣化を含む）を分析する。処理選択部１３０は、分析された変動に基づいて、第１乃至第Ｎの処理実行部１１０－１～１１０－Ｎから少なくとも１つを選択して、選択した処理実行部に映像の処理を実行させる。
このように、本実施形態では、映像の処理を、第１乃至第Ｎの１１０－１～１１０－Ｎの全てに実行させるのではなく、実行する前に使用する処理実行部を選択している。これにより、無駄な計算資源の消費を抑えている。
次に、図２を参照して、映像解析装置１００の動作について説明する。
先ず、分析部１２０が、入力される映像に基づいて、外的環境に起因する映像の変動（劣化を含む）を分析する（ステップＳ１０１）。
次に、処理選択部１３０が、分析された変動に基づいて、第１乃至第Ｎの１１０－１～１１０－Ｎから少なくとも１つを選択する（ステップＳ１０２）。
尚、映像解析装置１００の各部（各構成要素）は、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。
図３は、映像解析装置１００をハードウェアとソフトウェアとを組み合わせた形態を示す映像解析装置２００を示すブロック図である。
図示の映像解析装置２００は、Ａ／Ｄ変換器２１０と、ＣＰＵ（central processing unit）２２０と、ワークメモリ２３０と、プログラムメモリ２４０とから成る。
Ａ／Ｄ変換器２１０は、カメラで撮像されたアナログ映像信号をデジタル映像信号に変換する。ＣＰＵ２２０は、映像解析装置２００の動作を制御する制御部として働く。ワークメモリ２３０は、例えば、ＲＡＭ（random access memory）で構成され、デジタル映像信号やＣＰＵ２２０での処理結果を一時的に格納する。プログラムメモリ２４０は、例えば、ＲＯＭ（read only memory）やＲＡＭで構成され、映像解析プログラムが格納されている。
ＣＰＵ２２０は、プログラムメモリ２４０に格納された映像解析プログラムに基づいて、所定の処理を実行することで、各部（各構成要素）を各種手段として実現する。また、該映像解析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された映像解プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、映像解析装置２００として動作させるコンピュータを、プログラムメモリ２４０に格納された映像解析プログラムに基づき、第１乃至第Ｎの処理実行部１１０－１～１１０－Ｎ、分析部１２０、および処理選択部１３０として動作させることで実現することが可能である。
以上説明したように、本発明の実施形態によれば、無駄な計算資源を消費することなく、多様な環境変動に自動対応できる。
[構成の説明]
次に、本発明の実施例について図面を参照して詳細に説明する。
図４は、本発明の第１の実施例に係る映像解析装置３００の構成を示すブロック図である。
図４を参照すると、本発明の第１の実施例に係る映像解析装置３００は、データ入力部３１０と、解析部３２０と、選別切替部３３０と、環境分析部３４０と、選別選択部３５０と、特性記憶部３６０と、複数の選別部３７０－１、３７０－２、・・・と、データ出力部３８０から成る。
これらの手段はそれぞれ概略つぎのように動作する。
データ入力部３１０は、例えばカメラのようなデータ取得装置から処理対象データを取得する。解析部３２０は、データ入力部３１０の取得したデータを受け取り、画像中の対象物検知や音声中の異常音検知等の解析処理を行う。また、解析部３１０は選別選択部３５０から指定された追加の解析データがある場合は、追加の解析を行い結果へ追加する。
選別切替部３３０は、解析部３２０の結果を選別選択部３５０から指定された選別部３７０へ渡すようにデータの受け渡しを切り替える。
環境分析部３４０は、データ入力部３１０の取得したデータを受け取り、画像中の輝度やブレなどの環境情報を分析する。ここで環境情報の分析は、全ての入力データに実施する必要はなく、定期サンプリングなど環境分析内容に応じた任意の実行頻度でよい。選別選択部３５０は、環境分析部３４０が分析した環境情報と、特性記憶部３６０に記憶されている選別特性情報および環境情報選別機能対応ルールに応じて最適な選別部３７０を選択する。また、選別選択部３５０は、選択した該選別に必要な追加の解析が必要となる場合、解析部３２０へ追加の解析を依頼する。
したがって、複数の選別部３７０は、図１の処理実行部１１０－１～１１０－Ｎとして働く。環境分析部３４０と特性記憶部３６０との組み合わせは、図１の分析部１２０として働く。また、選別選択部３５０は、図１の処理選択部２３０として働く。
図５は、特性記憶部３６０が格納する選別特性情報の一例を示す図である。図６は、特性記憶部３６０が格納する環境情報選別機能対応ルールの一例を示す図である。
図５に示すように、特性記憶部３６０は、選別特性情報として、選別機能を特定するための選別機能と、解析部３６０に対して要求する追加解析機能を表す追加解析機能と、選別に使用するデータを表すメタデータと、選別機能の切り替えにかかる時間を表す移行時間とを格納する。ここで、選択機能は機能を表す文字列の他に、数値やフラグを用いることも出来る。追加解析機能は機能を表す文字列の他に、数値やフラグを用いることも出来る。メタデータは、データ種別を表す文字列の他に、数値やフラグを用いることも出来る。
図６に示すように、特性記憶部３６０は、環境情報選別機能対応ルールとして、選別機能を特定するための選別機能と、該選別を選択するためのルールを表すルールとを格納する。ここで、選択機能は機能を表す文字列の他に、数値やフラグを用いることも出来る。ルールは単純な閾値表現だけでなく、決定木や機械学習による選択アルゴリズムなどを用いることも出来る。
選別部３７０－１、３７０－２、・・・の各々は、解析部１２０３２０の出力した解析結果およびそのメタデータを用いて、解析結果を出力するか棄却するかを判定する。データ出力部３８０は、受け取った選別後のデータを外部システムへ出力する。
[動作の説明]
次に、図４及び図７のフローチャートを参照して、本第１の実施例に係る映像解析装置３００の全体の動作について詳細に説明する。
まず、データ入力部３１０が、カメラなどから対象データを取得する（図７のステップＳ２０１）。
次に解析部３２０が、該対象データを解析し解析結果データを得る（図７のステップＳ２０２）。この時、選別選択部３６０から追加の解析が指定されていれば、解析部３２０は該追加の解析を合わせて実行する（図７のステップＳ２０２）。
と同時に、環境分析部３４０が該対象データを分析し環境情報を得る（図７のステップＳ２０３）。選別選択部３５０が、環境分析部３４０が分析した環境情報と、特性記憶部３６０に記憶されている選別特性情報および環境情報選別機能対応ルールに応じて選別部３７０を選択する（図７のステップＳ２０４）。
選別切替部３３０が、選別選択部３５０の決定した選別部３７０へ解析部３２０が出力した解析結果データを渡す（図７のステップＳ２０５）。選別部３７０が受け取った解析結果データに対して、選別処理を行い、精度維持に必要な解析結果データを選別する（図７のステップＳ２０６）。データ出力３８０は、受け取った選別後の解析結果データを外部システムへ送信する（図７のステップＳ２０７）。システムを停止するまで、上記ステップＳ２０１～Ｓ２０７を繰り返す（図７のステップＳ２０８）。
なお、上記動作例では、ステップＳ２０２と、ステップＳ２０３およびＳ２０４とが並列に動作しているが、直列に動作してもよい。
[動作例の説明]
次に、選別選択部３５０による選別選択処理の一例について説明する。ここでは、監視映像からの顔認証を想定し、映像からの顔の検出、顔からの特徴量抽出とＤＢ（データベース）照合からなるシステムを想定している。そして、その顔の検出部分を、本第１の実施例を用いて実現する場合を想定している。
図８は、上記想定している顔認証装置４００の構成を示すブロック図である。顔認証装置４００は、処理部４２０と、記憶部４４０とから成る。処理部４２０は、顔検出部４２２と、特徴量抽出部４２４と、照合部４２６とから成る。
記憶部４４０は、認証すべき人物の顔の特徴を示す参照特徴量を登録するデータベース４４２を含む。
顔検出部４２２は、カメラで撮像した映像から顔を検出する。この顔検出部４２２として、図４に示した映像解析装置３００が使用される。特徴量抽出部４２４は、検出した顔の特徴量を抽出する。照合部４２６は、この抽出した特徴量と、データベース４２２に登録されている参照特徴量とを照合して、顔認証を行なう。
このように、本第１の実施例に係る映像解析装置３００は、顔検出部４２２で顔の検出を想定している。顔検出部４２２では、データ入力部３１０が取得した監視映像に対して、解析部３２０が顔の検出処理を行う。ここでは、複数の選別部３７０として、第１乃至第３の選別部３７０－１、３７０－２、および３７０－３の３つがあると仮定する。第１の選別部３７０－１は、単純選択フィルタを使用する。第２の選別部３７０－２は、輝度に係る単出力フィルタを使用する。第３の選別部３７０－３は、ブレに係る複数出力フィルタを使用する。
単純選択フィルタは、あらかじめ決められた閾値以上の高品質の顔だけを出力する単純選択フィルタである。単出力フィルタは、輝度に関して、過去一定時間に検出された同一人物の顔の中で品質値が最高の顔を１つだけ選択する単出力フィルタである。複数出力フィルタは、ブレに関して、過去一定時間に検出された同一人物の顔の中で品質値が高い顔を複数選択する複数出力フィルタである。
このように３つの選別部３７０－１～３７０－３からなる場合において、選別選択部３５０が環境情報に応じて最適な選別部３７０を選択する処理について、図５、図６、図９を用いて説明する。ここでは、初期状態として、選別部３７０として、第１の選別部（単純選択フィルタ）３７０－１が動作しているものとして説明する。
まず、データ入力部３１０がカメラから取得した映像をフレーム画像に分割し、解析部３２０と環境解析部３４０へ出力する。解析部３２０は受け取った画像に対して顔検出を行い、検出された複数の顔を、各顔の品質スコアと共に解析結果データとして出力する。
一方、環境分析部３４０が、データ入力部３１０が出力したフレーム画像を分析し、環境情報を出力する。例えば、環境分析部３４０は、図９のような、映像のブレ量や輝度の偏り情報をフレーム画像毎または定期的に分析し、環境情報として出力する。
図９は横軸が秒単位の時間、縦軸がブレ量と輝度偏りの大きさを示した経時グラフと、その時の解析部３２０、選別部３７０の状態の一例を示している。なお、図９では、ブレ量および輝度偏りの大きさの各々を、最大値が１．０となるように規格化して示している。
尚、ブレ量は、例えば、入力画像をフーリエ変換し、低周波成分の多い場合は、ブレと判定することで、推定することが可能である。そのようなブレ量を推定する方式は、上記非特許文献１で報告されている。一方、輝度偏りは、例えば、画像中の輝度ヒストグラムを算出し、輝度分布が、輝度が低い画素が多い場合や輝度が高い画素が多い場合を輝度偏りとして検出することで、推定することが可能である。
次に、選別選択部３５０が、環境分析部３４０の分析した環境情報と、特性記憶部３６０が記憶している選別特性情報（図５）と環境情報選別機能対応ルール（図６）とに基づいて、最適な選別部を選択する。
例えば、図９のような環境情報の例では、時刻１から時刻１３までは、輝度およびブレ量双方が低い。この為、選別選択部３５０は、図６の環境情報選別機能対応ルールで単出力フィルタ（輝度）と複数出力フィルタ（ブレ）が双方ともルールを満たさないため、単純選択フィルタを選択する。選別切替部３３０は選別選択部３５０の選択に従い、単純選択フィルタを使った第１の選別部３７０－１へ解析部３２０が出力した解析結果データを渡す。単純選択フィルタを使った第１の選別部３７０－１は、入力された解析結果データに含まれる各顔の品質スコアをあらかじめ設定された閾値と比較し、品質スコアが閾値以上の場合は解析結果データをデータ出力部３８０へ出力する。これにより、環境による精度影響が低い場合においては、高い閾値を用いた高品質顔のみを選択する。これにより、後段の顔からの特徴量抽出（図８の４２４）とＤＢ照合（図８の４２６）では、高品質な顔画像を用いて、高い再現率と適合率での顔認証を実現できる。
時刻１４においてブレ量が０．９と大きくなると、選別選択部３５０は、図６の環境情報選別機能対応ルールで複数出力フィルタ（ブレ）のルールが満たされるため、複数出力フィルタを使用する第３の選別部３７０－３を選択する。解析部３２０は選別選択部３５０から指定されたフレーム画像間での同一顔の追跡情報を抽出するトラッキング解析を、前述の顔検出と合わせて実行する。選別切替部３３０は選別選択部３５０の選択に従い、複数出力フィルタを使った第３の選別部３７０－３へ解析部３２０が出力した解析結果データを渡す。複数出力フィルタを使った３７０－３は、入力された解析結果データに含まれるトラッキング結果を用いて、同じ顔を過去一定時間保持し、その中から品質スコアがもっとも高いものをデータ出力部３８０へ出力する。これにより、風などの影響で映像がブレ、高品質な顔が取れない撮影条件化においても、その中で品質が良い顔を複数候補として選択する。これにより、後段の顔からの特徴量抽出（図８の４２４）とＤＢ照合（図８の４２６）では、環境が悪条件になった時でも、再現率を維持しながら顔認証を実現できる。
[効果の説明] 
次に、本第１の実施例の効果について説明する。
本第１の実施例では、選別選択部３５０が、環境分析部３４０の分析した環境情報に基づいて、最適な選別部３７０を選択するようにしたので、街頭監視のように設置場所や日光による影響、強風や降雨など多様な環境変動が存在する場合においても、再現率等の精度維持に必要な解析結果データを提供することが出来る。
尚、映像解析装置３００の各部（各構成要素）は、図３のように、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、プログラムメモリ２４０に映像解析プログラムが格納され、該映像解析プログラムに基づいてＣＰＵ２２０のハードウェアを動作させることによって、各部（各構成要素）を各種手段として実現する。また、該映像解析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第１の実施例を別の表現で説明すれば、映像解析装置３００として動作させるコンピュータを、プログラムメモリ２４０に格納された映像解析プログラムに基づき、データ入力部３１０、解析部３２０、選別切替部３３０、環境分析部３４０、選別選択部３５０、特性記憶部３６０、複数の選別部３７０、およびデータ出力部３８０として動作させることで実現することが可能である。
[構成の説明]
次に、本発明の第２の実施例について図面を参照して詳細に説明する。
図１０は、本発明の第２の実施例に係る映像解析装置３００Ａの構成を示すブロック図である。
図１０を参照すると、本発明の第２の実施例に係る映像解析装置３００Ａは、第１の実施例の構成に加えて、結果統合部３９０が選別部３７０とデータ出力部３８０との間に接続されている。
[動作の説明] 
これらの手段はそれぞれ概略つぎのように動作する。
選別選択部３５０は、環境分析部３４０が分析した環境情報と、特性記憶部３６に格納された選別特性情報と、環境情報選別機能対応ルールとに基づいて、複数の選別部３７０を選択する。
結果統合部３９０は、複数の選別部３７０が選択した結果と、選別選択部３５０が指定した重みづけにより、最終的に出力する解析結果データを統合し、統合した解析結果データをデータ出力部３８０へ出力する。
次に、図１１と図１２のフローチャートを参照して、本第２の実施例に係る映像解析装置３００Ａの全体の動作について詳細に説明する。
まず、選別選択部３５０は、環境分析部３４０の出力した環境情報と、特性記憶部３６０に格納された選別特性情報と、環境情報選別機能対応ルールとに基づいて１つ以上の選別部３７０を選択する（図１１のステップＳ２０４Ａ）。
図１２は、図１１の選択部３５０での選択実行（ステップＳ３００）の動作を説明するためのフローチャートである。
次に、選別部３７０が１つだけ選択された場合（ステップＳ３０１のＮｏ）、上記第１の実施例と同様に、単独の選別部が解析結果データを選別する（図１２のステップＳ３０１、Ｓ３０５、Ｓ３０６）。
これに対して、選択部３７０が複数選択された場合（ステップＳ３０１のＹｅｓ）は、選別切替部３３０が複数の選別部３７０に対して解析結果データを送付する（図１２のステップＳ３０２）。データを受け取った各選別部３７０は選別処理を行い、結果統合部３９０へ結果を渡す（図１２のステップＳ３０３）。結果統合部３９０は、複数の選別部３７０が選択した結果と、選別選択部３５０が指定した重みづけにより、最終的に出力する解析結果データを統合し、データ出力部３８０へ出力する（図１２のステップＳ３０４）。
[動作例の説明]
次に、結果統合部３９０による複数選別処理の統合処理の一例について説明する。ここでは、顔の検出処理について、選別部３７０が安定した結果を出力するようになるまでの移行時間を考慮して複数の選別部３７０を実行する場合について、図１０、図１３を用いて説明する。ここでは、初期状態として、選別部３７０として、単純選択フィルタを使用する第１の選別部３７０－１が動作しているものとして説明する。
まず、選別選択部３５０は、環境分析部３４０が分析した環境情報と、特性記憶部３６０が記憶している環境情報選別機能対応ルールとに基づき、選別種類を選択する。
図１３の時刻１４においては、ブレ量が０．９と大きくなるため、選別選択部３５０は、図６の環境情報選別機能対応ルールで複数出力フィルタ（ブレ）のルールが満たされるため、複数出力フィルタを使用する第３の選別部３７０－３を選択する。
選別選択部３５０は、図５の選別特性情報の移行時間から、複数出力フィルタ（ブレ）が安定するまでの2,000ミリ秒間、単純選択フィルタも実行することを決定し、解析部３２０へはトラッキング解析の開始を、結果統合部３９０には、単純選択フィルタを使用する第１の選別部３７０－１の結果を優先するように指示する。
結果統合部３９０は、選別選択部３５０の指示に従い、２つの選別部３７０出力のうち、単純選択フィルタを使用する第１の選別部３７０－１の結果のみを出力する。
図１３の時刻１６において、選別選択部３５０は、移行期間の終わりを判断し、単純選択フィルタを使用する第１の選別部３７０－１の使用を取りやる。これにより、結果統合部３９０は１つの選別部３７０（本例では、複数出力フィルタを使用する第３の選別部３７０－３）の結果をそのまま後段へ出力する。これにより、実行開始直後の動作が安定しない選別アルゴリズムをも適用することが可能となる。
[効果の説明] 
次に、本発明の第２の実施形態例の効果について説明する。
本第２の実施例では、選別選択部３５０が１つ以上の選別部３７０を選択し、結果統合部３９０が複数の選別部３７０の結果を統合することで、初期化に時間がかかる選別アルゴリズムや複数種類の選別の統合による、より高精度化を実現することが可能となる。
尚、映像解析装置３００Ａの各部（各構成要素）は、図３のように、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、プログラムメモリ２４０に映像解析プログラムが格納され、該映像解析プログラムに基づいてＣＰＵ２２０のハードウェアを動作させることによって、各部（各構成要素）を各種手段として実現する。また、該映像解析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第２の実施例を別の表現で説明すれば、映像解析装置３００Ａとして動作させるコンピュータを、プログラムメモリ２４０に格納された映像解析プログラムに基づき、データ入力部３１０、解析部３２０、選別切替部３３０、環境分析部３４０、選別選択部３５０、特性記憶部３６０、複数の選別部３７０、データ出力部３８０、および結果統合部３９０として動作させることで実現することが可能である。
次に、本発明の第３の実施例について説明する。第３の実施例は、上述した映像解析装置１００、３００、３００Ａをインテリジェントカメラ５００に適用した例である。
図１４は、第３の実施例に係るインテリジェントカメラ５００の構成を示すブロック図である。図示のインテリジェントカメラ５００は、取得部５１０と、画像処理部５２０とを内蔵している。取得部５１０は、映像を取得する。画像処理部５２０は、上述した映像解析装置１００、３００、３００Ａのいずれかとして動作する。
本発明の具体的な構成は前述の実施の形態（実施例）に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
以上、実施の形態および実施例を参照して本願発明を説明したが、本願発明は上記実施の形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本発明によれば、映像や画像データを精度よく解析する解析システムや、解析システムをコンピュータによって実現するためのプログラムといった用途に適用できる。また、街中の街頭監視のような監視システムにおける解析装置や、解析装置をコンピュータによって実現するためのプログラムといった用途にも適用可能である。
　１００　　映像解析装置
　１１０－１、１１０－２、１１０－Ｎ　　処理実行部
　１２０　　分析部
　１３０　　処理選択部
　２００　　映像解析装置
　２１０　　Ａ／Ｄ変換器
　２２０　　ＣＰＵ
　２３０　　ワークメモリ
　２４０　　プログラムメモリ
　３００、３００Ａ　　映像解析装置
　３１０　　データ入力部
　３２０　　解析部
　３３０　　選別切替部
　３４０　　環境分析部
　３５０　　選別選択部
　３６０　　特性記憶部
　３７０－１、３７０－２　　選別部
　３８０　　データ出力部
　３９０　　結果統合部
　４００　　顔認証装置
　４２０　　処理部
　４２２　　顔検出部
　４２４　　特徴量抽出部
　４２６　　照合部
　４４０　　記憶部
　４４２　　データベース
　５００　　インテリジェントカメラ
　５１０　　取得部
　５２０　　画像処理部
 

Claims (9)

  1. 入力される映像に対して異なる処理を実行可能な複数の処理実行部と、
    前記映像に基づいて、外的環境に起因する映像の変動を分析する分析部と、
    前記分析された変動に基づいて、前記複数の処理実行部から少なくとも１つを選択する処理選択部と、
    を備える映像解析装置。
  2. 前記映像の対象データから情報を抽出する解析処理を実行する解析部をさらに備え、
    前記複数の処理実行部は、該解析部の解析結果から品質の良いデータを選別する選別アルゴリズムが互いに異なる複数の選別部から成り、
    前記分析部は、前記対象データから環境情報を抽出する環境分析部と、前記複数の選別部の選別特性を記憶する特性記憶部とを備え、
    前記処理選択部は、使用する選別部を選択する選別選択部を含み、
    前記選別選択部が、前記環境情報から環境状況の変化を検出し、該環境状況に最適な選別部を前記特性記憶部の情報に基づいて選択する
    ことを特徴とする請求項１記載の映像解析装置。
  3. 前記選別選択部が、前記環境情報に基づいて最適な選別部を選択したのち、選別部の切替えに必要な前記選別部の予備運転期間を合わせて計算し、予備運転をしたうえで選別部を切り替えることを特徴とする請求項２記載の映像解析装置。
  4. 前記選別選択部が前記環境情報に基づいて複数の選別部を選択し、
    前記複数の選別部の結果を統合する結果統合部を更に備えることを特徴とする請求項２又は３記載の映像解析装置。
  5. 前記環境分析部が、前記環境情報として、画像中のブレや輝度を抽出することを特徴とする請求項２乃至４のいずれか１つに記載の映像解析装置。
  6. 映像を取得する取得部と、
    請求項１乃至５のいずれか１つに記載の映像解析装置として動作する画像処理部と、
    を内蔵して成るインテリジェントカメラ。
  7. 認証すべき人物の顔の特徴を示す参照特徴量を登録するデータベースと、
    請求項１乃至５のいずれか１つに記載の映像解析装置を用いて、前記映像から顔を検出する顔検出部と、
    該検出した顔の特徴量を抽出する特徴量抽出部と、
    該抽出した特徴量と前記参照特徴量とを照合して、顔認証を行なう照合部と、
    を備える顔認証装置。
  8. 入力される映像に基づいて、外的環境に起因する変動を分析し、
    該分析された変動に基づいて、前記映像に対して異なる処理を実行可能な複数の処理実行部から少なくとも１つを選択する
    ことを特徴とする映像解析方法。
  9. 入力される映像に基づいて、外的環境に起因する変動を分析する処理と、
    該分析された変動に基づいて、前記映像に対して異なる処理を実行可能な複数の処理実行部から少なくとも１つを選択する処理と
    をコンピュータに実行させるための映像解析プログラム。

     
PCT/JP2017/012956 2017-03-29 2017-03-29 映像解析装置、映像解析方法、および映像解析プログラム WO2018179151A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019508437A JP6931203B2 (ja) 2017-03-29 2017-03-29 映像解析装置、映像解析方法、および映像解析プログラム
US16/476,316 US11170486B2 (en) 2017-03-29 2017-03-29 Image analysis device, image analysis method and image analysis program
PCT/JP2017/012956 WO2018179151A1 (ja) 2017-03-29 2017-03-29 映像解析装置、映像解析方法、および映像解析プログラム
US16/662,507 US11386536B2 (en) 2017-03-29 2019-10-24 Image analysis device, image analysis method and image analysis program
JP2021085856A JP7121353B2 (ja) 2017-03-29 2021-05-21 映像解析装置、映像解析方法、および映像解析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/012956 WO2018179151A1 (ja) 2017-03-29 2017-03-29 映像解析装置、映像解析方法、および映像解析プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/476,316 A-371-Of-International US11170486B2 (en) 2017-03-29 2017-03-29 Image analysis device, image analysis method and image analysis program
US16/662,507 Continuation US11386536B2 (en) 2017-03-29 2019-10-24 Image analysis device, image analysis method and image analysis program

Publications (1)

Publication Number Publication Date
WO2018179151A1 true WO2018179151A1 (ja) 2018-10-04

Family

ID=63677782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/012956 WO2018179151A1 (ja) 2017-03-29 2017-03-29 映像解析装置、映像解析方法、および映像解析プログラム

Country Status (3)

Country Link
US (2) US11170486B2 (ja)
JP (2) JP6931203B2 (ja)
WO (1) WO2018179151A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021099629A (ja) * 2019-12-20 2021-07-01 京セラ株式会社 情報処理システム、情報処理装置及び情報処理方法
US20210217071A1 (en) * 2020-01-14 2021-07-15 Alibaba Group Holding Limited Product object publishing and recognition methods, apparatuses, electronic devices, and storage media
JP2021103349A (ja) * 2019-12-24 2021-07-15 京セラ株式会社 情報処理システム、情報処理装置及び情報処理方法
JPWO2021166120A1 (ja) * 2020-02-19 2021-08-26

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170486B2 (en) * 2017-03-29 2021-11-09 Nec Corporation Image analysis device, image analysis method and image analysis program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099763A (ja) * 2001-05-25 2003-04-04 Toshiba Corp 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
JP2004361522A (ja) * 2003-06-02 2004-12-24 Casio Comput Co Ltd 撮像装置及び撮像装置付首輪
JP2010146264A (ja) * 2008-12-18 2010-07-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012099974A (ja) * 2010-10-29 2012-05-24 Keyence Corp 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3788677B2 (ja) 1997-11-14 2006-06-21 富士通株式会社 連続録画システム及び方法並びに長時間録画プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000194861A (ja) 1998-12-28 2000-07-14 Matsushita Electric Ind Co Ltd 画像認識方法及び装置
WO2007060980A1 (ja) * 2005-11-25 2007-05-31 Nikon Corporation 電子カメラおよび画像処理装置
JP2008204103A (ja) 2007-02-19 2008-09-04 Yokohama National Univ 画像認識システム
JP2009245349A (ja) 2008-03-31 2009-10-22 Namco Bandai Games Inc 位置検出システム、プログラム、情報記憶媒体及び画像生成装置
TWI482123B (zh) * 2009-11-18 2015-04-21 Ind Tech Res Inst 多狀態目標物追蹤方法及系統
JP2011199711A (ja) 2010-03-23 2011-10-06 Hitachi Ltd 画像処理装置
EP2903263A4 (en) * 2012-09-27 2015-11-04 Panasonic Ip Man Co Ltd IMAGE PROCESSING DEVICE AND METHOD
CN105027162B (zh) 2013-02-27 2018-02-02 株式会社日立制作所 图像解析装置、图像解析系统、图像解析方法
US20190297390A1 (en) 2013-03-05 2019-09-26 Brandon Grusd Method and system for physically tagging objects prior to creation of an interactive video
WO2014138305A1 (en) 2013-03-05 2014-09-12 Grusd Brandon Systems and methods for providing user interactions with media
US10692166B2 (en) 2013-05-20 2020-06-23 Visualimits, Llc Casino table games with interactive content
US9310518B2 (en) * 2014-01-24 2016-04-12 International Business Machines Corporation Weather forecasting system and methods
CN104157007B (zh) 2014-03-03 2018-02-27 腾讯科技（北京）有限公司 视频处理的方法及装置
US10613252B1 (en) * 2015-10-02 2020-04-07 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Weather forecasting systems and methods
US10410330B2 (en) 2015-11-12 2019-09-10 University Of Virginia Patent Foundation System and method for comparison-based image quality assessment
US10713589B1 (en) 2016-03-03 2020-07-14 Amazon Technologies, Inc. Consistent sort-based record-level shuffling of machine learning data
US11170486B2 (en) * 2017-03-29 2021-11-09 Nec Corporation Image analysis device, image analysis method and image analysis program
US10909385B2 (en) * 2017-03-30 2021-02-02 Nec Corporation Image monitoring system, image monitoring method, and image monitoring program
KR102287043B1 (ko) * 2017-05-22 2021-08-06 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법
US20190230416A1 (en) 2018-01-21 2019-07-25 Guangwei Yuan Face Expression Bookmark
US11500936B2 (en) 2018-08-07 2022-11-15 Walmart Apollo, Llc System and method for structure and attribute based graph partitioning
US11005868B2 (en) 2018-09-21 2021-05-11 Mcafee, Llc Methods, systems, and media for detecting anomalous network activity
DE102020128104A1 (de) 2019-11-04 2021-05-06 Dräger Safety AG & Co. KGaA Verfahren und Vorrichtungen zur Inbetriebnahme eines Drogenmessgeräts, insbesondere eines Alkoholmessgeräts
KR20210057556A (ko) * 2019-11-12 2021-05-21 엘지전자 주식회사 사용자의 선호도를 고려하여 디스플레이 패널을 조정하는 인공 지능 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099763A (ja) * 2001-05-25 2003-04-04 Toshiba Corp 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
JP2004361522A (ja) * 2003-06-02 2004-12-24 Casio Comput Co Ltd 撮像装置及び撮像装置付首輪
JP2010146264A (ja) * 2008-12-18 2010-07-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012099974A (ja) * 2010-10-29 2012-05-24 Keyence Corp 画像処理装置、画像処理方法および画像処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021099629A (ja) * 2019-12-20 2021-07-01 京セラ株式会社 情報処理システム、情報処理装置及び情報処理方法
JP2021103349A (ja) * 2019-12-24 2021-07-15 京セラ株式会社 情報処理システム、情報処理装置及び情報処理方法
JP7381330B2 (ja) 2019-12-24 2023-11-15 京セラ株式会社 情報処理システム、情報処理装置及び情報処理方法
US20210217071A1 (en) * 2020-01-14 2021-07-15 Alibaba Group Holding Limited Product object publishing and recognition methods, apparatuses, electronic devices, and storage media
JPWO2021166120A1 (ja) * 2020-02-19 2021-08-26
WO2021166120A1 (ja) * 2020-02-19 2021-08-26 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7038933B2 (ja) 2020-02-19 2022-03-18 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
US11170486B2 (en) 2021-11-09
JP7121353B2 (ja) 2022-08-18
US11386536B2 (en) 2022-07-12
US20200058116A1 (en) 2020-02-20
JPWO2018179151A1 (ja) 2019-11-07
JP6931203B2 (ja) 2021-09-01
US20190340745A1 (en) 2019-11-07
JP2021119547A (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
JP7121353B2 (ja) 映像解析装置、映像解析方法、および映像解析プログラム
US10636129B2 (en) Wind motion threshold image analysis system
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
JP5208893B2 (ja) 移動物体追跡装置
KR102107334B1 (ko) 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템
US8103091B2 (en) Object identification parameter learning system
US11055584B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium that perform class identification of an input image using a discriminator that has undergone learning to perform class identification at different granularities
KR20090043416A (ko) 카메라 이동 영향을 검출하고 억제하는 감시 카메라 장치및 그 제어 방법
KR101773127B1 (ko) 효율적인 영상 분석 및 검색이 가능한 영상 분석 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법
CN113536946B (zh) 一种基于摄像头关系的自监督行人重识别方法
US20120281909A1 (en) Learning device, identification device, learning identification system and learning identification device
KR102071708B1 (ko) 영상의 날씨 분류를 위한 특징 추출 방법 및 장치
KR102118783B1 (ko) 조명환경에 강인한 색상 필터링을 위한 전처리 방법 및 그 시스템
CN110866484A (zh) 驾驶员人脸检测方法、计算机装置及计算机可读存储介质
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
CN115620259A (zh) 一种基于交通非现场执法场景下的车道线检测方法
CN110580706A (zh) 一种视频背景模型的提取方法及装置
Jöchl et al. Deep Learning Image Age Approximation-What is More Relevant: Image Content or Age Information?
JP2020021243A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
CN116156149B (zh) 一种用于检测摄像头移动的检测方法及装置
Iwata et al. Robust background subtraction by statistical reach feature on random reference points
CN113936224A (zh) 一种检测方法、装置、计算机设备和存储介质
CN117636241A (zh) 基于决策级融合的低光照场景多模态行人检测跟踪方法
CN112418244A (zh) 目标检测方法、装置和电子系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903920

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508437

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17903920

Country of ref document: EP

Kind code of ref document: A1