WO2016142965A1 - 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体 - Google Patents

映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体 Download PDF

Info

Publication number
WO2016142965A1
WO2016142965A1 PCT/JP2015/001307 JP2015001307W WO2016142965A1 WO 2016142965 A1 WO2016142965 A1 WO 2016142965A1 JP 2015001307 W JP2015001307 W JP 2015001307W WO 2016142965 A1 WO2016142965 A1 WO 2016142965A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
motion vector
video processing
video
difference
Prior art date
Application number
PCT/JP2015/001307
Other languages
English (en)
French (fr)
Inventor
朕 王
健太 徳満
慶一 蝶野
裕三 仙田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2017504298A priority Critical patent/JPWO2016142965A1/ja
Priority to PCT/JP2015/001307 priority patent/WO2016142965A1/ja
Publication of WO2016142965A1 publication Critical patent/WO2016142965A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present invention relates to a technique for processing video.
  • Patent Literature 1 discloses a method for detecting cracks in a structure constructed using concrete or the like.
  • the crack detection system of Patent Document 1 forms an element that is a set of at least three sample points from a plurality of sample points existing on the surface of a structure where a crack is detected.
  • the sample point is a point whose position is determined by, for example, the structure or pattern of the surface of the structure.
  • the crack detection system detects the position of a sample point in an image obtained by photographing the surface of the structure.
  • the crack detection system determines the magnitude of deformation of the structure based on the magnitude of the detected change in the position of the sample point.
  • One of the objects of the present invention is to provide an image processing apparatus capable of improving the accuracy of detecting portions that move differently in an image.
  • the video processing method calculates a magnitude of a difference between a set of motion vector transitions of a video, and sets a position of a set of motion vector transitions representing different motions in the video to the magnitude of the difference. Extract based on.
  • a recording medium provides a computer, a difference calculation unit that calculates the magnitude of a difference between sets of motion vector transitions of a video, and a position of a set of motion vector transitions that represent different motions in the video.
  • a video processing program to be operated as motion extraction means for extracting based on the magnitude of the difference is stored.
  • the present invention can also be realized by a video processing program stored in the recording medium.
  • the present invention has an effect that it is possible to improve the accuracy of detecting a portion that moves differently in an image.
  • FIG. 1 is a block diagram showing an example of the configuration of a video processing system 1 according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing an example of the operation of the video processing system 1 according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the configuration of a video processing system 1A according to the second embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the video processing system 1A according to the second embodiment of the present invention.
  • FIG. 5 is a flowchart showing an example of the operation in the feature position extraction process of the video processing system 1A according to the second embodiment of the present invention.
  • FIG. 1 is a block diagram showing an example of the configuration of a video processing system 1 according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing an example of the operation of the video processing system 1 according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the configuration of a
  • FIG. 6 is a block diagram showing an example of the configuration of a video processing system 1B according to a modification of the second embodiment of the present invention.
  • FIG. 7 is a block diagram showing a configuration of a video processing apparatus 100C according to the third embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example of a hardware configuration of a computer 1000 that can realize the video processing device and the separation detection device according to each embodiment of the present invention.
  • the video processing apparatus 100 includes a motion sequence generation unit 101, a difference calculation unit 102, a motion extraction unit 103, a motion output unit 104, a video acquisition unit 105, a video storage unit 106, a motion estimation unit 107, and a motion A vector storage unit 108.
  • a still image (corresponding to a frame of a video) included in a video that is continuous still image data is also referred to as a “frame”.
  • operating video data for example, inputting video data
  • operating video for example, inputting video
  • the video input device 200 may be, for example, a shooting device that takes a picture of an object and transmits a video obtained by shooting to the video processing device 100.
  • the video input device 200 may be a video server device that stores a video of an object photographed by the photographing device and transmits the stored video to the video processing device 100.
  • the video acquisition unit 105 receives video from the video input device 200.
  • the video acquisition unit 105 stores the received video in the video storage unit 106.
  • the video storage unit 106 stores the video input from the video input device 200.
  • the motion estimation unit 107 estimates motion vectors at a plurality of positions determined in advance for a plurality of frames included in the video.
  • the motion vector represents the direction and magnitude of movement of the region including the position where the motion vector is estimated.
  • the motion vector is a value representing the motion in the plane in the coordinate system set for the frame.
  • the motion vector is represented by a vector having two elements, for example.
  • the position where the estimated motion vector represents the direction and magnitude of movement is also expressed as “position of motion vector”, “position where motion vector is estimated”, or the like.
  • the motion estimation unit 107 estimates a motion vector by comparing a frame for estimating a motion vector with a reference frame.
  • the reference frame is a frame before (for example, immediately before) a frame in which a motion vector is estimated in the video.
  • various existing methods such as a method using correlation based on pixel values and a method using phase correlation can be applied.
  • the position where the motion vector is estimated is, for example, a position at a predetermined interval included in an area where the motion vector can be estimated in the method in which the motion estimation unit 107 estimates the motion vector.
  • the position of the predetermined interval is, for example, the position of a lattice point of any kind of planar lattice set on the frame surface.
  • the position where the motion vector is estimated may be, for example, the position of each pixel included in the region where the motion vector can be estimated in the method in which the motion estimation unit 107 estimates the motion vector.
  • the motion estimation unit 107 associates the estimated motion vector with the position where the motion vector is estimated.
  • the motion estimation unit 107 stores the motion vector associated with the position in the motion vector storage unit 108 for each frame in which the motion vector is estimated.
  • the position associated with the motion vector is, for example, the coordinates of the place where the motion vector is estimated.
  • a set of motion vectors estimated at a plurality of positions in one frame is also referred to as a “motion vector field”.
  • the motion estimation unit 107 stores a motion vector field in the motion vector storage unit 108 for each frame, for example.
  • the motion vector storage unit 108 stores, for each frame in which the motion vector is estimated, for example, a motion vector field that is a set of motion vectors associated with the estimated position.
  • the motion sequence generation unit 101 generates a motion sequence that is a set of motion vectors estimated at the same position based on the motion vector field for each frame in which the motion vector is estimated, which is stored in the motion vector storage unit 108. Generate.
  • the motion vectors included in the motion sequence may be arranged according to the order in the video of the frame in which the motion vector is estimated. A frame number may be associated with each motion vector included in the motion sequence.
  • the motion sequence is also referred to as “motion vector transition” or “motion vector time series”.
  • f represents a frame number. If the number of frames in which motion vectors are estimated in the video is F, f is an integer from 1 to F. Further, m is a number representing a place where a motion vector is estimated. When the number of positions where motion vectors are estimated is M, m is an integer of 1 to M.
  • MV (T f , x m , y m ) represents a motion vector estimated at a position where the coordinate is (x m , y m ) of the frame whose time value is T f. .
  • the coordinates (x m , y m ) are the coordinates of the mth position where the motion vector is estimated.
  • Equation 2 represents an example of a motion sequence.
  • P m shown in Equation 2 is a set of motion vectors (that is, m-th) estimated at the m-th position in each of the first to F-th frames (that is, frames in which motion vectors are estimated in the video). Motion series).
  • the motion sequence generation unit 101 generates a motion sequence P m for each m from 1 to M.
  • the motion extraction unit 103 indicates the position where the motion vector is estimated for each of the two motion sequences, which indicates that the difference value, which is a value indicating the degree of difference between the motion sequences, is the most different. Extract from multiple fixed positions. “Fixed position” indicates that the position is the same in all frames of the video. The position is represented by coordinates. The plurality of fixed positions may be designated in advance. In each embodiment of the present invention, as described above, the difference value, which is a value indicating the degree of difference between motion sequences, is also referred to as “first difference value”.
  • Equation 3 represents an example of a difference value that is a value representing the degree of difference between motion sequences calculated by the difference calculation unit 102.
  • the equation shown in Equation 3 is a difference value representing the degree of difference between the motion sequence P u and the motion sequence P v represented by the L1 norm defined for the motion sequence (ie, a difference based on the L1 norm). Value).
  • the difference value shown in Equation 3 is the sum of the magnitudes of the differences between the two motion vectors estimated at the u-th position and the v-th position in the same frame for the first to Fth frames. .
  • the magnitude of the difference between two motion vectors estimated at the u-th position and the v-th position in the same frame is a difference value indicating the degree of difference between the motion vectors (that is, , The second difference value described above).
  • f represents a frame number
  • u and v represent position numbers in the plurality of fixed positions described above.
  • Equation 4 represents two positions that the motion extraction unit 103 extracts using the difference values exemplified in Equation 3. Similar to the equation shown in Equation 3, in the equation shown in Equation 4, u and v represent position numbers in the plurality of fixed positions described above.
  • Equation 4 the combination of m1 and m2, which are position numbers, is an integer of 1 or more and M or less, respectively, and u and v having the largest difference values shown in Equation 3 in different combinations of u and v.
  • Numbers m1 and m2 represent the motions of each of the two motion sequences indicating that the difference value, which is a value representing the degree of difference between the motion sequences, extracted by the motion extraction unit 103 is the most different.
  • Equation 5 represents another example of a difference value that is a value representing the degree of difference between motion sequences, which is calculated by the difference calculation unit 102.
  • the equation shown in Equation 3 is a difference value representing the degree of difference between the motion sequence P u and the motion sequence P v represented by the L2 norm defined for the motion sequence (ie, a difference based on the L2 norm). Value).
  • the dissimilarity value shown in Equation 5 is the same for the first to Fth frames of the square of the magnitude of the difference between the two motion vectors estimated at the u th position and the v th position of the same frame. The square root of the sum.
  • the magnitude of the difference between two motion vectors estimated at the u-th position and the v-th position in the same frame is a difference value indicating the degree of difference between the motion vectors (that is, , The second difference value described above).
  • f represents a frame number
  • u and v represent position numbers in the plurality of fixed positions described above.
  • Equation 6 represents two positions that the motion extraction unit 103 extracts using the difference values exemplified in Equation 5. Similar to the equation shown in Equation 3, in the equation shown in Equation 6, u and v represent position numbers in the plurality of fixed positions described above.
  • Equation 6 the combination of m1 and m2, which are position numbers, is an integer of 1 or more and 1 or less, respectively, and u and v have the largest difference value shown in Equation 5 in the combination of u and v different from each other.
  • Numbers m1 and m2 represent the motions of each of the two motion sequences indicating that the difference value, which is a value representing the degree of difference between the motion sequences, extracted by the motion extraction unit 103 is the most different.
  • Equation 7 shows that the combination of m1 and m2, which are the position numbers, is an integer of 1 or more and M or less, respectively, and the combination of u and v different from each other has the largest difference value squared shown in Equation 5. This represents a combination of u and v.
  • the motion extraction unit 103 may extract two positions according to the equation shown in Equation 7. In that case, when calculating the difference value shown in Formula 5, the calculation of the square root can be omitted.
  • the difference calculation unit 102 may calculate a correlation coefficient between two motion vectors estimated at the u-th position and the v-th position of the same frame as the second difference value. Then, the difference calculation unit 102 may calculate the sum of the second difference values for the first to Fth frames as the first difference value.
  • the motion output unit 104 outputs the two positions extracted by the motion extraction unit 103 to the output destination device 300.
  • the motion output unit 104 may output a motion sequence estimated at these two positions.
  • the motion sequence represents a motion vector estimated at the same place in the first to Fth frames, which are frames in which the motion vector field is estimated.
  • the motion sequences estimated at the two positions extracted by the motion extraction unit 103 represent the motion vectors estimated at the two locations where the difference between the motion vectors is largest in the first to Fth frames.
  • the motion extraction unit 103 includes, in each of the two motion sequences from which the positions are extracted, motion vectors representing the order in which the associated time values are the same. You may extract as a vector.
  • the motion output unit 104 may output the above-described two feature motion vectors for each of the plurality of frames in which the motion vector field is estimated to the output destination device 300.
  • the motion output unit 104 may output a difference value representing the magnitude of the difference of the motion sequence having the largest difference to the output destination device 300.
  • the output destination device 300 may be a display device, for example.
  • the output destination device 300 may be a device that performs other operations such as an operation of detecting cracks based on the output of the video processing device 100.
  • the output destination device 300 is a device different from the video processing device 100, but the output destination device 300 may be another unit or circuit included in the video processing device 100.
  • FIG. 2 is a flowchart showing an example of the operation of the video processing system 1 of the present embodiment.
  • the video acquisition unit 105 acquires a video from the video input device 200 (step S101).
  • the video acquisition unit 105 stores the acquired video in, for example, the video storage unit 106.
  • the motion estimation unit 107 estimates the time series of the motion vector field based on, for example, the video stored in the video storage unit 106 (step S102).
  • the motion estimation unit 107 stores a time series of motion vectors in the motion vector storage unit 108.
  • the motion sequence generation unit 101 generates motion sequences at a plurality of fixed positions based on the time series of the motion vector field stored in the motion vector storage unit 108 (step S103).
  • the difference calculation unit 102 calculates, for each combination of two different positions included in a plurality of fixed positions, a difference value indicating the magnitude of the difference between the motion sequences estimated at the two positions.
  • the motion extraction unit 103 extracts a position where the two motion sequences having the largest difference are estimated (step S105).
  • the motion extraction unit 103 may further extract the above-described two feature motion vectors for each frame in which the motion vector field is estimated from the video (step S106).
  • the motion output unit 104 outputs the extracted two positions to the output destination device 300 (step S107).
  • the motion output unit 104 may output, to the output destination device 300, two feature motion vectors for each of the frames in which the motion vector field is estimated.
  • the present embodiment described above has a first effect that it is possible to improve the accuracy of detecting portions that move differently in an image. This is because the motion sequence generation unit 101 generates a motion sequence that is a set of motion vectors estimated at a plurality of fixed positions. Then, the motion extraction unit 103 estimates the motion vector of each of the two motion sequences indicating that the first difference value, which is a value indicating the degree of difference between the motion sequences, is the most different. This is because the extracted position is extracted from a plurality of fixed positions.
  • the motion vector estimated at the same position may include a motion vector with a large error.
  • this embodiment has a second effect that it is possible to improve the accuracy of detecting separation of an object based on an image obtained by photographing the object.
  • the reason for this is that if the two positions with the largest difference in motion can be extracted with high accuracy, for example, the regions that perform the same movement are expanded by using the two positions as a starting point. The area of the image of the two parts can be estimated with high accuracy. That is, it is possible to improve the accuracy of detecting separation of an object based on a video image of the object.
  • FIG. 3 is a block diagram showing an example of the configuration of the video processing system 1A of the present embodiment.
  • the video processing system 1A of the present embodiment includes a video processing device 100A, a video input device 200A, and a display device 300A.
  • the video processing device 100A is communicably connected to the video input device 200A and the display device 300A.
  • the video processing apparatus 100A of the present embodiment is the same as the video processing apparatus 100 of the first embodiment except for the differences described below.
  • the same reference numerals are given to the same components of the video processing device 100A of the present embodiment as those of the video processing device 100 of the first embodiment, and the description thereof is omitted.
  • the video processing apparatus 100 ⁇ / b> A includes a separation determination unit 109, an area division unit 110, in addition to the components of the video processing apparatus 100 according to the first embodiment.
  • a separation detection unit 111 and a separation output unit 112 are included.
  • the difference calculation unit 102 of the present embodiment further transmits a difference value indicating that the difference is the largest among the calculated difference values to the separation determination unit 109.
  • the motion output unit 104 transmits the two positions extracted by the motion extraction unit 103 and the motion sequences estimated at each of the two positions to the region dividing unit 110.
  • the motion output unit 104 may transmit the above-described two feature motion vectors for each of a plurality of frames in which the motion vector field is estimated, to the region dividing unit 110 instead of the motion sequence. As described above, these feature motion vectors are generated from the estimated motion sequence.
  • the region segmentation unit 110 performs a process for each of a plurality of frames in which a motion vector field is estimated from the received motion sequence. It is only necessary to be designed to generate two feature motion vectors.
  • the motion output unit 104 calculates the above-described two feature motion vectors for each of the two positions extracted by the motion extraction unit 103 and the plurality of frames from which the motion vector field is estimated.
  • the data is transmitted to the area dividing unit 110.
  • the separation determination unit 109 determines whether or not the object being photographed in the video is separated into a plurality of parts based on the first difference value that is received from the difference calculation unit 102 and indicates that the difference is the largest. Determine.
  • the separation determining unit 109 may compare the received first difference value with, for example, a threshold value experimentally determined in advance. Then, the separation determination unit 109 determines that the object is separated into a plurality of parts when the magnitude of the difference indicated by the received first difference value is greater than the magnitude of the difference indicated by the threshold, and does not In this case, it may be determined that the object is not separated.
  • the region dividing unit 110 classifies each motion vector of the motion vector field according to the proximity of each of the two feature vectors included in the motion vector field, and thereby the frame in which the vector field is estimated. Is divided into two regions.
  • the area dividing unit 110 may perform area division as follows, for example.
  • the area dividing unit 110 first calculates the magnitude of the difference between the motion vector included in the motion vector field and each of the two motion vectors.
  • the area dividing unit 110 classifies the motion vector into a group of feature motion vectors having a smaller difference.
  • the area dividing unit 110 classifies each motion vector included in the motion vector field into one of two feature motion vector groups.
  • the area dividing unit 110 connects adjacent peripheral areas among the peripheral areas of the motion vectors included in the same group at the position where the motion vector is estimated (hereinafter, referred to as the peripheral area of the motion vector).
  • the peripheral area may be an area obtained by dividing a frame so that peripheral areas of different motion vectors do not overlap.
  • the region dividing unit 110 performs one concatenation for one group of motion vectors in a frame by using various existing region shaping methods such as smoothing the boundary line of the concatenated region and removing the concatenated region whose area is a predetermined value or less.
  • the connected area is shaped so that it becomes an area.
  • the area dividing unit 110 may perform area division as follows, for example. First, for each of the two feature motion vectors, the region dividing unit 110 sets a peripheral region of the feature vector as a connected region of the feature vector group. Then, the region dividing unit 110 calculates the magnitude of the difference between the motion vector in which the peripheral region is adjacent to the connected region of the group of feature motion vectors and the feature motion vector. When the calculated magnitude of the difference is smaller than a predetermined threshold, the region dividing unit 110 connects the peripheral region of the motion vector to the connected region of the feature motion vector group.
  • the region dividing unit 110 is configured to detect motion vectors until a motion vector whose difference from the feature motion vector is smaller than a predetermined value does not exist in the motion vector adjacent to the peripheral region in the connected region of the group of feature motion vectors.
  • the connection between the peripheral area and the connection area is repeated.
  • the area dividing unit 110 may perform shaping of the connected area such as smoothing the boundary line of the connected area.
  • the region dividing unit 110 may generate a connected region for each of the two feature motion vectors by a method other than the method described above.
  • One connected area generated as described above includes a place where one feature motion vector is estimated, and the other connected area includes a place where the other feature motion vector is estimated.
  • the connected area includes a place where a plurality of motion vectors are estimated that are classified according to proximity to the feature motion vector including the place estimated in the connected area.
  • a motion vector in which the estimated location is included in the connected region is referred to as a motion vector of the connected region.
  • Two such connected regions are referred to as two connected regions “different in motion”.
  • the magnitude of the difference between the two feature motion vectors estimated in the same frame generated from the motion sequence having the largest difference is the magnitude of the difference between the two motion vectors selected from the motion vectors estimated in that frame. It is expected to be higher in the list. It can be said that the two connected regions generated by the region dividing unit 110 in the frame in which the motion vector field is estimated (that is, extracted from the frame) are connected regions having different motions.
  • the region dividing unit 110 may generate two connected regions for each of a plurality of frames in which the motion vector field is estimated.
  • the separation detection unit 111 selects a boundary between the two connected regions or a region including the boundary within a predetermined distance from the boundary as the target. You may detect as the area
  • the separation detection unit 111 separates, for example, an area within a predetermined distance from the boundary between the two connected regions sandwiched between the two connected regions. You may detect as the area
  • the separation detection unit 111 may detect a region where the object is separated from each of the plurality of frames in which the motion vector field is estimated.
  • the separation output unit 112 displays the area where the object is separated on the display device 300A for the frame where the area where the object is separated is detected. For example, the separation output unit 112 may superimpose a display indicating a region where the object detected in the frame is separated on a frame where the region where the object is separated is detected. . Then, the separation output unit 112 may output a frame on which a display indicating a region where the object is separated is superimposed on the display device 300A. The separation output unit 112 may display the region where the object is separated on the display device 300A for all frames where the region where the object is separated is detected. The separation output unit 112 is configured to display a location where the object is separated for a frame selected by the user using an input device (not shown) from among the frames where the region where the object is separated is detected. The area may be displayed on the display device 300A.
  • FIG. 4 is a flowchart showing the operation of the video processing system 1A of the present embodiment.
  • the video processing system 1A performs a feature position extraction process (step S201).
  • the video processing system 1A extracts two motion sequences having the largest difference by the feature position extraction process.
  • the video processing system 1A further calculates a difference value representing the difference between the two motion sequences having the largest difference by the feature position extraction process.
  • the video processing system 1A further extracts a position where the two motion sequences are estimated by the feature position extraction process.
  • the extracted motion sequence represents the above-described two feature motion vectors of each frame in which the vector field is estimated. The feature position extraction process will be described later.
  • the separation determination unit 109 determines the presence / absence of separation of the object based on the difference value indicating the difference between the two motion sequences having the largest difference (step S202).
  • the separation output unit 112 may display on the display device 300A a display indicating that there is no separation in the object. Then, the video processing apparatus 100A ends the operation illustrated in FIG.
  • FIG. 5 is a flowchart showing an example of the operation in the feature position extraction process of the video processing system 1A of the present embodiment.
  • each step shown in FIG. 5 is the same as the operation of the step given the same reference numeral in the operation of the video processing system 1 of the first embodiment shown in FIG.
  • the present embodiment described above has the same effect as the first embodiment.
  • the reason is the same as the reason for the effect of the first embodiment.
  • FIG. 6 is a block diagram showing an example of the configuration of the video processing system 1B of the present modification.
  • a video processing system 1B includes a video processing device 100, a separation detection device 100B, a video input device 200A, and a display device 300A.
  • the separation detection device 100B is communicably connected to the video processing device 100, the video input device 200A, and the display device 300A.
  • the video processing apparatus 100 according to the present modification is the same as the video processing apparatus 100 according to the first embodiment, except for differences described below.
  • the separation detection device 100B corresponds to the video input device 200 and the output destination device 300 in the first embodiment.
  • the video processing apparatus 100 of this embodiment transmits the time series of the motion vector field estimated based on the video to the separation detection apparatus 100B.
  • the video input device 200A is, for example, a photographing device that photographs an object and outputs an image in which the object is photographed.
  • the separation detection apparatus 100B includes a video acquisition unit 105B, a video storage unit 106B, a transmission / reception unit 113, a separation determination unit 109, a region division unit 110, a separation detection unit 111, and a separation output unit 112.
  • the video acquisition unit 105B acquires a video from the video input device 200A, and stores the acquired video in the video storage unit 106B.
  • the video acquisition unit 105 ⁇ / b> B transmits the acquired video to the video processing device 100 via the transmission / reception unit 113.
  • the video acquisition unit 105 ⁇ / b> B may read the video stored in the video storage unit 106 ⁇ / b> B from the video storage unit 106 ⁇ / b> B and transmit the read video to the video processing apparatus 100 via the transmission / reception unit 113.
  • the video storage unit 106B stores the video acquired from the video input device 200A.
  • the transmission / reception unit 113 transmits the video to the video processing device 100.
  • the transmission / reception unit 113 receives from the video processing device 100 a difference value representing the magnitude of the difference between the two motion sequences extracted by the video processing device 100 and having the largest difference.
  • the transmission / reception unit 113 receives, from the video processing device 100, the position where the two motion sequences with the greatest difference extracted by the video processing device 100 are estimated.
  • the transmission / reception unit 113 further receives, from the video processing device 100, the above-described two feature motion vectors of each of the plurality of frames estimated from the motion vector field generated from the two motion sequences having the largest difference. May be.
  • the transmission / reception unit 113 may receive, from the video processing device 100, two motion sequences extracted by the video processing device 100 instead of the feature motion vector with the largest difference.
  • the transmission / reception unit 113 further receives a time series of the motion vector field estimated based on the video from the video processing device 100.
  • the separation determination unit 109, the region division unit 110, the separation detection unit 111, and the separation output unit 112 of the present embodiment are respectively the separation determination unit 109 and the region division unit 110 of the video processing device 100A of the first embodiment. This is the same as the separation detection unit 111 and the separation output unit 112. However, the separation determination unit 109 receives a difference value indicating the magnitude of the difference between the two motion sequences having the largest difference from the video processing device 100 via the transmission / reception unit 113.
  • the area dividing unit 110 receives the time series of the motion vector field estimated based on the video from the video processing device 100 via the transmission / reception unit 113.
  • the area dividing unit 110 further receives, from the video processing apparatus 100, positions where two motion sequences having the largest differences are estimated.
  • the area dividing unit 110 further receives, from the video processing device 100, the above-described two feature motion vectors of each of a plurality of frames with estimated motion vector fields, generated from the two motion sequences having the largest difference. To do.
  • FIG. 4 is a flowchart showing the operation of the video processing system 1B of this modification.
  • the operation of the video processing system 1B of the present modification is the same as the operation of the video processing system 1A of the second modification.
  • FIG. 5 is a flowchart showing the operation in the feature position extraction process of the video processing system 1B of the present modification.
  • the operation in the feature position extraction process of the video processing system 1B of the present modification is the same as the operation in the feature position extraction process of the video processing system 1A of the second modification.
  • FIG. 7 is a block diagram showing the configuration of a video processing apparatus 100C according to the third embodiment of the present invention.
  • the video processing apparatus 100C including the difference calculation unit 102 and the motion extraction unit 103 illustrated in FIG. 7 represents the above-described minimum configuration.
  • the video processing apparatus 100C includes a difference calculation unit 102 that calculates the magnitude of a difference between sets of motion vector transitions of a video, and a position of a set of motion vector transitions that represent different motions in the video. And a motion extracting unit 103 that extracts based on the size.
  • the present embodiment described above has the same effect as the first effect of the first embodiment.
  • the reason is the same as the reason why the first effect of the first embodiment occurs.
  • the video processing apparatus can be realized by a computer and a program for controlling the computer, dedicated hardware, or a combination of the computer and the program for controlling the computer and dedicated hardware.
  • the separation detection apparatus 100B according to the modification of the second embodiment of the present invention is also realized by a computer and a program for controlling the computer, dedicated hardware, or a combination of a program for controlling the computer and the computer and dedicated hardware. be able to.
  • FIG. 8 is a diagram illustrating an example of a hardware configuration of a computer 1000 that can realize the video processing apparatuses 100, 100A, and 100C and the separation detection apparatus 100B according to the above-described embodiment.
  • a computer 1000 includes a processor 1001, a memory 1002, a storage device 1003, and an I / O (Input / Output) interface 1004.
  • the computer 1000 can access the recording medium 1005.
  • the memory 1002 and the storage device 1003 are storage devices such as a RAM (Random Access Memory) and a hard disk, for example.
  • the recording medium 1005 is, for example, a storage device such as a RAM or a hard disk, a ROM (Read Only Memory), or a portable recording medium.
  • the storage device 1003 may be the recording medium 1005.
  • the processor 1001 can read and write data and programs from and to the memory 1002 and the storage device 1003.
  • the processor 1001 can access, for example, the video input device 200 and the output destination device 300, or the video input device 200A and the display device 300A via the I / O interface 1004.
  • the processor 1001 can access the recording medium 1005.
  • the recording medium 1005 stores a program that causes the computer 1000 to operate as the video processing device 100, the video processing device 100A, the video processing device 100C, or the separation detection device 100B.
  • the processor 1001 loads into the memory 1002 a program that causes the computer 1000 to operate as the video processing device 100, the video processing device 100A, the video processing device 100C, or the separation detection device 100B, which is stored in the recording medium 1005.
  • the processor 1001 executes the program loaded in the memory 1002
  • the computer 1000 operates as the video processing device 100, the video processing device 100A, the video processing device 100C, or the separation detection device 100B.
  • the first group includes a motion sequence generation unit 101, a difference calculation unit 102, a motion extraction unit 103, a motion output unit 104, a video acquisition unit 105, and a motion estimation unit 107.
  • the first group may further include a separation determination unit 109, a region division unit 110, a separation detection unit 111, and a separation output unit 112.
  • the first group may further include a video acquisition unit 105B and a transmission / reception unit 113.
  • Each unit of the second group described later can be realized by a memory 1002 included in the computer 1000 and a storage device 1003 such as a hard disk device.
  • the second group is the video storage unit 106 and the motion vector storage unit 108.
  • the second group may further include a video storage unit 106B.
  • some or all of the units included in the first group and the units included in the second group can be realized by a dedicated circuit that realizes the function of each unit.
  • a difference calculating means for calculating the magnitude of the difference of the set of motion vector transitions of the video;
  • a video processing apparatus comprising: motion extraction means for extracting a position of a set of motion vector transitions representing different motions in the video based on the magnitude of the difference.
  • Appendix 3 The video processing apparatus according to appendix 1 or 2, further comprising: motion sequence generation means for generating a transition of the motion vector at a specified coordinate.
  • the vector transition is a set of motion vectors estimated at the fixed position of the frame of the video;
  • the video processing device according to attachment 3, wherein the difference calculation means calculates the magnitude of the difference between the sets of motion vector transitions based on the difference of the motion vectors in the same frame.
  • the motion extraction means extracts a motion vector of the frame at a position of a set of motion vector transitions representing the different motions as a feature vector of the frame;
  • the video processing device further includes video segmentation means for classifying the motion vector of the frame according to proximity to the feature vector of the frame to extract a region having different motion from the frame.
  • Appendix 6 The video processing apparatus according to appendix 5, further comprising separation detection means for detecting the region extracted from the video where the object is photographed as at least a part of an image of a part separated from the object.
  • Appendix 7 The video processing apparatus according to appendix 5 or 6, further comprising: a separation determination unit that determines presence of a region having a different motion based on the magnitude of the difference of the set of motion vector transitions representing the different motion.
  • Appendix 10 The video processing method according to appendix 8 or 9, wherein a transition of the motion vector at a specified coordinate is generated.
  • the vector transition is a set of motion vectors estimated at the fixed position of the frame of the video;
  • the video processing method according to claim 10 wherein the magnitude of the difference between the sets of motion vector transitions is calculated based on the difference of the motion vectors in the same frame.
  • Appendix 12 Extracting a motion vector of the frame at a position of a set of motion vector transitions representing the different motions as a feature vector of the frame; The video processing method according to any one of appendices 8 to 11, wherein a region having different motion is extracted from the frame by classifying the motion vector of the frame according to proximity to the feature vector of the frame.
  • Appendix 14 The video processing method according to appendix 12 or 13, wherein the presence of a region having a different motion is determined based on the magnitude of the difference of the set of motion vector transitions representing the different motion.
  • Appendix 17 Computer 17.
  • the vector transition is a set of motion vectors estimated at the fixed position of the frame of the video;
  • Computer The difference calculation means for calculating the magnitude of the difference between the sets of motion vector transitions based on the difference of the motion vectors in the same frame; 18.
  • (Appendix 19) Computer The motion extraction means for extracting a motion vector of the frame at a position of a set of motion vector transitions representing the different motions as a feature vector of the frame; Any one of appendixes 15 to 18, wherein the motion vector of the frame is classified according to proximity to the feature vector of the frame, thereby operating as a video dividing unit that extracts a region having different motion from the frame.
  • Appendix 20 Computer The video processing program according to appendix 19, wherein the video processing program is operated as a separation detection unit that detects the region extracted from the video in which the target is photographed as at least a part of an image of a portion separated from the target. Recording media to be used.
  • Appendix 21 Computer The video processing program according to appendix 19 or 20, wherein the video processing program is operated as a separation determination unit that determines the presence of a region having a different motion based on the magnitude of the difference of a set of motion vector transitions representing the different motion. Recording medium to be stored.

Abstract

　映像において異なる動きをする部分を検出する精度を向上させることができる映像処理装置を提供する。　本発明の一態様に係る映像処理装置は、映像の動きベクトル推移の組の相違の大きさを算出する相違算出手段と、前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出手段とを備える。

Description

映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
　本発明は、映像を処理する技術に関する。
　コンクリート等を使用して構築された構造物のひび割れを検出する方法が、例えば特許文献１に開示されている。特許文献１のひび割れ検出システムは、ひび割れが検出される構造物の表面に存在する複数の標本点から、少なくとも３つの標本点の組である要素を形成する。標本点は、例えば、構造物の表面の構造又は模様などによって位置が定まる点である。そのひび割れ検出システムは、その構造物の表面が撮影された画像において、標本点の位置を検出する。そのひび割れ検出システムは、構造物の変形の大きさを、検出された、標本点の位置の変化の大きさによって判定する。
特開２００６－１６２５４８号公報
　特定された標本点の位置における誤差が大きい場合、算出される、標本点の位置の変化量における誤差も大きい。構造物の表面の構造及び模様によって標本点の位置を特定することが難しい場合、標本点の位置の変化の大きさを特定することはできない。特許文献１の技術では、標本点の位置を精度よく検出できない場合、ひび割れが発生した箇所を精度よく検出することはできない。ひび割れによって分離した構造物を撮影した映像は、異なる動きをする部分を含む。特許文献１の技術では、そのような映像において異なる動きをする部分を精度よく検出することはできない。
　本発明の目的の１つは、映像において異なる動きをする部分を検出する精度を向上させることができる映像処理装置を提供することにある。
　本発明の一態様に係る映像処理装置は、映像の動きベクトル推移の組の相違の大きさを算出する相違算出手段と、前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出手段とを備える。
　本発明の一態様に係る映像処理方法は、映像の動きベクトル推移の組の相違の大きさを算出し、前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する。
　本発明の一態様に係る記録媒体は、コンピュータを、映像の動きベクトル推移の組の相違の大きさを算出する相違算出手段と、前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出手段として動作させる映像処理プログラムを記憶する。本発明は、その記録媒体が記憶する、映像処理プログラムによっても実現可能である。
　本発明には、映像において異なる動きをする部分を検出する精度を向上させることができるという効果がある。
図１は、本発明の第１の実施形態の映像処理システム１の構成の例を表すブロック図である。 図２は、本発明の第１の実施形態の映像処理システム１の動作の例を表すフローチャートである。 図３は、本発明の第２の実施形態の映像処理システム１Ａの構成の例を表すブロック図である。 図４は、本発明の第２の実施形態の映像処理システム１Ａの動作を表すフローチャートである。 図５は、本発明の第２の実施形態の映像処理システム１Ａの、特徴位置抽出処理における動作の例を表すフローチャートである。 図６は、本発明の第２の実施形態の変形例の映像処理システム１Ｂの構成の例を表すブロック図である。 図７は、本発明の第３の実施形態の映像処理装置１００Ｃの構成を表すブロック図である。 図８は、本発明の各実施形態に係る映像処理装置及び分離検出装置を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。
　次に、本発明の実施形態について、図面を参照して詳細に説明する。
　＜第１の実施形態＞
　図１は、本発明の第１の実施形態の映像処理システム１の構成の例を表すブロック図である。図１を参照すると、映像処理システム１は、映像処理装置１００と、映像入力装置２００と、出力先装置３００とを含む。映像処理装置１００は、映像入力装置２００及び出力先装置３００と、通信可能に接続されている。
　映像処理装置１００は、動き系列生成部１０１と、相違算出部１０２と、動き抽出部１０３と、動き出力部１０４と、映像取得部１０５と、映像記憶部１０６と、動き推定部１０７と、動きベクトル記憶部１０８とを含む。
　映像入力装置２００は、映像のデータを、映像処理装置１００に入力する。映像は、例えば、対象物が撮影されている映像である。対象物は、例えば、コンクリートや金属等によって構築された、橋梁又はビルなどの建造物の少なくとも一部分であってもよい。対象物は、例えば、正常時には剛体と見なすことができ、破壊された場合に、剛体と見なすことができる部分が分離し得る物体であってもよい。映像は、例えば、連続して撮影された静止画像のデータであってもよい。映像は、複数の静止画像のデータを生成できる動画像のデータであってもよい。以下の説明では、映像を、「連続画像」と表記することもある。連続する静止画像のデータである映像に含まれる静止画像（映像のフレームに相当する）を、「フレーム」とも表記する。また、映像のデータを操作すること（例えば映像のデータを入力すること）を、映像を操作する（例えば、映像を入力する）と表記する。
　映像入力装置２００は、例えば、対象物を撮影し、撮影することによって得られた映像を、映像処理装置１００に送信する撮影装置であってもよい。映像入力装置２００は、撮影装置によって撮影された対象物の映像を記憶し、記憶している映像を映像処理装置１００に送信する、映像サーバ装置であってもよい。
　映像取得部１０５は、映像入力装置２００から、映像を受信する。映像取得部１０５は、受信した映像を、映像記憶部１０６に格納する。
　映像記憶部１０６は、映像入力装置２００から入力された映像を記憶する。
　動き推定部１０７は、映像に含まれる複数のフレームについて、フレームにおいてあらかじめ定められている複数の位置における動きベクトルを推定する。この場合、動きベクトルは、その動きベクトルが推定される位置を含む領域の移動の方向及び大きさを表す。動きベクトルは、フレームに設定されている座標系において、平面内の動きを表す値である。動きベクトルは、例えば、要素数が２であるベクトルによって表される。以下の説明において、推定された動きベクトルが移動の方向及び大きさを表す位置は、「動きベクトルの位置」、又は、「動きベクトルが推定された位置」等とも表記される。
　動き推定部１０７は、動きベクトルを推定するフレームと、参照フレームとを比較することによって、動きベクトルを推定する。参照フレームは、映像において、動きベクトルを推定するフレームより前の（例えば直前の）フレームである。動き推定部１０７が動きベクトルを推定する方法として、画素値に基づく相関を使用する方法、位相の相関を使用する方法などの、既存のさまざまな方法を適用できる。動きベクトルを推定する位置は、例えば、動き推定部１０７が動きベクトルを推定する方法において動きベクトルを推定できる領域に含まれる、所定の間隔の位置である。所定の間隔の位置は、例えば、フレーム面に設定されるいずれかの種類の平面格子の格子点の位置である。動きベクトルを推定する位置は、例えば、動き推定部１０７が動きベクトルを推定する方法において動きベクトルを推定できる領域に含まれる各画素の位置であってもよい。
　動き推定部１０７は、推定した動きベクトルに、その動きベクトルが推定された位置を関連付ける。動き推定部１０７は、位置が関連付けられている動きベクトルを、動きベクトルを推定したフレーム毎に、動きベクトル記憶部１０８に格納する。動きベクトルに関連付けられる位置は、例えば、その動きベクトルが推定された場所の座標である。本発明の各実施形態の説明において、１つのフレームの複数の位置において推定された動きベクトルの集合を、「動きベクトル場」とも表記する。動き推定部１０７は、言い換えると、例えば、フレーム毎に、動きベクトル場を、動きベクトル記憶部１０８に格納する。動き推定部１０７は、例えば、動きベクトル記憶部１０８に格納する動きベクトル場に、その動きベクトル場に含まれる動きベクトルが推定されたフレームの、映像における順番を特定する値（以下では、「時間値」とも表記）を関連付ければよい。映像におけるフレームの順番は、例えば、そのフレームが撮影された順番である。時間値は、例えば、映像に含まれるフレームの各々に、フレームが撮影された順番に従って付与される、フレーム番号であってもよい。時間値は、例えば、映像が撮影されてから経過した時間であってもよい。時間値は、映像に含まれるフレームの各々が撮影された時刻であってもよい。以下の説明では、時間値は、フレーム番号である。また、映像に含まれるフレームの各々において推定された動きベクトル場の、動きベクトル場が抽出されたフレームの順番を特定できる集合を、「動きベクトル場の時系列」とも表記する。
　動きベクトル記憶部１０８は、動きベクトルが推定されたフレーム毎に、例えば推定された位置が関連付けられている動きベクトルの集合である、動きベクトル場を記憶する。
　動き系列生成部１０１は、動きベクトル記憶部１０８に格納されている、動きベクトルが推定されたフレーム毎の動きベクトル場に基づいて、同じ位置において推定された動きベクトルの集合である、動き系列を生成する。動き系列に含まれる動きベクトルは、その動きベクトルが推定されたフレームの映像における順番に従って並んでいてもよい。動き系列に含まれる動きベクトルの各々には、フレーム番号が関連付けられていてもよい。本発明の各実施形態の説明において、動き系列は、「動きベクトル推移」又は「動きベクトル時系列」とも表記される。
　数１に示す式は、動きベクトルを表す。
Figure JPOXMLDOC01-appb-M000001
　数１に示す式において、ｆは、フレーム番号を表す。映像において動きベクトルが推定されたフレームの数がＦとすると、ｆは１以上Ｆ以下の整数である。また、ｍは、動きベクトルが推定された場所を表す番号である。動きベクトルが推定される位置の数をＭとすると、ｍは１以上Ｍ以下の整数である。数１に示す式において、ＭＶ（Ｔｆ，ｘｍ，ｙｍ）は、時間値がＴｆであるフレームの、座標が（ｘｍ，ｙｍ）である位置において推定された動きベクトルを表す。座標（ｘｍ，ｙｍ）は、ｍ番目の、動きベクトルが推定される位置の座標である。動きベクトルが推定される位置の番号は、あらかじめ決められていればよい。さらに、数１に示す式の右辺において、ΔＵ（Ｔｆ，ｘｍ，ｙｍ）は、動きベクトルＭＶ（Ｔｆ，ｘｍ，ｙｍ）のｘ軸方向の成分であるｘ成分を表す。同様に、ΔＶ（Ｔｆ，ｘｍ，ｙｍ）は、動きベクトルＭＶ（Ｔｆ，ｘｍ，ｙｍ）のｙ軸方向の成分であるｙ成分を表す。
　数２に示す式は、動き系列の例を表す。
Figure JPOXMLDOC01-appb-M000002
　数２に示すＰｍは、１番目からＦ番目までのフレーム（すなわち、映像において動きベクトルが推定されたフレーム）の各々の、ｍ番目の位置において推定された、動きベクトルの集合（すなわちｍ番目の動き系列）を表す。動き系列生成部１０１は、１からＭまでのそれぞれのｍについて、動き系列Ｐｍを生成する。
　例えば、対象物が、異なる動きをし得る複数の部分に分離されている場合、撮影された映像のフレームにおける、異なる部分の像の領域（以下、異物体領域と表記）内の位置において推定される動きベクトルは、異なる可能性がある。分離されていない対象物又は同一の部分の像の領域（以下、同一物体領域と表記）内の、複数の位置において推定される動きベクトルは、同じ又は似ている可能性が高い。推定される動きベクトルに誤差が存在する場合であっても、同一物体領域内の、複数の位置において推定される動きベクトルの推移は、異物体領域内の位置において推定される動きベクトルの推移より似ている可能性が高い。
　動き系列Ｐｍは、１番目からＦ番目までのフレームの、ｍ番目の位置において推定された、動きベクトルの時系列を表す。従って、動き系列Ｐｍは、映像のｍ番目の位置における、撮影された対象物の動きの推移を表すと言える。本実施形態では、以下のように、２つの動き系列の間の相違の大きさを特定することによって、その大きさを使用して、その２つの動き系列が推定された位置が、同一物体領域に含まれるか否かを判定することができる。なお、動き系列が推定された位置は、その動き系列に含まれる動きベクトルが推定された位置を表す。
　相違算出部１０２は、動き系列の間の相違の程度を表す値である相違値（以下、「第１の相違値」とも表記する）を算出する。相違算出部１０２は、第１の相違値を、前記動き系列に含まれる、同じ時間値に関連付けられている動きベクトルの間の相違の程度を表す値である相違値（以下、「第２の相違値」とも表記する）に基づいて算出する。相違値の算出方法については、後で詳細に説明する。
　動き抽出部１０３は、動き系列の間の相違の程度を表す値である相違値が、最も相違していることを表す、２つの動き系列の各々の、動きベクトルが推定された位置を、前述の複数の固定された位置から抽出する。「固定された位置」は、位置が映像の全てのフレームで同じであることを表す。位置は座標によって表される。複数の固定された位置は、あらかじめ指定されていればよい。本発明の各実施形態では、上述のように、動き系列の間の相違の程度を表す値である相違値は、「第１の相違値」とも表記される。
　数３に示す式は、相違算出部１０２が算出する、動き系列の間の相違の程度を表す値である相違値の例を表す。
Figure JPOXMLDOC01-appb-M000003
　数３に示す式は、動き系列に対して定義されたＬ１ノルムによって表される、動き系列Ｐｕと動き系列Ｐｖとの間の相違の程度を表す相違値（すなわち、Ｌ１ノルムに基づく相違値）の例である。数３に示す相違値は、同じフレームの、ｕ番目の位置とｖ番目の位置において推定された、２つの動きベクトルの差の大きさの、１番目からＦ番目までのフレームについての総和である。数３に示す式では、同じフレームの、ｕ番目の位置とｖ番目の位置において推定された、２つの動きベクトルの差の大きさが、それらの動きベクトルの相違の程度を表す相違値（すなわち、上述の第２の相違値）である。数３に示す式では、ｆはフレーム番号を表し、ｕ及びｖは、上述の固定されている複数の位置における、位置の番号を表す。
　数４は、動き抽出部１０３は、数３に例示する相違値を使用して抽出する、２つの位置を表す。数３に示す式と同様に、数４に示す式では、ｕ及びｖは、上述の固定されている複数の位置における、位置の番号を表す。
Figure JPOXMLDOC01-appb-M000004
　数４は、それぞれ位置の番号であるｍ１とｍ２との組み合わせが、それぞれ１以上Ｍ以下の整数である、互いに異なるｕとｖとの組み合わせにおいて、数３に示す相違値が最も大きいｕとｖとの組み合わせであることを表す。番号ｍ１及びｍ２は、動き抽出部１０３によって抽出される、動き系列の間の相違の程度を表す値である相違値が、最も相違していることを表す、２つの動き系列の各々の、動きベクトルが推定された位置を表す。すなわち、相違値として、数３に例示する相違値を使用する場合、動き抽出部１０３は、数４の示す式に従って、２つの位置を抽出する。
　数５に示す式は、相違算出部１０２が算出する、動き系列の間の相違の程度を表す値である相違値の他の例を表す。
Figure JPOXMLDOC01-appb-M000005
　数３に示す式は、動き系列に対して定義されたＬ２ノルムによって表される、動き系列Ｐｕと動き系列Ｐｖとの間の相違の程度を表す相違値（すなわち、Ｌ２ノルムに基づく相違値）の例である。数５に示す相違値は、同じフレームの、ｕ番目の位置とｖ番目の位置において推定された、２つの動きベクトルの差の大きさの２乗の、１番目からＦ番目までのフレームについての総和の平方根である。数５に示す式では、同じフレームの、ｕ番目の位置とｖ番目の位置において推定された、２つの動きベクトルの差の大きさが、それらの動きベクトルの相違の程度を表す相違値（すなわち、上述の第２の相違値）である。数５に示す式でも、同様に、ｆはフレーム番号を表し、ｕ及びｖは、上述の固定されている複数の位置における、位置の番号を表す。
　数６は、動き抽出部１０３は、数５に例示する相違値を使用して抽出する、２つの位置を表す。数３に示す式と同様に、数６に示す式では、ｕ及びｖは、上述の固定されている複数の位置における、位置の番号を表す。
Figure JPOXMLDOC01-appb-M000006
　数６は、それぞれ位置の番号であるｍ１とｍ２との組み合わせが、それぞれ１以上Ｍ以下の整数である、互いに異なるｕとｖとの組み合わせにおいて、数５に示す相違値が最も大きいｕとｖとの組み合わせであることを表す。番号ｍ１及びｍ２は、動き抽出部１０３によって抽出される、動き系列の間の相違の程度を表す値である相違値が、最も相違していることを表す、２つの動き系列の各々の、動きベクトルが推定された位置を表す。すなわち、相違値として、数５に例示する相違値を使用する場合、動き抽出部１０３は、数６の示す式に従って、２つの位置を抽出してもよい。
Figure JPOXMLDOC01-appb-M000007
　数７は、それぞれ位置の番号であるｍ１とｍ２との組み合わせが、それぞれ１以上Ｍ以下の整数である、互いに異なるｕとｖとの組み合わせにおいて、数５に示す相違値の２乗が最も大きいｕとｖとの組み合わせであること表す。相違値として、数５に例示する相違値を使用する場合、動き抽出部１０３は、数７の示す式に従って、２つの位置を抽出してもよい。その場合、数５に示す相違値を算出する際、平方根の算出を省略できる。
　相違算出部１０２は、第２の相違値として、同じフレームの、ｕ番目の位置とｖ番目の位置において推定された、２つの動きベクトルの相関係数を算出してもよい。そして、相違算出部１０２は、第１の相違値として、１番目からＦ番目までのフレームについての第２の相違値の総和を算出してもよい。
　動き出力部１０４は、動き抽出部１０３によって抽出された２つの位置を、出力先装置３００に出力する。動き出力部１０４は、動き抽出部１０３によって抽出された２つの位置に加えて、それらの２つの位置において推定された動き系列を出力してもよい。上述のように、動き系列は、動きベクトル場が推定されたフレームである、１番目からＦ番目までのフレームの、同じ場所において推定された、動きベクトルを表す。動き抽出部１０３によって抽出された２つの位置において推定された動き系列は、１番目からＦ番目までのフレームの、動きベクトルの相違が最も大きい２つの場所において推定された、動きベクトルを表す。動き抽出部１０３は、位置が抽出された２つの動き系列のそれぞれに含まれる、関連付けられている時間値が同じ順番を表す動きベクトルを、時間値によって特定される順番のフレームの２つの特徴動きベクトルとして抽出してもよい。そして、動き出力部１０４は、動きベクトル場が推定された複数のフレームの各々についての、前述の２つの特徴動きベクトルを、出力先装置３００に出力してもよい。動き出力部１０４は、相違が最も大きい動き系列の、相違の大きさを表す相違値を、出力先装置３００に出力してもよい。
　出力先装置３００は、例えば、表示装置であってもよい。出力先装置３００は、映像処理装置１００の出力に基づいて、ひび割れを検出する動作などの他の動作を行う装置であってもよい。図１に示す例では、出力先装置３００は、映像処理装置１００とは別の装置であるが、出力先装置３００は、映像処理装置１００が含む、他の部又は回路であってもよい。
　次に、本実施形態の映像処理システム１の動作について、図面を参照して詳細に説明する。
　図２は、本実施形態の映像処理システム１の動作の例を表すフローチャートである。
　図２を参照すると、まず、映像取得部１０５が、映像入力装置２００から、映像を取得する（ステップＳ１０１）。映像取得部１０５は、取得した映像を、例えば、映像記憶部１０６に格納する。次に、動き推定部１０７が、例えば映像記憶部１０６に格納されている映像に基づいて、動きベクトル場の時系列を推定する（ステップＳ１０２）。動き推定部１０７は、動きベクトルの時系列を、動きベクトル記憶部１０８に格納する。
　次に、動き系列生成部１０１が、動きベクトル記憶部１０８が記憶する動きベクトル場の時系列に基づいて、複数の固定された位置における動き系列を生成する（ステップＳ１０３）。次に、相違算出部１０２が、複数の固定された位置に含まれる、異なる２つの位置の組み合わせの各々について、２つの位置において推定された動き系列の相違の大きさを表す相違値を算出する（ステップＳ１０４）。次に、動き抽出部１０３が、算出された相違値に基づいて、相違が最も大きい、２つの動き系列が推定された位置を抽出する（ステップＳ１０５）。動き抽出部１０３は、さらに、映像のうち、動きベクトル場が推定されたフレームの各々について、上述の２つの特徴動きベクトルを抽出してもよい（ステップＳ１０６）。動き出力部１０４は、抽出された２つの位置を、出力先装置３００に出力する（ステップＳ１０７）。ステップＳ１０７において、動き出力部１０４は、映像のうち、動きベクトル場が推定されたフレームの各々についての、２つの特徴動きベクトルを、出力先装置３００に出力してもよい。
　以上で説明した本実施形態には、映像において異なる動きをする部分を検出する精度を向上させることができるという第１の効果がある。
　その理由は、動き系列生成部１０１が、複数の固定された位置において推定された動きベクトルの集合である動き系列を生成するからである。そして、動き抽出部１０３が、動き系列の間の相違の程度を表す値である第１の相違値が、最も相違していることを表す、２つの動き系列の各々の、動きベクトルが推定された位置を、複数の固定された位置から抽出するからである。
　映像にノイズが多いフレームが含まれている場合などに、同じ位置において推定される動きベクトルに、誤差が大きい動きベクトルが含まれることがある。また、画素値には量子化誤差も存在する。例えば、推定される動きベクトルの相違が最も大きい位置の組み合わせを検出する場合、ノイズや、画素値の量子化誤差などによる動きベクトルの誤差の増加によって、フレームにおける動きの相違が最も大きい位置の検出誤差が増加する。
　同じ位置において推定される動きベクトルに、誤差が大きい動きベクトルが含まれている場合であっても、複数の動きベクトルの集合である動き系列の相違を算出することによって、誤差が大きい動きベクトルによる悪影響を軽減できる。従って、推定される動き系列の相違が最も大きい位置の組み合わせを検出することによって、映像において撮影されている対象物の、その映像における動きの相違が最も大きい位置を検出する精度を向上させることができる。
　また、本実施形態には、対象物が撮影された映像に基づいてその対象物の分離を検出する精度を向上させることができるという第２の効果がある。
　その理由は、動きの相違が最も大きい２つの位置を精度よく抽出することができれば、例えば、それらの２つの位置を起点に、同じ動きをする領域を拡張していくことによって、異なる動きをする２つの部分の像の領域を、精度よく推定することができる。すなわち、対象物が撮影された映像に基づいてその対象物の分離を検出する精度を向上させることができる。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。本実施形態は、第１の実施形態の応用例である。
　図３は、本実施形態の映像処理システム１Ａの構成の例を表すブロック図である。
　図３を参照すると、本実施形態の映像処理システム１Ａは、映像処理装置１００Ａと、映像入力装置２００Ａと、表示装置３００Ａとを含む。映像処理装置１００Ａは、映像入力装置２００Ａ及び表示装置３００Ａと、通信可能に接続されている。本実施形態の映像処理装置１００Ａは、以下に示す相違を除いて、第１の実施形態の映像処理装置１００と同じである。本実施形態の映像処理装置１００Ａの、第１の実施形態の映像処理装置１００の構成要素と同じ構成要素には、同じ番号を付与し、その説明を省略する。
　図３と図１とを比較すると、本実施形態の映像処理装置１００Ａは、第１の実施形態の映像処理装置１００の各構成要素に加えて、分離判定部１０９と、領域分割部１１０と、分離検出部１１１と、分離出力部１１２とを含む。
　本実施形態の相違算出部１０２は、さらに、算出した相違値のうち、相違が最も大きいことを表す相違値を、分離判定部１０９に送信する。
　本実施形態の動き出力部１０４は、動き抽出部１０３によって抽出された２つの位置と、その２つの位置の各々において推定された動き系列とを、領域分割部１１０に送信する。動き出力部１０４は、動き系列の代わりに、動きベクトル場が推定された複数のフレームの各々についての、前述の２つの特徴動きベクトルを、領域分割部１１０に送信してもよい。前述のように、これらの特徴動きベクトルは、推定された動き系列から生成される。動き出力部１０４が、動き系列を領域分割部１１０に送信するように設計されている場合、領域分割部１１０は、受信した動き系列から、動きベクトル場が推定された複数のフレームの各々についての、２つの特徴動きベクトルを生成するよう設計されていればよい。以下の説明では、動き出力部１０４は、動き抽出部１０３によって抽出された、２つの位置と、動きベクトル場が推定された複数のフレームの各々についての、前述の２つの特徴動きベクトルとを、領域分割部１１０に送信する。
　分離判定部１０９は、相違算出部１０２から受信した、相違が最も大きいことを表す第１の相違値に基づいて、映像において撮影されている対象物が、複数の部分に分離しているか否かを判定する。分離判定部１０９は、受信した第１の相違値と、例えばあらかじめ実験的に定められた閾値とを比較すればよい。そして、分離判定部１０９は、受信した第１の相違値が表す相違の大きさが、閾値が表す相違の大きさより大きい場合、対象物が複数の部分に分離していると判定し、そうでない場合、対象物は分離していないと判定すればよい。
　領域分割部１１０は、例えば、動きベクトル場の各動きベクトルを、その動きベクトル場に含まれる２つの特徴ベクトルの各々との近さに応じて分類することによって、そのベクトル場が推定されたフレームを、２つの領域に分割する、領域分割を行う。
　領域分割部１１０は、例えば、以下のように、領域分割を行ってもよい。領域分割部１１０は、まず、動きベクトル場に含まれる動きベクトルと、２つの動きベクトルのそれぞれとの差の大きさを算出する。領域分割部１１０は、その動きベクトルを、差の大きさが小さい方の特徴動きベクトルのグループに分類する。領域分割部１１０は、動きベクトル場に含まれる各動きベクトルを、２つの特徴動きベクトルのグループのいずれかに分類する。さらに、領域分割部１１０は、同じグループに含まれる動きベクトルの、動きベクトルが推定された位置の周辺領域（以下、動きベクトルの周辺領域と表記）のうち、隣接する周辺領域を連結する。周辺領域は、異なる動きベクトルの周辺領域が重ならないように、フレームを分割することによって得られる領域であればよい。以下、連結された周辺領域を連結領域と表記する。領域分割部１１０は、連結領域の境界線の平滑化、面積が所定値以下の連結領域の除去など、既存のさまざまな領域の整形方法によって、フレームにおいて、動きベクトルの１つのグループについて１つの連結領域になるように、連結領域の整形を行う。
　領域分割部１１０は、例えば、以下のように、領域分割を行ってもよい。領域分割部１１０は、まず、２つの特徴動きベクトルの各々について、特徴ベクトルの周辺領域を、その特徴ベクトルのグループの連結領域とする。そして、領域分割部１１０は、特徴動きベクトルのグループの連結領域に、周辺領域が隣接する動きベクトルと、その特徴動きベクトルとの差の大きさを算出する。算出された差の大きさが所定の閾値より小さい場合、領域分割部１１０は、その動きベクトルの周辺領域を、その特徴動きベクトルのグループの連結領域に連結する。領域分割部１１０は、特徴動きベクトルのグループの連結領域に、周辺領域が隣接する動きベクトルに、その特徴動きベクトルに対する差の大きさが所定値より小さい動きベクトルが存在しなくなるまで、動きベクトルの周辺領域と連結領域との連結を繰り返す。領域分割部１１０は、連結領域の境界線の平滑化などの、連結領域の整形を行ってもよい。
　領域分割部１１０は、以上で説明した方法ではない方法によって、２つの特徴動きベクトルの各々についての連結領域を生成してもよい。
　以上のように生成された一方の連結領域は、一方の特徴動きベクトルが推定された場所を含み、他方の連結領域は、他方の特徴動きベクトルが推定された場所を含む。そして、連結領域には、その連結領域に推定された場所が含まれる特徴動きベクトルとの近さに応じて分類された、複数の動きベクトルが推定された場所が含まれる。以下、推定された場所が連結領域に含まれる動きベクトルを、その連結領域の動きベクトルと表記する。２つの連結領域の各々について算出される、動きベクトルの平均ベクトルが異なっている場合、一方の連結領域に像が含まれる対象物の少なくとも一部と、他方の連結領域に像が含まれる対象物の少なくとも一部と、異なる方向に動いていると見なせる。そのような２つの連結領域を、「動きが異なる」２つの連結領域と表記する。相違が最も大きい動き系列から生成される、同じフレームにおいて推定された２つの特徴動きベクトルの差の大きさは、そのフレームにおいて推定された動きベクトルから選択された２つの動きベクトルの差の大きさの中で、上位にあることが期待される。領域分割部１１０が、動きベクトル場が推定されたフレームにおいて生成する（すなわちそのフレームから抽出する）２つの連結領域は、動きが異なる連結領域であると言える。
　領域分割部１１０は、動きベクトル場が推定された複数のフレームの各々について、２つの連結領域を生成すればよい。
　分離検出部１１１は、上述の２つの連結領域が隣接している場合、例えば、２つの連結領域の間の境界、又は、その境界から所定距離以内の、その境界を含む領域を、対象物が分離している場所の領域として検出してもよい。分離検出部１１１は、上述の２つの連結領域が隣接していない場合、例えば、２つの連結領域に挟まれた、２つの連結領域の双方の境界から所定距離以内の領域を、対象物が分離している場所の領域として検出してもよい。分離検出部１１１は、動きベクトル場が推定された複数のフレームの各々について、対象物が分離している場所の領域を検出すればよい。
　分離出力部１１２は、対象物が分離している場所の領域が検出されたフレームについて、対象物が分離している場所の領域を、表示装置３００Ａに表示する。分離出力部１１２は、例えば、対象物が分離している場所の領域が検出されたフレームに、そのフレームにおいて検出された対象物が分離している場所の領域を示す表示を重畳してもよい。そして、分離出力部１１２は、対象物が分離している場所の領域を示す表示が重畳されたフレームを、表示装置３００Ａに出力してもよい。分離出力部１１２は、対象物が分離している場所の領域が検出された全てのフレームについて、対象物が分離している場所の領域を、表示装置３００Ａに表示してもよい。分離出力部１１２は、対象物が分離している場所の領域が検出されたフレームのうち、ユーザが入力装置（図示されない）を使用して選択したフレームについて、対象物が分離している場所の領域を、表示装置３００Ａに表示してもよい。
　次に、本実施形態の映像処理システム１Ａの動作について、図面を参照して詳細に説明する。
　図４は、本実施形態の映像処理システム１Ａの動作を表すフローチャートである。
　図４を参照すると、映像処理システム１Ａは、特徴位置抽出処理を行う（ステップＳ２０１）。映像処理システム１Ａは、特徴位置抽出処理によって、相違が最も大きい２つの動き系列を抽出する。映像処理システム１Ａは、特徴位置抽出処理によって、さらに、相違が最も大きい２つの動き系列の相違の大きさを表す相違値を算出する。映像処理システム１Ａは、特徴位置抽出処理によって、さらに、その２つの動き系列が推定された位置を抽出する。上述のように、抽出された動き系列は、ベクトル場が推定されたフレームの各々の、上述の２つの特徴動きベクトルを表す。特徴位置抽出処理については、後述される。
　次に、分離判定部１０９が、相違が最も大きい２つの動き系列の相違の大きさを表す相違値に基づいて、対象物の分離の有無を判定する（ステップＳ２０２）。分離が存在しないと判定された場合（ステップＳ２０２においてＮＯ）、分離出力部１１２は、対象物に分離が存在しないことを示す表示を、表示装置３００Ａに表示してもよい。そして、映像処理装置１００Ａは、図４に示す動作を終了する。
　分離が存在すると判定された場合（ステップＳ２０２においてＹＥＳ）、領域分割部１１０は、抽出された位置及び特徴動きベクトルに基づいて、動きベクトル場が推定されたフレームから、動きが異なる２つの連結領域を抽出する（ステップＳ２０４）。次に、分離検出部１１１は、抽出された２つの連結領域に基づいて、分離の場所を推定する（ステップＳ２０５）。分離出力部１１２は、推定された分離の場所を、表示装置３００Ａに表示する（ステップＳ２０６）。
　次に、本実施形態の映像処理システム１Ａの、特徴位置抽出処理における動作について、図面を参照して詳細に説明する。
　図５は、本実施形態の映像処理システム１Ａの、特徴位置抽出処理における動作の例を表すフローチャートである。
　図５に示す各ステップの動作は、図２に示す、第１の実施形態の映像処理システム１の動作における、同じ符号が付与されているステップの動作と同じである。
　以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
　＜第２の実施形態の変形例＞
　次に、第２の実施形態の変形例に係る映像処理システム１Ｂについて、図面を参照して詳細に説明する。
　図６は、本変形例の映像処理システム１Ｂの構成の例を表すブロック図である。
　図６を参照すると、本変形例の映像処理システム１Ｂは、映像処理装置１００と、分離検出装置１００Ｂと、映像入力装置２００Ａと、表示装置３００Ａとを含む。分離検出装置１００Ｂは、映像処理装置１００、映像入力装置２００Ａ、及び、表示装置３００Ａと、通信可能に接続されている。
　本変形例の映像処理装置１００は、以下で説明する相違を除いて、第１の実施形態の映像処理装置１００と同じである。本変形例では、分離検出装置１００Ｂが、第１の実施形態における映像入力装置２００及び出力先装置３００に相当する。本実施形態の映像処理装置１００は、映像に基づいて推定した動きベクトル場の時系列を、分離検出装置１００Ｂに送信する。
　本変形例の映像入力装置２００Ａは、例えば、対象物を撮影し、対象物が撮影されている映像を出力する、撮影装置である。
　分離検出装置１００Ｂは、映像取得部１０５Ｂと、映像記憶部１０６Ｂと、送受信部１１３と、分離判定部１０９と、領域分割部１１０と、分離検出部１１１と、分離出力部１１２とを含む。
　映像取得部１０５Ｂは、映像入力装置２００Ａから映像を取得し、取得した映像を、映像記憶部１０６Ｂに格納する。映像取得部１０５Ｂは、取得した映像を、送受信部１１３を介して、映像処理装置１００に送信する。映像取得部１０５Ｂは、映像記憶部１０６Ｂに格納されている映像を映像記憶部１０６Ｂから読みだし、読み出した映像を、送受信部１１３を介して、映像処理装置１００に送信してもよい。
　映像記憶部１０６Ｂは、映像入力装置２００Ａから取得した映像を記憶する。
　送受信部１１３は、映像を映像処理装置１００に送信する。また、送受信部１１３は、映像処理装置１００から、映像処理装置１００が抽出した、相違が最も大きい２つの動き系列の、相違の大きさを表す相違値を受信する。送受信部１１３は、映像処理装置１００から、映像処理装置１００が抽出した、相違が最も大きい２つの動き系列が推定された位置を受信する。送受信部１１３は、映像処理装置１００から、さらに、相違が最も大きい２つの動き系列から生成された、動きベクトル場が推定された複数のフレームの各々の、前述の２つの特徴動きベクトルを受信してもよい。送受信部１１３は、映像処理装置１００から、特徴動きベクトルの代わりに、映像処理装置１００が抽出した、相違が最も大きい２つの動き系列を受信してもよい。送受信部１１３は、映像処理装置１００から、さらに、映像に基づいて推定された動きベクトル場の時系列を受信する。
　本実施形態の分離判定部１０９、領域分割部１１０、分離検出部１１１、及び、分離出力部１１２は、それぞれ、第１の実施形態の映像処理装置１００Ａの、分離判定部１０９、領域分割部１１０、分離検出部１１１、及び、分離出力部１１２と同じである。ただし、分離判定部１０９は、送受信部１１３を介して、映像処理装置１００から、相違が最も大きい２つの動き系列の、相違の大きさを表す相違値を受信する。領域分割部１１０は、送受信部１１３を介して、映像処理装置１００から、映像に基づいて推定された動きベクトル場の時系列を受信する。領域分割部１１０は、映像処理装置１００から、さらに、相違が最も大きい２つの動き系列が推定された位置を受信する。領域分割部１１０は、映像処理装置１００から、さらに、相違が最も大きい２つの動き系列から生成された、動きベクトル場が推定された複数のフレームの各々の、前述の２つの特徴動きベクトルを受信する。
　次に、本変形例の映像処理システム１Ｂの動作について、図面を参照して詳細に説明する。
　図４は、本変形例の映像処理システム１Ｂの動作を表すフローチャートである。本変形例の映像処理システム１Ｂの動作は、第２の変形例の映像処理システム１Ａの動作と同じである。図５は、本変形例の映像処理システム１Ｂの、特徴位置抽出処理における動作を表すフローチャートである。本変形例の映像処理システム１Ｂの、特徴位置抽出処理における動作は、第２の変形例の映像処理システム１Ａの、特徴位置抽出処理における動作と同じである。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態について、図面を参照して詳細に説明する。本実施形態は、以上で説明した本発明の各実施形態の最小構成を表す。
　図７は、本発明の第３の実施形態の映像処理装置１００Ｃの構成を表すブロック図である。図７に示す、相違算出部１０２と動き抽出部１０３とを含む映像処理装置１００Ｃが、上述の最小構成を表す。
　本実施形態の映像処理装置１００Ｃは、映像の動きベクトル推移の組の相違の大きさを算出する相違算出部１０２と、前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出部１０３とを備える。
　以上で説明した本実施形態には、第１の実施形態の第１の効果と同じ効果がある。その理由は、第１の実施形態の第１の効果が生じる理由と同じである。
　＜他の実施形態＞
　本発明の各実施形態に係る映像処理装置は、それぞれ、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。本発明の第２の実施形態の変形例の分離検出装置１００Ｂも、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
　図８は、上述の実施形態に係る映像処理装置１００、１００Ａ、１００Ｃ及び分離検出装置１００Ｂを実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図８を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記録媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記録媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１００３が記録媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、映像入力装置２００及び出力先装置３００、又は、映像入力装置２００Ａ及び表示装置３００Ａにアクセスすることができる。プロセッサ１００１は、記録媒体１００５にアクセスすることができる。記録媒体１００５には、コンピュータ１０００を、映像処理装置１００、映像処理装置１００Ａ、映像処理装置１００Ｃ、又は、分離検出装置１００Ｂとして動作させるプログラムが格納されている。
　プロセッサ１００１は、記録媒体１００５に格納されている、コンピュータ１０００を、映像処理装置１００、映像処理装置１００Ａ、映像処理装置１００Ｃ、又は、分離検出装置１００Ｂとして動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、映像処理装置１００、映像処理装置１００Ａ、映像処理装置１００Ｃ、又は、分離検出装置１００Ｂとして動作する。
　後述の第１のグループの各部は、例えば、プログラムを記憶する記録媒体１００５からメモリ１００２に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ１００１により実現することができる。第１のグループは、動き系列生成部１０１、相違算出部１０２、動き抽出部１０３、動き出力部１０４、映像取得部１０５、及び、動き推定部１０７である。第１のグループは、さらに、分離判定部１０９、領域分割部１１０、分離検出部１１１、及び、分離出力部１１２を含んでいてもよい。第１のグループは、さらに、映像取得部１０５Ｂ、及び、送受信部１１３を含んでいてもよい。また、後述の第２のグループの各部は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。第２のグループは、映像記憶部１０６、及び、動きベクトル記憶部１０８である。第２のグループは、さらに、映像記憶部１０６Ｂを含んでいてもよい。あるいは、第１のグループに含まれる部及び第２のグループに含まれる部の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　映像の動きベクトル推移の組の相違の大きさを算出する相違算出手段と、
　前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出手段と
　を備える映像処理装置。
　（付記２）
　前記動き抽出手段は、前記相違の大きさが最も大きい動きベクトル推移の組の位置を前記異なる動きを代表する動きベクトル推移の組の位置として抽出する
　付記１に記載の映像処理装置。
　（付記３）
　指定された座標の前記動きベクトルの推移を生成する動き系列生成手段
　をさらに備える付記１又は２に記載の映像処理装置。
　（付記４）
　前記ベクトル推移は、前記映像のフレームの前記固定された位置において推定された動きベクトルの集合であり、
　前記相違算出手段は、同じ前記フレームにおける前記動きベクトルの相違に基づいて、前記動きベクトル推移の組の間の前記相違の大きさを算出する
　付記３に記載の映像処理装置。
　（付記５）
　前記動き抽出手段は、前記異なる動きを代表する動きベクトル推移の組の位置における前記フレームの動きベクトルを、前記フレームの特徴ベクトルとして抽出し、
　前記映像処理装置は、前記フレームの特徴ベクトルとの近さに応じて前記フレームの動きベクトルを分類することによって、前記フレームから動きが異なる領域を抽出する映像分割手段をさらに備える
　付記１乃至４のいずれか１項に記載の映像処理装置。
　（付記６）
　対象物が撮影された前記映像から抽出された前記領域を、前記対象物が分離した部分の像の少なくとも一部として検出する分離検出手段
　をさらに備える付記５に記載の映像処理装置。
　（付記７）
　前記異なる動きを代表する動きベクトル推移の組の前記相違の大きさに基づいて、前記動きが異なる領域の存在を判定する分離判定手段
　をさらに備える付記５又は６に記載の映像処理装置。
　（付記８）
　映像の動きベクトル推移の組の相違の大きさを算出し、
　前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する
　映像処理方法。
　（付記９）
　前記相違の大きさが最も大きい動きベクトル推移の組の位置を前記異なる動きを代表する動きベクトル推移の組の位置として抽出する
　付記８に記載の映像処理方法。
　（付記１０）
　指定された座標の前記動きベクトルの推移を生成する
　付記８又は９に記載の映像処理方法。
　（付記１１）
　前記ベクトル推移は、前記映像のフレームの前記固定された位置において推定された動きベクトルの集合であり、
　同じ前記フレームにおける前記動きベクトルの相違に基づいて、前記動きベクトル推移の組の間の前記相違の大きさを算出する
　付記１０に記載の映像処理方法。
　（付記１２）
　前記異なる動きを代表する動きベクトル推移の組の位置における前記フレームの動きベクトルを、前記フレームの特徴ベクトルとして抽出し、
　前記フレームの特徴ベクトルとの近さに応じて前記フレームの動きベクトルを分類することによって、前記フレームから動きが異なる領域を抽出する
　付記８乃至１１のいずれか１項に記載の映像処理方法。
　（付記１３）
　対象物が撮影された前記映像から抽出された前記領域を、前記対象物が分離した部分の像の少なくとも一部として検出する
　付記１２に記載の映像処理方法。
　（付記１４）
　前記異なる動きを代表する動きベクトル推移の組の前記相違の大きさに基づいて、前記動きが異なる領域の存在を判定する
　付記１２又は１３に記載の映像処理方法。
　（付記１５）
　コンピュータを、
　映像の動きベクトル推移の組の相違の大きさを算出する相違算出手段と、
　前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出手段と
　して動作させる映像処理プログラムを記憶する記録媒体。
　（付記１６）
　コンピュータを、
　前記相違の大きさが最も大きい動きベクトル推移の組の位置を前記異なる動きを代表する動きベクトル推移の組の位置として抽出する前記動き抽出手段と
　して動作させる付記１５に記載の映像処理プログラムを記憶する記録媒体。
　（付記１７）
　コンピュータを、
　指定された座標の前記動きベクトルの推移を生成する動き系列生成手段と
　して動作させる付記１５又は１６に記載の映像処理プログラムを記憶する記録媒体。
　（付記１８）
　前記ベクトル推移は、前記映像のフレームの前記固定された位置において推定された動きベクトルの集合であり、
　コンピュータを、
　同じ前記フレームにおける前記動きベクトルの相違に基づいて、前記動きベクトル推移の組の間の前記相違の大きさを算出する前記相違算出手段と、
　して動作させる付記１７に記載の映像処理プログラムを記憶する記録媒体。
　（付記１９）
　コンピュータを、
　前記異なる動きを代表する動きベクトル推移の組の位置における前記フレームの動きベクトルを、前記フレームの特徴ベクトルとして抽出する前記動き抽出手段と、
　前記フレームの特徴ベクトルとの近さに応じて前記フレームの動きベクトルを分類することによって、前記フレームから動きが異なる領域を抽出する映像分割手段と
　して動作させる付記１５乃至１８のいずれか１項に記載の映像処理プログラムを記憶する記録媒体。
　（付記２０）
　コンピュータを、
　対象物が撮影された前記映像から抽出された前記領域を、前記対象物が分離した部分の像の少なくとも一部として検出する分離検出手段と
　して動作させる付記１９に記載の映像処理プログラムを記憶する記録媒体。
　（付記２１）
　コンピュータを、
　前記異なる動きを代表する動きベクトル推移の組の前記相違の大きさに基づいて、前記動きが異なる領域の存在を判定する分離判定手段と
　して動作させる付記１９又は２０に記載の映像処理プログラムを記憶する記録媒体。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　　映像処理システム
　１Ａ　　映像処理システム
　１Ｂ　　映像処理システム
　１００　　映像処理装置
　１００Ａ　　映像処理装置
　１００Ｂ　　分離検出装置
　１００Ｃ　　映像処理装置
　１０１　　動き系列生成部
　１０２　　相違算出部
　１０３　　動き抽出部
　１０４　　動き出力部
　１０５　　映像取得部
　１０５Ｂ　　映像取得部
　１０６　　映像記憶部
　１０６Ｂ　　映像記憶部
　１０７　　動き推定部
　１０８　　動きベクトル記憶部
　１０９　　分離判定部
　１１０　　領域分割部
　１１１　　分離検出部
　１１２　　分離出力部
　１１３　　送受信部
　２００　　映像入力装置
　２００Ａ　　映像入力装置
　３００　　出力先装置
　３００Ａ　　表示装置
　１０００　　コンピュータ
　１００１　　プロセッサ
　１００２　　メモリ
　１００３　　記憶装置
　１００４　　Ｉ／Ｏインタフェース
　１００５　　記録媒体

Claims (13)

  1. 　映像の動きベクトル推移の組の相違の大きさを算出する相違算出手段と、
    　前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出手段と
    　を備える映像処理装置。
  2. 　前記動き抽出手段は、前記相違の大きさが最も大きい動きベクトル推移の組の位置を前記異なる動きを代表する動きベクトル推移の組の位置として抽出する
    　請求項１に記載の映像処理装置。
  3. 　指定された座標の前記動きベクトルの推移を生成する動き系列生成手段
    　をさらに備える請求項１又は２に記載の映像処理装置。
  4. 　前記ベクトル推移は、前記映像のフレームの前記固定された位置において推定された動きベクトルの集合であり、
    　前記相違算出手段は、同じ前記フレームにおける前記動きベクトルの相違に基づいて、前記動きベクトル推移の組の間の前記相違の大きさを算出する
    　請求項３に記載の映像処理装置。
  5. 　前記動き抽出手段は、前記異なる動きを代表する動きベクトル推移の組の位置における前記フレームの動きベクトルを、前記フレームの特徴ベクトルとして抽出し、
    　前記映像処理装置は、前記フレームの特徴ベクトルとの近さに応じて前記フレームの動きベクトルを分類することによって、前記フレームから動きが異なる領域を抽出する映像分割手段をさらに備える
    　請求項１乃至４のいずれか１項に記載の映像処理装置。
  6. 　対象物が撮影された前記映像から抽出された前記領域を、前記対象物が分離した部分の像の少なくとも一部として検出する分離検出手段
    　をさらに備える請求項５に記載の映像処理装置。
  7. 　前記異なる動きを代表する動きベクトル推移の組の前記相違の大きさに基づいて、前記動きが異なる領域の存在を判定する分離判定手段
    　をさらに備える請求項５又は６に記載の映像処理装置。
  8. 　映像の動きベクトル推移の組の相違の大きさを算出し、
    　前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する
    　映像処理方法。
  9. 　前記相違の大きさが最も大きい動きベクトル推移の組の位置を前記異なる動きを代表する動きベクトル推移の組の位置として抽出する
    　請求項８に記載の映像処理方法。
  10. 　指定された座標の前記動きベクトルの推移を生成する
    　請求項８又は９に記載の映像処理方法。
  11. 　コンピュータを、
    　映像の動きベクトル推移の組の相違の大きさを算出する相違算出手段と、
    　前記映像において異なる動きを代表する動きベクトル推移の組の位置を前記相違の大きさに基づいて抽出する動き抽出手段と
    　して動作させる映像処理プログラムを記憶する記録媒体。
  12. 　コンピュータを、
    　前記相違の大きさが最も大きい動きベクトル推移の組の位置を前記異なる動きを代表する動きベクトル推移の組の位置として抽出する前記動き抽出手段と
    　して動作させる請求項１１に記載の映像処理プログラムを記憶する記録媒体。
  13. 　コンピュータを、
    　指定された座標の前記動きベクトルの推移を生成する動き系列生成手段と
    　して動作させる請求項１１又は１２に記載の映像処理プログラムを記憶する記録媒体。
PCT/JP2015/001307 2015-03-10 2015-03-10 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体 WO2016142965A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017504298A JPWO2016142965A1 (ja) 2015-03-10 2015-03-10 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
PCT/JP2015/001307 WO2016142965A1 (ja) 2015-03-10 2015-03-10 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/001307 WO2016142965A1 (ja) 2015-03-10 2015-03-10 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体

Publications (1)

Publication Number Publication Date
WO2016142965A1 true WO2016142965A1 (ja) 2016-09-15

Family

ID=56878665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001307 WO2016142965A1 (ja) 2015-03-10 2015-03-10 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体

Country Status (2)

Country Link
JP (1) JPWO2016142965A1 (ja)
WO (1) WO2016142965A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025336A1 (ja) * 2016-08-02 2018-02-08 日本電気株式会社 劣化検出装置、劣化検出方法、及びコンピュータ読み取り可能な記録媒体
CN111758025A (zh) * 2018-02-22 2020-10-09 松下知识产权经营株式会社 检查装置及检查方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006047091A (ja) * 2004-08-04 2006-02-16 Nissan Motor Co Ltd 移動体検出装置
JP2013038747A (ja) * 2011-08-11 2013-02-21 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2014116919A (ja) * 2012-11-14 2014-06-26 Nippon Telegr & Teleph Corp <Ntt> 映像再生装置、映像再生方法、および映像再生用プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20100027667A1 (en) * 2007-01-26 2010-02-04 Jonatan Samuelsson Motion estimation for uncovered frame regions
JP5219771B2 (ja) * 2008-12-15 2013-06-26 キヤノン株式会社 映像処理装置および映像処理装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006047091A (ja) * 2004-08-04 2006-02-16 Nissan Motor Co Ltd 移動体検出装置
JP2013038747A (ja) * 2011-08-11 2013-02-21 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2014116919A (ja) * 2012-11-14 2014-06-26 Nippon Telegr & Teleph Corp <Ntt> 映像再生装置、映像再生方法、および映像再生用プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025336A1 (ja) * 2016-08-02 2018-02-08 日本電気株式会社 劣化検出装置、劣化検出方法、及びコンピュータ読み取り可能な記録媒体
US11138711B2 (en) 2016-08-02 2021-10-05 Nec Corporation Degradation detection device, degradation detection method, and computer-readable recording medium
CN111758025A (zh) * 2018-02-22 2020-10-09 松下知识产权经营株式会社 检查装置及检查方法

Also Published As

Publication number Publication date
JPWO2016142965A1 (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
JP3944647B2 (ja) 物体計測装置、物体計測方法、およびプログラム
JP5272886B2 (ja) 動体検出装置と動体検出方法およびコンピュータ・プログラム
US9652861B2 (en) Estimating device and estimation method
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
WO2011161579A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
US20150146006A1 (en) Display control apparatus and display control method
US10249058B2 (en) Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method
WO2013005815A1 (ja) 物体検出装置、物体検出方法及びプログラム
JP2014003520A (ja) 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
US11138711B2 (en) Degradation detection device, degradation detection method, and computer-readable recording medium
JP2012516485A (ja) 画像における変化した可能性のあるオブジェクトの検出
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
JP2012234466A (ja) 状態追跡装置、方法、及びプログラム
JP2017130042A (ja) 映像処理装置、映像処理方法、及びプログラム
WO2016142965A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
JP2010257267A (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN106922194B (zh) 异常检测装置以及异常检测方法
JP2012185655A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP4272221B2 (ja) カラー画像動き検出回路、多重カラー画像統合装置およびカラー画像動き検出方法
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2016032265A (ja) 画像処理装置
JP6098320B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2018059767A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15884465

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017504298

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15884465

Country of ref document: EP

Kind code of ref document: A1