WO2017104042A1 - 背景画像生成装置及び物体検出装置 - Google Patents

背景画像生成装置及び物体検出装置 Download PDF

Info

Publication number
WO2017104042A1
WO2017104042A1 PCT/JP2015/085344 JP2015085344W WO2017104042A1 WO 2017104042 A1 WO2017104042 A1 WO 2017104042A1 JP 2015085344 W JP2015085344 W JP 2015085344W WO 2017104042 A1 WO2017104042 A1 WO 2017104042A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
time
unit
series
optical flow
Prior art date
Application number
PCT/JP2015/085344
Other languages
English (en)
French (fr)
Inventor
百代 長瀬
秀明 前原
関口　俊一
三嶋　英俊
貴憲 末谷
宣比古 山岸
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/085344 priority Critical patent/WO2017104042A1/ja
Priority to JP2016534272A priority patent/JP6138371B1/ja
Publication of WO2017104042A1 publication Critical patent/WO2017104042A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention includes a background image generation device that generates a background image used to detect a difference between a plurality of images from a plurality of images of the same shooting region that are shot at different times, and a background image generation device.
  • the present invention relates to an object detection device.
  • Patent Document 1 discloses an image processing apparatus that detects a difference between two images of the same shooting area that are shot at different times.
  • this image processing apparatus when a difference between two images is detected, the luminance between the two images is corrected, and the positional deviation between the two images after the luminance correction is adjusted.
  • a point having a large gradient of luminance difference is extracted from each of the two images as a feature point.
  • the corresponding feature points are selected from the feature points extracted from the two images as a pair, and the positions of the two images are adjusted so that the positions of the paired feature points are equal.
  • the image processing apparatus disclosed in Patent Document 1 adjusts the positional deviation between two images when detecting a difference between the two images. For this reason, even if there is a parallax because the shooting positions of the cameras that are shooting the two images are different, the difference between the two images can be detected.
  • the method of selecting a pair of feature points with a large gradient of brightness difference and adjusting the positions of the two images so that the positions of the feature points of the pair are equal there are feature points with a large gradient of brightness difference. If not, it cannot be applied.
  • it is difficult to select a pair properly and there is a problem that the positional deviation between two images cannot be adjusted with high accuracy.
  • the present invention has been made in order to solve the above-described problems. Even when there are no feature points having a large gradient of luminance difference or when there are many feature points, the positional deviation between a plurality of images can be reduced. It is an object of the present invention to obtain a background image generation apparatus capable of generating a background image from an image after position adjustment with high accuracy. Another object of the present invention is to obtain an object detection device that can detect an object existing in a shooting region of a camera using a background image.
  • the background image generating apparatus uses any one time-series image as a reference image among a plurality of time-series images taken at different times in the same shooting area by a movable camera, and the reference image
  • the optical flow calculation unit that calculates the optical flow between each of the remaining time series images and the optical flow calculated by the optical flow calculation unit, respectively, projectively transform each time series image to obtain the reference
  • a projection conversion unit that aligns each time-series image with respect to the image
  • the background image generation unit generates, as a background image, a composite image of each time-series image and the reference image that is projectively converted by the projection conversion unit. It is a thing.
  • the background image generation unit is configured to generate, as a background image, a composite image of each time-series image and the reference image that has undergone projective conversion by the projective conversion unit, when there is no feature point with a large gradient of brightness difference, Even when there are a large number of feature points, it is possible to adjust a positional shift between a plurality of images with high accuracy and generate a background image from the image after the position adjustment.
  • FIG. 1 It is a block diagram which shows the background image generation apparatus by Embodiment 1 of this invention. It is a hardware block diagram of the background image generation apparatus by Embodiment 1 of this invention. It is a hardware block diagram in case the whole background image generation apparatus is comprised with a computer. It is a flowchart which shows the processing content of the background image generation apparatus by Embodiment 1 of this invention. Photographing time t 1, t 2, ⁇ , time-series images P 1, P 2 of t 9, ⁇ , is an explanatory diagram showing an example of a P 9. It is explanatory drawing which shows an example of the reference
  • FIG. 1 It is a block diagram which shows the object detection apparatus by Embodiment 2 of this invention. It is a hardware block diagram of the object detection apparatus by Embodiment 2 of this invention.
  • FIG. 7 is an explanatory diagram illustrating an example of N time-series images P 1 , P 2 ,..., P N stored in the image storage unit 1 of the background image generation device 30.
  • FIG. Time-series images P 1, P 2 of N sheets, ... is an explanatory diagram showing a change of an object appearing in P N.
  • 3 is a flowchart showing processing contents of an optical correction unit 31. It is a flowchart which shows the processing content of the background image generation apparatus 30, the difference image generation part 32, the reverse projection conversion part 33, the list generation part 34a, and the time series image update part 34b.
  • FIG. FIG. 1 is a block diagram showing a background image generating apparatus according to Embodiment 1 of the present invention
  • FIG. 2 is a hardware block diagram of the background image generating apparatus according to Embodiment 1 of the present invention.
  • the image storage unit 1 is realized by a storage device 11 such as a hard disk.
  • a storage device 11 such as a hard disk.
  • a plurality of images taken by a movable camera mounted on a platform such as an earth observation satellite are used.
  • the plurality of time-series images stored in the image storage unit 1 are images in which the same area is captured at different times by the camera.
  • Platforms such as Earth observation satellites have slightly different orbits when orbiting the earth.
  • the optical flow calculation unit 2 is realized by, for example, a semiconductor integrated circuit on which a CPU (Central Processing Unit) is mounted, or an optical flow calculation processing circuit 12 configured by a one-chip microcomputer or the like, and an image storage unit One of the plurality of time-series images stored in 1 is used as a reference image, and a process of calculating an optical flow between the reference image and each of the remaining time-series images is performed. .
  • a time-series image other than the reference image among a plurality of time-series images stored in the image storage unit 1 is shown.
  • the projection conversion unit 3 is realized by, for example, a projection conversion processing circuit 13 composed of a semiconductor integrated circuit mounted with a CPU or a one-chip microcomputer, and the optical calculation calculated by the optical flow calculation unit 2. Each time-series image is subjected to projective transformation using the flow, thereby aligning each time-series image with respect to the reference image.
  • the background image generation unit 4 is realized by a background image generation processing circuit 14 configured by, for example, a semiconductor integrated circuit on which a CPU is mounted or a one-chip microcomputer, and is subjected to projective conversion by the projective conversion unit 3.
  • a process of generating a composite image of each time series image as a background image is performed. That is, the background image generation unit 4 calculates the statistic of the luminance value for each pixel of the same coordinate in each time-series image and the reference image that are projectively transformed by the projective transformation unit 3, and as the luminance value of each pixel of the background image, A process of setting the statistics for each pixel is performed.
  • the display unit 5 is realized by a display device 15 such as a liquid crystal display, and displays each time-series image, background image, and the like.
  • each of the image storage unit 1, the optical flow calculation unit 2, the projection conversion unit 3, the background image generation unit 4, and the display unit 5 that are components of the background image generation device is configured by dedicated hardware.
  • all or part of the background image generation apparatus may be configured by a computer.
  • FIG. 3 is a hardware configuration diagram in the case where the entire background image generation apparatus is configured by a computer.
  • the image storage unit 1 is configured by, for example, a RAM (Random Access Memory) 21 or a hard disk 22 which is an internal memory of the computer
  • the display unit 5 is configured by, for example, a computer GPU (Graphics). It comprises a processing unit 23 and a display 24. Further, an optical flow calculation program, a projection conversion program, and a background image generation program describing the processing contents of the optical flow calculation unit 2, the projection conversion unit 3, and the background image generation unit 4 are stored in the RAM 21 or the hard disk 22 of the computer.
  • the computer processor 25 executes an optical flow calculation program, a projective conversion program, and a background image generation program stored in the RAM 21 or the hard disk 22. However, this is an example.
  • FIG. 4 is a flowchart showing the processing contents of the background image generation apparatus according to Embodiment 1 of the present invention.
  • the time-series image P 1 is the oldest image of the imaging time t 1
  • the time-series image P 9 shooting time t 9 is assumed to be the most new image.
  • FIG. 5 is an explanatory diagram showing an example of a photographing time t 1, t 2, ⁇ ⁇ ⁇ , time-series images P 1, P 2 of t 9, ⁇ , P 9.
  • the time-series image shown in FIG. 5 is a photograph, and the copyright of this photograph is as follows. (c) CNES 2012, Distribution Astrium Services / Spot Image SA, France, all rights reserved.
  • the processing content of the background image generation apparatus will be described with reference to FIG.
  • FIG. 6 is an explanatory diagram showing an example of the reference image Pref .
  • the time-series image P 9 having the latest shooting time is used as the reference image P ref , but the shooting time is not the latest.
  • time-series images other than the time t 9 may be set to the reference image P ref a.
  • the optical flow calculation unit 2 calculates optical flows between the reference image P ref and the time-series images P 1 to P 8 at the shooting times t 1 to t 8 (FIG. 4). Step ST1).
  • the optical flow calculation method for example, an image matching method can be used. Since the image matching method is a well-known method and will not be described in detail, the processing content for calculating the optical flow using the image matching method will be described below.
  • FIG. 7 is an explanatory diagram showing optical flow calculation processing.
  • the left image is the reference image P ref
  • the right image is the time-series image P n at the shooting time t n .
  • n 1, 2,...
  • the optical flow calculating unit 2 a width of W w, height sets the window T of W h at an arbitrary position of the reference image P ref.
  • optical flow calculating unit 2 the window R of the same size as the window T is set to the reference image P ref, is set to the same position as the window T is set to the reference image P ref.
  • the luminance value of the pixel at the coordinates (i, j) is represented by T (i , J).
  • the luminance value of the pixel at the coordinates (i, j) is R (i, j).
  • (X, y) is the coordinate of the pixel of interest of the reference image Pref .
  • (x ′, y ′) is a reference position that is the same position as the pixel of interest (x, y) of the reference image Pref when the window T and the window R are completely overlapped at the same position.
  • the optical flow calculation unit 2 sets the window T to the reference image P ref and sets the window R to the time-series image P n , the optical flow calculation unit 2 sets the window R in the horizontal direction (left direction or right direction) in the figure,
  • the evaluation value ZNCC indicating the matching result between the image in the window T and the image in the window R is calculated as shown in the following equation (1) while shifting in the vertical direction (upward or downward).
  • the range in which the window R is shifted is such that the horizontal shift amount from the state where the window T and the window R overlap at the same position is a ( ⁇ r ⁇ a ⁇ r), and the vertical shift amount is b ( ⁇ r ⁇ b ⁇ r).
  • the optical flow calculation unit 2 calculates the evaluation value ZNCC while shifting the window R in the vertical and horizontal directions, the optical flow calculation unit 2 compares the plurality of calculated evaluation values ZNCC, and the shift amount when the evaluation value ZNCC is maximized (a, b) is specified.
  • the optical flow calculation unit 2 specifies the shift amount (a, b) when the evaluation value ZNCC is maximum, “a” at that time is the X component of the optical flow, and “b” at that time is the optical flow. Let it be Y component.
  • the optical flow calculation unit 2 sets the vector having the base point (x + a, y + b) and the tip (x, y) as the optical flow of the pixel (x + a, y + b) in the time-series image Pn .
  • FIG. 8 is an explanatory view showing the calculation result of the optical flow between the reference image P ref and the time series image P 8
  • FIG. 9 is an optical view between the reference image P ref and the time series image P 7.
  • FIG. 10 is an explanatory diagram showing the calculation result of the flow
  • FIG. 10 is an explanatory diagram showing the calculation result of the optical flow between the reference image P ref and the time series image P 6
  • FIG. 11 is the reference image P ref and the time series.
  • it is an explanatory diagram showing the calculation results of optical flow between the images P 5.
  • FIG. 12 is an explanatory diagram showing the calculation result of the optical flow between the reference image P ref and the time-series image P 4
  • FIG. 13 shows the optical flow between the reference image P ref and the time-series image P 3.
  • FIG. 14 is an explanatory diagram showing the calculation result of the optical flow between the reference image P ref and the time-series image P 2
  • FIG. 15 is an explanatory diagram showing the calculation result of the reference image P ref and the time-series image. is an explanatory diagram showing the calculation results of optical flow between P 1.
  • the optical flow calculating unit 2 calculates an optical flow, using the optical flow, the time-series images P 1 ⁇ P 8 of the imaging time t 1 ⁇ t 8 by projective transformation, respectively, a reference
  • the background image generation unit 4 reads out the luminance value of each pixel at the same coordinate in the time series images P 1 to P 8 after projective transformation and the time series image P 9 that is the reference image P ref , and each pixel at the same coordinate
  • the median of the luminance values of the nine pixels is calculated.
  • the calculation of the median luminance value is performed in units of pixels having the same coordinates. Therefore, if the number of pixels in the horizontal direction in the time-series images P 1 to P 9 is c and the number of pixels in the vertical direction is d, the center of the luminance values of the nine pixels for (c ⁇ d) pixels Each value is calculated.
  • Background image generation unit 4 After calculating the median value of the luminance values, respectively, the median value of the pixels of the pixel in the same coordinates of the background image P bk, by setting the luminance value of the pixel of the background image P bk, background image P bk is generated.
  • FIG. 17 is an explanatory diagram illustrating an example of the background image P bk generated by the background image generation unit 4.
  • the display unit 5 displays the background image P bk generated by the background image generation unit 4 and also displays a plurality of time-series images stored in the image storage unit 1 under the instruction of the user.
  • a projective transformation unit 3 is provided for performing projective transformation to align the time series image P n with respect to the reference image P ref , and the background image generation unit 4 performs the time series image P 1 after the projective transformation by the projective transformation unit 3.
  • the composite image of the time-series image P 9 is a reference image P ref and configured to generate a background image P bk, and if there is no gradient is large characteristic point of the luminance difference, the number Even when there is a feature point, there is an effect that a position image between a plurality of time-series images can be adjusted with high accuracy and a background image can be generated from the position-adjusted time-series image. That is, since the background image P bk is generated from the time-series images P 1 to P 8 in which the positional deviation is adjusted with high accuracy and the time-series image P 9 that is the reference image P ref , the high-precision background An image P bk can be generated.
  • the background image generation unit 4 has shown an example in which the median value of the luminance values of nine pixels is calculated as the statistic of the luminance value of each pixel having the same coordinates.
  • the mode value or average value of the luminance values of the nine pixels may be calculated as a statistic of the luminance value of each pixel having the same coordinates.
  • the average value may be calculated after removing outliers included in the luminance values of the nine pixels. In this way, if the average value is calculated after removing the outliers, the amount of calculation will increase somewhat, but even when targeting multiple time-series images with different weather and shooting time zones, noise will be generated. A small reference background can be generated.
  • Methods for removing outliers include methods that remove samples with significantly different brightness values from time-series images using the Smirnov-Grubbs test, etc., and information such as the shooting time zone, shooting angle, and weather at the time of shooting of each time-series image. For example, there is a method of removing luminance values of pixels constituting an extreme image such as images before and after sunrise, images with a remarkably large shooting angle, and images in cloudy weather.
  • FIG. 1 an object detection apparatus equipped with the background image generation apparatus of the first embodiment
  • FIG. 19 is a hardware configuration diagram of the object detection device according to Embodiment 2 of the present invention.
  • the background image generation device 30 is the same device as the background image generation device in FIG. 1, and generates a highly accurate background image P bk .
  • the number of time-series images P 1 , P 2 ,..., P N stored in the image storage unit 1 of the background image generation device 30 is N.
  • time-series images P 1, P 2 of N sheets, ..., among the P N photographing time is set the latest time-series image P N in the reference image P ref, N-1 pieces of time series
  • the images P 1 , P 2 ,..., P N-1 are projective transformed as in the first embodiment.
  • the optical correction unit 31 is realized by, for example, a semiconductor integrated circuit mounted with a CPU or an optical correction processing circuit 41 configured by a one-chip microcomputer or the like, and a plurality of optical correction units 31 stored in the image storage unit 1 are used. From the brightness value of the pixels constituting the time series image, the shadow area where the shadow appears is detected in the shooting area of the camera, and the brightness value of the pixel constituting the shadow area is increased. Implement the process. In FIG. 18, it is assumed that the optical correction unit 31 is installed in the preceding stage of the background image generation device 30 and stores a plurality of time-series images processed by the optical correction unit 31 in the image storage unit 1 of the background image generation device 30. However, the optical correction unit 31 may be mounted inside the background image generation device 30.
  • the difference image generation unit 32 is realized by, for example, a semiconductor integrated circuit mounted with a CPU or a difference image generation processing circuit 42 configured by a one-chip microcomputer or the like.
  • Processing for generating images ⁇ P 1 to ⁇ P N is performed.
  • the reverse projection conversion unit 33 is realized by a reverse projection conversion processing circuit 43 configured by, for example, a semiconductor integrated circuit mounted with a CPU or a one-chip microcomputer, and is generated by the differential image generation unit 32.
  • Each of the difference images ⁇ P 1 to ⁇ P N is subjected to reverse projection transformation, thereby executing a process of generating reverse projection images PR-pro1 to PR-proN .
  • the object detection unit 34 is realized by, for example, a semiconductor integrated circuit on which a CPU is mounted, or an object detection processing circuit 44 configured by a one-chip microcomputer or the like, and includes a list generation unit 34a, a time-series image update unit. 34b, a specific processing unit 34c, an input receiving unit 34d, and a display processing unit 34e.
  • the object detection unit 34 performs processing for detecting an object existing in the imaging region of the camera from the reverse projection images P R-pro1 to P R-proN generated by the reverse projection conversion unit 33.
  • the list generation unit 34a of the object detection unit 34 is a pixel in which the pixel constitutes the background for each pixel constituting the reverse projection images P R-pro1 to P R-proN generated by the reverse projection conversion unit 33. Whether or not and a list indicating the determination result is generated. Hereinafter, this list is referred to as a detection background list.
  • the time series image update unit 34b of the object detection unit 34 uses the list generation unit 34a to select a background from the pixels constituting the time series images P 1 , P 2 ,..., P N stored in the image storage unit 1. Pixels other than the pixels determined to be pixels are extracted, and the time series images P 1 , P 2 ,..., P N are updated.
  • the specific processing unit 34c of the object detection unit 34 updates the time-series images P 1 and P 2 after the update.
  • the background image generation apparatus 30 uses a P N
  • the difference image generation unit 32 is performed repeatedly the same process
  • the inverse projective transformation unit 33 is performed repeatedly the same process.
  • the input receiving unit 34d is configured by using a man-machine interface such as a mouse, a keyboard, and a touch panel, for example, and presents attribute information of an object such as an appearance time among objects existing in a shooting area of the camera. Perform processing to accept instructions.
  • the display processing unit 34e displays the appearance time, disappearance time, existence time, and the like of the object whose presentation instruction is accepted by the input acceptance unit 34d among the objects whose appearance time, disappearance time, and existence time are identified by the identification processing unit 34c. Perform the process.
  • each of the background image generation device 30, the optical correction unit 31, the difference image generation unit 32, the reverse projection conversion unit 33, and the object detection unit 34 that are components of the object detection device is configured by dedicated hardware.
  • the object detection device may be configured by a computer.
  • FIG. 20 is a hardware configuration diagram in the case where the object detection apparatus is configured by a computer.
  • a program describing the processing contents of the background image generation device 30, the optical correction unit 31, the difference image generation unit 32, the reverse projection conversion unit 33, and the object detection unit 34 is stored in the computer.
  • the program stored in the memory 51 and the processor 52 of the computer may be executed.
  • FIG. 21 is an explanatory diagram showing an example of N time-series images P 1 , P 2 ,..., P N stored in the image storage unit 1 of the background image generation device 30.
  • FIG. 22 is an explanatory diagram showing changes in objects appearing in N time-series images P 1 , P 2 ,..., P N.
  • FIG. 22 only fields and rivers were shown in the time series image in the past, but after that, an object road is constructed, and an object car is passing on the road. There is parallax between the representative four time-series images P shown in FIG.
  • the optical correction unit 31 constitutes a shadow portion existing in the N time-series images P 1 , P 2 ,..., P N stored in the image storage unit 1 of the background image generation device 30. A process for increasing the luminance value of the pixel is performed. Hereinafter, the processing content of the optical correction part 31 is demonstrated concretely.
  • FIG. 23 is a flowchart showing the processing contents of the optical correction unit 31.
  • a pixel having a luminance value L smaller than the luminance threshold L th1 is detected as a pixel constituting a shadow portion.
  • the luminance threshold L th1 a value of about 500 is set when the luminance value L of the pixels constituting the time-series image P n is expressed by a value of 0 to 4095, for example. It is possible.
  • Optical correction unit 31 in the camera's imaging area i.e., time-series images P 1, P 2 of N sheets, ..., in a P N, detects the area of the shadow portion shadows appearing, time series
  • the average value AV 1 of the luminance values of the pixels constituting the shadow portion is calculated, and the pixels constituting the portions other than the shadow portion are calculated.
  • the average value AV 2 of the luminance values is calculated.
  • the ratio AV 2 / AV 1 of the average value AV 2 of the luminance values of the pixels constituting other than the shadow portion with respect to the average value AV 1 of the luminance values of the pixels constituting the shadow portion is obtained, and the shadow portion is constituted.
  • the luminance value of the pixel constituting the shadow portion is corrected by multiplying the luminance value of the pixel being multiplied by the ratio AV 2 / AV 1 (step ST22). Thereby, the luminance value of the pixels constituting the shadow part is increased, and the probability that the shadow part is erroneously detected as an object can be reduced.
  • FIG. 24 is a flowchart showing the processing contents of the background image generation device 30, the difference image generation unit 32, the reverse projection conversion unit 33, the list generation unit 34a, and the time-series image update unit 34b.
  • FIG. 25 is an explanatory diagram illustrating processing results of the background image generation device 30, the difference image generation unit 32, the reverse projection conversion unit 33, the list generation unit 34a, and the time-series image update unit 34b.
  • the processing contents of the background image generation device 30, the difference image generation unit 32, the reverse projection conversion unit 33, the list generation unit 34a, and the time-series image update unit 34b will be described with reference to FIGS.
  • the detection background list at the initial stage is represented as an initial detection background list, and only one “0” is described for the sake of simplicity of description . There are “0” s as many as the number of pixels constituting the image.
  • the background image generation device 30 determines whether all of the list elements corresponding to each pixel in the detected background list of N time-series images P 1 , P 2 ,..., P N are other than “0”. If all are not “0” (step ST31 in FIG. 24: YES), the process is terminated. The background image generation device 30 still has a list element of “0” among the list elements corresponding to each pixel in the detected background list of N time-series images P 1 , P 2 ,. If so, the background image P bk is generated by the same method as in the first embodiment, and the background image P bk is set as the reference background image P bk, ref (step ST32 in FIG. 24).
  • the difference image generation unit 32 When the background image generation device 30 sets the reference background image P bk, ref , the difference image generation unit 32 performs projective conversion by the reference background image P bk, ref and the projection conversion unit 3 of the background image generation device 30.
  • Difference images ⁇ P 1 to ⁇ P N indicating differences between the sequence images P 1 to P N ⁇ 1 and the time series image P N as the reference image P ref are respectively generated (step ST33 in FIG. 24).
  • the values of the pixels constituting the difference image ⁇ P n are the absolute values of the luminance value differences.
  • the inverse projection conversion unit 33 performs the reverse projection conversion on the difference images ⁇ P 1 to ⁇ P N , respectively, so that the reverse projection images P R-pro1 to P R-proN is generated (step ST34 in FIG. 24). That is, the reverse projection conversion unit 33 sets the difference image ⁇ P N as the reference image ⁇ P ref among the difference images ⁇ P 1 to ⁇ P N generated by the difference image generation unit 32, and the optical flow calculation unit 2 of FIG. The optical flow between the reference image ⁇ P ref and the difference images ⁇ P 1 to ⁇ P N ⁇ 1 is calculated by the same method.
  • 26 to 33 are explanatory diagrams showing calculation results of the optical flow by the reverse projection conversion unit 33.
  • 26 is an explanatory diagram showing the calculation result of the optical flow between the reference image ⁇ P ref and the difference image ⁇ P 8
  • FIG. 27 is the calculation of the optical flow between the reference image ⁇ P ref and the difference image ⁇ P 7.
  • FIG. 28 is an explanatory diagram showing the calculation result of the optical flow between the reference image ⁇ P ref and the difference image ⁇ P 6
  • FIG. 29 is a diagram illustrating the ⁇ reference image P ref and the difference image ⁇ P 5 . It is explanatory drawing which shows the calculation result of the optical flow between.
  • FIG. 30 is an explanatory diagram showing the calculation result of the optical flow between the reference image ⁇ P ref and the difference image ⁇ P 4
  • FIG. 31 shows the optical flow between the ⁇ reference image P ref and the difference image ⁇ P 3
  • FIG. 32 is an explanatory diagram showing a calculation result
  • FIG. 32 is an explanatory diagram showing a calculation result of an optical flow between the ⁇ reference image P ref and the difference image ⁇ P 2
  • FIG. 33 is a diagram showing the ⁇ reference image P ref and the difference image ⁇ P.
  • FIG. 6 is an explanatory diagram showing a calculation result of an optical flow between 1 and 1 ;
  • the X component F X and the Y component F Y of the optical flow are gray scaled. It is represented by For this reason, the optical flow of the pixel of interest with a low grayscale density is large in the positive direction, and the optical flow of the pixel of interest with a high grayscale density is large in the negative direction. In addition, the optical flow of the pixel of interest whose gray scale density is an intermediate value is approximately zero.
  • the inverse projection transformation unit 33 performs inverse projection transformation on the difference images ⁇ P 1 to ⁇ P N-1 using the optical flow, whereby the inverse projection images P R-pro1 to P R-proN are obtained. -1 is generated.
  • the ⁇ reference image P ref is hereinafter treated as a reverse projection image PR-proN .
  • the inverse projective transformation unit 33 generates the inverse projection image P R-pro1 ⁇ P R- proN , and constitute a back-projection image P R-pro1 ⁇ P R- proN
  • the threshold value L th2 can be arbitrarily set, and the setting method of the threshold value L th2 is not particularly limited. For example, if the object to be detected is a road, Then, an intermediate value with the general luminance value of the field or river as the background can be set as the threshold value L th2 . For example, if the object to be detected is an automobile, an intermediate value between the general luminance value of the automobile and the general luminance value of the background road can be set as the threshold value L th2 .
  • the number “1” for identifying the background is overwritten on the list element corresponding to the pixel Do not do. In FIG.
  • the pixels constituting the object road are not determined to be the pixels constituting the background, and the list element corresponding to the pixel remains “0”.
  • the pixels constituting other than the road are determined to be the pixels constituting the background, and the list element corresponding to the pixel is updated to “1”.
  • the time-series image update unit 34b in the m-th (m is an integer equal to or greater than 2) iteration process, the shooting time t n (used for the background image generation device 30 in the (m ⁇ 1) -th iteration process.
  • pixels whose list elements are other than “0” are excluded from the processing target after the m-th iterative process, and as a luminance value of the pixel, for example, “ A value indicating an invalid pixel such as -9999 "is entered.
  • steps ST32 to ST36 is repeated until all of the list elements corresponding to each pixel in the detection background list of N time-series images P 1 , P 2 ,..., P N are other than “0”.
  • the list generation unit 34a does not determine whether the pixel is a pixel constituting the background.
  • the list generation unit 34a does not determine whether the pixel is a pixel constituting the background. Thereby, for example, each object can be detected in order even under a situation where another object is on the object. Therefore, when this process is applied to cases where the hierarchical structure of objects is complex or cases where buildings are frequently rebuilt, the number of iterations increases.
  • the pixels constituting the object automobile are not determined to be the pixels constituting the background, and the list element corresponding to the pixel is “0”.
  • the pixel constituting the road is determined to be the pixel constituting the background, and the number “2” for identifying the background is displayed in the list element corresponding to the pixel.
  • the detection background list is updated by being overwritten.
  • the specific processing unit 34c of the object detection unit 34 terminates the iterative processing when the iterative processing of the background image generation device 30, the difference image generation unit 32, the reverse projection conversion unit 33, the list generation unit 34a, and the time-series image update unit 34b is completed.
  • the appearance time, disappearance time, and existence time of an object existing in the imaging region of the camera are specified from the list elements of the subsequent detection background list.
  • the processing content of the specific process part 34c is demonstrated concretely.
  • FIG. 34 is a flowchart showing the processing contents of the specific processing unit 34c.
  • FIG. 35 shows an example in which pixels A, B, C, D, E, F, G, H, I, and J are taken as points of interest among the pixels constituting the time-series image PN with the latest shooting time. It is explanatory drawing.
  • the existence time of the list elements that are temporally continuous is calculated from the first shooting time of the list elements that are continuous and the last shooting time of the list elements that are temporally continuous (FIG. 34). Step ST42).
  • the first shooting time of a list element that is temporally continuous is referred to as an appearance time
  • the last shooting time of a list element that is temporally continuous is referred to as an disappearance time.
  • Existence time disappearance time-appearance time + 1
  • the existence time of the list element is “15”. become.
  • FIG. 37 is an explanatory diagram showing the appearance time, disappearance time, and existence time in the pixels A, B, C, D, E, F, G, H, I, and J.
  • three numbers are arranged like ⁇ - ⁇ - ⁇ , but the appearance time of the list element in which the numbers on the left are temporally continuous, and the numbers in the middle are temporally continuous
  • the existence time of the list element, and the number on the right side indicate the disappearance time of the list element that is temporally continuous.
  • FIG. 38 is an explanatory diagram showing adjacent pixel groups constituting the same region.
  • the pixels A, B, C, and D constitute the same region (1)
  • the pixels E, F, G, H, I, and J constitute the same region (2) and the same region (3).
  • the pixel F forms the same region (4).
  • the list element is “0” in the pixels E, G, H, I, and J. 2 ”
  • the list element of the pixel F for the pixels E, G, H, I, and J is a continuous time zone of“ 2 ”.
  • the match rate is equal to or higher than the match rate set in advance
  • the pixel F is included in the adjacent pixel group constituting the same region.
  • the match rate set in advance can be arbitrarily set by the user. If a small value match rate is set, the adjacent pixel group constituting the same area becomes large, so that the processing load on the subsequent stage is reduced. Need to be set. For this reason, it is considered that the match rate is preferably 70% or more.
  • FIG. 39 is an explanatory diagram showing the areas of the regions (1) to (4).
  • the specific processing unit 34c calculates the areas of the regions (1) to (4) formed by the adjacent pixel group
  • the specific processing unit 34c calculates the areas of the regions (1) to (4) and the regions (1) to (4).
  • a clustering method such as a group average method.
  • the same areas (1) to (4) By clustering the same areas (1) to (4), the same areas (1) and (2) become fields and rivers, the same area (3) is a road, the same area (4) is a car, etc. being classified. Since the clustering method itself for clustering the regions (1) to (4) is a known technique, a detailed description thereof will be omitted. However, as a clustering method, in addition to the group average method, a k-means method is considered. It is done.
  • FIG. 40 is a flowchart showing the processing contents of the input receiving unit 34d and the display processing unit 34e.
  • FIG. 41 is an explanatory diagram showing a display example of the display processing unit 34e.
  • the display processing unit 34e, the identification processing unit 34c is performed cluster division multiple same region to display the latest time-series image P N to display stored in the image storage section 1 (step ST51 in FIG. 40) .
  • the display processing unit 34e draws a region boundary between adjacent pixel groups constituting the same region specified by the specifying processing unit 34c (step ST52 in FIG. 40). In the example of FIG. 41, the road area boundary which is the same area and the automobile area boundary which is the same area are drawn with bold lines.
  • Step ST53 In the case of YES, the input receiving unit 34d receives a presentation instruction for the attribute information of the car (step ST54).
  • a presentation instruction for the attribute information of the car step ST54.
  • an instruction to present attribute information of a car is received, but the present invention is not limited to attribute information of a car, and an instruction to present attribute information such as a road may be accepted.
  • the background image generated by the background image generation unit 4 of the background image generation device 30 and the projective conversion unit 3 of the background image generation device 30 have undergone projective conversion.
  • a difference image generation unit 32 that generates a difference image indicating a difference from each time-series image, and each of the difference images generated by the difference image generation unit 32 is subjected to reverse projection transformation to generate each reverse projection image.
  • the reverse projection conversion unit 33 is provided, and the object detection unit 34 is configured to detect an object existing in the imaging region of the camera from each reverse projection image generated by the reverse projection conversion unit 33. There is an effect that an object existing in the imaging region of the camera can be detected with high accuracy.
  • the background image generation apparatus adjusts the positional deviation between a plurality of images with high accuracy even when there are no feature points with a large gradient of luminance difference or when there are many feature points. Suitable for generating a background image from an adjusted image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

オプティカルフロー算出部（２）により算出されたオプティカルフローを用いて、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）をそれぞれ射影変換することで、基準画像Ｐｒｅｆに対する時系列画像Ｐｎの位置合わせを行う射影変換部（３）を設け、背景画像生成部（４）が、射影変換部（３）による射影変換後の時系列画像Ｐ１～Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９との合成画像を背景画像Ｐｂｋとして生成する。これにより、高精度な背景画像Ｐｂｋを生成することができる。

Description

背景画像生成装置及び物体検出装置
　この発明は、異なる時刻に撮影された同一の撮影領域の複数の画像から、複数の画像間の差分の検出に用いる背景画像を生成する背景画像生成装置と、背景画像生成装置を搭載している物体検出装置とに関するものである。
　以下の特許文献１には、異なる時刻に撮影された同一の撮影領域の２つの画像間の差分を検出する画像処理装置が開示されている。
　この画像処理装置では、２つの画像間の差分を検出する際、２つの画像間の輝度を補正し、輝度補正後の２つの画像の位置ずれを調整するようにしている。
　２つの画像の位置ずれを調整する方式は、２つの画像から、輝度差の勾配が大きい点を特徴点としてそれぞれ抽出する。
　そして、２つの画像からそれぞれ抽出した特徴点の中から、対応する特徴点をペアとして選定し、ペアの特徴点の位置が等しくなるように、２つの画像の位置を調整するものである。
特開２０１３－２０６４３１号公報
　特許文献１に開示されている画像処理装置では、２つの画像間の差分を検出する際、２つの画像の位置ずれを調整している。このため、２つの画像を撮影しているカメラの撮影位置が異なっているために視差がある場合でも、２つの画像間の差分を検出することができる。しかし、輝度差の勾配が大きい特徴点のペアを選定して、ペアの特徴点の位置が等しくなるように、２つの画像の位置を調整する方式では、輝度差の勾配が大きい特徴点が存在しない場合には適用することができない。また、数多くの特徴点が存在する場合にはペアを適正に選定することが難しく、２つの画像の位置ずれを高精度に調整することができないという課題があった。
　この発明は上記のような課題を解決するためになされたもので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成することができる背景画像生成装置を得ることを目的とする。
　また、この発明は、背景画像を用いて、カメラの撮影領域内に存在している物体を検出することができる物体検出装置を得ることを目的とする。
　この発明に係る背景画像生成装置は、移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、その基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、その基準画像に対する各時系列画像の位置合わせを行う射影変換部とを設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するようにしたものである。
　この発明によれば、オプティカルフロー算出部により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、基準画像に対する各時系列画像の位置合わせを行う射影変換部を設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するように構成したので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成することができる効果がある。
この発明の実施の形態１による背景画像生成装置を示す構成図である。 この発明の実施の形態１による背景画像生成装置のハードウェア構成図である。 背景画像生成装置の全部がコンピュータで構成される場合のハードウェア構成図である。 この発明の実施の形態１による背景画像生成装置の処理内容を示すフローチャートである。 撮影時刻ｔ１，ｔ２，・・・，ｔ９の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９の一例を示す説明図である。 基準画像Ｐｒｅｆの一例を示す説明図である。 オプティカルフローの算出処理を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ８との間のオプティカルフローの算出結果を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ７との間のオプティカルフローの算出結果を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ６との間のオプティカルフローの算出結果を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ５との間のオプティカルフローの算出結果を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ４との間のオプティカルフローの算出結果を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ３との間のオプティカルフローの算出結果を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ２との間のオプティカルフローの算出結果を示す説明図である。 基準画像Ｐｒｅｆと時系列画像Ｐ１との間のオプティカルフローの算出結果を示す説明図である。 射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）と、基準画像Ｐｒｅｆである時系列画像Ｐ９と示す説明図である。 背景画像生成部４により生成された背景画像Ｐｂｋの一例を示す説明図である。 この発明の実施の形態２による物体検出装置を示す構成図である。 この発明の実施の形態２による物体検出装置のハードウェア構成図である。 物体検出装置がコンピュータで構成される場合のハードウェア構成図である。 背景画像生成装置３０の画像記憶部１に記憶されているＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの一例を示す説明図である。 Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮに出現する物体の変化を示す説明図である。 光学補正部３１の処理内容を示すフローチャートである。 背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理内容を示すフローチャートである。 背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理結果を示す説明図である。 基準画像ΔＰｒｅｆと差分画像ΔＰ８との間のオプティカルフローの算出結果を示す説明図である。 基準画像ΔＰｒｅｆと差分画像ΔＰ７との間のオプティカルフローの算出結果を示す説明図である。 基準画像ΔＰｒｅｆと差分画像ΔＰ６との間のオプティカルフローの算出結果を示す説明図である。 Δ基準画像Ｐｒｅｆと差分画像ΔＰ５との間のオプティカルフローの算出結果を示す説明図である。 基準画像ΔＰｒｅｆと差分画像ΔＰ４との間のオプティカルフローの算出結果を示す説明図である。 Δ基準画像Ｐｒｅｆと差分画像ΔＰ３との間のオプティカルフローの算出結果を示す説明図である。 Δ基準画像Ｐｒｅｆと差分画像ΔＰ２との間のオプティカルフローの算出結果を示す説明図である。 Δ基準画像Ｐｒｅｆと差分画像ΔＰ１との間のオプティカルフローの算出結果を示す説明図である。 特定処理部３４ｃの処理内容を示すフローチャートである。 撮影時刻が最新の時系列画像ＰＮを構成している画素のうち、画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊを着目点としている例を示す説明図である。 繰り返し処理終了後の検出背景リストのうち、撮影時刻ｔ＝１～１５における着目点に対応するリスト要素を示す説明図である。 画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊにおける出現時刻、消失時刻及び存在時間を示す説明図である。 同一の領域を構成している隣接画素群を示す説明図である。 同領域（１）～（４）の面積を示す説明図である。 入力受付部３４ｄ及び表示処理部３４ｅの処理内容を示すフローチャートである。 表示処理部３４ｅの表示例を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
　図１はこの発明の実施の形態１による背景画像生成装置を示す構成図であり、図２はこの発明の実施の形態１による背景画像生成装置のハードウェア構成図である。
　図１及び図２において、画像記憶部１は例えばハードディスクなどの記憶装置１１で実現されるものであり、例えば、地球観測衛星などのプラットフォームに搭載されている移動可能なカメラにより撮影された複数の時系列画像を記憶する。
　この実施の形態１では、画像記憶部１により記憶される複数の時系列画像は、カメラにより異なる時刻に同一の領域が撮影された画像であるものとする。
　地球観測衛星などのプラットフォームは、地球を周回する際の軌道が少しずつ異なっている。このため、カメラが地球観測衛星などのプラットフォームに搭載される場合、カメラが同一の領域を撮影する毎に、カメラから撮影領域を見る角度に相違が生じる。その結果、異なる時刻に撮影された複数の画像である時系列画像の間には、位置ずれが生じている。
　オプティカルフロー算出部２は例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されているオプティカルフロー算出処理回路１２で実現されるものであり、画像記憶部１に記憶されている複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、その基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出する処理を実施する。
　以下、各時系列画像と称するときは、画像記憶部１に記憶されている複数の時系列画像のうち、基準画像以外の時系列画像を示しているものとする。
　射影変換部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている射影変換処理回路１３で実現されるものであり、オプティカルフロー算出部２により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、基準画像に対する各時系列画像の位置合わせを行う。
　背景画像生成部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている背景画像生成処理回路１４で実現されるものであり、射影変換部３により射影変換された各時系列画像の合成画像を背景画像として生成する処理を実施する。
　即ち、背景画像生成部４は射影変換部３により射影変換された各時系列画像及び基準画像における同一座標の画素単位に輝度値の統計量を算出し、背景画像の各画素の輝度値として、各画素の前記統計量を設定する処理を実施する。
　詳細は後述するが、輝度値の統計量として、同一座標の各画素における輝度値の最頻値、輝度値の中央値、輝度値の平均値などが考えられる。
　表示部５は例えば液晶ディスプレイなどの表示装置１５で実現されるものであり、各時系列画像や背景画像などを表示する。
　図１の例では、背景画像生成装置の構成要素である画像記憶部１、オプティカルフロー算出部２、射影変換部３、背景画像生成部４及び表示部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、背景画像生成装置の全部又は一部がコンピュータで構成されていてもよい。
　図３は背景画像生成装置の全部がコンピュータで構成される場合のハードウェア構成図である。
　背景画像生成装置の全部がコンピュータで構成される場合、画像記憶部１が例えばコンピュータの内部メモリであるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２１あるいはハードディスク２２で構成され、表示部５が例えばコンピュータのＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２３及びディスプレイ２４で構成される。
　また、オプティカルフロー算出部２、射影変換部３及び背景画像生成部４の処理内容を記述しているオプティカルフロー算出プログラム、射影変換プログラム及び背景画像生成プログラムがコンピュータのＲＡＭ２１あるいはハードディスク２２に記憶され、コンピュータのプロセッサ２５がＲＡＭ２１あるいはハードディスク２２に記憶されているオプティカルフロー算出プログラム、射影変換プログラム及び背景画像生成プログラムを実行する。
　ただし、これは一例であり、例えば、コンピュータのＧＰＵ２３の代わりに、プロセッサ２５が、表示部５の処理内容を記述しているプログラムを実行することで、各時系列画像や背景画像などをディスプレイ２４に表示するようにしてもよい。
　図４はこの発明の実施の形態１による背景画像生成装置の処理内容を示すフローチャートである。
　次に動作について説明する。
　画像記憶部１には、撮影時刻ｔ１，ｔ２，・・・，ｔＮの時系列画像Ｐ１，Ｐ２，・・・，ＰＮがＮ枚記憶されているが、この実施の形態１では、説明の便宜上、Ｎ＝９であるものとして説明する。ただし、時系列画像Ｐの枚数が複数枚であればよく、Ｎ＝９に限るものではない。
　また、撮影時刻ｔ１の時系列画像Ｐ１が最も古い画像で、撮影時刻ｔ９の時系列画像Ｐ９が最も新しい画像であるものとする。
　ここで、図５は撮影時刻ｔ１，ｔ２，・・・，ｔ９の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９の一例を示す説明図である。
　なお、図５に示している時系列画像は写真であり、この写真のコピーライトは下記の通りである。
(c) CNES 2012, Distribution Astrium Services / Spot Image S.A., France, all rights reserved.
　以下、図５を参照しながら、背景画像生成装置の処理内容を説明する。
　まず、オプティカルフロー算出部２は、画像記憶部１に記憶されているＮ（Ｎ＝９）枚の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９の中から、最も新しい画像である撮影時刻ｔ９の時系列画像Ｐ９を選択し、撮影時刻ｔ９の時系列画像Ｐ９を基準画像Ｐｒｅｆに設定する。
　図６は基準画像Ｐｒｅｆの一例を示す説明図である。
　ここでは、９枚の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９のうち、撮影時刻が最新の時系列画像Ｐ９を基準画像Ｐｒｅｆとしているが、撮影時刻が最新ではない撮影時刻ｔ９以外の時系列画像を基準画像Ｐｒｅｆに設定してもよい。
　オプティカルフロー算出部２は、基準画像Ｐｒｅｆを設定すると、その基準画像Ｐｒｅｆと撮影時刻ｔ１～ｔ８の時系列画像Ｐ１～Ｐ８との間のオプティカルフローをそれぞれ算出する（図４のステップＳＴ１）。
　オプティカルフローの算出方法としては、例えば、画像マッチング方法を用いることができる。
　画像マッチング方法は、広く知られている公知の方法であるため詳細な説明は省略するが、以下、画像マッチング方法を用いて、オプティカルフローを算出する処理内容を説明する。
　図７はオプティカルフローの算出処理を示す説明図である。
　図７において、左側の画像は基準画像Ｐｒｅｆ、右側の画像は撮影時刻ｔｎの時系列画像Ｐｎである。ただし、ｎ＝１，２，・・・，８である。
　まず、オプティカルフロー算出部２は、幅がＷｗで、高さがＷｈのウィンドウＴを基準画像Ｐｒｅｆの任意の位置に設定する。
　また、オプティカルフロー算出部２は、基準画像Ｐｒｅｆに設定しているウィンドウＴと同じサイズのウィンドウＲを、基準画像Ｐｒｅｆに設定しているウィンドウＴと同じ位置に設定する。
　ここで、ウィンドウＴの左上画素の座標を（０，０）、ウィンドウＴ内の各画素の座標を（ｉ，ｊ）とするとき、座標（ｉ，ｊ）の画素の輝度値をＴ（ｉ，ｊ）で表すものとする。
　また、ウィンドウＲの左上画素の座標を（０，０）、ウィンドウＲ内の各画素の座標を（ｉ，ｊ）とするとき、座標（ｉ，ｊ）の画素の輝度値をＲ（ｉ，ｊ）で表すものとする。
　（ｘ，ｙ）は、基準画像Ｐｒｅｆの着目画素の座標である。
　また、（ｘ’，ｙ’）は、ウィンドウＴとウィンドウＲが同一位置で完全に重なっているとき、基準画像Ｐｒｅｆの着目画素（ｘ，ｙ）と同じ位置となる基準位置である。
　オプティカルフロー算出部２は、ウィンドウＴを基準画像Ｐｒｅｆに設定し、ウィンドウＲを時系列画像Ｐｎに設定すると、そのウィンドウＲを、図中、水平方向（左方向、または、右方向）、上下方向（上方向、または、下方向）にずらしながら、下記の式（１）に示すように、ウィンドウＴ内の画像とウィンドウＲ内の画像とのマッチング結果を示す評価値ＺＮＣＣを算出する。
　ただし、ウィンドウＲをずらす範囲は、ウィンドウＴとウィンドウＲが同一位置で重なっている状態からの水平方向のずらし量がａ（－ｒ≦ａ≦ｒ）、上下方向のずらし量がｂ（－ｒ≦ｂ≦ｒ）となる範囲とする。
Figure JPOXMLDOC01-appb-I000001
　オプティカルフロー算出部２は、ウィンドウＲを上下左右方向にずらしながら、評価値ＺＮＣＣを算出すると、算出した複数の評価値ＺＮＣＣを比較して、評価値ＺＮＣＣが最大となるときのずらし量（ａ，ｂ）を特定する。
　オプティカルフロー算出部２は、評価値ＺＮＣＣが最大となるときのずらし量（ａ，ｂ）を特定すると、そのときの“ａ”をオプティカルフローのＸ成分、そのときの“ｂ”をオプティカルフローのＹ成分とする。
　即ち、オプティカルフロー算出部２は、基点が（ｘ＋ａ，ｙ＋ｂ）で、先端が（ｘ，ｙ）であるベクトルを、時系列画像Ｐｎにおける画素（ｘ＋ａ，ｙ＋ｂ）のオプティカルフローとする。
　ここで、図８は基準画像Ｐｒｅｆと時系列画像Ｐ８との間のオプティカルフローの算出結果を示す説明図であり、図９は基準画像Ｐｒｅｆと時系列画像Ｐ７との間のオプティカルフローの算出結果を示す説明図であり、図１０は基準画像Ｐｒｅｆと時系列画像Ｐ６との間のオプティカルフローの算出結果を示す説明図であり、図１１は基準画像Ｐｒｅｆと時系列画像Ｐ５との間のオプティカルフローの算出結果を示す説明図である。
　また、図１２は基準画像Ｐｒｅｆと時系列画像Ｐ４との間のオプティカルフローの算出結果を示す説明図であり、図１３は基準画像Ｐｒｅｆと時系列画像Ｐ３との間のオプティカルフローの算出結果を示す説明図であり、図１４は基準画像Ｐｒｅｆと時系列画像Ｐ２との間のオプティカルフローの算出結果を示す説明図であり、図１５は基準画像Ｐｒｅｆと時系列画像Ｐ１との間のオプティカルフローの算出結果を示す説明図である。
　図８～図１５において、ＦＸは時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｊ）におけるオプティカルフローのＸ成分、ＦＹは時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｖ）におけるオプティカルフローのＹ成分を示している
　図８～図１５では、オプティカルフローのＸ成分ＦＸ，Ｙ成分ＦＹをグレースケールで表している。このため、グレースケールの濃度が薄い着目画素のオプティカルフローはプラス方向に大きく、グレースケールの濃度が濃い着目画素のオプティカルフローはマイナス方向に大きいことを表している。
　また、グレースケールの濃度が中間値である着目画素のオプティカルフローは約０であることを表している。
　射影変換部３は、オプティカルフロー算出部２がオプティカルフローを算出すると、そのオプティカルフローを用いて、撮影時刻ｔ１～ｔ８の時系列画像Ｐ１～Ｐ８をそれぞれ射影変換することで、基準画像Ｐｒｅｆに対する時系列画像Ｐ１～Ｐ８の位置合わせを行う（図４のステップＳＴ２）。
　即ち、射影変換部３は、下記の式（２）に示すような射影変換式に、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｖ）の値と、その座標（ｕ，ｖ）のオプティカルフローのＸ成分ＦＸ（ｕ，ｖ），Ｙ成分ＦＹ（ｕ，ｖ）を代入することで、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）を射影変換する。（ｕ’，ｖ’）は射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標であり、射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の位置は、基準画像Ｐｒｅｆの位置と合っている。
　　　ｕ’＝ｕ＋ＦＸ（ｕ，ｖ）
　　　ｖ’＝ｕ＋ＦＹ（ｕ，ｖ）　　　　　　　　　　　　　　（２）
　図１６は射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）と、基準画像Ｐｒｅｆである時系列画像Ｐ９と示す説明図である。
　背景画像生成部４は、射影変換部３が時系列画像Ｐｎ（ｎ＝１，２，・・・，８）を射影変換して、基準画像Ｐｒｅｆに対する時系列画像Ｐｎの位置合わせを行うと、射影変換後の時系列画像Ｐ１～Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９との合成画像を背景画像Ｐｂｋとして生成する（図４のステップＳＴ３）。
　即ち、背景画像生成部４は、射影変換後の時系列画像Ｐ１～Ｐ８及び基準画像Ｐｒｅｆである時系列画像Ｐ９における同一座標の各画素の輝度値を読み出し、同一座標の各画素の輝度値の統計量として、９個の画素の輝度値の中央値を算出する。輝度値の中央値の算出は、同一座標の画素単位に行う。このため、時系列画像Ｐ１～Ｐ９における横方向の画素数がｃ、縦方向の画素数がｄであれば、（ｃ×ｄ）個の画素について、９個の画素の輝度値の中央値をそれぞれ算出する。
　背景画像生成部４は、輝度値の中央値をそれぞれ算出すると、背景画像Ｐｂｋの画素と同一座標の画素の中央値を、背景画像Ｐｂｋの画素の輝度値に設定することで、背景画像Ｐｂｋを生成する。
　図１７は背景画像生成部４により生成された背景画像Ｐｂｋの一例を示す説明図である。
　表示部５は、背景画像生成部４により生成された背景画像Ｐｂｋを表示するほか、ユーザの指示の下、画像記憶部１に記憶されている複数の時系列画像などを表示する。
　以上で明らかなように、この実施の形態１によれば、オプティカルフロー算出部２により算出されたオプティカルフローを用いて、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）をそれぞれ射影変換することで、基準画像Ｐｒｅｆに対する時系列画像Ｐｎの位置合わせを行う射影変換部３を設け、背景画像生成部４が、射影変換部３による射影変換後の時系列画像Ｐ１～Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９との合成画像を背景画像Ｐｂｋとして生成するように構成したので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の時系列画像間の位置ずれを高精度に調整して、位置調整後の時系列画像から背景画像を生成することができる効果がある。
　即ち、位置ずれが高精度に調整されている時系列画像Ｐ１～Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９とから背景画像Ｐｂｋを生成しているので、高精度な背景画像Ｐｂｋを生成することができる。
　この実施の形態１では、背景画像生成部４が、同一座標の各画素の輝度値の統計量として、９個の画素の輝度値の中央値を算出する例を示したが、これは一例に過ぎず、同一座標の各画素の輝度値の統計量として、９個の画素の輝度値の最頻値や平均値などを算出するようにしてもよい。
　また、９個の画素の輝度値の平均値を算出する際には、９個の画素の輝度値に含まれている外れ値を除去した上で、平均値を算出するようにしてもよい。このように、外れ値を除去してから平均値を算出するようにすれば、計算量は多少増加するが、天候や撮影時間帯が異なる複数の時系列画像を対象とする場合でも、ノイズが少ない基準背景を生成することができる。
　外れ値を除去する方法としては、時系列画像の輝度値の著しく異なるサンプルをスミルノフ・グラブス検定等によって除去する方法や、各時系列画像の撮影時間帯、撮影角度、撮影時の天候などの情報に基づいて、例えば、日の出日の入り前後の画像、撮影角度が著しく大きい画像、曇天時の画像など、極端な画像を構成する画素の輝度値を除去する方法がある。
実施の形態２．
　この実施の形態２では、上記実施の形態１の背景画像生成装置を搭載している物体検出装置について説明する。
　図１８はこの発明の実施の形態２による物体検出装置を示す構成図であり、図１９はこの発明の実施の形態２による物体検出装置のハードウェア構成図である。
　図１８及び図１９において、背景画像生成装置３０は、図１の背景画像生成装置と同一の装置であり、高精度な背景画像Ｐｂｋを生成する。
　この実施の形態２では、背景画像生成装置３０の画像記憶部１に記憶されている時系列画像Ｐ１，Ｐ２，・・・，ＰＮの枚数がＮ枚であるものとする。また、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮのうち、撮影時刻が最新の時系列画像ＰＮが基準画像Ｐｒｅｆに設定されて、Ｎ－１枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮ－１が、上記実施の形態１と同様に射影変換されているものとして説明する。
　光学補正部３１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている光学補正処理回路４１で実現されるものであり、画像記憶部１に記憶されている複数の時系列画像を構成している画素の輝度値から、カメラの撮影領域内で、影が現れている影部の領域を検出して、その影部を構成している画素の輝度値を高める処理を実施する。
　図１８では、光学補正部３１が背景画像生成装置３０に前段に設置され、光学補正部３１による処理後の複数の時系列画像を背景画像生成装置３０の画像記憶部１に保存するものを想定しているが、光学補正部３１が背景画像生成装置３０の内部に実装されているようにしてもよい。
　差分画像生成部３２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている差分画像生成処理回路４２で実現されるものであり、背景画像生成装置３０の背景画像生成部４により生成された背景画像Ｐｂｋと、射影変換部３により射影変換された時系列画像Ｐ１～ＰＮ－１及び基準画像Ｐｒｅｆである時系列画像ＰＮとの差分を示す差分画像ΔＰ１～ΔＰＮをそれぞれ生成する処理を実施する。
　逆射影変換部３３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている逆射影変換処理回路４３で実現されるものであり、差分画像生成部３２により生成された差分画像ΔＰ１～ΔＰＮをそれぞれ逆射影変換することで、逆射影画像ＰＲ－ｐｒｏ１～ＰＲ－ｐｒｏＮを生成する処理を実施する。
　物体検出部３４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている物体検出処理回路４４で実現されるものであり、リスト生成部３４ａ、時系列画像更新部３４ｂ、特定処理部３４ｃ、入力受付部３４ｄ及び表示処理部３４ｅを備えている。
　物体検出部３４は逆射影変換部３３により生成された逆射影画像ＰＲ－ｐｒｏ１～ＰＲ－ｐｒｏＮから、カメラの撮影領域内に存在している物体を検出する処理を実施する。
　物体検出部３４のリスト生成部３４ａは逆射影変換部３３により生成された逆射影画像ＰＲ－ｐｒｏ１～ＰＲ－ｐｒｏＮを構成している画素毎に、当該画素が背景を構成している画素であるか否かを判別して、その判別結果を示すリストを生成する処理を実施する。以下、このリストを検出背景リストと称する。
　物体検出部３４の時系列画像更新部３４ｂは画像記憶部１に記憶されている時系列画像Ｐ１，Ｐ２，・・・，ＰＮを構成する画素の中から、リスト生成部３４ａにより背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、時系列画像Ｐ１，Ｐ２，・・・，ＰＮを更新する処理を実施する。
　物体検出部３４の特定処理部３４ｃは時系列画像更新部３４ｂにより時系列画像Ｐ１，Ｐ２，・・・，ＰＮが更新される毎に、更新後の時系列画像Ｐ１，Ｐ２，・・・，ＰＮを用いて、背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂが同様の処理を繰り返し実施して、その繰り返し処理が終了すると、繰り返し処理後の最終的な検出背景リストに示されている判別結果から、カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する処理を実施する。
　入力受付部３４ｄは例えばマウス、キーボード、タッチパネルなどのマンマシンインタフェースを用いて構成されており、カメラの撮影領域内に存在している物体の中で、出現時刻などの物体の属性情報を提示する指示を受け付ける処理を実施する。
　表示処理部３４ｅは特定処理部３４ｃにより出現時刻、消失時刻及び存在時間が特定された物体のうち、入力受付部３４ｄによって提示指示が受け付けられた物体の出現時刻、消失時刻及び存在時間などを表示する処理を実施する。
　図１８では、物体検出装置の構成要素である背景画像生成装置３０、光学補正部３１、差分画像生成部３２、逆射影変換部３３及び物体検出部３４のそれぞれが専用のハードウェアで構成されているものを想定しているが、物体検出装置がコンピュータで構成されていてもよい。
　図２０は物体検出装置がコンピュータで構成される場合のハードウェア構成図である。
　物体検出装置がコンピュータで構成される場合、背景画像生成装置３０、光学補正部３１、差分画像生成部３２、逆射影変換部３３及び物体検出部３４の処理内容を記述しているプログラムがコンピュータのメモリ５１に格納され、コンピュータのプロセッサ５２がメモリ５１に格納されているプログラムを実行するようにすればよい。
　次に動作について説明する。
　図２１は背景画像生成装置３０の画像記憶部１に記憶されているＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの一例を示す説明図である。
　図２２はＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮに出現する物体の変化を示す説明図である。
　図２２では、昔は野原と川だけが時系列画像に映っていたが、その後、物体である道路が建設され、その道路上を物体である自動車が通行している例を示している。
　図２２に示す代表的な４枚の時系列画像Ｐの間には視差が存在している。
　光学補正部３１は、背景画像生成装置３０の画像記憶部１に記憶されているＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮ内に存在している影部を構成している画素の輝度値を高める処理を実施する。
　以下、光学補正部３１の処理内容を具体的に説明する。図２３は光学補正部３１の処理内容を示すフローチャートである。
　まず、光学補正部３１は、背景画像生成装置３０の画像記憶部１からＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮを取得し、時系列画像Ｐ１，Ｐ２，・・・，ＰＮを構成している画素の輝度値と事前に設定された輝度閾値Ｌｔｈ１とを比較する閾値処理を実施することで、影が現れている影部の領域を検出する（ステップＳＴ２１）。
　即ち、光学補正部３１は、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）毎に、当該時系列画像Ｐｎを構成している各画素の輝度値Ｌと輝度閾値Ｌｔｈ１とを比較し、輝度閾値Ｌｔｈ１より輝度値Ｌが小さい画素を、影部を構成している画素であるとして検出する。
　ここで、輝度閾値Ｌｔｈ１としては、時系列画像Ｐｎを構成している画素の輝度値Ｌが、例えば、０～４０９５の値で表される場合には、５００程度の値が設定されることが考えられる。
　光学補正部３１は、カメラの撮影領域内、即ち、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮ内で、影が現れている影部の領域を検出すると、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）毎に、影部を構成している画素の輝度値の平均値ＡＶ１を算出するとともに、影部以外を構成している画素の輝度値の平均値ＡＶ２を算出する。
　そして、影部を構成している画素の輝度値の平均値ＡＶ１に対する影部以外を構成している画素の輝度値の平均値ＡＶ２の比ＡＶ２／ＡＶ１を求め、影部を構成している画素の輝度値に対して、その比ＡＶ２／ＡＶ１を乗算することで、その影部を構成している画素の輝度値を補正する（ステップＳＴ２２）。
　これにより、影部を構成している画素の輝度値が高められ、影部が物体として誤検出される確率を下げることができる。
　図２４は背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理内容を示すフローチャートである。
　図２５は背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理結果を示す説明図である。
　以下、図２４を及び図２５を参照しながら、背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理内容を説明する。
後述するリスト生成部３４ａにより生成される検出背景リストは、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）毎に生成され、時系列画像Ｐｎを構成している各画素が、背景を構成している画素であるのかを示すものであるが、初期段階では、時系列画像Ｐｎの各画素に対応する検出背景リストの各リスト要素には、“０”が設定されているものとする。
　図２５では、初期段階の検出背景リストを初期検出背景リストと表しており、表記の簡略化のために“０”が１個だけ表記されているが、実際には、時系列画像Ｐｎを構成している画素の個数分だけ“０”がある。
　背景画像生成装置３０は、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの検出背景リストにおける各画素に対応するリスト要素のすべてが“０”以外であるか否かを確認し、すべてが“０”以外であれば（図２４のステップＳＴ３１：ＹＥＳの場合）、処理を終了する。
　背景画像生成装置３０は、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの検出背景リストにおける各画素に対応するリスト要素の中に、未だ“０”のリスト要素が残っていれば、上記実施の形態１と同様の方法で背景画像Ｐｂｋを生成し、その背景画像Ｐｂｋを基準背景画像Ｐｂｋ，ｒｅｆに設定する（図２４のステップＳＴ３２）。
　差分画像生成部３２は、背景画像生成装置３０が基準背景画像Ｐｂｋ，ｒｅｆを設定すると、その基準背景画像Ｐｂｋ，ｒｅｆと、背景画像生成装置３０の射影変換部３により射影変換された時系列画像Ｐ１～ＰＮ－１及び基準画像Ｐｒｅｆである時系列画像ＰＮとの差分を示す差分画像ΔＰ１～ΔＰＮをそれぞれ生成する（図２４のステップＳＴ３３）。
　なお、差分画像ΔＰｎ（ｎ＝１，２，・・・，Ｎ）は、基準背景画像Ｐｂｋ，ｒｅｆと時系列画像Ｐｎにおいて、対応している同一座標の画素毎に、輝度値の差分の絶対値が計算されることで生成される。したがって、差分画像ΔＰｎを構成している画素の値は、輝度値の差分の絶対値となっている。
　逆射影変換部３３は、差分画像生成部３２が差分画像ΔＰ１～ΔＰＮを生成すると、その差分画像ΔＰ１～ΔＰＮをそれぞれ逆射影変換することで、逆射影画像ＰＲ－ｐｒｏ１～ＰＲ－ｐｒｏＮを生成する（図２４のステップＳＴ３４）。
　即ち、逆射影変換部３３は、差分画像生成部３２により生成された差分画像ΔＰ１～ΔＰＮのうち、差分画像ΔＰＮを基準画像ΔＰｒｅｆに設定し、図１のオプティカルフロー算出部２と同様の方法で、その基準画像ΔＰｒｅｆと差分画像ΔＰ１～ΔＰＮ－１との間のオプティカルフローをそれぞれ算出する。
　図２６～図３３は逆射影変換部３３によるオプティカルフローの算出結果を示す説明図である。ここでは、Ｎ＝９であるとして、８個のオプティカルフローの算出結果を例示している。
　即ち、図２６は基準画像ΔＰｒｅｆと差分画像ΔＰ８との間のオプティカルフローの算出結果を示す説明図であり、図２７は基準画像ΔＰｒｅｆと差分画像ΔＰ７との間のオプティカルフローの算出結果を示す説明図であり、図２８は基準画像ΔＰｒｅｆと差分画像ΔＰ６との間のオプティカルフローの算出結果を示す説明図であり、図２９はΔ基準画像Ｐｒｅｆと差分画像ΔＰ５との間のオプティカルフローの算出結果を示す説明図である。
　また、図３０は基準画像ΔＰｒｅｆと差分画像ΔＰ４との間のオプティカルフローの算出結果を示す説明図であり、図３１はΔ基準画像Ｐｒｅｆと差分画像ΔＰ３との間のオプティカルフローの算出結果を示す説明図であり、図３２はΔ基準画像Ｐｒｅｆと差分画像ΔＰ２との間のオプティカルフローの算出結果を示す説明図であり、図３３はΔ基準画像Ｐｒｅｆと差分画像ΔＰ１との間のオプティカルフローの算出結果を示す説明図である。
　図２６～図３３において、ＦＸは差分画像ΔＰｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｊ）におけるオプティカルフローのＸ成分、ＦＹは差分画像ΔＰｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｖ）におけるオプティカルフローのＹ成分を示している
　図２６～図３３では、オプティカルフローのＸ成分ＦＸ，Ｙ成分ＦＹをグレースケールで表している。このため、グレースケールの濃度が薄い着目画素のオプティカルフローはプラス方向に大きく、グレースケールの濃度が濃い着目画素のオプティカルフローはマイナス方向に大きいことを表している。
　また、グレースケールの濃度が中間値である着目画素のオプティカルフローは約０であることを表している。
　逆射影変換部３３は、オプティカルフローを算出すると、そのオプティカルフローを用いて、差分画像ΔＰ１～ΔＰＮ－１をそれぞれ逆射影変換することで、逆射影画像ＰＲ－ｐｒｏ１～ＰＲ－ｐｒｏＮ－１を生成する。なお、Δ基準画像Ｐｒｅｆについては、以降、逆射影画像ＰＲ－ｐｒｏＮとして扱う。
　逆射影変換部３３により生成された逆射影画像ＰＲ－ｐｒｏｎ（ｎ＝１，２，・・・，８）の位置座標系は、画像記憶部１に記憶されている時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の位置座標系と同じなる。
　オプティカルフローを用いて、差分画像ΔＰ１～ΔＰＮ－１を逆射影変換する処理自体は、変換する位置座標系が反対になるだけで、図１の射影変換部３による時系列画像Ｐ１～Ｐ８の射影変換処理と同様であるため詳細な説明を省略する。
　物体検出部３４のリスト生成部３４ａは、逆射影変換部３３が逆射影画像ＰＲ－ｐｒｏ１～ＰＲ－ｐｒｏＮを生成すると、その逆射影画像ＰＲ－ｐｒｏ１～ＰＲ－ｐｒｏＮを構成している画素毎に、当該画素の画素値と事前に設定された閾値Ｌｔｈ２とを比較する閾値処理を実施することで、当該画素が背景を構成している画素であるか否かを判別する。
　即ち、リスト生成部３４ａは、逆射影画像ＰＲ－ｐｒｏｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素の画素値が閾値Ｌｔｈ２より小さければ、当該画素は背景を構成している画素であると判別する。
　ここで、閾値Ｌｔｈ２は任意に設定することができ、閾値Ｌｔｈ２の設定方法は特に限定するものではないが、例えば、検出対象の物体が道路であれば、道路の一般的な輝度値と、背景となる野原や川の一般的な輝度値との中間値を閾値Ｌｔｈ２に設定することができる。
　また、例えば、検出対象の物体が自動車であれば、自動車の一般的な輝度値と、背景となる道路の一般的な輝度値との中間値を閾値Ｌｔｈ２に設定することができる。
　リスト生成部３４ａは、逆射影画像ＰＲ－ｐｒｏｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素が、背景を構成している画素であると判別すると、撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の検出背景リストにおいて、当該画素に対応するリスト要素に、当該背景を識別する番号“１”を上書きすることで、その検出背景リストを更新する（図２４のステップＳＴ３５）。
　逆射影画像ＰＲ－ｐｒｏｎを構成している画素が、背景を構成している画素ではないと判別すると、当該画素に対応するリスト要素に、当該背景を識別する番号“１”を上書きする処理は行わない。
　図２５において、１回目の繰り返し処理では、物体である道路を構成している画素は、背景を構成している画素であると判別されず、当該画素に対応するリスト要素は“０”のままとなっているが、道路以外を構成している画素は、背景を構成している画素であると判別されて、当該画素に対応するリスト要素は“１”に更新されている。
　物体検出部３４の時系列画像更新部３４ｂは、前回の繰り返し処理で、背景画像生成装置３０に用いられている撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の時系列画像Ｐｎを構成している画素の中から、リスト生成部３４ａにより背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の時系列画像Ｐｎを更新する（図２４のステップＳＴ３６）。
　即ち、時系列画像更新部３４ｂは、ｍ（ｍは２以上の整数）回目の繰り返し処理では、（ｍ－１）回目の繰り返し処理で背景画像生成装置３０に用いられている撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の時系列画像Ｐｎを構成している画素の中から、（ｍ－１）回目の繰り返し処理で更新した撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の検出背景リストにおいて、リスト要素が“０”の画素をそれぞれ抜き出して、その時系列画像Ｐｎを更新する。
　なお、更新後の時系列画像Ｐｎにおいて、リスト要素が“０”以外の画素については、ｍ回目の繰り返し処理以降で処理の対象から除外するために、当該画素の輝度値として、例えば、“－９９９９”など、無効の画素であること示す値を入れるようにする。
　ステップＳＴ３２～ＳＴ３６の処理は、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの検出背景リストにおける各画素に対応するリスト要素のすべてが“０”以外になるまで、繰り返し実施される。
　２回目の繰り返し処理以降では、背景画像を生成する際に用いる時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）は、時系列画像更新部３４ｂにより更新された時系列画像Ｐｎが用いられる。
　また、２回目の繰り返し処理以降では、リスト要素が“０”以外の画素については、リスト生成部３４ａにおいて、当該画素が背景を構成している画素であるか否かの判別は行われない。即ち、“－９９９９”などの輝度値が入っている画素については、リスト生成部３４ａにおいて、当該画素が背景を構成している画素であるか否かの判別は行われない。
　これにより、例えば、ある物体の上に別の物体が乗っているような状況下においても、各物体を順番に検出することが可能となる。そのため、物体の階層構造が複雑なケースや、頻繁に建物が建て替わるようなケースにおいて、本処理を適用した場合、反復回数が増えることになる。
　因みに、図２５において、２回目の繰り返し処理では、物体である自動車を構成している画素は、背景を構成している画素であると判別されず、当該画素に対応するリスト要素は“０”のままとなっているが、道路を構成している画素は、背景を構成している画素であると判別されて、当該画素に対応するリスト要素に、当該背景を識別する番号“２”が上書きされることで、その検出背景リストが更新されている。
　物体検出部３４の特定処理部３４ｃは、背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの繰り返し処理が終了すると、繰り返し処理終了後の検出背景リストのリスト要素から、カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する。
　以下、特定処理部３４ｃの処理内容を具体的に説明する。
　図３４は特定処理部３４ｃの処理内容を示すフローチャートである。
　図３５は撮影時刻が最新の時系列画像ＰＮを構成している画素のうち、画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊを着目点としている例を示す説明図である。
　図３６は、繰り返し処理終了後の検出背景リストのうち、撮影時刻ｔ＝１～１５における着目点に対応するリスト要素を示す説明図である。
　図３６では、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）から画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊに対応するリスト要素だけを抜粋して例示しているが、検出背景リストには、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）を構成している全ての画素に対応するリスト要素が存在している。
　図３６の例では、最も古い撮影時刻がｔ＝１、最も新しい撮影時刻がｔ＝１５である。
　まず、特定処理部３４ｃは、図３６に示すような繰り返し処理後の検出背景リストを参照して、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素毎に、当該画素に対応するリスト要素の時間的連続性を確認する（図３４のステップＳＴ４１）。
　例えば、画素Ａ，Ｂ，Ｃ，Ｄを着目すると、ｔ＝１～１５の間、リスト要素が“１”で連続していることが確認される。
　また、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊを着目すると、ｔ＝１～８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９～１５の間、リスト要素が“２”で連続していることが確認される。
　画素Ｆを着目すると、ｔ＝１～８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９～１３の間、リスト要素が“２”で連続していることが確認され、ｔ＝１４～１５の間、リスト要素が“３”で連続していることが確認される。
　特定処理部３４ｃは、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素毎に、当該画素に対応するリスト要素の時間的連続性を確認すると、時間的に連続しているリスト要素の先頭の撮影時刻と、時間的に連続しているリスト要素の後尾の撮影時刻とから、時間的に連続しているリスト要素の存在時間を算出する（図３４のステップＳＴ４２）。
　以下、時間的に連続しているリスト要素の先頭の撮影時刻を出現時刻と称し、時間的に連続しているリスト要素の後尾の撮影時刻を消失時刻と称する。
　　存在時間＝消失時刻－出現時刻＋１
　例えば、画素Ａ，Ｂ，Ｃ，Ｄの場合、ｔ＝１～１５の間、リスト要素が“１”で連続していることが確認されているので、当該リスト要素の存在時間が“１５”になる。
　また、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊの場合、ｔ＝１～８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９～１５の間、リスト要素が“２”で連続していることが確認されているので、リスト要素“１”の存在時間が“８”になり、リスト要素“２”の存在時間が“７”になる。
　また、画素Ｆの場合、ｔ＝１～８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９～１３の間、リスト要素が“２”で連続していることが確認され、ｔ＝１４～１５の間、リスト要素が“３”で連続していることが確認されているので、リスト要素“１”の存在時間が“８”になり、リスト要素“２”の存在時間が“５”になり、リスト要素“３”の存在時間が“２”になる。
　ここで、図３７は画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊにおける出現時刻、消失時刻及び存在時間を示す説明図である。
　図３７では、○－○－○のように、３つの数字が並んでいるが、左側の数字が時間的に連続しているリスト要素の出現時刻、真中の数字が時間的に連続しているリスト要素の存在時間、右側の数字が時間的に連続しているリスト要素の消失時刻を示している。
　特定処理部３４ｃは、時間的に連続しているリスト要素の存在時間を算出すると、出現時刻、消失時刻及び存在時間が同一である隣接画素群を探索し、同一の領域を構成している隣接画素群を特定する（図３４のステップＳＴ４３）。
　図３８は同一の領域を構成している隣接画素群を示す説明図である。
　図３８の例では、画素Ａ，Ｂ，Ｃ，Ｄが同領域（１）を構成し、画素Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊが同領域（２），同領域（３）を構成し、画素Ｆが同領域（４）を構成している。
　厳密には、画素Ｆの場合、リスト要素が“２”で連続している時間帯がｔ＝９～１３の時間帯であり、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊにおいて、リスト要素が“２”で連続している時間帯であるｔ＝９～１５と異なっているが、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊに対する画素Ｆのリスト要素が“２”で連続している時間帯の合致率が、事前に設定されている合致率以上であるため、画素Ｆを同一の領域を構成している隣接画素群に含めている。事前に設定されている合致率は、ユーザが任意に設定することができる。小さな値の合致率が設定されれば、同一の領域を構成している隣接画素群が大きくなるため、後段の処理負荷が軽減されるが、後段の処理精度を高めるには、ある程度、大きな値を設定する必要がある。このため、合致率としては、７０％以上が望ましいと考えられる。
　特定処理部３４ｃは、同一の領域を構成している隣接画素群を特定すると、隣接画素群が構成している同領域（１）～（４）の面積を算出する（図３４のステップＳＴ４４）。
　図３９は同領域（１）～（４）の面積を示す説明図である。
　特定処理部３４ｃは、隣接画素群が構成している同領域（１）～（４）の面積を算出すると、同領域（１）～（４）の面積と、同領域（１）～（４）の存在時間との２軸で、同領域（１）～（４）をマッピングし、例えば、群平均法等のクラスタリング方法を用いて、同領域（１）～（４）のクラスタ分けを行う（図３４のステップＳＴ４５）。
　同領域（１）～（４）のクラスタ分けを行うことで、同領域（１）（２）が野原と川かなる背景、同領域（３）が道路、同領域（４）が自動車などに分類される。
　同領域（１）～（４）のクラスタ分けを行うクラスタリング方法自体は、公知の技術であるため詳細な説明を省略するが、クラスタリング方法として、群平均法のほか、ｋ－ｍｅａｎｓ法などが考えられる。
　図４０は入力受付部３４ｄ及び表示処理部３４ｅの処理内容を示すフローチャートである。
　図４１は表示処理部３４ｅの表示例を示す説明図である。
　表示処理部３４ｅは、特定処理部３４ｃが複数の同領域のクラスタ分けを行うと、画像記憶部１に記憶されている最新の時系列画像ＰＮをディスプレイに表示する（図４０のステップＳＴ５１）。
　また、表示処理部３４ｅは、特定処理部３４ｃにより特定された同一の領域を構成している隣接画素群の領域境界を描画する（図４０のステップＳＴ５２）。
　図４１の例では、同領域である道路の領域境界と、同領域である自動車の領域境界とを太線で描画している。
　ユーザが、例えば、物体である自動車の属性情報の表示を希望する場合、ユーザが、入力受付部３４ｄにおける例えばマウスなどのマンマシンインタフェースを操作して、その自動車の領域をクリックすると（図４０のステップＳＴ５３：ＹＥＳの場合）、入力受付部３４ｄが、自動車の属性情報の提示指示を受け付ける（ステップＳＴ５４）。
　ここでは、自動車の属性情報の提示指示を受け付ける例を示しているが、自動車の属性情報に限るものではなく、道路などの属性情報の提示指示を受け付けるものであってもよい。
　表示処理部３４ｅは、入力受付部３４ｄが自動車の属性情報の提示指示を受け付けると、特定処理部３４ｃにより特定された自動車の領域の出現時刻、消失時刻及び存在時間を、物体である自動車の属性情報として、ディスプレイに表示する（図４０のステップＳＴ５５）。
　図４１の例では、自動車の領域の出現時刻として、出現時刻ｔ＝１４、消失時刻ｔ＝１５、存在時間“２”が表示されている。
　また、表示処理部３４ｅは、物体である自動車の属性情報を表示している場合、特定処理部３４ｃのクラスタリングによって、当該自動車と別の自動車が分類されていれば、別の自動車の画像を表示するようにしてもよい。
　図４１の例では、属性情報を表示している自動車の前方の自動車と後方の自動車の画像が表示されている。
　以上で明らかなように、この実施の形態２によれば、背景画像生成装置３０の背景画像生成部４により生成された背景画像と、背景画像生成装置３０の射影変換部３により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部３２と、差分画像生成部３２により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部３３とを設け、物体検出部３４が、逆射影変換部３３により生成された各逆射影画像から、カメラの撮影領域内に存在している物体を検出するように構成したので、カメラの撮影領域内に存在している物体を高精度に検出することができる効果を奏する。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る背景画像生成装置は、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成するものに適している。
　１　画像記憶部、２　オプティカルフロー算出部、３　射影変換部、４　背景画像生成部、５　表示部、１１　記憶装置、１２　オプティカルフロー算出処理回路、１３　射影変換処理回路、１４　背景画像生成処理回路、１５　表示装置、２１　ＲＡＭ、２２　ハードディスク、２３　ＧＰＵ、２４　ディスプレイ、２５　プロセッサ、３０　背景画像生成装置、３１　光学補正部、３２　差分画像生成部、３３　逆射影変換部、３４　物体検出部、３４ａ　リスト生成部、３４ｂ　時系列画像更新部、３４ｃ　特定処理部、３４ｄ　入力受付部、３４ｅ　表示処理部、４１　光学補正処理回路、４２　差分画像生成処理回路、４３　逆射影変換処理回路、４４　物体検出処理回路、５１　メモリ、５２　プロセッサ。

Claims (6)

  1. 　移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
    　前記オプティカルフロー算出部により算出されたオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
    　前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と
    　を備えた背景画像生成装置。
  2. 　前記背景画像生成部は、前記射影変換部により射影変換された各時系列画像及び前記基準画像における同一座標の画素単位に輝度値の統計量を算出し、前記背景画像の各画素の輝度値として、各画素の前記統計量を設定することを特徴とする請求項１記載の背景画像生成装置。
  3. 　前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
    　前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項１記載の背景画像生成装置。
  4. 　移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
    　前記オプティカルフロー算出部により算出されたオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
    　前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と、
    　前記背景画像生成部により生成された背景画像と、前記射影変換部により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部と、
    　前記差分画像生成部により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部と、
    　前記逆射影変換部により生成された各逆射影画像から、前記カメラの撮影領域内に存在している物体を検出する物体検出部と
    　を備えた物体検出装置。
  5. 　前記物体検出部は、
    　前記逆射影変換部により生成された各逆射影画像を構成している画素毎に、当該画素が背景を構成している画素であるか否かを判別して、その判別結果を示すリストを生成するリスト生成部と、
    　前記カメラにより撮影された複数の時系列画像を構成する画素の中から、前記リスト生成部により背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、前記複数の時系列画像を更新する時系列画像更新部とを備え、
    　前記時系列画像更新部により複数の時系列画像が更新される毎に、更新後の複数の時系列画像を用いて、前記オプティカルフロー算出部、前記射影変換部、前記背景画像生成部、前記差分画像生成部、前記逆射影変換部及び前記リスト生成部が処理を繰り返し実施し、
    　さらに、前記物体検出部は、
    　前記繰り返し処理の終了後の前記リストに示されている判別結果から、前記カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する特定処理部を備えていることを特徴とする請求項４記載の物体検出装置。
  6. 　前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
    　前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項４記載の物体検出装置。
PCT/JP2015/085344 2015-12-17 2015-12-17 背景画像生成装置及び物体検出装置 WO2017104042A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/085344 WO2017104042A1 (ja) 2015-12-17 2015-12-17 背景画像生成装置及び物体検出装置
JP2016534272A JP6138371B1 (ja) 2015-12-17 2015-12-17 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/085344 WO2017104042A1 (ja) 2015-12-17 2015-12-17 背景画像生成装置及び物体検出装置

Publications (1)

Publication Number Publication Date
WO2017104042A1 true WO2017104042A1 (ja) 2017-06-22

Family

ID=58794361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085344 WO2017104042A1 (ja) 2015-12-17 2015-12-17 背景画像生成装置及び物体検出装置

Country Status (2)

Country Link
JP (1) JP6138371B1 (ja)
WO (1) WO2017104042A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011584A (ja) * 1996-06-19 1998-01-16 Fujitsu Ltd 画像処理方法
JP2009020800A (ja) * 2007-07-13 2009-01-29 Casio Comput Co Ltd 特徴点追跡装置及びプログラム
JP2014134890A (ja) * 2013-01-08 2014-07-24 Sharp Corp 画像データ処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008091979A (ja) * 2006-09-29 2008-04-17 Hitachi Ltd 画像高画質化装置、及びその方法、並びに画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011584A (ja) * 1996-06-19 1998-01-16 Fujitsu Ltd 画像処理方法
JP2009020800A (ja) * 2007-07-13 2009-01-29 Casio Comput Co Ltd 特徴点追跡装置及びプログラム
JP2014134890A (ja) * 2013-01-08 2014-07-24 Sharp Corp 画像データ処理装置

Also Published As

Publication number Publication date
JP6138371B1 (ja) 2017-05-31
JPWO2017104042A1 (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
US11610082B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN109314753B (zh) 使用光流生成中间视图的方法和计算机可读存储介质
Galvin et al. Recovering Motion Fields: An Evaluation of Eight Optical Flow Algorithms.
Pickup et al. Bayesian image super-resolution, continued
JP2019523509A (ja) 暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法
CN106027851A (zh) 基于图像梯度的图像滤波
CN102651135B (zh) 一种基于优化方向采样的自然图像抠图方法
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
CN106056629A (zh) 通过运动物体检测和扩展去除鬼影的高动态范围成像方法
EP3340075B1 (en) Video abstract using signed foreground extraction and fusion
US8233748B2 (en) Image-resolution-improvement apparatus and method
CN106780297A (zh) 场景和光照变化条件下的图像高精度配准方法
Ge et al. Fast single-image dehazing using linear transformation
CN106548494A (zh) 一种基于场景样本库的影视图像深度提取方法
CN102257534A (zh) 确定运动向量的方法、装置及软件
CN106023108A (zh) 基于边界约束和上下文正则化的图像去雾算法
CN111489383B (zh) 基于深度边缘点与彩色图像的深度图像上采样方法及系统
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
US20040146183A1 (en) Method and system for tracking an object
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN111062895A (zh) 一种基于多视场分割的显微图像复原方法
US8126275B2 (en) Interest point detection
CN111932594B (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
Huan et al. Image restoration based on the fast marching method and block based sampling

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016534272

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15910732

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15910732

Country of ref document: EP

Kind code of ref document: A1