WO2021210181A1 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
WO2021210181A1
WO2021210181A1 PCT/JP2020/016962 JP2020016962W WO2021210181A1 WO 2021210181 A1 WO2021210181 A1 WO 2021210181A1 JP 2020016962 W JP2020016962 W JP 2020016962W WO 2021210181 A1 WO2021210181 A1 WO 2021210181A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
image processing
target
region
Prior art date
Application number
PCT/JP2020/016962
Other languages
English (en)
French (fr)
Inventor
あずさ 澤田
健太 先崎
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/016962 priority Critical patent/WO2021210181A1/ja
Priority to US17/918,156 priority patent/US20230133519A1/en
Priority to EP20931455.8A priority patent/EP4138031B1/en
Priority to JP2022515180A priority patent/JP7509197B2/ja
Publication of WO2021210181A1 publication Critical patent/WO2021210181A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9029—SAR image post-processing techniques specially adapted for moving target detection within a single SAR image or within multiple SAR images taken at the same time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to an image processing method, an image processing system, and a program.
  • SAR Synthetic Aperture Radar
  • Patent Document 1 an example of detecting a ship using a SAR image is disclosed in Patent Document 1.
  • the captured image is binarized and a high-brightness region is extracted as a ship candidate.
  • an object of the present invention is to provide an image processing method, an image processing system, and a program capable of solving the above-mentioned problems that a moving object in a captured image cannot be detected accurately. It is in.
  • the image processing method which is one embodiment of the present invention, is A difference image representing the difference between the target image, which is an image including the region to be detected as a moving object, and the corresponding image, which is another image including the region corresponding to the region of the target image, is generated.
  • the moving body is detected from the target image based on the target image, the corresponding image, and the difference image. It takes the configuration.
  • the image processing apparatus which is one embodiment of the present invention is An image generation means for generating a difference image representing a difference between a target image which is an image including a region to be detected as a moving object and a corresponding image which is another image including a region corresponding to the region of the target image.
  • the program which is one form of the present invention is For information processing equipment An image generation means for generating a difference image representing a difference between a target image which is an image including a region to be detected as a moving object and a corresponding image which is another image including a region corresponding to the region of the target image.
  • the present invention can accurately detect a moving object in a captured image by being configured as described above.
  • FIG. 1 It is a block diagram which shows the structure of the image processing apparatus in Embodiment 1 of this invention. It is a figure which shows the state of the image processing by the image processing apparatus disclosed in FIG. It is a figure which shows the state of the image processing by the image processing apparatus disclosed in FIG. It is a figure which shows the state of the image processing by the image processing apparatus disclosed in FIG. It is a figure which shows the state of the image processing by the image processing apparatus disclosed in FIG. It is a figure which shows the state of the image processing by the image processing apparatus disclosed in FIG. It is a flowchart which shows the operation of the image processing apparatus disclosed in FIG. It is a block diagram which shows the hardware structure of the image processing apparatus in Embodiment 2 of this invention. It is a block diagram which shows the structure of the image processing apparatus in Embodiment 2 of this invention. It is a flowchart which shows the operation of the image processing apparatus in Embodiment 2 of this invention.
  • FIG. 1 is a diagram for explaining a configuration of an image processing device
  • FIGS. 2 to 7 are diagrams for explaining a processing operation of the image processing device.
  • the image processing device 10 in the present embodiment is for detecting a ship navigating on the sea for the purpose of monitoring the sea from images taken by a synthetic aperture radar (SAR: Synthetic Aperture Radar) or the like.
  • SAR Synthetic Aperture Radar
  • the image processing device 10 is not necessarily limited to photographing an area such as the sea, and may photograph any area.
  • the image processing device 10 is not limited to detecting a ship from a captured image, and may detect any moving object.
  • the image processing device 10 may photograph an area such as an airfield to detect a moving object such as an aircraft.
  • the image processed by the image processing device 10 is not limited to the satellite image obtained by the synthetic aperture radar, and may be any image.
  • the image processing device 10 is composed of one or a plurality of information processing devices including an arithmetic unit and a storage device. Then, as shown in FIG. 1, the image processing device 10 includes a difference image generation unit 11, a binary image generation unit 12, a candidate pixel extraction unit 13, and a moving body detection unit 14. Each function of the difference image generation unit 11, the binary image generation unit 12, the candidate pixel extraction unit 13, and the moving object detection unit 14 executes a program for the arithmetic unit to realize each function stored in the storage device. By doing so, it can be realized. Further, the image processing device 10 includes an attention image storage unit 15, a background image storage unit 16, a difference image storage unit 17, and a geographic information storage unit 18. The attention image storage unit 15, the background image storage unit 16, the difference image storage unit 17, and the geographic information storage unit 18 are configured by a storage device. Hereinafter, each configuration will be described in detail.
  • the attention image storage unit 15 stores an attention image (target image) which is an image on the sea which is a target area (target area) for detecting a ship which is a moving body.
  • the image of interest is, for example, a satellite image by a synthetic aperture radar as shown in the above figure of FIG. 2, which is an image mainly taken of the sea, but also includes land in contact with the sea and land objects installed on the land. Is done.
  • the brightness values of the pixels in the image of interest are mainly high brightness values for land and land objects and ships, and low brightness values for water bodies on the sea. Since the image of interest is a satellite image, position information such as latitude and longitude on the earth based on information such as the orbit of the satellite and the setting of the photographing device is associated with the image of interest.
  • the background image storage unit 16 is a satellite image obtained by a synthetic aperture radar like the attention image, and as shown in the central figure of FIG. 2, the region corresponding to the target region of the attention image, that is, substantially the same as the target region.
  • a background image (corresponding image), which is an image of the sea, which is an area, is stored.
  • the background image is a photographed image when there is no ship moving in the target area such as the sea. Therefore, the background image is an image taken during a time period when the ship does not exist in the target area, or an image of removing a moving object which is a ship based on images of a plurality of target areas in the past. It is composed of processed images.
  • a background image For example, as a background image, as will be described later, by aligning a plurality of captured images of a target area in the past and selecting a minimum value for each pixel, pixels having a high brightness value that can be determined as a ship can be obtained. The process of removing is performed and it is generated. Since the background image is the satellite image itself or is generated from the satellite image, position information such as latitude and longitude on the earth based on information such as the orbit of the satellite and the setting of the photographing device is associated with the background image.
  • the difference image storage unit 17 stores a difference image representing the difference between the attention image and the background image.
  • the difference image is an image generated as a new pixel value by using the difference in the brightness values of the pixels corresponding to each other between the attention image and the background image as a new pixel value, as will be described later. Therefore, in the difference image, for example, as shown in the lower figure of FIG. 2, the portion of the attention image where the brightness value changes with respect to the background image has a high brightness value, and therefore, in particular, a moving body is present in the background image.
  • the part that is not present in the image of interest, but is present in the image of interest is an image represented by a high-luminance value with respect to the surroundings. Since the difference image is generated from the attention image and the background image, which are satellite images, the position information such as latitude and longitude on the earth based on the information such as the satellite orbit and the setting of the photographing device is associated with the difference image. There is.
  • the geographic information storage unit 18 stores map information of a target area in which the attention image and the background image are captured.
  • the map information includes the position information of the land of the target area, and includes the position information such as the latitude and longitude of the land on the earth.
  • the difference image generation unit 11 (image generation means) reads out the attention image taken at a predetermined time to be the target of the process of detecting the ship from the attention image storage unit 15, and reads out the background image from the background image storage unit 16. , A difference image is generated from the attention image and the background image, and stored in the difference image storage unit 17. For example, the difference image generation unit 11 aligns the attention image shown in the upper figure of FIG. 2 and the background image shown in the central figure of FIG. 2 based on the position information, the similarity of the terrain in the image, and the like, and mutually aligns them. Calculate the difference between the brightness values of the corresponding pixels. Then, the difference image generation unit 11 generates a difference image as shown in the lower figure of FIG.
  • the generated difference image becomes an image in which the portion of the attention image in which the brightness value changes with respect to the background image, that is, the portion of the moving body in particular, is represented by a high brightness value with respect to the surroundings.
  • the difference image may be generated by a method other than the above. For example, when using a combination of a attention image and a background image that are not captured in the same orbit by a satellite, a technique that can extract changes excluding the difference in distortion on the image for each orbit is applied.
  • the difference image may be generated by aligning the attention image and the background image.
  • the difference image generation unit 11 may have a function of generating a background image used for generating the difference image.
  • the difference image generation unit 11 acquires the captured images of a plurality of past target areas stored in the background image storage unit 16 in advance, and uses these plurality of captured images for position information and the degree of similarity of the terrain in the image.
  • a background image is generated by performing alignment based on the above and removing pixels having a high brightness value that can be determined to be a ship by selecting the minimum value for each pixel.
  • the background image may be generated by any method.
  • the binary image generation unit 12 (detection means) performs a process of binarizing each of the above-mentioned attention image, background image, and difference image. At this time, the binary image generation unit 12 determines the threshold value of the brightness value at the time of binarization in each image.
  • the threshold value setting process by the binary image generation unit 12 will be described.
  • the binary image generation unit 12 first sets a water area (specific area) on the image of interest using the geographic information stored in the geographic information storage unit 18. Specifically, the binary image generation unit 12 specifies a land area (exclusion area) representing the position of the land on the image of interest from the position information included in the image of interest and the geographic information including the position information of the land. .. Then, the binary image generation unit 12 sets an extended land area (extension exclusion area) in which the edge of the land adjacent to the water area of the land area is further extended to the water area side by a predetermined distance.
  • the binary image generation unit 12 sets the extended land area by extending the edge adjacent to the water area of the land area to the water area side by about 20 pixels in the image of interest, that is, about 20 m in the target area. Then, the binary image generation unit 12 excludes the extended land area from the target area of the entire attention image, and sets the remaining area as a water area. As a result, the binary image generation unit 12 sets the water area on the image of interest as shown by the area surrounded by the dotted line in the upper figure of FIG.
  • the binary image generation unit 12 sets a water area in the background image as shown by the area surrounded by the dotted line in the central figure of FIG. 3, and the difference as shown by the area surrounded by the dotted line in the lower figure of FIG. Set the body of water on the image.
  • the binary image generation unit 12 is not necessarily limited to setting the above-mentioned extended land area and setting the water area, and may simply exclude the land area from the target area and set the water area.
  • the water area may be set by the method.
  • the binary image generation unit 12 generates a distribution of the brightness values of the pixels in the water area set for the attention image, the background image, and the difference image, and obtains the threshold value of the brightness value at the time of binarization from the distribution.
  • the binary image generation unit 12 first generates the distribution of the brightness values of all the pixels in the area set as the water area surrounded by the dotted line in the upper figure of FIG. 3 for the image of interest.
  • the binary image generation unit 12 generates the distribution of the brightness values of the pixels by, for example, approximating the distribution of the brightness values to some function.
  • the binary image generation unit 12 sets a threshold value of the brightness value for binarizing the image of interest from the generated distribution.
  • the binary image generation unit 12 has a threshold value of a brightness value that can separate a brightness value on the sea that is considered to be a water area and a brightness value that is considered to be an object existing in the water area in the water area in the image of interest. To set. Then, the binary image generation unit 12 generates a binary image (converted image) in which the brightness value of each pixel in the entire attention image is binarized by using the threshold value set for the attention image. As a result, the binary image generation unit 12 generates a binary image as shown in the upper figure of FIG. 4 from the image of interest.
  • the binary image generation unit 12 also performs the same processing as the processing performed on the attention image for the background image and the difference image, and generates each binary image. Specifically, the binary image generation unit 12 generates a distribution of the brightness values of all the pixels in the area set as the water area surrounded by the dotted line in the central figure of FIG. 3 for the background image, and obtains the background image from the distribution. A threshold value for the luminance value to be binarized is set, and a binary image as shown in the central figure of FIG. 4 is generated from the background image using the threshold value.
  • the binary image generation unit 12 has a brightness value that can separate the brightness value on the sea, which is considered to be the water area, and the brightness value, which is considered to be an object existing in the water area, in the water area in the background image.
  • Set the threshold Further, the binary image generation unit 12 generates a distribution of the brightness values of all the pixels in the area set as the water area surrounded by the dotted line in the lower figure of FIG. 3 for the difference image, and binarizes the difference image from the distribution.
  • a threshold value of the brightness value to be used is set, and a binary image as shown in the lower figure of FIG. 4 is generated from the difference image using the threshold value.
  • the binary image generation unit 12 has a brightness value that can separate the brightness value on the sea, which is considered to be the water area, and the brightness value, which is considered to be an object existing in the water area, in the water area in the difference image.
  • the threshold As a result, the binary image of the difference image is a pixel in which the brightness value does not change and a pixel in which the brightness value changes between the attention image and the background image, that is, a pixel considered to be a water area and a pixel considered to be an object existing in the water area. , Is a distinguishable binary image.
  • the candidate pixel extraction unit 13 extracts pixels as ship candidates by using the binary images of the attention image, the background image, and the difference image generated as described above. At this time, the candidate pixel extraction unit 13 determines for each binary image whether or not each pixel is a water area (specific area) in each binary image, and based on the determination result for each binary image, the ship Extract candidate pixels.
  • the pixel of interest is not a water area in the binary image of the attention image, is a water area in the binary image of the background image, and is not a water area in the binary image of the difference image, that is,
  • a pixel is extracted as a pixel that is a candidate for a ship.
  • the pixels in the area surrounded by the dotted rectangle in FIG. 5 are extracted as ship candidates.
  • the moving body detecting unit 14 detects a moving body that is a ship located on the image of interest based on the pixels extracted as ship candidates as described above. For example, the moving body detection unit 14 forms a figure composed of a plurality of pixels based on the distances between the pixels extracted as ship candidates. As an example, when the pixels extracted as ship candidates are adjacent to each other or located within a certain distance, the moving body detection unit 14 forms a set of these pixels as one figure. Then, the moving body detection unit 14 compares, for example, the molded figure with the template representing the shape of the ship prepared in advance, and determines that the molded figure is substantially the same as the template. The molded figure is detected as a ship. Then, as shown in FIG.
  • the moving body detection unit 14 detects that the white figure surrounded by the solid rectangle on the image of interest is a ship. It should be noted that a plurality of criteria for determining the set of pixels to be molded as one figure may be set according to the sizes of various ships.
  • the image processing device 10 stores images of a plurality of past target areas captured in advance in the background image storage unit 16, and stores the attention image obtained by capturing the target area for detecting a ship in the attention image storage unit 15. I remember. Further, the image processing device 10 stores geographic information including the position information of the land in the target area in the map information storage unit 18.
  • the image processing device 10 acquires captured images of a plurality of past target areas stored in the background image storage unit 16 in advance. Then, the image processing device 10 aligns the plurality of captured images based on the position information, and selects the minimum value for each pixel to remove the pixels having a high brightness value that can be determined to be a ship. , A background image is generated and stored in the background image storage unit 16 (step S1). For example, the image processing device 10 generates a background image as shown in the central view of FIG. It should be noted that the process of generating the background image may not be performed, and an image determined in advance that a moving body such as a ship does not exist may be stored as the background image.
  • the image processing device 10 reads out the attention image as shown in the upper figure of FIG. 2 taken at a predetermined time to be the target of the process of detecting the ship from the attention image storage unit 15, and also reads the attention image from the background image storage unit 16.
  • the background image as shown in FIG. 2 center is read out.
  • the image processing device 10 calculates the difference in the brightness values of the pixels corresponding to each other from the attention image and the background image, generates a difference image using the difference as a new pixel value, and generates a difference image, and the difference image storage unit 17 (Step S2). For example, the image processing device 10 generates a difference image as shown in the lower figure of FIG.
  • the image processing device 10 sets a water area for each of the above-mentioned attention image, background image, and difference image (step S3).
  • the image processing device 10 uses the geographic information stored in the geographic information storage unit 18 to identify a land area representing the position of the land on the image of interest, and then sets the water area of the land area to the area of interest.
  • An extended land area is set in which the adjacent edges are further extended to the water area side by a predetermined distance. Then, the image processing device 10 excludes the extended land area from the target area of the entire attention image, and sets the remaining area as a water area.
  • the image processing device 10 sets a water area on the image of interest, for example, as shown by the area surrounded by the dotted line in the upper figure of FIG. Then, in the same manner as described above, the image processing device 10 sets the water area for the background image and the difference image as shown by the dotted line in the central figure of FIG. 3 and the dotted line in the lower figure of FIG. 3, respectively.
  • the image processing device 10 generates a distribution of the brightness values of the pixels in the water area for each water area set for the attention image, the background image, and the difference image (step S4).
  • the image processing apparatus 10 generates a distribution of pixel brightness values by approximating the distribution of brightness values to some function.
  • the image processing device 10 sets a threshold value of the brightness value when binarizing each image from the respective distributions generated for the attention image, the background image, and the difference image (step S5).
  • the image processing device 10 has a brightness that can separate the brightness value on the sea, which is considered to be a water area, and the brightness value, which is considered to be an object existing in the water area, for each of the attention image, the background image, and the difference image.
  • a value threshold Regarding the difference image, it can be said that a threshold value of the brightness value is set so that the pixel in which the brightness value does not change and the pixel in which the brightness value changes can be separated between the attention image and the background image.
  • the image processing device 10 generates a binary image in which the brightness value of each pixel is binarized by using the threshold values set for each of the attention image, the background image, and the difference image (step S6).
  • the image processing device 10 generates binary images as shown in the upper figure of FIG. 4, the central view of FIG. 4, and the lower figure of FIG. 4 from each of the attention image, the background image, and the difference image.
  • the image processing device 10 extracts pixels as ship candidates using the binary images of the attention image, the background image, and the difference image generated as described above (step S7). For example, in each binary image, the image processing device 10 determines whether or not each pixel is a water area for each binary image, and extracts pixels that are ship candidates based on the determination result for each binary image. do.
  • the pixel of interest is not a water area in the binary image of the attention image, is a water area in the binary image of the background image, and is in the water area in the binary image of the difference image.
  • the image processing device 10 detects a moving body that is a ship located on the image of interest based on the pixels extracted as ship candidates as described above (step S8). For example, the image processing device 10 shapes a figure composed of a plurality of pixels based on the distance between pixels extracted as a ship candidate, and detects the figure as a ship when the figure satisfies a criterion such as a template. .. For example, as shown in FIG. 6, the image processing device 10 detects that the white figure surrounded by the solid rectangle on the image of interest is a ship.
  • the influence of land and land objects is suppressed by using the target image for detecting the moving object which is a ship, the background image, and the difference image between them.
  • Ships can be detected with high accuracy.
  • a binary image of the target image, the background image, and the difference image is used, or binarization is performed using the brightness value distribution of the water area set for the target image, the background image, and the difference image, respectively. At this time, by setting the water area from which the expanded land is removed, the ship can be detected more accurately.
  • the image processing device 10 exemplifies the case where the ship appearing in the image of interest is detected.
  • the criteria for extracting pixels as ship candidates in the candidate pixel extraction unit 13 described above It can handle the detection of various vessels.
  • a ship disappeared from the background image that is, a ship anchored in the background image disappeared in the attention image. It is also possible to detect.
  • the candidate pixel extraction unit 13 indicates that the pixel of interest is not a water area in the binary image of the attention image, is not a water area in the binary image of the background image, and is not a water area in the binary image of the difference image.
  • the image processing device 10 is not limited to detecting a ship on the sea which is a water area, but can also cope with detecting any moving object in any area.
  • the image processing device 10 may photograph an area such as an airfield to detect a moving object such as an aircraft.
  • the above-mentioned water area (specific area) is replaced with paved ground. That is, the above-mentioned binary image generation unit 12 sets a paved ground area from the attention image, the background image, and the difference image in place of the water area shown by the dotted line in FIG.
  • the distribution of the brightness value of the paved ground area is generated, the threshold value at the time of binarization is determined, and the binary image of the attention image, the background image, and the difference image is generated, respectively.
  • the pixel of interest is not the paved ground in the binary image of the attention image, the paved ground in the binary image of the background image, and the paved ground in the binary image of the difference image. If it is satisfied that the pixel value is not changed, that is, the pixel value is changed, such a pixel is extracted as a candidate pixel for an aircraft.
  • FIGS. 8 to 10 are block diagrams showing the configuration of the image processing apparatus according to the second embodiment
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus.
  • the outline of the configuration of the image processing apparatus and the image processing method described in the above-described embodiment is shown.
  • the image processing device 100 is composed of a general information processing device, and is equipped with the following hardware configuration as an example.
  • -CPU Central Processing Unit
  • -ROM Read Only Memory
  • RAM Random Access Memory
  • 103 storage device
  • -Program group 104 loaded into RAM 103
  • a storage device 105 that stores the program group 104.
  • a drive device 106 that reads and writes the storage medium 110 external to the information processing device.
  • -Communication interface 107 that connects to the communication network 111 outside the information processing device -I / O interface 108 for inputting / outputting data -Bus 109 connecting each component
  • the image processing device 100 can construct and equip the image generation means 121 and the detection means 122 shown in FIG. 9 by the CPU 101 acquiring the program group 104 and executing the program group 104.
  • the program group 104 is stored in, for example, a storage device 105 or a ROM 102 in advance, and the CPU 101 loads the program group 104 into the RAM 103 and executes the program group 104 as needed. Further, the program group 104 may be supplied to the CPU 101 via the communication network 111, or may be stored in the storage medium 110 in advance, and the drive device 106 may read the program and supply the program to the CPU 101.
  • the image generation means 121 and the detection means 122 described above may be constructed by a dedicated electronic circuit for realizing such means.
  • FIG. 8 shows an example of the hardware configuration of the information processing device which is the image processing device 100, and the hardware configuration of the information processing device is not limited to the above case.
  • the information processing device may be composed of a part of the above-described configuration, such as not having the drive device 106.
  • the image processing device 100 executes the image processing method shown in the flowchart of FIG. 10 by the functions of the image generating means 121 and the detecting means 122 constructed by the program as described above.
  • the image processing device 100 is A difference image representing the difference between the target image, which is an image of the target region for detecting the moving object, and the corresponding image, which is another image of the region corresponding to the region of the target image, is generated (step S101).
  • the moving body is detected from the target image based on the target image, the corresponding image, and the difference image (step S102). Is executed.
  • the present invention is configured as described above, and by using the target image for detecting the moving object, the background image, and the difference image thereof, the place where the moving object can move is defined. It is possible to suppress the influence of objects existing in different regions or such regions and detect moving objects with high accuracy.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (RandomAccessMemory)).
  • a semiconductor memory for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (RandomAccessMemory)
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the present invention is not limited to the above-described embodiment.
  • Various changes that can be understood by those skilled in the art can be made within the scope of the invention of the present application in terms of the configuration and details of the invention of the present application.
  • at least one or more of the functions of the image generation means 121 and the detection means 122 described above may be executed by an information processing device installed and connected to any place on the network, that is, a so-called cloud. It may be executed by computing.
  • Appendix 2 The image processing method described in Appendix 1 The moving body is extracted from the regions included in the target image, the corresponding image, and the difference image, based on the brightness values of the pixels in each specific region specified by a predetermined standard.
  • Image processing method. (Appendix 3) The image processing method described in Appendix 2 An extended exclusion area is set by further expanding the exclusion area specified by a predetermined standard from the area included in each of the target image, the corresponding image, and the difference image, and the target image and the corresponding image are combined with each other. The remaining area excluding the extended exclusion area from the area included in each of the difference images is defined as the specific area.
  • Image processing method. (Appendix 4) The image processing method according to Appendix 2 or 3.
  • a distribution of luminance values of pixels in the specific region is generated for the specific region included in each of the target image, the corresponding image, and the difference image, and the distribution is based on the distribution generated for each specific region.
  • Extract moving objects, Image processing method (Appendix 5) The image processing method described in Appendix 4 The specific region can be detected for each of the target image, the corresponding image, and the difference image based on the distribution generated for the specific region included in each of the target image, the corresponding image, and the difference image. Each converted image is generated, and the moving body is extracted based on the generated converted image.
  • Image processing method is described in Appendix 5.
  • Appendix 6 The image processing method described in Appendix 5 A brightness value that binarizes each of the target image, the corresponding image, and the difference image based on the distribution generated for the specific region included in each of the target image, the corresponding image, and the difference image.
  • Each of the thresholds is set, and the converted image obtained by binarizing the target image, the corresponding image, and the difference image is generated by using the threshold, and the moving body is generated based on the generated converted image.
  • Extract, Image processing method (Appendix 7) The image processing method according to Appendix 5 or 6, wherein the image processing method is described. Based on each of the converted images, it is determined whether or not the pixels in each of the converted images are in the specific region, and the moving body is extracted based on the determination result.
  • Image processing method (Appendix 8) The image processing method according to any one of Appendix 5 to 7. Based on each of the converted images, it is detected that the target image is not the specific region, the corresponding image is the specific region, and the difference image is determined to have a change in the luminance value. Then, the moving body is extracted based on the detected pixel. Image processing method. (Appendix 9) The image processing method according to any one of Supplementary note 2 to 8. The specific area is a body of water. Image processing method.
  • An image generation means for generating a difference image representing a difference between a target image which is an image including a region to be detected as a moving object and a corresponding image which is another image including a region corresponding to the region of the target image.
  • a detection means for detecting the moving body from the target image based on the target image, the corresponding image, and the difference image.
  • Image processing device equipped with. (Appendix 11) The image processing apparatus according to Appendix 10. The detection means moves the movement based on the brightness value of the pixel in each specific area specified by a predetermined standard from the area included in each of the target image, the corresponding image, and the difference image. Extract the body, Image processing device.
  • the image processing apparatus (Appendix 12) The image processing apparatus according to Appendix 11, The detection means sets an extended exclusion region in which the exclusion region specified by a predetermined standard is further expanded from the region included in each of the target image, the corresponding image, and the difference image, and the target image is described. The remaining area excluding the extension exclusion area from the area included in each of the corresponding image and the difference image is defined as the specific area.
  • Image processing device (Appendix 13) The image processing apparatus according to Appendix 11 or 12. The detection means generates a distribution of the brightness values of the pixels in the specific region for the specific region included in each of the target image, the corresponding image, and the difference image, and the generation is generated for each specific region. Extract the moving body based on the distribution, Image processing device.
  • the image processing apparatus according to Appendix 13, wherein the image processing apparatus is described.
  • the detection means describes the target image, the corresponding image, and the difference image for each of the target image, the corresponding image, and the difference image based on the distribution generated for the specific region included in each of the target image, the corresponding image, and the difference image.
  • a converted image which is an image capable of detecting a specific region, is generated, and the moving body is extracted based on the generated converted image.
  • Image processing device (Appendix 15) The image processing apparatus according to Appendix 14, The detection means sets each of the target image, the corresponding image, and the difference image based on the distribution generated for the specific region included in each of the target image, the corresponding image, and the difference image.
  • the threshold value of the brightness value to be digitized is set, and the converted image obtained by binarizing the target image, the corresponding image, and the difference image is generated by using the threshold, and based on the generated converted image.
  • Image processing device The image processing apparatus according to Appendix 14 or 15.
  • the detection means determines whether or not the pixels in each of the converted images are in the specific region based on each of the converted images, and extracts the moving body based on the determination result.
  • Image processing device (Appendix 17) The image processing apparatus according to any one of Supplementary note 14 to 16.
  • the detection means determines that the target image is not the specific region, the corresponding image is the specific region, and the difference image has a change in the luminance value.
  • the moving body is extracted based on the detected pixel.
  • Image processing device For information processing equipment An image generation means for generating a difference image representing a difference between a target image which is an image including a region to be detected as a moving object and a corresponding image which is another image including a region corresponding to the region of the target image.
  • a storage medium that can be stored in a computer that stores a program to realize the above.
  • Image processing device 11 Difference image generation unit 12 Binary image generation unit 13 Candidate pixel extraction unit 14 Moving object detection unit 15 Attention image storage unit 16 Background image storage unit 17 Difference image storage unit 18 Geographic information storage unit 100 Image processing device 101 CPU 102 ROM 103 RAM 104 Program group 105 Storage device 106 Drive device 107 Communication interface 108 Input / output interface 109 Bus 110 Storage medium 111 Communication network 121 Image generation means 122 Detection means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明の画像処理装置１００は、移動体を検出する対象となる領域を含む画像である対象画像と、対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成する画像生成手段１２１と、対象画像と対応画像と差分画像とに基づいて、対象画像から移動体を検出する検出手段１２２と、を備える。

Description

画像処理方法
　本発明は、画像処理方法、画像処理システム、プログラムに関する。
　衛星画像などの撮影画像を用いて、海上を航行する船舶を検出して、海上を監視することが行われている。特に、撮影画像として、上空から地表を撮影した合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ）画像を用いることで、天候に左右されない海上の監視が可能となる。
　そして、ＳＡＲ画像を用いて船舶を検出する一例が特許文献１に開示されている。特許文献１に開示の技術では、撮影画像を二値化して、高輝度の領域を船舶候補として抽出している。
特開２０１９－１７５１４２号公報
　しかしながら、上述した特許文献１に開示の技術では、陸地に接岸した船舶については、陸地に設置された陸上物との干渉により、精度よく検出することができない、という問題が生じる。つまり、船舶が接岸する陸地には、桟橋やクレーンなどの陸上物が存在しているため、これらの陸上物の干渉により、船舶を精度よく検出することができない。具体的には、陸上物が高輝度である場合には、二値化を行う際に閾値とする輝度値を適切に設定することが困難であり、陸上物と船舶とを精度よく区別することができない場合がある。また、陸上物そのものを船舶として誤検出してしまう場合も生じうる。そして、船舶を検出する場合に限らず、また、撮影画像内の水域に限らず、特定の領域に位置する移動体を検出する場合にも、上述同様に精度よく検出することができない、という問題が生じる。
　このため、本発明の目的は、上述した課題である、撮影画像内の移動体を精度よく検出することができない、ことを解決することができる画像処理方法、画像処理システム、プログラムを提供することにある。
　本発明の一形態である画像処理方法は、
　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成し、
　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する、
という構成をとる。
　また、本発明の一形態である画像処理装置は、
　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成する画像生成手段と、
　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する検出手段と、
を備えた、
という構成をとる。
　また、本発明の一形態であるプログラムは、
　情報処理装置に、
　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成する画像生成手段と、
　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する検出手段と、
を実現させる、
という構成をとる。
　本発明は、以上のように構成されることにより、撮影画像内の移動体を精度よく検出することができる。
本発明の実施形態１における画像処理装置の構成を示すブロック図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置の動作を示すフローチャートである。 本発明の実施形態２における画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態２における画像処理装置の構成を示すブロック図である。 本発明の実施形態２における画像処理装置の動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図７を参照して説明する。図１は、画像処理装置の構成を説明するための図であり、図２乃至図７は、画像処理装置の処理動作を説明するための図である。
　［構成］
　本実施形態における画像処理装置１０は、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ）による衛星画像などの撮影画像から、海上を監視する目的で、海上を航行する船舶を検出するためのものである。但し、画像処理装置１０は、必ずしも海上といった領域を撮影することに限らず、いかなる領域を撮影してもよい。また、画像処理装置１０は、撮影画像から船舶を検出することに限定されず、いかなる移動体を検出してもよい。例えば、画像処理装置１０は、後述するように、飛行場といった領域を撮影して、航空機といった移動体を検出してもよい。また、画像処理装置１０が処理する画像は、合成開口レーダによる衛星画像に限定されず、いかなる画像であってもよい。
　上記画像処理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、画像処理装置１０は、図１に示すように、差分画像生成部１１、二値画像生成部１２、候補画素抽出部１３、移動体検出部１４、を備える。差分画像生成部１１、二値画像生成部１２、候補画素抽出部１３、移動体検出部１４のそれぞれの機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、画像処理装置１０は、注目画像記憶部１５、背景画像記憶部１６、差分画像記憶部１７、地理情報記憶部１８、を備える。注目画像記憶部１５、背景画像記憶部１６、差分画像記憶部１７、地理情報記憶部１８は、記憶装置により構成される。以下、各構成について詳述する。
　上記注目画像記憶部１５は、移動体である船舶を検出する対象となる領域（対象領域）である海上の画像である注目画像（対象画像）を記憶している。注目画像は、例えば、図２上図に示すような合成開口レーダによる衛星画像であり、主に海上を撮影した画像であるが、海上に接した陸地及び当該陸地に設置された陸上物も含まれる。なお、注目画像における画素の輝度値は、主に、陸地及び陸上物や船舶が高輝度値となり、海上である水域は低輝度値となる。なお、注目画像は、衛星画像であることから、衛星の軌道や撮影装置の設定などの情報に基づく地球上における緯度・経度といった位置情報が関連付けられている。
　上記背景画像記憶部１６は、上記注目画像と同様に合成開口レーダによる衛星画像であり、図２中央図に示すように、注目画像の対象領域に対応する領域、つまり、対象領域とほぼ同一の領域である海上を撮影した画像である背景画像（対応画像）を記憶している。特に、背景画像は、海上といった対象領域に、当該領域内を移動する船舶が存在していないときの撮影画像である。このため、背景画像は、対象領域に船舶が存在しないとされる時間帯に撮影された画像であったり、あるいは、過去の複数の対象領域の画像をもとに船舶である移動体を取り除く画像処理を実施した画像にて構成される。例えば、背景画像は、後述するように、過去に対象領域を撮影した複数の撮影画像の位置合わせを行い、画素ごとに最小値を選択することで、船舶と判定されうる高輝度値の画素を取り除く処理が行われ、生成される。なお、背景画像は、衛星画像そのものあるいは衛星画像から生成されたものであるため、衛星の軌道や撮影装置の設定などの情報に基づく地球上における緯度・経度といった位置情報が関連付けられている。
　上記差分画像記憶部１７は、上記注目画像と上記背景画像との差分を表す差分画像を記憶する。具体的に、差分画像は、後述するように、注目画像と背景画像との相互に対応する画素の輝度値の差分を新たな画素値として生成される画像である。このため、差分画像は、例えば図２下図に示すように、注目画像において背景画像に対して輝度値の変化がある箇所が高輝度値となり、このため、特に、移動体が背景画像には存在していないが注目画像には存在している箇所が、周囲に対して高輝度値で表される画像となる。なお、差分画像は、衛星画像である注目画像と背景画像から生成されるものであるため、衛星の軌道や撮影装置の設定などの情報に基づく地球上における緯度・経度といった位置情報が関連付けられている。
　上記地理情報記憶部１８は、上記注目画像と上記背景画像とが撮影される対象領域の地図情報を記憶する。特に、地図情報は、対象領域の陸地の位置情報を含み、例えば、陸地の地球上における緯度・経度といった位置情報を含む。
　上記差分画像生成部１１（画像生成手段）は、注目画像記憶部１５から船舶を検出する処理の対象となる所定時刻に撮影された注目画像を読み出すと共に、背景画像記憶部１６から背景画像を読み出し、注目画像と背景画像とから差分画像を生成して、差分画像記憶部１７に記憶する。例えば、差分画像生成部１１は、図２上図に示す注目画像と、図２中央図に示す背景画像と、を位置情報や画像内の地形の類似度などに基づいて位置合わせし、相互に対応する画素の輝度値の差分を算出する。そして、差分画像生成部１１は、かかる差分を新たな画素値として、図２下図に示すような差分画像を生成する。これにより、生成される差分画像は、注目画像において背景画像に対して輝度値の変化がある箇所、つまり、特に移動体の箇所が、周囲に対して高輝度値で表される画像となる。ただし、差分画像は、上記以外の方法で生成されてもよい。例えば、衛星によって同一軌道で撮影されていない注目画像と背景画像との組み合わせを用いる場合には、軌道ごとの画像上の歪み方の違いを除いた変化を抽出できるような技術を適用して、注目画像と背景画像との位置合わせを行い、差分画像を生成してもよい。
　なお、差分画像生成部１１は、差分画像の生成に用いる背景画像を生成する機能を有していてもよい。この場合、差分画像生成部１１は、予め背景画像記憶部１６に記憶されている過去の複数の対象領域の撮影画像を取得し、これら複数の撮影画像を位置情報や画像内の地形の類似度などに基づいて位置合わせを行い、画素ごとに最小値を選択することで船舶と判定されうる高輝度値の画素を取り除く処理を行って、背景画像を生成する。但し、背景画像はいかなる方法で生成されてもよい。
　上記二値画像生成部１２（検出手段）は、上述した注目画像、背景画像、差分画像を、それぞれ二値化する処理を行う。このとき、二値画像生成部１２は、各画像において二値化する際の輝度値の閾値を決定する。以下では、まず、二値画像生成部１２による閾値設定処理について説明する。
　二値画像生成部１２は、まず、地理情報記憶部１８に記憶されている地理情報を用いて、注目画像上における水域（特定領域）を設定する。具体的に、二値画像生成部１２は、注目画像に含まれる位置情報と、陸地の位置情報を含む地理情報とから、注目画像上における陸地の位置を表す陸地領域（除外領域）を特定する。そして、二値画像生成部１２は、陸地領域の水域に隣接する陸地の縁を、さらに水域側に所定距離だけ広げた拡張陸地領域（拡張除外領域）を設定する。例えば、二値画像生成部１２は、注目画像において２０ピクセルほど、つまり、対象領域において２０ｍほど、陸地領域の水域に隣接する縁を水域側に拡張して、拡張陸地領域を設定する。そして、二値画像生成部１２は、注目画像全体の対象領域から拡張陸地領域を除外して、残りの領域を水域として設定する。これにより、二値画像生成部１２は、図３上図の点線で囲う領域で示すように、注目画像上に水域を設定する。
　また、二値画像生成部１２は、上述同様に、図３中央図の点線で囲う領域で示すように、背景画像に水域を設定し、図３下図の点線で囲う領域で示すように、差分画像に水域を設定する。以上のようにすることで、上述した陸地領域（除外領域）の精度では当該陸地領域に陸上物が完全に包含されていなかった場合であっても、陸地に隣接して位置する所定領域の水域が拡張陸地領域として除外される。このため、陸地に設置されるような桟橋やクレーンなどの陸上物を除外した水域を設定することができる。但し、二値画像生成部１２は、必ずしも上述した拡張陸地領域を設定して水域を設定することに限定されず、単に陸地領域を対象領域から除外して水域を設定してもよく、他の方法で水域を設定してもよい。
　続いて、二値画像生成部１２は、注目画像、背景画像、差分画像にそれぞれ設定した水域の画素の輝度値の分布を生成し、かかる分布から、二値化する際の輝度値の閾値を設定する。具体的に、二値画像生成部１２は、注目画像については、まず、図３上図の点線で囲う水域として設定した領域内の全ての画素の輝度値の分布を生成する。このとき、二値画像生成部１２は、例えば、輝度値の分布を何らかの関数に近似することによって、画素の輝度値の分布を生成する。そして、二値画像生成部１２は、生成した分布から、注目画像を二値化する輝度値の閾値を設定する。特に、二値画像生成部１２は、注目画像内の水域において、水域であると考えられる海上の輝度値と、水域に存在する物体と考えられる輝度値と、を切り分けられるような輝度値の閾値を設定する。そして、二値画像生成部１２は、注目画像について設定した閾値を用いて、注目画像全体における各画素の輝度値を二値化した二値画像（変換画像）を生成する。これにより、二値画像生成部１２は、注目画像から、図４上図に示すような二値画像を生成する。
　そして、二値画像生成部１２は、背景画像と差分画像とについても、それぞれ注目画像に対して行った処理と同様の処理を行い、それぞれの二値画像を生成する。具体的に、二値画像生成部１２は、背景画像について、図３中央図の点線で囲う水域として設定した領域内の全ての画素の輝度値の分布を生成し、かかる分布から、背景画像を二値化する輝度値の閾値を設定し、かかる閾値を用いて、背景画像から、図４中央図に示すような二値画像を生成する。このとき、二値画像生成部１２は、背景画像内の水域において、水域であると考えられる海上の輝度値と、水域に存在する物体と考えられる輝度値と、を切り分けられるような輝度値の閾値を設定する。また、二値画像生成部１２は、差分画像について、図３下図の点線で囲う水域として設定した領域内の全ての画素の輝度値の分布を生成し、かかる分布から、差分画像を二値化する輝度値の閾値を設定し、かかる閾値を用いて、差分画像から、図４下図に示すような二値画像を生成する。このとき、二値画像生成部１２は、差分画像内の水域において、水域であると考えられる海上の輝度値と、水域に存在する物体と考えられる輝度値と、を切り分けられるような輝度値の閾値を設定する。これにより、差分画像の二値画像は、注目画像と背景画像とで輝度値に変化がない画素と変化がある画素、つまり、水域であると考えられる画素と水域に存在する物体とかんがえられる画素、を区別可能な二値画像となる。
　上記候補画素抽出部１３（検出手段）は、上述したように生成した、注目画像、背景画像、差分画像のそれぞれの二値画像を用いて、船舶候補となる画素を抽出する。このとき、候補画素抽出部１３は、各二値画像において、各画素が水域（特定領域）であるか否かを二値画像毎にそれぞれ判定し、二値画像毎の判定結果に基づいて船舶候補となる画素を抽出する。例えば、候補画素抽出部１３は、着目した画素が、注目画像の二値画像では水域ではない、背景画像の二値画像では水域である、差分画像の二値画像では、水域ではない、つまり、画素値に変化がある、ことを満たす場合に、かかる画素を船舶候補となる画素として抽出する。これにより、例えば、図５の点線の矩形で囲った領域の画素が、船舶候補として抽出されることとなる。
　上記移動体検出部１４（検出手段）は、上述したように船舶候補として抽出した画素に基づいて、注目画像上に位置する船舶である移動体を検出する。例えば、移動体検出部１４は、船舶候補として抽出した画素間の距離に基づいて、複数の画素にて構成される図形を成形する。一例として、移動体検出部１４は、船舶候補として抽出した画素同士が相互に隣接するか一定の距離の範囲内に位置する場合に、これらの画素の集合を１つの図形として成形する。そして、移動体検出部１４は、例えば、成形した図形と、予め用意された船舶の形状を表すテンプレートと、を比較して、成形した図形がテンプレートと略同一であると判定した場合に、かかる成形した図形を船舶であるとして検出する。そして、移動体検出部１４は、図６に示すように、注目画像上において、実線の矩形で囲った白色の図形が船舶であることを検出する。なお、一つの図形として成形する画素の集合の判定基準は、多様な船舶の大きさに合わせて複数設定されていてもよい。
　［動作］
　次に、上述した画像処理装置１０の動作を、主に図７のフローチャートを参照して説明する。まず、画像処理装置１０は、事前に撮影した過去の複数の対象領域の画像を背景画像記憶部１６に記憶しており、船舶を検出する対象領域を撮影した注目画像を注目画像記憶部１５に記憶している。また、画像処理装置１０は、対象領域の陸地の位置情報を含む地理情報を地図情報記憶部１８に記憶している。
　まず、画像処理装置１０は、予め背景画像記憶部１６に記憶されている過去の複数の対象領域の撮影画像を取得する。そして、画像処理装置１０は、これら複数の撮影画像を位置情報に基づいて位置合わせを行い、画素ごとに最小値を選択することで船舶と判定されうる高輝度値の画素を取り除く処理を行って、背景画像を生成し、背景画像記憶部１６に記憶する（ステップＳ１）。例えば、画像処理装置１０は、図２中央図に示すような背景画像を生成する。なお、背景画像を生成する処理は無くてもよく、予め船舶といった移動体が存在しないと判定される画像を背景画像として記憶していてもよい。
　続いて、画像処理装置１０は、注目画像記憶部１５から船舶を検出する処理の対象となる所定時刻に撮影された図２上図に示すような注目画像を読み出すと共に、背景画像記憶部１６から図２中央図に示すような背景画像を読み出す。そして、画像処理装置１０は、注目画像と背景画像とから、相互に対応する画素の輝度値の差分を算出し、かかる差分を新たな画素値として差分画像を生成して、差分画像記憶部１７に記憶する（ステップＳ２）。例えば、画像処理装置１０は、図２下図に示すような差分画像を生成する。
　続いて、画像処理装置１０は、上述した注目画像、背景画像、差分画像のそれぞれに水域を設定する（ステップＳ３）。例えば、画像処理装置１０は、注目画像については、地理情報記憶部１８に記憶されている地理情報を用いて、注目画像上における陸地の位置を表す陸地領域を特定し、かかる陸地領域の水域に隣接する縁をさらに水域側に所定距離だけ広げた拡張陸地領域を設定する。そして、画像処理装置１０は、注目画像全体の対象領域から拡張陸地領域を除外して、残りの領域を水域として設定する。これにより、画像処理装置１０は、例えば、図３上図の点線で囲う領域で示すように、注目画像上に水域を設定する。そして、画像処理装置１０は、上述同様に、背景画像、差分画像にも、それぞれ図３中央図の点線、図３下図の点線に示すように水域を設定する。
　続いて、画像処理装置１０は、注目画像、背景画像、差分画像にそれぞれ設定した水域毎に、当該水域の画素の輝度値の分布を生成する（ステップＳ４）。例えば、画像処理装置１０は、輝度値の分布を何らかの関数に近似することによって、画素の輝度値の分布を生成する。そして、画像処理装置１０は、注目画像、背景画像、差分画像について生成したそれぞれの分布から、各画像をそれぞれ二値化する際の輝度値の閾値を設定する（ステップＳ５）。例えば、画像処理装置１０は、注目画像、背景画像、差分画像のそれぞれについて、水域であると考えられる海上の輝度値と、水域に存在する物体と考えられる輝度値と、を切り分けられるような輝度値の閾値を設定する。なお、差分画像については、注目画像と背景画像とで輝度値に変化がない画素と変化がある画素、を切り分けられるような輝度値の閾値を設定するともいえる。
　そして、画像処理装置１０は、注目画像、背景画像、差分画像を、それぞれについて設定した閾値を用いて、各画素の輝度値を二値化した二値画像を生成する（ステップＳ６）。これにより、画像処理装置１０は、注目画像、背景画像、差分画像のそれぞれから、図４上図、図４中央図、図４下図にそれぞれに示すような二値画像を生成する。
　続いて、画像処理装置１０は、上述したように生成した、注目画像、背景画像、差分画像のそれぞれの二値画像を用いて、船舶候補となる画素を抽出する（ステップＳ７）。例えば、画像処理装置１０は、各二値画像において、各画素が水域であるか否かを二値画像毎にそれぞれ判定し、二値画像毎の判定結果に基づいて船舶候補となる画素を抽出する。本実施形態では、特に、画像処理装置１０は、着目した画素が、注目画像の二値画像では水域ではない、背景画像の二値画像では水域である、差分画像の二値画像では、水域ではない、つまり、画素値に変化がある、ことを満たす場合に、かかる画素を船舶候補となる画素として抽出する。これにより、例えば、図５の点線の矩形で囲った領域の画素が、船舶候補として抽出されることとなる。
　その後、画像処理装置１０は、上述したように船舶候補として抽出した画素に基づいて、注目画像上に位置する船舶である移動体を検出する（ステップＳ８）。例えば、画像処理装置１０は、船舶候補として抽出した画素間の距離に基づいて、複数の画素にて構成される図形を成形し、かかる図形がテンプレートなどの基準を満たす場合に、船舶として検出する。例えば、画像処理装置１０は、図６に示すように、注目画像上において、実線の矩形で囲った白色の図形が船舶であることを検出する。
　以上のように、本実施形態では、船舶である移動体を検出する対象となる対象画像と、背景画像と、これらの差分画像と、を用いることで、陸地や陸上物の影響を抑制し、精度よく船舶を検出することができる。特に、本実施形態では、対象画像と背景画像と差分画像との二値画像を用いたり、対象画像と背景画像と差分画像とにそれぞれ設定した水域の輝度値分布を用いて二値化したり、このとき拡張した陸地を取り除いた水域を設定することで、より精度よく船舶を検出することができる。
　ここで、上記では、画像処理装置１０は、注目画像に出現した船舶を検出する場合を例示したが、上述した候補画素抽出部１３において、船舶候補として画素を抽出する基準を変更することで、様々な船舶の検出に対応することができる。例えば、候補画素抽出部１３において以下の容易に候補画素を抽出する基準を変更することで、背景画像から消失した船舶、つまり、背景画像では停泊していた船舶が注目画像では消失した船舶、を検出することも可能である。この場合、候補画素抽出部１３は、着目した画素が、注目画像の二値画像では水域である、背景画像の二値画像では水域ではない、差分画像の二値画像では、水域ではない、つまり、画素値に変化がある、ことを満たす場合に、かかる画素を消失した船舶の候補となる画素として抽出する。
　また、画像処理装置１０は、水域である海上の船舶を検出することに限らず、いかなる領域において、いかなる移動体を検出することにも対応することができる。例えば、画像処理装置１０は、飛行場といった領域を撮影して、航空機といった移動体を検出してもよい。この場合、まず、上述した水域（特定領域）を、舗装された地面、として置き換える。つまり、上述した二値画像生成部１２は、注目画像、背景画像、差分画像から、図３の点線で示す水域に代わって、舗装された地面の領域を設定する。そして、かかる舗装された地面の領域の輝度値の分布を生成し、二値化する際の閾値を決定し、注目画像、背景画像、差分画像の二値画像をそれぞれ生成する。そして、上述した候補画素抽出部１３は、着目した画素が、注目画像の二値画像では舗装地面ではない、背景画像の二値画像では舗装地面である、差分画像の二値画像では、舗装地面ではない、つまり、画素値に変化がある、ことを満たす場合に、かかる画素を航空機の候補となる画素として抽出する。
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図８乃至図１０を参照して説明する。図８乃至図９は、実施形態２における画像処理装置の構成を示すブロック図であり、図１０は、画像処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した画像処理装置及び画像処理方法の構成の概略を示している。
　まず、図８を参照して、本実施形態における画像処理装置１００のハードウェア構成を説明する。画像処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３（記憶装置）
　・ＲＡＭ１０３にロードされるプログラム群１０４
　・プログラム群１０４を格納する記憶装置１０５
　・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
　・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
　・データの入出力を行う入出力インタフェース１０８
　・各構成要素を接続するバス１０９
　そして、画像処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図９に示す画像生成手段１２１と検出手段１２２とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した画像生成手段１２１と検出手段１２２とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
　なお、図８は、画像処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
　そして、画像処理装置１００は、上述したようにプログラムによって構築された画像生成手段１２１と検出手段１２２との機能により、図１０のフローチャートに示す画像処理方法を実行する。
　図１０に示すように、画像処理装置１００は、
　移動体を検出する対象となる領域の画像である対象画像と、当該対象画像の領域に対応する領域の他の画像である対応画像と、の差分を表す差分画像を生成し（ステップＳ１０１）、
　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する（ステップＳ１０２）、
という処理を実行する。
　本発明は、以上のように構成されることにより、移動体を検出する対象となる対象画像と、背景画像と、これらの差分画像と、を用いることで、移動体が移動しうる場所とは異なる領域やかかる領域に存在する物体の影響を抑制し、精度よく移動体を検出することができる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した画像生成手段１２１と検出手段１２２との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理方法、画像処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成し、
　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する、
画像処理方法。
（付記２）
　付記１に記載の画像処理方法であって、
　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定されるそれぞれの特定領域内の画素の輝度値に基づいて、前記移動体を抽出する、
画像処理方法。
（付記３）
　付記２に記載の画像処理方法であって、
　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定される除外領域をさらに広げた拡張除外領域を設定し、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域から前記拡張除外領域を除外した残りの領域をそれぞれの前記特定領域とする、
画像処理方法。
（付記４）
　付記２又は３に記載の画像処理方法であって、
　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について当該特定領域内の画素の輝度値の分布を生成し、それぞれの前記特定領域について生成した前記分布に基づいて前記移動体を抽出する、
画像処理方法。
（付記５）
　付記４に記載の画像処理方法であって、
　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれについて前記特定領域を検出可能な画像である変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
画像処理方法。
（付記６）
　付記５に記載の画像処理方法であって、
　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれを二値化する輝度値の閾値をそれぞれ設定し、当該閾値を用いて前記対象画像と前記対応画像と前記差分画像とを二値化した前記変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
画像処理方法。
（付記７）
　付記５又は６に記載の画像処理方法であって、
　前記変換画像のそれぞれに基づいて、当該各変換画像内の画素が前記特定領域であるか否かを判定し、判定結果に基づいて前記移動体を抽出する、
画像処理方法。
（付記８）
　付記５乃至７のいずれかに記載の画像処理方法であって、
　前記変換画像のそれぞれに基づいて、前記対象画像においては前記特定領域ではなく、前記対応画像においては前記特定領域であり、前記差分画像においては輝度値の変化がある、と判定される画素を検出し、当該検出した画素に基づいて前記移動体を抽出する、
画像処理方法。
（付記９）
　付記２乃至８のいずれかに記載の画像処理方法であって、
　前記特定領域は、水域である、
画像処理方法。
（付記１０）
　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成する画像生成手段と、
　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する検出手段と、
を備えた画像処理装置。
（付記１１）
　付記１０に記載の画像処理装置であって、
　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定されるそれぞれの特定領域内の画素の輝度値に基づいて、前記移動体を抽出する、
画像処理装置。
（付記１２）
　付記１１に記載の画像処理装置であって、
　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定される除外領域をさらに広げた拡張除外領域を設定し、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域から前記拡張除外領域を除外した残りの領域をそれぞれの前記特定領域とする、
画像処理装置。
（付記１３）
　付記１１又は１２に記載の画像処理装置であって、
　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について当該特定領域内の画素の輝度値の分布を生成し、それぞれの前記特定領域について生成した前記分布に基づいて前記移動体を抽出する、
画像処理装置。
（付記１４）
　付記１３に記載の画像処理装置であって、
　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれについて前記特定領域を検出可能な画像である変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
画像処理装置。
（付記１５）
　付記１４に記載の画像処理装置であって、
　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれを二値化する輝度値の閾値をそれぞれ設定し、当該閾値を用いて前記対象画像と前記対応画像と前記差分画像とを二値化した前記変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
画像処理装置。
（付記１６）
　付記１４又は１５に記載の画像処理装置であって、
　前記検出手段は、前記変換画像のそれぞれに基づいて、当該各変換画像内の画素が前記特定領域であるか否かを判定し、判定結果に基づいて前記移動体を抽出する、
画像処理装置。
（付記１７）
　付記１４乃至１６のいずれかに記載の画像処理装置であって、
　前記検出手段は、前記変換画像のそれぞれに基づいて、前記対象画像においては前記特定領域ではなく、前記対応画像においては前記特定領域であり、前記差分画像においては輝度値の変化がある、と判定される画素を検出し、当該検出した画素に基づいて前記移動体を抽出する、
画像処理装置。
（付記１８）
　情報処理装置に、
　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成する画像生成手段と、
　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する検出手段と、
を実現させるためのプログラムを記憶したコンピュータにてより取り可能な記憶媒体。
１０　画像処理装置
１１　差分画像生成部
１２　二値画像生成部
１３　候補画素抽出部
１４　移動体検出部
１５　注目画像記憶部
１６　背景画像記憶部
１７　差分画像記憶部
１８　地理情報記憶部
１００　画像処理装置
１０１　ＣＰＵ
１０２　ＲＯＭ
１０３　ＲＡＭ
１０４　プログラム群
１０５　記憶装置
１０６　ドライブ装置
１０７　通信インタフェース
１０８　入出力インタフェース
１０９　バス
１１０　記憶媒体
１１１　通信ネットワーク
１２１　画像生成手段
１２２　検出手段
 

Claims (18)

  1. 　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成し、
    　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する、
    画像処理方法。
  2. 　請求項１に記載の画像処理方法であって、
    　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定されるそれぞれの特定領域内の画素の輝度値に基づいて、前記移動体を抽出する、
    画像処理方法。
  3. 　請求項２に記載の画像処理方法であって、
    　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定される除外領域をさらに広げた拡張除外領域を設定し、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域から前記拡張除外領域を除外した残りの領域をそれぞれの前記特定領域とする、
    画像処理方法。
  4. 　請求項２又は３に記載の画像処理方法であって、
    　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について当該特定領域内の画素の輝度値の分布を生成し、それぞれの前記特定領域について生成した前記分布に基づいて前記移動体を抽出する、
    画像処理方法。
  5. 　請求項４に記載の画像処理方法であって、
    　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれについて前記特定領域を検出可能な画像である変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
    画像処理方法。
  6. 　請求項５に記載の画像処理方法であって、
    　前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれを二値化する輝度値の閾値をそれぞれ設定し、当該閾値を用いて前記対象画像と前記対応画像と前記差分画像とを二値化した前記変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
    画像処理方法。
  7. 　請求項５又は６に記載の画像処理方法であって、
    　前記変換画像のそれぞれに基づいて、当該各変換画像内の画素が前記特定領域であるか否かを判定し、判定結果に基づいて前記移動体を抽出する、
    画像処理方法。
  8. 　請求項５乃至７のいずれかに記載の画像処理方法であって、
    　前記変換画像のそれぞれに基づいて、前記対象画像においては前記特定領域ではなく、前記対応画像においては前記特定領域であり、前記差分画像においては輝度値の変化がある、と判定される画素を検出し、当該検出した画素に基づいて前記移動体を抽出する、
    画像処理方法。
  9. 　請求項２乃至８のいずれかに記載の画像処理方法であって、
    　前記特定領域は、水域である、
    画像処理方法。
  10. 　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成する画像生成手段と、
    　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する検出手段と、
    を備えた画像処理装置。
  11. 　請求項１０に記載の画像処理装置であって、
    　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定されるそれぞれの特定領域内の画素の輝度値に基づいて、前記移動体を抽出する、
    画像処理装置。
  12. 　請求項１１に記載の画像処理装置であって、
    　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定される除外領域をさらに広げた拡張除外領域を設定し、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域から前記拡張除外領域を除外した残りの領域をそれぞれの前記特定領域とする、
    画像処理装置。
  13. 　請求項１１又は１２に記載の画像処理装置であって、
    　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について当該特定領域内の画素の輝度値の分布を生成し、それぞれの前記特定領域について生成した前記分布に基づいて前記移動体を抽出する、
    画像処理装置。
  14. 　請求項１３に記載の画像処理装置であって、
    　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれについて前記特定領域を検出可能な画像である変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
    画像処理装置。
  15. 　請求項１４に記載の画像処理装置であって、
    　前記検出手段は、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれを二値化する輝度値の閾値をそれぞれ設定し、当該閾値を用いて前記対象画像と前記対応画像と前記差分画像とを二値化した前記変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体を抽出する、
    画像処理装置。
  16. 　請求項１４又は１５に記載の画像処理装置であって、
    　前記検出手段は、前記変換画像のそれぞれに基づいて、当該各変換画像内の画素が前記特定領域であるか否かを判定し、判定結果に基づいて前記移動体を抽出する、
    画像処理装置。
  17. 　請求項１４乃至１６のいずれかに記載の画像処理装置であって、
    　前記検出手段は、前記変換画像のそれぞれに基づいて、前記対象画像においては前記特定領域ではなく、前記対応画像においては前記特定領域であり、前記差分画像においては輝度値の変化がある、と判定される画素を検出し、当該検出した画素に基づいて前記移動体を抽出する、
    画像処理装置。
  18. 　情報処理装置に、
    　移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成する画像生成手段と、
    　前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体を検出する検出手段と、
    を実現させるためのプログラムを記憶したコンピュータにてより取り可能な記憶媒体。
     
PCT/JP2020/016962 2020-04-17 2020-04-17 画像処理方法 WO2021210181A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/016962 WO2021210181A1 (ja) 2020-04-17 2020-04-17 画像処理方法
US17/918,156 US20230133519A1 (en) 2020-04-17 2020-04-17 Image processing method
EP20931455.8A EP4138031B1 (en) 2020-04-17 2020-04-17 Image processing method
JP2022515180A JP7509197B2 (ja) 2020-04-17 2020-04-17 画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/016962 WO2021210181A1 (ja) 2020-04-17 2020-04-17 画像処理方法

Publications (1)

Publication Number Publication Date
WO2021210181A1 true WO2021210181A1 (ja) 2021-10-21

Family

ID=78084761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016962 WO2021210181A1 (ja) 2020-04-17 2020-04-17 画像処理方法

Country Status (4)

Country Link
US (1) US20230133519A1 (ja)
EP (1) EP4138031B1 (ja)
JP (1) JP7509197B2 (ja)
WO (1) WO2021210181A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097551B (zh) * 2024-02-29 2024-08-16 上海天齐智能建筑股份有限公司 一种基于机器视觉的安防监控系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09288732A (ja) * 1996-04-23 1997-11-04 Mitsubishi Heavy Ind Ltd 航行船舶認識装置
JP2003302898A (ja) * 2002-04-11 2003-10-24 Hitachi Ltd 地図解析装置及びその実現のためのプログラム
JP2004227527A (ja) * 2003-01-27 2004-08-12 Fujitsu Ltd 画像処理方法、その方法をコンピュータに行わせるプログラム、そのプログラムを記録する記録媒体
JP2013120412A (ja) * 2011-12-06 2013-06-17 Samsung Techwin Co Ltd 物体検出装置、監視カメラ、及び物体検出方法
JP2019175142A (ja) 2018-03-28 2019-10-10 株式会社Ihi 船舶検出装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651880B (zh) * 2016-12-27 2020-04-14 首都师范大学 基于多特征融合的热红外遥感影像的海上动目标检测方法
CN107563985B (zh) * 2017-08-31 2020-08-25 成都空御科技有限公司 一种红外图像空中运动目标的检测方法
CN108230364B (zh) * 2018-01-12 2022-02-11 东南大学 一种基于神经网络的前景物体运动状态分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09288732A (ja) * 1996-04-23 1997-11-04 Mitsubishi Heavy Ind Ltd 航行船舶認識装置
JP2003302898A (ja) * 2002-04-11 2003-10-24 Hitachi Ltd 地図解析装置及びその実現のためのプログラム
JP2004227527A (ja) * 2003-01-27 2004-08-12 Fujitsu Ltd 画像処理方法、その方法をコンピュータに行わせるプログラム、そのプログラムを記録する記録媒体
JP2013120412A (ja) * 2011-12-06 2013-06-17 Samsung Techwin Co Ltd 物体検出装置、監視カメラ、及び物体検出方法
JP2019175142A (ja) 2018-03-28 2019-10-10 株式会社Ihi 船舶検出装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4138031A4

Also Published As

Publication number Publication date
US20230133519A1 (en) 2023-05-04
EP4138031A1 (en) 2023-02-22
JP7509197B2 (ja) 2024-07-02
JPWO2021210181A1 (ja) 2021-10-21
EP4138031A4 (en) 2023-06-14
EP4138031B1 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
US9142011B2 (en) Shadow detection method and device
JP6977873B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
US11361547B2 (en) Object detection apparatus, prediction model generation apparatus, object detection method, and program
JP6319785B2 (ja) 異常潮位変動検知装置、異常潮位変動検知方法、及び異常潮位変動検知プログラム
KR101589814B1 (ko) 연안에서의 객체 인식 장치 및 그 방법
WO2011061943A1 (ja) 画像修復システム、画像修復方法及び画像修復プログラム
US11841421B2 (en) Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program
KR101480220B1 (ko) 객체 인식 장치 및 그 방법
KR102053906B1 (ko) 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템
KR101681178B1 (ko) 위성 영상 처리 방법 및 장치
WO2021210181A1 (ja) 画像処理方法
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
KR20160034196A (ko) 도전 입자 형상 평가 장치 및 도전 입자 형상 평가 방법
WO2022064687A1 (ja) 画像処理方法
WO2022247684A1 (zh) 基站馈线检测方法、系统及相关装置
John et al. Automatic number plate localization using dynamic thresholding and morphological operations
Gharib Bafghi et al. A new algorithm for void filling in a DSM from stereo satellite images in urban areas
Mori et al. Classification of pole-like objects using point clouds and images captured by mobile mapping systems
KR101850617B1 (ko) 케이블 교량의 처짐 모니터링 시스템 및 케이블 교량의 처짐 모니터링 방법
KR101050730B1 (ko) 활주로 보조선 기반의 무인 항공기 위치 제어장치 및 그 제어방법
JP6217479B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
KR102156488B1 (ko) 차량 번호판의 검출 방법
AU2015318811A1 (en) Arc detection system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931455

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022515180

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020931455

Country of ref document: EP

Effective date: 20221117

NENP Non-entry into the national phase

Ref country code: DE