WO2023053830A1 - 画像処理装置、画像処理方法および記録媒体 - Google Patents

画像処理装置、画像処理方法および記録媒体 Download PDF

Info

Publication number
WO2023053830A1
WO2023053830A1 PCT/JP2022/032697 JP2022032697W WO2023053830A1 WO 2023053830 A1 WO2023053830 A1 WO 2023053830A1 JP 2022032697 W JP2022032697 W JP 2022032697W WO 2023053830 A1 WO2023053830 A1 WO 2023053830A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
annotation
data
candidate
target
Prior art date
Application number
PCT/JP2022/032697
Other languages
English (en)
French (fr)
Inventor
響子 室園
あずさ 澤田
健太 先崎
広宣 森
勝也 小高
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023550483A priority Critical patent/JPWO2023053830A5/ja
Publication of WO2023053830A1 publication Critical patent/WO2023053830A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to an image processing device and the like.
  • the movement interpretation system of Patent Document 1 is a system that determines whether or not an object has been lost by image processing.
  • the movement interpretation system of Patent Literature 1 generates correct data indicating that the house in the image has disappeared based on the comparison result of two image data taken at different times.
  • Patent Literature 1 if the target object of the annotation is an object that is difficult to discriminate, the accuracy of assigning the correct answer may decrease.
  • An object of the present invention is to provide an image processing apparatus and the like capable of improving accuracy while performing annotations efficiently, in order to solve the above problems.
  • the image processing apparatus of the present invention includes area setting means for setting, as a candidate area, an area in which an annotation target object may exist in an annotation target image;
  • a reference image extracting means for extracting a reference image, which is an image of an object, from an image for which annotation has been completed; an annotation target image;
  • the image forming apparatus includes data generating means for generating data for associating the reference image and the standard image as data for annotation, and output means for outputting the data for annotation generated by the data generating means.
  • an area in which an object to be annotated may exist is set as a candidate area, and a reference image, which is an image in which the same object as the target object is photographed, is set.
  • a recording medium includes a process of setting an area in an annotation target image in which an annotation target object may exist as a candidate area; are extracted from images for which annotation has been completed, and the data associated with the target image of annotation, the reference image taken at a different time than the target image of annotation for the region containing the candidate region, and the reference image is used for annotation.
  • An image processing program for causing a computer to execute a process of generating data and a process of outputting the generated annotation data is recorded.
  • FIG. 1 is a diagram showing an overview of the configuration of a first embodiment of the present invention
  • FIG. It is a figure showing an example of composition of an image processing device of a 1st embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of a target image according to the first embodiment of the present invention;
  • FIG. 4 is a diagram showing a setting example of candidate areas according to the first embodiment of the present invention;
  • FIG. 4 is a diagram showing a setting example of candidate areas according to the first embodiment of the present invention;
  • FIG. 4 is a diagram showing a setting example of candidate areas according to the first embodiment of the present invention;
  • FIG. 4 is a diagram showing an example of a reference image according to the first embodiment of the present invention;
  • FIG. 4 is a diagram showing an example of a reference image according to the first embodiment of the present invention
  • FIG. 4 is a diagram showing an example of output data according to the first embodiment of this invention
  • FIG. 4 is a diagram showing an example of output data according to the first embodiment of this invention
  • FIG. 4 is a diagram showing an example of output data according to the first embodiment of this invention
  • FIG. 4 is a diagram showing an example of output data according to the first embodiment of this invention
  • FIG. 4 is a diagram showing an example of output data according to the first embodiment of this invention
  • FIG. 4 is a diagram showing an example of output data according to the first embodiment of this invention
  • FIG. It is a figure which shows the example of the operation
  • FIG. 4 is a diagram showing another configuration example of the embodiment of the present invention.
  • FIG. 1 is a diagram showing an overview of the configuration of an image processing system according to this embodiment.
  • the image processing system includes an image processing device 10 and a terminal device 30 .
  • the image processing device 10 and the terminal device 30 are connected via a network.
  • the image processing system of this embodiment is a system that performs annotation-related processing on images.
  • Annotation-related processing is, for example, outputting an image to be annotated, and based on the input result of the operator's operation, extracting information specifying the object existing in the image and information on the area where the object exists. , to associate with an image.
  • the information associated with the image may be either information specifying an object present in the image or an area in which the object exists.
  • the information associated with the image is not limited to these.
  • the image processing system for example, performs annotation processing on an image acquired using a synthetic aperture radar (SAR). Data generated using an image processing system can be used, for example, as teacher data in machine learning.
  • SAR synthetic aperture radar
  • FIG. 2 is a diagram showing an example of the configuration of the image processing apparatus 10.
  • the image processing apparatus 10 includes an area setting section 11 , an area extraction section 12 , a reference image extraction section 13 , a data generation section 14 , an output section 15 , an input section 16 and a storage section 20 .
  • the storage unit 20 includes a target image storage unit 21, a reference image storage unit 22, an area information storage unit 23, and an annotation result storage unit 24.
  • the region setting unit 11 sets a region in which an annotation target object may exist as a candidate region in the annotation target image.
  • an image to be annotated that is, an image to be subjected to annotation processing is also referred to as a target image.
  • the area setting unit 11 sets areas in which the target object may exist as candidate areas in the target image.
  • the region setting unit 11 reads, for example, the target image to be processed from the target image storage unit 21 .
  • the region setting unit 11 stores the range of candidate regions on the target image in the region information storage unit 23 .
  • the region setting unit 11 expresses the range of the candidate region on the target image by, for example, coordinates in the target image and stores it in the region information storage unit 23 .
  • the target image is added with, for example, information on the shooting location and date and time.
  • FIG. 3 is a diagram showing an example of a target image.
  • FIG. 3 is an example of image data captured by a synthetic aperture radar.
  • the elliptical and rectangular areas in FIG. 3 indicate, for example, areas where the reflected waves are different from the surroundings, that is, areas where objects may exist.
  • the perimeters of the elliptical and rectangular regions correspond, for example, to the sea.
  • the gray area on the right side of FIG. 3 corresponds to land, for example.
  • the area setting unit 11 sets an area where the state of the reflected wave is different from that of the surrounding area as a candidate area where the target object may exist.
  • the region setting unit 11 identifies a region in the target image that has a luminance different from its surroundings, and sets a rectangular region including the identified region as a candidate region.
  • FIG. 4 shows an example in which candidate areas are set as candidate areas W on the target image.
  • the area setting unit 11 sets a rectangular area having a luminance different from that of its surroundings as a candidate area in which the target object may exist.
  • the candidate area W is set in the area enclosed by the dotted line from the upper right corner of the target image.
  • the area setting unit 11 identifies all locations where the target object may exist in one target image and sets them as candidate areas.
  • the area setting unit 11 sets a plurality of candidate areas by, for example, sliding the candidate areas in the target image.
  • the region setting unit 11 sets a plurality of candidate regions, for example, so as to cover all of the candidate regions existing in the target image.
  • 5 and 6 are diagrams showing examples of operations for setting a plurality of candidate areas.
  • the area setting unit 11 sets a plurality of candidate areas W by sequentially sliding the candidate area W set in the upper left corner area of the target image in the right direction. Further, as shown in FIG. 6, the area setting unit 11 slides the candidate area W downward from the initial position in FIG. You may At this time, the candidate areas may or may not overlap each other.
  • the method of sliding candidate areas when setting a plurality of candidate areas is not limited to the above example. For example, when the candidate area is slid, the area setting unit 11 saves information indicating the range of the candidate area in the area information storage unit 23 if there is an area in the candidate area whose luminance change satisfies the reference.
  • the area setting unit 11 may compare the position where the target image was obtained with the map information, and set a candidate area within the area preset for the target image. For example, when the target object is a ship, the candidate area may be set in areas where the ship may exist, such as seas, rivers and lakes. In such a case, the area setting unit 11, for example, refers to map information and sets candidate areas only within areas of seas, rivers, and lakes.
  • the area extraction unit 12 extracts the image of the area corresponding to the candidate area from the reference image as the corresponding image. Further, the area extracting unit 12 extracts an image of an area corresponding to the candidate area from the target image as a candidate image.
  • a reference image is an image used as a comparison object for determining whether a target object exists in the target image. Also, the reference image is an image acquired at a different time than the target image in an area including the area of the target image. A plurality of reference images may correspond to one target image.
  • a reference image is, for example, an image of an area including an area in which the target image was shot in the same method as the target image, but taken at a time different from that of the target image. For example, among images taken at the same point every day at the same time, one image is set as a target image, and images taken on other days are used as reference images. The cycle of image capturing and the time of capturing may not be constant.
  • the reference image is added with, for example, information on the shooting location and date and time.
  • the area extraction unit 12 reads the reference image from the reference image storage unit 22, for example.
  • the area extraction unit 12 identifies areas corresponding to the candidate areas on the reference image based on the candidate area information stored in the area information storage unit 23 .
  • the area extraction unit 12 extracts an image of an area corresponding to the candidate area from the reference image as a corresponding image.
  • the area extraction unit 12 may use the target image including the candidate area as the candidate image without extracting the candidate image from the target image.
  • the region extracting unit 12 may refer to the position information added to the image and set the reference image including the candidate region as the corresponding image corresponding to the candidate region without extracting the target image from the reference image.
  • FIG. 7 is a diagram showing an example of a reference image.
  • FIG. 7 shows an example in which the number of elliptical objects is different from the target image shown in FIG. 3 because the reference image is an image acquired at a different time than the target image.
  • FIG. 8 is a diagram showing an example of candidate areas W corresponding to candidate areas on the target image. The example of FIG. 8 shows a case where the area extracting unit 12 identifies a candidate area W set near an elliptical object on the reference image and extracts an image within the candidate area as a corresponding image.
  • the region extracting unit 12 extracts images of regions corresponding to candidate regions from two reference images.
  • the two reference images are images taken at different times than the target image.
  • the area extraction unit 12 extracts, for example, images in candidate areas of the target image as corresponding images G2 and G3 corresponding to the candidate image G1.
  • the region extraction unit 12 extracts the corresponding image G2 from the reference image A acquired one day before the target image was acquired by the synthetic aperture radar, and extracts the corresponding image G3 from the reference image B acquired two days before. to extract
  • the area extraction unit 12 associates the candidate image G1, the corresponding image G2, and the corresponding image G3.
  • the number of corresponding images associated with one candidate image does not have to be two, and is set according to the number of reference images. Also, the number of reference images can be set as appropriate.
  • the reference image extraction unit 13 extracts a reference image, which is an image in which the same object as the target object is captured, from the image for which annotation has been completed.
  • the reference image extraction unit 13 searches for image data with completed annotations stored as annotation completion data in the annotation result storage unit 24, and extracts an image in which the same object as the target object is photographed as a reference image. .
  • Identical objects include similar objects.
  • As the reference image for example, among images for which annotation has been completed, an image that has been determined to be correct in verification of the result of annotation is used. Verification of annotation results is performed using an optical image, for example, when the target image is captured by a synthetic aperture radar.
  • Images for which annotation has been completed may be associated with images for which the judgment result at the time of annotation is incorrect.
  • An image with an incorrect judgment result when annotated is, for example, an annotated image when judged using an image taken by another method, and the type of object judged in the annotation is This is the image that was identified as wrong.
  • an annotation operator determines that the object existing in the candidate area is a ship.
  • the reference image extraction unit 13 uses the image for which annotation has been completed and the incorrect image associated with the image for which annotation has been completed as reference images. Extract.
  • the reference image extracting unit 13 sets an image for which annotation has been completed as a correct image, and extracts a set of a correct image and an incorrect image as reference images.
  • the reference image extracting unit 13 compares the similarity between the candidate image and the image for which annotation has been completed, and determines that they are similar when the similarity is equal to or higher than the reference.
  • the reference image extraction unit 13 determines whether the object in the candidate image is the same as the object in the image for which annotation has been completed, based on, for example, similarity in map coordinates and similarity in image feature quantity.
  • the reference image extracting unit 13 may determine whether the object in the candidate image is the same as the object in the image for which annotation has been completed, based on items other than the above.
  • the reference image extracting unit 13 determines whether the photographed object is the same as the candidate image for the images for which annotation has been completed and whose photographing positions have been determined to be the same.
  • the reference image extracting unit 13 determines whether the shooting positions of the candidate image and the annotated image are the same based on, for example, the distance between the central coordinates of the candidate image and the annotated image.
  • the reference image extraction unit 13 determines that the photographing positions are the same when the distance between the center coordinates of the candidate image and the image for which annotation has been completed is equal to or less than the reference.
  • the reference image extraction unit 13 uses, for example, feature point matching when determining whether the object in the candidate image and the object in the image for which annotation has been completed are the same based on the similarity of the image feature amount, The similarity of image feature amounts between images is calculated.
  • the reference image extraction unit 13 extracts feature points from, for example, the candidate images and the images for which annotation has been completed, and when the similarity of the feature points satisfies the reference, the two images identify the same object. It is determined that the image is a photographed image.
  • a method for determining similarity of image features using feature point matching is described, for example, in P.F. Alcantarilla, J. Nuevo and A.
  • the reference image extraction unit 13 may calculate the similarity of the image feature amount using a method other than the feature point matching method. You may calculate the similarity of a feature-value.
  • the reference image extraction unit 13 extracts each image of the annotation completion data stored in the annotation result storage unit 24 and the annotation data. are compared to extract a reference image. For example, if there is no image with the same photographing position, the reference image extracting unit 13 extracts all the annotation-completed images stored in the annotation result storage unit 24, and extracts the similarity of the image feature amount. An image that satisfies the criteria of is extracted as a reference image.
  • the reference image extraction unit 13 may further use similarity in size of objects present in the image to determine whether the object in the candidate image and the object in the image for which annotation has been completed are the same. In such a case, for each of the two images, for example, the relationship between the number of pixels and the actual distance is set in advance.
  • the reference image extracting unit 13 determines, for example, the similarity in size of an object on two images based on the ratio or difference in area of the object present in each image. When the size similarity standard is set based on, for example, the ratio of the areas of the objects present in the two images, the reference image extracting unit 13 detects that the ratio of areas is within the reference range. Sometimes we determine that the size of an object on the two images is the same.
  • the reference image extracting unit 13 determines whether the difference in area is within the standard. At some point, it is determined that the size of the object on the two images is the same.
  • the data generation unit 14 generates, as annotation data, data that associates an annotation target image, a reference image, and a standard image.
  • a reference image is an image of an area including a candidate area that is captured at a time different from that of the image to be annotated.
  • the data generating unit 14 generates annotation data by associating, for example, an image to be annotated, that is, a candidate image obtained by extracting a candidate region from a target image, a corresponding image obtained by extracting a candidate image from a reference image, and a reference image. Generate.
  • the data generation unit 14 may generate annotation data by associating the candidate image, the corresponding image, and an image obtained by enlarging the vicinity of the candidate image in the reference image.
  • the data generation unit 14 outputs the generated annotation data to the terminal device 30 via the output unit 15, for example.
  • the data generation unit 14 may generate, as annotation data, display data for displaying the candidate image, the corresponding image, and the reference image so that they can be compared.
  • the display data displayed so as to be able to be compared is, for example, display data in a state in which the operator can compare two images by arranging them in the horizontal direction. say.
  • the data generator 14 may output the generated display data to a display device (not shown) connected to the image processing device 10 .
  • the data generating unit 14 When an incorrect image is associated with the reference image extracted by the reference image extracting unit 13, the data generating unit 14 generates annotation data as a set of the correct image and the incorrect image as the reference image.
  • FIG. 9 shows an example of a display screen that displays a candidate image output as annotation data, a corresponding image, and a reference image so that they can be compared.
  • the reference images are displayed as a set of a correct image and an incorrect image.
  • the image P1 in FIG. 9 is the correct image among the reference images.
  • the image N1 in FIG. 9 is an incorrect image among the reference images.
  • information about the size of the target object and the position where the image was taken is added to the images of P1 and N1. Items of information added to the reference image are not limited to these.
  • the image of G1 in FIG. 9 is a candidate image, that is, an image corresponding to a candidate area on the target image.
  • Images G2 and G3 in FIG. 9 are corresponding images, that is, images corresponding to candidate areas on the reference image.
  • Images G2 and G3 are images on the reference image taken at different times.
  • the data generation unit 14 generates annotation completion data based on information about annotations.
  • Information about the annotation is input to the terminal device 30 as annotation information by the operator's operation.
  • the annotation information is, for example, an image to be annotated, that is, information specifying the type of target object on the target image, and information specifying an area where the object exists on the image.
  • the data generation unit 14 acquires, for example, information specifying an area in which an object exists from the annotation information as a rectangular area surrounding the object on the candidate image.
  • the data generation unit 14 generates, as annotation completion data, data in which the candidate image is associated with the type of object on the candidate image and information on the area in which the object exists.
  • a region indicated by annotation information is also called an annotation region.
  • the data generation unit 14 stores the generated annotation completion data in the annotation result storage unit 24 .
  • the setting of the annotation area is not limited to the method of enclosing the area with rectangular lines.
  • the annotation area may be set by filling the annotation area.
  • FIG. 10 shows an example of the display screen when the annotation area is set on the display screen of FIG.
  • a rectangular line is set around the elliptical object as a line indicating the annotation area.
  • rectangular lines are also displayed at corresponding positions for G2 and G3, which are the corresponding images.
  • FIG. 11 is a diagram showing only the lower part of the display screen in FIG.
  • FIG. 11 is a diagram showing an example of a display screen that displays the candidate image G1, the corresponding image G2, and the corresponding image G3 so that they can be compared.
  • FIG. 12 shows, in the image of FIG. 11, areas where an object exists in the candidate image G1 but does not exist in the corresponding images G2 and G3 with dotted lines.
  • FIG. 13 shows an example in which an annotation area is set on the candidate image G1 by the operator's operation while the screen of FIG. 11 is being displayed.
  • an area surrounded by rectangular lines is set as an annotation area on the candidate image G1.
  • FIG. 14 shows an example of a display screen in which annotation regions are added to candidate image G1 and further displayed on corresponding images G2 and G3. In this manner, by displaying the annotation area not only on the candidate image G1 but also on the corresponding image G2 and the corresponding image G3 taken at different times, the operator can more clearly see the area in which the movable object exists. Annotations can be processed with clear recognition.
  • the output unit 15 outputs the annotation data generated by the data generation unit 14 to the terminal device 30 .
  • the output unit 15 may output display data generated based on the annotation data to a display device (not shown) connected to the image processing device 10 .
  • the input unit 16 receives an input of information related to the annotation of the target object as annotation information for the target image of the annotation.
  • the input unit 16 acquires from the terminal device 30 the annotation information input to the terminal device 30 by the operator's operation.
  • the input unit 16 acquires, as annotation information, information about the range of the annotation area and information specifying the type of object on the image.
  • the input unit 16 may acquire, as the annotation information, either information on the range of the annotation region or information specifying the type of object on the image.
  • the input unit 16 may acquire information on items other than the above as annotation information.
  • the input unit 16 may acquire annotation information from an input device (not shown) connected to the image processing device 10 .
  • the target image storage unit 21 of the storage unit 20 stores the image data of the target image of the annotation as the target image.
  • the target image storage unit 21 stores, for example, the target image in association with the shooting date and time and the shooting position information.
  • the reference image storage unit 22 stores image data of reference images.
  • the reference image storage unit 22 stores, for example, the reference image in association with information on the shooting date and time and the shooting position.
  • the reference image storage unit 22 may associate and store information of the target image corresponding to the reference image. Also, the information associated with the target image and the reference image is not limited to these examples.
  • the area information storage unit 23 stores information on the range of candidate areas set by the area setting unit 11 .
  • the annotation result storage unit 24 stores the annotation target image and the annotation information in association with each other as annotation completion data.
  • the annotation result storage unit 24 may store the image included in the annotation completion data in association with information on the imaging position of the image.
  • the annotation result storage unit 24 may store an image included in the annotation completion data in association with an incorrect image.
  • Each of the above data related to annotations stored in the storage unit 20 is input to the image processing device 10 by, for example, an operator.
  • Each piece of data related to annotations stored in the storage unit 20 may be obtained from the terminal device 30 or a server connected via a network.
  • the storage unit 20 is configured using, for example, a hard disk drive.
  • the storage unit 20 may be configured using another storage device such as a non-volatile semiconductor storage device, for example.
  • the storage unit 20 may be configured by combining a plurality of types of storage devices such as a nonvolatile semiconductor storage device and a hard disk drive. Also, part or all of the storage unit 20 may be provided by an external device connected to the image processing apparatus 10 via a network.
  • the terminal device 30 is a terminal device for operator operation, and includes an input device and a display device (not shown).
  • the terminal device 30 acquires annotation data from the image processing device 10 . Based on the annotation data, the terminal device 30 outputs a display screen for performing annotation work to a display device (not shown).
  • the terminal device 30 displays, for example, a display screen in which the candidate image, the corresponding image, and the reference image are associated with each other on the display device.
  • the terminal device 30 may display both the correct image and the incorrect image for the reference image.
  • the terminal device 30 accepts annotation information input by the operator's operation.
  • the terminal device 30 outputs the acquired annotation information to the image processing device 10 .
  • the terminal device 30 may be plural.
  • the number of terminal devices 30 can be set as appropriate.
  • FIG. 15 is a diagram showing an example of the operation flow of the image processing apparatus 10 of this embodiment.
  • the region setting unit 11 of the image processing device 10 reads out the target image, which is the target image for annotation, from the target image storage unit 21 of the storage unit 20 .
  • the area setting unit 11 sets an area in which the annotation target object may exist as a candidate area on the target image (step S11).
  • the region setting unit 11 identifies a region where an object may exist, for example, based on the luminance value of each pixel in the image. After specifying the area where the object may exist, a rectangular area including the specified area is set as a candidate area.
  • the region setting unit 11 sets, for example, a region smaller than the entire target image as a candidate region.
  • the area setting unit 11 After setting the candidate area, the area setting unit 11 saves information on the set candidate area in the area information storage unit 23 .
  • the region setting unit 11 stores, for example, the coordinates specifying the outer periphery of the candidate region on the target image as the candidate region information in the region information storage unit 23 .
  • the area setting unit 11 sets a plurality of candidate areas so as to cover all candidate areas existing in the target image.
  • the region setting unit 11 for example, slides the candidate region within the target image and sets the region where the object may exist as the candidate region.
  • the area extraction unit 12 selects candidate areas to be annotated from the candidate areas stored in the area information storage unit 23 (step S12). For example, the region extracting unit 12 selects, as an annotation target, a candidate region that has been saved earliest as a candidate region from candidate regions that have not yet been annotated. Other methods for selecting candidate regions may be used.
  • the area extraction unit 12 extracts the image of the candidate area from the target image as a candidate image. Further, the area extraction unit 12 reads out the reference image corresponding to the target image from the reference image storage unit 22 and extracts the image of the candidate area from the reference image as the corresponding image. (Step S13). For example, the area extracting unit 12 extracts images of portions within the candidate areas from the two reference images as corresponding images.
  • the reference image extraction unit 13 searches the annotation completion data stored in the annotation result storage unit 24, and extracts an image in which the same object as the candidate image exists in the image as the reference image. (step S14).
  • the reference image extracting unit 13 extracts an image whose similarity satisfies a reference as a reference image based on the similarity between the candidate image and the image stored as the annotation completion data, for example.
  • the data generation unit 14 When the reference image is extracted, the data generation unit 14 generates data in which the annotation target image, the reference image captured at a time different from the annotation target image for the region including the candidate region, and the reference image are associated with each other for annotation. It is generated as data (step S15). The data generation unit 14 generates, as annotation data, data in which, for example, the candidate image, the corresponding image, and the reference image are associated with each other.
  • the output unit 15 outputs the generated annotation data to the terminal device 30 (step S16).
  • the terminal device 30 After acquiring the annotation data, the terminal device 30 outputs display data based on the annotation data to a display device (not shown). When annotation information is input by an operator's operation while display data is being displayed based on annotation data, the terminal device 30 outputs the input annotation information to the image processing device 10 .
  • the input unit 16 of the image processing device 10 acquires annotation information from the terminal device 30 (step S17).
  • the data generator 14 associates the candidate image data with the annotation information to generate annotation completion data (step S18).
  • the data generation unit 14 stores the generated annotation completion data in the annotation result storage unit 24 .
  • step S19 When the annotation completion data is saved, if annotation processing has been completed for all candidate regions (Yes in step S19), the image processing device 10 ends annotation processing. When there is a candidate area for which annotation processing has not been completed (No in step S19), the image processing apparatus 10 executes the process from the candidate area selection operation in step S12.
  • the annotation completion data generated by the above method can be used, for example, as training data for generating a machine learning model for identifying images in an image recognition device.
  • the target image may be an image acquired by a method other than synthetic aperture radar.
  • the target image may be an image acquired by an infrared camera.
  • the above explanation shows an example of annotating with reference to an image acquired in the same way as the target image.
  • other types of images may be referenced to verify the result of annotation determination.
  • an annotated image acquired by a synthetic aperture radar and an optical image captured by an optical camera that captures the visible light region of the same point are displayed side by side to determine whether the object type determined in the annotation is correct or not. may be verified.
  • verifying the correctness by such a method it is possible to generate a correct image and an incorrect image to be used as the reference image.
  • FIG. 16 is a diagram showing an example of a display screen when verifying judgment results in annotations.
  • the example of FIG. 16 shows an example of a display screen in which an image G1 for which annotation has been completed and an image V1 obtained at the same point as the image G1 by a different imaging device from that of the image G1 are displayed side by side so that they can be compared.
  • the image G1 is an image obtained using, for example, a synthetic aperture radar
  • the image V1 is an image obtained using, for example, an optical camera.
  • selection buttons for "next image”, “correct answer”, and “incorrect answer” are set.
  • the “next image” selection button is a button for switching the image to be verified.
  • “Correct” is a button for inputting that the judgment result in the annotation was correct.
  • “Incorrect” is a button for inputting that the judgment result in the annotation was wrong.
  • the data generation unit 14 when the "Incorrect" button is selected, the data generation unit 14 removes the corresponding data from the annotation completion data and saves it as incorrect data.
  • the data generation unit 14 associates the information indicating the correct answer with the annotation completion data, and updates the annotation completion data. For example, the data generation unit 14 may associate an image of annotation completion data for which an incorrect answer is selected with other annotation completion data including an image of the same point as an incorrect image.
  • the image processing apparatus 10 of the image processing system of the present embodiment extracts a candidate image obtained by extracting an area in which an object may exist from a target image to be annotated, and extracts an area corresponding to the candidate image from a reference image.
  • the corresponding image and the reference image are associated with each other and output as annotation data.
  • the image processing apparatus 10 collects, as data for annotation, a target image that is an image to be annotated, an image captured at a time different from that of the target image, and a reference image in which annotation of the same object as the target object has been completed. are associated and output.
  • each image By displaying each image so that it can be compared using annotation data, for example, the operator who performs annotation can perform annotation work by referring to the presence or absence of changes in the target object and the past annotation results. This makes it easy to discriminate between objects and regions.
  • the reference image and the standard image when annotating, it is possible to suppress variation in judgment between the same worker and between workers. As a result, by using the image processing apparatus 10 of the present embodiment, it is possible to perform annotation efficiently and improve accuracy.
  • the worker can refer to an example of a mistake when annotating. Therefore, for example, it may be easier to determine the type of target object. Therefore, when the image processing apparatus 10 outputs an incorrect image in the past annotation result as a reference image, the accuracy of annotation can be further improved.
  • FIG. 17 is a diagram showing an overview of the configuration of the image processing apparatus 100.
  • the image processing apparatus 100 of this embodiment includes an area setting unit 101 , a reference image extraction unit 102 , a data generation unit 103 and an output unit 104 .
  • the region setting unit 101 sets a region in which an annotation target object may exist as a candidate region in an annotation target image.
  • a reference image extraction unit 102 extracts a reference image, which is an image in which the same object as the target object is captured, from the image for which annotation has been completed.
  • the data generation unit 103 generates, as annotation data, data in which an annotation target image, a reference image captured at a time different from the annotation target image for a region including a candidate region, and a reference image are associated.
  • the output unit 104 outputs the annotation data generated by the data generation unit 103 .
  • the area setting unit 11 is an example of the area setting unit 101 . Also, the area setting unit 101 is one aspect of area setting means.
  • the reference image extractor 13 is an example of the reference image extractor 102 . Further, the reference image extraction unit 102 is one aspect of reference image extraction means.
  • the data generator 14 is an example of the data generator 103 . Also, the data generation unit 103 is one aspect of data generation means.
  • the output unit 15 is an example of the output unit 104 . Also, the output unit 104 is one aspect of output means.
  • FIG. 18 is a diagram showing an example of the operation flow of the image processing apparatus 100.
  • the area setting unit 101 sets an area in which an annotation target object may exist as a candidate area in an annotation target image (step S101).
  • the reference image extracting unit 102 extracts a reference image, which is an image in which the same object as the target object is captured, from the image for which annotation has been completed (step S102).
  • the data generation unit 103 uses the annotation target image, the reference image captured at a time different from the annotation target image for the region including the candidate region, and the data associated with the reference image for annotation. It is generated as data (step S103).
  • the output unit 104 outputs the annotation data generated by the data generation unit 103 (step S104).
  • the image processing apparatus 100 of the present embodiment associates an annotation target image, a reference image captured at a time different from the annotation target image for a region including a candidate region, and a reference image that is an image for which annotation has been completed. Data is output as data for annotation. Therefore, by using the image processing apparatus 100, the operator can perform processing while comparing each image when annotating. As a result, by using the image processing apparatus 100 of the present embodiment, annotation processing can be performed efficiently and accuracy can be improved.
  • FIG. 19 shows an example of the configuration of a computer 200 that executes computer programs for performing processes in the image processing apparatus 10 of the first embodiment and the image processing apparatus 100 of the second embodiment.
  • the computer 200 includes a CPU (Central Processing Unit) 201 , a memory 202 , a storage device 203 , an input/output I/F (Interface) 204 and a communication I/F 205 .
  • CPU Central Processing Unit
  • the CPU 201 reads a computer program for each process from the storage device 203 and executes it.
  • the CPU 201 may be configured by a combination of a CPU and a GPU (Graphics Processing Unit).
  • the memory 202 is composed of a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores computer programs executed by the CPU 201 and data being processed.
  • the storage device 203 stores computer programs executed by the CPU 201 .
  • the memory device 203 is configured by, for example, a nonvolatile semiconductor memory device. Other storage devices such as a hard disk drive may be used as the storage device 203 .
  • the input/output I/F 204 is an interface that receives input from the operator and outputs display data and the like.
  • a communication I/F 205 is an interface that transmits and receives data to and from each device that constitutes the monitoring system. Further, the terminal device 30 can also have a similar configuration.
  • the computer program used to execute each process can also be stored and distributed in a non-temporarily recorded recording medium.
  • a recording medium for example, a magnetic tape for data recording or a magnetic disk such as a hard disk can be used.
  • an optical disc such as a CD-ROM (Compact Disc Read Only Memory) can be used.
  • a nonvolatile semiconductor memory device may be used as a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像処理装置を、領域設定部と、基準画像抽出と、データ生成部と、出力部を備える構成とする。領域設定部は、アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する。基準画像抽出部は、対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する。データ生成部は、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成する。出力部は、データ生成部が生成したアノテーション用データを出力する。

Description

画像処理装置、画像処理方法および記録媒体
　本発明は、画像処理装置等に関する。
　衛星画像などの有効活用のために、種々の自動解析が行われている。画像の自動解析、解析方法の開発および性能評価のためには、正解が用意された画像データが必要となる。データに対する正解付けは、アノテーションとも言われる。自動解析の精度を向上させるためには、正解付けされた多くの画像データがあることが望ましい。しかし、衛星画像、特に合成開口レーダによって生成された画像データは、内容の判別が困難であることも多い。そのため、正解付けを行った画像データを準備するためには複雑で多くの作業を必要とする。このような背景から、画像データの正解付けの作業を効率化するシステムがあることが望ましい。
　特許文献１の異動判読システムは、画像処理によって物体の滅失の有無を判断するシステムである。特許文献１の異動判読システムは、異なる時期に撮影された２つの画像データの比較結果を基に画像中の家屋が無くなっていることを示す正解データを生成している。
特開２０２０－３０７３０号公報
　しかしながら、特許文献１では、アノテーションの対象物体が判別しづらい物体の場合には正解付けの精度が低下する場合がある。
　本発明は、上記の課題を解決するため、アノテーションを効率的に行いつつ、精度を向上することができる画像処理装置等を提供することを目的としている。
　上記の課題を解決するため、本発明の画像処理装置は、アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する領域設定手段と、対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する基準画像抽出手段と、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成するデータ生成手段と、データ生成手段が生成したアノテーション用データを出力する出力手段とを備える。
　本発明の画像処理方法は、アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定し、対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出し、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成し、生成したアノテーション用データを出力する。
　本発明の記録媒体は、アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する処理と、対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する処理と、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成する処理と、生成したアノテーション用データを出力する処理をコンピュータに実行させる画像処理プログラムを記録する。
　本発明によると、アノテーションを効率的に行いつつ、精度を向上することができる。
本発明の第１の実施形態の構成の概要を示す図である。 本発明の第１の実施形態の画像処理装置の構成の例を示す図である。 本発明の第１の実施形態のターゲット画像の例を示す図である。 本発明の第１の実施形態における候補領域の設定例を示す図である。 本発明の第１の実施形態における候補領域の設定例を示す図である。 本発明の第１の実施形態における候補領域の設定例を示す図である。 本発明の第１の実施形態の参照画像の例を示す図である。 本発明の第１の実施形態の参照画像の例を示す図である。 本発明の第１の実施形態の出力データの例を示す図である。 本発明の第１の実施形態の出力データの例を示す図である。 本発明の第１の実施形態の出力データの例を示す図である。 本発明の第１の実施形態の出力データの例を示す図である。 本発明の第１の実施形態の出力データの例を示す図である。 本発明の第１の実施形態の出力データの例を示す図である。 本発明の第１の実施形態の画像処理装置の動作フローの例を示す図である。 本発明の第１の実施形態の検証画面の例を示す図である。 本発明の第２の実施形態の構成の例を示す図である。 本発明の第２の実施形態の動作フローの例を示す図である。 本発明の実施形態の他の構成の例を示す図である。
　（第１の実施形態）
　本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の画像処理システムの構成の概要を示す図である。画像処理システムは、画像処理装置１０と、端末装置３０を備える。画像処理装置１０と、端末装置３０は、ネットワークを介して接続されている。
　本実施形態の画像処理システムは、画像に対してアノテーションに関する処理を行うシステムである。アノテーションに関する処理とは、例えば、アノテーションの対象となる画像を出力し、作業者の操作による入力結果に基づいて、画像に存在する物体を特定する情報と、物体が存在している領域の情報を、画像に関連付けることをいう。画像に関連付ける情報は、画像に存在する物体を特定する情報と、物体が存在している領域のいずれか一方でもよい。また、アノテーションに関する処理において、画像に関連付ける情報は、これらに限られない。画像処理システムは、例えば、合成開口レーダ（Synthetic Aperture Radar; SAR）を用いて取得された画像に対して、アノテーションに関する処理を行う。画像処理システムを用いて生成されたデータは、例えば、機械学習における教師データとして用いることができる。
　画像処理装置１０の構成について説明する。図２は、画像処理装置１０の構成の例を示す図である。画像処理装置１０は、領域設定部１１と、領域抽出部１２と、基準画像抽出部１３と、データ生成部１４と、出力部１５と、入力部１６と、記憶部２０を備える。
　記憶部２０は、ターゲット画像記憶部２１と、参照画像記憶部２２と、領域情報記憶部２３と、アノテーション結果記憶部２４を備える。
　領域設定部１１は、アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する。以下の説明において、アノテーションの対象画像、すなわち、アノテーションに関する処理を行う対象となる画像は、ターゲット画像ともいう。
　領域設定部１１は、ターゲット画像において、対象物体が存在する可能性がある領域を候補領域として設定する。領域設定部１１は、例えば、処理の対象となるターゲット画像をターゲット画像記憶部２１から読み出す。領域設定部１１は、ターゲット画像上における候補領域の範囲を領域情報記憶部２３に保存する。領域設定部１１は、ターゲット画像上における候補領域の範囲を、例えば、ターゲット画像内における座標で表して領域情報記憶部２３に保存する。また、ターゲット画像には、例えば、撮影された地点および日時の情報が付加されている。
　図３は、ターゲット画像の例を示す図である。図３は、合成開口レーダで撮影された画像データの例である。図３の楕円状および長方形状の領域は、例えば、反射波が周囲と異なる領域、すなわち、物体が存在する可能性がある領域を示す。図３において、楕円状および長方形状の領域の周囲は、例えば、海に対応する。図３の右側のグレーの領域は、例えば、陸上に対応する。
　領域設定部１１は、例えば、周囲と反射波の状態が異なる領域を、対象物体が存在する可能性のある候補領域として設定する。領域設定部１１は、例えば、ターゲット画像において周囲と輝度が異なる領域を特定し、特定した領域を含む矩形領域を候補領域として設定する。図４は、ターゲット画像上に候補領域が候補領域Ｗとして設定された例を示している。図４の例において、領域設定部１１は、周囲と輝度が異なる長方形状の領域を、対象物体が存在する可能性のある候補領域として設定している。図４の例において、候補領域Ｗは、ターゲット画像の右上の角から点線で囲まれた領域に設定されている。
　領域設定部１１は、１つのターゲット画像内において、対象物体が存在する可能性がある個所すべてを特定し、候補領域として設定する。領域設定部１１は、例えば、ターゲット画像内において、候補領域をスライドさせることで複数の候補領域を設定する。領域設定部１１は、例えば、ターゲット画像に存在する候補領域の全領域をカバーできるよう、複数の候補領域を設定する。
　図５および図６は、複数の候補領域を設定する動作の例を示した図である。領域設定部１１は、例えば、図５に示すように、ターゲット画像の左上の角の領域に設定した候補領域Ｗを右方向に順次スライドさせ、候補領域Ｗを複数、設定する。また、領域設定部１１は、図６に示すよう、図５における初期の位置から下方向に候補領域Ｗをスライドさせた後、右方向に順次スライドさせることで、候補領域Ｗをさらに複数、設定してもよい。このとき、各候補領域は、互いに重なっていてもよく、重なっていなくてもよい。また、複数の候補領域を設定する際の候補領域のスライドの方法は、上記の例に限られない。領域設定部１１は、例えば、候補領域をスライドさせた際に、候補領域内において輝度変化が基準を満たす領域がある場合に、候補領域の範囲を示す情報を領域情報記憶部２３に保存する。
　領域設定部１１は、ターゲット画像が取得された位置と地図情報とを比較し、ターゲット画像に対してあらかじめ設定された領域内で候補領域を設定してもよい。例えば、対象物体が船である場合に、海、河川および湖沼のように船が存在する可能性のある領域内に候補領域が設定されるように定められていてもよい。このような場合に、領域設定部１１は、例えば、地図情報を参照して海、河川および湖沼の領域内にのみ候補領域を設定する。
　領域抽出部１２は、候補領域に対応する領域の画像を、参照画像から対応画像として抽出する。また、領域抽出部１２は、候補領域に対応する領域の画像を、ターゲット画像から候補画像として抽出する。参照画像は、ターゲット画像に対象物体が存在するかを判断するための比較対象として用いられる画像である。また、参照画像は、ターゲット画像の領域を含む領域において、ターゲット画像とは異なる時に取得された画像である。１つのターゲット画像に対応する参照画像は、複数であってもよい。
　参照画像は、例えば、ターゲット画像と同一の方法において、ターゲット画像を撮影した領域を含む領域について、ターゲット画像の撮影とは違うときに撮影した画像である。例えば、同一の地点ついて、毎日、同じ時刻に撮影された画像のうち、１つの画像がターゲット画像として設定され、他の日に撮影された画像が参照画像として用いられる。画像の撮影の周期と、撮影の時刻は、一定でなくてもよい。参照画像には、例えば、撮影された地点および日時の情報が付加されている。領域抽出部１２は、例えば、参照画像を参照画像記憶部２２から読み出す。
　領域抽出部１２は、領域情報記憶部２３に記憶されている候補領域の情報を基に、参照画像上において候補領域に対応する領域を特定する。領域抽出部１２は、参照画像から、候補領域に対応する領域の画像を対応画像として抽出する。
　領域抽出部１２は、ターゲット画像から候補画像を抽出せずに、候補領域を含むターゲット画像を候補画像としてもよい。また、領域抽出部１２は、参照画像から対象画像を抽出せずに、画像に付加されている位置情報を参照して、候補領域を含む参照画像を候補領域に対応する対応画像としてもよい。
　図７は、参照画像の例を示す図である。図７は、参照画像はターゲット画像とは異なる時に取得された画像であるため、図３に示すターゲット画像とは楕円状の物体の数が異なっている例を示している。また、図８は、ターゲット画像上の候補領域に対応する候補領域Ｗの例を示す図である。図８の例は、楕円状の物体の付近に設定された候補領域Ｗを領域抽出部１２が参照画像上において特定し、候補領域内の画像を対応画像として抽出す場合を示している。
　領域抽出部１２は、例えば、２つの参照画像から候補領域に対応する領域の画像をそれぞれ抽出する。2つの参照画像は、ターゲット画像とは異なる時にそれぞれ撮影した画像である。領域抽出部１２は、例えば、ターゲット画像の候補領域内の画像を候補画像Ｇ１に対する対応画像Ｇ２および対応画像Ｇ３を抽出する。領域抽出部１２は、例えば、合成開口レーダによってターゲット画像が取得された日より１日前に取得された参照画像Ａから対応画像Ｇ２を抽出し、２日前に取得された参照画像Ｂから対応画像Ｇ３を抽出する。領域抽出部１２は、候補画像Ｇ1と、対応画像Ｇ２と、対応画像Ｇ３とを関連付ける。１つの候補画像に関連付けられる対応画像の数は２つでなくてもよく、参照画像の数に応じて設定される。また、参照画像の数は、適宜、設定され得る。
　基準画像抽出部１３は、対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する。基準画像抽出部１３は、アノテーション結果記憶部２４にアノテーション完了データとして保存されているアノテーションが完了済みの画像データを検索し、対象物体と同一の物体が撮影されている画像を基準画像として抽出する。同一の物体には、類似している物体が含まれる。基準画像には、例えば、アノテーションが完了済みの画像のうち、アノテーションの結果の検証において結果が正しいと判定された画像が用いられる。アノテーションの結果の検証は、例えば、ターゲット画像が合成開口レーダによって撮影されたものである場合、光学画像を用いて行われる。
　アノテーションが完了済みの画像には、アノテーションを行った際の判定結果が非正解の画像が関連付けられていてもよい。アノテーションを行った際の判定結果が非正解の画像は、例えば、アノテーションが行われた画像について、他の方法によって撮影された画像を用いて判定した際に、アノテーションにおいて判定された物体の種類が間違っていたと特定された画像である。例えば、合成開口レーダを用いて取得された画像上の物体についてアノテーションを行った際に、アノテーションの作業者によって候補領域に存在する物体が船と判定されとする。その後に行われるアノテーションの結果の検証において、例えば、アノテーションの作業者または他の作業者によって候補領域に存在する物体がタンクと特定された場合に、アノテーション時の判定結果は、非正解であると決定される。アノテーションの結果の検証は、例えば、ターゲット画像と同一の地点を撮影した光学画像を用いて、作業者が候補領域に存在する物体を特定することによって行われる。
　アノテーション完了データに非正解の画像が関連付けられている場合、基準画像抽出部１３は、アノテーションが完了済みの画像と、アノテーションが完了済みの画像に関連付けられている非正解の画像とを基準画像として抽出する。このような場合、基準画像抽出部１３は、例えば、アノテーションが完了済みの画像を正解の画像とし、正解の画像と非正解の画像の組を基準画像として抽出する。
　基準画像抽出部１３は、候補画像と、アノテーションが完了済みの画像との類似性を比較し、類似性が基準以上であった場合に、類似していると判定する。
　基準画像抽出部１３は、候補画像の物体と、アノテーションが完了済みの画像の物体とが同一であるかを、例えば、地図座標の類似性、および画像特徴量の類似性を基に判定する。基準画像抽出部１３は、候補画像の物体と、アノテーションが完了済みの画像の物体とが同一であるかの判定を、上記以外の項目を基に判定してもよい。
　基準画像抽出部１３は、例えば、撮影位置が同一と判定されたアノテーションが完了済みの画像について、撮影されている物体が候補画像と同一であるかの判定を行う。基準画像抽出部１３は、候補画像と、アノテーションが完了済みの画像の撮影位置が同一であるかを、例えば、候補画像とアノテーションが完了済みの画像の中心座標間の距離を基に判定する。基準画像抽出部１３は、候補画像とアノテーションが完了済みの画像の中心座標間の距離が基準以下の場合に、撮影位置が同一であると判定する。
　基準画像抽出部１３は、候補画像の物体と、アノテーションが完了済みの画像の物体が同一であるかを画像特徴量の類似性を基に判定する際に、例えば、特徴点マッチングを用いて、画像間における画像特徴量の類似性を算出する。特徴点マッチングにおいて、基準画像抽出部１３は、例えば、候補画像と、アノテーションが完了済みの画像から特徴点を抽出し、特徴点の類似性が基準を満たすときに２つの画像が同一の物体を撮影した画像であると判定する。特徴点マッチングを用いた画像特徴量の類似性の判定方法は、例えば、P.F. Alcantarilla， J.Nuevo and A.Bartoli， “Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces”， Proceedings British Machine Vision Conference 2013， pp.13.1-13.11に開示されている。基準画像抽出部１３は、特徴点マッチング法以外の方法を用いて画像特徴量の類似性を算出してもよい、基準画像抽出部１３は、例えば、輝度のヒストグラム比較またはテンプレートマッチングを用いて画像特徴量の類似性を算出してもよい。
　基準画像抽出部１３は、候補領域と同一の地点を撮影した画像がアノテーション結果記憶部２４に保存されていない場合に、アノテーション結果記憶部２４に保存されているアノテーション完了データの画像それぞれと、アノテーションの対象画像を比較し、基準画像を抽出する。例えば、撮影位置が同一の画像が存在してない場合に、基準画像抽出部１３は、アノテーション結果記憶部２４に保存されている全てのアノテーションが完了済みの画像のうち、画像特徴量の類似性の基準を満たす画像を基準画像として抽出する。
　基準画像抽出部１３は、候補画像の物体と、アノテーションが完了済みの画像の物体が同一であるかを、画像に存在する物体の大きさの類似性をさらに用いて判定してもよい。このような場合には、２つの画像間それぞれについて、例えば、画素数と実際の距離の関係があらかじめ設定されている。基準画像抽出部１３は、例えば、２つの画像上の物体の大きさの類似性を、それぞれの画像に存在する物体の面積の比または差を基に判定する。基準画像抽出部１３は、大きさの類似性の基準が、例えば、２つの画像上にそれぞれ存在する物体の面積の比を基に設定されている場合に、面積の比が基準範囲内であるときに、２つの画像上の物体の大きさが同一であると判定する。また、基準画像抽出部１３は、大きさの類似性の基準が、例えば、２つの画像上にそれぞれ存在する物体の面積の差を基に設定されている場合に、面積の差が基準以内であるときに、２つの画像上の物体の大きさが同一であると判定する。
　データ生成部１４は、アノテーションの対象画像と、参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成する。参照画像は、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した画像である。データ生成部１４は、例えば、アノテーションの対象画像、すなわち、ターゲット画像からの候補領域を抽出した候補画像と、参照画像から候補画像を抽出した対応画像と、基準画像とを関連付けてアノテーション用データを生成する。データ生成部１４は、候補画像と、対応画像と、基準画像のうち候補画像付近を拡大した画像を関連付けてアノテーション用データとして生成してもよい。データ生成部１４は、生成したアノテーション用データを例えば、出力部１５を介して端末装置３０に出力する。
　データ生成部１４は、候補画像と、対応画像と、基準画像とを対比可能なように表示する表示データをアノテーション用データとして生成してもよい。対比可能なように表示する表示データとは、例えば、対比の対象となる画像を横方向に並べることで、作業者が２つの画像を対比して比較することができる状態の表示データのことをいう。データ生成部１４は、生成した表示データを、画像処理装置１０に接続された図示しない表示装置に出力してもよい。
　基準画像抽出部１３において抽出された基準画像に非正解の画像が関連付けられている場合、データ生成部１４は、基準画像を正解の画像と、非正解の画像の組としてアノテーション用データを生成してもよい。
　図９は、アノテーション用データとして出力される候補画像と、対応画像と、基準画像とを対比可能なように表示する表示画面の例を示す。図９の例では、基準画像が正解の画像と非正解の画像の組として表示されている。図９のＰ１の画像は、基準画像のうち正解の画像である。図９のＮ１の画像は、基準画像のうち非正解の画像である。図９の例では、Ｐ１とＮ１の画像に、対象物体の大きさと、画像が撮影された位置の情報が付加されている。基準画像に付加される情報の項目は、これらに限られない。
　図９のＧ１の画像は、候補画像、すなわち、ターゲット画像上の候補領域に対応する画像である。図９のＧ２とＧ３の画像は、対応画像、すなわち、参照画像上において候補領域に対応する画像である。Ｇ２とＧ３の画像は、それぞれ異なる時に撮影された参照画像上の画像である。
　データ生成部１４は、アノテーションに関する情報を基に、アノテーション完了データを生成する。アノテーションに関する情報は、作業者の操作によって、アノテーション情報として端末装置３０に入力される。アノテーション情報は、例えば、アノテーションの対象画像、すなわち、ターゲット画像上の対象物体の種類を特定する情報と、画像上において物体が存在する領域を特定する情報である。データ生成部１４は、例えば、アノテーション情報のうち物体が存在する領域を特定する情報を、候補画像上の物体を囲う矩形領域として取得する。データ生成部１４は、例えば、アノテーション情報を基に、候補画像に、候補画像上の物体の種類と、物体が存在する領域の情報を関連付けたデータをアノテーション完了データとして生成する。アノテーション情報によって示される領域は、アノテーション領域ともいう。データ生成部１４は、生成したアノテーション完了データをアノテーション結果記憶部２４に保存する。アノテーション領域の設定は、矩形の線で領域を囲う方法に限れられない。例えば、アノテーション領域を塗りつぶすことでアノテーション領域の設定が行われてもよい。
　図１０は、図９の表示画面上においてアノテーション領域が設定された場合における表示画面の例を示す。図１０では、候補画像Ｇ１において、楕円状の物体の周囲に矩形の線がアノテーション領域を示す線として設定されている。また、図１０では、対応画像であるＧ２およびＧ３についても対応する位置に矩形の線が表示されている。
　図１１は、図９の表示画面のうち下段の部分のみを示す図である。図１１は、候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３を対比可能なように表示する表示画面の例を示した図である。図１２は、図１１の画像において、候補画像Ｇ１に物体が存在するが、対応画像Ｇ２と対応画像Ｇ３には物体が存在しない領域を点線で示したものである。このように候補画像Ｇ１と、撮影された時が異なる対応画像Ｇ２および対応画像Ｇ３を対比可能なように表示することで、作業者は、移動可能な物体が存在している領域をより明確に認識することができる。
　図１３は、図１１の画面を表示中に候補画像Ｇ１上に作業者の操作によってアノテーション領域が設定された例を示している。図１３では、候補画像Ｇ１上に矩形の線で囲まれた領域がアノテーション領域として設定されている。図１４は、アノテーション領域を候補画像Ｇ１に加え、対応画像Ｇ２および対応画像Ｇ３上にさらに表示した表示画面の例を示している。このように、候補画像Ｇ１に限らず、撮影された時が異なる対応画像Ｇ２および対応画像Ｇ３にもアノテーション領域を表示することで、作業者は、移動可能な物体が存在している領域をより明確に認識しながらアノテーションの処理を行うことができる。
　出力部１５は、データ生成部１４が生成したアノテーション用データを端末装置３０に出力する。出力部１５は、画像処理装置１０に接続された図示しない表示装置にアノテーション用データを基に生成した表示データを出力してもよい。
　入力部１６は、アノテーションの対象画像に対して、対象物体のアノテーションに関する情報の入力をアノテーション情報として受け付ける。入力部１６は、作業者の操作によって端末装置３０に入力されるアノテーション情報を端末装置３０から取得する。
　入力部１６は、例えば、アノテーション情報として、アノテーション領域の範囲の情報と、画像上の物体の種類を特定する情報を取得する。入力部１６は、アノテーション情報として、アノテーション領域の範囲の情報と、画像上の物体の種類を特定する情報のいずれか一方を取得してもよい。また、入力部１６は、上記以外の項目の情報をアノテーション情報として取得してもよい。入力部１６は、画像処理装置１０に接続された図示しない入力装置からアノテーション情報を取得してもよい。
　記憶部２０のターゲット画像記憶部２１は、アノテーションの対象画像の画像データをターゲット画像として保存する。ターゲット画像記憶部２１は、例えば、ターゲット画像に撮影日時と、撮影位置の情報を関連付けて保存する。参照画像記憶部２２は、参照画像の画像データを保存する。参照画像記憶部２２は、例えば、参照画像に撮影日時と、撮影位置の情報を関連付けて保存する。参照画像記憶部２２は、参照画像に対応するターゲット画像の情報を関連付けて保存してもよい。また、ターゲット画像と、参照画像に関連付ける情報は、これらの例に限られない。領域情報記憶部２３は、領域設定部１１が設定した候補領域の範囲の情報を保存する。アノテーション結果記憶部２４は、アノテーションの対象画像と、アノテーション情報とを関連付けてアノテーション完了データとして保存する。アノテーション結果記憶部２４は、アノテーション完了データに含まれる画像に、画像の撮影位置の情報を関連付けて保存してもよい。また、アノテーション結果記憶部２４は、アノテーション完了データに含まれる画像に、非正解の画像を関連付けて保存してもよい。
　記憶部２０が保存するアノテーションに関する上記の各データは、例えば、作業者によって画像処理装置１０に入力される。記憶部２０が保存するアノテーションに関する各データは、端末装置３０またはネットワークを介して接続されたサーバから取得されてもよい。
　記憶部２０は、例えば、ハードディスクドライブを用いて構成されている。記憶部２０は、例えば、不揮発性の半導体記憶装置など他の記憶装置を用いて構成されていてもよい。また、記憶部２０は、不揮発性の半導体記憶装置とハードディスクドライブのように複数の種類の記憶装置を組み合わせて構成されていてもよい。また、記憶部２０の一部または全ては、ネットワークを介して画像処理装置１０と接続されている外部の装置が備えていてもよい。
　端末装置３０は、作業者の操作用の端末装置であり、図示しない入力装置と表示装置を備える。端末装置３０は、画像処理装置１０からアノテーション用データを取得する。端末装置３０は、アノテーション用データを基に、アノテーションの作業を行う表示画面を図示しない表示装置に出力する。端末装置３０は、例えば、候補画像と、対応画像と、基準画像を関連付けた表示画面を表示装置に表示する。端末装置３０は、基準画像について正解の画像と非正解の画像の両方を表示してもよい。
　端末装置３０は、作業者の操作によって入力されるアノテーション情報を受け付ける。端末装置３０は、取得したアノテーション情報を画像処理装置１０に出力する。また、端末装置３０は、複数であってもよい。端末装置３０の数は、適宜、設定され得る。
　本実施形態の画像処理システムの動作について説明する。図１５は、本実施形態の画像処理装置１０の動作フローの例を示す図である。
　画像処理装置１０の領域設定部１１は、アノテーションの対象画像であるターゲット画像を記憶部２０のターゲット画像記憶部２１から読み出す。
　ターゲット画像を読み出すと、領域設定部１１は、ターゲット画像上において、アノテーションの対象物体が存在する可能性がある領域を候補領域として設定する（ステップＳ１１）。領域設定部１１は、例えば、画像中の各画素の輝度値を基に物体が存在する可能性がある領域を特定する。物体が存在する可能性がある領域を特定すると、特定した領域を含む矩形領域を候補領域として設定する。領域設定部１１は、例えば、ターゲット画像全体よりも小さい領域を、候補領域として設定する。
　候補領域を設定すると、領域設定部１１は、設定した候補領域の情報を領域情報記憶部２３に保存する。領域設定部１１は、例えば、ターゲット画像上において候補領域の外周部を特定する座標を候補領域の情報として領域情報記憶部２３に保存する。
　領域設定部１１は、ターゲット画像に存在する候補領域の全領域をカバーできるよう、複数の候補領域を設定する。領域設定部１１は、例えば、ターゲット画像内で候補領域をスライドさせ、物体が存在する可能性のある領域を候補領域として設定する。
　候補領域が設定されると、領域抽出部１２は、領域情報記憶部２３に保存されている候補領域からアノテーションの対象とする候補領域を選択する（ステップＳ１２）。領域抽出部１２は、例えば、アノテーションが未了の候補領域のうち、候補領域として最も早く保存された候補領域をアノテーションの対象として選択する。候補領域の選択方法は、他の方法であってもよい。
　候補領域を選択すると、領域抽出部１２は、ターゲット画像から候補領域の部分の画像を候補画像として抽出する。また、領域抽出部１２は、ターゲット画像に対応する参照画像を参照画像記憶部２２から読み出し、参照画像から候補領域の部分の画像を対応画像として抽出する。（ステップＳ１３）。領域抽出部１２は、例えば、２つの参照画像から候補領域内の部分の画像を対応画像としてそれぞれ抽出する。
　候補画像と対応画像が抽出されると、基準画像抽出部１３は、アノテーション結果記憶部２４に保存されたアノテーション完了データを検索し、候補画像と同一の物体が画像上に存在する画像を基準画像として抽出する（ステップＳ１４）。基準画像抽出部１３は、例えば、アノテーション完了データとして保存されている画像と、候補画像の類似性を基に、類似性が基準を満たす画像を基準画像として抽出する。
　基準画像が抽出されると、データ生成部１４は、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成する(ステップＳ１５）。データ生成部１４は、例えば、候補画像と、対応画像と、基準画像を関連付けたデータをアノテーション用データとして生成する。
　アノテーション用データが生成されると、出力部１５は、生成されたアノテーション用データを端末装置３０に出力する（ステップＳ１６）。
　アノテーション用データを取得すると、端末装置３０は、図示しない表示装置にアノテーション用データを基にした表示データを出力する。アノテーション用データに基づいて表示データを表示しているときに、作業者の操作によってアノテーション情報が入力されると、端末装置３０は、入力されたアノテーション情報を画像処理装置１０に出力する。
　画像処理装置１０の入力部１６は、端末装置３０からアノテーション情報を取得する（ステップＳ１７）。アノテーション情報が取得されると、データ生成部１４は、候補画像のデータと、アノテーション情報を関連付けてアノテーション完了データを生成する（ステップＳ１８）。データ生成部１４は、生成したアノテーション完了データをアノテーション結果記憶部２４に保存する。
　アノテーション完了データが保存されたとき、すべての候補領域ついてアノテーションの処理が完了している場合（ステップＳ１９でＹｅｓ）、画像処理装置１０は、アノテーションに関する処理を終了する。アノテーションの処理が終わっていない候補領域があるとき（ステップＳ１９でＮｏ）、画像処理装置１０は、ステップＳ１２の候補領域の選択の動作からの処理を実行する。
　上記の方法で生成したアノテーション完了データは、例えば、画像認識装置において、画像を識別するための機械学習モデルを生成する際の教師データとして用いることができる。
　上記の説明は、合成開口レーダで取得されたターゲット画像に対してアノテーションを行う例について行ったが、ターゲット画像は、合成開口レーダ以外の方法で取得された画像であってもよい。例えば、ターゲット画像は、赤外線カメラによって取得された画像であってもよい。
　上記の説明は、ターゲット画像と同一の方法で取得された画像を参照してアノテーションを行う例について示した。そのような構成に加えて、他の種類の画像を参照してアノテーションにおける判定結果の検証を行ってもよい。例えば、合成開口レーダで取得されたアノテーションが完了済みの画像と、同一の地点について可視光領域を撮影する光学カメラで撮影した光学画像とを並べて表示させ、アノテーションにおいて判定された物体の種類の正否を検証してもよい。また、このような方法で正否を検証することで、基準画像として用いる正解の画像と、非正解の画像とを生成することもできる。
　図１６は、アノテーションにおける判定結果を検証する際の表示画面の例を示す図である。図１６の例は、アノテーションが完了済みの画像Ｇ１と、画像Ｇ１と同一の地点において画像Ｇ１とは異なる撮像装置で取得された画像Ｖ１を対比可能なように並べて表示する表示画面の例を示している。図１６の例において、画像Ｇ１は、例えば、合成開口レーダを用いて取得された画像であり、画像Ｖ１は、例えば、光学カメラを用いて取得された画像である。また、図１６の例では、「次の画像」と、「正解」と、「非正解」の選択ボタンが設定されている。「次の画像」の選択ボタンは、検証の対象の画像を切り替えるボタンである。「正解」は、アノテーションにおける判定結果が正しかったことを入力するボタンである。「非正解」は、アノテーションにおける判定結果が間違っていたことを入力するボタンである。
　図１６の例において、例えば、「非正解」のボタンが選択された場合、データ生成部１４は、アノテーション完了データから該当するデータを外し、非正解のデータとして保存する。図１６の例において、例えば、「正解」のボタンが選択された場合、データ生成部１４は、アノテーション完了データに正解であった情報を関連付け、アノテーション完了データを更新する。データ生成部１４は、例えば、非正解が選択されたアノテーション完了データの画像を、同一の地点の画像が含まれる他のアノテーション完了データに、非正解の画像として関連付けてもよい。
　本実施形態の画像処理システムの画像処理装置１０は、アノテーションの対象画像となるターゲット画像から物体が存在する可能性がある領域を抽出した候補画像と、候補画像に対応する領域を参照画像から抽出した対応画像と、基準画像とを関連付けてアノテーション用データとして出力している。画像処理装置１０は、アノテーション用データとして、アノテーションの対象画像であるターゲット画像とともに、ターゲット画像とは異なる時に撮影された画像と、対象物体と同一の物体についてのアノテーションが完了している基準画像とを関連付けて出力している。アノテーション用データを用いて各画像を比較可能なように表示することで、例えば、アノテーションを行う作業者は、対象物体の変化の有無と、過去のアノテーション結果を参照してアノテーションの作業を行うことができ、物体と領域の判別を容易に行うことができる。また、アノテーションを行う際に、参照画像および基準画像を表示することで同一の作業者および作業者間における判断のばらつきを抑制することができる。その結果、本実施形態の画像処理装置１０を用いることで、アノテーションを効率的に行いつつ、精度を向上することができる。
　画像処理装置１０が基準画像として過去のアノテーション結果における非正解の画像を出力した場合には、作業者は、アノテーションを行う際に間違った場合の例を参照することができる。そのため、例えば、対象物体の種類の判定がより容易になり得る。よって、画像処理装置１０が基準画像として過去のアノテーション結果における非正解の画像を出力した場合には、アノテーションの精度がより向上し得る。
　（第２の実施形態）
　本発明の第２の実施形態について図を参照して詳細に説明する。図１７は、画像処理装置１００の構成の概要を示す図である。本実施形態の画像処理装置１００は、領域設定部１０１と、基準画像抽出部１０２と、データ生成部１０３と、出力部１０４を備える。領域設定部１０１は、アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する。基準画像抽出部１０２は、対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する。データ生成部１０３は、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成する。出力部１０４は、データ生成部１０３が生成したアノテーション用データを出力する。
　領域設定部１１は、領域設定部１０１の一例である。また、領域設定部１０１は、領域設定手段の一態様である。基準画像抽出部１３は、基準画像抽出部１０２の一例である。また、基準画像抽出部１０２は、基準画像抽出手段の一態様である。データ生成部１４は、データ生成部１０３の一例である。また、データ生成部１０３は、データ生成手段の一態様である。出力部１５は、出力部１０４の一例である。また、出力部１０４は、出力手段の一態様である。
　画像処理装置１００の動作について説明する。図１８は、画像処理装置１００の動作フローの例を示す図である。領域設定部１０１は、アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する（ステップＳ１０１）。候補領域が設定されると、基準画像抽出部１０２は、対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する（ステップＳ１０２）。基準画像が抽出されると、データ生成部１０３は、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、基準画像とを関連付けたデータをアノテーション用データとして生成する（ステップＳ１０３）。アノテーション用データが生成されると、出力部１０４は、データ生成部１０３が生成したアノテーション用データを出力する（ステップＳ１０４）。
　本実施形態の画像処理装置１００は、アノテーションの対象画像と、候補領域を含む領域についてアノテーションの対象画像とは異なる時に撮影した参照画像と、アノテーションが完了済みの画像である基準画像とを関連付けたデータをアノテーション用データとして出力している。よって、画像処理装置１００を用いることで、作業者は、アノテーションを行う際に各画像を比較しつつ処理を行うことができる。その結果、本実施形態の画像処理装置１００を用いることで、アノテーション処理を効率的に行いつつ、精度を向上することができる。
　第１の実施形態の画像処理装置１０、および第２の実施形態の画像処理装置１００における各処理は、コンピュータプログラムをコンピュータで実行することによって行うことができる。図１９は、第１の実施形態の画像処理装置１０、および第２の実施形態の画像処理装置１００における各処理を行うコンピュータプログラムを実行するコンピュータ２００の構成の例を示したものである。コンピュータ２００は、ＣＰＵ（Central Processing Unit）２０１と、メモリ２０２と、記憶装置２０３と、入出力Ｉ／Ｆ（Interface）２０４と、通信Ｉ／Ｆ２０５を備えている。
　ＣＰＵ２０１は、記憶装置２０３から各処理を行うコンピュータプログラムを読み出して実行する。ＣＰＵ２０１は、ＣＰＵとＧＰＵ（Graphics Processing Unit）の組み合わせによって構成されていてもよい。メモリ２０２は、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成され、ＣＰＵ２０１が実行するコンピュータプログラムや処理中のデータが一時記憶される。記憶装置２０３は、ＣＰＵ２０１が実行するコンピュータプログラムを記憶している。記憶装置２０３は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置２０３には、ハードディスクドライブ等の他の記憶装置が用いられてもよい。入出力Ｉ／Ｆ２０４は、作業者からの入力の受付および表示データ等の出力を行うインタフェースである。通信Ｉ／Ｆ２０５は、モニタリングシステムを構成する各装置との間でデータの送受信を行うインタフェースである。また、端末装置３０も同様の構成とすることができる。
　各処理の実行に用いられるコンピュータプログラムは、非一時的に記録する記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）等の光ディスクを用いることもできる。不揮発性の半導体記憶装置を記録媒体として用いてもよい。
　以上、上述した実施形態を例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０２１年９月２９日に出願された日本出願特願２０２１－１５８５６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　画像処理装置
　１１　　領域設定部
　１２　　領域抽出部
　１３　　基準画像抽出部
　１４　　データ生成部
　１５　　出力部
　１６　　入力部
　２０　　記憶部
　２１　　ターゲット画像記憶部
　２２　　参照画像記憶部
　２３　　領域情報記憶部
　２４　　アノテーション結果記憶部
　３０　　端末装置
　１００　　画像処理装置
　１０１　　領域設定部
　１０２　　基準画像抽出部
　１０３　　データ生成部
　１０４　　出力部
　２００　　コンピュータ
　２０１　　ＣＰＵ
　２０２　　メモリ
　２０３　　記憶装置
　２０４　　入出力Ｉ／Ｆ
　２０５　　通信Ｉ／Ｆ

Claims (10)

  1. 　アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する領域設定手段と、
    　前記対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する基準画像抽出手段と、
    　前記アノテーションの対象画像と、前記候補領域を含む領域について前記アノテーションの対象画像とは異なる時に撮影した参照画像と、前記基準画像とを関連付けたデータをアノテーション用データとして生成するデータ生成手段と、
    　前記データ生成手段が生成した前記アノテーション用データを出力する出力手段と
    　を備える画像処理装置。
  2. 　前記アノテーションの対象画像上に対して、前記対象物体のアノテーションに関する情報の入力をアノテーション情報として受け付ける入力手段と、
    　前記アノテーションの対象画像と、前記アノテーション情報とを関連付けてアノテーション完了データとして保存する記憶手段と
    　をさらに備える請求項１に記載の画像処理装置。
  3. 　前記記憶手段は、前記アノテーション完了データに含まれる画像に、該画像の撮影位置の情報をさらに関連付けて保存し、
    　前記基準画像抽出手段は、前記記憶手段に保存されている画像のうち前記候補領域と同一の地点を撮影した画像と、前記アノテーションの対象画像の前記候補領域の画像とを比較し、前記基準画像を抽出する、
    　請求項２に記載の画像処理装置。
  4. 　前記基準画像抽出手段は、前記候補領域と同一の地点を撮影した画像が前記記憶手段に保存されていない場合に、前記記憶手段に保存されている前記アノテーション完了データの画像それぞれと、前記アノテーションの対象画像を比較し、前記基準画像を抽出する、
    　請求項３に記載の画像処理装置。
  5. 　前記出力手段は、前記基準画像として、アノテーションを行った際の判定結果が正解の画像と、前記判定結果が非正解の画像とを出力する、
    　請求項１から４いずれかに記載の画像処理装置。
  6. 　前記候補領域に対応する領域の画像を、前記参照画像から対応画像として抽出する領域抽出手段をさらに備え、
    　前記出力手段は、前記候補領域の画像と、前記対応画像と、前記基準画像を関連付けたデータを前記アノテーション用データとして出力する、
    　請求項１に記載の画像処理装置。
  7. 　前記領域設定手段は、前記アノテーションの対象画像上で前記候補領域の位置をスライドさせることで複数の前記候補領域を設定する、
    　請求項１に記載の画像処理装置。
  8. 　前記領域設定手段は、地図情報と、前記対象物体の種類とを基に、前記対象物体が存在する可能性のある位置に前記候補領域を設定する、
    　請求項１に記載の画像処理装置。
  9. 　コンピュータが、
    　アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定し、
    　前記対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出し、
    　前記アノテーションの対象画像と、前記候補領域を含む領域について前記アノテーションの対象画像とは異なる時に撮影した参照画像と、前記基準画像とを関連付けたデータをアノテーション用データとして生成し、
    　生成した前記アノテーション用データを出力する、
    　画像処理方法。
  10. 　アノテーションの対象画像において、アノテーションの対象物体が存在する可能性のある領域を候補領域として設定する処理と、
    　前記対象物体と同一の物体が撮影されている画像である基準画像を、アノテーションが完了済みの画像から抽出する処理と、
    　前記アノテーションの対象画像と、前記候補領域を含む領域について前記アノテーションの対象画像とは異なる時に撮影した参照画像と、前記基準画像とを関連付けたデータをアノテーション用データとして生成する処理と、
    　生成した前記アノテーション用データを出力する処理と
    　をコンピュータに実行させる画像処理プログラムを記録する記録媒体。
PCT/JP2022/032697 2021-09-29 2022-08-31 画像処理装置、画像処理方法および記録媒体 WO2023053830A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023550483A JPWO2023053830A5 (ja) 2022-08-31 画像処理装置、画像処理方法および画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021158568 2021-09-29
JP2021-158568 2021-09-29

Publications (1)

Publication Number Publication Date
WO2023053830A1 true WO2023053830A1 (ja) 2023-04-06

Family

ID=85780605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032697 WO2023053830A1 (ja) 2021-09-29 2022-08-31 画像処理装置、画像処理方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2023053830A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151876A (ja) * 2016-02-26 2017-08-31 国立研究開発法人情報通信研究機構 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム
JP2019107084A (ja) * 2017-12-15 2019-07-04 キヤノン株式会社 医用画像装置及び医用画像の表示方法
WO2021186672A1 (ja) * 2020-03-19 2021-09-23 日本電気株式会社 画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151876A (ja) * 2016-02-26 2017-08-31 国立研究開発法人情報通信研究機構 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム
JP2019107084A (ja) * 2017-12-15 2019-07-04 キヤノン株式会社 医用画像装置及び医用画像の表示方法
WO2021186672A1 (ja) * 2020-03-19 2021-09-23 日本電気株式会社 画像処理方法

Also Published As

Publication number Publication date
JPWO2023053830A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
KR101346539B1 (ko) 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기
US10964057B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US10347000B2 (en) Entity visualization method
US11521109B2 (en) Information processing apparatus and method of controlling information processing apparatus
WO2015074521A1 (en) Devices and methods for positioning based on image detection
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
JP2020129439A (ja) 情報処理システムおよび情報処理方法
JP2006309405A (ja) メータ認識システム、メータ認識方法、およびメータ認識プログラム
JP2018526754A (ja) 画像処理装置、画像処理方法及び記憶媒体
JP7459927B2 (ja) 画像処理方法
CN111026924A (zh) 一种待搜索内容的获取方法及电子设备
CN113781414A (zh) 一种镜头解像力测试方法、装置和电子设备
RU2747759C2 (ru) Способ и система генерирования сигнатуры поверхности
WO2023053830A1 (ja) 画像処理装置、画像処理方法および記録媒体
JP7132860B2 (ja) 映像情報管理システムおよび映像情報管理方法
JP2007199865A (ja) 画像処理アルゴリズム評価装置、画像処理アルゴリズムの生成装置および画像検査装置ならびに画像処理アルゴリズム評価方法、画像処理アルゴリズムの生成方法および画像検査方法
JP7337557B2 (ja) 情報処理装置、システム、情報処理方法及びプログラム
US20240037889A1 (en) Image processing device, image processing method, and program recording medium
CN112559340A (zh) 一种画面测试方法、装置、设备及存储介质
CN113516131A (zh) 图像处理方法、装置、设备和存储介质
JP2020030730A (ja) 家屋異動判読システム、家屋異動判読方法、家屋異動判読プログラム及び滅失判読モデル
JP7298124B2 (ja) 動画編集装置およびプログラム
JP6399808B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7223198B1 (ja) メータ読取装置、メータ読取方法、及びメータ読取プログラム
CN115496807B (zh) 表计指针的定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875702

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550483

Country of ref document: JP