WO2023276853A1 - 画像処理装置、方法及び画像処理システム - Google Patents

画像処理装置、方法及び画像処理システム Download PDF

Info

Publication number
WO2023276853A1
WO2023276853A1 PCT/JP2022/025146 JP2022025146W WO2023276853A1 WO 2023276853 A1 WO2023276853 A1 WO 2023276853A1 JP 2022025146 W JP2022025146 W JP 2022025146W WO 2023276853 A1 WO2023276853 A1 WO 2023276853A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
feature amount
feature
identification
Prior art date
Application number
PCT/JP2022/025146
Other languages
English (en)
French (fr)
Inventor
容弓 柿下
英春 服部
洋一郎 鈴木
英嗣 田上
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Priority to CN202280043801.9A priority Critical patent/CN117546209A/zh
Priority to US18/572,539 priority patent/US20240119698A1/en
Priority to EP22833000.7A priority patent/EP4365833A1/en
Publication of WO2023276853A1 publication Critical patent/WO2023276853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an image processing device, method, and image processing system for identifying an object in an image.
  • Japanese Patent Laid-Open No. 2002-200000 describes that “an image with a low resolution is segmented into regions, and a region near the boundary in the processing result of the segmentation is set as a processing target region, and an image with a high resolution is segmented”. .
  • the boundary of the region segmentation result for the low-resolution image is a method for improving accuracy using the feature amount extracted from the high-resolution image.
  • a high resolution image is required to correctly segment or classify an input image into a particular class.
  • abnormalities that cannot be determined only by low-resolution images may be included.
  • the class of the entire area may be determined depending on the presence or absence of locally existing characters or patterns. In these cases, it is difficult to divide the region into correct classes using only the low-resolution image, and it is possible to specify the class only by using the features of the high-resolution image.
  • an object of the present invention to provide an image processing apparatus, method, and system that perform region segmentation and identification processing with high accuracy and speed by extracting the minimum feature amount necessary for identification at high speed.
  • An image processing apparatus disclosed in the present invention to achieve the above object is an image processing apparatus for identifying an object in an image, comprising: an image input unit for receiving an input image; an image generating unit for generating an image of, a feature amount extracting unit for extracting a feature amount from the generated image generated by the image generating unit, and an object in the image using the feature amount output by the feature amount extracting unit an output unit for outputting the identification result output by the identification unit; and based on the feature amount output by the feature amount extraction unit, the image generation unit generates a new generated image as necessary. and a feature quantity map generation unit for generating a feature quantity map indicating extraction conditions for the feature quantity for the newly generated image and outputting it to the feature quantity extraction unit.
  • An image processing method disclosed in the present invention is an image processing method for identifying an object in an image, comprising: an image input step of receiving an input image; and an image for feature extraction from the input image.
  • An image generation step a feature amount extraction step of extracting a feature amount from the generated image generated by the image generation step, and detecting or identifying an object in the image using the feature amount calculated in the feature amount extraction step. and an output step of outputting the identification result calculated in the identification step, wherein a new generated image is generated as necessary based on the feature amount output by the feature amount extraction step.
  • It further includes a feature quantity map generating step, which is performed by the generating step, and which generates a feature quantity map indicating extraction conditions of the feature quantity for the new generated image and reflects it in the processing by the feature quantity extracting step.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an image processing apparatus according to Embodiment 1;
  • FIG. 1 is a diagram showing an example of a functional block diagram of an image processing apparatus according to Embodiment 1;
  • FIG. It is a figure which shows an example of a feature-value extraction map.
  • It is a figure which shows an example of a pixel unit identification process.
  • 4 is a diagram illustrating an example of a processing flow of an image processing method according to Example 1;
  • FIG. FIG. 11 is a diagram illustrating an example of a hardware configuration of an image processing system according to Example 3;
  • FIG. 4 is a diagram showing an example of input and output of an image processing device in object placement determination;
  • FIG. 11 is a diagram showing a display example of an object placement verification result;
  • FIG. 11 is a diagram showing a display example of an object placement verification result;
  • FIG. 11 is a diagram showing a display example of an object placement verification result;
  • FIG. 11 is a diagram illustrating an example of a hardware configuration of an image processing system according to Example 4;
  • FIG. 11 is a diagram showing an example of an input image to the image processing apparatus 100 according to the third embodiment;
  • FIG. 11 is a diagram showing an example of an input image to the image processing apparatus 100 according to the third embodiment;
  • FIG. FIG. 11 is a diagram showing a display example of an object placement verification result using certainty.
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of an image processing system according to a second embodiment;
  • FIG. FIG. 11 is a diagram showing an example of a region division result according to Example 4;
  • FIG. 11 is a diagram showing an example of a region division result according to Example 4. It is a figure which shows an example of the correspondence table
  • the image processing apparatus 100 includes an interface section 110 , a calculation section 111 , a memory 112 and a bus 113 , and the interface section 110 , calculation section 111 and memory 112 transmit and receive information via the bus 113 .
  • the interface unit 110 is a communication device that transmits and receives signals to and from devices outside the image processing apparatus 100 .
  • Devices that communicate with the interface unit 110 include an imaging device 120 such as a camera and a microscope, and a display device 121 such as a monitor and a printer.
  • the calculation unit 111 is a device that executes various processes in the image processing device 100, and is, for example, a CPU (Central Processing Unit) or an FPGA (Field-Programmable Gate Array). Functions executed by the calculation unit 111 will be described later with reference to FIG.
  • the memory 112 is a device for storing programs executed by the calculation unit 111, parameters, coefficients, processing results, and the like, and may be HDD, SSD, RAM, ROM, flash memory, or the like.
  • FIG. 2 is an example of a functional block diagram according to the first embodiment of the image processing apparatus 100. As shown in FIG. Each of these functional units may be implemented by software that operates on the computing unit 111, or may be implemented by dedicated hardware.
  • the image processing apparatus 100 includes an image input unit 201, an image generation unit 202, a feature amount extraction unit 203, a feature amount map generation unit 204, an identification unit 205, and an output unit 206 as functional units. Each functional unit will be described below.
  • the image input unit 201 receives input images such as visible light images and microscope images input from the interface unit 110 .
  • the image generation unit 202 uses the input image to generate an image for feature amount extraction.
  • the image generation unit 202 receives a generated image signal from the feature map generation unit 204, which will be described later, the image generation unit 202 determines an image to be generated based on the generated image signal.
  • an image is extracted with predetermined settings.
  • a feature quantity extraction unit 203 extracts a feature quantity from the image generated by the image generation unit 202 .
  • the feature quantity extraction unit 203 when receiving a feature quantity extraction map from the feature quantity map generation unit 204, which will be described later, selects a region in the feature quantity extraction map or a feature quantity type that exceeds a preset threshold value. Features are extracted only for regions and features that have values. If no feature extraction map is input, all types of features are extracted from the entire image, or only a predetermined region and feature are extracted.
  • the feature quantity map generation unit 204 uses the feature quantity output by the feature quantity extraction unit 203 to generate a feature quantity extraction map.
  • the feature amount extraction map designates the image to be generated next by the image generation unit 202 and the region and the type of feature amount from which the feature amount is to be extracted next by the feature amount extraction unit 203 .
  • the identification unit 205 performs identification processing using all or part of the feature amount output by the feature amount extraction unit 203 .
  • the identification processing includes image-based identification processing for classifying an input image into predetermined classes, pixel-based identification processing (area division), and processing for detecting the position of an object in a rectangle. Through this identification processing, it is possible to detect the presence of an object and to determine the type of object.
  • the output unit 206 outputs the identification result output by the identification unit 205 to the outside of the device.
  • the class information and likelihood information for each image may be output in the form of numerical data, or such information may be output in a visually understandable form such as a character string.
  • the identification result is pixel-by-pixel
  • the class and likelihood information for each pixel may be output in the form of numerical data, or may be output as an image expressing the class in a unique color.
  • the identification result is rectangle information
  • the class, likelihood, and rectangle information of each rectangle may be output in the form of numerical data. You may output as an image.
  • FIG. 5 shows an example of a processing flowchart according to the first embodiment. Each step corresponds to each element in the functional block diagram shown in FIG.
  • An image input step 501 receives an input image such as a visible light image or a microscope image input from the interface unit 110 .
  • An image generation step 502 uses the input image to generate an image for feature amount extraction. It should be noted that the image generating step 502 determines the image to be generated based on the generated image signal when the generated image signal generated in the later-described feature map generating step 504 is received. When there is no generated image signal input, an image is generated with predetermined settings.
  • a feature quantity extraction step 503 extracts a feature quantity from the image generated in the image generation step 502 .
  • the feature quantity extraction step 503 when a feature quantity extraction map is received from the feature quantity map generation step 504, which will be described later, determines whether the area in the feature quantity extraction map or the type of feature quantity exceeds a preset threshold value.
  • Features are extracted only for regions and features that have values. If no feature extraction map is input, all types of features are extracted from the entire image, or only a predetermined region and feature are extracted.
  • a feature quantity map generation step 504 uses the feature quantity calculated in the feature quantity extraction step 503 to generate a feature quantity extraction map.
  • the feature quantity extraction map designates the image to be generated next in the image generation step 502 and the type and area of the feature quantity to be extracted next in the feature quantity extraction step 503 .
  • identification processing is performed using all or part of the feature amounts output in the feature amount extraction step 503.
  • the identification processing includes image-based identification processing for classifying an input image into predetermined classes, pixel-based identification processing (area division), detection processing for specifying the position of an object by a rectangle, and the like.
  • the output step 506 outputs the identification result calculated in the identification step 505 to the outside of the device.
  • the class information and likelihood information for each image may be output in the form of numerical data, or such information may be output in a visually understandable form such as a character string.
  • the identification result is pixel-by-pixel
  • the class and likelihood information for each pixel may be output in the form of numerical data, or may be output as an image expressing the class in a unique color.
  • the identification result is rectangle information
  • the class, likelihood, and rectangle information of each rectangle may be output in the form of numerical data. You may output as an image.
  • the image generation unit 202 uses the input image to generate an image for feature amount extraction.
  • the operation of the image generator differs depending on whether or not the generated image signal is received from the feature quantity map generator 204, which will be described later.
  • an image is generated based on the generated image signal.
  • the specified image is an image with a specific frequency component using a low-pass filter, high-pass filter, band-pass filter, etc., an image that has been subjected to image processing such as correction, enhancement, noise removal, etc., and a feature amount extraction map that will be described later.
  • An image or the like that has undergone masking processing may be used as a candidate.
  • an image obtained by combining these image processes may be used as a candidate. Note that the types of candidate images are determined in advance.
  • the image generation unit 202 sets an image with a predetermined initial setting. For example, an image is generated by reducing the input image with a predetermined reduction ratio and image size.
  • the initial setting of the generated image may represent one of the above candidate images.
  • the feature amount extraction unit 203 extracts feature amounts from the generated image output by the image generation unit 202 .
  • the features to be extracted may be handcrafted features such as HOG or Haar-Like features, or may be automatically obtained by machine learning such as deep learning or random forest. Also, the feature amount extracted based on the generated image signal and the parameter of the feature amount may be changed.
  • the feature amount extraction unit 203 When the feature amount extraction unit 203 receives a feature amount extraction map from the feature amount map generation unit 204, which will be described later, the feature amount extraction unit 203 limits the area from which the feature amount is extracted and the type of the feature amount based on the feature amount extraction map.
  • the feature quantity extraction map is an array corresponding to the type of feature quantity and region, and when the value in the feature quantity extraction map is higher than a preset threshold value, feature extraction is performed for the corresponding feature quantity and region.
  • An image 300 is a feature extraction target image input from the image generation unit 202, and feature quantity extraction maps 301, 302, and 303 are feature quantity extraction maps for feature quantities A, B, and C, respectively.
  • White areas in the feature amount extraction maps 301, 302, and 303 represent areas where the values in the feature amount extraction maps are equal to or greater than a preset threshold, and black represent areas where the values are less than the threshold.
  • a target object 304 is an object to be detected, and a bottle is exemplified here. Assume that the target object 304 is composed of a bottle body, a cap, and a label. Regions 305 and 306 are regions having values greater than or equal to the threshold within the feature extraction map.
  • the feature quantity extraction map 301 only the region 305 is equal to or greater than the threshold, so the feature quantity A is extracted only from the region corresponding to the region 305 in the generated image. That is, the feature amount A is applied only to the area around the bottle, and is not applied to the background or floor area. Also, since only the area 306 in the feature amount extraction map 302 is equal to or greater than the threshold, the feature amount B is extracted only from the area corresponding to the area 306 in the generated image. That is, the feature quantity B is applied only to the labeled area and not applied to other areas. Further, since all areas of the feature quantity extraction map 303 are less than the threshold value, feature extraction processing is not executed. Since this feature extraction map is determined based on the feature amount extracted from the previous generated image, the area validated by the feature amount changes.
  • the feature quantity extraction map may specify a common feature quantity map for all feature quantities. That is, it is a map showing only the area for feature extraction. For example, when the feature quantity extraction map 301 in FIG. 3 is input as a common feature quantity map for all feature quantities, the feature quantities A, B, and C are extracted for the region 305, and for the other regions Do not perform feature value extraction.
  • the feature quantity extraction map may specify only the feature quantity to be extracted without specifying the region to be extracted.
  • the feature extraction map has three arrays corresponding to the feature amounts A, B, and C, and as a result of the feature amount map calculation, only the feature amounts exceeding the threshold value are extracted, and the other feature amounts are not extracted. But it's okay.
  • the feature quantity extraction unit 203 reduces the feature extraction processing by limiting the region from which the feature quantity is extracted and the type of the feature quantity based on the feature quantity extraction map, thereby enabling the identification unit 205 to perform high-speed identification processing. come true.
  • the feature amount map generation unit 204 generates a generated image signal that specifies the type of image generated by the image generation unit 202, and a feature amount used by the feature amount extraction unit 203 to limit the area from which the feature amount is extracted and the type of the feature amount. Generate volume extraction maps.
  • the generated image signal determines an image to be generated next by the image generation unit 202 based on the feature amount output by the feature amount extraction unit 203 .
  • the feature amount extraction unit 203 calculates the amount of frequency components contained in the generated image as the feature amount, and determines the image to be generated based on the distribution of the frequency components. Alternatively, it may be determined by machine learning or the like. For example, N candidates for the image to be generated next are prepared, the feature amount output from the feature amount extraction unit 203 is input, and the number of output units is N, to design a deep learning network.
  • a selector that selects the next generated image can be generated by learning so that a generated image that extracts a feature amount effective for discrimination is selected based on the input feature amount.
  • the feature quantity map generation unit 204 outputs an extraction end signal indicating the end of the feature quantity extraction process to the identification unit 205 .
  • the end condition of the feature amount extraction process is determined in advance by the user, and is determined based on, for example, the certainty of the provisional identification, the number of generated images, the number of extracted feature amounts, the processing time, and the like.
  • the end condition based on certainty may be a case where the certainty for the entire area is above a certain level, or a case where the average of the certainty is above a certain level.
  • image-by-image identification there are cases such as when the certainty of identification output for one image exceeds a certain level, or when the identification score exceeds a certain level.
  • a method may be used in which upper limits are set for the number of images to be generated, the number of extracted feature values, the processing time, and the like, and the process ends when any or all of the upper limits are reached. Further, the end may be determined comprehensively based on the number of generated images, the number of extracted feature values, the processing time, and the certainty of identification.
  • the identification unit 205 receives the extraction end signal output from the feature amount map generation unit 204, performs final identification using all or part of the feature amounts extracted by the feature amount extraction unit 203, Output the identification result.
  • FIG. 4 shows an example of using a plurality of reduced images as generated images.
  • Generated images 400, 401 and 402 are a 1/4 reduced image, a 1/2 reduced image and a non-reduced image, respectively.
  • Feature amounts 410, 411, and 412 are feature amounts extracted by the feature amount extraction unit 203 from the generated images 400, 401, and 402, respectively.
  • the original image unit feature amounts 420 and 421 are the feature amounts obtained by enlarging the feature amounts 410 and 411 four times and two times, respectively.
  • Generated image signals 430 and 431 are generated image signals output by the feature map generation unit 204 .
  • Feature quantity extraction maps 440 and 441 are feature quantity extraction maps output by the feature quantity map generation unit 204 .
  • a combined feature amount 450 is a feature amount obtained by combining the feature amount 412 and the original image unit feature amounts 420 and 421 .
  • a discrimination result 460 is an example of a pixel-by-pixel discrimination result obtained by inputting the combined feature amount 450 to the discrimination unit 205 .
  • the generated images 400, 401, and 402 have vertical y, horizontal x, and channel ch dimensions.
  • the feature amounts 410, 411, 412, the original image unit feature amounts 420, 421, the feature amount extraction maps 440, 441, and the combined feature amount 450 have dimensions of vertical direction y, horizontal direction x, and feature amount type ch.
  • the identification result 460 has dimensions of vertical direction y, horizontal direction x, and class ch.
  • the feature quantity extraction unit 203 first receives the generated image 400 and outputs the feature quantity 410 .
  • the generated image 400 is an image generated from an input image when the image generation unit 202 does not receive an input of a generated image signal, and in the example of FIG. 4, a 1/4 reduced image is generated.
  • the feature quantity map generation unit 204 receives the feature quantity 410 and outputs a generated image signal 430 and a feature quantity extraction map 440 .
  • the generated image signal 430 is a signal for determining the image to be generated next, which the feature map generation unit 204 outputs to the image generation unit 202 .
  • the image reduction ratio is selected as the generated image signal.
  • Circles in the generated image signals 430 and 431 represent selectable image reduction ratios, and black circles represent image reduction ratios selected by the feature map generation unit 204 . It is assumed that a reduction ratio of 1/2 is selected for the generated image signal 430 , and the image generation unit 202 outputs the generated image 401 (1/2 reduced image) based on the generated image signal 430 .
  • the feature amount extraction map 440 indicates a region from which the feature amount extraction unit 203 should extract the feature amount from the generated image 401 . In the example of FIG. 4, the feature amount is extracted only from the white area in the feature amount extraction map 440 .
  • the feature amount extraction unit 203 receives the generated image 401 and the feature amount extraction map 440 and outputs the feature amount 411 .
  • the feature quantity 411 is extracted only from the region where the feature quantity extraction map 440 is white, and is not extracted from other regions.
  • a predetermined value such as 0, for example, is stored in an area outside the feature amount extraction target in the feature amount 411 .
  • the feature quantity map generation unit 204 receives the feature quantity 411 and outputs a generated image signal 431 and a feature quantity extraction map 441 .
  • the image generator 202 outputs a generated image 402 (non-reduced image) based on the generated image signal 431 .
  • the feature amount extraction map 441 indicates an area from which the feature amount extraction unit 203 should extract the feature amount from the generated image 402 .
  • the feature amount extraction unit 203 receives the generated image 402 and the feature amount extraction map 441 and outputs the feature amount 412 .
  • the feature amount 412 is extracted only from the area shown in white in the feature amount extraction map 441, and is not extracted from other areas.
  • the feature amounts 410 and 411 are each reduced by the same magnification as the generated image from which the feature is extracted, they cannot be assigned as the feature amount to each pixel as they are. Therefore, the feature amounts 410 and 411 are converted into a form that can be assigned to each pixel of the original image, such as the original image unit feature amounts 420 and 421 . For example, in the example of FIG. 4, the feature quantities 410 and 411 are enlarged four times and two times. After that, by combining all the feature quantities like the post-combination feature quantity 450, a comprehensive feature quantity corresponding to each pixel can be obtained. Finally, the identification unit 205 receives the combined feature amount 450 and outputs the identification result 460 .
  • the identification result 460 represents class information for each pixel.
  • the method of creating the original image unit feature amounts 420 and 421 described above is an example, and other methods may be used as long as each feature amount can be assigned to each pixel in the original image. For example, a feature amount obtained by enlarging the feature amount 410 twice and a feature amount 411 are combined, a new feature amount is generated based on the combined feature amount, and then the feature amount is further doubled. A method of assigning is also acceptable.
  • the step of assigning feature values to pixels may be omitted, and identification may be performed using all obtained feature values. Quantity may be used for identification.
  • the output unit 206 outputs the identification result output by the identification unit 205 to the outside of the device.
  • the array and numerical values of the identification results may be output as they are, or in the case of area division, an image in which each pixel is colored according to the identification results may be output.
  • the identification result may be output in a form that is easy for the user to understand, such as a character string.
  • Embodiment 2 is an image processing system that detects an object at high speed based on the region segmentation result or identification result output by the image processing apparatus according to Embodiment 1 and a detection-related designation signal that designates settings and information regarding detection. be.
  • An image processing system 1200 includes an imaging device 1201 , an image processing device 100 , an object detection device 1202 , a display device 1203 and a storage device 1204 .
  • the imaging device 1201 is a device for imaging a target object, such as a camera.
  • the image processing apparatus 100 is the image processing apparatus described in the first embodiment, and calculates area segmentation and/or identification results of a specific object area from the image captured by the image capturing apparatus 1201 .
  • the object detection device 1202 is based on the region segmentation result or identification result output by the image processing device 100 and the detection target designation signal, which is a signal designating the detection target among the detection-related designation signals output by the storage device 1204. Outputs object detection information.
  • a display device 1203 presents the result of object detection by the object detection device 1202 to the user.
  • the storage device 1204 holds detection-related designation signals preset by the user.
  • the detection-related designation signal is a signal for designating various settings and information related to detection.
  • a detection-related designation signal in the second embodiment includes a detection target designation signal that designates a detection target in the object detection device 1202 .
  • Storage device 1204 outputs a detection target designation signal to object detection device 1202 .
  • the image processing system 1200 may include a user interface device such as a keyboard, and may be configured so that the user can rewrite detection-related designation signals recorded in the storage device 1204 during system operation. good.
  • FIG. 7 shows an example of an image captured by the imaging device 1201 and an example of the area segmentation result output by the image processing device 100 .
  • An image 701 is an example of an image obtained by imaging a plurality of medicine bottles
  • an area segmentation result 702 is an example of a result of segmentation of the image 701 by the image processing apparatus 100 .
  • Bottles 703, 704 and 705 are bottles of drugs A, B and C, respectively
  • bottle regions 706, 707 and 708 are bottle regions of drugs A, B and C obtained by region division.
  • the bottle areas 706, 707, 708 are divided into different classes, and the difference in texture indicates the difference in class.
  • the region division result 702 is effective for the user to visually confirm the situation. However, if the user needs per-object information (e.g. whether there is a particular type of bottle, how many bottles are in the image, and in what order the bottles are arranged) , requires additional processing. Therefore, the object detection device 1202 receives the detection target designation signal from the storage device 1204, extracts object information based on the detection target designation signal, and outputs it as a detection result.
  • per-object information e.g. whether there is a particular type of bottle, how many bottles are in the image, and in what order the bottles are arranged
  • the object detection device 1202 can output information determined by the presence or absence of objects belonging to each class, the number of objects, coordinate information, location information, or a combination thereof as a detection result. Designated by the detection target designation signal.
  • a method for extracting each piece of information will be described.
  • the presence or absence of an object belonging to each class can be detected by extracting the combined regions within the segmentation result and determining whether or not there is a combined region belonging to each class.
  • the result of the segmentation may include misidentified regions
  • the merged regions may be extracted after excluding the misidentified regions based on the state of the merged regions.
  • a threshold for the size of the combined area is set in advance, and if the number of pixels in the combined area is less than the threshold, it is determined as an erroneously identified area and excluded.
  • it may be excluded using geometric transformation (contraction/expansion processing, etc.) of the image, noise removal processing such as median filter, etc. It may be excluded by a method of performing threshold processing on the quantitative value.
  • the object detection device 1202 can calculate the number of objects belonging to each class by extracting the joined regions belonging to each class in the result of segmentation by the method described above and counting the number of joined regions of each class. be.
  • the object detection device 1202 extracts the joint area of each class by the above-described method, and calculates the representative points of the joint areas (for example, the upper end, the lower end, the left end, the right end, the center of gravity, etc.), and the coordinate positions of the representative points. can be output as the detection result.
  • the representative points of the joint areas for example, the upper end, the lower end, the left end, the right end, the center of gravity, etc.
  • the object detection device 1202 can output the arrangement position of each combined area in the area segmentation result as a detection result.
  • the coordinate information of the representative point is extracted from each connected area in the result of area division by the method described above, and is recorded in association with the class information of each connected area.
  • the images are sorted based on the horizontal (or vertical) coordinate information, and the class information is extracted from the sorted result to obtain the horizontal (or vertical) arrangement order of the objects in the image as the arrangement information.
  • the image may be divided into grids, and grid-shaped object placement information may be obtained by determining the presence or absence of an object in each class in the grid based on the occupied area of the combined area in each grid. .
  • the overall state of one or a plurality of objects may be detected by combining the presence/absence of objects belonging to each class, the number of objects, coordinate information, and location information. As described above, it is possible to provide an image processing system that detects a target object in an image at high speed.
  • Example 3 is an image processing system that uses the image processing system described in Example 2 to determine whether or not the arrangement of target objects has a predetermined positional relationship.
  • FIG. 6 shows a hardware configuration diagram according to the third embodiment.
  • An image processing system 600 according to the second embodiment includes an imaging device 1201 , an image processing device 100 , an object detection device 1202 , an object placement verification device 602 , a display device 1203 and a storage device 1204 .
  • the imaging device 1201, the image processing device 100, the object detection device 1202, and the display device 1203 are the same as the devices described in the second embodiment, so descriptions thereof are omitted.
  • the object detection device 1202 receives from the storage device 1204 a detection target designation signal designating a detection target.
  • the detection target designating signal designates arrangement information of each combined region in the result of segmentation.
  • the object detection device 1202 extracts object location information by the method described in the second embodiment.
  • the detection-related designation signals held in the storage device 1204 include two detection target designation signals that designate detection targets and correct placement state designation signals that represent the correct placement state of the target object.
  • the storage device 1204 outputs a detection target designation signal to the object detection device 1202 and outputs a correct placement state designation signal to the object placement verification device 602 . It is assumed that the detection target designation signal and the normal arrangement state designation signal are set in advance by the user.
  • the object placement verification device 602 receives the object placement information output by the object detection device 1202 and the correct placement state designation signal output by the recording device 1204, and based on whether or not the two match, the imaging device 1201 Verify that the objects in the captured image are positioned correctly.
  • the object detection device 1202 acquires the horizontal arrangement information of each object area from the area segmentation result 702 .
  • the label arrangement information is calculated as "ABC"
  • the object placement verification device 602 creates an image for presenting the user with the correct/wrong judgment result of the placement.
  • 8A, 8B, and 8C show display examples of object placement verification results.
  • a window 801 represents a result display window presented to the user
  • a comprehensive verification result 802 represents a comprehensive placement verification result
  • individual verification results 803, 804, and 805 represent placement verification results of each target object.
  • the comprehensive verification result 802 is displayed as "OK" when all the target objects are correctly arranged, and is displayed as "Error" otherwise.
  • each bottle is correctly placed, so the individual verification results 803, 804, 805 and the comprehensive verification result 802 are all displayed as "OK”.
  • the placement of the second and third bottles from the left is incorrect, so the individual verification results 804 and 805 are displayed as "Error", and the overall verification result 802 is also "Error”.
  • the example of FIG. 8C is an example in which the bottle on the right end was different from the expected bottle and could not be detected correctly. Since the placement of the left and middle bottles is correct, the individual verification results 803 and 804 are displayed as "OK”. However, the calculation result of the arrangement information is "AB”, which does not match the registered correct bottle arrangement "ABC”. Therefore, "Error” is displayed in the comprehensive verification result 802 . Instead of displaying "Error”, it is also possible to display a message indicating that the number of target objects to be detected was not detected, or display the number of detected target objects.
  • the display of "OK” and "Error” indicates whether the placement of each object is correct or incorrect.
  • the correctness or incorrectness of the arrangement of the area, the type of the target object, etc. may be indicated not only by characters, but also by the color of the detection frame or area, the line type, the icon, etc., as long as the display can convey the arrangement information of the target object to the user. Any display is acceptable.
  • the arrangement from the left has been described above as an example, up, down, left, right, nested structures, etc. may be determined as long as the relative arrangement of the target objects can be defined.
  • the object placement verification device 602 may also use the reliability of the segmentation result output by the image processing device 100 to determine the individual verification result of each bottle. Confidence is a value that indicates how confident the image processing apparatus 100 has segmented each pixel. For example, when obtaining identification scores for the background, bottle A, bottle B, and bottle C for each pixel by region division, there is a method of using the maximum value of the identification scores as the degree of certainty. At this time, it is desirable to normalize so that the value range of each discrimination score is from 0.0 to 1.0 and the sum of all classes of discrimination scores is 1.0. For example, the object placement verification device 602 determines that bottle regions that have not been detected with sufficient confidence are determined to be insufficient confidence or false detection, and displayed as individual verification results. Also, the degree of certainty may be presented to the user by superimposing it on the object placement verification result screen.
  • FIG. 11 shows an example of object placement verification using certainty.
  • a result display window 1101 is a result display window presented to the user
  • an area division result 1102 is an area division result by the image processing apparatus 100
  • a certainty superimposition result 1113 is the certainty of the area division result output by the image processing apparatus 100 for each pixel.
  • 11 shows an example in which degrees are superimposed on a result display window 1101.
  • FIG. A result display window 1101 includes bottle A 1103, bottle B 1104, and bottle C 1105, and displays individual verification results 1106, 1107, 1108 and overall verification result 1109 of each bottle.
  • the bottle C1105 does not have a label with the name of the drug written on it, and the name of the drug cannot be visually recognized.
  • Region division result 1102 shows region division result A1110, region division result B1111, and region division result C1112 as region division results for bottle A1103, bottle B1104, and bottle C1105. It is assumed that bottle A 1103, bottle B 1104, and bottle C 1105 are correctly identified and their types are correctly identified.
  • the certainty factor superimposition result 1113 displays the certainty factors A1113, B1114, and C1115 as certainty factors of the segmentation result A1110, the segmentation result B1111, and the segmentation result C1112 in a form superimposed on the result display window 1101. .
  • the certainty factor for each pixel is displayed as a luminance value, and the closer to white the higher the certainty factor, and the closer to black the lower the certainty factor.
  • the image processing apparatus 100 extracts features from a plurality of generated images based on the feature extraction map, so this feature extraction method is reflected in the degree of certainty.
  • the confidence factor superimposition result 1113 in FIG. 11 shows an example of feature extraction from an image reduced by a plurality of magnifications, and the resolution of the confidence factor is locally different.
  • high-resolution confidence values can be obtained for character areas in labels and bottle contours because features are extracted at high resolution. ing.
  • the image processing apparatus 100 correctly identifies the bottle types of bottle A1103, bottle B1104, and bottle C1105 as described above, there is a difference in the degree of certainty.
  • a threshold for the certainty is determined in advance, and individual A method for determining the determination result will be described. Confidence levels A1113 and B1114 for bottles A1103 and B1104 whose labels are visually recognizable exceed the above thresholds, especially around the labels. Assume that the certainty factor C1115 does not exceed the threshold value. In this case, bottle A 1103 and bottle B 1104 are determined to have sufficient certainty, and the bottle type obtained by region division is adopted as the detection result as it is.
  • the user can determine based on which area the image processing apparatus 100 has identified the bottle type, or use the information for identification. It is possible to obtain information about the lack of characteristics of
  • Example 4 is an image processing system for automatic blood analysis that uses the image processing system described in Example 2 and includes a function for quickly and highly accurately determining the type of container storing a sample to be analyzed.
  • the blood analysis includes biochemical analysis and immunoassay.
  • a specimen state judgment function for example, detection of the presence or absence of air bubbles or foreign matter that affects analysis
  • FIG. 9 shows a hardware configuration diagram according to the fourth embodiment.
  • An image processing system 900 includes an imaging device 1201, an image processing device 100, an object detection device 1202, a specimen state determination device 902, a sampling device 903, an analysis device 904, and a display device 1203. , and a storage device 1204 . Since the imaging device 1201 and the display device 1203 are the same as the devices described in the second embodiment, their description is omitted. However, it is assumed that the imaging device 1201 captures an image of a container in which a sample is stored (hereinafter referred to as a sample) from the side.
  • the image processing apparatus 100 performs area division for identifying the container type, and the object detection apparatus 1202 determines and outputs the container type based on the area division result. Details will be described later.
  • the detection-related designation signals held in the storage device 1204 include a detection target designation signal that designates a detection target, a sample and/or container state determination target that designates a state determination target in the specimen state determination device 902, and a detection target designation signal that specifies a detection target. Contains two of the designated signals.
  • the storage device 1204 outputs a detection target designation signal to the object detection device 1202 and outputs a sample and/or container state determination target designation signal to the specimen state determination device 902 .
  • the detection target designation signal the type information of the container determined based on the presence or absence of the object belonging to each class and its coordinate position is designated.
  • the user designates the state of the sample and/or container that the user wants to determine, such as the presence or absence of air bubbles or foreign matter in the sample, or the tilt of the container. It is assumed that the detection target designation signal and the sample state and/or container state determination target designation signal are set in advance by the user.
  • FIGS. 10A and 10B Examples of input images to the image processing apparatus 100 according to the fourth embodiment are shown in FIGS. 10A and 10B.
  • An input image 1000 in FIGS. 10A and 10B shows an example in which a cup A 1003 and a cup B 1004 are placed on bottom-raising containers 1001 and 1002, respectively.
  • a sample 1005 is stored in the cup A1003 and the cup B1004.
  • the bottom-raised containers 1001 and 1002 and the cup A 1003 and cup B 1004 are separated and may be combined in any way.
  • the container type is determined based on the combination of the cup type and the height of the bottom-up container will be described.
  • a feature amount extraction map is generated from a reduced image, and necessary for identifying the type of cup and detecting the position of the cup only from around the cup A 1003 and the cup B 1004. Since the feature quantity is extracted, the speed can be increased.
  • FIGS. 13A and 13B are examples of segmentation results when FIGS. 10A and 10B are used as input images.
  • the region segmentation result 1300 includes a cup region A 1303 and a cup region B 1304, each of which is expressed as a texture of a different type of cup.
  • the region segmentation result by the image processing device 100 is input to the object detection device 1202 .
  • Object detection device 1202 also receives a detection target designation signal from storage device 1204 .
  • the detection target designation signal designates the presence or absence of an object belonging to each class (that is, the type of cup present in the image and the presence or absence thereof) and the type information of the container determined based on the coordinate position thereof.
  • the object detection device 1202 first extracts a combined area from the area segmentation result 1300 by the method described in the second embodiment, and identifies the type of cup in the image. After that, the object detection device 1202 estimates the length of the bottom-up container from the position of the extracted joint area.
  • d2 is the vertical coordinate position of the lower end of the raised bottom container
  • 1 is the vertical coordinate position of the lower end of the cup region estimated by the image processing apparatus 100
  • d1 is the distance from the lower end of the cup to the bonding point with the raised floor container.
  • is the distance of FIG. 15 illustrates the relationship of each parameter in the example of FIG. 10A.
  • the distance d1 from the lower end of the cup to the bonding point with the raised container is measured in advance for each type of container and recorded in the storage device 1204. Read from storage device 1204 . It is assumed that the coordinate position d2 in the vertical direction of the lower end of the raised-bottom container is the same position regardless of the raised-bottom container, and is measured and recorded in the storage device 1204 in advance. However, if the lower end of the raised bottom container fluctuates significantly, the image processing apparatus 100 may estimate the position of the lower end of the raised bottom container separately from the cup region.
  • the container type is determined from the specified cup type and the length of the bottom-up container.
  • a correspondence table 1400 of the cup type and the length of the bottom-raised container as shown in FIG. 14 is stored in the storage device 1204 in advance.
  • the horizontal axis of the correspondence table 1400 indicates the type of cup, and the vertical axis indicates the height of the bottom-up container. It is possible to determine Regarding the length of the bottom-raising container, the element having the closest value from the candidates in the correspondence table 1400 to the estimated value obtained by the above formula is selected.
  • the sample state determination device 902 is a device that determines the state of the sample and/or container, and uses any existing technology to determine whether there are bubbles in the sample, whether the container is tilted, or the like. At this time, by switching the determination algorithm based on the container type output by the object detection device 1202, it becomes possible to determine the specimen state with higher accuracy.
  • the sample collection device 903 controls sample collection processing based on the sample state determination result output by the sample state determination device 902 .
  • the analysis device 904 performs blood analysis by mixing the sample obtained by the sampling device 903 with the drug.
  • the output device 905 is a device for displaying the blood analysis results, such as a monitor or a printer.
  • the image processing device 100 and the object detection device 1202 can identify the sample container type at high speed and with high accuracy.
  • the sample collection device 903 controls sample collection based on the sample state determined by the sample state determination device 902 . For example, if the sample contains air bubbles that affect the analysis, the user is notified of the reason for non-collection without collecting the sample, or the sample is sent to another sample transport route.
  • the generated image signal may be calculated so as to generate a plurality of images according to the score of the generated image signal.
  • the image generation unit 202 that has received the generated image signal generates a plurality of images based on the generated image signal and outputs the images to the feature amount extraction unit 203 .
  • the feature quantity map generating unit 204 generates a feature quantity extraction map for each generated image.
  • the feature amount extraction unit 203 uses the generated image group received from the image generation unit 202 and the feature amount extraction map group received from the feature amount map generation unit 204 to extract from each pair (a combination of the generated image and the feature amount extraction map) Extract features.
  • the types of feature amounts selected by the feature amount extraction unit 203 of the first embodiment include not only differences in characteristics of feature amounts such as differences in weighting coefficients of feature amount extraction filters, but also strides and dirates in convolution processing. It may be a parameter related to the application method.
  • a certainty degree display button is arranged on the object placement verification result screen, and the user switches between ON/OFF of superimposing the certainty degree and whether to display the original image or the certainty degree. method is fine.
  • the degree of certainty is expressed as a brightness value
  • a heat map, a contour line, or a color-coded display for each class may be used.
  • only pixels having certainty or more may be superimposed and displayed.
  • the condition of the bottle or the photograph tends to be abnormal. may be displayed.
  • the method of displaying each individual determination result in Example 3 may display not only the finally determined bottle type, but also the degree of certainty for a plurality of bottle types.
  • the certainty factor to be displayed for example, the maximum value, average value, or sum of the certainty factors in the combined area may be used, and may be combined with other image processing such as threshold processing or normalization processing.
  • the image processing apparatus for identifying an object in an image disclosed in the first embodiment includes an image input unit 201 that receives an input image, and an image generator that generates an image for feature extraction from the input image.
  • a feature amount extraction unit 203 for extracting a feature amount from the generated image generated by the image generation unit; and an identification unit for identifying an object in the image using the feature amount output by the feature amount extraction unit.
  • 205 an output unit 206 that outputs the identification result output by the identification unit, and an instruction to the image generation unit to generate a new generated image as necessary based on the feature amount output by the feature amount extraction unit 203.
  • a feature quantity map generation unit 204 for generating a feature quantity map indicating extraction conditions for the feature quantity for the newly generated image and outputting the feature quantity map to the feature quantity extraction unit 203 .
  • the image generation unit 202 reduces the input image to generate the first generated image, and the feature amount map generation unit 204 determines that the already extracted feature amount is insufficient for the identification. , to instruct generation of a new generated image with a reduced reduction ratio.
  • the feature amount map generation unit 204 identifies an area where the already extracted feature amount is insufficient for the identification, and generates a feature amount map that designates the area as a feature amount extraction range. In this way, by excluding regions where sufficient feature values have been obtained for identification, limiting the range of feature value extraction, and re-executing feature value extraction, the target object in the image can be detected with high accuracy and speed. can be identified.
  • the feature amount map generation unit 204 determines conditions for generating a new generated image and the type of feature amount to be extracted from the new generated image based on the extraction result of the existing feature amount. Therefore, the type of generated image, the reduction ratio, and the type of feature amount to be extracted can be appropriately changed, and the target object in the image can be identified with high accuracy and high speed.
  • the feature amount map generation unit 204 outputs an extraction end signal indicating the end of the feature amount extraction process to the identification unit 205, and the identification unit 205 outputs the extraction end signal.
  • the features associated with one or more generated images generated so far are collectively used to identify the object in the image. Therefore, it is possible to eliminate unnecessary processing loads, efficiently generate necessary feature amounts, and identify a target object in an image with high accuracy and high speed.
  • the feature quantity map generation unit 204 performs provisional identification using part or all of the feature quantity extracted by the feature quantity extraction unit 203 so far, and extracts the feature quantity based on the certainty of the identification. Generate a map. Therefore, it is possible to accurately determine the necessity of new feature quantity extraction.
  • the image processing system disclosed in the second embodiment for detecting an object in an image at high speed includes an imaging device 1201 that captures an image of a target object to obtain the input image, the image processing device 100 disclosed in the first embodiment, An object detection device 1202 that detects a target object based on the identification result output by the image processing device 100 and detection target information output from a storage device 1204, and a detection target that specifies the target to be detected by the object detection device 1202 A storage device 1204 for outputting information and a display device 1203 for presenting the object detection result output by the object detection device 1202 to the user are provided. According to the configuration shown in the second embodiment, it is possible to detect the detection target object in the image at high speed.
  • the image processing system disclosed in Example 3 uses object identification results and feature quantity extraction maps to suggest the possibility of ⁇ the placement of objects has been replaced'' and ⁇ the orientation of labels is incorrect''. It is also possible to display
  • the present invention is not limited to the above examples, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • not only deletion of each component but also replacement and addition of the component are possible.
  • Image processing device 110: Interface unit, 111: Calculation unit, 112: Memory, 113: Bus, 201: Image input unit, 202: Image generation unit, 203: Feature amount extraction unit, 204: Feature amount map generation unit , 205: identification unit, 206: output unit, 500: image processing method, 501: image input step, 502: image generation step, 503: feature amount extraction step, 504: feature amount map generation step, 505: identification step, 506 : output step 1200: image processing system 1201: imaging device 1202: object detection device 1203: display device 1204: storage device 1400: correspondence table

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

入力画像を受付ける画像入力部２０１と、前記入力画像から特徴量抽出のための画像を生成する画像生成部２０２と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部２０３と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部２０５と、前記識別部が出力する識別結果を出力する出力部２０６と、前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部２０４とを備える。かかる構成及び動作により、画像内の対象物体を高精度かつ高速に識別する。

Description

画像処理装置、方法及び画像処理システム
　本発明は、画像中の物体を識別する画像処理装置、方法及び画像処理システムに関する。
　近年、カメラや顕微鏡で撮像した画像の解析のために、深層学習等の機械学習を用いた領域分割や識別が多く利用される。機械学習を用いた識別は、高い識別精度を実現できる一方で、手動設計した特徴量を用いた識別よりも一般的に処理コストが高いという課題がある。リアルタイム性や計算能力の低いデバイスでの実行が求められる場合には、計算量の削減が必要となる。例えば特許文献１には「解像度の低い画像に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域を処理対象領域として解像度の高い画像に対する領域分割を行う」との記載がある。
特開２０１５－１７６２８１号公報
　特許文献１に記載の技術では低解像度画像に対する領域分割結果の境界を、高解像度画像から抽出した特徴量を用いて高精度化する手法であるため、低解像度画像の段階で各領域を正しいクラスに分割する必要がある。しかし、入力画像を正しく領域分割あるいは特定のクラスに識別するためには高解像度画像が必要な場合が多々ある。例えば顕微鏡画像による細胞や細菌解析において、各細胞や細菌の状態を正しく推定するためには低解像度画像のみでは判断が難しい。また、顕微鏡画像による半導体向け検査においても、低解像度画像だけでは判断できない異常が含まれる可能性がある。可視光画像を用いた検査においても、例えば局所的に存在する文字やパターンの有無によって領域全体のクラスが決定される場合がある。これらの場合には低解像度画像のみを用いて領域を正しいクラスに分割することは難しく、高解像度画像の特徴を用いて初めてクラスを特定することが可能となる。
　そこで本発明は、識別に必要な最低限の特徴量を高速に抽出することで、高精度かつ高速に領域分割や識別処理を行う画像処理装置、方法およびシステムを提供することを目的とする。
　上記目的を達成するために本発明で開示される画像処理装置は、画像内の物体を識別する画像処理装置であって、入力画像を受付ける画像入力部と、前記入力画像から特徴量抽出のための画像を生成する画像生成部と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部と、前記識別部が出力する識別結果を出力する出力部と、前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部とを備える。
　また、本発明で開示される画像処理方法は、画像内の物体を識別する画像処理方法であって、入力画像を受付ける画像入力ステップと、前記入力画像から特徴量抽出のための画像を生成する画像生成ステップと、前記画像生成ステップにより生成された生成画像から特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにて算出した特徴量を用いて、画像内の物体を検出あるいは識別する識別ステップと、前記識別ステップにて算出した識別結果を出力する出力ステップと、を含み、前記特徴量抽出ステップが出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成ステップにより行わせるとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出ステップによる処理に反映させる特徴量マップ生成ステップをさらに含む。
　本発明によれば、画像内の対象物体を高精度かつ高速に識別する装置、方法およびシステムを提供可能となる。
実施例１に係る画像処理装置のハードウェア構成の一例を示す図である。 実施例１に係る画像処理装置の機能ブロック図の一例を示す図である。 特徴量抽出マップの一例を示す図である。 画素単位識別処理の一例を示す図である。 実施例１に係る画像処理方法の処理フローの一例を示す図である。 実施例３に係る画像処理システムのハードウェア構成の一例を示す図である。 物体配置判定における画像処理装置の入力と出力の一例を示す図である。 物体配置検証結果の表示例を示す図である。 物体配置検証結果の表示例を示す図である。 物体配置検証結果の表示例を示す図である。 実施例４に係る画像処理システムのハードウェア構成の一例を示す図である。 実施例３に係る画像処理装置１００への入力画像例を示す図である。 実施例３に係る画像処理装置１００への入力画像例を示す図である。 確信度を用いた物体配置検証結果の表示例を示す図である。 実施例２に係る画像処理システムのハードウェア構成の一例を示す図である。 実施例４に係る領域分割結果の一例を示す図である。 実施例４に係る領域分割結果の一例を示す図である。 カップ種別および底上げ容器と容器種別の対応表の一例を示す図である。 底上げ容器の長さ算出方法の一例を示す図である。
　以下、添付図面に従って本発明に係る画像処理装置、方法およびシステムの実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜画像処理装置のハードウェア構成＞
　図１を用いて実施例１に係る画像処理装置のハードウェア構成について説明する。画像処理装置１００は、インターフェース部１１０と、演算部１１１と、メモリ１１２と、バス１１３とを備え、インターフェース部１１０、演算部１１１、メモリ１１２はバス１１３を介して情報の送受信を行う。
　画像処理装置１００の各部について説明する。
　インターフェース部１１０は、画像処理装置１００の外部にある装置と信号の送受信を行う通信装置である。インターフェース部１１０と通信を行う装置としてはカメラや顕微鏡などの撮像装置１２０、モニタやプリンタ等の表示装置１２１がある。
　演算部１１１は、画像処理装置１００内での各種の処理を実行する装置であり、例えばＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等である。演算部１１１によって実行される機能については、図２を用いて後述する。
　メモリ１１２は、演算部１１１が実行するプログラムや、パラメタ、係数、処理結果等を保存する装置であり、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等である。
＜画像処理装置の機能構成＞
　図２は画像処理装置１００の第一の実施例に係る機能ブロック図の一例である。これらの各機能部は、演算部１１１上で動作するソフトウェアで実現しても良いし、専用のハードウェアで実現しても良い。
　画像処理装置１００は、機能部として画像入力部２０１と、画像生成部２０２と、特徴量抽出部２０３と、特徴量マップ生成部２０４と、識別部２０５と、出力部２０６と、を含む。以下、各機能部について説明する。
　画像入力部２０１は、インターフェース部１１０から入力される可視光画像や顕微鏡画像等の入力画像を受付ける。
　画像生成部２０２は、前記入力画像を用いて特徴量抽出のための画像を生成する。尚、画像生成部２０２は後述する特徴量マップ生成部２０４から生成画像信号を受付けた場合には、生成画像信号に基づいて生成する画像を決定する。生成画像信号の入力が無い場合には予め定めた設定で画像を抽出する。
　特徴量抽出部２０３は、前記画像生成部２０２が生成した画像から特徴量を抽出する。尚、特徴量抽出部２０３は、後述する特徴量マップ生成部２０４から特徴量抽出マップを受付けた場合には、特徴量抽出マップ内の領域や特徴量種別の内、予め設定された閾値以上の値を有する領域や特徴量に対してのみ特徴量を抽出する。特徴量抽出マップの入力が無い場合には、画像全体から全種別の特徴量を抽出する、あるいは予め定めた領域および特徴量のみを抽出する。
　特徴量マップ生成部２０４は、前記特徴量抽出部２０３が出力する特徴量を用いて、特徴量抽出マップを生成する。特徴量抽出マップは、画像生成部２０２が次に生成する画像と、特徴量抽出部２０３にて次に特徴量を抽出する領域や特徴量の種別を指定する。
　識別部２０５は、特徴量抽出部２０３が出力した全てあるいは一部の特徴量を用いて識別処理を行う。識別処理は入力画像を予め定めたクラスに分類する画像単位の識別処理、画素単位の識別処理（領域分割）、物体の位置を矩形で検出する処理等を含む。この識別処理により、物体の存在の検出や、物体の種類の判別が可能である。
　出力部２０６は、前記識別部２０５が出力する識別結果を装置外部に出力する。識別結果が画像単位である場合には、画像毎のクラス情報や尤度情報を数値データの形で出力しても良いし、それらの情報を文字列等の視覚的に理解できる形で出力しても良い。識別結果が画素単位である場合には、画素毎のクラスや尤度の情報を数値データの形で出力しても良いし、クラスを固有の色で表現した画像として出力しても良い。識別結果が矩形情報である場合には、各矩形のクラスや尤度、矩形情報を数値データの形で出力しても良いし、画像上に矩形とクラス情報を枠線と色等で表現した画像として出力しても良い。
　尚、上記の各機能は、図２の機能部の通りに構成される必要はなく、各機能ブロックの動作を実現する処理が実現できればよい。図５に実施例１に係る処理フロー図の一例を示す。各ステップは図２に示した機能ブロック図の各要素と対応している。
　画像入力ステップ５０１は、インターフェース部１１０から入力される可視光画像や顕微鏡画像等の入力画像を受付ける。
　画像生成ステップ５０２は、前記入力画像を用いて特徴量抽出のための画像を生成する。尚、画像生成ステップ５０２は後述する特徴量マップ生成ステップ５０４にて生成される生成画像信号を受付けた場合には、生成画像信号に基づいて生成する画像を決定する。生成画像信号の入力が無い場合には予め定めた設定で画像を生成する。
　特徴量抽出ステップ５０３は、前記画像生成ステップ５０２にて生成した画像から特徴量を抽出する。尚、特徴量抽出ステップ５０３は、後述する特徴量マップ生成ステップ５０４から特徴量抽出マップを受付けた場合には、特徴量抽出マップ内の領域や特徴量種別の内、予め設定された閾値以上の値を有する領域や特徴量に対してのみ特徴量を抽出する。特徴量抽出マップの入力が無い場合には、画像全体から全種別の特徴量を抽出する、あるいは予め定めた領域および特徴量のみを抽出する。
　特徴量マップ生成ステップ５０４は、前記特徴量抽出ステップ５０３にて算出した特徴量を用いて、特徴量抽出マップを生成する。特徴量抽出マップは、画像生成ステップ５０２にて次に生成する画像と、特徴量抽出ステップ５０３にて次に抽出する特徴量の種別や領域を指定する。
　識別ステップ５０５は、特徴量抽出ステップ５０３にて出力する全てあるいは一部の特徴量を用いて識別処理を行う。識別処理は入力画像を予め定めたクラスに分類する画像単位の識別処理、画素単位の識別処理（領域分割）、物体の位置を矩形で特定する検出処理等を含む。
　出力ステップ５０６は、前記識別ステップ５０５にて算出した識別結果を装置外部に出力する。識別結果が画像単位である場合には、画像毎のクラス情報や尤度情報を数値データの形で出力しても良いし、それらの情報を文字列等の視覚的に理解できる形で出力しても良い。識別結果が画素単位である場合には、画素毎のクラスや尤度の情報を数値データの形で出力しても良いし、クラスを固有の色で表現した画像として出力しても良い。識別結果が矩形情報である場合には、各矩形のクラスや尤度、矩形情報を数値データの形で出力しても良いし、画像上に矩形とクラス情報を枠線と色等で表現した画像として出力しても良い。
　以降、各機能部を主語として詳細な動作について説明するが、各機能部に対応する各ステップを主語として読み替えても差し支えない。
＜各部の構成と動作＞
　以下、機能部の内、画像生成部２０２、特徴量抽出部２０３、特徴量マップ生成部２０４、識別部２０５の動作について詳しく説明する。
　画像生成部２０２は、入力画像を用いて特徴量抽出のための画像を生成する。画像生成部は後述する特徴量マップ生成部２０４から生成画像信号を受付けているか否かで動作が異なる。生成画像信号を受付けている場合、生成画像信号に基づいて画像を生成する。生成画像信号は例えば画像の縮小率や画像サイズが指定される。尚、指定される画像はローパスフィルタやハイパスフィルタ、バンドパスフィルタ等を用いた特定の周波数成分を有する画像、補正・強調・ノイズ除去等の画像処理を適用した画像、後述する特徴量抽出マップを用いたマスキング処理を施した画像等を候補としても良い。また、これらの画像処理を組合せた画像を候補としても良い。尚、候補画像の種類は予め定めておくものとする。
　また、生成画像信号の入力が無い場合、画像生成部２０２は予め定めた初期設定で画像を設定する。例えば予め定めた縮小率や画像サイズで入力画像を縮小した画像を生成する。生成画像の初期設定は、上記候補画像の内、一つを表していれば良い。
　特徴量抽出部２０３は、前記画像生成部２０２が出力する生成画像から特徴量を抽出する。抽出する特徴量はＨＯＧやＨａａｒ－Ｌｉｋｅ特徴などのハンドクラフト特徴量でも良いし、深層学習やランダムフォレスト等の機械学習により自動的に求めたものでも良い。また、生成画像信号に基づいて抽出する特徴量や特徴量のパラメタを変更しても良い。
　特徴量抽出部２０３は、後述する特徴量マップ生成部２０４から特徴量抽出マップを受付けた場合、特徴量抽出マップに基づいて、特徴量を抽出する領域や特徴量の種類を限定する。特徴量抽出マップは特徴量の種類や領域に対応した配列であり、特徴量抽出マップ内の値が予め設定した閾値よりも高い場合、該当する特徴量や領域に対して特徴抽出を行う。
　図３に特徴量抽出マップの一例を示す。画像３００は画像生成部２０２より入力された特徴抽出対象の画像、特徴量抽出マップ３０１、３０２、３０３はそれぞれ特徴量Ａ，Ｂ，Ｃに対する特徴量抽出マップである。特徴量抽出マップ３０１、３０２、３０３内の白の領域は特徴量抽出マップ内の値が予め設定した閾値以上の領域を表しており、黒は閾値未満の領域を表している。対象物体３０４は検出対象の物体であり、ここではボトルを例示している。対象物体３０４はボトル本体とキャップ、そしてラベルから構成されているとする。領域３０５、３０６は特徴抽出マップ内で閾値以上の値を持つ領域である。
　例えば特徴量抽出マップ３０１では領域３０５のみが閾値以上であるため、生成画像内の領域３０５に対応する領域のみから特徴量Ａを抽出する。すなわち特徴量Ａはボトル周辺の領域のみに適用され、背景や床の領域に対しては適用されない。また、特徴量抽出マップ３０２では領域３０６のみが閾値以上であるため、生成画像内の領域３０６に対応する領域のみから特徴量Ｂを抽出する。すなわち特徴量Ｂはラベル領域のみに適用され、その他の領域には適用されない。また、特徴量抽出マップ３０３は全ての領域が閾値未満であるため、特徴抽出処理を実行しない。この特徴抽出マップは、一つ前の生成画像から抽出した特徴量に基づいて決定されるため、特徴量によって有効化される領域は変化する。
　また、特徴量抽出マップは全特徴量に共通の特徴量マップを指定しても良い。すなわち特徴抽出する領域のみを示したマップである。例えば図３の特徴量抽出マップ３０１が、全特徴量の共通の特徴量マップとして入力された場合、領域３０５に対して特徴量Ａ，Ｂ，Ｃの抽出を行い、その他の領域に対しては特徴量抽出を行わない。
　また、特徴量抽出マップは抽出する領域を指定せず、抽出する特徴量だけを指定しても良い。例えば特徴抽出マップは特徴量Ａ、Ｂ、Ｃに対応した三つの配列を有し、特徴量マップ算出の結果、閾値以上となった特徴量のみを抽出し、その他の特徴量は抽出しないという方式でも良い。
　このように特徴量抽出部２０３は、特徴量抽出マップに基づいて特徴量を抽出する領域や特徴量の種類を限定することで特徴抽出処理を削減し、識別部２０５での高速な識別処理を実現する。
　特徴量マップ生成部２０４は、画像生成部２０２が生成する画像の種類を指定する生成画像信号と、特徴量抽出部２０３が特徴量を抽出する領域や特徴量の種類を限定するために用いる特徴量抽出マップを生成する。
　生成画像信号の生成方法について説明する。生成画像信号は特徴量抽出部２０３が出力した特徴量に基づいて画像生成部２０２が次に生成する画像を決定する。例えば特徴量抽出部２０３にて生成画像に含まれる周波数成分量を特徴量として算出し、周波数成分の分布に基づいて生成する画像を決定する。また機械学習等により決定しても良い。例えば次に生成する画像の候補をＮ個用意し、特徴量抽出部２０３から出力された特徴量を入力、出力ユニット数をＮとした深層学習のネットワークを設計する。入力された特徴量に基づいて識別に有効な特徴量を抽出する生成画像が選択されるように学習することで、次の生成画像を選択する選択器を生成可能である。
　次に特徴量抽出マップの生成方法について説明する。例えば、現在までに抽出した特徴量を用いて仮の識別を行い、識別の確信度に基づいて特徴量抽出マップを生成する方法がある。すなわち、これまでに抽出した特徴量のみを用いて高い確信度で識別している領域に対しては新たな特徴抽出を行わず、確信度が低い領域に対しては確信度向上のために新たな特徴抽出を行う。また、どの特徴量あるいは領域から識別に有効な特徴量を抽出できるかを機械学習により推定しても良い。方法は前述の生成画像信号と同様であり、特徴量種別や領域を候補として、そこから抽出される特徴がどの程度識別に有効かを推定する。
　尚、特徴量マップ生成部２０４は識別部２０５に対して特徴量抽出処理の終了を示す、抽出終了信号を出力する。特徴量抽出処理の終了条件は予めユーザーにより決定されるものとし、例えば上記仮の識別の確信度や、生成した画像数、抽出した特徴量数、処理時間等に基づいて決定する。確信度による終了条件は、例えば画素単位識別では、全領域に対する確信度が一定以上の場合、あるいは確信度の平均が一定以上の場合等がある。画像単位識別では、一画像に対して出力される識別の確信度が一定以上になった場合、あるいは識別スコアが一定以上になった場合等がある。生成画像数、抽出特徴量数、処理時間等に対して上限を定めて、いずれかの上限あるいは全ての上限に達した場合に終了する方法でも良い。また、生成画像数、抽出特徴量数、処理時間と、識別の確信度から総合的に終了を判定しても良い。
　識別部２０５は、特徴量マップ生成部２０４が出力する抽出終了信号の入力を受けて、特徴量抽出部２０３が抽出した特徴量の内、全てあるいは一部を用いて最終的な識別を行い、識別結果を出力する。
　図４に画素単位識別処理の一例を示す。図４は生成画像として複数の縮小画像を用いた場合の例である。生成画像４００、４０１、４０２はそれぞれ１／４縮小画像、１／２縮小画像、非縮小画像である。特徴量４１０、４１１、４１２はそれぞれ生成画像４００、４０１、４０２から特徴量抽出部２０３が抽出した特徴量である。原画像単位特徴量４２０、４２１はそれぞれ特徴量４１０、４１１を４倍、２倍に拡大した特徴量である。生成画像信号４３０、４３１は特徴量マップ生成部２０４が出力する生成画像信号である。特徴量抽出マップ４４０、４４１は特徴量マップ生成部２０４が出力する特徴量抽出マップである。結合後特徴量４５０は特徴量４１２および原画像単位特徴量４２０、４２１を結合した特徴量である。識別結果４６０は結合後特徴量４５０を識別部２０５に入力して得られる画素単位の識別結果の例である。ここで、生成画像４００、４０１、４０２は垂直方向ｙ、水平方向ｘ、チャンネルｃｈの次元を有する。また、特徴量４１０、４１１、４１２、原画像単位特徴量４２０、４２１、特徴量抽出マップ４４０、４４１および結合後特徴量４５０は、垂直方向ｙ、水平方向ｘ、特徴量種別ｃｈの次元を有する。また、識別結果４６０は、垂直方向ｙ、水平方向ｘ、クラスｃｈの次元を有する。
　図４の例では、まず、特徴量抽出部２０３が生成画像４００を受付け、特徴量４１０を出力する。尚、生成画像４００は画像生成部２０２が生成画像信号の入力が無い場合に入力画像から生成する画像であり、図４の例では１／４縮小画像を生成している。次に、特徴量マップ生成部２０４が特徴量４１０を受付け、生成画像信号４３０および特徴量抽出マップ４４０を出力する。生成画像信号４３０は前述のとおり、特徴量マップ生成部２０４が画像生成部２０２に対して出力する、次に生成すべき画像を決定するための信号である。図４の例では生成画像信号として画像縮小率を選択する。生成画像信号４３０、４３１内の丸印が選択可能な画像縮小率を表しており、黒丸は特徴量マップ生成部２０４が選択した画像縮小率を表す。生成画像信号４３０では縮小率１／２が選択されているものとし、画像生成部２０２は生成画像信号４３０に基づいて生成画像４０１（１／２縮小画像）を出力する。また、特徴量抽出マップ４４０は、特徴量抽出部２０３が生成画像４０１から特徴量抽出すべき領域を示している。図４の例では特徴量抽出マップ４４０内の白で示した領域のみから特徴量を抽出する。特徴量抽出部２０３は、生成画像４０１および特徴量抽出マップ４４０を受付けて、特徴量４１１を出力する。特徴量４１１は特徴量抽出マップ４４０が白の領域のみから抽出されており、それ以外の領域からは抽出されていない。特徴量４１１内の特徴量抽出対象外の領域には例えば０などの予め定めた値が格納される。
　同様に、特徴量マップ生成部２０４が特徴量４１１を受付け、生成画像信号４３１および特徴量抽出マップ４４１を出力する。画像生成部２０２は生成画像信号４３１に基づいて生成画像４０２（非縮小画像）を出力する。また、特徴量抽出マップ４４１は、特徴量抽出部２０３が生成画像４０２から特徴量抽出すべき領域を示している。特徴量抽出部２０３は、生成画像４０２および特徴量抽出マップ４４１を受付けて、特徴量４１２を出力する。特徴量４１２は特徴量抽出マップ４４１内の白で示した領域のみから抽出されており、それ以外の領域からは抽出されていない。
　特徴量４１０、４１１はそれぞれ特徴抽出元である生成画像と同じ倍率で縮小されているため、そのままでは各画素に対する特徴量として割り当てることができない。そこで例えば原画像単位特徴量４２０、４２１のように、特徴量４１０、４１１を原画像の各画素に割り当て可能な形に変換する。例えば図４の例では特徴量４１０および４１１を４倍および２倍に拡大している。その後、結合後特徴量４５０のように全ての特徴量を結合することで各画素に対応する総括的な特徴量を得ることができる。最後に識別部２０５が結合後特徴量４５０を入力として、識別結果４６０を出力する。識別結果４６０は画素毎のクラス情報を表す。
　上述した原画像単位特徴量４２０、４２１の作成方法は一例であり、各特徴量を原画像内の各画素に割り当てることができればその他の方法でも構わない。例えば特徴量４１０を２倍拡大した特徴量と特徴量４１１を結合し、結合した特徴量に基づいて新たな特徴量を生成した後に更に２倍拡大する等、段階的に特徴量を原画像に割り当てる方法でも良い。
　画像単位識別の場合は、特徴量を画素に割り当てるステップを省き、得られた全特徴量を用いて識別を行っても良いし、例えば領域毎の最大値を取るなどの方法で更に間引いた特徴量を用いて識別を行ってもよい。
　出力部２０６は、識別部２０５が出力する識別結果を装置外部に出力する。識別結果の配列や数値をそのまま出力しても良いし、領域分割の場合は各画素を識別結果に応じて色付けした画像を出力しても良い。また画像単位識別の場合は識別結果を文字列等のユーザーが理解しやすい形で出力しても良い。
　以上により、画像内の対象物体を高精度かつ高速に検出あるいは識別する装置および方法を提供可能となる。
　実施例２は実施例１に記載の画像処理装置が出力する領域分割結果または識別結果と、検出に関する設定や情報を指定する検出関連指定信号とに基づいて高速に物体を検出する画像処理システムである。
　実施例２に係るハードウェア構成図を図１２に示す。実施例２に係る画像処理システム１２００は、撮像装置１２０１と、画像処理装置１００と、物体検出装置１２０２と、表示装置１２０３と、記憶装置１２０４から構成される。
　撮像装置１２０１は、対象物体を撮像するための装置であり、例えばカメラ等である。
　画像処理装置１００は、実施例１に記載の画像処理装置であり、前記撮像装置１２０１で撮像した画像から特定の物体領域の領域分割または識別結果、あるいはその両方を算出する。
　物体検出装置１２０２は、前記画像処理装置１００が出力する領域分割結果または識別結果と、記憶装置１２０４が出力する検出関連指定信号の内、検出対象を指定する信号である検出対象指定信号に基づいて物体の検出情報を出力する。
　表示装置１２０３は、前記物体検出装置１２０２による物体検出結果をユーザーに提示する。
　記憶装置１２０４は、ユーザーにより予め設定された検出関連指定信号を保持している。検出関連指定信号は検出に関連する種々の設定・情報を指定するための信号である。実施例２における検出関連指定信号は、物体検出装置１２０２における検出対象を指定する検出対象指定信号を含む。記憶装置１２０４は検出対象指定信号を物体検出装置１２０２に対して出力する。尚、図１２には特に図示していないが、画像処理システム１２００はキーボード等のユーザーインターフェース装置を含み、システム運用中に記憶装置１２０４に記録した検出関連指定信号をユーザーが書き換え可能な構成としても良い。
＜各装置の動作＞
　撮像装置１２０１、表示装置１２０３、および記憶装置１２０４の動作は上述の通りである。また、画像処理装置１００の動作は実施例１にて説明した通りである。そのためここでは物体検出装置１２０２について説明する。
　画像処理装置１００が領域分割結果を出力する場合について説明する。図７に撮像装置１２０１が撮像した画像と、画像処理装置１００が出力した領域分割結果の一例を示す。画像７０１は複数の薬品ボトルを撮像した画像の例、領域分割結果７０２は画像７０１を画像処理装置１００により領域分割した結果の一例である。ボトル７０３，７０４，７０５はそれぞれ薬品Ａ，Ｂ，Ｃのボトルであり、ボトル領域７０６，７０７，７０８は領域分割により得た薬品Ａ，Ｂ，Ｃのボトル領域である。ボトル領域７０６，７０７，７０８はそれぞれ異なるクラスとして領域分割されており、テクスチャの違いはクラスの違いを表している。
　領域分割結果７０２はユーザーが視覚的に状況を確認するためには有効である。しかし、ユーザーが物体単位の情報（例えば特定の種類のボトルの有無や、画像内にボトルが何個あるか、ボトルはどのような順番で配置されているかといった情報）を必要とする場合には、別の処理が必要となる。そこで物体検出装置１２０２は記憶装置１２０４から検出対象指定信号を受付け、検出対象指定信号に基づいて物体情報を抽出し、検出結果として出力する。
　物体検出装置１２０２は、各クラスに属する物体の有無、個数、座標情報、配置情報、あるいはそれらの組合せによって決定される情報を検出結果として出力することが可能であり、どの情報を出力するかは前記の検出対象指定信号により指定する。以降、各情報の抽出方法について説明する。
　まず、物体検出装置１２０２が各クラスに属する物体の有無を検出する方法を説明する。領域分割結果内の結合領域を抽出し、各クラスに属する結合領域が存在するか否かを判定することで、各クラスに属する物体の有無を検出できる。このとき、領域分割結果には誤識別領域を含む可能性があるため、結合領域の状態に基づいて誤識別領域を除外した後で結合領域を抽出してもよい。誤識別領域の除外方法の一例としては、予め結合領域のサイズに対する閾値を設定しておき、結合領域のピクセル数が閾値を下回る場合、誤識別領域と判定して除外する方法がある。これは誤識別領域の結合領域のサイズが、正解領域の結合領域のサイズよりも小さい傾向があることを利用した除外方法である。他にも画像の幾何学変換（収縮・膨張処理等）やメディアンフィルタ等のノイズ除去処理を用いて除外してもよいし、各画素あるいは結合領域内の識別結果の確信度に基づいて算出した定量値に対して閾値処理を行う方法等で除外してもよい。
　また、物体検出装置１２０２は前記の手法により領域分割結果内の各クラスに属する結合領域を抽出し、各クラスの結合領域の数をカウントすることで、各クラスに属する物体の個数を算出可能である。
　また、物体検出装置１２０２は、前記の手法により各クラスの結合領域を抽出し、結合領域の代表点（例えば上端、下端、左端、右端、重心等）を算出することで、代表点の座標位置を検出結果として出力することが可能である。
　また、物体検出装置１２０２は、領域分割結果内の各結合領域の配置位置を検出結果として出力することが可能である。例えば前記の手法により領域分割結果内の各結合領域から代表点の座標情報を抽出し、各結合領域のクラス情報と紐づけて記録する。その後、水平方向(あるいは垂直方向)の座標情報に基づいてソートし、ソート結果からクラス情報を抽出することで、画像内の物体の水平方向(あるいは垂直方向)の配置順を配置情報として得ることが可能である。他にも画像をグリッド状に分割して、各グリッドにおける結合領域の専有面積に基づき、グリッド内の各クラスの物体有無を決定することで、グリッド状の物体配置情報を得るなどしてもよい。
　また、上述の各クラスに属する物体の有無、個数、座標情報、配置情報を組合せて一つあるいは複数の物体の総合的な状態を検出してもよい。
　以上により、画像内の対象物体を高速に検出する画像処理システムを提供可能となる。
　実施例３は実施例２に記載の画像処理システムを用いて、対象物体の配置が予め定めた位置関係にあるか否かを判定する画像処理システムである。
　実施例３に係るハードウェア構成図を図６に示す。実施例２に係る画像処理システム６００は、撮像装置１２０１と、画像処理装置１００と、物体検出装置１２０２と、物体配置検証装置６０２と、表示装置１２０３と、記憶装置１２０４と、から構成される。
　撮像装置１２０１、画像処理装置１００、物体検出装置１２０２、表示装置１２０３は実施例２に記載の装置と同様であるため、説明を省略する。尚、実施例２にて説明した通り、物体検出装置１２０２は検出対象を指定する検出対象指定信号を記憶装置１２０４から受付ける。本実施例においては検出対象指定信号として領域分割結果内の各結合領域の配置情報を指定する。物体検出装置１２０２は実施例２で説明した方法により物体の配置情報を抽出する。
＜各装置の動作＞
　記憶装置１２０４の動作について説明する。本実施例において、記憶装置１２０４に保持されている検出関連指定信号は、検出対象を指定する検出対象指定信号と、対象物体の正しい配置状態を表す正配置状態指定信号の二つを含む。記憶装置１２０４は検出対象指定信号を物体検出装置１２０２に出力し、正配置状態指定信号を物体配置検証装置６０２に出力する。尚、検出対象指定信号および正配置状態指定信号は予めユーザーにより設定されているものとする。
　物体配置検証装置６０２の動作について説明する。
　物体配置検証装置６０２は、物体検出装置１２０２が出力する物体の配置情報と、記録装置１２０４が出力する正配置状態指定信号を受付け、両者が一致しているか否かに基づいて、撮像装置１２０１が撮像した画像内の物体が正しく配置されているかを検証する。
　図７を用いてボトルの配置検証の一例を説明する。ここでは水平方向のボトルの配置順序を判定する例を説明する。まず、正配置状態指定信号として正しい配置状態における薬品の種類を左から順に登録しておく（例えば“ＡＢＣ”）。実施例２にて説明した方法により、物体検出装置１２０２は領域分割結果７０２から各物体領域の水平方向の配置情報を取得する。その結果、領域分割結果７０２の例ではラベルの配置情報は“ＡＢＣ”と算出され、前記ユーザーにより登録されたボトルの正しい配置と照合することで全てのボトルが正しく配置されていることを判定できる。
　物体配置検証装置６０２は、上記配置の正誤判定結果をユーザーに提示するための画像を作成する。図８Ａ、８Ｂ、８Ｃに物体配置検証結果の表示例を示す。ウィンドウ８０１はユーザーに提示される結果表示ウィンドウ、総合検証結果８０２は総合的な配置検証結果、個別検証結果８０３、８０４、８０５は各対象物体の配置検証結果を表している。図８の例では総合検証結果８０２は全ての対象物体が正しく配置されている場合に“ＯＫ”と表示され、そうでない場合には“Ｅｒｒｏｒ”と表示される。
　図８Ａの例では各ボトルは正しく配置されているため、個別検証結果８０３、８０４、８０５および総合検証結果８０２は全て“ＯＫ”と表示される。
　図８Ｂの例では左から二番目と三番目のボトルの配置が正しくないため、個別検証結果８０４および８０５は“Ｅｒｒｏｒ”と表示されており、総合検証結果８０２も“Ｅｒｒｏｒ”となっている。
　図８Ｃの例は、右端のボトルが想定と異なるボトルであるため正しく検出できなかった例である。左と真ん中のボトルの配置は正しいため、個別検証結果８０３および８０４は“ＯＫ”と表示されている。しかし、配置情報の算出結果は“ＡＢ”となり登録されたボトルの正しい配置“ＡＢＣ”とは一致しない。そのため総合検証結果８０２には“Ｅｒｒｏｒ”と表示されている。また“Ｅｒｒｏｒ”という表示ではなく、検出されるべき数の対象物体が検出されなかった旨の表示、あるいは検出した対象物体の数を表示する等しても良い。
　また、図８Ａ、８Ｂ、８Ｃでは“ＯＫ”と“Ｅｒｒｏｒ”という表示で各物体の配置正誤を表したが、例えば検出した対象物体の種類等を併記しても良い。また領域の配置の正誤や対象物体の種類等は文字だけでなく、検出枠や領域の色、線種、アイコン等で示しても良く、対象物体の配置情報をユーザーに伝達可能な表示であればどのような表示でも良い。また、上記では左からの配置を例として説明したが、対象物体の相対的な配置を定義できれば上下左右、入れ子構造等を判定しても良い。また、総合検証結果および個別検証結果は必ずしも両方を表示する必要はなく、必要に応じてどちらか一方を表示しても良い。
　また、物体配置検証装置６０２は画像処理装置１００が出力する領域分割結果の確信度を併用して各ボトルの個別検証結果を決定しても良い。確信度とは、画像処理装置１００が各画素をどの程度の確信をもって領域分割したかを表す値である。例えば領域分割により各画素に対して背景、ボトルＡ、ボトルＢ、ボトルＣに対する識別スコアを得る場合、識別スコアの最大値を確信度として使用する方法がある。このとき、各識別スコアの値域が０．０から１．０、かつ、識別スコアの全クラスの総和が１．０になるように正規化することが望ましい。物体配置検証装置６０２は例えば十分な確信度をもって検出できていないボトル領域について、確信度不十分あるいは誤検出と判定して個別検証結果に表示する。また、確信度を物体配置検証結果画面に重畳する等して、ユーザーに提示しても良い。
　図１１に確信度を用いた物体配置検証の一例を示す。結果表示ウィンドウ１１０１は、ユーザーに提示される結果表示ウィンドウ、領域分割結果１１０２は画像処理装置１００による領域分割結果、確信度重畳結果１１１３は画像処理装置１００が出力する領域分割結果の画素毎の確信度を結果表示ウィンドウ１１０１に重畳した例を示している。結果表示ウィンドウ１１０１はボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５を含んでおり、各ボトルの個別検証結果１１０６、１１０７、１１０８および総合検証結果１１０９を表示している。ここでボトルＣ１１０５は薬品名の書かれたラベルが無く、薬品名が視認できないとする。領域分割結果１１０２はボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５に対する領域分割結果として領域分割結果Ａ１１１０、領域分割結果Ｂ１１１１、領域分割結果Ｃ１１１２を示している。尚、ボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５はそれぞれ正しく、ボトルの種別を識別されているとする。確信度重畳結果１１１３は領域分割結果Ａ１１１０、領域分割結果Ｂ１１１１、領域分割結果Ｃ１１１２の確信度として確信度Ａ１１１３、確信度Ｂ１１１４、確信度Ｃ１１１５を、結果表示ウィンドウ１１０１に重畳する形で表示している。確信度重畳結果１１１３では、画素毎の確信度が輝度値として表示されており、白に近づくほど高い確信度、黒に近づくほど低い確信度を表している。尚、画像処理装置１００は実施例１で説明したとおり、複数の生成画像から特徴抽出マップに基づいて特徴抽出するため、確信度にこの特徴抽出方法が反映される。具体的には、例えば図１１の確信度重畳結果１１１３は、複数の倍率で縮小した画像から特徴抽出した例を示しており、局所的に確信度の解像度が異なっている。例えばラベル内の文字の領域やボトルの輪郭部分は高解像度で特徴抽出されているため高解像度な確信度が得られているが、ラベルやボトルの輪郭から離れるにしたがって確信度の解像度が低下している。
　画像処理装置１００は前述のとおりボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５のボトル種別を正しく識別しているが、その確信度には違いがある。ここでは、確信度に基づく個別判定結果の決定方法の一例として、確信度に対する閾値を予め定めておき、各結合領域内の最大確信度が前記閾値以上であるか未満であるかに基づいて個別判定結果を決定する方法を説明する。ボトルのラベルが視認可能なボトルＡ１１０３およびボトルＢ１１０４に対する確信度Ａ１１１３および確信度Ｂ１１１４では、特にラベルの周辺に前記閾値を超える確信度が得られており、一方、ラベルが視認不可能なボトルＣ１１０５に対する確信度Ｃ１１１５では、前記閾値以上の確信度は得られていないとする。この場合、ボトルＡ１１０３およびボトルＢ１１０４は確信度が十分であると判定し、領域分割により得られたボトル種別をそのまま検出結果として採用する。ボトルＡ１１０３およびボトルＢ１１０４はボトル種別および配置が正しいため、個別検証結果１１０６、１１０７として“ＯＫ”が表示される。一方、ボトルＣ１１０５は前記閾値以上の確信度で領域分割できていないため、個別検証結果１１０８として確信度が不十分であることを示す“Ｌｏｗ　Ｃｏｎｆ”が表示される。また、ボトルＣ１１０５が正しく検出できなかったため、総合検証結果１１０９は“Ｅｒｒｏｒ”と表示される。尚、確信度が不十分と判定された場合の表示内容は一例であり、例えば誤配置を示す“Ｅｒｒｏｒ”を表示するなどしても良い。
　上記の様に確信度が高い場合のみ配置の検証を行うことで、物体配置検証結果の信頼性を高め、ボトルの誤配置リスクを更に低減することが可能となる。また、確信度を物体配置検証結果画面あるいは入力画像に重畳する等して、ユーザーに提示することで、ユーザーは画像処理装置１００がどの領域に基づいてボトル種別を識別したか、あるいは識別のための特徴の不足について、情報を得ることが可能となる。
　以上により、画像内の対象物体が予め定めた位置関係にあるか否かを判定する画像処理システムを提供可能となる。
　実施例４は実施例２に記載の画像処理システムを用いて、分析対象の試料を格納した容器の種別を高速かつ高精度に判別する機能を含む、血液自動分析向けの画像処理システムである。前記血液分析には生化学分析や免疫分析を含む。画像処理システムに入力された容器の種別を自動的に判定することで、容器種別に応じた検体状態判定機能（例えば分析に影響を与える気泡や異物の有無検知等）の適用が可能となり、血液分析の信頼性が向上する。
　実施例４に係るハードウェア構成図を図９に示す。実施例４に係る画像処理システム９００は、撮像装置１２０１と、画像処理装置１００と、物体検出装置１２０２と、検体状態判定装置９０２と、試料採取装置９０３と、分析装置９０４と、表示装置１２０３と、記憶装置１２０４と、から構成される。
　撮像装置１２０１、表示装置１２０３は実施例２にて説明した各装置と同様であるため説明を省略する。ただし、撮像装置１２０１は、試料を格納した容器（以下、検体）を横から撮像するものとする。画像処理装置１００は容器種別を識別するための領域分割を行い、物体検出装置１２０２は領域分割結果に基づいて容器種別を判定し、出力する。詳細は後述する。
＜各装置の動作＞
　以下では画像処理装置１００、物体検出装置１２０２、検体状態判定装置９０２、試料採取装置９０３、分析装置９０４の動作について詳細を説明する。
　記憶装置１２０４の動作について説明する。本実施例において、記憶装置１２０４に保持されている検出関連指定信号は、検出対象を指定する検出対象指定信号と、検体状態判定装置９０２における状態判定対象を指定する試料及び／又は容器状態判定対象指定信号の二つを含む。記憶装置１２０４は検出対象指定信号を物体検出装置１２０２に出力し、試料及び／又は容器状態判定対象指定信号を検体状態判定装置９０２に出力する。検出対象指定信号としては各クラスに属する物体の有無とその座標位置に基づいて決定される容器の種別情報を指定する。試料及び／又は容器状態判定対象指定信号としては、例えば試料内に存在する気泡や異物の有無、容器の傾き等、ユーザーが判定したい試料及び／又は容器の状態を指定する。尚、検出対象指定信号と、試料状態及び／又は容器状態判定対象指定信号は予めユーザーにより設定されているものとする。
　実施例４に係る画像処理装置１００および物体検出装置１２０２の動作について説明する。実施例４に係る画像処理装置１００への入力画像例を図１０Ａおよび図１０Ｂに示す。図１０Ａおよび図１０Ｂの入力画像１０００は、底上げ容器１００１および１００２の上に、カップＡ１００３およびカップＢ１００４を載せた状態を撮像した例を示している。また、カップＡ１００３およびカップＢ１００４の中に試料１００５が格納されている。底上げ容器１００１および１００２とカップＡ１００３およびカップＢ１００４は分離しており、どのように組合せても良いとする。ここではカップの種類と底上げ容器の高さの組合せに基づいて容器種別を決定する例について説明する。
　カップの種類を識別するためにはカップＡ１００３およびカップＢ１００４周辺から特徴量を抽出する必要がある。また、底上げ容器の高さを識別するためにはカップの上端や下端等の位置を検出する必要がある。カップの位置を高精度に検出するためには高解像度な画像の入力が必要となるが、画像全体から特徴量を抽出する場合、処理時間の長さが課題となる。一方、実施例１に記載の画像処理装置１００を用いることで、例えば縮小画像から特徴量抽出マップを生成して、カップＡ１００３やカップＢ１００４周辺のみからカップの種別識別およびカップの位置検出に必要な特徴量を抽出するため、高速化が可能となる。
　ここでは画像処理装置１００を用いて入力画像内のカップの種別を領域分割する例について説明する。図１３Ａおよび図１３Ｂは図１０Ａおよび図１０Ｂを入力画像とした場合の領域分割結果の例である。領域分割結果１３００はカップ領域Ａ１３０３およびカップ領域Ｂ１３０４を含んでおり、それぞれカップの種類が異なるテクスチャとして表現されている。
　画像処理装置１００による領域分割結果は物体検出装置１２０２へ入力される。また、物体検出装置１２０２は記憶装置１２０４より検出対象指定信号を受付ける。検出対象指定信号としては前述の通り、各クラスに属する物体の有無（すなわち画像内に存在するカップの種別とその有無）とその座標位置に基づいて決定される容器の種別情報を指定する。
　物体検出装置１２０２はまず、実施例２で説明した方法により領域分割結果１３００から結合領域を抽出し、画像内のカップの種別を特定する。その後、物体検出装置１２０２は抽出した結合領域の位置から底上げ容器の長さを推定する。画素単位の底上げ容器の長さＬは下記の式により推定する。
　　　Ｌ＝ｄ２－ｌ＋ｄ１
　ここで、ｄ２は底上げ容器下端の垂直方向の座標位置であり、１は画像処理装置１００が推定したカップ領域下端の垂直方向の座標位置であり、ｄ１はカップ下端から床上げ容器との接着点までの距離である。図１５に図１０Ａの例における各パラメタの関係を図示する。尚、カップ下端から床上げ容器との接着点までの距離ｄ１は、容器の種類毎に予め計測して記憶装置１２０４に記録しておくものとし、物体検出装置１２０２が特定したカップの種別に応じて記憶装置１２０４から読み出す。底上げ容器下端の垂直方向の座標位置ｄ２は、どの底上げ容器であっても同じ位置であると仮定し、予め計測して記憶装置１２０４に記録しておくものとする。ただし、もし、底上げ容器下端の変動が大きい場合は、画像処理装置１００により、カップ領域とは別に、底上げ容器下端の位置を推定するようにしてもよい。
　次に特定したカップの種別と底上げ容器の長さから容器種別を決定する。例えば予め記憶装置１２０４に、図１４に示すようなカップ種別および底上げ容器の長さの対応表１４００を保存しておく。対応表１４００の横軸はカップの種別、縦軸は底上げ容器の高さを示しており、対応表１４００を用いて、上記にて特定したカップ種別および底上げ容器の長さから、容器種別を自動的に決定することが可能となる。尚、底上げ容器の長さに関しては、上述の式により求めた推定値に対して、対応表１４００内の候補中の最も値が近い要素を選択することとする。
　検体状態判定装置９０２は、試料及び／又は容器の状態を判定する装置であり、任意の既存技術を用いて試料内の気泡有無判定や、容器の傾き有無判定等を実行する。この際、物体検出装置１２０２が出力する容器種別に基づいて判定アルゴリズムを切り替えることで、より高精度な検体状態判定が可能となる。
　試料採取装置９０３は、検体状態判定装置９０２が出力する検体状態判定結果に基づいて試料採取処理の制御を行う。
　分析装置９０４は、試料採取装置９０３が取得した試料と薬品を混合することで血液分析を行う。
　出力装置９０５は、前記血液分析結果を表示する装置であり、モニタやプリンタ等である。
　このように画像処理装置１００および物体検出装置１２０２により検体の容器種別を高速かつ高精度に識別可能となる。
　試料採取装置９０３は、検体状態判定装置９０２が判定した検体状態に基づいて試料採取の制御を行う。例えば試料に分析に影響する気泡が含まれている場合、試料を採取しないで、ユーザーに非採取理由を通知する、あるいは別の検体搬送ルートに検体を送る等の処理を行う。
　以上により容器種別を高速かつ高精度に判定することで、検体状態を高精度に判定可能となり、血液分析の信頼性向上を実現する。
＜変形例＞
　実施例１の特徴量マップ生成部２０４における生成画像信号算出の際、生成画像信号のスコアに応じて複数の画像を生成するように生成画像信号を算出しても良い。この場合、生成画像信号を受付けた画像生成部２０２は、生成画像信号に基づいて複数の画像を生成し、特徴量抽出部２０３に出力する。この時、特徴量マップ生成部２０４は各生成画像に対する特徴量抽出マップを生成する。特徴量抽出部２０３は画像生成部２０２から受付けた生成画像群と、特徴量マップ生成部２０４から受付けた特徴量抽出マップ群を用いて、各ペア（生成画像と特徴量抽出マップの組み合わせ）から特徴量を抽出する。
　実施例１の特徴量抽出部２０３において選択される特徴量の種別は、特徴量抽出フィルタの重み係数の違いのような特徴量の性質の違いだけでなく、例えば畳み込み処理におけるストライドやダイレート等、適用方法に関するパラメタであっても良い。
　実施例３の確信度の表示方法は、例えば物体配置検証結果画面に確信度表示ボタンを配置して、確信度重畳のＯＮ／ＯＦＦあるいは原画像と確信度のどちらを表示するかをユーザーが切り替える方法でも良い。また、実施例２では確信度を輝度値として表現する例を用いて説明したが、ヒートマップや等高線、あるいはクラス毎に色分けして表示するなどしてもよい。また、一定以上の確信度を有する画素のみを重畳表示するなどしても良い。また、確信度が不十分と判定されたボトルが存在する場合、ボトルや撮影の状態が正常でない傾向があるため、確信度に応じてユーザーにボトルや撮影の状態の見直しを促すようなメッセージを表示してもよい。
　実施例３の各個別判定結果の表示方法は、最終的に判定されたボトル種別だけでなく、複数のボトル種別に対する確信度を表示しても良い。表示する確信度は、例えば結合領域内の確信度の最大値、平均値、総和などを用いればよく、閾値処理や正規化処理などその他の画像処理と組合せてもよい。
　実施例４に記載の画像処理システムでは、実施例２に記載の画像処理システムを用いて容器種別を判定する方法を説明したが、容器種別以外にもフタやラベルの有無等の容器状態を判定しても良い。
　上述してきたように、実施例１に開示した画像内の物体を識別する画像処理装置は、入力画像を受付ける画像入力部２０１と、前記入力画像から特徴量抽出のための画像を生成する画像生成部２０２と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部２０３と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部２０５と、前記識別部が出力する識別結果を出力する出力部２０６と、前記特徴量抽出部２０３が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部２０３に出力する特徴量マップ生成部２０４とを備える。
　また、前記画像生成部２０２は、前記入力画像を縮小して最初の生成画像を生成し、前記特徴量マップ生成部２０４は、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示する。
　このように、縮小率の高い生成画像から処理を開始し、必要に応じて縮小率を下げた生成画像を用いることにより、画像内の対象物体を高精度かつ高速に識別することができる。
　また、特徴量マップ生成部２０４は、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成する。
　このように、識別に十分な特徴量を得られた領域を除外し、特徴量抽出の範囲を限定して再度の特徴量抽出を実行することで、画像内の対象物体を高精度かつ高速に識別することができる。
　また、特徴量マップ生成部２０４は、既存の特徴量の抽出結果に基づいて、新たな生成画像の生成条件と、当該新たな生成画像から抽出すべき特徴量の種別とを決定する。
　このため、生成画像の種類、縮小率、抽出する特徴量の種別を適宜変更し、画像内の対象物体を高精度かつ高速に識別することができる。
　また、特徴量マップ生成部２０４は、所定の条件が成立した場合に、特徴量抽出処理の終了を示す抽出終了信号を前記識別部２０５に出力し、前記識別部２０５は、前記抽出終了信号を受けた場合に、それまでに生成された１又は複数の生成画像に係る特徴量を総合的に用いて、前記画像内の物体を識別する。
　このため、不要な処理負荷を排除し、必要な特徴量を効率的に生成し、画像内の対象物体を高精度かつ高速に識別することができる。
　また、特徴量マップ生成部２０４は、前記特徴量抽出部２０３がそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成する。
　このため、新たな特徴量抽出の必要性を精度良く判定することができる。
　また、特徴量マップ生成部２０４が出力する特徴量抽出マップを、前記出力部を介して外部に出力することも可能である。
　特徴量抽出マップを外部出力することで、どのような識別処理を行っているかを情報提供できる。
　また、実施例２に開示した画像内の物体を高速に検出する画像処理システムは、対象物体を撮像して前記入力画像を得る撮像装置１２０１と、実施例１に開示した画像処理装置１００と、前記画像処理装置１００により出力された識別結果と記憶装置１２０４から出力される検出対象情報に基づいて対象物体を検出する物体検出装置１２０２と、前記物体検出装置１２０２が検出する対象を指定する検出対象情報を出力する記憶装置１２０４と、前記物体検出装置１２０２が出力する物体検出結果をユーザーに提示する表示装置１２０３を備える。
　実施例２に示す構成によれば、画像内の検出対象物体を高速に検出することが可能となる。
　また、実施例３に開示した画像処理システムにおいて物体の識別結果や特徴量抽出マップを利用し、「物体の配置が入れ替わっている」、「ラベルの向きが誤っている」などの可能性を示唆する表示を行うことも可能である。
　なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各構成要素の削除に限らず、構成要素の置き換えや追加も可能である。
１００：画像処理装置、１１０：インターフェース部、１１１：演算部、１１２：メモリ、１１３：バス、２０１：画像入力部、２０２：画像生成部、２０３：特徴量抽出部、２０４：特徴量マップ生成部、２０５：識別部、２０６：出力部、５００：画像処理方法、５０１：画像入力ステップ、５０２：画像生成ステップ、５０３：特徴量抽出ステップ、５０４：特徴量マップ生成ステップ、５０５：識別ステップ、５０６：出力ステップ、１２００：画像処理システム、１２０１：撮像装置、１２０２：物体検出装置、１２０３：表示装置、１２０４：記憶装置、１４００：対応表
 

Claims (15)

  1. 　画像内の物体を識別する画像処理装置であって、
    　入力画像を受付ける画像入力部と、
    　前記入力画像から特徴量抽出のための画像を生成する画像生成部と、
    　前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部と、
    　前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部と、
    　前記識別部が出力する識別結果を出力する出力部と、
    　前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部と
    を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記画像生成部は、前記入力画像を縮小して最初の生成画像を生成し、
    　前記特徴量マップ生成部は、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示することを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記特徴量マップ生成部は、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成することを特徴とする画像処理装置。
  4. 　請求項１に記載の画像処理装置であって、
    　前記特徴量マップ生成部は、既存の特徴量の抽出結果に基づいて、新たな生成画像の生成条件と、当該新たな生成画像から抽出すべき特徴量の種別とを決定することを特徴とする画像処理装置。
  5. 　請求項１に記載の画像処理装置であって、
    　前記特徴量マップ生成部は、所定の条件が成立した場合に、特徴量抽出処理の終了を示す抽出終了信号を前記識別部に出力し、
    　前記識別部は、前記抽出終了信号を受けた場合に、それまでに生成された１又は複数の生成画像に係る特徴量を総合的に用いて、前記画像内の物体を識別する
    ことを特徴とする画像処理装置。
  6. 　請求項１に記載の画像処理装置であって、
    　前記特徴量マップ生成部は、前記特徴量抽出部がそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成することを特徴とする画像処理装置。
  7. 　請求項１に記載の画像処理装置であって、
    　前記特徴量マップ生成部が出力する特徴量抽出マップを、前記出力部を介して外部に出力することを特徴とする画像処理装置。
  8. 　画像内の物体を高速に検出する画像処理システムであって、
    　対象物体を撮像して前記入力画像を得る撮像装置と、
    　前記撮像装置が出力する前記入力画像に基づいて領域分割結果または識別結果を出力する請求項１に記載の画像処理装置と、
    　検出に関連する設定や情報を指定するための信号である検出関連指定信号として、検出対象を指定するための検出対象指定信号を出力する記憶装置と、
    　前記画像処理装置が出力する領域分割結果または識別結果と、前記記憶装置が出力する検出対象指定信号とに基づいて物体を検出する物体検出装置と、
    　前記物体検出装置が出力した物体検出結果をユーザーに提示する表示装置と、
    　を備えることを特徴とする画像処理システム。
  9. 　請求項８に記載の画像処理システムであって、
    　前記画像処理装置は前記入力画像に基づく領域分割結果を出力し、
    　前記記憶装置は検出関連指定信号として、前記入力画像内に存在する複数物体の配置情報を検出するための検出対象指定信号と、予めユーザーによって設定された対象物体の正配置状態指定信号を出力し、
    　前記物体検出装置は前記領域分割結果と、前記検出対象指定信号を受付け、画像内に存在する複数物体の配置情報を検出し、
    　前記物体検出装置が出力する物体の配置情報と前記記憶装置が出力する正配置状態指定信号に基づいて、前記対象物体の配置が正しい配置であるか否かを検証する物体配置検証装置
    　をさらに備え、
    　前記表示装置は前記物体配置検証装置が出力する物体配置検証結果をユーザーに提示することを特徴とする画像処理システム。
  10. 　請求項８に記載の画像処理システムであって、
    　前記撮像装置は試料を格納した容器を撮像して前記入力画像を取得し、
    　前記画像処理装置は前記入力画像に基づく領域分割結果または識別結果を出力し、
    　前記記憶装置は検出関連指定信号として、前記入力画像内に存在する容器の種別を検出するための検出対象指定信号と、前記試料及び／又は前記容器の状態を判定するための試料状態判定対象指定信号及び／又は容器状態判定対象指定信号を出力し、
    　前記物体検出装置は前記領域分割結果または識別結果と、前記検出対象指定信号に基づいて容器の種別を判定し、
    　前記物体検出装置が出力する前記容器の種別と、前記記憶装置が出力する前記試料状態判定対象指定信号及び／又は容器状態判定対象指定信号に基づいて、前記試料及び／又は前記容器の状態を判定する検体状態判定装置と、
    　前記検体状態判定装置が判定した前記試料及び／又は前記容器の状態に基づいて、前記試料の採取制御を行う試料採取装置と、
    　前記試料採取装置が採取した試料と試薬を混合することで血液分析を行う分析装置と、
    　をさらに備え、
    　前記表示装置は前記分析装置による血液分析結果をユーザーに提示することを特徴とする画像処理システム。
  11. 　画像内の物体を識別する画像処理方法であって、
    　入力画像を受付ける画像入力ステップと、
    　前記入力画像から特徴量抽出のための画像を生成する画像生成ステップと、
    　前記画像生成ステップにより生成された生成画像から特徴量を抽出する特徴量抽出ステップと、
    　前記特徴量抽出ステップにて算出した特徴量を用いて、画像内の物体を検出あるいは識別する識別ステップと、
    　前記識別ステップにて算出した識別結果を出力する出力ステップと、を含み、
    　前記特徴量抽出ステップが出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成ステップにより行わせるとともに、前記特徴量抽出ステップにおける当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成する特徴量マップ生成ステップをさらに含むことを特徴とする画像処理方法。
  12. 　請求項１１に記載の画像処理方法であって、
    　前記画像生成ステップは、前記入力画像を縮小して最初の生成画像を生成し、
    　前記特徴量マップ生成ステップは、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示することを特徴とする画像処理方法。
  13. 　請求項１１に記載の画像処理方法であって、
    　前記特徴量マップ生成ステップは、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成することを特徴とする画像処理方法。
  14. 　請求項１１に記載の画像処理方法であって、
    　前記特徴量マップ生成ステップは、前記特徴量抽出ステップがそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成することを特徴とする画像処理方法。
  15. 　請求項１１に記載の画像処理方法であって、
    　前記特徴量マップ生成ステップが出力する特徴量抽出マップを、前記出力ステップにて外部に出力することを特徴とする画像処理方法。
     
PCT/JP2022/025146 2021-07-02 2022-06-23 画像処理装置、方法及び画像処理システム WO2023276853A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280043801.9A CN117546209A (zh) 2021-07-02 2022-06-23 图像处理装置、方法以及图像处理系统
US18/572,539 US20240119698A1 (en) 2021-07-02 2022-06-23 Image processing device and method, and image processing system
EP22833000.7A EP4365833A1 (en) 2021-07-02 2022-06-23 Image processing device, method, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-110546 2021-07-02
JP2021110546A JP2023007599A (ja) 2021-07-02 2021-07-02 画像処理装置、方法及び画像処理システム

Publications (1)

Publication Number Publication Date
WO2023276853A1 true WO2023276853A1 (ja) 2023-01-05

Family

ID=84691305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025146 WO2023276853A1 (ja) 2021-07-02 2022-06-23 画像処理装置、方法及び画像処理システム

Country Status (5)

Country Link
US (1) US20240119698A1 (ja)
EP (1) EP4365833A1 (ja)
JP (1) JP2023007599A (ja)
CN (1) CN117546209A (ja)
WO (1) WO2023276853A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113460A (ja) * 2010-11-24 2012-06-14 Sony Corp 情報処理装置および方法、並びにプログラム
JP2013210967A (ja) * 2012-03-30 2013-10-10 Canon Inc 体検出方法及び物体検出装置
JP2016516245A (ja) * 2013-03-13 2016-06-02 コファックス， インコーポレイテッド モバイル装置を用いた画像内のオブジェクトの分類
JP2020020744A (ja) * 2018-08-03 2020-02-06 Ａｕｔｏｍａｇｉ株式会社 錆検出プログラム、錆検出システム及び錆検出方法
JP2021064120A (ja) * 2019-10-11 2021-04-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113460A (ja) * 2010-11-24 2012-06-14 Sony Corp 情報処理装置および方法、並びにプログラム
JP2013210967A (ja) * 2012-03-30 2013-10-10 Canon Inc 体検出方法及び物体検出装置
JP2016516245A (ja) * 2013-03-13 2016-06-02 コファックス， インコーポレイテッド モバイル装置を用いた画像内のオブジェクトの分類
JP2020020744A (ja) * 2018-08-03 2020-02-06 Ａｕｔｏｍａｇｉ株式会社 錆検出プログラム、錆検出システム及び錆検出方法
JP2021064120A (ja) * 2019-10-11 2021-04-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
EP4365833A1 (en) 2024-05-08
US20240119698A1 (en) 2024-04-11
JP2023007599A (ja) 2023-01-19
CN117546209A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
TWI512684B (zh) Defect observation method and defect observation device
US10297021B2 (en) Defect quantification method, defect quantification device, and defect evaluation value display device
US5933519A (en) Cytological slide scoring apparatus
US8135202B2 (en) Automated method and system for nuclear analysis of biopsy images
KR101523159B1 (ko) 패턴 매칭 장치 및 컴퓨터 프로그램을 기록한 기록 매체
US20030050761A1 (en) Inspection method and its apparatus, inspection system
JP5010207B2 (ja) パターン検査装置及び半導体検査システム
JP2019061484A (ja) 画像処理装置及びその制御方法及びプログラム
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
JP6733983B2 (ja) 画像解析装置
KR102140385B1 (ko) 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템
TW201237363A (en) Image processing apparatus and computer program
KR20190059083A (ko) 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
JP3661635B2 (ja) 画像処理方法およびその装置
CN114332058A (zh) 基于神经网络的血清质量识别方法、装置、设备及介质
WO2023276853A1 (ja) 画像処理装置、方法及び画像処理システム
JP4500138B2 (ja) 細胞画像解析方法
JP2013058036A (ja) 画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法
EP3438987B1 (en) Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score
US20210166076A1 (en) System and method for analysis of microscopic image data and for generating an annotated data set for classifier training
CN115830025A (zh) 白细胞分类计数方法、系统、存储介质及计算机设备
JP2001314374A (ja) 角膜内皮細胞測定装置
CN110543802A (zh) 眼底图像中左右眼识别方法与装置
CN114742803A (zh) 一种结合深度学习与数字图像处理算法的血小板聚集检测方法
CN113302472A (zh) 生物体试样检测装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22833000

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 202280043801.9

Country of ref document: CN

Ref document number: 18572539

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022833000

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022833000

Country of ref document: EP

Effective date: 20240202