WO2019239831A1 - 画像処理装置、画像処理方法、画像センサ - Google Patents

画像処理装置、画像処理方法、画像センサ Download PDF

Info

Publication number
WO2019239831A1
WO2019239831A1 PCT/JP2019/020287 JP2019020287W WO2019239831A1 WO 2019239831 A1 WO2019239831 A1 WO 2019239831A1 JP 2019020287 W JP2019020287 W JP 2019020287W WO 2019239831 A1 WO2019239831 A1 WO 2019239831A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference vector
vectors
multispectral
channel
Prior art date
Application number
PCT/JP2019/020287
Other languages
English (en)
French (fr)
Inventor
加藤 豊
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US17/053,788 priority Critical patent/US11368603B2/en
Priority to EP19820259.0A priority patent/EP3809362A4/en
Publication of WO2019239831A1 publication Critical patent/WO2019239831A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/54Conversion of colour picture signals to a plurality of signals some of which represent particular mixed colours, e.g. for textile printing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to a technique for converting a multispectral image.
  • multispectral imaging an apparatus capable of multispectral imaging is called “multispectral camera”, and the obtained image data is called “multispectral image”.
  • multispectral imaging an image in a wider wavelength region (for example, near-infrared region or ultraviolet region) than a general RGB camera may be recorded.
  • multispectrum an image in a wider wavelength region (for example, near-infrared region or ultraviolet region) than a general RGB camera may be recorded.
  • multispectrum there are cases where the number of bands up to about a dozen or so is called “multispectrum”, and those with more bands are called “hyperspectrum”. Instead, the term “multispectrum” is used to mean “spectrum having four or more bands”.
  • Multispectral images can capture subtle color differences of subjects and features that cannot be seen by the human eye, and are expected to be applied to measurement, inspection, analysis, and evaluation of objects in various fields.
  • Patent Document 1 discloses an example in which a multispectral image is used for quantifying the particle characteristics of a painted surface.
  • the data size is considerably larger than RGB images, a large amount of memory and storage is required to store the image data, and data handling (reading / writing, editing, copying, data transmission, etc.) takes time. .
  • the multispectral image cannot be displayed on a normal RGB monitor as it is.
  • software created for RGB images cannot handle multispectral images, so past software assets cannot be utilized.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a technique for enabling easy use of multispectral images.
  • the first aspect of the present invention is an image input means for inputting a multispectral image composed of N channels corresponding to N (N is an integer of 4 or more) bands, and sensitivity to each of the N bands.
  • N is an integer of 4 or more
  • an image processing apparatus characterized by comprising conversion means for converting a multispectral image into a three-channel image composed of three channels.
  • the multispectral image is converted into a three-channel image according to the three reference vectors set (intended) by the user. Therefore, it is possible to obtain a 3-channel image in which information on the wavelength region in which the user is interested is extracted or emphasized. Note that the user only needs to set three reference vectors according to the use of the three-channel image and the content of the process performed on the three-channel image.
  • the reference vector setting means displays the reference vector as a sensitivity curve representing the sensitivity for each wavelength in a graph in which the horizontal axis indicates the wavelength and the vertical axis indicates the sensitivity, and parameters for defining the shape of the sensitivity curve are displayed by the user. May be input. With such a user interface, the user can intuitively grasp and set the characteristics of the reference vector (sensitivity for each wavelength).
  • the reference vector setting means displays the sensitivity curve as a symmetrical distribution curve, and the parameters defining the shape of the sensitivity curve may include an average of the distribution, a height of the distribution, and a spread of the distribution. .
  • the reference vector By modeling the reference vector with a symmetrical distribution curve (for example, Gaussian distribution), the user can set a reference vector having a desired shape with a small number of parameters, so that usability can be improved.
  • the spread of the distribution may be specified by variance, standard deviation, width, half width, or the like.
  • the reference vector setting means may superimpose and display the shapes of the three reference vectors on a screen that displays the spectrum distribution of the first pixel and the spectrum distribution of the second pixel in a manner that allows comparison. Such a user interface is useful for confirming whether the reference vector is set correctly.
  • the reference vector setting means extracts three wavelengths having a large difference between the spectral distribution of the first pixel and the spectral distribution of the second pixel, and three reference vectors according to the extracted three wavelengths. May be created, and the candidate may be recommended to the user. According to this, reference vector candidates that automatically emphasize the difference between the first pixel and the second pixel when converted into a three-channel image are automatically calculated and recommended to the user. Therefore, an appropriate reference vector can be easily set, and usability can be improved.
  • the reference vector setting means decomposes the converted pixel value obtained by decomposing the spectral distribution of the first pixel with three reference vectors and the spectral distribution of the second pixel with three reference vectors. It is also possible to create three reference vector candidates and recommend the candidates to the user so that the difference from the converted pixel value obtained by doing so becomes maximum. According to this, reference vector candidates are automatically calculated and recommended so that the difference between the first pixel and the second pixel is enhanced when converted into a three-channel image. Therefore, an appropriate reference vector can be easily set, and usability can be improved.
  • the reference vector setting means is configured to change the reference vector so that the three reference vectors satisfy a predetermined constraint in response to a change in the shape of any one of the three reference vectors by the user.
  • the shape of other reference vectors may be automatically changed. According to this, an appropriate reference vector can be easily set, and usability can be improved.
  • the predetermined constraint may be a constraint that three reference vectors are orthogonal to each other. This is because it can be expected that an appropriate conversion result (3-channel image) can be obtained by setting three reference vectors so as to be orthogonal to each other.
  • the second aspect of the present invention is an image input means for inputting a multispectral image composed of N channels corresponding to N (N is an integer of 4 or more) bands, and sensitivity to each of the N bands.
  • N is an integer of 4 or more
  • 3 types of N-dimensional vectors having as elements reference vector setting means for setting as three reference vectors, and by decomposing the spectral distribution of each pixel of the multispectral image by the three reference vectors, the multispectral Conversion means for converting an image into a three-channel image composed of three channels, wherein the reference vector setting means extracts a plurality of sample pixels from one or more multispectral images, and in an N-dimensional space
  • the three reference vectors are obtained by statistical processing based on the distribution of the plurality of sample pixels.
  • a multispectral image is converted into a three-channel image according to three reference vectors automatically determined from a plurality of sample pixels.
  • a reference vector suitable for extracting or enhancing characteristic image information included in a multispectral image given as a sample may be set by appropriately changing the image or pixel provided as a sample. Then, the reference vector used for the conversion may be changed according to the use of the 3-channel image and the content of the process applied to the 3-channel image.
  • the reference vector setting means obtains a first principal component, a second principal component, and a third principal component by principal component analysis based on a distribution of the plurality of sample pixels in the N-dimensional space, and the first to third components
  • the principal component may be the three reference vectors. According to this, since a reference vector suitable for expressing the distribution of a plurality of sample pixels is set, it can be expected that an appropriate conversion result (3-channel image) is obtained.
  • the reference vector setting unit is configured to perform the two analysis by discriminant analysis based on the distribution of the plurality of sample pixels in the N-dimensional space. It is also possible to obtain a category discrimination boundary, determine one reference vector so as to be orthogonal to the discrimination boundary, and determine the other two reference vectors so as to be orthogonal to the one reference vector. By converting the multispectral image using the reference vector determined in this way, it is possible to obtain a 3-channel image in which the difference between the image features of the two categories is emphasized.
  • the reference vector setting means performs a first analysis by discriminant analysis based on a distribution of the plurality of sample pixels in the N-dimensional space.
  • a determination boundary between the category and the second category, a determination boundary between the second category and the third category, and a determination boundary between the third category and the first category are obtained, and each of the three determination boundaries
  • Three reference vectors may be determined so as to be orthogonal to each other.
  • It may have an output means for outputting the three-channel image converted by the conversion means as data in the form of an RGB image.
  • the converted three-channel image can be handled by various software created for RGB images.
  • the output means includes an R channel for a channel corresponding to the longest wavelength, a G channel for a channel corresponding to the second longest wavelength, and a B channel for the shortest wavelength. It is good to assign to each. As a result, when the converted three-channel image is displayed on an RGB monitor or the like, the three-channel image can be displayed with a color tone that is relatively uncomfortable.
  • the conversion means may obtain a value of each pixel of the three-channel image by calculating an inner product of a spectral distribution of each pixel of the multispectral image and each reference vector. This simplifies the calculation of the 3-channel image.
  • the third aspect of the present invention is a multispectral camera capable of outputting a multispectral image composed of N channels corresponding to N bands (N is an integer of 4 or more), and the multispectral camera. And an image processing device that converts a multispectral image into a three-channel image.
  • FIG. 1 is a diagram showing an application example of the present invention.
  • FIG. 2 is a diagram showing a configuration example of an image sensor to which the present invention is applied.
  • FIG. 3 is a flowchart showing the flow of conversion processing by the image processing apparatus.
  • FIG. 4 is a diagram schematically showing a specific example of the conversion process using the reference vector.
  • FIG. 5 is a diagram showing an example of a reference vector setting screen.
  • FIG. 6 is a diagram showing an example of parameters defining the shape of the sensitivity curve of the reference vector.
  • 7A to 7E are diagrams showing examples of the shape of the reference vector.
  • FIG. 8 shows an example of a reference vector setting screen.
  • FIG. 9 is a diagram schematically illustrating an example of generation of reference vector candidates.
  • FIG. 9 is a diagram schematically illustrating an example of generation of reference vector candidates.
  • FIG. 10 is a diagram schematically illustrating another example of generation of reference vector candidates.
  • FIG. 11 is a diagram for explaining the interlocking of the reference vectors.
  • FIG. 12 is a flowchart showing an example of a method for automatically setting a reference vector by statistical processing.
  • FIG. 13 is a diagram schematically illustrating an example of a sample pixel group and a reference vector.
  • FIG. 14 is a flowchart showing another example of a method for automatically setting a reference vector by statistical processing.
  • FIG. 15 is a diagram schematically illustrating an example of a discrimination boundary between two categories and a reference vector.
  • FIG. 16 is a diagram schematically showing an example of discrimination boundaries and reference vectors of three categories.
  • FIG. 1 schematically shows one application example of the present invention.
  • the image processing apparatus 1 shown in FIG. 1 is configured to convert a multispectral image 10 composed of N channels corresponding to N (N is an integer of 4 or more) bands into a three-channel image composed of three channels. 11 and output.
  • N is an integer of 4 or more
  • Such a three-channel image 11 is easier to use than the original multispectral image 10.
  • the 3-channel image 11 is smaller in data size than the multispectral image 10, image data can be stored and handled easily. If the 3-channel image 11 is handled as a pseudo RGB image, it is displayed on the RGB monitor. This is because it can be read by software made for RGB images.
  • the image processing apparatus 1 of this application example includes three reference vectors V1, V2, and V3 set by the user 12 or automatically set by statistical processing using a large number of samples 13.
  • the multi-spectral image 10 is converted into a three-channel image 11 (dimensional compression).
  • the “reference vector” defines the wavelength characteristics (sensitivity for each wavelength) of each channel of the three-channel image 11, and specifically, the sensitivity for each of the N bands of the multispectral image 10 is used as an element. It is expressed by an N-dimensional vector.
  • “sensitivity to wavelength or band” can also be referred to as “intensity of influence of light intensity of the wavelength or wavelength region on the pixel value of the channel of the three-channel image 11”.
  • the reference vector can be represented by a curve in a graph in which the horizontal axis represents wavelength and the vertical axis represents sensitivity (this curve is referred to as a “sensitivity curve”).
  • the reference vector V1 has a characteristic that it has sensitivity in the wavelength range of the wavelength a to the wavelength b and the sensitivity of the wavelength c is the highest.
  • the three reference vectors V1, V2, and V3 are set so that image features used in subsequent processing (measurement, inspection, analysis, evaluation, etc.) using the three-channel image 11 are emphasized.
  • image features used in subsequent processing measured, inspection, analysis, evaluation, etc.
  • a reference vector having high near-infrared sensitivity and a reference vector having high yellow wavelength sensitivity may be used. This is because it is possible to generate a three-channel image 11 in which near-infrared or yellow intensity changes are likely to appear as image features.
  • channel is used to mean a color channel representing color information, and does not include a so-called mask channel such as an ⁇ channel. Therefore, an image composed of a total of four channels of three color channels and one mask channel is also referred to as a three-channel image in this specification.
  • FIG. 2 shows a configuration example of the image sensor 2 to which the present invention is applied.
  • the image sensor 2 includes a multispectral camera 20 and an image processing device 1.
  • the image sensor 2 is a device that is installed in a production line of a factory, for example, and is used for various processes using images.
  • the image sensor 2 is also called a vision sensor or a vision system.
  • the imaging system (multispectral camera 20) and the processing system (image processing apparatus 1) are configured separately, but the imaging system and the processing system are integrated. It can also be taken.
  • the multispectral camera 20 is an imaging device capable of generating and outputting a multispectral image of a subject by multispectral imaging.
  • a 16-channel multispectral image is obtained using a 16-band multispectral camera 20.
  • Various methods have been proposed for multispectral imaging, such as a method using a plurality of color filters, a method for switching the color of illumination, and a method for performing spectroscopy with an optical element such as a diffraction grating. May be.
  • the image processing apparatus 1 converts a multispectral image captured from the multispectral camera 20 into a three-channel image, various processes using the multispectral image and the three-channel image (feature extraction, measurement, inspection, analysis, evaluation, etc. ), Data communication with an external device such as a PLC (programmable logic controller), control of the multispectral camera 20, and the like.
  • the image processing apparatus 1 includes, for example, a computer having a processor (CPU), a memory, a storage, a communication module, and an I / O, a display device such as a liquid crystal display, and an input device such as a mouse and a touch panel.
  • Various programs are stored in the storage, and when the image sensor 2 is in operation, the necessary programs are loaded into the memory and executed by the processor, whereby the processing and functions of the image processing apparatus 1 are provided.
  • the processing and functions of the image processing apparatus 1 may be configured by a circuit such as ASIC or FPGA, or may be configured by distributed computing or cloud computing.
  • the image processing apparatus 1 includes an image input unit 21, a reference vector setting unit 22, a conversion unit 23, an output unit 24, and a storage unit 25 as shown in FIG.
  • the image input unit 21, the reference vector setting unit 22, the conversion unit 23, and the output unit 24 are functions provided by a processor executing a program, and the storage unit 25 is provided by a nonvolatile memory or storage.
  • FIG. 3 shows a flow of conversion processing by the image processing apparatus 1.
  • step S30 the image input unit 21 inputs a multispectral image from the multispectral camera 20.
  • the input image data is transferred to the conversion unit 23 or stored in the storage unit 25.
  • the input source of the image is not limited to the multispectral camera 20, and an image may be read from an internal or external storage device, or an image may be acquired from an external computer via a network.
  • step S31 the reference vector setting unit 22 sets three reference vectors. Information on the set reference vector is stored in the storage unit 25.
  • the reference vector setting method is roughly classified into a method in which the user manually sets and a method in which the machine (reference vector setting unit 22) automatically sets. Details of the setting method will be described later.
  • step S32 the conversion unit 23 converts the multispectral image into a three-channel image using the three reference vectors.
  • FIG. 4 shows a specific example of the process of step S32.
  • one pixel of the multispectral image is represented by a 16-band spectral distribution P ( ⁇ ).
  • the horizontal axis is the wavelength (band) ⁇
  • the vertical axis is the light intensity.
  • the spectrum distribution P ( ⁇ ) can be handled as a 16-dimensional vector having light intensity in each band as an element.
  • the reference vectors V1 ( ⁇ ), V2 ( ⁇ ), and V3 ( ⁇ ) are 16-dimensional vectors having sensitivity to each band (specifically, coefficients having a range of 0.0 to 1.0) as elements. is there.
  • an operation of converting a spectral distribution into three values using three reference vectors is referred to as separation or color separation by a reference vector.
  • the converted 3-channel image data is passed to the output unit 24 or stored in the storage unit 25.
  • step S33 the output unit 24 converts the 3-channel image obtained in step S32 into RGB image format data, and outputs the data to an external device or an RGB monitor.
  • RGB image format data Any specific image format may be used, and examples thereof include TIFF, JPEG (JFIF), BMP, PNG, and GIF.
  • the output unit 24 sets the channel corresponding to the longest wavelength to the R channel, the channel corresponding to the second longest wavelength to the G channel, and the channel corresponding to the shortest wavelength. It may be assigned to each B channel.
  • the wavelength corresponding to the channel may be defined as, for example, the center wavelength or average wavelength of the reference vector used for calculating the value of the channel.
  • the channel calculated by the reference vector V3 ( ⁇ ) is the R channel
  • the channel calculated by the reference vector V2 ( ⁇ ) is the G channel
  • the channel calculated by the reference vector V1 ( ⁇ ) is B channel.
  • each of the reference vectors V1 ( ⁇ ) to V3 ( ⁇ ) can be set regardless of the RGB wavelength, the converted three-channel image does not reproduce the actual color of the subject. Nonetheless, when the three-channel image is displayed on an RGB monitor or displayed on image processing software created for RGB images, if an image that differs greatly in hue and tone appears from the actual subject, the user May feel uncomfortable or misidentify the image. Therefore, the output unit 24 assigns RGB to each channel of the three-channel image according to the rule as described above. As a result, when a three-channel image is displayed on an RGB monitor or the like, a display image with a hue and tone that is relatively uncomfortable can be obtained.
  • Reference vector setting method Next, a specific example of a reference vector setting method by the reference vector setting unit 22 will be described.
  • FIG. 5 shows an example of a reference vector setting screen.
  • This setting screen includes an image list field 50, a reference image display field 51, a reference vector parameter input field 52, and a reference vector confirmation field 53.
  • a list of multispectral images stored in the storage unit 25 is displayed as thumbnails.
  • the thumbnails to be displayed can be changed in order by pressing the scroll buttons on the left and right of the list.
  • the user can select one or two images (referred to as “reference images”) to be referred to when setting the reference vector from the image list field 50.
  • the example of FIG. 5 shows a state in which two images highlighted with a thick frame are selected as reference images.
  • the reference image display column 51 is an area for displaying a reference image selected by the user.
  • the user can select a sample pixel by designating an arbitrary point in the reference image using a pointing device or the like.
  • cursors 510 and 511 in the reference image display field 51 indicate sample pixels selected from each reference image.
  • the spectrum distribution of the sample pixel is displayed in the reference vector confirmation column 53.
  • the spectral distribution (white bar graph) of the sample pixels of the reference image 1 and the spectral distribution (hatched bar graph) of the sample pixels of the reference image 2 are drawn in a transparent manner. By looking at this graph, the user can compare the spectral distributions of the two sample pixels and easily grasp the coincidence points / differences.
  • the sensitivity curves of the three reference vectors V1 to V3 are superimposed on the spectral distribution of the sample pixels.
  • the user can change the shape of the sensitivity curve in the reference vector confirmation field 53 by a drag operation using a pointing device or the like, or input a parameter in the reference vector parameter input field 52 using a keyboard or the like.
  • the characteristics of the vectors V1 to V3 can be freely designed.
  • FIG. 6 shows an example of parameters that define the shape of the sensitivity curve of the reference vector.
  • the sensitivity curve is expressed by a Gaussian distribution
  • the shape of the sensitivity curve can be specified by three parameters: the distribution average u, the distribution height h, and the distribution spread w.
  • the distribution average u the distribution average
  • the distribution height h the distribution height
  • the distribution spread w the distribution spread
  • one of the three cursors 60, 61, 62 is selected and moved left and right or up and down to move the entire sensitivity curve left and right, move the vertex of the sensitivity curve up and down, and spread the distribution ( Standard deviation) can be adjusted.
  • the shape of the sensitivity curve can be changed by inputting values of u, h, and w into the text box. Note that the reference vector confirmation column 53 and the reference vector parameter input column 52 are linked, and the input content is reflected on the other side.
  • the sensitivity curve is expressed by a Gaussian distribution, but the shape of the sensitivity curve is not limited to this.
  • a triangular sensitivity curve as shown in FIG. 7A may be used, a trapezoidal sensitivity curve as shown in FIG. 7B may be used, or a rectangular sensitivity curve as shown in FIG. 7C may be used.
  • a semicircular sensitivity curve as shown in FIG. 7D may be used.
  • the user can change the desired shape with few parameters (for example, three parameters of average u, height h, and spread w). Since the reference vector can be set, usability can be improved. However, the reference vector may be set by a sensitivity curve that is not a symmetrical shape. For example, as shown in FIG. 7E, a bimodal curve or a free curve may be used.
  • the user can easily set three reference vectors having a desired shape.
  • the reference vector can be set while referring to the spectral distribution of the sample pixels of the reference image, it is easy to set a reference vector suitable for decomposing the reference image and similar images.
  • the reference vector is set so as to include a wavelength having a large difference between the two spectral distributions while looking at the reference vector confirmation field 53, three channels suitable for discrimination between the reference image 1 and the reference image 2 Conversion to an image becomes possible.
  • a three-channel image suitable for determining the quality of the article can be obtained.
  • sample pixels are picked up from each of the reference image of the A rank product and the reference image of the B rank product, a three-channel image suitable for grading the articles can be obtained.
  • sample pixels may be picked up from one reference image. For example, if sample pixels are picked up from each of the subject area and the background area in the image, a three-channel image with easy segmentation of the subject (foreground) and the background can be obtained. Alternatively, three or more sample pixels may be picked up, and three or more spectral distributions may be compared in the reference vector confirmation field 53.
  • an area (a plurality of pixels) in the reference image may be designated as a sample pixel instead of a single pixel.
  • an average spectrum distribution obtained by averaging the spectrum distributions of a plurality of pixels may be displayed in the reference vector confirmation column 53.
  • the average spectral distribution may be displayed as a bar graph with error bars indicating variations in spectral intensity.
  • the reference vector setting unit 22 may automatically create a reference vector candidate based on the spectral distribution of the sample pixels, and recommend the reference vector candidate to the user.
  • FIG. 9 shows one example of generating reference vector candidates.
  • the reference vector setting unit 22 compares the spectral intensity of each wavelength (band) between the spectral distribution of the sample pixel 1 obtained from the reference image 1 and the spectral distribution of the sample pixel 2 obtained from the reference image 2. (Absolute value) is calculated. Then, the reference vector setting unit 22 extracts three wavelengths having a large difference (a portion indicated by black in the middle stage of FIG. 9), and creates three reference vector candidates according to the extracted three wavelengths ( Lower part of FIG. 9). For example, the reference vector setting unit 22 may simply arrange sensitivity curves having a predetermined shape (default shape) at the positions of the extracted three wavelengths, or the magnitude and difference of the difference shown in the middle stage of FIG. The height and width of the sensitivity curve may be adjusted according to the spread of the distribution.
  • a predetermined shape default shape
  • a reference vector candidate that automatically emphasizes the difference between two sample pixels when converted into a three-channel image is automatically calculated and recommended to the user.
  • the user may adopt these reference vector candidates as they are, or can set a final reference vector by finely adjusting the shape of these reference vector candidates. Therefore, an appropriate reference vector can be easily set, and usability can be improved.
  • FIG. 10 shows another example of generating reference vector candidates.
  • the reference vector setting unit 22 first sets initial values of reference vector candidates (for example, reference vector candidates obtained by the method shown in FIG. 9 may be used as initial values).
  • the reference vector setting unit 22 converts the spectral distribution of the sample pixel 1 and the spectral distribution of the sample pixel 2 with reference vector candidates, and calculates the values of the pixels P1 and P2 of the three-channel image. Pixels P1 and P2 are three-dimensional vectors having the values of channels C1, C2, and C3 as elements.
  • the reference vector setting unit 22 calculates and evaluates the absolute value (that is, the distance in the three-dimensional space) of the difference between the pixels P1 and P2.
  • the reference vector setting unit 22 repeats the above-described process while updating the reference vector candidate, and obtains a reference vector candidate that maximizes the distance between the pixels P1 and P2.
  • the reference vector candidate search algorithm may be designed in any way. In addition, it is not necessary to perform strict maximization, and a reference vector candidate having a maximum distance after performing a preset number of searches may be adopted, or a reference vector candidate that satisfies a predetermined evaluation function If is detected, the search process may be stopped.
  • FIG. 10 the distance between two pixels is evaluated. However, when the sample pixels 1 and 2 are each composed of a pixel group as shown in FIG. 8, the distance between the two pixel groups. May be evaluated. The distance between the pixel groups can be evaluated by, for example, the Mahalanobis distance.
  • a reference vector candidate that automatically emphasizes the difference between two sample pixels when converted into a three-channel image is automatically calculated and recommended to the user.
  • the user may adopt these reference vector candidates as they are, or can set a final reference vector by finely adjusting the shape of these reference vector candidates. Therefore, an appropriate reference vector can be easily set, and usability can be improved.
  • the reference vector setting unit 22 may link the shapes of the three reference vectors so that the three reference vectors satisfy a predetermined constraint. For example, when the shape of any one of the reference vectors is changed by the user under the constraint that “three reference vectors are orthogonal to each other”, the reference vector setting unit 22 sets the other so as to satisfy the following expression: The two reference vectors are transformed (“ ⁇ ” is the inner product of the vectors).
  • FIG. 11 shows another example of interlocking of reference vectors.
  • the reference vectors V1 to V3 are represented by rectangular sensitivity curves.
  • u1, u2, and u3 are the center wavelengths of the reference vectors V1, V2, and V3, w1, w2, and w3 are the widths of the reference vectors V1, V2, and V3, and h1, h2, and h3 are the reference vectors V1, V2, and V3.
  • P ( ⁇ ) is the spectral distribution of sample pixels picked up from the reference image 1
  • W is the width of the entire spectral distribution P ( ⁇ ).
  • the reference vector setting unit 22 deforms the other two reference vectors so as to satisfy the constraint expressed by the following expression.
  • three reference vectors V1, V2, and V3 can be set so as to approximate the waveform characteristics of the entire spectrum distribution P ( ⁇ ) of the sample pixels. Therefore, it can be expected that the spectral distribution is appropriately decomposed and an appropriate conversion result (3-channel image) is obtained.
  • FIG. 12 is a flowchart illustrating an example of a method for automatically setting a reference vector by statistical processing.
  • principal component analysis is used as statistical processing.
  • step S120 the reference vector setting unit 22 acquires a multispectral image used for statistical processing.
  • the multispectral image to be converted (the image input in step S30 in FIG. 3) is directly used for statistical processing. This is because it can be expected that a reference vector suitable for extracting the features of the image to be converted can be obtained by obtaining the reference vector from the image to be converted.
  • an image other than the multispectral image to be converted may be used for statistical processing, or a plurality of images may be used for statistical processing.
  • the reference vector setting unit 22 extracts a plurality of sample pixels from the multispectral image acquired in step S120.
  • the number of sample pixels is arbitrary, in order to ensure the accuracy of statistical processing, it is preferable to extract at least tens to hundreds of pixels. Alternatively, all the pixels of the multispectral image may be used as sample pixels.
  • the upper part of FIG. 13 schematically shows the distribution of the extracted sample pixel group (actually, it is an N-dimensional space (N> 3) distribution, but is represented in a three-dimensional space for convenience of illustration. .)
  • step S122 the reference vector setting unit 22 performs principal component analysis on the distribution of the sample pixel group in the N-dimensional space to obtain the first principal component, the second principal component, and the third principal component.
  • step S123 the reference vector setting unit 22 sets the first principal component, the second principal component, and the third principal component as reference vectors V1, V2, and V3, respectively.
  • the reference vectors V1, V2, and V3 are unit vectors. An example of the reference vector is shown in the lower part of FIG.
  • This method can automatically set a reference vector suitable for expressing the distribution of the sample pixel group.
  • a reference vector suitable for expressing the distribution of the sample pixel group.
  • FIG. 14 is a flowchart showing another example of a method for automatically setting a reference vector by statistical processing.
  • a method of generating a reference vector for converting to a three-channel image suitable for discrimination between non-defective products and defective products using discriminant analysis as statistical processing will be described.
  • step S140 the reference vector setting unit 22 acquires a multispectral image used for statistical processing. For example, it is preferable to use a plurality of non-defective images and a plurality of defective images prepared in advance for the purpose of learning the image characteristics of good and defective products.
  • step S141 the reference vector setting unit 22 extracts a plurality of sample pixels belonging to the first category from the multispectral image acquired in step S140.
  • the non-defective product is the first category and the defective product is the second category. Therefore, in step S141, a sample pixel group of the first category is extracted from a plurality of non-defective images.
  • step S142 the reference vector setting unit 22 extracts a plurality of sample pixels belonging to the second category from the multispectral image acquired in step S140.
  • the sample pixel group of the second category is extracted from a plurality of defective product images.
  • the upper part of FIG. 15 schematically shows the distribution of the extracted sample pixel group (actually, the distribution is an N-dimensional space (N> 3), but is represented in a two-dimensional space for the convenience of illustration. .)
  • the reference vector setting unit 22 performs a discriminant analysis on the distribution of the sample pixel group in the N-dimensional space to obtain a discriminant boundary DS between the first category and the second category.
  • the discrimination boundary DS is a hyperplane.
  • the reference vector setting unit 22 determines the reference vector V1 so as to be orthogonal to the discrimination boundary DS, and further determines other reference vectors V2, V3 so as to be orthogonal to the reference vector V1.
  • the reference vectors V2 and V3 may be set to be orthogonal to each other.
  • An example of setting the reference vectors V1 and V2 is schematically shown in the lower part of FIG.
  • the identification of the non-defective product and the defective product is given as an example, but various applications are possible depending on how the sample pixels of the first category and the second category are given. For example, if a pixel group extracted from a subject area in a multispectral image is a sample pixel group of a first category and a pixel group extracted from a background area is a sample pixel group of a second category, segmentation of the subject (foreground) and the background is performed. Can easily obtain a 3-channel image. Further, if a sample pixel of the first category is extracted from the image of the A rank product, and a sample pixel of the second category is extracted from the image of the B rank product, a three-channel image suitable for article grading can be obtained. .
  • FIG. 16 shows another example of a method for automatically setting a reference vector by statistical processing.
  • a method of using a discriminant analysis as a statistical process and generating a reference vector for conversion into a three-channel image suitable for identification of three categories will be described.
  • the reference vector setting unit 22 for example, from the A rank product image, the B rank product image, and the C rank product image, the sample pixel group of the first category (A rank product) and the second category (B rank product).
  • a sample pixel group and a sample pixel group of the third category (C rank product) are extracted.
  • FIG. 16 schematically shows the distribution of the sample pixel groups in the first to third categories (actually, it is an N-dimensional space (N> 3) distribution, but is represented in a two-dimensional space for convenience of illustration. ing.).
  • the reference vector setting unit 22 performs discriminant analysis on the distribution of the sample pixel group in the N-dimensional space, the discrimination boundary DS1 between the first category and the second category, the discrimination boundary DS2 between the second category and the third category, and the third category. And the first category discrimination boundary DS3.
  • the discrimination boundaries DS1 to DS3 are all hyperplanes. Then, the reference vector setting unit 22 determines the reference vector V1 so as to be orthogonal to the determination boundary DS1, determines the reference vector V2 so as to be orthogonal to the determination boundary DS2, and sets the reference vector V3 so as to be orthogonal to the determination boundary DS3. To decide.
  • the above embodiment is merely illustrative of the configuration of the present invention.
  • the present invention is not limited to the specific form described above, and various modifications are possible within the scope of the technical idea.
  • a 16-band multispectral image is used, but any number of bands may be used as long as the number of bands is four or more.
  • the image processing apparatus 1 may store raw data as it is without converting the multispectral image into a three-channel image.
  • the user interface in FIG. 5 is merely an example, and any user interface may be used as long as parameters that define the shape of the reference vector can be input.
  • Image input means (21) for inputting a multispectral image (10) composed of N channels corresponding to N bands (N is an integer of 4 or more);
  • Reference vector setting means (22) for setting three types of N-dimensional vectors having sensitivity to each of N bands as elements, and three reference vectors (V1, V2, V3); By decomposing the spectral distribution of each pixel of the multispectral image (10) with the three reference vectors (V1, V2, V3), the multispectral image (10) is composed of three channels.
  • Conversion means (23) for converting into (11)
  • the reference vector setting means (22) extracts a plurality of sample pixels from one or more multispectral images, and statistically processes the three reference vectors (V1) based on the distribution of the plurality of sample pixels in an N-dimensional space. , V2, V3).
  • Image processing device 2 Image sensor 20: Multispectral camera 21: Image input unit 22: Reference vector setting unit 23: Conversion unit 24: Output unit 25: Storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Textile Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

画像処理装置が、N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトルとして、ユーザに設定させる基準ベクトル設定手段と、前記マルチスペクトル画像の各画素のスペクトル分布を前記3つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を3つのチャネルで構成される3チャネル画像に変換する変換手段と、を有する。

Description

画像処理装置、画像処理方法、画像センサ
 本発明は、マルチスペクトル画像を変換する技術に関する。
 一般的なRGBカメラよりも高い波長分解能で被写体のスペクトル情報を記録可能な技術が知られている。この種の技術は「マルチスペクトルイメージング」と呼ばれ、マルチスペクトルイメージングが可能な装置は「マルチスペクトルカメラ」、得られる画像データは「マルチスペクトル画像」などと呼ばれる。また、マルチスペクトルイメージングでは、一般的なRGBカメラよりも広い波長領域(たとえば近赤外領域や紫外領域など)の像を記録することもある。なお、バンド数が十数個程度までのものを「マルチスペクトル」、それよりもバンド数が多いものを「ハイパースペクトル」と呼んで区別する場合もあるが、本明細書では、両者を特に区別せず、「マルチスペクトル」という用語を「バンド数が4つ以上のスペクトル」という意味で用いるものとする。
 マルチスペクトル画像は、被写体の微妙な色の違いや人の眼には判らない特徴などを捉えることができるため、さまざまな分野において、対象物の計測、検査、分析、評価などへの応用が期待されている。特許文献1には、マルチスペクトル画像を塗装表面の粒子特性の定量化に利用する例が開示されている。
特開2018-009988号公報
 しかしながら、マルチスペクトル画像は次のようなデメリットをもつ。
 ・RGB画像に比べてデータサイズがかなり大きいので、画像データの保存のために大容量のメモリやストレージが必要になると共に、データのハンドリング(読み書き、編集、複製、データ伝送など)に時間がかかる。
 ・マルチスペクトル画像そのままでは、通常のRGBモニタに表示することができない。また、RGB画像用に作られたソフトウエアはマルチスペクトル画像を取り扱えないため、過去のソフトウエア資産を活用できない。
 ・RGB画像に比べて情報量(たとえばチャネル数、波長領域)が多いため、マルチスペクトル画像を用いた処理(計測、検査、分析、評価など)にかなりの時間がかかる。また、それらの処理に用いるパラメータの設定も難しくなる(たとえば、RGB画像であれば3つの数値で色の指定を行うことができるのに対し、16チャネルのマルチスペクトル画像の場合は16個の数値を指定しなければならないなど)。
 本発明は、上記実情に鑑みなされたものであって、マルチスペクトル画像の簡便な利用を可能にするための技術を提供することを目的とする。
 本発明の第一側面は、N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトルとして、ユーザに設定させる基準ベクトル設定手段と、前記マルチスペクトル画像の各画素のスペクトル分布を前記3つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を3つのチャネルで構成される3チャネル画像に変換する変換手段と、を有することを特徴とする画像処理装置を提供する。
 この構成によれば、ユーザが設定(意図)した3つの基準ベクトルに従って、マルチスペクトル画像が3チャネル画像に変換される。したがって、ユーザが関心をもつ波長領域の情報が抽出ないし強調された3チャネル画像を得ることができる。なお、ユーザは、3チャネル画像の用途や、3チャネル画像に施す処理の内容にあわせて、3つの基準ベクトルを設定すればよい。
 また、3チャネル画像をマルチスペクトル画像の代わりに利用することで次のようなメリットがある。第一に、3チャネル画像は、元のマルチスペクトル画像に比べてデータサイズが小さいため、画像データの保存やハンドリングが容易である。第二に、3チャネル画像を疑似的なRGB画像として取り扱えば、RGBモニタに表示したり、RGB画像用に作られたソフトウエアで読み込むことが可能となる(つまり、数多のRGB画像用の資産を利用できる。)。第三に、元のマルチスペクトル画像に比べて情報量が減るため、高速な画像処理が期待できる。また、チャネル数が減るので、処理に用いるパラメータの設定が簡便となる。
 前記基準ベクトル設定手段は、前記基準ベクトルを、横軸に波長、縦軸に感度をとったグラフにおいて、波長ごとの感度を表す感度曲線で表示し、前記感度曲線の形状を規定するパラメータをユーザに入力させてもよい。このようなユーザインタフェースにより、ユーザは基準ベクトルの特性(波長ごとの感度)を直観的に把握し、また設定することが可能となる。
 前記基準ベクトル設定手段は、前記感度曲線を左右対称な分布曲線で表示するものであり、前記感度曲線の形状を規定するパラメータは、分布の平均、分布の高さ、分布の広がりを含んでもよい。基準ベクトルを左右対称な分布曲線(たとえばガウス分布など)でモデル化することで、ユーザは少ないパラメータで所望の形状の基準ベクトルを設定できるので、ユーザビリティの向上が図られる。なお、分布の広がりは、分散、標準偏差、幅、又は半値幅などで指定するとよい。
 前記基準ベクトル設定手段は、第1の画素のスペクトル分布と第2の画素のスペクトル分布を比較可能な態様で表示した画面上に、3つの基準ベクトルの形状を重畳表示してもよい。このようなユーザインタフェースは、基準ベクトルの設定の良し悪しの確認に有用である。
 前記基準ベクトル設定手段は、前記第1の画素のスペクトル分布と前記第2の画素のスペクトル分布の間の相違が大きい3つの波長を抽出し、抽出された3つの波長に合わせて3つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドしてもよい。これによれば、3チャネル画像に変換したときに第1の画素と第2の画素の差が強調されるような基準ベクトル候補が自動で計算され、ユーザにレコメンドされる。したがって、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。
 前記基準ベクトル設定手段は、前記第1の画素のスペクトル分布を3つの基準ベクトルにより分解することで得られる変換後の画素の値と、前記第2の画素のスペクトル分布を3つの基準ベクトルにより分解することで得られる変換後の画素の値との差が最大になるように、3つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドしてもよい。これによれば、3チャネル画像に変換したときに第1の画素と第2の画素の差が強調されるような基準ベクトル候補が自動で計算され、レコメンドされる。したがって、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。
 前記基準ベクトル設定手段は、3つの基準ベクトルのうちのいずれかの基準ベクトルの形状がユーザにより変更されたことに応じて、3つの基準ベクトルが所定の制約を満たすように、変更された基準ベクトル以外の基準ベクトルの形状を自動的に変更してもよい。これによれば、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。
 前記所定の制約は、3つの基準ベクトルが互いに直交するという制約であってもよい。互いに直交するように3つの基準ベクトルを設定することで、妥当な変換結果(3チャネル画像)が得られると期待できるからである。
 本発明の第二側面は、N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトルとして、設定する基準ベクトル設定手段と、前記マルチスペクトル画像の各画素のスペクトル分布を前記3つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を3つのチャネルで構成される3チャネル画像に変換する変換手段と、を有し、前記基準ベクトル設定手段は、1つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、N次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記3つの基準ベクトルを求めることを特徴とする画像処理装置を提供する。
 この構成によれば、複数のサンプル画素から自動決定された3つの基準ベクトルに従って、マルチスペクトル画像が3チャネル画像に変換される。この方法により、サンプルで与えられたマルチスペクトル画像が含む特徴的な画像情報を抽出ないし強調するのに適した基準ベクトルを自動で設定することが可能である。なお、サンプルとして与える画像又は画素を適宜変更することにより、特性の異なる複数組の基準ベクトルを設定してもよい。そして、3チャネル画像の用途や3チャネル画像に施す処理の内容に応じて、変換に利用する基準ベクトルを変えてもよい。
 また、3チャネル画像をマルチスペクトル画像の代わりに利用することで次のようなメリットがある。第一に、3チャネル画像は、元のマルチスペクトル画像に比べてデータサイズが小さいため、画像データの保存やハンドリングが容易である。第二に、3チャネル画像を疑似的なRGB画像として取り扱えば、RGBモニタに表示したり、RGB画像用に作られたソフトウエアで読み込むことが可能となる(つまり、数多のRGB画像用の資産を利用できる。)。第三に、元のマルチスペクトル画像に比べて情報量が減るため、高速な画像処理が期待できる。また、チャネル数が減るので、処理に用いるパラメータの設定が簡便となる。
 前記基準ベクトル設定手段は、前記N次元空間における前記複数のサンプル画素の分布に基づき、主成分分析によって第1主成分、第2主成分、及び第3主成分を求め、前記第1から第3主成分を前記3つの基準ベクトルとしてもよい。これによれば、複数のサンプル画素の分布を表現するのに適した基準ベクトルが設定されるため、妥当な変換結果(3チャネル画像)が得られると期待できる。
 前記複数のサンプル画素が、2つのカテゴリに分類されるべき画素群である場合に、前記基準ベクトル設定手段は、前記N次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって前記2つのカテゴリの判別境界を求め、前記判別境界に直交するように1つの基準ベクトルを決定し、前記1つの基準ベクトルに直交するように他の2つの基準ベクトルを決定してもよい。このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、2つのカテゴリの画像特徴の差が強調された3チャネル画像を得ることができる。
 前記複数のサンプル画素が、3つのカテゴリに分類されるべき画素群である場合に、前記基準ベクトル設定手段は、前記N次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって第1のカテゴリと第2のカテゴリの判別境界、前記第2のカテゴリと第3のカテゴリの判別境界、及び前記第3のカテゴリと前記第1のカテゴリの判別境界をそれぞれ求め、その3つの判別境界のそれぞれに直交するように3つの基準ベクトルを決定してもよい。このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、3つのカテゴリの画像特徴の差が強調された3チャネル画像を得ることができる。
 前記変換手段により変換された前記3チャネル画像を、RGB画像の形式のデータで出力する出力手段を有してもよい。これにより、変換後の3チャネル画像をRGB画像用に作られた様々なソフトウエアにて取り扱うことが可能となる。
 前記出力手段は、前記3チャネル画像の3つのチャネルのうち、最も長い波長に対応するチャネルをRチャネル、二番目に長い波長に対応するチャネルをGチャネル、最も短い波長に対応するチャネルをBチャネルに、それぞれ割り当てるとよい。これにより、変換後の3チャネル画像をRGBモニタなどに表示した際に、比較的違和感の小さい色調で3チャネル画像を表示することができる。
 前記変換手段は、前記マルチスペクトル画像の各画素のスペクトル分布と各基準ベクトルとの内積を計算することにより、前記3チャネル画像の各画素の値を求めてもよい。これにより、3チャネル画像の計算が簡易となる。
 本発明の第三側面は、N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を出力可能なマルチスペクトルカメラと、前記マルチスペクトルカメラから出力されるマルチスペクトル画像を3チャネル画像に変換する画像処理装置と、を有することを特徴とする画像センサを提供する。
 本発明によれば、マルチスペクトル画像の簡便な利用を可能にすることができる。
図1は本発明の適用例を示す図である。 図2は本発明を適用した画像センサの構成例を示す図である。 図3は画像処理装置による変換処理の流れを示すフローチャートである。 図4は基準ベクトルを用いた変換処理の具体例を模式的に示す図である。 図5は基準ベクトルの設定画面の一例を示す図である。 図6は基準ベクトルの感度曲線の形状を規定するパラメータの一例を示す図である。 図7A~図7Eは基準ベクトルの形状の例を示す図である。 図8は基準ベクトルの設定画面の一例を示す図である。 図9は基準ベクトル候補の生成例を模式的に示す図である。 図10は基準ベクトル候補の他の生成例を模式的に示す図である。 図11は基準ベクトルの連動を説明するための図である。 図12は統計的処理による基準ベクトルの自動設定方法の一例を示すフローチャートである。 図13はサンプル画素群と基準ベクトルの例を模式的に示す図である。 図14は統計的処理による基準ベクトルの自動設定方法の他の例を示すフローチャートである。 図15は2つのカテゴリの判別境界と基準ベクトルの例を模式的に示す図である。 図16は3つのカテゴリの判別境界と基準ベクトルの例を模式的に示す図である。
 <適用例>
 図1は、本発明の適用例の一つを模式的に示している。図1に示す画像処理装置1は、N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されているマルチスペクトル画像10を、3つのチャネルで構成される3チャネル画像11に変換し出力することが可能である。このような3チャネル画像11は、元のマルチスペクトル画像10に比べて利用が簡便である。なぜなら、3チャネル画像11はマルチスペクトル画像10に比べてデータサイズが小さいため、画像データの保存やハンドリングが容易であるし、3チャネル画像11を疑似的なRGB画像として取り扱えば、RGBモニタに表示したり、RGB画像用に作られたソフトウエアで読み込むことが可能となるからである。また、マルチスペクトル画像10に比べて情報量が減るため、画像を用いた各種の処理(たとえば、計測、検査、分析、評価など)が高速にできる。また、チャネル数が減るので、処理に用いるパラメータの設定が簡易化されるという利点もある(たとえば、チャネルごとにパラメータを設定する必要がある場合、パラメータの数は3/Nになるので、単純計算で設定の手間も3/Nになる。)。
 ところで、従来システムにおいても、マルチスペクトル画像をRGB画像に変換する機能をもつものが知られている。しかしながら、単純なRGB変換では、上述した各種の処理(計測、検査、分析、評価など)に必要な画像特徴が失われてしまい、処理の精度を低下させる(つまり、マルチスペクトル画像の利点を生かせない)可能性がある。たとえば、検査対象物に異常が発生すると、検査対象物の反射スペクトルのうち近赤外の波長と黄色の波長の強度に変化が出現するようなケースを想定する。このような異常は、マルチスペクトル画像を用いて近赤外や黄色のバンドを監視していれば簡単に検出することができる。しかし、RGB変換後の画像では、近赤外や黄色のバンドの情報が失われている(又は、他のバンドの特徴に埋もれてしまう)ため、異常を検出することが困難になるのである。
 これに対し、本適用例の画像処理装置1は、ユーザ12により設定された、又は、多数のサンプル13を用いた統計的処理によって自動で設定された、3つの基準ベクトルV1、V2、V3を用いて、マルチスペクトル画像10を3チャネル画像11に変換(次元圧縮)する、という構成を採用する。
 「基準ベクトル」は、3チャネル画像11の各チャネルの波長特性(波長ごとの感度)を規定するものであり、具体的には、マルチスペクトル画像10のN個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルで表現される。ここで、「波長又はバンドに対する感度」とは、「その波長又は波長域の光の強さが3チャネル画像11のチャネルの画素値に対して与える影響の強さ」ということもできる。概念的には、図1に示すように、基準ベクトルは、横軸に波長、縦軸に感度をとったグラフにおいて曲線で表すことができる(この曲線を「感度曲線」と称す)。この例では、基準ベクトルV1は、波長a~波長bの波長域に感度を有し、波長cの感度が最も高い、という特性をもつことがわかる。
 この構成によれば、たとえば、3チャネル画像11を用いた後段の処理(計測、検査、分析、評価など)で使われる画像特徴が強調されるように、3つの基準ベクトルV1、V2、V3を設計することで、後段の処理の精度を維持ないし向上させつつ、画像のデータサイズ及び情報量の削減を図ることが可能となる。たとえば前述のケースであれば、近赤外の感度が高い基準ベクトルと黄色の波長の感度が高い基準ベクトルを用いるとよい。これにより、近赤外や黄色の強度変化が画像特徴として現れやすい3チャネル画像11を生成することができるからである。
 なお、本明細書において、「チャネル」という用語は、色情報を表すカラーチャネルの意味で用い、αチャネルのようないわゆるマスクチャネルは含まない。したがって、3つのカラーチャネルと1つのマスクチャネルの計4つのチャネルで構成されている画像も、本明細書では、3チャネル画像と呼ぶ。
 <第1実施形態>
 (装置構成)
 図2は、本発明を適用した画像センサ2の構成例を示している。
 画像センサ2は、マルチスペクトルカメラ20と画像処理装置1を備える。この画像センサ2は、たとえば工場の製造ラインなどに設置され、画像を利用したさまざまな処理に利用される装置である。画像センサ2は、視覚センサ(vision sensor)や視覚システム(vision system)などとも呼ばれる。本実施形態の画像センサ2は、撮像系(マルチスペクトルカメラ20)と処理系(画像処理装置1)とが別体で構成されているが、撮像系と処理系とが一体となった構成を採ることもできる。
 マルチスペクトルカメラ20は、マルチスペクトルイメージングによって被写体のマルチスペクトル画像を生成し出力することが可能な撮像装置である。本実施形態では、16バンドのマルチスペクトルカメラ20を用いて、16チャネルのマルチスペクトル画像が得られる。マルチスペクトルイメージングとしては、たとえば、複数のカラーフィルタを用いる方法、照明の色を切り替える方法、回折格子などの光学素子で分光する方法など、さまざまな方法が提案されているが、いずれの方法を用いてもよい。
 画像処理装置1は、マルチスペクトルカメラ20から取り込まれたマルチスペクトル画像を3チャネル画像に変換する処理、マルチスペクトル画像及び3チャネル画像を用いた各種処理(特徴抽出、計測、検査、分析、評価など)、PLC(programmable logic controller)などの外部装置とのデータ通信、マルチスペクトルカメラ20の制御などを行うデバイスである。画像処理装置1は、たとえば、プロセッサ(CPU)、メモリ、ストレージ、通信モジュール、I/Oを有するコンピュータと、液晶ディスプレイなどの表示装置と、マウスやタッチパネルなどの入力装置とを有している。各種のプログラムがストレージに格納されており、画像センサ2の稼働時には、必要なプログラムがメモリにロードされ、プロセッサによって実行されることにより、画像処理装置1の処理及び機能が提供される。なお、画像処理装置1の処理及び機能のうちの少なくとも一部をASICやFPGAなどの回路で構成したり、分散コンピューティングやクラウドコンピューティングにより構成したりしても構わない。
 画像処理装置1は、図2に示すように、画像入力部21、基準ベクトル設定部22、変換部23、出力部24、記憶部25を有する。画像入力部21、基準ベクトル設定部22、変換部23、及び出力部24は、プロセッサがプログラムを実行することによって提供される機能であり、記憶部25は、不揮発性のメモリ又はストレージにより提供される。
 (変換処理)
 図3に、画像処理装置1による変換処理の流れを示す。
 ステップS30において、画像入力部21がマルチスペクトルカメラ20からマルチスペクトル画像を入力する。入力された画像データは変換部23に渡されるか、記憶部25に格納される。なお、画像の入力ソースはマルチスペクトルカメラ20に限られず、内部又は外部の記憶装置から画像を読み込んだり、外部のコンピュータからネットワークを介して画像を取り込んだりしてもよい。
 ステップS31において、基準ベクトル設定部22が3つの基準ベクトルの設定を行う。設定された基準ベクトルの情報は記憶部25に格納される。基準ベクトルの設定方法は、大きく分けて、ユーザが手動で設定する方法と、機械(基準ベクトル設定部22)が自動で設定する方法とがある。設定方法の詳細は後述する。
 ステップS32において、変換部23が、3つの基準ベクトルを用いてマルチスペクトル画像を3チャネル画像に変換する。図4にステップS32の処理の具体例を示す。図4に示すように、マルチスペクトル画像の一画素は16バンドのスペクトル分布P(λ)で表される。横軸は波長(バンド)λであり、縦軸は光の強度である。ここで、スペクトル分布P(λ)は、各バンドでの光の強度を要素にもつ16次元ベクトルとして扱うことができる。他方、基準ベクトルV1(λ)、V2(λ)、V3(λ)は、各バンドに対する感度(具体的には0.0~1.0の値域をもつ係数)を要素にもつ16次元ベクトルである。変換部23は、各画素のスペクトル分布P(λ)と各基準ベクトルV1(λ)、V2(λ)、V3(λ)との内積を計算することにより、3チャネル画像の各画素の値C=(C1,C2,C3)を求める。本明細書では、3つの基準ベクトルを用いてスペクトル分布を3つの値に変換する操作を、基準ベクトルによる分解(separation)又は色分解(color separation)と呼ぶ。変換後の3チャネル画像のデータは、出力部24に渡されるか、記憶部25に格納される。
 ステップS33において、出力部24が、ステップS32で得られた3チャネル画像を、RGB画像の形式のデータに変換し、外部装置やRGBモニタに出力する。具体的な画像形式は何でもよく、たとえば、TIFF、JPEG(JFIF)、BMP、PNG、GIFなどを例示することができる。
 このとき、出力部24は、3チャネル画像の3つのチャネルのうち、最も長い波長に対応するチャネルをRチャネル、二番目に長い波長に対応するチャネルをGチャネル、最も短い波長に対応するチャネルをBチャネルに、それぞれ割り当てるとよい。チャネルに対応する波長は、たとえば、当該チャネルの値を計算するために用いた基準ベクトルの中心波長又は平均波長などと定義すればよい。図4の例であれば、基準ベクトルV3(λ)により計算されたチャネルがRチャネル、基準ベクトルV2(λ)により計算されたチャネルがGチャネル、基準ベクトルV1(λ)により計算されたチャネルがBチャネルとなる。各基準ベクトルV1(λ)~V3(λ)はRGBの波長とは無関係に設定され得るものであるため、変換後の3チャネル画像は被写体の実際の色を再現するものではない。とはいえ、その3チャネル画像をRGBモニタに表示したり、RGB画像用に作成された画像処理ソフト上で表示したときに、実際の被写体と色相や色調が大きくかけ離れた画像が現れると、ユーザが違和感を抱いたり、画像を誤認したりする可能性がある。そこで、出力部24は、3チャネル画像の各チャネルに対し、上記のようなルールでRGBを割り当てる。これにより、3チャネル画像をRGBモニタなどに表示した際に、比較的違和感の小さい色相や色調の表示画像が得られるようになる。
 (基準ベクトルの設定方法)
 次に、基準ベクトル設定部22による基準ベクトルの設定方法の具体例を説明する。
 (1)ユーザによる設定
 図5に、基準ベクトルの設定画面の一例を示す。この設定画面は、画像リスト欄50、参考画像表示欄51、基準ベクトルパラメータ入力欄52、基準ベクトル確認欄53を含んでいる。
 画像リスト欄50には、記憶部25に格納されているマルチスペクトル画像の一覧がサムネイル表示されている。すべての画像を一度に表示しきれない場合には、リストの左右にあるスクロールボタンを押すことで、表示するサムネイルを順繰りに変更することができる。ユーザは、画像リスト欄50のなかから、基準ベクトルを設定する際に参考にする画像(「参考画像」と呼ぶ)を1つ又は2つ選択することができる。図5の例は、太枠で強調表示された2つの画像が参考画像として選択された状態を示す。
 参考画像表示欄51は、ユーザにより選択された参考画像を表示するエリアである。ユーザは、ポインティングデバイスなどを用いて、参考画像内の任意の点を指定することで、サンプル画素を選択することができる。図5において、参考画像表示欄51内のカーソル510、511は各参考画像から選択されたサンプル画素を示している。
 ユーザによりサンプル画素が選択されると、そのサンプル画素のスペクトル分布が基準ベクトル確認欄53に表示される。基準ベクトル確認欄53では、参考画像1のサンプル画素のスペクトル分布(白色の棒グラフ)と、参考画像2のサンプル画素のスペクトル分布(ハッチングの棒グラフ)とが、透過的に重ね合せて描画される。このグラフをみることで、ユーザは2つのサンプル画素のスペクトル分布を比較し、その一致点・相違点を容易に把握することができる。
 また、基準ベクトル確認欄53では、3つの基準ベクトルV1~V3の感度曲線が、サンプル画素のスペクトル分布上に重畳表示されている。ユーザは、ポインティングデバイスなどを用いたドラッグ操作により、基準ベクトル確認欄53における感度曲線の形状を変形するか、又は、キーボードなどを用いて基準ベクトルパラメータ入力欄52にパラメータを入力することにより、基準ベクトルV1~V3それぞれの特性を自由に設計することができる。
 図6は、基準ベクトルの感度曲線の形状を規定するパラメータの一例を示す。本実施形態では、感度曲線をガウス分布により表現し、分布の平均u、分布の高さh、分布の広がりwの3つのパラメータにより感度曲線の形状を指定できるようにする。ドラッグ操作の場合は、3つのカーソル60、61、62のいずれかを選択し左右又は上下に移動させることで、感度曲線全体の左右の移動、感度曲線の頂点の上下の移動、分布の広がり(標準偏差)の調整を行うことができる。パラメータ入力の場合は、テキストボックスにu、h、wの値を入力することで、感度曲線の形状を変更することができる。なお、基準ベクトル確認欄53と基準ベクトルパラメータ入力欄52とは連動しており、一方で入力された内容は他方にも反映されるようになっている。
 本実施形態では感度曲線をガウス分布で表現したが、感度曲線の形状はこれに限られない。図7Aのような三角形状の感度曲線を用いてもよいし、図7Bのような台形状の感度曲線を用いてもよいし、図7Cのような矩形状の感度曲線を用いてもよいし、図7Dのような半円状の感度曲線を用いてもよい。ガウス分布及び図7A~図7Dのように、左右対称な形状の分布曲線を用いることにより、ユーザは少ないパラメータ(たとえば、平均u、高さh、広がりwの3つのパラメータ)で所望の形状の基準ベクトルを設定できるため、ユーザビリティの向上が図られる。ただし、左右対称な形状ではない感度曲線により基準ベクトルを設定しても構わない。たとえば図7Eのように双峰曲線を用いたり、自由曲線を用いたりしてもよい。
 以上のようなユーザインタフェースによれば、ユーザは所望の形状をもつ3つの基準ベクトルを簡単に設定することができる。また、参考画像のサンプル画素のスペクトル分布を参考にしながら基準ベクトルを設定することができるため、参考画像やそれに類する画像を分解するのに適した基準ベクトルを設定するのが容易になる。
 たとえば、基準ベクトル確認欄53を見ながら、2つのスペクトル分布の間の相違が大きい波長を包含するように基準ベクトルを設定すれば、参考画像1と参考画像2の間の弁別に適した3チャネル画像への変換が可能となる。具体例を挙げると、良品の参考画像と不良品の参考画像のそれぞれからサンプル画素をピックアップすれば、物品の良否判定に適した3チャネル画像を得ることができる。また、Aランク品の参考画像とBランク品の参考画像のそれぞれからサンプル画素をピックアップすれば、物品の等級分けに適した3チャネル画像を得ることができる。
 なお、図5では、異なる2つの参考画像からそれぞれサンプル画素をピックアップする例を示したが、これに限られない。1つの参考画像から複数のサンプル画素をピックアップしてもよい。たとえば、画像中の被写体エリアと背景エリアのそれぞれからサンプル画素をピックアップすれば、被写体(前景)と背景のセグメンテーションが容易な3チャネル画像を得ることができる。また、3つ以上のサンプル画素をピックアップし、基準ベクトル確認欄53で3つ以上のスペクトル分布を比較できるようにしてもよい。
 図8に示すように、単一の画素ではなく、参考画像内のエリア(複数の画素)をサンプル画素として指定できるようにしてもよい。その場合は、複数の画素のスペクトル分布を平均した平均スペクトル分布を基準ベクトル確認欄53に表示するとよい。このとき、スペクトル強度のばらつきを示すエラーバーを付した棒グラフで平均スペクトル分布を表示してもよい。
 (2)基準ベクトルのレコメンド(その1)
 基準ベクトル設定部22は、サンプル画素のスペクトル分布に基づいて基準ベクトルの候補を自動で作成し、その基準ベクトル候補をユーザにレコメンドしてもよい。
 図9は、基準ベクトル候補の生成例の一つを示している。基準ベクトル設定部22は、参考画像1から得られたサンプル画素1のスペクトル分布と、参考画像2から得られたサンプル画素2のスペクトル分布との間で、波長(バンド)ごとのスペクトル強度の差(絶対値)を計算する。そして、基準ベクトル設定部22は、差が大きい3つの波長を抽出し(図9の中段の黒色で示した箇所)、その抽出された3つの波長に合わせて3つの基準ベクトル候補を作成する(図9の下段)。たとえば、基準ベクトル設定部22は、予め決められた形状(デフォルト形状)の感度曲線を、抽出された3つの波長の位置に配置するだけでもよいし、図9の中段に示す差の大きさや差の分布の広がりに応じて感度曲線の高さや幅を調整してもよい。
 このようなレコメンド機能によれば、3チャネル画像に変換したときに2つのサンプル画素の差が強調されるような基準ベクトル候補が自動で計算され、ユーザにレコメンドされる。ユーザは、これらの基準ベクトル候補をそのまま採用してもよいし、これらの基準ベクトル候補の形状を微調整することにより最終的な基準ベクトルを設定することもできる。したがって、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。
 (3)基準ベクトルのレコメンド(その2)
 図10は、基準ベクトル候補の他の生成例を示している。基準ベクトル設定部22は、まず基準ベクトル候補の初期値を設定する(たとえば、図9に示した方法で得られた基準ベクトル候補を初期値としてもよい)。次に、基準ベクトル設定部22は、サンプル画素1のスペクトル分布とサンプル画素2のスペクトル分布をそれぞれ基準ベクトル候補により変換し、3チャネル画像の画素P1、P2の値を計算する。画素P1、P2は、チャネルC1、C2、C3それぞれの値を要素にもつ3次元ベクトルである。次に、基準ベクトル設定部22は、画素P1とP2の差の絶対値(つまり3次元空間上での距離)を計算し、評価する。そして、基準ベクトル設定部22は、基準ベクトル候補を更新しながら、上述した処理を繰り返し、画素P1とP2の間の距離を最大化する基準ベクトル候補を求める。
 なお、基準ベクトル候補の探索アルゴリズムはどのように設計してもよい。また、厳密な最大化を行う必要はなく、予め設定した回数の探索を行った中で距離が最大となった基準ベクトル候補を採用してもよいし、所定の評価関数を満足する基準ベクトル候補が発見されたら探索処理をストップしてもよい。また、図10では、2つの画素の間の距離を評価しているが、図8のようにサンプル画素1、2がそれぞれ画素群から構成される場合には、2つの画素群の間の距離を評価してもよい。画素群同士の距離は、たとえばマハラノビス距離などで評価することができる。
 このようなレコメンド機能によれば、3チャネル画像に変換したときに2つのサンプル画素の差が強調されるような基準ベクトル候補が自動で計算され、ユーザにレコメンドされる。ユーザは、これらの基準ベクトル候補をそのまま採用してもよいし、これらの基準ベクトル候補の形状を微調整することにより最終的な基準ベクトルを設定することもできる。したがって、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。
 (4)基準ベクトルの連動(その1)
 基準ベクトル設定部22は、3つの基準ベクトルが所定の制約を満たすように、3つの基準ベクトルの形状を連動させてもよい。たとえば、「3つの基準ベクトルが互いに直交する」という制約の下、いずれかの基準ベクトルの形状がユーザにより変更された場合には、基準ベクトル設定部22は、下記式を満足するように、他の2つの基準ベクトルを変形させる(「・」はベクトルの内積)。
  V1・V2=0
  V2・V3=0
  V3・V1=0
 このように互いに直交するように3つの基準ベクトルを設定することで、スペクトル分布を適切に分解し、妥当な変換結果(3チャネル画像)が得られると期待できる。
 (5)基準ベクトルの連動(その2)
 図11に、基準ベクトルの連動の別の例を示す。ここでは、基準ベクトルV1~V3が矩形状の感度曲線で表現されている。図11において、u1、u2、u3は基準ベクトルV1、V2、V3の中心波長、w1、w2、w3は基準ベクトルV1、V2、V3の幅、h1、h2、h3は基準ベクトルV1、V2、V3の高さを示している。また、P(λ)は参照画像1からピックアップしたサンプル画素のスペクトル分布であり、Wはスペクトル分布P(λ)全体の幅である。
 ここで、いずれかの基準ベクトルの形状がユーザにより変更された場合には、基準ベクトル設定部22は、下記式で表される制約を満足するように、他の2つの基準ベクトルを変形させる。
Figure JPOXMLDOC01-appb-M000001
 このような制約を設けることにより、サンプル画素のスペクトル分布P(λ)全体の波形特徴を近似するように3つの基準ベクトルV1、V2、V3を設定することができる。したがって、スペクトル分布を適切に分解し、妥当な変換結果(3チャネル画像)が得られると期待できる。
 (6)統計的処理による基準ベクトルの自動設定(主成分分析)
 図12は、統計的処理による基準ベクトルの自動設定方法の一例を示すフローチャートである。本例では統計的処理として主成分分析を利用する。
 ステップS120において、基準ベクトル設定部22は統計的処理に用いるマルチスペクトル画像を取得する。本例では、変換対象のマルチスペクトル画像(図3のステップS30で入力された画像)をそのまま統計的処理にも用いる。変換対象の画像から基準ベクトルを求めることにより、変換対象の画像の特徴を抽出するのに適した基準ベクトルが得られると期待できるからである。ただし、変換対象のマルチスペクトル画像以外の画像を統計的処理に用いたり、複数の画像を統計的処理に用いたりしても構わない。
 ステップS121では、基準ベクトル設定部22は、ステップS120で取得したマルチスペクトル画像から複数のサンプル画素を抽出する。サンプル画素の数は任意であるが、統計的処理の精度を確保するため、少なくとも数十から数百の画素を抽出するとよい。あるいは、マルチスペクトル画像の全ての画素をサンプル画素として用いてもよい。図13の上段は、抽出されたサンプル画素群の分布を模式的に示している(実際にはN次元空間(N>3)の分布となるが、図示の便宜から3次元空間で表している。)。
 ステップS122では、基準ベクトル設定部22が、N次元空間におけるサンプル画素群の分布に対し主成分分析を行い、第1主成分、第2主成分、第3主成分を求める。そして、ステップS123において、基準ベクトル設定部22が、第1主成分、第2主成分、第3主成分をそれぞれ基準ベクトルV1、V2、V3に設定する。ここでは、基準ベクトルV1、V2、V3は単位ベクトルとする。図13の下段に基準ベクトルの例を示す。
 この方法により、サンプル画素群の分布を表現するのに適した基準ベクトルを自動で設定することができる。この基準ベクトルを用いてマルチスペクトル画像の変換を行うことで、マルチスペクトル画像に含まれる特徴的な画像情報が抽出ないし強調された3チャネル画像を得ることができる。
 (7)統計的処理による基準ベクトルの自動設定(2カテゴリ判別)
 図14は、統計的処理による基準ベクトルの自動設定方法の他の例を示すフローチャートである。本例では統計的処理として判別分析を利用し、良品と不良品の識別に適した3チャネル画像に変換するための基準ベクトルを生成する方法を説明する。
 ステップS140において、基準ベクトル設定部22は統計的処理に用いるマルチスペクトル画像を取得する。たとえば、良品と不良品の画像特徴を学習する目的で予め用意された、複数の良品画像と複数の不良品画像を用いるとよい。
 ステップS141では、基準ベクトル設定部22は、ステップS140で取得したマルチスペクトル画像から第1カテゴリに属する複数のサンプル画素を抽出する。ここでは、良品を第1カテゴリ、不良品を第2カテゴリとする。したがって、ステップS141では、複数の良品画像から第1カテゴリのサンプル画素群が抽出される。
 ステップS142では、基準ベクトル設定部22は、ステップS140で取得したマルチスペクトル画像から第2カテゴリに属する複数のサンプル画素を抽出する。ここでは、複数の不良品画像から第2カテゴリのサンプル画素群が抽出される。図15の上段は、抽出されたサンプル画素群の分布を模式的に示している(実際にはN次元空間(N>3)の分布となるが、図示の便宜から2次元空間で表している。)。
 ステップS143では、基準ベクトル設定部22が、N次元空間におけるサンプル画素群の分布に対し判別分析を行い、第1カテゴリと第2カテゴリの間の判別境界DSを求める。判別境界DSは超平面となる。そして、ステップS144において、基準ベクトル設定部22が、判別境界DSに直交するように基準ベクトルV1を決定し、さらに基準ベクトルV1に直交するように他の基準ベクトルV2、V3を決定する。なお、基準ベクトルV2とV3も互いに直交するように設定するとよい。図15の下段に基準ベクトルV1とV2の設定例を模式的に示す。
 このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、2つのカテゴリの画像特徴の差(本例では良品と不良品の差)が強調された3チャネル画像を得ることができる。したがって、そのような3チャネル画像を利用することにより、簡単かつ高精度な物品検査が実現できる。
 なお、本例では、良品と不良品の識別を例に挙げたが、第1カテゴリと第2カテゴリのサンプル画素群の与え方で、様々な応用が可能である。たとえば、マルチスペクトル画像中の被写体エリアから抽出した画素群を第1カテゴリのサンプル画素群、背景エリアから抽出した画素群を第2カテゴリのサンプル画素群とすれば、被写体(前景)と背景のセグメンテーションが容易な3チャネル画像を得ることができる。また、Aランク品の画像から第1カテゴリのサンプル画素を抽出し、Bランク品の画像から第2カテゴリのサンプル画素を抽出すれば、物品の等級分けに適した3チャネル画像を得ることができる。
 (8)統計的処理による基準ベクトルの自動設定(3カテゴリ判別)
 図16は、統計的処理による基準ベクトルの自動設定方法の他の例を示す。本例では統計的処理として判別分析を利用し、3つのカテゴリの識別に適した3チャネル画像に変換するための基準ベクトルを生成する方法を説明する。
 基準ベクトル設定部22は、たとえば、Aランク品の画像とBランク品の画像とCランク品の画像から、第1カテゴリ(Aランク品)のサンプル画素群、第2カテゴリ(Bランク品)のサンプル画素群、第3カテゴリ(Cランク品)のサンプル画素群を抽出する。図16は、第1から第3カテゴリのサンプル画素群の分布を模式的に示している(実際にはN次元空間(N>3)の分布となるが、図示の便宜から2次元空間で表している。)。
 基準ベクトル設定部22は、N次元空間におけるサンプル画素群の分布に対し判別分析を行い、第1カテゴリと第2カテゴリの判別境界DS1、第2カテゴリと第3カテゴリの判別境界DS2、第3カテゴリと第1カテゴリの判別境界DS3を求める。判別境界DS1~DS3はいずれも超平面となる。そして、基準ベクトル設定部22は、判別境界DS1に直交するように基準ベクトルV1を決定し、判別境界DS2に直交するように基準ベクトルV2を決定し、判別境界DS3に直交するように基準ベクトルV3を決定する。
 このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、3つのカテゴリの画像特徴の差(本例ではA~Cの等級の差)が強調された3チャネル画像を得ることができる。したがって、そのような3チャネル画像を利用することにより、簡単かつ高精度な等級分けが実現できる。
 <その他>
 上記実施形態は、本発明の構成を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。たとえば、上記実施形態では、16バンドのマルチスペクトル画像を用いたが、バンド数は4以上であれば何個でも構わない。また、画像処理装置1は、マルチスペクトル画像を3チャネル画像に変換せずに生データのまま保存してもよい。また、図5のユーザインタフェースはあくまで一例であり、基準ベクトルの形状を規定するパラメータを入力可能であればどのようなユーザインタフェースを用いてもよい。
 <付記>
 (1)N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像(10)を入力する画像入力手段(21)と、
 N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトル(V1、V2、V3)として、ユーザに設定させる基準ベクトル設定手段(22)と、
 前記マルチスペクトル画像(10)の各画素のスペクトル分布を前記3つの基準ベクトル(V1、V2、V3)により分解することによって、前記マルチスペクトル画像(10)を3つのチャネルで構成される3チャネル画像(11)に変換する変換手段(23)と、
を有することを特徴とする画像処理装置(1)。
 (2)N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像(10)を入力する画像入力手段(21)と、
 N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトル(V1、V2、V3)として、設定する基準ベクトル設定手段(22)と、
 前記マルチスペクトル画像(10)の各画素のスペクトル分布を前記3つの基準ベクトル(V1、V2、V3)により分解することによって、前記マルチスペクトル画像(10)を3つのチャネルで構成される3チャネル画像(11)に変換する変換手段(23)と、を有し、
 前記基準ベクトル設定手段(22)は、1つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、N次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記3つの基準ベクトル(V1、V2、V3)を求める
ことを特徴とする画像処理装置(1)。
1:画像処理装置
2:画像センサ
20:マルチスペクトルカメラ
21:画像入力部
22:基準ベクトル設定部
23:変換部
24:出力部
25:記憶部

Claims (19)

  1.  N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、
     N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトルとして、ユーザに設定させる基準ベクトル設定手段と、
     前記マルチスペクトル画像の各画素のスペクトル分布を前記3つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を3つのチャネルで構成される3チャネル画像に変換する変換手段と、
    を有することを特徴とする画像処理装置。
  2.  前記基準ベクトル設定手段は、前記基準ベクトルを、横軸に波長、縦軸に感度をとったグラフにおいて、波長ごとの感度を表す感度曲線で表示し、前記感度曲線の形状を規定するパラメータをユーザに入力させる
    ことを特徴とする請求項1に記載の画像処理装置。
  3.  前記基準ベクトル設定手段は、前記感度曲線を左右対称な分布曲線で表示するものであり、
     前記感度曲線の形状を規定するパラメータは、分布の平均、分布の高さ、分布の広がりを含む
    ことを特徴とする請求項2に記載の画像処理装置。
  4.  前記基準ベクトル設定手段は、第1の画素のスペクトル分布と第2の画素のスペクトル分布を比較可能な態様で表示した画面上に、3つの基準ベクトルを重畳表示する
    ことを特徴とする請求項2又は3に記載の画像処理装置。
  5.  前記基準ベクトル設定手段は、前記第1の画素のスペクトル分布と前記第2の画素のスペクトル分布の間の相違が大きい3つの波長を抽出し、抽出された3つの波長に合わせて3つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドする
    ことを特徴とする請求項4に記載の画像処理装置。
  6.  前記基準ベクトル設定手段は、前記第1の画素のスペクトル分布を3つの基準ベクトルにより分解することで得られる変換後の画素の値と、前記第2の画素のスペクトル分布を3つの基準ベクトルにより分解することで得られる変換後の画素の値との差が最大になるように、3つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドする
    ことを特徴とする請求項4に記載の画像処理装置。
  7.  前記基準ベクトル設定手段は、3つの基準ベクトルのうちのいずれかの基準ベクトルがユーザにより変更されたことに応じて、3つの基準ベクトルが所定の制約を満たすように、変更された基準ベクトル以外の基準ベクトルを自動的に変更する
    ことを特徴とする請求項1~6のうちいずれか1項に記載の画像処理装置。
  8.  前記所定の制約は、3つの基準ベクトルが互いに直交するという制約である
    ことを特徴とする請求項7に記載の画像処理装置。
  9.  N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、
     N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトルとして、設定する基準ベクトル設定手段と、
     前記マルチスペクトル画像の各画素のスペクトル分布を前記3つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を3つのチャネルで構成される3チャネル画像に変換する変換手段と、を有し、
     前記基準ベクトル設定手段は、1つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、N次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記3つの基準ベクトルを求める
    ことを特徴とする画像処理装置。
  10.  前記基準ベクトル設定手段は、前記N次元空間における前記複数のサンプル画素の分布に基づき、主成分分析によって第1主成分、第2主成分、及び第3主成分を求め、前記第1から第3主成分を前記3つの基準ベクトルとする
    ことを特徴とする請求項9に記載の画像処理装置。
  11.  前記複数のサンプル画素が、2つのカテゴリに分類されるべき画素群である場合に、
     前記基準ベクトル設定手段は、前記N次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって前記2つのカテゴリの判別境界を求め、前記判別境界に直交するように1つの基準ベクトルを決定し、前記1つの基準ベクトルに直交するように他の2つの基準ベクトルを決定する
    ことを特徴とする請求項9に記載の画像処理装置。
  12.  前記複数のサンプル画素が、3つのカテゴリに分類されるべき画素群である場合に、
     前記基準ベクトル設定手段は、前記N次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって第1のカテゴリと第2のカテゴリの判別境界、前記第2のカテゴリと第3のカテゴリの判別境界、及び前記第3のカテゴリと前記第1のカテゴリの判別境界をそれぞれ求め、その3つの判別境界のそれぞれに直交するように3つの基準ベクトルを決定する
    ことを特徴とする請求項9に記載の画像処理装置。
  13.  前記変換手段により変換された前記3チャネル画像を、RGB画像の形式のデータで出力する出力手段を有する
    ことを特徴とする請求項1~12のうちいずれか1項に記載の画像処理装置。
  14.  前記出力手段は、前記3チャネル画像の3つのチャネルのうち、最も長い波長に対応するチャネルをRチャネル、二番目に長い波長に対応するチャネルをGチャネル、最も短い波長に対応するチャネルをBチャネルに、それぞれ割り当てる
    ことを特徴とする請求項13に記載の画像処理装置。
  15.  前記変換手段は、前記マルチスペクトル画像の各画素のスペクトル分布と各基準ベクトルとの内積を計算することにより、前記3チャネル画像の各画素の値を求める
    ことを特徴とする請求項1~14のうちいずれか1項に記載の画像処理装置。
  16.  N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を出力可能なマルチスペクトルカメラと、
     前記マルチスペクトルカメラから出力されるマルチスペクトル画像を3チャネル画像に変換する、請求項1~15のうちいずれか1項に記載の画像処理装置と、
    を有することを特徴とする画像センサ。
  17.  N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を入力するステップと、
     N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトルとして、ユーザに設定させるステップと、
     前記マルチスペクトル画像の各画素のスペクトル分布を前記3つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を3つのチャネルで構成される3チャネル画像に変換するステップと、
    を有することを特徴とする画像処理方法。
  18.  N個(Nは4以上の整数)のバンドに対応するN個のチャネルで構成されるマルチスペクトル画像を入力するステップと、
     N個のバンドのそれぞれに対する感度を要素としてもつN次元ベクトルを3種類、3つの基準ベクトルとして、設定するステップと、
     前記マルチスペクトル画像の各画素のスペクトル分布を前記3つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を3つのチャネルで構成される3チャネル画像に変換するステップと、を有し、
     前記基準ベクトルを設定するステップでは、1つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、N次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記3つの基準ベクトルを求める
    ことを特徴とする画像処理方法。
  19.  請求項17又は18に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。
PCT/JP2019/020287 2018-06-12 2019-05-22 画像処理装置、画像処理方法、画像センサ WO2019239831A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/053,788 US11368603B2 (en) 2018-06-12 2019-05-22 Image processing for converting multi-spectral image by calculating the inner product of the spectral distribution of each pixel and the respective reference vector
EP19820259.0A EP3809362A4 (en) 2018-06-12 2019-05-22 IMAGE PROCESSING DEVICE AND METHOD AND IMAGE SENSOR

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-112148 2018-06-12
JP2018112148A JP7028075B2 (ja) 2018-06-12 2018-06-12 画像処理装置、画像処理方法、画像センサ

Publications (1)

Publication Number Publication Date
WO2019239831A1 true WO2019239831A1 (ja) 2019-12-19

Family

ID=68842532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020287 WO2019239831A1 (ja) 2018-06-12 2019-05-22 画像処理装置、画像処理方法、画像センサ

Country Status (4)

Country Link
US (1) US11368603B2 (ja)
EP (1) EP3809362A4 (ja)
JP (1) JP7028075B2 (ja)
WO (1) WO2019239831A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7275940B2 (ja) * 2019-07-08 2023-05-18 オムロン株式会社 制御プログラムおよび方法
KR102350164B1 (ko) * 2021-07-15 2022-01-17 이규동 멀티스펙트럴 이미징 변환 방법
JP7185888B1 (ja) * 2021-11-26 2022-12-08 株式会社Datafluct 情報処理システム、情報処理方法及び情報処理プログラム
WO2023108443A1 (zh) * 2021-12-14 2023-06-22 深圳传音控股股份有限公司 图像处理方法、智能终端及存储介质
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262305A (ja) * 2000-12-12 2002-09-13 Canon Inc 画像処理装置及び画像処理方法と記録媒体
JP2009105576A (ja) * 2007-10-22 2009-05-14 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2012044519A (ja) * 2010-08-20 2012-03-01 Olympus Corp デジタルカメラ
WO2016152900A1 (ja) * 2015-03-25 2016-09-29 シャープ株式会社 画像処理装置及び撮像装置
JP2018009988A (ja) 2016-07-05 2018-01-18 株式会社リコー 計測装置および計測システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4097873B2 (ja) 2000-03-06 2008-06-11 富士フイルム株式会社 マルチスペクトル画像の画像圧縮方法および画像圧縮装置
JP4080812B2 (ja) 2002-08-09 2008-04-23 浜松ホトニクス株式会社 可視並びに不可視領域の色度計測が可能なシステム
JP5074101B2 (ja) * 2007-06-04 2012-11-14 オリンパス株式会社 マルチスペクトル画像処理装置およびこれを用いる色再現システム
US8538195B2 (en) 2007-09-17 2013-09-17 Raytheon Company Hyperspectral image dimension reduction system and method
US8408744B2 (en) * 2008-03-31 2013-04-02 Hewlett-Packard Development Company, L.P. RGB LED control using vector calibration
EP3510558A4 (en) 2016-09-06 2020-05-06 B.G. Negev Technologies and Applications Ltd., at Ben-Gurion University OBTAINING HYPERSPECTRAL DATA FROM AN IMAGE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262305A (ja) * 2000-12-12 2002-09-13 Canon Inc 画像処理装置及び画像処理方法と記録媒体
JP2009105576A (ja) * 2007-10-22 2009-05-14 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2012044519A (ja) * 2010-08-20 2012-03-01 Olympus Corp デジタルカメラ
WO2016152900A1 (ja) * 2015-03-25 2016-09-29 シャープ株式会社 画像処理装置及び撮像装置
JP2018009988A (ja) 2016-07-05 2018-01-18 株式会社リコー 計測装置および計測システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3809362A4

Also Published As

Publication number Publication date
EP3809362A4 (en) 2022-06-08
EP3809362A1 (en) 2021-04-21
US20210281713A1 (en) 2021-09-09
JP2019215676A (ja) 2019-12-19
JP7028075B2 (ja) 2022-03-02
US11368603B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
WO2019239831A1 (ja) 画像処理装置、画像処理方法、画像センサ
JP4603512B2 (ja) 異常領域検出装置および異常領域検出方法
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
KR101361374B1 (ko) 결함 관찰 방법 및 결함 관찰 장치
JP2018005773A (ja) 異常判定装置及び異常判定方法
JP6632288B2 (ja) 情報処理装置、情報処理方法、プログラム
JP4728444B2 (ja) 異常領域検出装置および異常領域検出方法
JP2007114843A (ja) 良否判定装置
WO2020189189A1 (ja) 検査装置及び方法
WO2019187277A1 (ja) 情報探索システム及びプログラム
JP2015143951A (ja) 物体判別装置、画像センサ、物体判別方法
JP2019158628A (ja) 検査装置、検査方法、及び検査プログラム
Kaur et al. Image fusion on digital images using Laplacian pyramid with DWT
US7283664B2 (en) Interactive computer aided analysis of images from sensor combinations
KR20220066168A (ko) 측정 대상 물질의 스펙트럼 정보를 추출하는 방법
JP7154786B2 (ja) 画像処理装置、画像処理方法及びプログラム
Irgenfried et al. A framework for storage, visualization and analysis of multispectral data
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
EP4361614A1 (en) Coating evaluation device and coating evaluation method
JP2023065135A (ja) 判定装置、判定方法及び判定プログラム
Sarker et al. Feasibility of Smartphone-Based Color Matching in Fabrics for Smart Textiles Based on Color Modeling and Machine Learning
Chen et al. Hyperspectral Neural Radiance Fields
TW202201270A (zh) 個體識別系統
Ding et al. Method for GPU-based spectral data cube reconstruction of integral field snapshot imaging spectrometers
Senthilkumar et al. A Comparative Analysis of PCA and IA for Assortment of Features in Hyper Spectral Images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19820259

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019820259

Country of ref document: EP

Effective date: 20210112