WO2019188315A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2019188315A1
WO2019188315A1 PCT/JP2019/010439 JP2019010439W WO2019188315A1 WO 2019188315 A1 WO2019188315 A1 WO 2019188315A1 JP 2019010439 W JP2019010439 W JP 2019010439W WO 2019188315 A1 WO2019188315 A1 WO 2019188315A1
Authority
WO
WIPO (PCT)
Prior art keywords
color information
light source
image processing
color
imaging
Prior art date
Application number
PCT/JP2019/010439
Other languages
English (en)
French (fr)
Inventor
松浦　貴洋
良隆 佐々木
智加 井下
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018230316A external-priority patent/JP2019185730A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019188315A1 publication Critical patent/WO2019188315A1/ja
Priority to US17/024,333 priority Critical patent/US11769274B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control

Definitions

  • the present invention relates to an image processing technique for evaluating the color of an object.
  • Patent Document 1 discloses a technique for inspecting a difference in color texture by comparing a chromaticity distribution of an inspection object obtained by imaging with a chromaticity distribution of a reference object.
  • Patent Document 1 When an object is imaged and the color of the object is evaluated, the color acquired by imaging differs depending on the shape of the object and the imaging conditions.
  • Patent Document 1 has a problem that when at least one of the shape of the object and the imaging condition changes, the color evaluation also changes.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a process for evaluating the color of an object without depending on the shape of the object and imaging conditions.
  • an image processing apparatus includes a first acquisition unit that acquires color information of the first object obtained by imaging the first object irradiated with light from a light source; It is determined by the direction in which the first object is imaged when the first object is imaged, the direction in which the light source irradiates light to the first object, and the normal direction of the first object.
  • a second acquisition unit configured to acquire color information of the second object based on a condition; and an output unit configured to output information corresponding to the color information of the first object and the color information of the second object. It is characterized by.
  • the color of the object can be evaluated regardless of the shape of the object and the imaging conditions.
  • FIG. 1 Flowchart showing processing executed by image processing apparatus Diagram showing an example of CAD data
  • FIG. 1 Flowchart showing processing executed by image processing apparatus Flowchart showing processing executed by image processing apparatus Diagram for explaining a method of measuring the spectral reflectance of the reference plate Diagram for explaining a method of measuring the spectral reflectance of the reference plate
  • FIG. 1 A diagram showing an example of reflection characteristic data Flow chart showing processing for generating light source data
  • FIG. 1A is a diagram showing a configuration of a color evaluation system in the present embodiment.
  • the color evaluation system includes an image processing device 1 and an imaging device 2.
  • the image pickup apparatus 2 includes a lens and an area sensor of 4000 ⁇ 2000 pixels such as a CMOS, and each color has an R (red) value, a G (green) value, and a B (blue) value of 8 bits, for a total of 24 bits. Image data representing an image having information for each pixel is generated.
  • the imaging device 2 may be any camera as long as it can acquire a two-dimensional distribution of color information of an imaging target, and the number of colors, bit depth, number of pixels, and the like are not limited to the above-described example.
  • the light source 4 is a light source for illuminating the object 3.
  • FIG. 1B is a block diagram showing a hardware configuration of the image processing apparatus 1.
  • the image processing apparatus 1 includes a CPU 101, a ROM 102, and a RAM 103.
  • the image processing apparatus 1 includes a VC (video card) 104, a general-purpose I / F (interface) 105, a SATA (serial ATA) I / F 106, and a NIC (network interface card) 107.
  • the CPU 101 executes an OS (Operating System) and various programs stored in the ROM 102, HDD (Hard Disk Drive) 112, and the like using the RAM 103 as a work memory.
  • the CPU 101 controls each component via the system bus 108.
  • a display 114 is connected to the VC 104.
  • the general-purpose I / F 105 is connected to an input device 110 such as a mouse and a keyboard and the imaging apparatus 2 via a serial bus 109.
  • the SATA I / F 106 is connected via a serial bus 111 to a general-purpose drive 113 that reads / writes the HDD 112 and various recording media.
  • the NIC 107 inputs and outputs information with an external device.
  • the CPU 101 uses various recording media mounted on the HDD 112 and the general-purpose drive 113 as storage locations for various data.
  • the CPU 101 displays a UI (user interface) provided by the program on the display 114 and receives an input such as a user instruction received via the input device 110.
  • UI user interface
  • FIG. 2A is a diagram illustrating a functional configuration of the image processing apparatus 1 according to the present embodiment.
  • the image processing apparatus 1 includes an image data acquisition unit 20, a shape data generation unit 21, a light source data generation unit 22, a reflection characteristic data holding unit 23, a color evaluation unit 24, and a display control unit 25.
  • the image data acquisition unit 20 acquires captured image data obtained by imaging the object 3 illuminated by the light source 4.
  • the image data acquisition unit 20 acquires captured image data stored in advance in the HDD 112 from the HDD 112.
  • a sphere 5 in FIG. 6 is a sphere having a specular surface, which is arranged to generate light source data.
  • the light source data is data representing the direction of light from the light source 4 to the object 3.
  • the marker 6 is a marker attached to the object 3 in order to generate shape data.
  • the shape data is data representing the shape of the surface of the object 3. Imaging is performed so that the object 3, the sphere 5, and the marker 6 are included in the imaging range.
  • the shape data generation unit 21 generates shape data representing the three-dimensional shape of the object 3 based on the captured image data acquired by the image data acquisition unit 20.
  • the light source data generation unit 22 generates light source data representing the direction of light emitted from the light source 4 to the object 3 based on the captured image data acquired by the image data acquisition unit 20.
  • the reflection characteristic data holding unit 23 holds reflection characteristic data representing reflection characteristics of an object to be compared with the object 3 in color evaluation.
  • the object to be compared in the present embodiment is a reference plate.
  • the color evaluation unit 24 evaluates the color of the surface of the object 3 based on the captured image data, shape data, light source data, and reflection characteristic data.
  • the display control unit 25 causes the display 114 to display the color evaluation result by the color evaluation unit 24.
  • FIG. 3A is a flowchart illustrating processing executed by the image processing apparatus 1.
  • each step (process) is represented by adding S before the reference numeral.
  • the image data acquisition unit 20 acquires captured image data obtained by imaging by the imaging device 2.
  • the shape data generation unit 21 generates shape data representing the three-dimensional shape of the object 3 based on the captured image data. Details of the processing in S32 will be described later.
  • the light source data generation unit 22 generates light source data representing the direction of light from the light source 4 to the object 3.
  • FIG. 7A is an example of the light source 4 reflected on the mirror-like sphere 5 in the captured image.
  • FIG. 7B is a diagram for explaining processing for calculating a light source vector representing the direction of light irradiated from the light source 4 to the object 3.
  • a circle 81 is a specular sphere 5 in the captured image, and indicates at which angle in the azimuth direction the light source exists with respect to the surface of the object 3.
  • the semicircle 82 indicates at which angle in the elevation direction the light source exists with respect to the surface of the object 3.
  • the light source data generation unit 22 first calculates the pixel position of the center of the region corresponding to the sphere 5 in the captured image. Specifically, the pixel value of the captured image is binarized.
  • This binarization process is a binarization process in which a pixel having a pixel value equal to or greater than a predetermined threshold is white and a pixel having a pixel value less than the predetermined threshold is black.
  • edge positions are extracted using a known canny method, and contour extraction is performed in which pixels having edge positions in eight neighboring pixels are regarded as the same contour and grouped. A circle or ellipse contour is selected from the extracted plurality of contour groups.
  • the circle or ellipse When the circle or ellipse has one outline, one of them is set as an area corresponding to the sphere 5, and the center of gravity of three points separated by a predetermined distance or more on the edge position is set as the center of the area corresponding to the sphere 5.
  • the center of gravity may be calculated using at least three points on the edge position, and the pixel position at the center of the region corresponding to the sphere 5 can be calculated with higher accuracy by using more points.
  • the contour having the highest average luminance in the contour is set as the region corresponding to the sphere 5.
  • the pixel position at the center of the light source 4 reflected on the sphere 5 is calculated.
  • the pixel having the highest luminance in the region corresponding to the sphere 5 in the captured image is set as the pixel position at the center of the light source 4.
  • the light source data generation unit 22 calculates xl and yl shown in FIG. 7B.
  • xl and yl are the numbers of pixels in the x and y directions from the pixel position at the center of the region corresponding to the sphere 5 to the pixel position at the center of the light source 4, respectively.
  • zl is calculated using Equation (1).
  • r is the radius of the sphere 5 in the captured image.
  • the radius r is the number of pixels from the center pixel position of the area corresponding to the sphere 5 to the edge position of the area corresponding to the sphere 5.
  • the color evaluation unit 24 evaluates the color of the surface of the object 3 based on the captured image data, the shape data, the light source data, and the reflection characteristic data. Details of the processing in S34 will be described later.
  • the display control unit 25 causes the display 114 to display the color evaluation result by the color evaluation unit 24. Details of the processing in S35 will be described later.
  • FIG. 4A is a diagram for explaining a method of calculating the three-dimensional shape of the object 3.
  • a marker 6 is attached to the object 3.
  • the marker 6 is provided with a mark area 41, an ID code area 42, and an evaluation area 43.
  • the mark area 41 is a white circular area, and at least three mark areas are arranged on the marker 6.
  • the marker 6 has an area including a pattern composed of a plurality of mark areas 41 arranged at a predetermined interval.
  • a total of ten marking areas 41 are provided, which are arranged in the horizontal direction and two in the vertical direction.
  • the evaluation area 43 is an area cut out in the marker 6. For this reason, when the marker 6 is attached to the object 3, the surface of the object 3 is exposed, and the color of the surface of the object 3 can be evaluated.
  • the ID code area 42 is an area in which identification information is coded.
  • the identification information is information for identifying the marker 6 and is a number assigned to each manufactured marker 6. With this identification number, even when a plurality of markers 6 are included in one captured image, the evaluation region 43 can be distinguished and the color can be evaluated.
  • the pattern of the ID code area 42 can express a 64-bit identification number by dividing the area into a total of 64 blocks of 8 ⁇ 8 pixels and expressing each block with binary values of white and black. Is used.
  • the background color of the marker 6 is preferably black because the process of extracting the mark area 41 from the captured image is performed with high accuracy by increasing the contrast with the mark area 41.
  • the three-dimensional shape of the object 3 is calculated using captured image data obtained by imaging the object 3 to which the marker 6 is attached.
  • FIG. 8A is a flowchart showing the processing in S32. Hereinafter, the flow of processing in S32 will be described with reference to FIG. 8A.
  • the shape data generation unit 21 reads the captured image data acquired by the image data acquisition unit 20.
  • the shape data generation unit 21 extracts a region corresponding to the ID code region 42 from the captured image represented by the read captured image data, and reads the identification number of the marker 6 from the extracted region.
  • the pixel value of the captured image is binarized.
  • This binarization process is a binarization process in which a pixel having a pixel value equal to or greater than a predetermined threshold is white and a pixel having a pixel value less than the predetermined threshold is black.
  • edge positions are extracted using a known canny method, and contour extraction is performed in which pixels having edge positions in eight neighboring pixels are regarded as the same contour and grouped.
  • a rectangular outline is selected from the extracted plurality of outline groups, and the outline is deformed so that the ID code area 42 has the same shape as the actual shape.
  • the deformed pattern inside the contour is divided into 8 ⁇ 8 pixel blocks, and the identification number is read based on the density of each block.
  • FIG. 5 is a diagram illustrating an example of metadata.
  • FIG. 5A shows the contents recorded in the metadata.
  • An area 901 is an area in which a three-dimensional coordinate value (X, Y, Z) on the paper surface of the center point of the mark area 41 is recorded, and N X ⁇ N Y rows are recorded. In this coordinate value, a relative position with respect to the origin when the center point of the upper left mark area 41 is the origin is recorded.
  • An area 902 is an area in which the two-dimensional coordinate value (u, v) of the center point of each mark area 41 in the marker image is recorded.
  • the two-dimensional coordinate value (u, v) the two-dimensional coordinate value of the pixel unit of the marker image when the center point of the upper left mark area 41 is set as the origin is recorded in N X ⁇ N Y rows.
  • An area 903 is an area where polygon information is recorded.
  • the polygon in the present embodiment is a rectangle having the center point of the four mark areas 41 as vertices, and the polygon information is information on each vertex constituting the rectangle.
  • the polygon information is information in which the row number of the region 901 and the row number of the region 902 are recorded in each row in the order of turning around the outer periphery of the rectangle counterclockwise.
  • the shape data generation unit 21 calculates the center coordinates of each mark area 41 based on the captured image data.
  • processing up to contour extraction is performed in the same manner as in S62, and contour candidates that are circles or ellipses are listed from the contour group.
  • the area surrounded by the outline of the circle or ellipse cited as the outline candidate is calculated, and the candidates are ranked according to the difference between the calculated area of each outline and the preset area of the mark region 41.
  • a plurality of contours of the mark areas 41 with ranks 1 to 10 are extracted, and the center coordinate value of each contour is calculated.
  • center coordinate values of the respective contours are sorted so that the relative positional relationship of the central coordinate values of the respective contours matches the relative positional relationship of the coordinate values described in the region 902. Thereby, the correspondence between the rectangle defined in the region 903 and the center coordinates of the mark region 41 corresponding to the rectangle can be easily taken.
  • the shape data generation unit 21 calculates a normal vector on the surface of the object 3 based on the center coordinates of each mark area 41, and generates shape data representing the calculated normal vector. Details of the processing in S65 will be described below.
  • FIG. 8B is a flowchart showing the processing in S65.
  • the shape data generation unit 21 reads the three-dimensional coordinate values (X, Y, Z) of the vertices of the rectangle from the metadata. Specifically, in the metadata, one line is read from the polygon information indicated in the area 903, and the coordinate value corresponding to each vertex of the rectangle indicated by the polygon information is read from the area 901.
  • the shape data generation unit 21 reads the coordinate value corresponding to each vertex from which the coordinate value was read in S1101 from the center coordinate of the marking area 41 calculated in S64.
  • the order of the center coordinates of the mark area 41 is sorted so as to coincide with the order of the coordinate values recorded in the area 902 in S64. Therefore, in S1102, the central coordinates corresponding to the vertex numbers recorded in the area 903 may be extracted as in S1101.
  • the shape data generation unit 21 estimates the rotation matrix R composed of the coefficients r 11 to r 33 and the translation vector t composed of the coefficients t 1 to t 3 shown in Expression (2). With this process, the position and orientation of the imaging device 2 with respect to a rectangular plane can be calculated.
  • f x and f y are focal lengths of the imaging device 2 in the x direction and the y direction in a three-dimensional space with the position of the imaging device 2 as the origin.
  • c x and c z are the principal point positions of the imaging device 2 in the x direction and the z direction.
  • f x , f y , c x , and c z are held in the HDD 112 as predetermined values.
  • the coordinates (u, v) in the expression (2) are the center coordinates of the mark area 41 in the captured image read in S1102.
  • the coordinates (X, Y, Z) in equation (2) are the three-dimensional coordinate values recorded in the metadata read in S1101 corresponding to the coordinates (u, v).
  • the shape data generation unit 21 estimates the rotation matrix and the translation vector based on the correspondence between the coordinates (u, v) and the coordinates (X, Y, Z) at the four vertices of the rectangle.
  • This estimation method is a method for estimating a rotation matrix and a translation vector using coordinates (u, v) of three or more points and coordinates (X, Y, Z) corresponding to the coordinates (u, v). .
  • the shape data generation unit 21 calculates the three-dimensional coordinates (x, y, z) of each vertex of the rectangle whose origin is the position of the imaging device 2, and the normal vector for the plane including each vertex. .
  • Equation (3) the three-dimensional coordinates (x, y, z) of each vertex are calculated.
  • R is the rotation matrix calculated in S1103, and t is the translation vector calculated in S1103.
  • the coordinates (X, Y, Z) are the three-dimensional coordinate values of each vertex in the metadata read in S1101.
  • the shape data generation unit 21 calculates a vector of the coordinates (x, y, z) of the other two vertices with the coordinates (x, y, z) of one vertex in the rectangle as the origin.
  • a unit vector in the direction indicated by the outer product vector of the two calculated vectors is calculated as a normal vector for the rectangular surface.
  • a unit vector having components r13, r23, r33 in the third column of the rotation matrix R may be used as a normal vector.
  • the shape data generation unit 21 performs the above-described processing of S1101 to S1104 on all the rectangular areas, and acquires the three-dimensional coordinates (x, y, z) of the vertices of each rectangle with the position of the imaging device 2 as the origin. To do. Even if the object 3 is a curved surface, the obtained coordinates can be regarded as the three-dimensional coordinate values of the object 3 if the rectangles are arranged at intervals that can be regarded as planes.
  • the shape data generation unit 21 determines the three-dimensional coordinates (x, y, z) of the center of the mark area 41.
  • the average value of the coordinates (x, y, z) of the overlapping vertices may be used as the three-dimensional coordinate value of the center of the corresponding mark area 41.
  • the shape data generation unit 21 generates shape data in which the normal vector calculated for each rectangle is recorded in the case pixel.
  • the normal vectors (xn, yn, zn) are recorded in each pixel, assuming that all the rectangles are the same normal vector. Since color evaluation in this embodiment is performed on the evaluation area 43, the normal vector represented by the shape data only needs to be recorded in the pixels corresponding to the evaluation area 43.
  • FIG. 9 is a flowchart showing the processing in S34. Hereinafter, the flow of processing in S34 will be described with reference to FIG.
  • the color evaluation unit 24 converts the color information (RGB values) recorded in each pixel of the captured image into XYZ values. Conversion from RGB values to XYZ values is performed using a known method.
  • the color evaluation unit 24 acquires the shape data generated by the shape data generation unit 21.
  • the color evaluation unit 24 acquires the light source data generated by the light source data generation unit 22.
  • the color evaluation unit 24 acquires the reflection characteristic data from the reflection characteristic data holding unit 23.
  • the reflection characteristic data held by the reflection characteristic data holding unit 23 will be described.
  • 10A and 10B are diagrams for explaining a method for generating reflection characteristic data.
  • a reference plate 91 is a flat plate which is a comparison target of the object 3 in color evaluation.
  • the reflection characteristic data is a look-up table that holds the correspondence between the imaging conditions and the color information of the reference plate 91 obtained by imaging the reference plate 91.
  • An imaging method will be described with reference to FIG. 10B. As shown in FIG.
  • the position of the light source 4 is fixed, and the imaging device 2 is moved from the azimuth angle 0 ° to 350 ° by 10 ° with respect to the reference plate 91, and imaging is performed each time the imaging device 2 is moved.
  • This imaging is performed with respect to the reference plate 91 every 10 ° from an elevation angle of 0 ° to 90 °.
  • imaging performed each time the imaging device 2 is moved is performed by moving the light source 4 from the azimuth angle 0 ° to 350 ° by 10 ° with respect to the reference plate 91. Furthermore, this imaging is performed every time the light source 4 is moved by 10 ° from an elevation angle of 0 ° to 90 ° with respect to the reference plate 91.
  • FIG. 10C is reflection characteristic data in which color information (RGB values) in each imaging condition is recorded.
  • the imaging condition is determined by the azimuth angle and elevation angle of the position of the light source 4 and the azimuth angle and elevation angle of the position of the imaging device 2.
  • the angle at which the imaging device 2 and the light source 4 are moved does not have to be every 10 °, and may be every 1 °. Further, since the reflection intensity changes greatly in the vicinity of the regular reflection direction of light from the light source 4 to the reference plate 91, the movement is made by 1 ° in the vicinity of the regular reflection direction, and the moving angle is increased as the distance from the regular reflection direction increases. May be.
  • the color evaluation unit 24 acquires color information of the reference plate from the reflection characteristic data for comparison with color information of an area corresponding to the evaluation area 43 of the captured image.
  • normal vectors (xn, yn, zn), light source vectors (xl, yl, zl) of pixels in an area corresponding to the evaluation area 43 in the captured image the object 3 from the imaging device 2
  • a vector (xc, yc, zc) representing the direction to is obtained.
  • a vector representing the direction from the imaging device 2 to the object 3 is referred to as an imaging direction vector.
  • the normal vector (xn, yn, zn) is obtained from the shape data, and the light source vector (xl, yl, zl) is obtained from the light source data.
  • the imaging direction vector is (0, 0, ⁇ 1) because it is directly opposed to the surface to be imaged by the imaging device 2.
  • a rotation matrix for rotating the normal vector so as to face right is calculated, and the light source vector and the imaging direction vector are rotated with the calculated rotation matrix.
  • the rotated light source vector is (xl ′, yl ′, zl ′), and the rotated imaging direction vector is (xc ′, yc ′, zc ′).
  • the reason why the normal vector is rotated so that the normal vector is directed upward is that when the reflection characteristic data is generated, imaging is performed in a state where the normal of the surface of the reference plate faces directly upward.
  • the state in which the normal vector faces directly upward is a state in which the normal vector (xn, yn, zn) is (0, 0, ⁇ (xn 2 + yn 2 + zn 2 )).
  • the color information of the reference plate may be calculated by extracting four pieces of color information of similar imaging conditions from the reflection characteristic data and performing interpolation processing. Further, the color information (RGB values) of the reference plate is converted into XYZ values by the same method as that in S241.
  • the color evaluation unit 24 calculates a color evaluation value based on the color information of each pixel in the area corresponding to the evaluation area 43 in the captured image and the color information of the reference plate corresponding to the color information. To do. Specifically, first, the XYZ value is converted into the L * a * b * value using the equations (4) to (8).
  • the color information of the captured image is (Xc, Yc, Zc)
  • the color information of the reference plate is (Xb, Yb, Zb)
  • the XYZ value of the reference white is (Xw, Yw, Zw).
  • a preset value is used as the XYZ value of the reference white.
  • evaluation value candidates may be displayed on the display 114 to allow the user to select an evaluation value.
  • FIG. 12 shows a display example of the evaluation result.
  • a screen 251 is a screen that displays an evaluation result for the evaluation area 43
  • an evaluation value scale 252 represents a scale of evaluation values.
  • the maximum value 253 is the maximum value of the evaluation value scale.
  • the display 254 is a display when the evaluation values in each pixel in the evaluation area 43 are all equal to or less than a predetermined threshold value and the inspection is acceptable (OK).
  • the display 255 is a display in the case where even one evaluation value in each pixel in the evaluation area 43 is larger than a predetermined threshold value and the inspection is rejected (NG).
  • the image processing apparatus acquires the color information of the first object obtained by imaging the first object irradiated with light from the light source. Based on conditions determined by the direction of imaging the first object, the direction in which the light source emits light to the first object, and the direction of the normal of the first object when imaging the first object, The color information of the second object is acquired. Information corresponding to the color information of the first object and the color information of the second object is output. Thereby, the color of the object can be evaluated regardless of the shape of the object and the imaging conditions.
  • the marker 6 is directly attached to the object 3, but the marker image may be projected onto the object 3 using a projection device such as a projector.
  • FIG. 4B shows how the marker image is projected onto the object 3 using the projector 8.
  • the process for calculating the shape of the object 3 is the same as S32.
  • the reflection characteristic data acquired in S244 of the present embodiment is generated by performing imaging while fixing the reference plate 91 and moving the imaging device 2 and the light source 4, as shown in FIG. 10B.
  • the method for generating the reflection characteristic data is not limited to the above example.
  • the imaging apparatus 2 and the light source 4 may be fixed, and the reflection characteristic data may be generated by performing imaging while rotating the reference plate 91.
  • the imaging device 2 and the light source 4 are fixed so as to satisfy the same imaging conditions as when imaging the object 3, and imaging is performed while rotating the reference plate 91.
  • FIG. 23B is reflection characteristic data in which color information (RGB values) corresponding to each normal direction of the reference plate 91 is recorded.
  • the reflection characteristic data can be generated with a smaller number of times of imaging than when the imaging device 2 and the light source 4 are moved.
  • the color information of the reference plate 91 is acquired from the reflection characteristic data, it is not necessary to use the light source vector and the imaging direction vector, and it is not necessary to perform the process of rotating the normal vector.
  • the imaging device 2 and the light source 4 are fixed has been described as an example, but only the imaging device 2 may be fixed, or only the light source 4 may be fixed. Moreover, it is not necessary to fix all three of the imaging device 2, the light source 4, and the reference plate 91.
  • the light source data generation unit 22 captures an image based on a captured image obtained by capturing the object 3, the sphere 5, and the marker 6 so as to be included in the imaging range.
  • the method for determining the region corresponding to the sphere 5 in the captured image is not limited to the above example. For example, you may receive designation
  • FIG. 24 shows an example of a UI for allowing the user to specify an area corresponding to the sphere 5 in the captured image.
  • a captured image 2401 is displayed on the display 114, and the cursor 2402 is moved in accordance with an instruction from the user using the input device 110. Based on an instruction for determining an area from the user, an area indicated by the cursor 2402 is determined as an area corresponding to the sphere 5 in the captured image 2401. By this determination method, it is possible to suppress determination of an erroneous region as a region corresponding to the sphere 5 in the captured image.
  • FIG. 12 is shown as an example of the display method of the evaluation result of the color displayed in S35 of the present embodiment
  • the display method shown in FIG. 25 may be used.
  • the image shown in FIG. 25 is a binary image in which each pixel holds a result of determination as to whether the inspection is acceptable (OK) or unacceptable (NG) for each pixel of the image.
  • an area 2501 displayed in white is composed of pixels that have passed inspection (OK)
  • an area 2502 that is displayed in black is composed of pixels that have failed inspection (NG).
  • NG failed inspection
  • a pixel having an evaluation value equal to or smaller than a predetermined threshold is determined to pass inspection (OK)
  • a pixel having an evaluation value greater than the predetermined threshold is determined to fail inspection (NG).
  • each evaluation area 43 is determined to be inspected (OK) or rejected (NG).
  • the evaluation area 43 is composed of a plurality of parts such as an automobile.
  • the determination may be made for each part.
  • FIG. 26 shows an example of a method for displaying the evaluation result of the color displayed in S35. 26 includes a front fender 2601, a rear fender 2602, a front bumper 2603, a front door 2604, a rear door 2605, a rear bumper 2606, a front tire 2607, a rear tire 2608, and a mirror 2609.
  • an evaluation value is calculated for each component, and it is determined whether or not the evaluation value is equal to or less than a predetermined threshold value.
  • the evaluation value for each component is, for example, the average value or median value of the evaluation values of each pixel included in the region corresponding to the component.
  • the evaluation value for each component is, for example, the average value or median value of the evaluation values of each pixel included in the region corresponding to the component.
  • the front tire 2607 and the rear tire 2608 are excluded from inspection targets, but the inspection target may be selected by designation from the user. Further, since industrial products such as automobiles including parts that have failed inspection (NG) have uneven color due to painting, information such as a painting method may be provided to the user for each part. .
  • NG parts that have failed inspection
  • information such as a painting method may be provided to the user for each part.
  • an automobile has been described as an example of an industrial product, any other industrial product such as a camera or a printer may be used as long as it is an object formed by combining a plurality of three-dimensional objects.
  • the color evaluation value is calculated using the color information of the captured image and the color information of the reference plate, and output is performed according to the calculated evaluation value.
  • the information output method is not limited to the above example.
  • the color information of the captured image and the color information of the reference plate may be displayed so that the correspondence can be understood.
  • the light source data is generated based on the captured image data.
  • the light source data generated in advance may be acquired.
  • light source data generated in advance is acquired, and the acquired light source data is used for color evaluation.
  • differences between the present embodiment and the first embodiment will be mainly described.
  • FIG. 2B is a diagram illustrating a functional configuration of the image processing apparatus 1 according to the present embodiment.
  • the image processing apparatus 1 includes an image data acquisition unit 20, a shape data generation unit 21, a reflection characteristic data holding unit 23, a color evaluation unit 24, a display control unit 25, and a light source data holding unit 26.
  • the light source data holding unit 26 holds light source data generated in advance.
  • FIG. 3B is a flowchart illustrating processing executed by the image processing apparatus 1.
  • the process in S31, S32, S35 is the same as the process in S31, S32, S35 of 1st Embodiment, description is abbreviate
  • the processing of S243 in S34 is different from that in the first embodiment, S243 will be described.
  • the color evaluation unit 24 acquires light source data from the light source data holding unit 26.
  • a method for generating light source data in advance will be described with reference to FIG.
  • a ceiling 71 in FIG. 13A is a ceiling in an environment where imaging is performed.
  • the imaging device 2 and the light source 4 are arranged at the same position as that at the time of imaging by the imaging device 2.
  • the imaging device 7 is an imaging device provided with a fisheye lens.
  • the imaging device 7 is arranged upward at a position where the object 3 is arranged at the time of imaging by the imaging device 2 and performs imaging.
  • FIG. 13B shows an image obtained by imaging under the conditions of FIG. 13A.
  • a method for calculating the light source vector will be described with reference to FIG. 7C.
  • a circle 83 is a specular sphere 5 in the captured image, and indicates at which angle in the azimuth direction the light source exists with respect to the surface of the object 3.
  • the semicircle 84 indicates at which angle in the elevation direction the light source exists with respect to the surface of the object 3.
  • the position from the center of the circle 83 is projected as it is to the semicircle 84 in the x and y directions, and the semicircle 84 is concentrically formed in the z direction in the z direction. Projected at the same angle. Therefore, in the example of FIG. 7C, the light source 4 is located at a position of 20 ° in the z direction because the light source 4 is on the second concentric circle from the outside of the nine concentric circles of the circle 83.
  • calculation of zl in this embodiment is performed using Formula (10) instead of Formula (1).
  • the image processing apparatus acquires the color information of the reference plate using the light source data generated in advance, and evaluates the color of the object. Therefore, the color of the object can be evaluated regardless of the shape of the object and the imaging conditions.
  • shape data is generated based on captured image data.
  • shape data may be generated based on CAD data.
  • CAD data representing the approximate shape of the object 3 is acquired, and shape data generated based on the CAD data is used for color evaluation.
  • differences between the present embodiment and the first embodiment will be mainly described.
  • FIG. 14 is a diagram illustrating a functional configuration of the image processing apparatus 1 according to the present embodiment.
  • the image processing apparatus 1 includes an image data acquisition unit 20, a shape data generation unit 21, a light source data generation unit 22, a reflection characteristic data holding unit 23, a color evaluation unit 24, a display control unit 25, a CAD data holding unit 27, and a pattern matching unit. 28.
  • the CAD data holding unit 27 holds CAD data representing the schematic shape of the object 3.
  • the pattern matching unit 28 performs pattern matching based on the captured image data and CAD data, and generates shape data.
  • FIG. 15 is a flowchart illustrating processing executed by the image processing apparatus 1. Note that the processing in S31, S33, S34, and S35 is the same as the processing in S31, S33, S34, and S35 of the first embodiment, and thus description thereof is omitted.
  • the pattern matching unit 28 acquires CAD data from the CAD data holding unit 27.
  • FIG. 16 shows an example of CAD data.
  • the object 3 is composed of a plurality of polygons, and the CAD data records the three-dimensional coordinates of each vertex of the polygons.
  • the pattern matching unit 28 performs pattern matching based on the captured image data and the CAD data, and generates shape data. Specifically, first, based on CAD data, an image obtained by imaging the object 3 at a virtual position and orientation is simulated. The process of determining whether or not the feature amount of the captured image represented by the captured image data matches the image obtained by the simulation is repeated while changing the position and orientation of the object 3.
  • the correspondence relationship between the three-dimensional coordinates of the object 3 and each pixel of the captured image is calculated. Based on the calculated correspondence, a normal vector corresponding to each pixel of the captured image is calculated, and shape data in which the normal vector is recorded in each pixel is generated.
  • the normal vector is obtained by calculating the polygon normal from the three-dimensional coordinates of the vertex.
  • the image processing apparatus acquires the color information of the reference plate using the shape data generated based on the CAD data, and evaluates the color of the object. Therefore, the color of the object can be evaluated regardless of the shape of the object and the imaging conditions.
  • the reflection characteristics of the reference plate are acquired as RGB values, but may be acquired as spectral reflectances.
  • spectral reflectance By measuring the reflection characteristics of the reference plate using spectral reflectance, it is possible to evaluate the color of an object with high accuracy even if the light source used to measure the reflection characteristics and the light source used to image the object are different. It becomes.
  • differences between the present embodiment and the first embodiment will be mainly described.
  • the reflection characteristic data holding unit 23 in this embodiment holds reflection characteristic data representing the spectral reflectance obtained by measuring the reference plate using a spectral reflection luminance meter.
  • a method for measuring the spectral reflectance of the reference plate will be described with reference to FIG. FIG. 18A shows the reference plate 91, the light source 4, and the spectral radiance meter 10.
  • FIG. 10B the light source 4 and the spectral radiance meter 10 are moved every 10 ° with respect to the reference plate 91, and the spectral radiance P ( ⁇ ) in each geometric condition is measured.
  • the light source 4 and the spectral radiance meter 10 are arranged in a substantially vertical direction with respect to the reference plate 91, and the spectral radiance P W ( ⁇ ) is measured. Then, the spectral reflectance ⁇ ( ⁇ ) at each angle is calculated according to the following equation (11).
  • the reflection characteristic data representing the calculated spectral reflectance is stored in the reflection characteristic data holding unit 23.
  • FIG. 19 shows an example of reflection characteristic data held by the reflection characteristic data holding unit 23.
  • FIG. 17A is a flowchart illustrating processing executed by the image processing apparatus 1.
  • the process in S31, S32, S33, S35 is the same as the process in S31, S32, S33, S35 of 1st Embodiment, description is abbreviate
  • the color evaluation unit 24 evaluates the color of the surface of the object 3 based on the captured image data, the shape data, the light source data, and the reflection characteristic data. Details of the processing in S39 will be described with reference to FIG. 17B. Note that the processing in S241, S242, S243, and S246 is the same as the processing in S241, S242, S243, and S246 of the first embodiment, and thus description thereof is omitted.
  • step S ⁇ b> 291 the color evaluation unit 24 acquires reflection characteristic data from the reflection characteristic data holding unit 23.
  • the reflection characteristic data is data obtained by measuring the spectral reflectance of the reference plate 91.
  • the color evaluation unit 24 acquires color information (spectral reflectance) of the reference plate for comparison with the color information of the area corresponding to the evaluation area 43 of the captured image from the reflection characteristic data.
  • normal vectors (xn, yn, zn) light source vectors (xl, yl, zl) of pixels in an area corresponding to the evaluation area 43 in the captured image, the object 3 from the imaging device 2
  • a vector (xc, yc, zc) representing the direction to is obtained.
  • a vector representing the direction from the imaging device 2 to the object 3 is referred to as an imaging direction vector.
  • the normal vector (xn, yn, zn) is obtained from the shape data
  • the light source vector (xl, yl, zl) is obtained from the light source data.
  • the imaging direction vector is (0, 0, ⁇ 1) because it is directly opposed to the surface to be imaged by the imaging device 2.
  • a rotation matrix for rotating the normal vector so as to face right is calculated, and the light source vector and the imaging direction vector are rotated with the calculated rotation matrix.
  • the rotated light source vector is (xl ′, yl ′, zl ′), and the rotated imaging direction vector is (xc ′, yc ′, zc ′).
  • the reason why the normal vector is rotated so that the normal vector is directed upward is that when the reflection characteristic data is generated, imaging is performed in a state where the normal of the surface of the reference plate faces directly upward. Note that the state in which the normal vector faces directly upward is a state in which the normal vector (xn, yn, zn) is (0, 0, ⁇ (xn 2 + yn 2 + zn 2 )).
  • the spectral reflectance 91 is obtained from the reflection characteristic data.
  • the spectral reflectance of the reference plate may be calculated by interpolation by extracting four pieces of color information of similar imaging conditions from the reflection characteristic data.
  • An XYZ value is calculated according to the equation (12) using the acquired spectral reflectance. Note that the spectral radiance P 1 ( ⁇ ) of the light source 4 and the color matching functions (xe ( ⁇ ), ye ( ⁇ ), ze ( ⁇ ),) are set in advance.
  • the image processing apparatus acquires the color information of the reference plate using the reflection characteristic data representing the spectral reflectance of the reference plate, and evaluates the color of the object. Therefore, the color of the object can be evaluated regardless of the shape of the object and the imaging conditions. Further, by using the spectral reflectance as the reflection characteristic, even when the light source for measuring the reflection characteristic and the light source for imaging the object are different, the object color can be evaluated with high accuracy. .
  • the light source data is generated based on the captured image data.
  • the light source data may be generated based on the position of the light source specified by the user.
  • light source data is acquired based on a user instruction, and the acquired light source data is used for color evaluation. In the following, differences between the present embodiment and the first embodiment will be mainly described.
  • the light source data generation unit 22 generates light source data based on an instruction from the user. Details of the processing in S33 will be described with reference to FIG.
  • the light source data generation unit 22 acquires captured image data. Further, the UI shown in FIG. 21 is displayed on the display. An area 3901 displays a captured image represented by the captured image data.
  • the light source data generation unit 22 sets, as a reference point 3903, a pixel on the object 3 that serves as a reference when designating the light source position in the captured image displayed in the area 3901.
  • the reference point 3903 can be arbitrarily determined as long as it can calculate a normal vector.
  • the pixel corresponds to the center of the evaluation area 43.
  • the light source data generation unit 22 refers to the shape data generated in S32 and acquires the normal vector of the pixel set as the reference point 3903.
  • the light source data generation unit 22 sets the light source position for the reference point 3903 set in S3802 with reference to the normal vector 3904 acquired in S3803.
  • a reference point 3903, a normal vector 3904, and a light source 3905 are displayed in 3D in a region 3902 in the UI shown in FIG.
  • the user can specify the light source position by specifying the light source 3905 using the input device 110 and dragging within the area 3902. That is, in S3804, the light source data generation unit 22 receives information specifying the light source position from the user, and generates light source data based on the specified light source position.
  • the elevation angle of the light source position designated by the user is displayed in area 3906, the azimuth angle is displayed in area 3907, and the distance is displayed in area 3908.
  • the designated range of the azimuth is ⁇ 180 ° to 180 °
  • the designated range of the elevation angle is 0 ° to 180 °.
  • the designated range of the distance is not particularly limited, but may be set within a range in which the illumination is not shadowed when the object 3 is imaged or the light amount is not insufficient due to being too far away.
  • the user may be allowed to directly input numerical values in the area 3906, the area 3907, and the area 3908. Further, when several light source position candidates with respect to the reference point 3903 are determined, the user may be made to select from the candidates.
  • the image processing apparatus acquires the color information of the reference plate using the light source data generated based on the light source position specified by the user, and evaluates the color of the object. . Therefore, the color of the object can be evaluated regardless of the shape of the object and the imaging conditions.
  • the light source position can be set by moving the light source 4005 in the UI region 4002 shown in FIG.
  • the elevation angle is displayed in area 4006 and the azimuth angle is displayed in area 4007.
  • the light source position designated when the object 3 has no anisotropy may be only in the vertical direction.
  • radiance data with respect to wavelength may be input.
  • the reflection characteristic data in the embodiment described above has color information in each imaging condition as the reflection characteristic, but information indicating the reflection characteristic is not limited to the above example.
  • the information indicating the reflection characteristic may be a parameter of BRDF (Bi-directional Reflection Distribution Function).
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program
  • This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明に係る画像処理装置は、光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得手段と、前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得手段と、前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力手段と、を有することを特徴とする。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、物体の色を評価するための画像処理技術に関する。
　従来、デジタルカメラから取得された撮像画像を用いて、撮像対象物の色を評価する技術が知られている。特許文献１は、撮像によって得られた検査物の色度分布を基準物の色度分布と比較することにより、色のテクスチャの違いを検査する技術を開示している。
特開２０１６－１６４５５９号公報
　物体を撮像して物体の色を評価する場合、物体の形状や撮像条件に応じて、撮像によって取得される色が異なってしまう。しかしながら、特許文献１のような従来の技術においては、物体の形状と撮像条件との少なくとも一方が変わると、色の評価も変わってしまうという課題があった。
　本発明は、上記課題に鑑みてなされたものであり、物体の形状や撮像条件に依らずに、物体の色を評価するための処理を提供することを目的とする。
　上記課題を解決するため、本発明に係る画像処理装置は、光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得手段と、前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得手段と、前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力手段と、を有することを特徴とする。
　本発明によれば、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
色評価システムの構成を示す図 色評価システムの構成を示す図 画像処理装置の機能構成を示す図 画像処理装置の機能構成を示す図 画像処理装置が実行する処理を示すフローチャート 画像処理装置が実行する処理を示すフローチャート マーカーを用いた物体の形状算出方法を説明するための図 マーカーを用いた物体の形状算出方法を説明するための図 メタデータの例を示す図 物体を撮像する様子を示す図 光源データを生成する処理を説明するための図 光源データを生成する処理を説明するための図 光源データを生成する処理を説明するための図 形状データを生成する処理を示すフローチャート 形状データを生成する処理を示すフローチャート 物体の色を評価する処理を示すフローチャート 反射特性データを説明するための図 反射特性データを説明するための図 反射特性データを説明するための図 反射特性データから色情報を取得する処理を説明するための図 反射特性データから色情報を取得する処理を説明するための図 評価結果の表示例を示す図 光源データを生成する方法を説明するための図 光源データを生成する方法を説明するための図 画像処理装置の機能構成を示す図 画像処理装置が実行する処理を示すフローチャート ＣＡＤデータの例を示す図 画像処理装置が実行する処理を示すフローチャート 画像処理装置が実行する処理を示すフローチャート 基準板の分光反射率を測定する方法を説明するための図 基準板の分光反射率を測定する方法を説明するための図 反射特性データの例を示す図 光源データを生成する処理を示すフローチャート 光源位置を指定するためのＵＩの例を示す図 光源位置を指定するためのＵＩの例を示す図 反射特性データを説明するための図 反射特性データを説明するための図 球体に対応する領域をユーザに指定させるためのＵＩの例を示す図 評価結果の表示例を示す図 評価結果の表示例を示す図
　以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
　［第１実施形態］
　＜色評価システムの構成＞
　図１Ａは、本実施形態における色評価システムの構成を示す図である。色評価システムは、画像処理装置１と、撮像装置２と、から構成される。
　撮像装置２は、レンズとＣＭＯＳ等の４０００×２０００画素のエリアセンサとを備えており、Ｒ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値の各色８ビット、計２４ビットの色情報を画素毎に有する画像を表す画像データを生成する。尚、撮像装置２は、撮像対象物の色情報の２次元分布を取得できるカメラであればどのようなものであってもよく、色数やビット深度、画素数などは上述した一例に限定されない。光源４は、物体３を照明するための光源である。
　図１Ｂは、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１２などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１４が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置２が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１１を介して、ＨＤＤ１１２や各種記録メディアの読み書きを行う汎用ドライブ１１３が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１２や汎用ドライブ１１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１１４に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。
　＜画像処理装置１の機能構成＞
　図２Ａは、本実施形態における画像処理装置１の機能構成を示す図である。画像処理装置１は、画像データ取得部２０、形状データ生成部２１、光源データ生成部２２、反射特性データ保持部２３、色評価部２４、表示制御部２５を有する。
　画像データ取得部２０は、光源４によって照明された物体３を撮像することによって得られた撮像画像データを取得する。画像データ取得部２０は、ＨＤＤ１１２に予め保存されていた撮像画像データを、ＨＤＤ１１２から取得する。以下において、撮像画像データを得るための撮像の様子を図６を用いて説明する。図６における球体５は、光源データを生成するために配置された、表面が鏡面の球体である。光源データは、光源４から物体３への光の方向を表すデータである。また、マーカー６は、形状データを生成するために物体３に貼り付けられたマーカーである。形状データは、物体３の表面の形状を表すデータである。撮像は、物体３と、球体５と、マーカー６と、が撮像範囲に含まれるように行われる。形状データ生成部２１は、画像データ取得部２０が取得した撮像画像データに基づいて、物体３の三次元形状を表す形状データを生成する。光源データ生成部２２は、画像データ取得部２０が取得した撮像画像データに基づいて、光源４から物体３へ照射する光の方向を表す光源データを生成する。反射特性データ保持部２３は、色の評価において物体３の比較対象となる物体の反射特性を表す反射特性データを保持する。本実施形態における比較対象の物体は基準板である。色評価部２４は、撮像画像データと、形状データと、光源データと、反射特性データと、に基づいて、物体３の表面の色を評価する。表示制御部２５は、色評価部２４による色の評価結果をディスプレイ１１４に表示させる。
　＜画像処理装置１が実行する処理＞
　図３Ａは、画像処理装置１が実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。
　Ｓ３１において、画像データ取得部２０は、撮像装置２の撮像によって得られた撮像画像データを取得する。Ｓ３２において、形状データ生成部２１は、撮像画像データに基づいて、物体３の三次元形状を表す形状データを生成する。Ｓ３２における処理の詳細は後述する。
　Ｓ３３において、光源データ生成部２２は、光源４から物体３への光の方向を表す光源データを生成する。以下において、光源データを生成する処理を図７を用いて説明する。図７Ａは、撮像画像における鏡面の球体５に映る光源４の例である。図７Ｂは、光源４から物体３へ照射する光の方向を表す光源ベクトルを算出する処理を説明するための図である。円８１は、撮像画像における鏡面の球体５であり、物体３の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円８２は、物体３の表面に対して仰角方向のどの角度に光源が存在するかを示している。Ｓ３３において、光源データ生成部２２は、まず、撮像画像における球体５に対応する領域の中心の画素位置を算出する。具体的には、撮像画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の撮像画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から円又は楕円の輪郭を選択する。円又は楕円の輪郭が１つである場合は、その１つを球体５に対応する領域とし、エッジ位置上において所定の距離以上離れた３点の重心を、球体５に対応する領域の中心の画素位置とする。尚、重心の算出の方法は、エッジ位置上の少なくとも３点を用いればよく、より多くの点を用いることによって、より高精度に球体５に対応する領域の中心の画素位置を算出できる。円又は楕円の輪郭が複数ある場合は、輪郭内の平均輝度が最も高い輪郭を、球体５に対応する領域とする。次に、球体５に映り込んだ光源４の中心の画素位置を算出する。ここでは、撮像画像における球体５に対応する領域の中で、輝度が最も大きい画素を光源４の中心の画素位置とする。次に、光源データ生成部２２は、図７Ｂに示すｘｌ、ｙｌを算出する。ｘｌ、ｙｌはそれぞれ、球体５に対応する領域の中心の画素位置から、光源４の中心の画素位置までのｘ方向、ｙ方向の画素数である。次に、式（１）を用いて、ｚｌを算出する。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｒは撮像画像における球体５の半径である。半径ｒは、球体５に対応する領域の中心の画素位置から、球体５に対応する領域のエッジ位置までの画素数とする。ｘｌ、ｙｌ、ｚｌを算出後に、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）を各画素に記録した光源データを生成する。
　Ｓ３４において、色評価部２４は、撮像画像データと、形状データと、光源データと、反射特性データと、に基づいて、物体３の表面の色を評価する。Ｓ３４における処理の詳細は後述する。Ｓ３５において、表示制御部２５は、色評価部２４による色の評価結果をディスプレイ１１４に表示させる。Ｓ３５における処理の詳細は後述する。
　＜Ｓ３２における処理＞
　以下において、マーカー６を用いて物体３の三次元形状を算出する方法を説明する。図４Ａは、物体３の三次元形状を算出する方法を説明するための図である。図４Ａにおいて、物体３には、マーカー６が貼り付けられている。マーカー６には、印領域４１と、ＩＤコード領域４２と、評価領域４３と、が設けられている。印領域４１は白色の円領域であり、マーカー６に少なくとも３つ以上配置される。マーカー６は、所定の間隔で配置された複数の印領域４１から構成されるパターンを含む領域を有する。図４Ａにおいては、横方向に５個、縦方向に２個並ぶ計１０個の印領域４１が設けられている。評価領域４３は、マーカー６において切り抜かれた領域である。このため、マーカー６を物体３に貼り付けると物体３の表面が露出し、物体３の表面の色の評価を行うことができる。ＩＤコード領域４２は、識別情報をコード化した領域である。識別情報は、マーカー６を識別するための情報であり、製造されたマーカー６毎に割り振られた番号である。この識別番号により、複数のマーカー６が１つの撮像画像中に含まれていても、評価領域４３を区別して色を評価することが可能となる。ＩＤコード領域４２のパターンは、領域を８×８画素の計６４個のブロックに分割し、各ブロックを白と黒との２値で表現することによって、６４ビットの識別番号が表現可能なものを使用する。尚、マーカー６の背景の色は、印領域４１とのコントラストを大きくすることによって、撮像画像から印領域４１を抽出する処理を高精度に行うため、黒色が望ましい。本実施形態のＳ３２においては、マーカー６が貼り付けられた物体３を撮像することによって得られた撮像画像データを用いて物体３の三次元形状を算出する。
　図８Ａは、Ｓ３２における処理を示すフローチャートである。以下において、Ｓ３２における処理の流れを図８Ａを用いて説明する。
　Ｓ６１において、形状データ生成部２１は、画像データ取得部２０が取得した撮像画像データを読み込む。Ｓ６２において、形状データ生成部２１は、読み込んだ撮像画像データが表す撮像画像からＩＤコード領域４２に対応する領域を抽出し、抽出した領域からマーカー６の識別番号を読み取る。具体的には、撮像画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の撮像画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から四角形の輪郭を選択し、ＩＤコード領域４２が実際の形状と同じになるように輪郭を変形する。変形された輪郭の内部のパターンを、８×８画素のブロックに分割し、各ブロックの濃淡に基づいて識別番号を読み取る。
　Ｓ６３において、形状データ生成部２１は、識別番号に対応するマーカー６についての情報を有するメタデータを読み込む。図５は、メタデータの例を示す図である。図５（ａ）は、メタデータに記録される内容を示す図である。領域９０１は、印領域４１の中心点の紙面上における三次元座標値（Ｘ，Ｙ，Ｚ）が記録される領域であり、ＮＸ×ＮＹ行記録される。この座標値には、左上の印領域４１の中心点を原点とした場合の、原点との相対的な位置が記録される。領域９０２は、マーカー画像における各印領域４１の中心点の２次元座標値（ｕ，ｖ）が記録される領域である。２次元座標値（ｕ，ｖ）は、左上の印領域４１の中心点を原点とした場合の、マーカー画像の画素単位の２次元座標値がＮＸ×ＮＹ行記録される。領域９０３は、ポリゴン情報が記録される領域である。本実施形態におけるポリゴンは、図５（ｂ）に示すように、４つの印領域４１の中心点を頂点として有する矩形であり、ポリゴン情報は、矩形を構成する各頂点の情報である。具体的に、ポリゴン情報は、各行に、反時計回りに矩形の外周を回る順で４頂点分の、領域９０１の行の番号及び領域９０２の行番号が記録された情報である。
　Ｓ６４において、形状データ生成部２１は、撮像画像データに基づいて、各印領域４１の中心座標を算出する。ここでは、Ｓ６２と同様に輪郭抽出までの処理を行い、輪郭グループの中から円又は楕円となる輪郭の候補を挙げる。輪郭の候補として挙げられた円又は楕円の輪郭により囲まれる面積を算出し、算出した各輪郭の面積と予め設定された印領域４１の面積との差に応じて候補の順位づけを行う。順位１～１０の印領域４１の複数の輪郭を抽出し、各輪郭の中心座標値を算出する。また、各輪郭の中心座標値の相対的な位置関係が、領域９０２に記載されている座標値の相対的な位置関係と一致するように各輪郭の中心座標値をソートする。これにより、領域９０３で定義される矩形と、矩形に対応する印領域４１の中心座標と、の対応を容易にとることができる。
　Ｓ６５において、形状データ生成部２１は、各印領域４１の中心座標に基づいて、物体３の表面における法線ベクトルを算出し、算出した法線ベクトルを表す形状データを生成する。以下において、Ｓ６５における処理の詳細を説明する。図８Ｂは、Ｓ６５における処理を示すフローチャートである。
　Ｓ１１０１において、形状データ生成部２１は、メタデータから矩形の頂点の三次元座標値（Ｘ，Ｙ，Ｚ）を読み込む。具体的には、メタデータにおいて、領域９０３に示したポリゴン情報から一行を読み取り、ポリゴン情報が示す矩形の各頂点に対応する座標値を領域９０１から読み取る。
　Ｓ１１０２において、形状データ生成部２１は、Ｓ６４において算出した印領域４１の中心座標から、Ｓ１１０１において座標値を読み取った各頂点に対応する座標値を読み取る。印領域４１の中心座標の順は、Ｓ６４において、領域９０２に記録されている座標値の順と一致するようにソートされている。そのため、Ｓ１１０２においては、Ｓ１１０１と同様に領域９０３に記録されている頂点の番号に対応する中心座標を抽出すればよい。
　Ｓ１１０３において、形状データ生成部２１は、式（２）において示す係数ｒ１１～ｒ３３からなる回転行列Ｒと、係数ｔ１～ｔ３からなる並進ベクトルｔと、を推定する。この処理により、矩形の平面に対する撮像装置２の位置及び姿勢を算出することができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆｘ、ｆｙは、撮像装置２の位置を原点とする三次元空間における、ｘ方向及びｙ方向の撮像装置２の焦点距離である。ｃｘ、ｃｚは、ｘ方向及びｚ方向の撮像装置２の主点位置である。ｆｘ、ｆｙ、ｃｘ、ｃｚは、予め決められた値としてＨＤＤ１１２において保持されている。また、式（２）における座標（ｕ，ｖ）は、Ｓ１１０２において読み取った撮像画像における印領域４１の中心座標である。式（２）における座標（Ｘ，Ｙ，Ｚ）は、座標（ｕ，ｖ）に対応する、Ｓ１１０１において読み取ったメタデータに記録されている三次元座標値である。ｓはスケーリングファクタであり、式（２）の右辺の計算によって得られる三次元ベクトルの３行目の要素が１となるように、その逆数をとった値である。Ｓ１１０３において、形状データ生成部２１は、矩形の４つの頂点における座標（ｕ，ｖ）と座標（Ｘ，Ｙ，Ｚ）との対応に基づいて、回転行列と並進ベクトルとを推定する。この推定方法は、３点以上の座標（ｕ，ｖ）と、座標（ｕ，ｖ）に対応する座標（Ｘ，Ｙ，Ｚ）と、を用いて回転行列及び並進ベクトルを推定する方法である。
　Ｓ１１０４において、形状データ生成部２１は、撮像装置２の位置を原点とする矩形の各頂点の三次元座標（ｘ，ｙ，ｚ）と、各頂点を含む平面に対する法線ベクトルと、を算出する。まず、式（３）において、各頂点の三次元座標（ｘ，ｙ，ｚ）を算出する。
Figure JPOXMLDOC01-appb-M000003
　ここで、ＲはＳ１１０３において算出した回転行列であり、ｔはＳ１１０３において算出した並進ベクトルである。座標（Ｘ，Ｙ，Ｚ）は、Ｓ１１０１において読み取ったメタデータにおける各頂点の三次元座標値である。次に、形状データ生成部２１は、矩形における１つの頂点の座標（ｘ，ｙ，ｚ）を原点として他の２つの頂点の座標（ｘ，ｙ，ｚ）のベクトルを算出する。算出した２つのベクトルの外積ベクトルが示す方向の単位ベクトルを、矩形の表面に対する法線ベクトルとして算出する。尚、各頂点の座標（Ｘ，Ｙ，Ｚ）のＺ値が同じ場合は、回転行列Ｒの３列目のｒ１３、ｒ２３、ｒ３３を成分とする単位ベクトルを法線ベクトルとしてもよい。
　形状データ生成部２１は、上述したＳ１１０１～Ｓ１１０４の処理を全ての矩形領域に対して行い、撮像装置２の位置を原点とする各矩形の頂点の三次元座標（ｘ，ｙ，ｚ）を取得する。得られた座標は、物体３が曲面であっても、各矩形が平面とみなせる間隔で配置されている場合であれば、物体３の三次元座標値であるとみなすことができる。
　Ｓ１１０５において、形状データ生成部２１は、印領域４１の中心の三次元座標（ｘ，ｙ，ｚ）を決定する。Ｓ１１０１～Ｓ１１０４の処理において算出した各矩形の頂点は、図５（ｂ）に示したように重複している。そこで、Ｓ１１０５において、形状データ生成部２１は、重複した頂点の座標（ｘ，ｙ，ｚ）を再計算する。具体的には、まず、各矩形において、隣接する矩形と重複する頂点を含み、矩形の法線ベクトルを法線とする平面を算出する。次に、重複していない頂点の座標と原点とを通る直線を算出し、直線と平面との交点を新たな重複しない頂点の座標とする。このように座標値を再計算することによって、各矩形の法線ベクトルを維持することが可能となる。尚、重複する頂点の座標（ｘ，ｙ，ｚ）の平均値を、対応する印領域４１の中心の三次元座標値としてもよい。
　Ｓ１１０６において、形状データ生成部２１は、矩形毎に算出した法線ベクトルを、格画素に記録した形状データを生成する。ここでは、矩形内は全て同じ法線ベクトルであるとして、各画素に法線ベクトル（ｘｎ、ｙｎ、ｚｎ）を記録する。尚、本実施形態における色の評価は評価領域４３に対して行われるため、形状データが表す法線ベクトルは、評価領域４３に対応する画素にのみ記録されていればよい。
　＜Ｓ３４における処理＞
　図９は、Ｓ３４における処理を示すフローチャートである。以下において、Ｓ３４における処理の流れを図９を用いて説明する。
　Ｓ２４１において、色評価部２４は、撮像画像の各画素に記録された色情報（ＲＧＢ値）をＸＹＺ値に変換する。ＲＧＢ値からＸＹＺ値への変換は、公知の方法を用いて行う。Ｓ２４２において、色評価部２４は、形状データ生成部２１が生成した形状データを取得する。Ｓ２４３において、色評価部２４は、光源データ生成部２２が生成した光源データを取得する。
　Ｓ２４４において、色評価部２４は、反射特性データ保持部２３から、反射特性データを取得する。以下において、反射特性データ保持部２３が保持する反射特性データについて説明する。図１０Ａ及び図１０Ｂは、反射特性データを生成する方法を説明するための図である。図１０Ａにおいて、基準板９１は色の評価において物体３の比較対象となる平面状の板である。反射特性データは、基準板９１を撮像することによって得られる、撮像条件と基準板９１の色情報との対応関係を保持するルックアップテーブルである。撮像の方法を図１０Ｂを用いて説明する。図１０Ｂに示すように、光源４の位置を固定して、撮像装置２を基準板９１に対して方位角０°から３５０°まで１０°ずつ移動させ、移動させる度に撮像を行う。この撮像を基準板９１に対して仰角０°から９０°まで１０°毎に行う。次に、撮像装置２を移動させる度に行う撮像を、光源４を基準板９１に対して方位角０°から３５０°まで１０°ずつ移動させて行う。さらに、この撮像を、光源４を基準板９１に対して仰角０°から９０°まで１０°ずつ移動させる度に行う。尚、撮像装置２の位置と光源４の位置とが重複する場合は、撮像は行わない。また、仰角９０°の位置においては方位角を変えられないため、方位角方向の移動は行わない。基準板９１はどの領域も同じ色であるとして、撮像して得られた撮像画像の任意の画素に記録された色情報（ＲＧＢ値）を各撮像条件における基準板９１の色情報とする。図１０Ｃは、各撮像条件における色情報（ＲＧＢ値）が記録された反射特性データである。ここで撮像条件は、光源４の位置の方位角及び仰角と、撮像装置２の位置の方位角及び仰角と、によって決まる。尚、撮像装置２及び光源４を移動させる角度は１０°ずつである必要はなく、１°毎にしてもよい。また、光源４から基準板９１への光の正反射方向付近は反射強度が大きく変化するため、正反射方向付近においては１°毎の移動とし、正反射方向から離れるにつれて移動させる角度を大きくしてもよい。
　Ｓ２４５において、色評価部２４は、撮像画像の評価領域４３に対応する領域の色情報と比較するための、基準板の色情報を反射特性データから取得する。まず、図１１Ａに示すように、撮像画像における評価領域４３に対応する領域内の画素の法線ベクトル（ｘｎ、ｙｎ、ｚｎ）、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）、撮像装置２から物体３への方向を表すベクトル（ｘｃ、ｙｃ、ｚｃ）を取得する。以下、撮像装置２から物体３への方向を表すベクトルを撮像方向ベクトルと呼ぶ。法線ベクトル（ｘｎ、ｙｎ、ｚｎ）は形状データから取得し、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）は光源データから取得する。撮像方向ベクトルは、撮像装置２が撮像する面に対して正対しているため、（０，０，－１）となる。次に、図１１Ｂに示すように、法線ベクトルが真上を向く状態に回転させる回転行列を算出し、光源ベクトル、撮像方向ベクトルを算出した回転行列で回転する。回転後の光源ベクトルを（ｘｌ’，ｙｌ’，ｚｌ’）とし、回転後の撮像方向ベクトルを（ｘｃ’，ｙｃ’，ｚｃ’）とする。法線ベクトルが真上を向く状態に回転させるのは、反射特性データを生成する際に、基準板の表面の法線が真上を向いた状態において撮像を行っているためである。尚、法線ベクトルが真上を向く状態は、法線ベクトル（ｘｎ、ｙｎ、ｚｎ）が（０，０，√（ｘｎ２＋ｙｎ２＋ｚｎ２））となる状態である。（ｘｌ’，ｙｌ’，ｚｌ’）と、（ｘｃ’，ｙｃ’，ｚｃ’）と、がそれぞれ表す光源の方向と、撮像の方向と、に最も近い撮像条件における撮像によって得られた基準板９１の色情報を、反射特性データから取得する。尚、基準板の色情報は、近い撮像条件の色情報を反射特性データから４つ抽出して補間処理によって算出してもよい。さらに、基準板の色情報（ＲＧＢ値）を、Ｓ２４１における方法と同じ方法によって、ＸＹＺ値に変換する。
　Ｓ２４６において、色評価部２４は、撮像画像における評価領域４３に対応する領域の各画素の色情報と、その色情報に対応する基準板の色情報と、に基づいて、色の評価値を算出する。具体的には、まず、式（４）～式（８）を用いて、ＸＹＺ値をＬ＊ａ＊ｂ＊値を変換する。撮像画像の色情報を（Ｘｃ、Ｙｃ、Ｚｃ）とし、基準板の色情報を（Ｘｂ、Ｙｂ、Ｚｂ）とし、基準白色のＸＹＺ値を（Ｘｗ、Ｙｗ、Ｚｗ）とする。基準白色のＸＹＺ値には、予め設定されている値を用いる。式（４）～式（８）を用いて、（Ｘｃ、Ｙｃ、Ｚｃ）、（Ｘｂ、Ｙｂ、Ｚｂ）をそれぞれ（Ｘ，Ｙ，Ｚ）に代入した場合の、（Ｌ＊ｃ、ａ＊ｃ、ｂ＊ｃ）、（Ｌ＊ｂ、ａ＊ｂ、ｂ＊ｂ）をそれぞれ求める。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　算出した（Ｌ＊ｃ、ａ＊ｃ、ｂ＊ｃ）、（Ｌ＊ｂ、ａ＊ｂ、ｂ＊ｂ）を用いて、色差ΔＥ、明度差ΔＬ＊、Δａ＊、Δｂ＊、彩度差ΔＣのいずれかを評価値として算出する。評価値の算出は、以下の式（９）を用いる。本実施形態においては、色差ΔＥを評価値とするように予め設定されているものとする。
Figure JPOXMLDOC01-appb-M000006
　尚、上述した色差ΔＥ、明度差ΔＬ＊、Δａ＊、Δｂ＊、彩度差ΔＣを複数組み合わせた値を評価値としてもよい。また、ディスプレイ１１４に評価値の候補を表示させて、評価値をユーザに選択させてもよい。
　＜Ｓ３５における処理＞
　Ｓ３５において、表示制御部２５は、色評価部２４による色の評価結果をディスプレイ１１４に表示させる。図１２に、評価結果の表示例を示す。図１２において、画面２５１は評価領域４３に対する評価結果を表示する画面であり、評価値スケール２５２は評価値のスケールを表す。最大値２５３は評価値スケールの最大値である。表示２５４は、評価領域４３内の各画素における評価値が全て所定の閾値以下であり、検査が合格（ＯＫ）である場合の表示である。表示２５５は、評価領域４３内の各画素における評価値が１つでも所定の閾値より大きく、検査が不合格（ＮＧ）である場合の表示である。尚、画面２５１における表示の際、評価値が０の場合に評価値スケール２５２の１番下の色、評価値が評価値スケールの最大値２５３以上の場合に評価値スケール２５２の１番上の色になるように表示する。０以上、かつ、評価値スケール２５２の最大値以下の場合には線形補間で算出された中間の色を表示する。尚、所定の画素数よりも、評価値が所定の閾値より大きい画素の数が少なければ、検査合格（ＯＫ）であると判定してもよい。
　＜第１実施形態の効果＞
　以上説明したように、本実施形態における画像処理装置は、光源によって光が照射された第１物体を撮像して得られた、第１物体の色情報を取得する。第１物体を撮像する際の、第１物体を撮像する方向と、第１物体に対して光源が光を照射する方向と、第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する。第１物体の色情報と第２物体の色情報とに応じた情報を出力する。これにより、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
　＜変形例＞
　本実施形態においては、物体３にマーカー６を直接貼り付けていたが、プロジェクタなど投影装置を用いてマーカー画像を物体３に投影する形態であってもよい。図４Ｂに、プロジェクタ８を用いてマーカー画像を物体３に投影する様子を示す。物体３の形状を算出する処理は、Ｓ３２と同様である。
　また、本実施形態のＳ２４４において取得される反射特性データは、図１０Ｂに示すように、基準板９１を固定し、撮像装置２及び光源４を移動させながら撮像を行うことにより生成されるが、反射特性データの生成方法は上記一例に限定されない。例えば、図２３Ａに示すように、撮像装置２及び光源４を固定し、基準板９１を回転させながら撮像を行うことにより反射特性データを生成してもよい。この場合、物体３を撮像する際の撮像条件と同じ撮像条件となるように撮像装置２及び光源４を固定し、基準板９１を回転させながら撮像を行う。具体的には、基準板９１の法線方向の方位角を固定し、基準板９１の法線方向を仰角０°から仰角１８０°まで１０°ずつ変化させ、法線方向を変化させる度に撮像を行う。この撮像を基準板９１の法線方向の方位角０°から３６０°まで１０°毎に行う。図２３Ｂは、基準板９１の各法線方向に対応する色情報（ＲＧＢ値）が記録された反射特性データである。この反射特性データの生成方法においては、撮像装置２及び光源４を移動させながらの撮像よりも少ない撮像の回数で反射特性データを生成することができる。また、基準板９１の色情報を反射特性データから取得する際に、光源ベクトルと撮像方向ベクトルとを用いる必要がなく、法線ベクトルを回転させる処理を行う必要がない。ここでは一例として、撮像装置２及び光源４を固定した例を説明したが、撮像装置２のみ固定してもよいし、光源４のみ固定してもよい。また、撮像装置２、光源４、基準板９１の３つ全てを固定しなくてもよい。
　また、本実施形態のＳ３３において、光源データ生成部２２は、物体３と、球体５と、マーカー６と、が撮像範囲に含まれるように撮像して得られた撮像画像を基に、撮像画像における球体５に対応する領域を算出した。撮像画像における球体５に対応する領域を決定する方法は上記一例に限定されない。例えば、ＵＩを用いてユーザから、撮像画像における球体５に対応する領域の指定を受け付けてもよい。図２４に、撮像画像における球体５に対応する領域をユーザに指定させるためのＵＩの一例を示す。撮像画像２４０１をディスプレイ１１４に表示し、入力デバイス１１０を用いたユーザからの指示に応じてカーソル２４０２を移動させる。ユーザからの領域を決定する指示に基づいて、カーソル２４０２が示す領域を撮像画像２４０１における球体５に対応する領域として決定する。この決定方法により、撮像画像において、誤った領域を球体５に対応する領域として決定することを抑制することができる。
　また、本実施形態のＳ３５において表示する色の評価結果の表示方法の一例として図１２を示したが、図２５に示す表示方法であってもよい。図２５に示す画像は、画像の画素毎に検査合格（ＯＫ）であるか、又は、検査不合格（ＮＧ）であるかの判定を行った結果を各画素に保持する２値画像である。ここでは、白く表示された領域２５０１は検査合格（ＯＫ）の画素から成り、黒く表示された領域２５０２は検査不合格（ＮＧ）の画素から成る。評価領域４３において、評価値が所定の閾値以下の画素は検査合格（ＯＫ）と判定され、評価値が所定の閾値より大きい画素は検査不合格（ＮＧ）と判定される。
　また、本実施形態においては、評価領域４３毎に検査合格（ＯＫ）であるか、又は、検査不合格（ＮＧ）であるかの判定を行っていたが、自動車のような複数の部品から構成される工業製品の色を検査する場合には、部品毎に判定を行ってもよい。図２６に、Ｓ３５において表示する色の評価結果の表示方法の一例を示す。図２６における自動車は、フロントフェンダー２６０１、リアフェンダー２６０２、フロントバンパー２６０３、フロントドア２６０４、リアドア２６０５、リアバンパー２６０６、フロントタイヤ２６０７、リアタイヤ２６０８、ミラー２６０９から構成される。この場合、部品毎に評価値が算出され、評価値が所定の閾値以下であるか否かが判定される。部品毎の評価値は、例えば、部品に対応する領域に含まれる各画素の評価値の平均値や中央値などである。図２６のように、検査ＯＫである場合は、部品全体を白く表示し、検査不合格（ＮＧ）である場合は、部品全体を黒く表示する。図２６の例においては、フロントドア２６０４、リアバンパー２６０６、ミラー２６０９が検査不合格（ＮＧ）と判定され、黒く表示されており、それ以外の部品は検査合格（ＯＫ）と判定され、白く表示されている。また、図２６の例においては、フロントタイヤ２６０７及びリアタイヤ２６０８を検査の対象から外しているが、ユーザからの指定により、検査の対象を選択するようにしてもよい。また、検査不合格（ＮＧ）の部品を含む自動車などの工業製品は、塗装による色のムラなどが生じているため、部品毎に塗装の方法などの情報をユーザに提供するようにしてもよい。尚、工業製品の一例として自動車を説明したが、複数の立体物を組み合わせて形成される物体であれば、カメラやプリンタなど他の工業製品であってもよい。
　また、本実施形態においては、撮像画像の色情報と基準板の色情報と用いて色の評価値を算出し、算出した評価値に応じた出力を行ったが、撮像画像の色情報と基準板の色情報とに応じた情報を出力できれば、情報の出力方法は上記一例に限定されない。例えば、撮像画像の色情報と基準板の色情報とを対応関係がわかるように表示してもよい。
　［第２実施形態］
　第１実施形態においては、撮像画像データに基づいて光源データを生成していたが、予め生成しておいた光源データを取得してもよい。本実施形態においては、予め生成しておいた光源データを取得し、取得した光源データを色の評価に用いる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
　＜画像処理装置１の機能構成＞
　図２Ｂは、本実施形態における画像処理装置１の機能構成を示す図である。画像処理装置１は、画像データ取得部２０、形状データ生成部２１、反射特性データ保持部２３、色評価部２４、表示制御部２５、光源データ保持部２６を有する。光源データ保持部２６は、予め生成された光源データを保持する。
　＜画像処理装置１が実行する処理＞
　図３Ｂは、画像処理装置１が実行する処理を示すフローチャートである。尚、Ｓ３１、Ｓ３２、Ｓ３５における処理は、第１実施形態のＳ３１、Ｓ３２、Ｓ３５における処理と同じであるため説明を省略する。本実施形態においては、Ｓ３４におけるＳ２４３の処理が第１実施形態と異なるため、Ｓ２４３を説明する。Ｓ２４３において、色評価部２４は、光源データ保持部２６から光源データを取得する。以下において、光源データを予め生成しておく方法を図１３を用いて説明する。図１３Ａにおける天井７１は撮像を行う環境における天井である。撮像装置２及び光源４は、撮像装置２による撮像の際の位置と同じ位置に配置されている。撮像装置７は魚眼レンズを備えた撮像装置である。撮像装置７は、撮像装置２における撮像の際に物体３が配置される位置に上向きに配置され、撮像を行う。図１３Ｂは、図１３Ａの条件において撮像を行うことによって得られる画像を示している。光源ベクトルの算出方法を図７Ｃを用いて説明する。円８３は、撮像画像における鏡面の球体５であり、物体３の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円８４は、物体３の表面に対して仰角方向のどの角度に光源が存在するかを示している。撮像装置７が備える魚眼レンズは、等距離射影方式であるため、ｘ、ｙ方向は円８３の中心からの位置がそのまま半円８４に投影され、ｚ方向は円８３の同心円状に半円８４の同一角度に射影される。そのため、図７Ｃの例の場合は、円８３の９個ある同心円の外側から２番目の同心円上に光源４があるため、光源４はｚ方向において２０°の位置に存在する。尚、本実施形態におけるｚｌの算出は、式（１）ではなく式（１０）を用いて行う。
Figure JPOXMLDOC01-appb-M000007
　＜第２実施形態の効果＞
　以上説明したように、本実施形態における画像処理装置は、予め生成しておいた光源データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
　［第３実施形態］
　第１実施形態においては、撮像画像データに基づいて形状データを生成していたが、ＣＡＤデータに基づいて形状データを生成してもよい。本実施形態においては、物体３の概略形状を表すＣＡＤデータを取得し、ＣＡＤデータに基づいて生成した形状データを色の評価に用いる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
　＜画像処理装置１の機能構成＞
　図１４は、本実施形態における画像処理装置１の機能構成を示す図である。画像処理装置１は、画像データ取得部２０、形状データ生成部２１、光源データ生成部２２、反射特性データ保持部２３、色評価部２４、表示制御部２５、ＣＡＤデータ保持部２７、パターンマッチング部２８を有する。ＣＡＤデータ保持部２７は、物体３の概略形状を表すＣＡＤデータを保持する。パターンマッチング部２８は、撮像画像データとＣＡＤデータとに基づいて、パターンマッチングを行い、形状データを生成する。
　＜画像処理装置１が実行する処理＞
　図１５は、画像処理装置１が実行する処理を示すフローチャートである。尚、Ｓ３１、Ｓ３３、Ｓ３４、Ｓ３５における処理は、第１実施形態のＳ３１、Ｓ３３、Ｓ３４、Ｓ３５における処理と同じであるため説明を省略する。
　Ｓ３８において、パターンマッチング部２８は、ＣＡＤデータ保持部２７からＣＡＤデータを取得する。図１６に、ＣＡＤデータの例を示す。ＣＡＤデータにおいて物体３は複数のポリゴンから構成され、ＣＡＤデータにはポリゴンの各頂点の三次元座標が記録されている。Ｓ３９において、パターンマッチング部２８は、撮像画像データと、ＣＡＤデータと、に基づいて、パターンマッチングを行い、形状データを生成する。具体的には、まず、ＣＡＤデータに基づいて、物体３を仮想の位置及び姿勢で撮像した画像をシミュレーションする。撮像画像データが表す撮像画像とシミュレーションにより得られた画像との特徴量が一致するか否かを判定する処理を、物体３の位置及び姿勢を変えながら繰り返し行う。特徴量が一致する位置及び姿勢のシミュレーション結果に基づいて、物体３の三次元座標と撮像画像の各画素との対応関係を算出する。算出された対応関係に基づいて、撮像画像の各画素に対応する法線ベクトルを算出し、各画素に法線ベクトルが記録された形状データを生成する。法線ベクトルは、ポリゴンの法線を頂点の三次元座標から算出することによって得られる。
　＜第３実施形態の効果＞
　以上説明したように、本実施形態における画像処理装置は、ＣＡＤデータに基づいて生成した形状データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
　［第４実施形態］
　第１実施形態においては、基準板の反射特性をＲＧＢ値で取得したが、分光反射率で取得してもよい。分光反射率で基準板の反射特性を測定することによって、反射特性を測定する際の光源と物体を撮像する際の光源が異なっていても、高精度に物体の色の評価を行うことが可能となる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
　＜反射特性データ＞
　本実施形態における反射特性データ保持部２３は、基準板を分光反射輝度計を用いて測定して得られた分光反射率を表す反射特性データを保持する。図１８を用いて基準板の分光反射率を測定する方法を説明する。図１８Ａに、基準板９１、光源４、分光放射輝度計１０を示す。図１０Ｂと同様に、基準板９１に対し光源４と分光放射輝度計１０を１０°毎に動かし、それぞれの幾何条件における分光放射輝度Ｐ（λ）を測定する。次に、図１８Ｂに示すように、基準板９１に対し光源４と分光放射輝度計１０をほぼ垂直方向に配置し、分光放射輝度ＰＷ（λ）を測定する。そして、以下の式（１１）に従って各角度における分光反射率ρ（λ）を算出する。
Figure JPOXMLDOC01-appb-M000008
　算出した分光反射率を表す反射特性データを反射特性データ保持部２３に保存する。
　図１９に反射特性データ保持部２３が保持する反射特性データの例を示す。図１９に示すように、反射特性データは、方位角、仰角それぞれ１０°毎に、波長λ＝３８０ｎｍ～７３０ｎｍまで１０ｎｍ毎の分光反射率を保持する。
　＜画像処理装置１が実行する処理＞
　図１７Ａは、画像処理装置１が実行する処理を示すフローチャートである。尚、Ｓ３１、Ｓ３２、Ｓ３３、Ｓ３５における処理は、第１実施形態のＳ３１、Ｓ３２、Ｓ３３、Ｓ３５における処理と同じであるため説明を省略する。
　Ｓ３９において、色評価部２４は、撮像画像データと、形状データと、光源データと、反射特性データと、に基づいて、物体３の表面の色を評価する。図１７Ｂを用いてＳ３９における処理の詳細を説明する。尚、Ｓ２４１、Ｓ２４２、Ｓ２４３、Ｓ２４６における処理は、第１実施形態のＳ２４１、Ｓ２４２、Ｓ２４３、Ｓ２４６における処理と同じであるため説明を省略する。
　Ｓ２９１において、色評価部２４は、反射特性データ保持部２３から反射特性データを取得する。この反射特性データは、上述したように、基準板９１の分光反射率を測定することによって得られたデータである。Ｓ２９２において、色評価部２４は、撮像画像の評価領域４３に対応する領域の色情報と比較するための、基準板の色情報（分光反射率）を反射特性データから取得する。まず、図１１Ａに示すように、撮像画像における評価領域４３に対応する領域内の画素の法線ベクトル（ｘｎ、ｙｎ、ｚｎ）、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）、撮像装置２から物体３への方向を表すベクトル（ｘｃ、ｙｃ、ｚｃ）を取得する。以下、撮像装置２から物体３への方向を表すベクトルを撮像方向ベクトルと呼ぶ。法線ベクトル（ｘｎ、ｙｎ、ｚｎ）は形状データから取得し、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）は光源データから取得する。撮像方向ベクトルは、撮像装置２が撮像する面に対して正対しているため、（０，０，－１）となる。次に、図１１Ｂに示すように、法線ベクトルが真上を向く状態に回転させる回転行列を算出し、光源ベクトル、撮像方向ベクトルを算出した回転行列で回転する。回転後の光源ベクトルを（ｘｌ’，ｙｌ’，ｚｌ’）とし、回転後の撮像方向ベクトルを（ｘｃ’，ｙｃ’，ｚｃ’）とする。法線ベクトルが真上を向く状態に回転させるのは、反射特性データを生成する際に、基準板の表面の法線が真上を向いた状態において撮像を行っているためである。尚、法線ベクトルが真上を向く状態は、法線ベクトル（ｘｎ、ｙｎ、ｚｎ）が（０，０，√（ｘｎ２＋ｙｎ２＋ｚｎ２））となる状態である。（ｘｌ’，ｙｌ’，ｚｌ’）と、（ｘｃ’，ｙｃ’，ｚｃ’）と、がそれぞれ表す光源の方向と、撮像の方向と、に最も近い撮像条件における撮像によって得られた基準板９１の分光反射率を、反射特性データから取得する。尚、基準板の分光反射率は、近い撮像条件の色情報を反射特性データから４つ抽出して補間処理によって算出してもよい。取得した分光反射率を用いて、式（１２）に従って、ＸＹＺ値を算出する。尚、光源４の分光放射輝度Ｐｌ（λ）と、等色関数（ｘｅ（λ），ｙｅ（λ），ｚｅ（λ），）と、は予め設定されている。
Figure JPOXMLDOC01-appb-M000009
　＜第４実施形態の効果＞
　以上説明したように、本実施形態における画像処理装置は、基準板の分光反射率を表す反射特性データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。また、分光反射率を反射特性として用いることによって、反射特性を測定する際の光源と物体を撮像する際の光源が異なっていても、高精度に物体の色の評価を行うことが可能となる。
　［第５実施形態］
　第１実施形態においては、撮像画像データに基づいて光源データを生成していたが、ユーザによって指定された光源の位置に基づいて光源データを生成してもよい。本実施形態においては、ユーザの指示に基づいて光源データを取得し、取得した光源データを色の評価に用いる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
　＜Ｓ３３における処理＞
　Ｓ３３において、光源データ生成部２２は、ユーザからの指示に基づいて、光源データを生成する。図２０を用いてＳ３３における処理の詳細を説明する。
　Ｓ３８０１において、光源データ生成部２２は、撮像画像データを取得する。また、図２１に示すＵＩをディスプレイに表示させる。領域３９０１には、撮像画像データが表す撮像画像が表示される。
　Ｓ３８０２において、光源データ生成部２２は、領域３９０１に表示された撮像画像において、光源位置を指定する際の基準となる物体３上の画素を基準点３９０３として設定する。基準点３９０３は法線ベクトルを算出可能な画素であれば任意に決定できる。本実施形態においては、評価領域４３の中心に対応する画素とする。
　Ｓ３８０３において、光源データ生成部２２は、Ｓ３２において生成した形状データを参照して、基準点３９０３として設定された画素の法線ベクトルを取得する。
　Ｓ３８０４において、光源データ生成部２２は、Ｓ３８０２において設定した基準点３９０３について、Ｓ３８０３において取得した法線ベクトル３９０４を基準として光源位置を設定する。図２１に示すＵＩにおける領域３９０２に、基準点３９０３及び法線ベクトル３９０４、光源３９０５が３Ｄ表示されている。このＵＩが表示されている状態において、ユーザは、入力デバイス１１０を用いて光源３９０５を指定して領域３９０２内をドラッグすることにより、光源位置を指定することができる。つまり、Ｓ３８０４において、光源データ生成部２２は、ユーザから光源位置を指定する情報を受け取り、指定された光源位置に基づいて光源データを生成する。ユーザによって指定された光源位置の仰角は領域３９０６、方位角は領域３９０７、距離は領域３９０８にそれぞれ表示される。ここで、方位角の指定範囲は－１８０°～１８０°、仰角の指定範囲は０°～１８０°である。尚、距離の指定範囲は特に制限はないが、物体３の撮像時に照明が影になったり、遠すぎて光量が不足したりしない範囲で設定すればよい。また、より詳細に光源位置を設定するために、領域３９０６、領域３９０７、領域３９０８においてユーザに直接数値を入力させるようにしてもよい。また、基準点３９０３に対する光源位置の候補がいくつか決まっている場合は、候補の中からユーザに選択させるようにしてもよい。
　＜第５実施形態の効果＞
　以上説明したように、本実施形態における画像処理装置は、ユーザによって指定された光源位置に基づいて生成された光源データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
　＜変形例＞
　物体３の大きさに対して光源４が十分に遠方にあり、光源４が撮像画像内の物体３に対応する領域と同じ方向にあるとみなせる場合は、領域３９０８における距離の表示及び入力を行わなくてもよい。この場合は、図２２に示すＵＩの領域４００２において、光源４００５を移動させて、光源位置を設定することができる。仰角は領域４００６、方位角は領域４００７に表示される。さらに、物体３に異方性を有さない場合などに指定する光源位置は垂直方向だけでもよい。
　また、光源の位置情報だけでなく、分光放射輝度などの色情報を入力して、第４実施形態と組み合わせることも可能である。例えば、図２２の領域４００９のように、波長に対する放射輝度のデータを入力すればよい。
　［その他の実施形態］
　上述した実施形態における反射特性データは、反射特性として、各撮像条件における色情報を有していたが、反射特性を表す情報は上記一例に限定されない。例えば、反射特性を表す情報は、ＢＲＤＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ　Ｒｅｆｌｅｃｔａｎｃｅ　Ｄｉｓｔｒｉｂｕｔｉｏｎ　Ｆｕｎｃｔｉｏｎ）のパラメータであってもよい。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１８年３月３０日提出の日本国特許出願特願２０１８－０６６９２６と２０１８年１２月７日提出の日本国特許出願特願２０１８－２３０３１６を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (23)

  1. 　光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得手段と、
    　前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得手段と、
    　前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力手段と、を有することを特徴とする画像処理装置。
  2. 　前記出力手段は、前記第１物体の色情報と前記第２物体の色情報とに基づいて、前記第１物体の色の評価に関する情報を出力することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記出力手段は、前記第１物体の色情報と前記第２物体の色情報とに基づいて、前記第１物体の色の評価値を出力することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記出力手段は、前記色の評価値として、前記第１物体の色情報が表す色と、前記第２物体の色情報が表す色と、の色差を出力することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記第２取得手段は、前記条件と前記第２物体の色情報との対応関係を保持するテーブルを用いて、前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
  6. 　前記テーブルは、前記第２物体を複数の条件において撮像することによって得られたテーブルであることを特徴とする請求項５に記載の画像処理装置。
  7. 　前記第１物体の形状を表す形状データを取得する第３取得手段をさらに有し、
    　前記第２取得手段は、前記形状データに基づいて、前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
  8. 　前記形状データは、前記第１物体の法線の方向を表すデータであることを特徴とする請求項７に記載の画像処理装置。
  9. 　前記光源に関する光源データを取得する第４取得手段をさらに有し、
    　前記第２取得手段は、前記光源データに基づいて、前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。
  10. 　前記光源データは、前記第１物体に対して前記光源が光を照射する方向を表すデータであることを特徴とする請求項９に記載の画像処理装置。
  11. 　前記第１取得手段は、前記第１物体を撮像して得られた画像データが表す画像における対象の領域の色情報を取得し、
    　前記出力手段は、前記対象の領域に関する、前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
  12. 　前記第１物体を撮像して得られた画像データに基づいて、前記形状データを生成する第１生成手段をさらに有し、
    　前記第３取得手段は、前記生成された形状データを取得することを特徴とする請求項７に記載の画像処理装置。
  13. 　前記形状データは、ＣＡＤデータに基づいて生成されたデータであることを特徴とする請求項７に記載の画像処理装置。
  14. 　前記第１物体を撮像して得られた画像データに基づいて、前記光源データを生成する第２生成手段をさらに有し、
    　前記第４取得手段は、前記生成された光源データを取得することを特徴とする請求項９に記載の画像処理装置。
  15. 　前記光源データは、ユーザによって指定された前記光源の位置に基づいて生成されたデータであることを特徴とする請求項９に記載の画像処理装置。
  16. 　前記第２取得手段は、前記第１物体の色情報を得るための撮像の条件と同じ条件において前記第２物体を撮像することによって得られた前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項１５のいずれか一項に記載の画像処理装置。
  17. 　前記第２取得手段は、前記第２物体の色情報として、前記第２物体の分光反射率を取得することを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
  18. 　前記第２取得手段は、前記第２物体の色情報として、前記第２物体の反射特性のパラメータを取得することを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
  19. 　前記出力手段は、前記第１物体の色情報と前記第２物体の色情報とに応じた情報として、前記第１物体の色の評価結果を表示手段に表示することを特徴とする請求項１乃至請求項１８のいずれか一項に記載の画像処理装置。
  20. 　第１物体と第２物体とを同じ撮像条件において撮像して得られる各色情報と、基準の物体の色情報と比較することにより、前記第１物体の色と前記第２物体の色とを評価する評価手段と、
    　前記評価手段による評価の結果に応じた情報をユーザに提供する提供手段と、を有し、前記第１物体と前記第２物体とは立体物であり、前記第１物体と前記第２物体とを部品として組み合わせることにより１つの工業製品になることを特徴とする画像処理装置。
  21. 　コンピュータを請求項１乃至請求項２０のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
  22. 　光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得ステップと、
    　前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得ステップと、
    　前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力ステップと、
    　を有することを特徴とする画像処理方法。
  23. 　第１物体と第２物体とを同じ撮像条件において撮像して得られる各色情報と、基準の物体の色情報と比較することにより、前記第１物体の色と前記第２物体の色とを評価する評価ステップと、
    　前記評価手段による評価の結果に応じた情報をユーザに提供する提供ステップと、を有し、
    　前記第１物体と前記第２物体とは立体物であり、前記第１物体と前記第２物体とを部品として組み合わせることにより１つの工業製品になることを特徴とする画像処理方法。
PCT/JP2019/010439 2018-03-30 2019-03-14 画像処理装置、画像処理方法及びプログラム WO2019188315A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/024,333 US11769274B2 (en) 2018-03-30 2020-09-17 Image processing apparatus, method and storage medium, for object color evaluation

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018066926 2018-03-30
JP2018-066926 2018-03-30
JP2018230316A JP2019185730A (ja) 2018-03-30 2018-12-07 画像処理装置、画像処理方法及びプログラム
JP2018-230316 2018-12-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/024,333 Continuation US11769274B2 (en) 2018-03-30 2020-09-17 Image processing apparatus, method and storage medium, for object color evaluation

Publications (1)

Publication Number Publication Date
WO2019188315A1 true WO2019188315A1 (ja) 2019-10-03

Family

ID=68061444

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010439 WO2019188315A1 (ja) 2018-03-30 2019-03-14 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2019188315A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232430A (ja) * 1998-02-16 1999-08-27 Toyota Motor Corp 物体画像の色変更方法
JPH11304589A (ja) * 1998-04-22 1999-11-05 Toppan Printing Co Ltd 環境光測定システム
JP2002063567A (ja) * 2000-08-23 2002-02-28 Nec Corp 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法
JP2007248072A (ja) * 2006-03-13 2007-09-27 Nissan Motor Co Ltd 色むら検査装置および方法
JP2016161297A (ja) * 2015-02-26 2016-09-05 有限会社パパラボ 着色評価装置および着色評価方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232430A (ja) * 1998-02-16 1999-08-27 Toyota Motor Corp 物体画像の色変更方法
JPH11304589A (ja) * 1998-04-22 1999-11-05 Toppan Printing Co Ltd 環境光測定システム
JP2002063567A (ja) * 2000-08-23 2002-02-28 Nec Corp 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法
JP2007248072A (ja) * 2006-03-13 2007-09-27 Nissan Motor Co Ltd 色むら検査装置および方法
JP2016161297A (ja) * 2015-02-26 2016-09-05 有限会社パパラボ 着色評価装置および着色評価方法

Similar Documents

Publication Publication Date Title
US11869139B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
JP2019185730A (ja) 画像処理装置、画像処理方法及びプログラム
CN105787923B (zh) 用于平面表面分割的视觉系统和分析方法
JP6635690B2 (ja) 情報処理装置、情報処理方法及びプログラム
Fechteler et al. Adaptive colour classification for structured light systems
US20100328308A1 (en) Three Dimensional Mesh Modeling
US20040155877A1 (en) Image processing apparatus
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
US9182220B2 (en) Image photographing device and method for three-dimensional measurement
CN107680125A (zh) 在视觉系统中自动选择三维对准算法的系统和方法
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2001243468A (ja) 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体
Sun et al. High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm
US20130194254A1 (en) Image processing apparatus, image processing method and program
JP2007017364A (ja) シルエット抽出装置及び該方法並びに３次元形状データ生成装置及び該方法
JP5639821B2 (ja) ３次元点群の合成方法
JP2015206654A (ja) 情報処理装置、情報処理方法、プログラム
JP6822086B2 (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
WO2019188315A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2023102637A1 (en) Interactive visualizations for industrial inspections
WO2022241574A1 (en) Texture mapping to polygonal models for industrial inspections
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
TWI480507B (zh) 三維模型重建方法及其系統
JP2018041169A (ja) 情報処理装置およびその制御方法、プログラム
JP4351090B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775538

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19775538

Country of ref document: EP

Kind code of ref document: A1