WO2021230249A1 - 見積支援装置、見積支援方法、及びプログラム - Google Patents

見積支援装置、見積支援方法、及びプログラム Download PDF

Info

Publication number
WO2021230249A1
WO2021230249A1 PCT/JP2021/017936 JP2021017936W WO2021230249A1 WO 2021230249 A1 WO2021230249 A1 WO 2021230249A1 JP 2021017936 W JP2021017936 W JP 2021017936W WO 2021230249 A1 WO2021230249 A1 WO 2021230249A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
degree
quality
unit
pixel
Prior art date
Application number
PCT/JP2021/017936
Other languages
English (en)
French (fr)
Inventor
昌寛 平光
一也 谷川
Original Assignee
株式会社ミラボ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ミラボ filed Critical 株式会社ミラボ
Priority to JP2022521935A priority Critical patent/JPWO2021230249A1/ja
Publication of WO2021230249A1 publication Critical patent/WO2021230249A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a quotation support device, a quotation support method, and a program.
  • Patent Document 1 discloses an example in which a means for processing a microscope image is provided as one of means for detecting a crack or the like generated in a metal part, and a repair cost is predicted from the degree of deterioration or damage.
  • a means for processing a microscope image is provided as one of means for detecting a crack or the like generated in a metal part, and a repair cost is predicted from the degree of deterioration or damage.
  • it is possible to inspect each part it is not possible to judge the degree of quality of each part from the image of the whole picture of the automobile to be repaired, for example. It is not possible to consider the cost increase when some parts are replaced with non-standard parts.
  • the present invention has been made in view of the above circumstances, and one of its purposes is to provide an estimation support device, an estimation support method, and a program capable of supporting cost estimation required for repairing an object including a plurality of parts. I will try.
  • an estimation support device which is an acquisition means for acquiring image data obtained by imaging an object including a plurality of parts, and the acquired image. Estimating the cost required for repairing the object based on the judgment means for judging the degree of quality of each part included in the object based on the data and the degree of quality for each part judged by the judgment means. It is decided to include a calculation means for calculating and outputting.
  • the estimation support device 1 is a computer device connected to the image pickup device 2, and has a control unit 11, a storage unit 12, an operation unit 13, and a display. It is configured to include a unit 14 and an input / output unit 15.
  • control unit 11 is a program control device such as a CPU, and operates according to a program stored in the storage unit 12.
  • the control unit 11 acquires image data obtained by imaging an object such as an automobile including a plurality of parts, and the object includes the object based on the acquired image data. Judge the degree of quality of each part. Then, the control unit 11 calculates and outputs an estimate of the cost required for repairing the object based on the degree of quality of each part determined here. The detailed operation of the control unit 11 will be described later.
  • the storage unit 12 includes at least one memory device such as a RAM, and holds a program executed by the control unit 11. This program may be provided by being stored in a computer-readable and non-temporary recording medium, and may be stored in the storage unit 12.
  • the storage unit 12 also operates as a work memory of the control unit 11.
  • the operation unit 13 is a mouse, a keyboard, or the like, accepts a user's operation, and outputs information representing the operation to the control unit 11.
  • the display unit 14 is a display or the like, and displays information according to an instruction input from the control unit 11.
  • the input / output unit 15 is a USB (Universal Serial Bus) interface or the like, and outputs information to a peripheral device such as a printer according to an instruction input from the control unit 11. Further, in the present embodiment, the image pickup device 2 is connected to the input / output unit 15, and the information input from the image pickup device 2 is output to the control unit 11.
  • USB Universal Serial Bus
  • the image pickup device 2 is a controller that holds a camera C having an angle of view capable of capturing the entire object and image data (which may be moving image data) captured by the camera and outputs the image data to the estimation support device 1. It is configured to include R.
  • the image pickup device 2 may be a general digital camera, and a user who intends to create an estimate operates the image pickup device 2 to capture at least one image data of an object. do.
  • the imaging may be performed from a plurality of different viewpoints, and image data (moving image data may be obtained) obtained by capturing an object from various angles may be obtained.
  • the image pickup device 2 is connected to the estimation support device 1, the image data obtained by capturing the image is output to the estimation support device 1.
  • the image pickup device 2 may obtain image data obtained by capturing images of an object from a plurality of directions and output the image data to the estimation support device 1. For example, when the object is a vehicle, the image pickup device 2 captures images from the front surface, the left side surface, the right side surface, and the back surface of the vehicle, and the image data obtained by the image pickup is output to the estimation support device 1. do.
  • control unit 11 of the estimation support device 1 is functionally configured to include an image receiving unit 21, a pass / fail determination unit 22, and a calculation unit 23.
  • the image receiving unit 21 receives image data of an object imaged by the image pickup device 2 from the image pickup device 2 connected to the input / output unit 15 and holds the image data in the storage unit 12.
  • the quality determination unit 22 refers to the image data received by the image receiving unit 21 (each of a plurality of still image images such as moving image data, if any), and the object imaged in the image data. Judge the degree of quality of each part.
  • the quality determination unit 22 includes a parts recognition unit 221 and a quality information acquisition unit 222.
  • the part recognition unit 221 identifies a part in which each part of the object is imaged by performing processing such as extracting the contour line and dividing the area by the contour line. It should be noted that the method of specifying the imaged portion of the part here is not limited to the method of dividing by the contour line.
  • the part recognition unit 221 recognizes the posture of the object in the front-back direction, the left-right direction, and the like, and prepares in advance for each part the three-dimensional model data representing the outer shape of the part (here, the outer shape of the object by a set of polygons). Data representing The imaged part of the part may be estimated by comparison with the image of the object.
  • the parts recognition unit 221 enlarges / reduces the three-dimensional model data of each part included in the object according to the captured image of the object, and also determines the rotation angle and position in the three-dimensional space. It adjusts, arranges, renders, and reproduces the image data of the captured object. Then, the part recognition unit 221 estimates the imaged portion of the part by extracting the imaged portion of the three-dimensional model data of each part from the rendering result.
  • each part of the object by combining both the division of the area by the contour line and the method using the 3D model data (for example, if it is recognized as a part by either method, it is treated as a part), each part of the object. You may recognize the imaged part of.
  • the part recognition unit 221 may process as follows without using the three-dimensional model data.
  • Another operation example of the part recognition unit 221 according to the present embodiment is as follows. That is, as illustrated in FIG. 3, the part recognition unit 221 according to this another example includes a background removal unit 2211, a contour enhancement unit 2212, a part area determination unit 2213, and an image extraction unit 2214. NS.
  • the background removing unit 2211 removes the background portion from the image data, with the portion excluding the portion where the object is photographed from the image data (referred to as the image data to be processed) input from the image pickup apparatus 1 as the background portion. And extract the foreground part.
  • This process may be performed by a general process for extracting the foreground.
  • the background removing unit 2211 can be realized by a segmentation process such as Grab Cut.
  • the background removing unit 2211 in this example of the present embodiment may be able to be processed interactively like a grab cut.
  • a mask is set and the foreground area is extracted using the set mask, so that the foreground area to be extracted can be adjusted according to the contents of the mask setting.
  • the background removing unit 2211 initially extracts the foreground by grab-cut processing using a predetermined mask, and displays the result and shows it to the user. Then, the background removing unit 2211 accepts the designation of the portion erroneously extracted from the user. The user specifies a part extracted as a foreground even though it is a background and a part extracted as a background even though it is a foreground, and sets a mask.
  • the background removing unit 2211 re-performs the grab / cut process using the mask set by the user, extracts the foreground, displays the result, and shows it to the user.
  • the user determines that the foreground has been extracted based on the result, the user instructs the background removing unit 2211 to complete the process.
  • the mask is reset, and the background removing unit 2211 repeatedly performs the grab / cut process using the mask set by the user.
  • the background removing unit 2211 When the background removing unit 2211 receives an instruction from the user to complete the process, the background removing unit 2211 outputs the image data which is the extraction result of the foreground shown to the user at that time to the outline enhancing unit 2212.
  • the contour enhancement unit 2212 performs a process of emphasizing the outline portion of the image data after removing the background. Specifically, the contour enhancement unit 2212 executes the contour enhancement process by a so-called unsharp masking process. However, the contour enhancement process is not limited to the unsharp mask, and the pixel value of the pixel on the contour line extracted after performing the contour line extraction process such as canny is adjacent to the pixel on the contour line. The contour portion may be emphasized by processing such as overwriting the pixel value of the pixel to be used.
  • the part area determination unit 2213 performs segmentation on the image data of the foreground whose outline is emphasized by the outline enhancement unit 2212 by a method such as watershed, which is widely known. By this process, the area separated by the contour line is divided, and the area of each part is extracted. The part area determination unit 2213 sets a label unique to each area of each extracted part for the pixels in the area, and performs labeling processing for each part.
  • the image extraction unit 2214 extracts the pixel group corresponding to the pixel group from the processing target image data for each pixel group in which the common label is set, and generates the image data for each part.
  • the contour enhancing portion 2212 may extract the contour by the following processing. That is, in one example of the present embodiment, since the vehicle body of an automobile, which is generally made of metal and has various color variations, is the object, the object imaged by the image pickup apparatus 2 includes the periphery of the object. If the scenery is reflected or the brightness change of the boundary differs depending on the color of the object, the outline of one part may not be extracted as a continuous edge.
  • the contour enhancement unit 2212 grayscales the image data after removing the background to extract only the brightness information, and applies a differential filter such as a Previt filter to the grayscaled image data to obtain the image data.
  • the minimum point (pixel value is smaller than the surrounding pixels by a predetermined ratio) in the horizontal direction (X-axis direction) and the vertical direction (Y-axis direction) of each of the constituent pixels. Search for the existing pixel).
  • FIG. 4 shows an example in which the image data captured at the rear end of the automobile is grayscaled (FIG. 4A).
  • the light source is on the right side of the vehicle body, the rear part of the vehicle body is slightly dark, and the side surface of the adjacent vehicle is reflected in the example.
  • the contour enhancement unit 2212 scans each pixel constituting the image data along a one-dimensional line in each axial direction in the horizontal direction (X-axis direction) and the vertical direction (Y-axis direction) to obtain a minimum point.
  • Explore For example, by applying a previt filter to each pixel along the line segment Q in the Y-axis direction, a portion where the brightness changes abruptly (a pixel whose change amount is larger than a predetermined value and has a minimum value) is set.
  • the pixel that becomes the minimum point is detected at the boundary of the part where the brightness changes rapidly (P), but the pixel that becomes the minimum point is not detected at the part where the change in brightness is gradual such as reflection (R).
  • the boundaries of the parts will be mainly detected (FIG. 4 (b)).
  • the contour enhancement unit 2212 further executes a process of removing isolated points from the obtained image data. That is, the contour enhancement unit 2212 selects one of the detected minimum points (past unselected minimum points) and issues an identifier unique to the selected minimum points. The contour enhancement unit 2212 records the issued unique identifier in association with the information that identifies the selected minimum point. Then, the contour enhancing unit 2212 refers to 8 pixels (near 8) in the vicinity of the selected minimum point, and if there is another (unselected) minimum point different from the selected minimum point in the vicinity of 8, the said minimum point. The information for specifying another minimum point is also recorded in association with the identifier unique to the selected minimum point issued above, together with the information for specifying the selected minimum point. Then, the contour enhancement unit 2212 selects the other minimum points (in the case of a plurality of points, sequentially for each of them), and continues the process of referencing the vicinity of the eight.
  • the contour enhancing unit 2212 searches for other unselected minimum points if there are no unselected minimum points in the vicinity of 8 of the selected minimum points, and if there is an unselected minimum point, the minimum point is the minimum point. Is selected to issue a unique identifier, and the above process is repeated. Further, the contour enhancement unit 2212 ends the process when there are no unselected minimum points.
  • the contour enhancement unit 2212 finds an identifier in which the number of minimum points associated with one identifier is less than a predetermined number, and records the minimum points associated with the found identifier. Delete (isolated point removal process). This removes isolated points or a set of minute minimum points.
  • the contour enhancement unit 2212 refers to the record after performing the isolated point removal process, and outputs a line segment formed by connecting the minimum points associated with each identifier as a contour line (FIG. 4 (c)).
  • the image data is converted into a gray scale, and the minimum point is searched for from each line in the horizontal direction and the vertical direction, and the search is performed. It is the minimum point found in the above process, and a set of extremely small points adjacent to each other is found, a process of detecting a continuous minimum point group is executed, and among the detected minimum point groups, the minimum point group is selected.
  • a line segment composed of the minimum point cloud excluding the minimum point cloud to which the number of minimum points belongs is less than a predetermined number is determined as the contour line of the part, and the contour line is used for each part (the part is imaged). Obtain partial image data (for each part).
  • the contour enhancement unit 2212 extracts a region including the contour line from the image after grayscale conversion for each of the contour lines of the part determined by the above processing, and second-order differentiation of the pixels in the region. Find the value (difference between adjacent pixels). Specifically, the contour enhancement unit 2212 sequentially selects the contour lines of the parts determined by the above processing one by one. Then, the image after gray scale conversion is rotationally converted so that the selected contour line becomes a line extending in a predetermined axial direction, for example, in the vertical direction of the image data. This is done, for example, by rotating the contour line so that when a rectangle circumscribing the contour line is detected, the lateral size of the rectangle is the smallest.
  • the contour enhancement unit 2212 calculates the difference in the difference between the pixel values of the adjacent pixels in the direction perpendicular to the predetermined axial direction (pixel scanning direction). Specifically, when pixels having pixel values (brightness) of P1, P2, P3, P4 ... Are arranged from left to right (pixel scanning direction), the difference is the difference (P2-P1). -(P3-P2) is obtained as the second derivative value.
  • the contour enhancement unit 2212 When the second-order differential value exceeds a predetermined second-order differential threshold value, the contour enhancement unit 2212 has pixels related to the second-order differential value (in the above example, the pixel values are P1, P2, P3). If it is determined that the pixel) contains the contour line and the second derivative value does not exceed the predetermined second derivative threshold value, the pixel related to the second derivative value contains the contour line. Judge.
  • the outline of the image reflected on the body of the car body will not be mistakenly judged as the outline of the part. That is, the brightness of the contour line due to the reflection is dispersed by the material such as the body surface, and as illustrated in FIG. 7A, when the pixel is scanned with the reflected contour line sandwiched between the pixels, the brightness of the pixel becomes smooth. Changes to.
  • the second derivative (absolute value) of the luminance is used.
  • the second-order derivative result corresponding to the example of FIG. 7 (a) is shown in FIG. 7 (c)
  • the second-order derivative result corresponding to the example of FIG. 7 (b) is shown in FIG. 7 (d).
  • FIGS. 7 (c) and 7 (d) in the contour line representing the boundary of the parts that are not reflected, the second derivative value in the contour line is relatively large, whereas the contour line is reflected. In the contour line, the second derivative value in the contour line is sufficiently small. Therefore, a threshold value (second-order differential threshold value) for identifying these values is experimentally and empirically determined and used.
  • the contour enhancement portion 2212 is located in the image portion of the contour lines of the parts determined by the process described above, which is determined not to include the contour lines by the method using the second derivative value described here.
  • the contour line may not be treated as the contour line of the part in the following processing.
  • the contour enhancement portion 2212 is a contour line in the image portion determined to include the contour line by the method using the second-order differential value described here among the contour lines of the parts determined by the process described above. Only for (a contour line in which the pixel value changes rapidly across the contour line), it is judged that the contour line represents the boundary of the actual part, not the reflection. Then, the part area determination unit 2213 performs segmentation on the image data of the foreground surrounded by the contour line determined here as the contour line by a widely known method. By this process, the area separated by the contour line is divided, and the area of each part is extracted.
  • the quality information acquisition unit 222 generates information (proposal repair information) necessary for determining necessary repairs for each part.
  • the quality information acquisition unit 222 generates an estimated image in an intact state for each imaged portion of the part based on the received image data. This estimated image is performed by correcting the pixel value of the image portion such as the scratch or dent when the captured part has a scratch or a dent by referring to the pixel value of the peripheral image portion. (For example, you can perform the same processing as the repair tool processing in Photoshop (registered trademark) of Adobe Corporation in the United States).
  • the quality information acquisition unit 222 extracts the image of each part recognized by the parts recognition unit 221 from the received image data, and generates partial image data for each part.
  • This partial image data is rectangular image data circumscribing the image of the extracted part part, includes the image of the part part, and is an invalid pixel (for example, a transparent pixel) for pixels other than the part part. It is set as.
  • the quality information acquisition unit 222 further obtains a binarized image obtained by binarizing the partial image data and an image obtained by extracting only the hue component of the partial image data (hue component image) with respect to the partial image data of each part. Generate.
  • binarization is widely known, such as a process of dividing an image into blocks and binarizing with a threshold value weighted by a Gaussian distribution for each block, and a binarization process using the Otsu method. Processing can be adopted.
  • the quality information acquisition unit 222 ignores the pixel value of the pixel and treats it as having no pixel value.
  • the quality information acquisition unit 222 performs blob analysis on the binarized image generated for each partial image data of each part and the hue component image, and the part where scratches, dents, etc. are generated for each part (hereinafter, the part to be repaired). ) Is specified.
  • the quality information acquisition unit 222 sets the pixel value of each pixel included in the repair target portion of the partial image data in which the repair target portion is specified among the partial image data of each part to the pixels other than the repair target portion. , Replace with the pixel value of the pixel of the part part that is closest to the pixel (repair processing). Alternatively, in this repair process, the quality information acquisition unit 222 sets the pixel value of each pixel included in the repair target portion to the pixels of a plurality of pixels of the part portion that are pixels other than the repair target portion and are close to the pixel. Replace with the average of the values.
  • the quality information acquisition unit 222 obtains texture information from an array of a plurality of pixels of the part portion, which is a pixel other than the repair target portion, and fills the pixels of the repair target portion with the texture. good.
  • the pass / fail information acquisition unit 222 generates an estimated image of the part in an intact state corresponding to the partial image data for each partial image data of each part.
  • the quality information acquisition unit 222 compares the estimated image of the state in which the part is intact with the partial image data (original data) of each part before the repair process for each partial image data of each part.
  • the quality information acquisition unit 222 compared this comparison with a binarized comparison in which the estimated image and the original data were binarized and compared, and an image in which the hue component was extracted from the estimated image and the original data. It is done by hue comparison.
  • the quality information acquisition unit 222 determines the size, direction, width of the repair target portion, the type of scratch included in the repair target portion, or the depth of the scratch or dent included in the repair target portion (periphery). Information on the degree of deformation of parts, such as (obtained by the difference in hue from the pixels of), etc., is obtained.
  • the quality information acquisition unit 222 provides information indicating the size, direction, and width of the repair target portion for each part obtained here, the type of scratches included in the repair target portion, and the depth of scratches and dents included in the repair target portion. Is output as proposed repair information.
  • the quality information acquisition unit 222 may generate proposed repair information while classifying the types of scratches included in the repair target portion by the following method.
  • the quality information acquisition unit 222 extracts a linear scratch (referred to as a linear scratch) portion from the partial image data of each part by, for example, the following method.
  • the quality information acquisition unit 222 converts the partial image data (image data in the RGB color space) into the image data in the HSV (Hue, Saturation, Value) color space for each partial image data of each part. Then, the pass / fail information acquisition unit 222 has a threshold value (kmeans threshold value) K when the brightness (V) of the pixel value in the converted image data is classified by the kmeans method, and the brightness (V) of the pixel value.
  • the quality information acquisition unit 222 determines that the color tone of the scratch is close to white, the image of the color component of the S channel (saturation space) and the V channel (brightness space) of the image data converted into the HSV color space The image of the color component of the above is extracted, a binarized image in which each is binarized is generated, and the two generated binarized image data are combined (added) to generate labeling target data.
  • the binarization threshold value may be a kmeans threshold value. However, for the image data of V channel, the threshold value for binarization is set as the initial value, and the provisional binarization result is presented to the user, and the binarization is performed according to the instruction of the user. The threshold value may be changed and binarization may be performed using the threshold value when the user determines that the binarized image in which the scratched portion is extracted is appropriate.
  • the quality information acquisition unit 222 determines that the color tone of the scratch is close to black, it extracts the image of the color component of the V channel (brightness space) from the image data converted into the HSV color space, and said that.
  • the extracted image of the color component of the V channel is used as it is as the labeling target data.
  • the quality information acquisition unit 222 has a label for the labeling target data obtained by any of these processes, which is different for each place where the background pixel and the pixel having a color tone that can be distinguished are continuous. Processing to set) is performed. This process can be executed by applying a process such as connectComponents in opencv etc.
  • the quality information acquisition unit 222 sequentially selects a rectangular area circumscribing the pixel block found in the labeling process, and obtains the area of the selected rectangular area. If the obtained area is "0" or exceeds the threshold value (area threshold value) determined by a predetermined method, the quality information acquisition unit 222 skips the following processing for the rectangular area. And select the next rectangular area (if there is no rectangular area to select, that is, if the processing for all rectangular areas is completed, the processing for extracting line scratches from the partial image data currently being processed. To finish).
  • the area threshold value may be a predetermined value, or is a value obtained by multiplying the area of the partial image data of the part to be processed by a predetermined ratio (ratio less than 1). May be.
  • the quality information acquisition unit 222 executes the following processing. That is, the quality information acquisition unit 222 obtains the aspect ratio (value obtained by dividing the length of the long side by the length of the short side) of the selected rectangular area, and this aspect ratio is the predetermined aspect ratio threshold value. A value obtained by dividing the area of a pixel block (the number of labeled pixels) smaller than (not an elongated shape) or found by the labeling process by the area of a rectangular area (rectangle circumscribing the pixel block) is predetermined.
  • the quality information acquisition unit 222 sets the area of the pixel block (the number of labeled pixels) that is equal to or greater than the predetermined aspect ratio threshold value (slender shape) or found by the labeling process into a rectangular area (the number of labeled pixels). If the value divided by the area of the rectangle (rectangle circumscribing the pixel block) is below the predetermined area ratio threshold (relatively small scratches), it is found by the labeling process in the selected rectangular area.
  • Information that the type of scratch is "line scratch” is included in the information that identifies the part corresponding to the partial image data that is the target of processing, as it is determined that there is a line scratch in the image part represented by the pixel block.
  • the area (size) of the rectangular area (or pixel block), and the information that specifies the position in the part corresponding to the partial image data (information obtained from the coordinate information of the rectangular area) are associated with the proposed repair information. Repeat from the process of selecting the next rectangular area including. If there is no rectangular area to be selected here, that is, if the processing for all the rectangular areas is completed, the quality information acquisition unit 222 extracts the line scratches from the partial image data currently being processed. End the process.
  • the quality information acquisition unit 222 may also perform a process of extracting scratches following the process of extracting the line scratches or before the process of extracting the line scratches.
  • the pass / fail information acquisition unit 222 classifies the V channel (brightness component) value of the pixel value into the partial image data (image data in the HSV color space) for each partial image data of each part by the kmeans method. Find the threshold value (kmeans threshold value) when Then, the good / bad information acquisition unit 222 defines a range of a predetermined value including the kmeans threshold value as a threshold value. For example, the good / bad information acquisition unit 222 has a value Tk obtained by subtracting a predetermined value t from the kmeans threshold value Tk.
  • the upper limit is Tk + t, which is the sum of the kmeans threshold Tk and the predetermined value t (however, if the obtained lower limit is less than "0" (the lowest value of brightness V), the lower limit is "". It is set to "0", and when the obtained upper limit exceeds the maximum value that the brightness V can take, for example, "255", the upper limit is set as the maximum value).
  • the pass / fail information acquisition unit 222 uses the lower limit value of the threshold range as the initial value, a plurality of values up to the upper limit value of the threshold range as the threshold value, and binarizes the partial image data using the threshold value. Generate and combine the binarized images (generate a multi-valued image by accumulating the binarized pixel values).
  • the quality information acquisition unit 222 performs a labeling process on the combined multi-valued image, sequentially selects a rectangular area circumscribing the pixel block found by the labeling process, and determines the area of the selected rectangular area. Ask. When the obtained area is "0", the quality information acquisition unit 222 skips the following processing for the rectangular area and selects the next rectangular area (when there is no rectangular area to be selected, that is, all). When the processing for the rectangular area of is finished, the processing for extracting scratches from the partial image data currently being processed is finished).
  • the quality information acquisition unit 222 obtains the aspect ratio (value obtained by dividing the length of the long side by the length of the short side) of the selected rectangular area, and this aspect ratio.
  • the area of the pixel block (the number of labeled pixels) that is larger than the predetermined aspect ratio threshold (which is an elongated shape) or is found by the labeling process is a rectangular area (rectangular that circumscribes the pixel block).
  • the aspect ratio threshold value and the area ratio threshold value may be the same as or different from the respective threshold values used in the line scratch extraction process.
  • the quality information acquisition unit 222 finds a pixel block that does not have an elongated shape and is determined to be an image of a scratch that is not a large scratch, the label of the pixel block is recorded as a label to be processed. Then, the pass / fail information acquisition unit 222 repeats from the process of selecting the next rectangular area. If there is no rectangular area to be selected here, that is, if the processing for all the rectangular areas is completed, the quality information acquisition unit 222 is a polygonal area surrounding the pixel block related to the label recorded as the processing target label. To generate.
  • this polygonal region may be a process of generating a so-called convex hull, or an alpha shape (a shape formed by a simple and piecewise linear group of curves attached to the shape of a finite point cloud on a plane). ) May be generated (since both are widely known, detailed description thereof is omitted here).
  • the quality information acquisition unit 222 includes information indicating that the type of scratch is "scratch" and the area and portion of the polygonal region obtained here in the information for specifying the part corresponding to the partial image data to be processed. It is repeated from the process of selecting the next rectangular area by associating it with the information for specifying the position of the polygonal area in the part corresponding to the image data and including it in the proposed repair information.
  • the quality information acquisition unit 222 may also perform a process of extracting the depth of scratches and dents, following the process of extracting these line scratches and scratches.
  • the pass / fail information acquisition unit 222 obtains the difference in brightness between the central portion and the peripheral portion of the scratch or dent as follows. That is, when the quality information acquisition unit 222 classifies the V channel (brightness component) value of the pixel value into the partial image data (image data of the HSV color space) for each partial image data of each part by the kmeans method. Find the threshold (kmeans threshold). Then, the pass / fail information acquisition unit 222 defines a range of a predetermined value including the kmeans threshold value as the threshold range.
  • the pass / fail information acquisition unit 222 sets a predetermined value ⁇ from the kmeans threshold Tk (for example, this ⁇ is).
  • the lower limit is Tk- ⁇ , which is the value obtained by subtracting (which may be the absolute value of the difference between the kmeans threshold Tk and the average M of the pixel values of the V channels), and the predetermined value ⁇ is added to the kmeans threshold Tk.
  • the upper limit is the value Tk + ⁇ (however, if the lower limit obtained is less than "0" (the lowest value of the lightness V), the lower limit is set to "0", and the upper limit obtained is the maximum value that the lightness V can take, for example, "255". If it exceeds, the upper limit is set as the maximum value.) Establish a threshold range.
  • the pass / fail information acquisition unit 222 uses the lower limit value of this threshold range as the initial value, a plurality of values up to the upper limit value of the threshold range as the threshold value, and the image obtained by binarizing the partial image data using each threshold value. Is generated, and a closed curve (contour) of equal brightness is extracted from each of the plurality of binarized images generated using each threshold value.
  • the quality information acquisition unit 222 is an isobaricity closed curve obtained from an image binarized with a higher brightness threshold among the extracted isobaricity closed curves, and the pixel block determined to be a line scratch or a scratch is the closed curve. It includes an isobaric closed curve obtained from an image that is not included in the image and is binarized with a relatively low threshold value (when the isotropic closed curve obtained from an image with a lower limit threshold value, line scratches and scratches are included. (Does not include the pixel block determined to be in the closed curve) Select the iso-brightness closed curve.
  • the pass / fail information acquisition unit 222 is an image of the V channel (brightness component) of the partial image data, and has the brightness value of the pixel having the lowest brightness in the region corresponding to the selected iso-brightness closed curve.
  • the difference between the pixels outside the region corresponding to the selected iso-brightness closed curve and the average value of the pixels adjacent to the selected iso-brightness closed curve is obtained, and the depth of recesses such as scratches and dents is determined by this difference.
  • this difference is a value indicating the depth of the recess
  • the information for specifying the part corresponding to the partial image data to be processed includes the information that the type is "dent" and the partial image.
  • the quality information acquisition unit 222 repeatedly executes the process of generating the proposed repair information, including the above processes, for the partial image data of each part.
  • the quality information acquisition unit 222 provides the proposed repair information (size, direction, width of the repair target part for each part, the type of scratch included in the repair target part, the depth of the scratch and dent included in the repair target part) obtained here. Information representing the value) is output to the calculation unit 23.
  • the calculation unit 23 calculates an estimate of the cost required for repairing the object while referring to the proposed repair information for each part output by the quality determination unit 22. Specifically, the calculation unit 23 calculates the cost corresponding to the degree of necessity of repair for each part. For example, in the calculation unit 23, when the degree of deformation, which is the degree of need for repair, is expressed by the area of the dent (the size of the part to be repaired), the unit price information representing the amount of cost per unit area of the dent. Is set in advance, and the cost estimate is calculated by multiplying the unit price information by the area represented by the above information, which is the degree of need for repair.
  • the present embodiment has the above configuration and operates as follows.
  • the user of the estimation support device 1 of the present embodiment uses the image pickup device 2 to take an image of the vehicle that is the object of the repair estimation. Then, the image data of the object is input to the estimation support device 1 (FIG. 5: S1).
  • the estimation support device 1 refers to the received image data (if there are a plurality of them, each of them), and determines the degree of quality of each part of the object imaged in the image data. That is, the estimation support device 1 identifies a portion (pixel range) of the image in which each part of the vehicle is captured from the image of the vehicle captured in the received image data (S2). This process can be realized, for example, as a process such as dividing an area by a contour line.
  • the estimation support device 1 extracts the image of the part of each part specified in step S2 from the received image data, and generates the partial image data for each part (S3).
  • this partial image data is rectangular image data circumscribing the image of the extracted part part, contains the image of the part part, and is invalid for the pixels other than the part part. It is set as a pixel (for example, a transparent pixel).
  • the estimation support device 1 repeatedly executes the following processing for the partial image data of each part obtained in step S3.
  • the estimation support device 1 selects one unselected partial image data of each part obtained in step S3 (S4), and executes a process of generating repair proposal information based on the selected partial image data. (S5).
  • this repair proposal information is generated as follows. That is, as illustrated in FIG. 6, the estimation support device 1 has a binarized image obtained by binarizing the partial image data selected in step S4, and an image obtained by extracting only the hue component of the partial image data (hue component image). ) And (S11).
  • the estimation support device 1 performs blob analysis on the binarized image generated in step S11 and the hue component image, and identifies a portion where scratches, dents, etc. are generated (hereinafter referred to as a repair target portion) (S12). ). If the image of the part included in the selected partial image data does not have scratches, dents, etc. (the part has no scratches, etc., or cannot be seen as an appearance), the estimation support device 1 repairs the part. The target part is not specified.
  • the estimation support device 1 determines whether or not the repair target portion is specified in step S12 (S13), and if the repair target portion is specified (S13: Yes), the selected partial image data is to be repaired. Estimated image in which the part is intact by replacing the pixel value of each pixel included in the part with the pixel value of the pixel of the part part that is the pixel other than the repair target part and is closest to the pixel. (S14: Repair estimation process).
  • the estimation support device 1 generates an image obtained by binarizing the estimated image generated here, the partial image data (original data) before the restoration estimation process, and an image from which the hue component is extracted, respectively.
  • the binarized images and the images of the hue component are compared, and based on the result of the comparison, information such as the size, direction, width of the repair target portion, and the depth of scratches and dents contained in the repair target portion can be obtained. obtain.
  • the estimation support device 1 uses information such as the size, direction, width, and the depth of scratches and dents included in the repair target portion of the part to be repaired, which are captured in the selected partial image data, as repair proposal information.
  • Generate (S15) is an image obtained by binarizing the estimated image generated here, the partial image data (original data) before the restoration estimation process, and an image from which the hue component is extracted, respectively.
  • the binarized images and the images of the hue component are compared, and based on the result of the comparison, information such as the size, direction, width of the repair target
  • step S13 the estimation support device 1 generates information indicating that the part imaged in the selected partial image data is intact.
  • the estimation support device 1 When the estimation support device 1 generates this repair proposal information for the partial image data of the selected part, if there is an unselected partial image data of the part obtained in step S3, the estimation support device 1 returns to step S4 and concerned. One of the unselected partial image data is selected and processing is continued (S6).
  • the estimation support device 1 obtains information corresponding to the area of the part requiring repair for each part.
  • the quotation support device 1 presets and holds unit price information indicating the amount of repair cost per unit area of the part, and in the unit price information, the area represented by the above information which is the degree of necessity of repair is added. By multiplying, an estimate of the repair cost for each part is calculated (S7), and the calculated estimate of the repair cost for each part or the cumulative estimate is output and presented to the user (S8).
  • the estimation support device 1 may perform the following processing instead of the repair proposal information generation processing in step S5 illustrated in FIG. That is, the estimation support device 1 sequentially executes the line scratch extraction process, the scratch extraction process, and the scratch or dent depth estimation process described above for the partial image data selected in step S4. And may generate repair proposal information.
  • the cost of repair is calculated based on the deformation of the outer shape, but the present embodiment is not limited to this, for example, the part identifier and the part repair identified by the part identifier.
  • the information indicating the degree of necessity of the is input, and the information indicating the degree of internal damage (the part requiring repair that does not appear in the deformation of the outer shape) when the same part has been damaged to the same degree in the past is the teacher information.
  • Internal damage may be estimated using a neural network or the like that has been machine-learned in advance.
  • the estimation support device 1 may present the user with the repair cost corresponding to the estimated internal damage as well as the repair cost corresponding to the deformation of the outer shape.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Image Analysis (AREA)

Abstract

複数のパーツを含む対象物を撮像して得られた画像データを取得し、当該取得した画像データに基づいて、対象物が含むパーツごとの良否の程度を判断する。そして、ここで判断されたパーツごとの良否の程度に基づいて、対象物の修理に要する費用の見積を算定して出力する。

Description

見積支援装置、見積支援方法、及びプログラム
　本発明は、見積支援装置、見積支援方法、及びプログラムに関する。
　自動車などの車両の修理、例えば板金修理を行う際には、事前に修理コストの見積を作成するのが一般的である。この見積は、修理の技能を有する技能者が車両を点検して、変形している箇所や、問題が生じている箇所を特定し、そのうえで、変形しているパーツの修理の難易度や、交換する場合はその入手可能性などを考慮して行っているのが現状である。
特開平０８－４４４２１号公報
　このような、上記従来の人為的な見積作成は、その作成に専門的な知識が必要なうえ、時間もかかり、さらに、見積を作成しても必ずしも修理が行われるとは限らないので、コストが生じるだけで修理の依頼者も修理の依頼を受ける側にも利益になっていない。
　なお、特許文献１には、金属製の部品に生じた亀裂等を検出する手段の一つとして、顕微鏡画像を処理する手段を備えて、劣化や損傷の程度から補修コストを予測する例が開示されているが、部品ごとに検査を行うことはできても、修理の対象となる自動車等の全体像の画像から各パーツの良否の程度を判断することは行われておらず、また、例えば一部が標準とは異なるパーツに置き換えられている場合等のコスト上昇を考慮することができない。
　本発明は上記実情に鑑みて為されたもので、複数のパーツを含む対象物の修理に要する費用見積を支援できる見積支援装置、見積支援方法、及びプログラムを提供することを、その目的の一つとする。
　上記従来例の問題点を解決する本発明の一態様は、見積支援装置であって、複数のパーツを含む対象物を撮像して得られた画像データを取得する取得手段と、前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する判断手段と、前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する算定手段と、を含むこととしたものである。
　本発明によると、複数のパーツを含む対象物の修理に要する費用見積を支援できる。
本発明の実施の形態に係る見積支援装置の構成例を表すブロック図である。 本発明の実施の形態に係る見積支援装置の例を表す機能ブロック図である。 本発明の実施の形態に係る見積支援装置におけるパーツ認識部の一例に係る機能ブロック図である。 本発明の実施の形態に係る見積支援装置の動作例を表す説明図である。 本発明の実施の形態に係る見積支援装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る見積支援装置の動作例を表すもう一つのフローチャート図である。 本発明の実施の形態に係る見積支援装置における処理の例に係る説明図である。
　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る見積支援装置１は、図１に例示するように、撮像装置２に接続されたコンピュータ装置であり、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、入出力部１５とを含んで構成されている。
　ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであって、記憶部１２に格納されたプログラムに従って動作する。
　本実施の形態の例では、この制御部１１は、複数のパーツを含む自動車等の対象物を撮像して得られた画像データを取得し、当該取得した画像データに基づいて、対象物が含むパーツごとの良否の程度を判断する。そして制御部１１は、ここで判断されたパーツごとの良否の程度に基づいて、対象物の修理に要する費用の見積を算定して出力する。この制御部１１の詳しい動作については後に述べる。
　記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラムを保持する。このプログラムは、コンピュータ可読、かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってよい。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。
　操作部１３は、マウスやキーボード等であり、ユーザの操作を受け入れて、当該操作を表す情報を、制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示する。
　入出力部１５は、ＵＳＢ（Universal Serial Bus）インタフェース等であり、制御部１１から入力される指示に従って、情報をプリンタ等の周辺機器に出力する。また本実施の形態では、この入出力部１５には撮像装置２が接続され、撮像装置２から入力される情報を制御部１１に出力する。
　撮像装置２は、対象物全体を撮像可能な画角を有するカメラＣと、当該カメラで撮像された画像データ（動画像のデータでもよい）を保持し、見積支援装置１に対して出力するコントローラＲとを含んで構成される。本実施の形態の例では、この撮像装置２は、一般的なディジタルカメラでよく、見積を作成しようとするユーザは、この撮像装置２を操作して、対象物の画像データを少なくとも一つ撮影する。撮影は複数の互いに異なる視点から行われてもよく、対象物を種々の角度から撮像した画像データ（動画像データでもよい）が得られてもよい。この撮像装置２は、見積支援装置１に接続されると、当該撮像して得た画像データを、見積支援装置１に対して出力する。
　本実施の形態の一例では、この撮像装置２により、対象物を複数の方向から撮像した画像データを得て、見積支援装置１に対して出力してもよい。例えば対象物が車両である場合、撮像装置２により、車両の正面、左側面、右側面、及び背面からの画像を撮像して、当該撮像して得た画像データを、見積支援装置１へ出力する。
　次に、見積支援装置１の制御部１１の動作について説明する。本実施の形態の例では、この制御部１１は、図２に例示するように、機能的に、画像受入部２１と、良否判定部２２と、算出部２３とを含んで構成される。　画像受入部２１は、入出力部１５に接続された撮像装置２から、当該撮像装置２が撮像した、対象物の画像データを受け入れて、記憶部１２に保持する。
　良否判定部２２は、画像受入部２１が受け入れた画像データ（動画像データ等、複数の静止画の画像がある場合はその各々）を参照して、当該画像データに撮像されている対象物のパーツごとの良否の程度を判断する。
　本実施の形態の一例では、この良否判定部２２は、パーツ認識部２２１と、良否情報取得部２２２とを含む。
［パーツ認識部の動作］
　パーツ認識部２２１は、輪郭線抽出と、輪郭線による領域の分割との処理を行うなどして、対象物の各部品（パーツ）が撮像されている部分をそれぞれ特定する。なお、ここでのパーツの撮像されている部分の特定の方法は輪郭線で分割する方法に限られない。
　例えばパーツ認識部２２１は、対象物の前後方向、左右方向などの姿勢を認識し、パーツごとに予め用意された、パーツの外形を表す三次元モデルデータ（ここではポリゴンの集合により対象物の外形を表すデータなど。一例としてはＯＢＪ形式のデータが相当する）と、認識した対象物の姿勢とから、パーツの三次元データを仮想的な三次元空間に配置して得られた仮想的な対象物の画像との比較によって、パーツの撮像されている部分を推定することとしてもよい。
　この場合パーツ認識部２２１は、対象物に含まれる各パーツの三次元モデルデータを、撮像された対象物の画像に応じて拡大／縮小し、また、三次元空間中での回転角度や位置を調整して配置してレンダリングし、撮像された対象物の画像データを再現する。そしてパーツ認識部２２１は、このレンダリング結果から、各パーツの三次元モデルデータが撮像された部分を抽出することで、パーツの撮像されている部分を推定する。
　また、輪郭線による領域の分割と、三次元モデルデータを用いた方法との双方を組み合わせて（例えばいずれかの方法でパーツとして認識されればパーツとして扱うなどして）、対象物の各パーツの撮像された部分を認識してもよい。
［パーツ認識部の動作の別の例］
　またパーツ認識部２２１は、三次元モデルデータを用いずに次のように処理してもよい。本実施の形態に係るパーツ認識部２２１の別の動作例は、次のようになる。すなわちこの別の例に係るパーツ認識部２２１は、図３に例示するように、背景除去部２２１１と、輪郭強調部２２１２と、パーツ領域確定部２２１３と、画像抽出部２２１４とを含んで構成される。
　背景除去部２２１１は、撮像装置１から入力された画像データ（処理対象画像データと呼ぶ）から対象物が撮影されている部分を除く部分を背景部分として、当該背景部分を、当該画像データから除去して前景部分を抽出する。この処理は、前景を抽出するための一般的な処理により行われてもよい。一例として背景除去部２２１１は、グラブ・カット（Grab Cut）などのセグメンテーション処理により実現できる。
　また本実施の形態のこの例における背景除去部２２１１は、グラブ・カットのように、対話的に処理できるようになっていてもよい。グラブ・カットではマスクを設定し、当該設定されたマスクを利用して前景領域の抽出を行うため、マスクの設定の内容によって抽出される前景領域が調整できる。
　そこで背景除去部２２１１は、当初は予め定められたマスクを用いてグラブ・カット処理によって前景の抽出を行い、その結果を表示してユーザに示す。そして背景除去部２２１１は、ユーザから誤抽出した箇所の指定を受け入れる。ユーザは、背景であるのに前景として抽出された部分と、前景であるのに背景であるとして抽出された部分とをそれぞれ指定し、マスクを設定する。
　背景除去部２２１１は、ユーザが設定したマスクを利用して、グラブ・カット処理を再度行い、前景の抽出を行って、その結果を表示してユーザに示す。ユーザは、その結果により前景が抽出されたと判断すると、背景除去部２２１１に対して処理の完了を指示する。またユーザは、前景の抽出に誤りがあると判断すると、マスクの再設定を行い、背景除去部２２１１は、ユーザが設定したマスクを利用して、グラブ・カット処理を繰り返して行う。
　背景除去部２２１１は、ユーザから処理完了の指示を受けると、その時点でユーザに示していた前景の抽出結果である画像のデータを、輪郭強調部２２１２に出力する。
　輪郭強調部２２１２は、背景除去後の画像データに対して、輪郭部分を強調する処理を行う。具体的にこの輪郭強調部２２１２は、いわゆるアンシャープマスキング処理により輪郭の強調処理を実行する。もっとも、輪郭強調の処理は、アンシャープマスクに限られず、例えばキャニー（canny）などの輪郭線抽出処理を行った後、抽出された輪郭線上の画素の画素値で、当該輪郭線上の画素に隣接する画素の画素値を上書きするなどの処理により、輪郭部分を強調してもよい。
　パーツ領域確定部２２１３は、輪郭強調部２２１２により輪郭が強調された前景の画像データに対し、広く知られたウオーターシェッド（watershed）などの方法でセグメンテーションを行う。この処理により輪郭線で区切られた領域が分割されて、各パーツの領域が抽出されることとなる。パーツ領域確定部２２１３は、抽出した各パーツの領域ごとに固有なラベルを、当該領域内の画素に対して設定して、パーツごとのラベリング処理を行う。
　画像抽出部２２１４は、共通のラベルが設定された画素群ごとに、当該画素群に対応する画素群を処理対象画像データから抽出し、パーツごとの画像データを生成する。
［輪郭抽出の別の例］
　また上記の輪郭強調部２２１２は、次の処理により輪郭を抽出することとしてもよい。すなわち、本実施の形態の一つの例では、一般に金属製で、種々のカラーバリエーションのある自動車の車体を対象物とするため、撮像装置２によって撮像された対象物には、対象物の周辺の景色が写り込んでいたり、対象物の色味によって境界の輝度変化が異なってしまうと、一つのパーツの輪郭線が連続したエッジとして取り出せない場合がある。
　そこで輪郭強調部２２１２は、背景除去後の画像データをグレースケール化して輝度の情報のみを取り出し、グレースケール化した画像データに対してプレヴィットフィルタなどの微分フィルタを適用することで、画像データを構成する各画素の横方向（Ｘ軸方向）と縦方向（Ｙ軸方向）とのそれぞれの軸方向の極小点（画素値が周囲の画素よりも、所定の割合を超えて小さい値となっている画素）を探索する。
　図４には、自動車の後端部が撮像された画像データをグレースケール化した例を示している（図４（ａ））。この図４（ａ）の例では、車体の右側に光源があるため、車体後方はやや暗となっており、また、隣接する車両の側面が写り込んだものとして例示している。
　輪郭強調部２２１２は、画像データを構成する各画素を、横方向（Ｘ軸方向）と縦方向（Ｙ軸方向）とのそれぞれの軸方向の一次元のラインに沿ってスキャンして極小点を探索する。例えば、Ｙ軸方向の線分Ｑに沿った各画素にプレヴィットフィルタを適用して、輝度が急激に変化する部分（変化量が予め定めた値より大きく、最低値となっている画素）を探索すると、輝度が急激に変化するパーツの境界では極小点となる画素が検出されるが（Ｐ）、写り込みなど輝度の変化がゆるやかな部分では極小点となる画素が検出されない（Ｒ）ので、パーツの境界が主として検出されることとなる（図４（ｂ））。
　輪郭強調部２２１２はさらに、この得られた画像データから孤立点を除去する処理を実行する。すなわち輪郭強調部２２１２は、検出した極小点の一つ（過去未選択の極小点）を選択して、当該選択した極小点に固有の識別子を発行する。輪郭強調部２２１２は、当該発行した固有の識別子を、選択した極小点を特定する情報に関連付けて記録しておく。そして輪郭強調部２２１２は、当該選択した極小点の近傍８画素（８近傍）を参照して、８近傍に、選択した極小点とは異なる別の（未選択の）極小点があれば、当該別の極小点を特定する情報も、選択した極小点を特定する情報とともに、上記発行した、選択した極小点に固有の識別子に関連付けて記録する。そして輪郭強調部２２１２は、当該別の極小点（複数ある場合はそれぞれについて順次）を選択して、その８近傍を参照する処理を続ける。
　また輪郭強調部２２１２は、選択した極小点の８近傍に、未選択の極小点がなければ、他に未選択の極小点がないか探索し、未選択の極小点があれば、当該極小点を選択して固有の識別子を発行し、上記処理を繰り返す。さらに輪郭強調部２２１２は、未選択の極小点がなくなると処理を終了する。
　輪郭強調部２２１２は、以上の処理を行った後、一つの識別子に関連付けられた極小点の数が予め定めた数より少ない識別子を見出し、当該見出した識別子に関連付けられた極小点を、記録から削除する（孤立点除去処理）。これにより孤立点あるいは、微小な極小点集合を除去する。
　輪郭強調部２２１２は、孤立点除去処理を行った後の記録を参照し、各識別子に関連付けられた極小点を結んでできる線分を、輪郭線として出力する（図４（ｃ））。このように、本実施の形態のパーツ認識部２２１の一例では、画像データをグレースケールに変換し、横方向と縦方向とのそれぞれの軸方向の各ラインから極小点を探索して、当該探索して見いだされた極小点であって、互いに隣接する極小点の組を見いだして、連続する極小点群を検出する処理を実行し、当該検出された極小点群のうち、当該極小点群に属する極小点の数が予め定めた数より少ない極小点群を除く極小点群により構成される線分を、パーツの輪郭線として決定し、当該輪郭線を用いてパーツごとの（パーツの撮像された部分ごとの）部分画像データを得る。
［写り込み境界の識別］
　さらに輪郭強調部２２１２は、上述の処理により決定したパーツの輪郭線のそれぞれに対して、グレースケール変換後の画像のうち、当該輪郭線を含む領域を抽出し、その領域内の画素の二階微分値（隣接画素の差分の差分）を求める。具体的に輪郭強調部２２１２は、上述の処理により決定したパーツの輪郭線を一つずつ順次選択する。そして選択した輪郭線が所定の軸方向、例えば画像データの上下方向に延びる線となるようにグレースケール変換後の画像を回転変換する。これは例えば輪郭線に外接する矩形を検出したとき、当該矩形の横方向の大きさが最も小さくなるよう、輪郭線を回転させることにより行われる。
　そして輪郭強調部２２１２は、上記所定の軸方向に対して垂直な方向（画素の走査方向）に、隣接画素の画素値の差分の差分を演算する。具体的に左から右（画素の走査方向）へ、画素値（輝度）がＰ１，Ｐ２，Ｐ３，Ｐ４…であるような画素が配列されているとき、差分の差分である（Ｐ２－Ｐ１）－（Ｐ３－Ｐ２）を、二階微分値として求める。
　輪郭強調部２２１２は、この二階微分値が予め定めた、二階微分しきい値を超えているときに、当該二階微分値に係る画素（上記の例であれば画素値がＰ１，Ｐ２，Ｐ３である画素）に輪郭線が含まれていると判断し、二階微分値が予め定めた、二階微分しきい値を超えていなければ、当該二階微分値に係る画素には輪郭線が含まれていると判断する。
　この処理によると、車体のボディなどに写り込んだ像の輪郭を、パーツの輪郭線として誤って判断することがなくなる。すなわち、写り込みによる輪郭線の輝度は、ボディ表面などの素材によって分散され、図７（ａ）に例示するように、その写り込んだ輪郭線を挟んで画素を走査すると、画素の輝度は滑らかに変化する。
　一方、ボディの実際のパーツの境界である輪郭線は、その輪郭線を挟んで画素を走査すると、画素の輝度が急激に変化する（図７（ｂ））。そこで、これらを峻別するために、本実施の形態では、輝度の二階微分（の絶対値）を用いる。図７（ａ）の例に対応する二階微分結果を図７（ｃ）に示し、図７（ｂ）の例に対応する二階微分の結果を図７（ｄ）に示す。図７（ｃ）、（ｄ）に認められるように、写り込みでないパーツの境界を表す輪郭線では、当該輪郭線における二階微分値が比較的大きい値となっているのに対し、写り込みの輪郭線では当該輪郭線における二階微分値は十分小さい値となっている。そこで、これらの値を識別するためのしきい値（二階微分しきい値）を実験的、経験的に定めて利用する。
　このように輪郭強調部２２１２は、先に説明した処理により決定したパーツの輪郭線のうち、ここで述べた二階微分値を用いる方法により、輪郭線が含まれないと判断された画像部分にある輪郭線については、以下の処理でパーツの輪郭線として扱わないこととしてもよい。
　つまり、輪郭強調部２２１２は、先に説明した処理により決定したパーツの輪郭線のうち、ここで述べた二階微分値を用いる方法により、輪郭線が含まれると判断された画像部分にある輪郭線（輪郭線を跨いで画素値が急激に変化している輪郭線）についてのみ、写り込みではない、実際のパーツの境界を表す輪郭線であるものと判断する。そしてパーツ領域確定部２２１３が、ここで輪郭線と判断された輪郭線で囲まれた前景の画像データに対し、広く知られた方法でセグメンテーションを行う。この処理により輪郭線で区切られた領域が分割されて、各パーツの領域が抽出されることとなる。
　良否情報取得部２２２は、パーツごとに、必要となる修理を決定するために必要な情報（提案修理情報）を生成する。本実施の形態の一例では、この良否情報取得部２２２は、受け入れた画像データに基づいて、パーツの撮像された部分ごとに、無傷である状態の推定画像を生成する。この推定画像は、撮像されたパーツに傷や凹み（デント）等がある場合、当該傷やデント等の画像部分の画素値を、周辺の画像部分の画素値を参照して補正することで行うことができる（例えば米国アドビ社のPhotoshop（登録商標）における修復ツールの処理と同様の処理を実行すればよい）。
　具体的に良否情報取得部２２２は、受け入れた画像データから、パーツ認識部２２１で認識した各パーツの部分の画像を抽出して、パーツごとの部分画像データを生成する。この部分画像データは、抽出したパーツの部分の画像に外接する矩形状の画像データであって、パーツの部分の画像を内包し、パーツの部分以外の画素については無効な画素（例えば透過画素）として設定したものである。
　良否情報取得部２２２は、各パーツの部分画像データについて、さらに当該部分画像データを二値化した二値化画像と、当該部分画像データの色相成分のみを抽出した画像（色相成分画像）とを生成する。ここで二値化は、画像をブロックに分割し、ブロックごとにガウス分布による重みづけを行ったしきい値で二値化する処理や、大津の方法を採用した二値化処理など広く知られた処理を採用できる。なお、ブロック内にパーツ部分以外の画素が含まれる場合は、良否情報取得部２２２は、当該画素の画素値を無視して画素値がないものとして扱う。
　良否情報取得部２２２は、各パーツの部分画像データごとに生成した二値化画像と、色相成分画像とについてブロブ解析を行い、パーツごとに傷やデント等が生じている部分（以下修復対象部分と呼ぶ）を特定する。
　良否情報取得部２２２は、各パーツの部分画像データのうち、修復対象部分が特定された部分画像データについて、修復対象部分に含まれる各画素の画素値を、修復対象部分以外の画素であって、当該画素に最も近接する、パーツ部分の画素の画素値で置き換える（修復処理）。あるいはこの修復処理では、良否情報取得部２２２は、修復対象部分に含まれる各画素の画素値を、修復対象部分以外の画素であって、当該画素に近接する、パーツ部分の複数の画素の画素値の平均値で置き換える。
　さらに良否情報取得部２２２は、修復処理として、修復対象部分以外の画素であってパーツ部分の複数の画素の配列からテクスチャの情報を得て、修復対象部分の画素を当該テクスチャで塗りつぶすこととしてもよい。
　この修復処理により良否情報取得部２２２は、各パーツの部分画像データごとに、当該部分画像データに対応する、パーツが無傷である状態の推定画像を生成する。
　良否情報取得部２２２は、各パーツの部分画像データごとに、当該パーツが無傷である状態の推定画像と、修復処理前の各パーツの部分画像データ（元データ）とを比較する。良否情報取得部２２２は、この比較を、推定画像と、元データとをそれぞれ二値化して比較した二値化比較、及び推定画像と、元データとからそれぞれ色相成分を抽出した画像を比較した色相比較によって行う。
　良否情報取得部２２２は、比較の結果に基づいて、修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷の種類、あるいは、修復対象部分に含まれる傷やデントの深さ（周辺の画素との色相の差等によって得られる）等、パーツの変形の程度に係る情報を得る。
　そして良否情報取得部２２２は、ここで得たパーツごとの修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷の種類、修復対象部分に含まれる傷やデントの深さを表す情報を提案修理情報として出力する。
　あるいは良否情報取得部２２２は、次の方法で、修復対象部分に含まれる傷の種類を分類しつつ提案修理情報を生成してもよい。
［線傷の抽出］
　良否情報取得部２２２は、例えば次の方法で、各パーツの部分画像データから線状の傷（線傷と呼ぶ）の部分を抽出する。良否情報取得部２２２は、各パーツの部分画像データごとに、部分画像データ（RGB色空間の画像データ）を、HSV（Hue, Saturation, Value）色空間の画像データに変換する。そして良否情報取得部２２２は、変換後の画像データ中にある画素値の明度（Ｖ）をkmeans法により分類したときのしきい値（kmeansしきい値）Ｋと、当該画素値の明度（Ｖ）の平均値（mean）Ｍとを比較し、平均値Ｍがkmeansしきい値Ｋより大きい（Ｍ＞Ｋ）場合に、傷の色調が黒色に近いと判断し、Ｍ＞Ｋでない場合に、傷の色調が白色に近いと判断する。
　良否情報取得部２２２は、傷の色調が白色に近いと判断したときには、HSV色空間に変換した画像データのうち、Ｓチャンネル（彩度空間）の色成分の画像と、Ｖチャンネル（明度空間）の色成分の画像とを抽出し、それぞれを２値化した２値化画像を生成し、当該生成した２つの２値化画像データを合成（加算）して、ラベリング対象データを生成する。なお、この２値化のしきい値は、kmeansしきい値としてよい。もっともＶチャンネルの画像データについては２値化のしきい値を、kmeansしきい値を初期値として、利用者に仮の２値化結果を提示しつつ、利用者の指示により２値化のしきい値を変化させて、利用者が傷の部分が抽出された２値化画像として適切と判断したときのしきい値を用いて２値化を行ってもよい。
　また、良否情報取得部２２２は、傷の色調が黒色に近いと判断したときには、HSV色空間に変換した画像データのうち、Ｖチャンネル（明度空間）の色成分の画像とを抽出して、当該抽出したＶチャンネルの色成分の画像を、そのままラベリング対象データとする。
　良否情報取得部２２２は、これらの処理のいずれかで得たラベリング対象データに対して、ラベリング処理（背景となっている画素と識別可能な色調の画素が連続している箇所ごとにそれぞれ異なるラベルを設定する処理）を行う。この処理は、たとえばopencvなどにおけるconnectComponentsなどの処理を適用することで実行できる。
　良否情報取得部２２２は、ラベリング処理で見いだされた画素塊に外接する矩形領域を順次選択して、選択した矩形領域の面積を求める。良否情報取得部２２２は、この求めた面積が「０」であるかまたは、所定の方法で定められたしきい値（面積しきい値）を超える場合には当該矩形領域に対する以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの線傷の抽出の処理を終了する）。
　なお、ここで面積しきい値は、予め定められた値としてもよいし、処理しているパーツの部分画像データの面積に対して予め定めた比率（１未満の比率）を乗じて求めた値としてもよい。
　良否情報取得部２２２は、この求めた面積が「０」より大きく、かつ、上記所定の方法で定められた面積しきい値を下回る場合、次の処理を実行する。すなわち良否情報取得部２２２は、選択している矩形領域のアスペクト比（長辺の長さを短辺の長さで除した値）を求め、このアスペクト比が、予め定めたアスペクト比しきい値よりも小さい（細長い形状でない）か、またはラベリング処理で見いだされた画素塊の面積（ラベリングされた画素の数）を、矩形領域（画素塊に外接する矩形）の面積で除した値が予め定めた面積比しきい値を超える場合（大きい傷である場合）には、以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの線傷の抽出の処理を終了する）。
　良否情報取得部２２２は、予め定めたアスペクト比しきい値以上であり（細長い形状であり）か、またはラベリング処理で見いだされた画素塊の面積（ラベリングされた画素の数）を、矩形領域（画素塊に外接する矩形）の面積で除した値が予め定めた面積比しきい値を下回る場合（比較的小さい傷である場合）には、選択している矩形領域内の、ラベリング処理で見いだされた画素塊が表す画像部分に線傷があるものと判断し、処理の対象としている部分画像データに対応するパーツを特定する情報に、傷の種類が「線傷」である旨の情報と、矩形領域（あるいは画素塊）の面積（大きさ）、部分画像データに対応するパーツ内での位置を特定する情報（矩形領域の座標情報から求められる情報）とを関連付けて、提案修理情報に含め、次の矩形領域を選択する処理から繰り返す。なお、ここで選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、良否情報取得部２２２は、現在処理の対象としている部分画像データからの線傷の抽出の処理を終了する。
［擦り傷の抽出］
　良否情報取得部２２２は、また、この線傷の抽出の処理に続けて、あるいはこの線傷の抽出の処理の前に、擦り傷を抽出する処理を行ってもよい。
　この処理では、良否情報取得部２２２は、各パーツの部分画像データごとに、部分画像データ（HSV色空間の画像データ）に対し、画素値のＶチャンネル（明度成分）の値をkmeans法により分類したときのしきい値（kmeansしきい値）を求める。そして良否情報取得部２２２は、このkmeansしきい値を含む所定の値の範囲を閾値範囲として定める、例えば良否情報取得部２２２は、kmeansしきい値Ｔkから予め定めた値ｔを減算した値Ｔk－ｔを下限とし、kmeansしきい値Ｔkに当該予め定めた値ｔを加算した値Ｔk＋ｔを上限とする（ただし求めた下限が「０」（明度Ｖの最低値）を下回る場合は下限を「０」とし、求めた上限が明度Ｖが取り得る最大値、例えば「２５５」を上回る場合は上限を当該最大値とする）閾値範囲を定める。
　そして良否情報取得部２２２は、この閾値範囲の下限の値を初期値とし、閾値範囲の上限の値までの複数の値を閾値として、当該閾値を用いて部分画像データを二値化した画像を生成し、それぞれ二値化した画像を合成（二値化した画素値を累算して多値画像を生成）する。
　良否情報取得部２２２は、当該合成して得た多値画像に対してラベリング処理を施し、ラベリング処理で見いだされた画素塊に外接する矩形領域を順次選択して、選択した矩形領域の面積を求める。良否情報取得部２２２は、この求めた面積が「０」である場合には当該矩形領域に対する以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの擦り傷の抽出の処理を終了する）。
　良否情報取得部２２２は、求めた面積が「０」より大きい場合、選択している矩形領域のアスペクト比（長辺の長さを短辺の長さで除した値）を求め、このアスペクト比が、予め定めたアスペクト比しきい値よりも大きく（細長い形状である）か、またはラベリング処理で見いだされた画素塊の面積（ラベリングされた画素の数）を矩形領域（画素塊に外接する矩形）の面積で除した値が予め定めた面積比しきい値を超える場合（大きい傷である場合）には、以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの擦り傷の抽出の処理を終了する）。なお、ここでのアスペクト比しきい値や面積比しきい値は、線傷の抽出処理において利用するそれぞれのしきい値と同じでもよいし、異なっていてもよい。
　良否情報取得部２２２は、ここで細長い形状でなくかつ、大きい傷でない傷の画像と判断される画素塊が見いだされると、当該画素塊のラベルを、処理対象ラベルとして記録する。そして良否情報取得部２２２は、次の矩形領域を選択する処理から繰り返す。なお、ここで選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、良否情報取得部２２２は、処理対象ラベルとして記録したラベルに係る画素塊を取り囲む多角形領域を生成する。この多角形領域の生成は、いわゆる凸包を生成する処理であってもよいし、アルファシェイプ（平面上の有限点群の形状に付随する、単純で区分線形な一群の曲線で形成される形状）を生成する処理（いずれも広く知られているため、ここでの詳しい説明は省略する）であってもよい。
　良否情報取得部２２２は、処理の対象としている部分画像データに対応するパーツを特定する情報に、傷の種類が「擦り傷」である旨の情報と、ここで得た多角形領域の面積、部分画像データに対応するパーツ内での当該多角形領域の位置を特定する情報とを関連付けて、提案修理情報に含め、次の矩形領域を選択する処理から繰り返す。
［傷・デントの深さの推定］
　良否情報取得部２２２は、また、これらの線傷や擦り傷の抽出の処理に続けて、傷やデントの深さを抽出する処理を行ってもよい。
　傷やデントは、それらが深いほど、それらの中心部での明度は低くなる。そこで良否情報取得部２２２は、次のようにして傷やデントの中心部と周縁部との明度差を求める。すなわち良否情報取得部２２２は、各パーツの部分画像データごとに、部分画像データ（HSV色空間の画像データ）に対し、画素値のＶチャンネル（明度成分）の値をkmeans法により分類したときのしきい値（kmeansしきい値）を求める。そして良否情報取得部２２２は、このkmeansしきい値を含む所定の値の範囲を閾値範囲として定める、例えば良否情報取得部２２２は、kmeansしきい値Ｔkから予め定めた値τ（例えばこのτはkmeansしきい値ＴｋからＶチャンネルの画素値の平均Ｍとの差の絶対値としてもよい）を減算した値Ｔk－τを下限とし、kmeansしきい値Ｔkに当該予め定めた値τを加算した値Ｔk＋τを上限とする（ただし求めた下限が「０」（明度Ｖの最低値）を下回る場合は下限を「０」とし、求めた上限が明度Ｖが取り得る最大値、例えば「２５５」を上回る場合は上限を当該最大値とする）閾値範囲を定める。
　そして良否情報取得部２２２は、この閾値範囲の下限の値を初期値とし、閾値範囲の上限の値までの複数の値を閾値として、それぞれの閾値を用いて部分画像データを二値化した画像を生成し、それぞれの閾値を用いて生成した複数の二値化した画像のそれぞれから、等明度の閉曲線（コンター）を抽出する。
　良否情報取得部２２２は、抽出した等明度閉曲線のうち、より明度の高い閾値で二値化した画像から得られた等明度閉曲線であって、線傷や擦り傷と判定された画素塊をその閉曲線内に含まず、かつ、比較的明度の低い閾値で二値化した画像から得られた等明度閉曲線を内包する（下限の閾値の画像から得られた等明度閉曲線であるときには、線傷や擦り傷と判定された画素塊をその閉曲線内に含まない）等明度閉曲線を選択する。そして良否情報取得部２２２は、部分画像データのＶチャンネル（明度成分）の画像であって、当該選択した等明度閉曲線に対応する領域内で最も低い明度となっている画素の明度の値と、当該選択した等明度閉曲線に対応する領域外の画素であって、当該選択した等明度閉曲線に隣接する画素の平均値との差を求めて、この差により傷やデントなどの凹部の深さを推定する。具体的にはこの差が凹部の深さを表す値であるとして、処理の対象としている部分画像データに対応するパーツを特定する情報に、種類が「デント」である旨の情報と、部分画像データに対応するパーツ内での選択した等明度閉曲線の位置を特定する情報と、上記推定した凹部の深さの値とを関連付けて、提案修理情報に含め、次の矩形領域を選択する処理から繰り返す。
　良否情報取得部２２２は、以上のような処理を含む、提案修理情報を生成する処理を、各パーツの部分画像データについて繰り返し実行する。
　そして良否情報取得部２２２は、ここで得た提案修理情報（パーツごとの修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷の種類、修復対象部分に含まれる傷やデントの深さを表す情報）を、算出部２３に出力する。
　算出部２３は、良否判定部２２が出力する、パーツごとの提案修理情報を参照しつつ、対象物の修理に要する費用の見積を算出する。具体的にこの算出部２３は、パーツごとに、修理の必要の程度に対応した費用を算定する。例えば、この算出部２３は、修理の必要の程度である変形程度が、デントの面積（修復対象部分の大きさ）で表される場合、当該デントの単位面積あたりの費用の額を表す単価情報を予め設定しておき、当該単価情報に、修理の必要の程度である上記情報で表される面積を乗じて、費用の見積を算出する。
［動作］
　本実施の形態は以上の構成を備えており、次のように動作する。本実施の形態の見積支援装置１のユーザは、撮像装置２を用いて、修理見積の対象物である車両の画像を撮影する。そして当該対象物の画像データを見積支援装置１に入力する（図５：Ｓ１）。
　見積支援装置１は、受け入れた画像データ（複数ある場合はその各々）を参照して、当該画像データに撮像されている対象物のパーツごとの良否の程度を判断する。すなわち見積支援装置１は、受け入れた画像データに撮像された車両の画像から、当該車両の各パーツが撮像された画像の部分（画素の範囲）を特定する（Ｓ２）。この処理は、例えば輪郭線による領域の分割などの処理として実現できる。
　見積支援装置１は、受け入れた画像データから、ステップＳ２で特定した各パーツの部分の画像を抽出して、パーツごとの部分画像データを生成する（Ｓ３）。既に述べたように、この部分画像データは、抽出したパーツの部分の画像に外接する矩形状の画像データであって、パーツの部分の画像を内包し、パーツの部分以外の画素については無効な画素（例えば透過画素）として設定したものである。
　見積支援装置１は、ステップＳ３で得た各パーツの部分画像データについて、次の処理を繰り返して実行する。見積支援装置１は、ステップＳ３で得た各パーツの部分画像データのうち未選択のものを一つ選択し（Ｓ４）、当該選択した部分画像データに基づいて修理提案情報を生成する処理を実行する（Ｓ５）。
　一例としてこの修理提案情報の生成は、次のようにして行う。すなわち見積支援装置１は、図６に例示するように、ステップＳ４で選択した部分画像データを二値化した二値化画像と、当該部分画像データの色相成分のみを抽出した画像（色相成分画像）とを生成する（Ｓ１１）。
　そして見積支援装置１は、ステップＳ１１で生成した二値化画像と、色相成分画像とについてブロブ解析を行い、傷やデント等が生じている部分（以下修復対象部分と呼ぶ）を特定する（Ｓ１２）。なお、選択した部分画像データに含まれるパーツの画像に、傷やデント等が撮像されていない場合（パーツに傷等がないか、あるいは外観として見えない場合）は、見積支援装置１は、修復対象部分は特定しない。
　見積支援装置１は、ステップＳ１２で修復対象部分が特定されたか否かを判断し（Ｓ１３）、修復対象部分が特定されていれば（Ｓ１３：Ｙｅｓ）、選択された部分画像データについて、修復対象部分に含まれる各画素の画素値を、修復対象部分以外の画素であって、当該画素に最も近接する、パーツ部分の画素の画素値で置き換えるなどして、パーツが無傷である状態の推定画像を生成する（Ｓ１４：修復推定処理）。
　見積支援装置１は、ここで生成した推定画像と、修復推定処理前の部分画像データ（元データ）とをそれぞれ二値化した画像と、それぞれ色相成分を抽出した画像を生成して、当該二値化した画像同士、及び色相成分の画像同士を比較し、その比較の結果に基づいて、修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷やデントの深さ等の情報を得る。そして見積支援装置１は、選択した部分画像データに撮像されているパーツの修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷やデントの深さの情報等を、修理提案情報として生成する（Ｓ１５）。
　一方、見積支援装置１は、ステップＳ１３で修復対象部分が特定されていなければ（Ｓ１３：Ｎｏ）、選択した部分画像データに撮像されているパーツが無傷である旨の情報を生成する。
　見積支援装置１は、選択したパーツの部分画像データについて、この修理提案情報の生成を行うと、ステップＳ３で得たパーツの部分画像データのうち未選択のものがあればステップＳ４に戻って当該未選択の部分画像データの一つを選択して処理を続ける（Ｓ６）。
　これにより見積支援装置１は、パーツごとに修理が必要となっている部分の面積等に相当する情報を得ることとなる。見積支援装置１は、パーツの単位面積あたりの修理費用の額を表す単価情報を予め設定して保持しておき、当該単価情報に、修理の必要の程度である上記情報で表される面積を乗じて、パーツごとの修理の費用の見積を算出し（Ｓ７）、当該算出したパーツごとの修理の費用の見積、あるいはそれを累算した見積を出力してユーザに提示する（Ｓ８）。
　また見積支援装置１は、図６に例示した、ステップＳ５における修理提案情報の生成処理に代えて、次のような処理を行ってもよい。すなわち見積支援装置１は、ステップＳ４で選択した部分画像データに対して、既に説明した線傷の抽出処理と、擦り傷の抽出処理と、傷ないしデントの深さを推定する処理とを順次実行して、修理提案情報を生成してもよい。
　この例によっても、ステップＳ７においてパーツごとの修理の費用の見積を算出し、ステップＳ８でユーザに提示することが可能となる。
［変形例］
　本実施の形態のここまでの説明では、外形状の変形に基づいて修理の費用を算出することとしていたが、本実施の形態はこれに限られず、例えばパーツ識別子及びそれにより識別されるパーツ修理の必要の程度を表す情報を入力とし、過去に同じパーツに同程度の損傷が生じたときの内部（外形状の変形に現れない修理の必要な部分）の損傷の程度を表す情報を教師情報として予め機械学習した状態にあるニューラルネットワーク等を用いて、内部損傷を推定してもよい。
　この場合、見積支援装置１は、外形状の変形に対応する修理費用とともに、当該推定した内部損傷に対応する修理費用をユーザに提示してもよい。
　１　見積支援装置、２　撮像装置、１１　制御部、１２　記憶部、１３　操作部、１４　表示部、１５　入出力部、２１　画像受入部、２２　良否判定部、２３　算出部、２２１　パーツ認識部、２２２　良否情報取得部。

 

Claims (5)

  1. 　複数のパーツを含む対象物を撮像して得られた画像データを取得する取得手段と、
    　前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する判断手段と、
    　前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する算定手段と、
    　を含む見積支援装置。
  2. 　請求項１に記載の見積支援装置であって、
    　前記対象物は車両であり、
    　前記パーツの良否の程度は、パーツの変形の程度の情報を含む見積支援装置。
  3. 　請求項１または２に記載の見積支援装置であって、
    　前記判断手段は、
    　画像データをグレースケールに変換し、横方向と縦方向とのそれぞれの軸方向の各ラインから極小点を探索して、当該探索して見いだされた極小点であって、互いに隣接する極小点の組を見いだして、連続する極小点群を検出する処理を実行し、
    　当該検出された極小点群のうち、当該極小点群に属する極小点の数が予め定めた数より少ない極小点群を除く極小点群により構成される線分を、パーツの輪郭線として決定し、当該輪郭線を用いてパーツごとの部分画像データを得て、
    　当該得られたパーツごとの部分画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する見積支援装置。
  4. 　コンピュータを用い、
    　取得手段が、複数のパーツを含む対象物を撮像して得られた画像データを取得する工程と、
    　判断手段が、前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する工程と、
    　算定手段が、前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する工程と、
    　として機能させる見積支援方法。
  5. 　コンピュータを、
    　複数のパーツを含む対象物を撮像して得られた画像データを取得する取得手段と、
    　前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する判断手段と、
    　前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する算定手段と、
    　として機能させるプログラム。

     
PCT/JP2021/017936 2020-05-13 2021-05-11 見積支援装置、見積支援方法、及びプログラム WO2021230249A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022521935A JPWO2021230249A1 (ja) 2020-05-13 2021-05-11

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020084639 2020-05-13
JP2020-084639 2020-05-13
JP2021-012290 2021-01-28
JP2021012290 2021-01-28
JP2021-034751 2021-03-04
JP2021034751 2021-03-04

Publications (1)

Publication Number Publication Date
WO2021230249A1 true WO2021230249A1 (ja) 2021-11-18

Family

ID=78524533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017936 WO2021230249A1 (ja) 2020-05-13 2021-05-11 見積支援装置、見積支援方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2021230249A1 (ja)
WO (1) WO2021230249A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101849A (ja) * 2017-12-05 2019-06-24 あいおいニッセイ同和損害保険株式会社 損失価格評価システム
JP2019114059A (ja) * 2017-12-22 2019-07-11 三井住友海上火災保険株式会社 判定装置、修理費用判定システム、判定方法、および判定プログラム
WO2020071560A1 (ja) * 2018-10-05 2020-04-09 Ａｒｉｔｈｍｅｒ株式会社 車両損傷推定装置、その推定プログラムおよびその推定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101849A (ja) * 2017-12-05 2019-06-24 あいおいニッセイ同和損害保険株式会社 損失価格評価システム
JP2019114059A (ja) * 2017-12-22 2019-07-11 三井住友海上火災保険株式会社 判定装置、修理費用判定システム、判定方法、および判定プログラム
WO2020071560A1 (ja) * 2018-10-05 2020-04-09 Ａｒｉｔｈｍｅｒ株式会社 車両損傷推定装置、その推定プログラムおよびその推定方法

Also Published As

Publication number Publication date
JPWO2021230249A1 (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
US20220172348A1 (en) Information processing device, information processing method, and storage medium
TWI467515B (zh) 掃描文件之彩色捨去
US6941016B1 (en) Method for finding contours in an image of an object
KR100371470B1 (ko) 기울기-기반 지역 에지 검출을 위한 신규한 지각적 문턱값정하기 방법
CN111179243A (zh) 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统
CN110678901A (zh) 信息处理设备、信息处理方法和程序
CN107784669A (zh) 一种光斑提取及其质心确定的方法
US10453195B2 (en) Method of detecting tissue area of interest in digital pathology imaging by executing computer-executable instructions stored on a non-transitory computer-readable medium
CN110675346A (zh) 适用于Kinect的图像采集与深度图增强方法及装置
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
CN113034399A (zh) 基于双目视觉自主式水下机器人回收导引伪光源去除方法
CN110910339B (zh) Logo缺陷检测方法及装置
CN112614062A (zh) 菌落计数方法、装置及计算机存储介质
CN109166125A (zh) 一种基于多边缘融合机制的三维深度图像分割算法
CN115760820A (zh) 一种塑料件缺陷图像识别方法及应用
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN113674206A (zh) 一种适用于深熔k-tig焊熔池和锁孔入口特征参数的提取方法
CN111242888A (zh) 一种基于机器视觉的图像处理方法及系统
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN111667475A (zh) 一种基于机器视觉的大枣分级检测方法
JP3814353B2 (ja) 画像分割方法および画像分割装置
WO2021230249A1 (ja) 見積支援装置、見積支援方法、及びプログラム
JP6201922B2 (ja) 車両用錆検出装置、車両用錆検出システム、及び車両用錆検出方法
CN112270683B (zh) 一种ihc数字预览图识别和组织前景分割方法及系统
JP2000182181A (ja) 車両ナンバープレート認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21802948

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022521935

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21802948

Country of ref document: EP

Kind code of ref document: A1