WO2023188671A1 - 点検支援システム、点検支援方法、及び、点検支援プログラム - Google Patents

点検支援システム、点検支援方法、及び、点検支援プログラム Download PDF

Info

Publication number
WO2023188671A1
WO2023188671A1 PCT/JP2023/000032 JP2023000032W WO2023188671A1 WO 2023188671 A1 WO2023188671 A1 WO 2023188671A1 JP 2023000032 W JP2023000032 W JP 2023000032W WO 2023188671 A1 WO2023188671 A1 WO 2023188671A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
cad model
coordinate transformation
inspection
Prior art date
Application number
PCT/JP2023/000032
Other languages
English (en)
French (fr)
Inventor
翔太 石井
達也 坂井
亮 田中
Original Assignee
三菱重工業株式会社
三菱パワー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工業株式会社, 三菱パワー株式会社 filed Critical 三菱重工業株式会社
Priority to DE112023000151.0T priority Critical patent/DE112023000151T5/de
Priority to CN202380013420.0A priority patent/CN117916581A/zh
Priority to KR1020247008488A priority patent/KR20240044495A/ko
Priority to JP2024511265A priority patent/JPWO2023188671A1/ja
Publication of WO2023188671A1 publication Critical patent/WO2023188671A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an inspection support system, an inspection support method, and an inspection support program.
  • Patent Document 1 describes an inspection work in which the dimensions of defects in an inspection object are determined by analyzing a two-dimensional real image obtained by imaging an inspection object for which a three-dimensional CAD model exists in advance.
  • a method for supporting In this document, the shape of an inspection target included in a two-dimensional real image is identified, and the reference part included in the shape is extracted from a two-dimensional simulated image extracted from a three-dimensional CAD model corresponding to the inspection target. Defects included in the two-dimensional real image are depicted on the three-dimensional CAD model by comparison with the reference portion. By depicting the defect on the three-dimensional CAD model in this way, it becomes possible to determine the size of the defect on the three-dimensional CAD model.
  • Patent Document 1 in order to depict a defect on a three-dimensional CAD model, a reference portion specified from the shape of the inspection target included in a two-dimensional real image is compared with a reference portion on the three-dimensional CAD model. By doing so, coordinate transformation is performed. In order to perform such coordinate transformation with high accuracy, it is necessary to match the position and direction of the inspection object included in the two-dimensional actual image obtained by the imaging device to the position and direction set in the three-dimensional CAD model. Therefore, the degree of freedom is low. If the position and direction of the inspection object included in the 2D actual image differs greatly from the position and direction set in the 3D CAD model, the position of the defect depicted in the 3D CAD model will shift, The accuracy of determining dimensions, etc. will be reduced.
  • At least one embodiment of the present disclosure has been made in view of the above-mentioned circumstances, and is an inspection support capable of supporting the implementation of an inspection that can derive the three-dimensional position and size of a defect in an object to be inspected with a simple operation.
  • the purpose is to provide a system, an inspection support method, and an inspection support program.
  • an inspection support system for identifying the shape of the inspection target included in the two-dimensional real image based on a two-dimensional real image obtained by capturing an image of the inspection target with an imaging device; a defect detection unit for detecting defects in the inspection object included in the two-dimensional real image;
  • the first coordinate system corresponding to the three-dimensional CAD model is determined based on the shape identified by the shape identification unit and the three-dimensional CAD model of the object to be inspected.
  • a coordinate transformation parameter estimation unit for estimating a coordinate transformation parameter for transformation to a second coordinate system corresponding to a viewpoint of the device; a three-dimensional CAD model changing unit for changing the position and direction of viewpoint information of the three-dimensional CAD model of the inspection target using the coordinate transformation parameters; a two-dimensional simulated image extraction unit for extracting a two-dimensional simulated image corresponding to the two-dimensional actual image from the three-dimensional CAD model after the information has been changed; a depiction unit for depicting the defect image on the three-dimensional CAD model by adapting the two-dimensional real image containing the defect image indicating the defect detected by the defect detection unit to the two-dimensional simulated image; and, Equipped with
  • an inspection support method includes: a step of identifying the shape of the inspection target included in the two-dimensional real image based on a two-dimensional real image obtained by capturing an image of the inspection target with an imaging device; Detecting defects in the inspection object included in the two-dimensional real image; Based on the shape and the three-dimensional CAD model of the object to be inspected, a first coordinate system corresponding to the three-dimensional CAD model is set to a second coordinate system corresponding to the viewpoint of the imaging device that captured the two-dimensional actual image.
  • an inspection support program to the computer, a step of identifying the shape of the inspection target included in the two-dimensional real image based on a two-dimensional real image obtained by capturing an image of the inspection target with an imaging device; Detecting defects in the inspection object included in the two-dimensional real image; Based on the shape and the three-dimensional CAD model of the object to be inspected, a first coordinate system corresponding to the three-dimensional CAD model is set to a second coordinate system corresponding to the viewpoint of the imaging device that captured the two-dimensional actual image.
  • an inspection support system and an inspection support method capable of supporting the implementation of an inspection capable of deriving the three-dimensional position and size of a defect in an inspection target object with a simple operation, and We can provide inspection support programs.
  • FIG. 1 is a block diagram showing a schematic configuration of an inspection support system according to an embodiment.
  • 2 is a schematic diagram showing the hardware configuration of a client terminal and a server in FIG. 1.
  • FIG. FIG. 2 is a conceptual diagram for explaining a method of detecting a reference portion by the shape recognition section of FIG. 1;
  • FIG. 3 is a diagram conceptually illustrating a first coordinate system, a second coordinate system, and a correspondence relationship based on coordinate transformation parameters estimated by PNP.
  • 3 is a flowchart illustrating an inspection support method according to an embodiment. This is an example of a two-dimensional real image captured by an imaging device.
  • FIG. 2 is a schematic diagram showing a default posture of a three-dimensional CAD model.
  • FIG. 8 is a schematic diagram showing the posture of the three-dimensional CAD model of FIG. 7 after at least one of the position and direction is changed by a three-dimensional CAD model changing unit.
  • FIG. 2 is a block diagram showing a schematic configuration of an inspection support system according to another embodiment.
  • 10 is a schematic configuration diagram of the coordinate transformation parameter correction section of FIG. 9 configured as a variational autoencoder.
  • FIG. 1 is a block diagram showing a schematic configuration of an inspection support system 1 according to an embodiment.
  • the inspection support system 1 is a system for supporting the detection of defects in the inspection object 2 and the creation of a report regarding the inspection work when carrying out inspection work on the inspection object 2.
  • the user of the inspection support system 1 may be a worker who performs inspection work, a user who uses the inspection object 2, or another third party.
  • the defects detected by the inspection support system 1 are defects that can be determined from the appearance, and the types thereof include, for example, cracks, dents, scratches, poor coating, oxidation, thinning, and dirt.
  • the object to be inspected 2 may be the entire product, or may be a component (for example, a mechanical part) that constitutes the product. Furthermore, the inspection object 2 may be a new item, a repaired item, or an existing equipment.
  • the object to be inspected 2 may be, for example, a moving blade, a stationary blade, a ring segment, a combustor, etc. of a gas turbine.
  • the inspection support system 1 is configured to include at least one computer device. Although the inspection support system 1 may be configured as a single device, in FIG.
  • the terminal 6 and the server 8 cooperate to realize the functions of the inspection support system 1.
  • the communication network 4 may be a WAN (World Area Network) or a LAN (Local Area Network), and may be wireless or wired.
  • FIG. 2 is a schematic diagram showing the hardware configuration of the client terminal 6 and server 8 in FIG. 1.
  • the client terminal 6 includes a communication unit 10 for communicating with the server 8, a storage unit 11 for storing various data, an output unit 12 for outputting various information, and an input unit for receiving user input. section 13, and a calculation section 14 for performing various calculations.
  • the server 8 includes a communication section 15 for communicating with the client terminal 6, a storage section 16 for storing various data, and a calculation section 18 for performing various calculations.
  • the internal structures of the client terminal 6 and the server 8 are connected to each other via a bus line.
  • the communication units 10 and 15 are communication interfaces that include a NIC (Network Interface Card controller) for wired or wireless communication, and enable communication between the client terminal 6 and the server 8 .
  • NIC Network Interface Card controller
  • the storage units 11 and 16 are composed of RAM (Random Access Memory), ROM (Read Only Memory), etc., and each store a program (for example, an inspection support program) for executing various control processes executed by the client terminal 6 and the server 8. , a trained model (described later)) and data necessary for various control processes are stored.
  • the various data include three-dimensional CAD models of multiple objects.
  • a three-dimensional CAD model is stored in the storage unit 16 included in the server 8.
  • 3D CAD models of multiple objects require a large storage capacity, so storing them in the storage unit 16 on the server 8 side prevents the storage capacity on the client terminal 6 side from being overwhelmed. It can be prevented.
  • the client terminal 6 can be implemented as a small terminal such as a notebook computer or a portable terminal, which is effective in improving convenience.
  • the plurality of objects include the above-mentioned inspection object 2.
  • a three-dimensional CAD model is three-dimensional CAD data that shows the object as a mesh image in a three-dimensional virtual space with actual dimensions. The mesh image can be rotated, enlarged, and reduced, and the three-dimensional CAD model is configured so that a two-dimensional simulated image can be extracted from any viewpoint.
  • the storage units 11 and 16 may be configured by a single storage device, or may be configured by a plurality of storage devices. Furthermore, the storage units 11 and 16 may be external storage devices.
  • the output unit 12 is composed of an output device such as a display device, a speaker device, etc., for example.
  • the output unit 12 is an output interface for presenting various information to the user.
  • the input unit 13 is an input interface for externally inputting information necessary to perform various processes, and is composed of input devices such as operation buttons, a keyboard, a pointing device, and a microphone. Such information includes, in addition to instructions from the user, data regarding a two-dimensional actual image acquired by an imaging device, as will be described later.
  • the calculation units 14 and 18 are composed of processors such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the calculation units 14 and 18 control the operation of the entire system by executing programs stored in the storage units 11 and 16.
  • the client terminal 6 includes an image acquisition section 30, a shape identification section 32, a defect detection section 34, and a report creation section 36.
  • the server 8 also includes a coordinate transformation parameter estimation section 40, a three-dimensional CAD model modification section 41, an image extraction section 42, and a depiction section 44.
  • this embodiment exemplifies a case where these functional configurations are arranged across the client terminal 6 and the server 8, they may be arranged in either the client terminal 6 or the server 8.
  • the present embodiment may be realized by the client terminal 6 alone without using the server 8.
  • the functional configuration provided in one of the client terminal 6 and the server 8 may be appropriately placed in the other. In this way, the layout of the functional configuration of the inspection support system 1 can be changed as appropriate depending on its use.
  • the image acquisition unit 30 acquires a two-dimensional real image of the inspection object 2 captured by the imaging device 50.
  • the imaging device 50 is, for example, a camera compatible with visible light, and is configured to obtain a two-dimensional real image that is an image of the inspection object 2. Acquisition of the two-dimensional real image by the imaging device 50 may be performed at the same location as the inspection support system 1, particularly the client terminal 6 into which the two-dimensional real image is input, or may be performed at a different location (remote location). Good too. Data regarding such a two-dimensional real image is acquired by being input to the input unit 13 of the client terminal 6.
  • the shape identification unit 32 identifies the two-dimensional shape of the inspection object 2 in the two-dimensional real image acquired by the image acquisition unit 30.
  • the shape identification unit 32 may be configured to identify the shape of the inspection object 2 included in the two-dimensional real image by detecting a plurality of reference parts of the inspection object 2 in the two-dimensional real image.
  • FIG. 3 is a conceptual diagram for explaining a method of detecting a reference portion by the shape identification unit 32 of FIG. 1.
  • FIG. 3 shows an example in which the inspection object 2 has a triangular shape when viewed from the front, the shape is not limited.
  • the shape identification unit 32 is configured to detect a characteristic part of the inspection object 2 as a reference part.
  • the distinctive portion is a corner.
  • the characteristic portion may be any portion that is useful for identifying the shape, and may be, for example, a mark, a trademark, a keyhole, a button, etc. that serves as a landmark.
  • machine learning eg, SSD (Single Shot MultiBox Detector) technology
  • SSD technology is known as a method of detecting objects in images using deep learning.
  • the shape identification unit 32 searches within the two-dimensional real image P1 using the default box B0, and detects a corner of the inspection object 2 as a reference portion.
  • the shape of the reference portion is identified based on RGB values indicating red, green, and blue components for each pixel, the hue compared to other pixels, and brightness information.
  • the shape identification unit 32 can detect the reference portion even if there is some brightness variation due to, for example, a part of the two-dimensional real image P1 not being unclear. Detection of a reference portion based on such luminance information can be performed, for example, by using an estimation model constructed by machine learning using images with variations in luminance as learning data, which can be used to detect a two-dimensional real image with slight variations in luminance. The reference portion can be detected from the image P1.
  • the shape identification unit 32 detects the reference portion based on the RGB values, hue, and luminance information, so that detection errors due to variations in luminance can be reduced.
  • the shape identification unit 32 detects the shape of the reference part using deep learning machine learning, it is possible to automate the work performed by the operator and shorten the work time compared to when the operator identifies the reference part based on subjective judgment. is also possible.
  • R -CNN REGION BASED CONVOLUTIONAL NEURAL NEURAL NETWORKS
  • YOLO YOU ONLY LOOK ONCE
  • the defect detection unit 34 detects defects in the inspection object 2 included in the two-dimensional real image.
  • the defect detection unit 34 performs inspection using a learned model that has machine learned the relationship between two-dimensional real images of each of a plurality of objects including the inspection object 2 and defect images that may occur in the plurality of objects. Defects in the object 2 may also be detected.
  • the defect detection unit 34 may be configured to analyze the RGB values of each pixel of the two-dimensional real image and determine defects by classifying patterns of contrast and hue.
  • the coordinate transformation parameter estimation unit 40 converts a first coordinate system corresponding to the three-dimensional CAD model into a two-dimensional real image based on the shape identified by the shape identification unit 32 and the three-dimensional CAD model of the inspection object 2.
  • the coordinate transformation parameter is a parameter for transforming mutual coordinate points in the first coordinate system and the second coordinate system, and one type of estimation method thereof is PNP (Perspective-Points Problem).
  • the coordinate transformation parameters are a reference part of n points (n is any natural number) expressed by three-dimensional coordinates in a first coordinate system corresponding to a three-dimensional CAD model handled on three-dimensional CG software, and two points. Parameters for estimating the position and orientation that define viewpoint information of the imaging device in the first coordinate system based on those reference portions represented by two-dimensional coordinates in the second coordinate system corresponding to the dimensional real image. be.
  • FIG. 4 is a diagram conceptually showing the correspondence between the first coordinate system and the second coordinate system based on the coordinate transformation parameters estimated by PNP.
  • PNP includes the three-dimensional coordinates (X1, Coordinate transformation parameters (translational (vectors, rotation matrices, etc.) are estimated.
  • Estimation of coordinate transformation parameters in PNP is performed, for example, so that corresponding reference portions in the first coordinate system and the second coordinate system match.
  • the coordinate transformation parameter estimating unit 40 calculates a plurality of first reference parts (a plurality of first reference parts in the second coordinate system) of the inspection object 2 in the two-dimensional real image based on the shape identified by the shape identification unit 32.
  • a plurality of second reference portions (a plurality of coordinate points in the first coordinate system) are registered in advance in the three-dimensional CAD model. Registration of the second reference portion is performed by previously registering the second reference portion in a database or the like.
  • Such registration of the second reference portion may be performed, for example, by displaying a three-dimensional CAD model on a screen and specifying it on the screen by an operator using a cursor, pointer, or the like. Then, coordinate transformation parameters are estimated so that the first reference portion and the second reference portion match.
  • the coordinate transformation parameters include external parameters of the imaging device 50.
  • the external parameters are parameters necessary to define the position and direction (degrees of freedom: 6) of the imaging device 50 in the first coordinate system. In other words, it is not a relative position, but a parameter for reproducing the same location as the imaging position of the two-dimensional real image in the first coordinate system, and is expressed by, for example, a translation vector or a rotation matrix.
  • the coordinate conversion parameters may include internal parameters of the imaging device 50.
  • the internal parameters of the imaging device 50 are parameters related to the main body (lens) of the imaging device 50, such as the focal length f and the optical center. It is.
  • the optical center corresponds to the origin of the second coordinate system, is a parameter unique to the lens, and is expressed as two-dimensional coordinates (Cu, Cv).
  • the three-dimensional coordinates (Xw, Yw, Zw) of the feature point in the first coordinate system corresponding to the three-dimensional CAD model and the two-dimensional coordinate (u , v) is expressed below.
  • the three-dimensional CAD model changing unit 41 changes the position and direction of the viewpoint information of the three-dimensional CAD model of the inspection object 2 using the coordinate transformation parameters estimated by the coordinate transformation parameter estimation unit 40. do.
  • the viewpoint information of the 3D CAD model indicated by the viewpoint from the camera at a specific position and direction on the 3D CAD model drawing software corresponds to the viewpoint of the imaging device 50 that captured the 2D actual image. The position and orientation are changed accordingly.
  • the image extraction unit 42 refers to the 3D CAD model whose viewpoint information has been changed by the 3D CAD model change unit 41 based on the identification result by the shape identification unit 32, and extracts a 2D real image from the 3D CAD model. Extract a two-dimensional simulated image corresponding to .
  • the depiction unit 44 adjusts the defect image showing the defect detected by the defect detection unit 34 to fit the two-dimensional simulated image, and depicts the adjusted defect image on the three-dimensional CAD model. This adjustment may be performed before or at the time of rendering, or once rendered and may be performed on the already rendered defect image.
  • the three-dimensional CAD model with the defect image depicted may be displayed on the display device of the output unit 12.
  • the depiction unit 44 uses a transformation method such as geometric transformation (planar transformation), for example, affine transformation, to convert a two-dimensional real image into a two-dimensional image using a reference portion (a plurality of coordinate points) of the target image as an input value.
  • a transformation method such as geometric transformation (planar transformation), for example, affine transformation
  • the drawing unit 44 defines a defect along the converted coordinates and draws it on the three-dimensional CAD model by projecting it.
  • the depiction unit 44 compares the lengths of sides determined from the positional relationships of a plurality of reference parts between the two-dimensional real image and the two-dimensional simulated image, and enlarges the defect image based on their similarity ratio. Or it may be reduced.
  • the depiction unit 44 may compare the positional relationship of a plurality of reference portions between the two-dimensional real image and the two-dimensional simulated image, and perform adjustment of the aspect ratio, parallel movement, linear transformation, etc. of the defect image. .
  • the depiction unit 44 transforms the defect image
  • other transformations such as affine transformation, projective transformation, similarity transformation, inversion transformation, perspective transformation, etc. may also be used. good.
  • the report creation unit 36 derives the three-dimensional position and dimensions of the defect in the inspection object 2 from the dimension data of the three-dimensional CAD model, and creates a report containing the results of deriving the position and dimensions.
  • the created report may be stored in the storage unit 11, or may be sent to another device (for example, a server device that manages reports).
  • FIG. 5 is a flowchart showing an inspection support method according to an embodiment.
  • the inspection target object 2 is imaged using the imaging device 50 (step S1).
  • the inspection object 2 can be imaged from any position and direction, and the two-dimensional real image obtained by the imaging device 50 is input to the client terminal 6 as data.
  • the image acquisition unit 30 acquires a two-dimensional real image as data input from the imaging device 50 (step S2).
  • the shape identification unit 32 detects the reference portion of the inspection object 2 in the two-dimensional real image acquired in step S2, and identifies the shape of the inspection object 2 (step S3).
  • the coordinate transformation parameter estimating unit 40 accesses the learning model related to the reference portion detected when identifying the shape in step S3 (step S4), and estimates the coordinate transformation parameter (step S5).
  • the method of estimating the coordinate transformation parameters is specifically performed by, for example, PNP as described above.
  • the three-dimensional CAD model changing unit 41 changes at least one of the position or direction of the three-dimensional CAD model using the coordinate transformation parameters (for example, translation vector, rotation matrix, etc.) estimated in step S5 (step S6 ).
  • coordinate transformation parameters for example, translation vector, rotation matrix, etc.
  • FIG. 6 is an example of a two-dimensional real image captured by the imaging device 50
  • FIG. 7 is a schematic diagram showing the default posture of the three-dimensional CAD model
  • FIG. 4 is a schematic diagram showing the posture after at least one of the position and the direction has been changed by the model changing unit 41;
  • the three-dimensional CAD model having such a default posture can be modified by changing at least one of the position or direction of the three-dimensional CAD model having the default posture shown in FIG. By adopting the posture corresponding to the two-dimensional real image shown in FIG. 6, all reference portions C1 to C7 are included.
  • the image extracting unit 42 of the server 8 extracts a plurality of reference portions of the inspection object 2 detected from the two-dimensional actual image from the three-dimensional CAD model whose viewpoint information has been changed by the three-dimensional CAD model changing unit 41.
  • a two-dimensional simulated image including the portion is extracted (step S7).
  • step S7 for example, a three-dimensional CAD model with changed viewpoint information may be displayed on the screen, and a two-dimensional simulated image may be extracted by obtaining a screenshot of the screen.
  • the screenshot may be taken by actually displaying the 3D CAD model with changed viewpoint information on the screen, or it may be taken computationally without displaying it on the screen. good. Rendering or a trained model may be used for this extraction.
  • the defect detection unit 34 of the client terminal 6 instructs the server 8 to detect defects in the inspection object 3 based on the two-dimensional real image acquired in step S2 (step S8).
  • the server 8 that has received the detection instruction accesses a learning model for defect detection prepared in advance (step S9), and executes defect detection using the learning model (step S10).
  • the client terminal 6 acquires the detection result of step S10 from the server 8, and determines whether or not there is a defect in the inspection object 2 based on the detection result (step S11). If it is determined that the inspection object 2 has no defects (step S11: NO), steps S12 to S14 are skipped, and the report creation unit 36 creates a report indicating that there are no defects (step S15). ).
  • the depiction unit 44 of the server 8 creates a two-dimensional real image (i.e., defect image) showing the defect detected in step S10. Adaptation is performed to match the dimensional simulation image (step S12), and the adjusted defect image is depicted on a three-dimensional CAD model (step S13). Then, the client terminal 6 acquires data (for example, dimension data) regarding the three-dimensional CAD model in which the defect image is depicted (step S14), and the report creation unit 36 uses the data to determine the three-dimensional shape of the defect in the inspection object 2. The approximate position and dimensions are derived, and a report containing the derived results is created (step S15).
  • data for example, dimension data
  • FIG. 9 is a block diagram showing a schematic configuration of an inspection support system 1' according to another embodiment.
  • the inspection support system 1' further includes a coordinate transformation parameter modification section 46, compared to the above-described embodiment.
  • the coordinate transformation parameter modification unit 46 modifies the coordinate transformation parameters estimated by the coordinate transformation parameter estimation unit 40 by noise removal using machine learning.
  • the coordinate transformation parameter estimation unit 40 estimates coordinate transformation parameters so that the reference portion specified in the two-dimensional real image and the reference portion specified on the three-dimensional CAD model match as described above.
  • the detection of each reference portion by the coordinate transformation parameter estimation unit 40 is performed, for example, by measurement by image analysis within the server 8, manual designation by an operator, or machine learning using a machine learning model. Therefore, the estimated coordinate transformation parameters may have errors based on measurement errors in image analysis, human errors during manual input by an operator, or uncertainties in the machine learning model.
  • the coordinate transformation parameter correction unit 46 the coordinate transformation parameters are corrected so that such errors are reduced.
  • the correction of the coordinate transformation parameters by the coordinate transformation parameter modification unit 46 can be performed, for example, by noise removal using machine learning.
  • FIG. 10 is a schematic configuration diagram of the coordinate transformation parameter correction unit 46 of FIG. 9 configured as a variational autoencoder.
  • the coordinate transformation parameter correction unit 46 includes an encoder 46a and a decoder 46b, which are a type of neural network.
  • the encoder 46a receives coordinate transformation parameters as input and performs dimension compression.
  • the output from the encoder has a mean and variance specified, and the distribution defined from these is modified to be a standard normal distribution. Then, the modified result is restored by the decoder 46b to become a modified coordinate transformation parameter having the original dimensions.
  • an abnormality contained in the input coordinate transformation parameters before modification is not reproduced, and the values are corrected to normal values and output.
  • the coordinate transformation parameter correction unit 46 using variational autoencoders is illustrated, but other methods include, for example, generative adversarial networks (GAN), principal component analysis ( Principal Component Analysis), k-means clustering, vector quantization (VQ), etc. may also be used.
  • GAN generative adversarial networks
  • Principal Component Analysis Principal Component Analysis
  • VQ vector quantization
  • the inspection support system 1' is equipped with the coordinate transformation parameter correction unit 46, so that measurement errors in image analysis, human errors during manual input by the operator, or coordinate transformation parameters based on uncertainties in machine learning models can be corrected. Error can be reduced. As a result, it is possible to accurately depict a defect image on a three-dimensional CAD model.
  • the shape of the inspection object included in the two-dimensional real image used for estimating the coordinate transformation parameters is identified by, for example, image analysis or manual input by the worker, so there are considerable errors in these.
  • the aspect (7) above by correcting the estimated coordinate transformation parameters by using noise removal by machine learning, the influence of such errors is reduced, and the coordinate transformation using the coordinate transformation parameters is reduced. The accuracy can be effectively improved.
  • the first coordinates corresponding to the three-dimensional CAD model are Coordinate transformation parameters for transforming the system into a second coordinate system corresponding to the viewpoint of the imaging device that captured the two-dimensional real image are estimated.
  • the position and direction of the viewpoint information of the three-dimensional CAD model are changed to correspond to the inspection target included in the two-dimensional real image.
  • An inspection support system includes: a shape identification unit for identifying the shape of the inspection target included in the two-dimensional real image based on a two-dimensional real image obtained by capturing an image of the inspection target with an imaging device; a defect detection unit for detecting defects in the inspection object included in the two-dimensional real image; The first coordinate system corresponding to the three-dimensional CAD model is determined based on the shape identified by the shape identification unit and the three-dimensional CAD model of the object to be inspected.
  • a coordinate transformation parameter estimation unit for estimating a coordinate transformation parameter for transformation to a second coordinate system corresponding to a viewpoint of the device; a three-dimensional CAD model changing unit for changing the position and direction of viewpoint information of the three-dimensional CAD model of the inspection target using the coordinate transformation parameters; a two-dimensional simulated image extraction unit for extracting a two-dimensional simulated image corresponding to the two-dimensional actual image from the three-dimensional CAD model after the viewpoint information has been changed; a depiction unit for depicting the defect image on the three-dimensional CAD model by adapting the two-dimensional real image including a defect image indicating the defect detected by the defect detection unit to the two-dimensional simulated image; and, Equipped with
  • the first coordinate system corresponding to the three-dimensional CAD model is determined.
  • Coordinate transformation parameters for transforming the two-dimensional real image into a second coordinate system corresponding to the viewpoint of the imaging device that captured the image are estimated.
  • This coordinate transformation parameter includes, for example, a translation vector and a rotation matrix, and is a parameter for transforming the first coordinate system into the second coordinate system, which is a two-dimensional coordinate system.
  • the coordinate transformation parameters are a reference part of n points (n is any natural number) expressed by three-dimensional coordinates in a first coordinate system corresponding to a three-dimensional CAD model handled on three-dimensional CG software, and two points.
  • Parameters for estimating the position and orientation that define viewpoint information of the imaging device in the first coordinate system based on those reference portions represented by two-dimensional coordinates in the second coordinate system corresponding to the dimensional real image. be.
  • the position and/or direction of the viewpoint information of the three-dimensional CAD model is changed to correspond to the inspection target included in the two-dimensional real image.
  • the coordinate transformation parameter estimation unit specifies in advance a plurality of first reference portions of the inspection target in the two-dimensional real image based on the shape identified by the shape identification unit, and The coordinate transformation parameters are estimated so that the plurality of registered second reference portions match the plurality of first reference portions.
  • the first reference portion specified in advance for the inspection target included in the two-dimensional actual image and the second reference portion registered in advance in the three-dimensional CAD model are matched.
  • coordinate transformation parameters are estimated.
  • the coordinate transformation parameters include external parameters for defining the position and orientation of the imaging device in the first coordinate system.
  • the first coordinate system corresponding to the three-dimensional CAD model can be suitably transformed into the second coordinate system corresponding to the two-dimensional actual image.
  • the coordinate transformation parameters further include internal parameters regarding the imaging device.
  • the coordinate transformation parameters include, for example, internal parameters such as focal length and optical center, which are parameters unique to the imaging device.
  • internal parameters such as focal length and optical center
  • the coordinate transformation parameters that take into account the unique characteristics of each imaging device (differences in specifications, individual differences, etc.) can be used to
  • the first coordinate system corresponding to the three-dimensional CAD model can be suitably transformed into the second coordinate system corresponding to the two-dimensional real image.
  • the depiction unit determines the position and location of the defective image to be depicted by plane-converting the two-dimensional real image including the defective image based on the result of comparing the two-dimensional real image and the two-dimensional simulated image. Adjust dimensions.
  • the two-dimensional actual image and the two-dimensional simulated image are compared, and the position and dimensions of the defective image are adjusted based on the differences in their positional relationship, shape, dimensions, etc. .
  • the position and dimensions of a defective image are adjusted based on the differences in their positional relationship, shape, dimensions, etc. .
  • the apparatus further includes a report creation unit that creates a report including the results.
  • a report including the three-dimensional position and dimensions of the defect is created, so the workload of creating the report is reduced.
  • statistics for example, if the defect is a dent, the position where the dent is likely to occur can be identified from the statistical data. is also possible.
  • the apparatus further includes a coordinate transformation parameter modification unit for modifying the coordinate transformation parameters by noise removal using machine learning.
  • the shape of the inspection object included in the two-dimensional real image used for estimating the coordinate transformation parameters is identified by, for example, image analysis or manual input by the worker, so there are considerable errors in these.
  • the aspect (7) above by correcting the estimated coordinate transformation parameters by using noise removal by machine learning, the influence of such errors is reduced, and the coordinate transformation using the coordinate transformation parameters is reduced. The accuracy can be effectively improved.
  • An inspection support method includes: a step of identifying the shape of the inspection target included in the two-dimensional real image based on a two-dimensional real image obtained by capturing an image of the inspection target with an imaging device; Detecting defects in the inspection object included in the two-dimensional real image; Based on the shape and the three-dimensional CAD model of the object to be inspected, a first coordinate system corresponding to the three-dimensional CAD model is set to a second coordinate system corresponding to the viewpoint of the imaging device that captured the two-dimensional actual image.
  • the first coordinate system corresponding to the three-dimensional CAD model is determined.
  • Coordinate transformation parameters for transforming the two-dimensional real image into a second coordinate system corresponding to the viewpoint of the imaging device that captured the image are estimated.
  • This coordinate transformation parameter includes, for example, a translation vector and a rotation matrix, and is a parameter for transforming the first coordinate system into the second coordinate system, which is a two-dimensional coordinate system.
  • the coordinate transformation parameters are a reference part of n points (n is any natural number) expressed by three-dimensional coordinates in a first coordinate system corresponding to a three-dimensional CAD model handled on three-dimensional CG software, and two points.
  • Parameters for estimating the position and orientation that define viewpoint information of the imaging device in the first coordinate system based on those reference portions represented by two-dimensional coordinates in the second coordinate system corresponding to the dimensional real image. be.
  • at least one of the position or direction of the viewpoint information of the three-dimensional CAD model is changed to correspond to the inspection target included in the two-dimensional real image.
  • the inspection support program according to one aspect: to the computer, to the computer, a step of identifying the shape of the inspection target included in the two-dimensional real image based on a two-dimensional real image obtained by capturing an image of the inspection target with an imaging device; Detecting defects in the inspection object included in the two-dimensional real image; Based on the shape and the three-dimensional CAD model of the object to be inspected, a first coordinate system corresponding to the three-dimensional CAD model is set to a second coordinate system corresponding to the viewpoint of the imaging device that captured the two-dimensional actual image.
  • the first coordinate system corresponding to the three-dimensional CAD model is determined.
  • Coordinate transformation parameters for transforming the two-dimensional real image into a second coordinate system corresponding to the viewpoint of the imaging device that captured the image are estimated.
  • This coordinate transformation parameter includes, for example, a translation vector and a rotation matrix, and is a parameter for transforming the first coordinate system into the second coordinate system, which is a two-dimensional coordinate system.
  • the coordinate transformation parameters are a reference part of n points (n is any natural number) expressed by three-dimensional coordinates in a first coordinate system corresponding to a three-dimensional CAD model handled on three-dimensional CG software, and two points.
  • Parameters for estimating the position and orientation that define viewpoint information of the imaging device in the first coordinate system based on those reference portions represented by two-dimensional coordinates in the second coordinate system corresponding to the dimensional real image. be.
  • the position and direction of the viewpoint information of the three-dimensional CAD model are changed to correspond to the inspection target included in the two-dimensional real image.
  • Imaging device 1 Inspection support system 2 Inspection object 4 Communication network 6 Client terminal 8 Server 10 Communication unit 11 Storage unit 12 Output unit 13 Input unit 14 Calculation unit 15 Communication unit 16 Storage unit 18 Calculation unit 30 Image acquisition unit 32 Shape identification unit 34 Defect Detection unit 36 Report creation unit 40 Coordinate transformation parameter estimation unit 41 Model modification unit 42 Image extraction unit 44 Delineation unit 50 Imaging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

点検支援システムは、形状識別部、欠陥検出部、座標変換パラメータ推定部、３次元ＣＡＤモデル変更部、二次元模擬画像抽出部、及び、描写部を備える。形状識別部は、撮像装置で撮像された二次元実画像に基づいて点検対象物の形状を識別する。欠陥検出部は、二次元実画像に含まれる点検対象物の欠陥を検出する。座標変換パラメータ推定部は、識別された形状、及び、３次元ＣＡＤモデルに基づいて、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像を撮像した撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定する。３次元ＣＡＤモデル変更部は、座標変換パラメータを用いて３次元ＣＡＤモデルの視点情報の位置及び方向を変更する。二次元模擬画像抽出部は、視点情報が変更された後の３次元ＣＡＤモデルから二次元模擬画像を抽出する。描写部は、欠陥画像を含む二次元実画像を二次元模擬画像に適合することにより、欠陥画像を３次元ＣＡＤモデル上に描写する。

Description

点検支援システム、点検支援方法、及び、点検支援プログラム
　本開示は、点検支援システム、点検支援方法、及び、点検支援プログラムに関する。
　本願は、２０２２年３月２８日に日本国特許庁に出願された特願２０２２－０５１３４３号に基づき優先権を主張し、その内容をここに援用する。
　点検員が点検対象物（製品、機械部品や製造過程の中間生産物も含む）を目視点検して、欠陥の寸法等を判定して報告書に記入する場合、手間がかかり、点検員の能力差によって正確性にバラツキが生じてしまう。このような課題を解決するための手段として、近年、点検対象物をカメラ等の撮像装置で撮像して得られた二次元実画像を解析することにより、欠陥の寸法等の判定を可能にする技術が提案されている。
　例えば特許文献１には、予め３次元ＣＡＤモデルが存在する点検対象物を撮像することで得られた二次元実画像を解析することで、点検対象物にある欠陥の寸法等を判定する点検作業を支援する方法に関して開示されている。この文献では、二次元実画像に含まれる点検対象物の形状を識別し、当該形状に含まれる基準部分を、点検対象物に対応する３次元ＣＡＤモデルから抽出された二次元模擬画像に含まれる基準部分と比較することにより、二次元実画像に含まれる欠陥を３次元ＣＡＤモデル上に描写する。このように３次元ＣＡＤモデル上に欠陥を描写することで、３次元ＣＡＤモデル上において欠陥の寸法の判定が可能となる。
特開２０２１－２１６６９号公報
　上記特許文献１では、３次元ＣＡＤモデル上に欠陥を描写するために、二次元実画像に含まれる点検対象物の形状から特定される基準部分を、３次元ＣＡＤモデル上の基準部分と比較することにより、座標変換を行っている。このような座標変換を精度よく行うためには、撮像装置で得られた二次元実画像に含まれる点検対象物の位置や方向を、３次元ＣＡＤモデルで設定された位置・方向に合わせる必要があるため、自由度が低い。仮に、二次元実画像に含まれる点検対象物の位置や方向が、３次元ＣＡＤモデルで設定された位置・方向から大きく異なると、３次元ＣＡＤモデルに描写される欠陥の位置がずれてしまい、寸法等の判定精度が低下してしまう。
　本開示の少なくとも一実施形態は上述の事情に鑑みなされたものであり、簡易的な操作で点検対象物における欠陥の３次元的な位置及び寸法を導出可能な点検の実施を支援可能な点検支援システム、点検支援方法、及び、点検支援プログラムを提供することを目的とする。
　本開示の少なくとも一実施形態に係る点検支援システムは、上記課題を解決するために、
　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するための形状識別部と、
　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するための欠陥検出部と、
　前記形状識別部によって識別された前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するための座標変換パラメータ推定部と、
　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するための３次元ＣＡＤモデル変更部と、
　前記情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するための二次元模擬画像抽出部と、
　前記欠陥検出部で検出された前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するための描写部と、
を備える。
　本開示の少なくとも一実施形態に係る点検支援方法は、上記課題を解決するために、
　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するステップと、
　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するステップと、
　前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するステップと、
　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するステップと、
　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するステップと、
　前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するステップと、
を備える。
　本開示の少なくとも一実施形態に係る点検支援プログラムは、上記課題を解決するために、
　コンピュータに、
　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するステップと、
　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するステップと、
　前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するステップと、
　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するステップと、
　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するステップと、
　前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するステップと、
を実行させる。
　本開示の少なくとも一実施形態によれば、簡易的な操作で点検対象物における欠陥の３次元的な位置及び寸法を導出可能な点検の実施を支援可能な点検支援システム、点検支援方法、及び、点検支援プログラムを提供できる。
一実施形態に係る点検支援システムの概略構成を示すブロック図である。 図１のクライアント端末及びサーバのハードウェア構成を示す概略図である。 図１の形状識別部による基準部分の検出方法を説明するための概念図である。 ＰＮＰによって推定される座標変換パラメータによる第１座標系と第２座標系と対応関係を概念的に示す図である。 一実施形態に係る点検支援方法を示すフローチャートである。 撮像装置によって撮像された二次元実画像の一例である。 ３次元ＣＡＤモデルのデフォルト姿勢を示す模式図である。 図７の３次元ＣＡＤモデルが３次元ＣＡＤモデル変更部によって位置又は方向の少なくとも一方の少なくとも一方が変更された後の姿勢を示す模式図である。 他の実施形態に係る点検支援システムの概略構成を示すブロック図である。 変分オートエンコーダとして構成された図９の座標変換パラメータ修正部の概略的な構成図である。
　以下、添付図面を参照して本開示の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成要素の寸法、材質、形状、その相対的配置等は、本開示の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
　図１は一実施形態に係る点検支援システム１の概略構成を示すブロック図である。点検支援システム１は、点検対象物２に対して点検作業を実施する際に、点検対象物２における欠陥の検出や、点検作業に関する報告書の作成を支援するためのシステムである。点検支援システム１のユーザは、点検作業を行う作業員であってもよいし、点検対象物２を使用する使用者であってもよいし、その他の第三者であってもよい。また点検支援システム１によって検出される欠陥は、外観から判別可能な欠陥であり、その種類は、例えば、ひび割れ、へこみ、傷、コーティング不良、酸化、減肉、汚れ等である。
　点検対象物２は、製品全体であってもよいし、製品を構成する部品（例えば、機械部品）等であってもよい。また点検対象物２は、新品であってもよいし、補修品であってもよいし、既設の設備であってもよい。点検対象物２は、例えば、ガスタービンの動翼、静翼、分割環、燃焼器等であってもよい。
　点検支援システム１は、少なくとも１つのコンピュータ装置を含んで構成される。点検支援システム１は、単一の装置として構成されていてもよいが、図１では、通信ネットワーク４を介して互いに通信可能な通信端末であるクライアント端末６及びサーバ８を含んで構成され、クライアント端末６及びサーバ８が協働して、点検支援システム１の機能を実現する。
　尚、通信ネットワーク４は、ＷＡＮ（Ｗｏｒｌｄ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）であってもよく、また無線又は有線を問わない。
　ここで図２は図１のクライアント端末６及びサーバ８のハードウェア構成を示す概略図である。クライアント端末６は、サーバ８と通信を行うための通信部１０と、各種データを記憶するための記憶部１１と、各種情報を出力するための出力部１２と、ユーザの入力を受け付けるための入力部１３と、各種演算を行うための演算部１４とを備える。サーバ８は、クライアント端末６と通信を行うための通信部１５と、各種データを記憶するための記憶部１６と、各種演算を行うための演算部１８とを備える。クライアント端末６及びサーバ８では、これらの内部構成が互いにバスラインを介して接続されている。
　通信部１０，１５は、有線通信又は無線通信を行うためのＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ　ｃｏｎｔｒｏｌｌｅｒ）を備える通信インターフェースであり、クライアント端末６及びサーバ８管での通信を可能とする。
　記憶部１１，１６は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等から構成され、それぞれクライアント端末６及びサーバ８で実施する各種制御処理を実行するためのプログラム（例えば、点検支援プログラム、後述する学習済みモデル）や、各種制御処理に必要なデータが記憶される。
　各種データには、複数の対象物の３次元ＣＡＤモデルが含まれる。本実施形態では、サーバ８が有する記憶部１６に３次元ＣＡＤモデルが記憶される。一般的に複数の対象物の３次元ＣＡＤモデルは大きな記憶容量を必要とするため、サーバ８側の記憶部１６に記憶しておくことで、クライアント端末６側の記憶容量が圧迫されることを防止できる。この場合、クライアント端末６を例えばノートパソコンのような小型端末やポータブル端末で実現できるため、利便性向上に効果的である。
　複数の対象物には、前述の点検対象物２が含まれる。３次元ＣＡＤモデルとは、その対象物を、実際の寸法の３次元の仮想空間上においてメッシュ画像で示す３次元のＣＡＤデータである。メッシュ画像は、回転、拡大、縮小が可能であり、３次元ＣＡＤモデルは、任意の視点で二次元模擬画像を抽出可能に構成される。
　尚、記憶部１１，１６は、単一の記憶装置によって構成されてもよいし、複数の記憶装置によって構成されてもよい。また記憶部１１，１６は、外部記憶装置であってもよい。
　出力部１２は、例えば、ディスプレイ装置、スピーカー装置等の出力装置から構成される。出力部１２は、ユーザに各種情報を提示するための出力インターフェースである。
　入力部１３は、外部から各種処理を実施するために必要な情報を入力するための入力インターフェースであり、例えば、操作ボタン、キーボード、ポインティングデバイス、マイクロフォン等の入力装置から構成される。このような情報には、ユーザによる指示に加えて、後述するように撮像装置で取得された二次元実画像に関するデータ等が含まれる。
　演算部１４，１８は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサから構成される。演算部１４，１８は、記憶部１１，１６に記憶されているプログラムを実行することにより、システム全体の動作を制御する。
　続いて点検支援システム１を構成するクライアント端末６及びサーバ８の機能的構成について具体的に説明する。図１に示すように、クライアント端末６は、画像取得部３０と、形状識別部３２と、欠陥検出部３４と、報告書作成部３６とを備える。またサーバ８は、座標変換パラメータ推定部４０と、３次元ＣＡＤモデル変更部４１と、画像抽出部４２と、描写部４４とを備える。
　尚、本実施形態では、これらの機能的構成がクライアント端末６及びサーバ８にわたって配置される場合を例示しているが、クライアント端末６又はサーバ８のいずれか一方に配置されていてもよい。例えば、図１でサーバ８側に示す構成をクライアント端末６に配置することで、サーバ８を用いずにクライアント端末６単体で本実施形態を実現するようにしてもよい。またクライアント端末６又はサーバ８のうち一方が備える機能的構成は、適宜他方に配置されていてもよい。このように点検支援システム１が備える機能的構成は、その用途に応じて適宜レイアウトを変更可能である。
　画像取得部３０は、点検対象物２を撮像装置５０で撮像した二次元実画像を取得する。撮像装置５０は、例えば可視光に対応したカメラであり、点検対象物２を撮像した画像である二次元実画像を取得するように構成される。撮像装置５０による二次元実画像の取得は、点検支援システム１、特に二次元実画像が入力されるクライアント端末６と同じ場所で行われてもよいし、異なる場所（遠隔地）で行われてもよい。このような二次元実画像に関するデータは、クライアント端末６の入力部１３に入力されることで取得される。
　形状識別部３２は、画像取得部３０が取得した二次元実画像中の点検対象物２の二次元の形状を識別する。形状識別部３２は、二次元実画像において点検対象物２の複数の基準部分を検出することによって二次元実画像に含まれる点検対象物２の形状を識別するように構成されていてもよい。
　ここで図３は図１の形状識別部３２による基準部分の検出方法を説明するための概念図である。尚、図３では、点検対象物２が正面視において三角形状である場合を例示しているが、その形状は限定されない。
　まず形状識別部３２は、点検対象物２の特徴的な部分を基準部分として検出するように構成される。一実施形態では、特徴的な部分は、角部である。尚、特徴的な部分は、形状を識別するために役立つ部分であればよく、例えば、目印となるようなマーク、商標、鍵穴、ボタン等であってもよい。
　一実施形態における基準部分の検出方法では、機械学習（例：ＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ）技術）が使用される。ＳＳＤ技術は、深層学習により画像内の物体を検出する手法として知られている。具体的には、図３に示すように、形状識別部３２は、デフォルトボックスＢ０を用いて二次元実画像Ｐ１内を探索し、点検対象物２の角部を基準部分として検出する。基準部分の形状は、ピクセルごとの赤、緑、青の成分を示すＲＧＢ値と、他のピクセルと比較した色合いと、輝度情報とに基づいて識別される。
　その結果、３つの角部に対応するデフォルトボックスＢ１、Ｂ２、Ｂ３が基準部分として検出される。また、形状識別部３２は、輝度情報を入力に含むことにより、例えば二次元実画像Ｐ１の一部が不鮮明でないことにより多少の輝度変動が有る場合であっても、基準部分を検出できる。このような輝度情報に基づく基準部分の検出は、例えば、輝度にバラツキを与えた画像を学習データとして用いた機械学習によって構築された推定モデルを用いることで、多少の輝度変動を含む二次元実画像Ｐ１からの基準部分の検出が可能となる。
　このように形状識別部３２では、ＲＧＢ値、色合い及び輝度情報に基づいて基準部分を検出するため、輝度の変動による検出の誤差を小さくできる。また、深層学習の機械学習によって基準部分の形状を識別する場合には、オペレータが主観に基づく判断によって基準部分を特定する場合に比べて、オペレータによる作業を自動化し、作業時間の短縮を図ることも可能である。
　尚、他の実施形態では、基準部分の検出に用いられる機械学習の他手法として、例えば、領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ：Ｒｅｇｉｏｎ　Ｂａｓｅｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ）やＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）を用いることもできる。
　欠陥検出部３４は、二次元実画像に含まれる点検対象物２の欠陥を検出する。欠陥検出部３４は、点検対象物２を含む複数の対象物のそれぞれの二次元実画像と、複数の対象物に発生し得る欠陥画像との関係性を機械学習した学習済みモデルを用いて点検対象物２の欠陥を検出してもよい。例えば、欠陥検出部３４は、二次元実画像の各ピクセルのＲＧＢ値を解析し、そのコントラストや色合いのパターン分類によって欠陥を判定するように構成されてもよい。
　座標変換パラメータ推定部４０は、形状識別部３２によって識別された形状、及び、点検対象物２の３次元ＣＡＤモデルに基づいて、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像に対応する第２座標系に変換するための座標変換パラメータを推定する。座標変換パラメータは、第１座標系及び第２座標系における互いの座標点を変換するためのパラメータであり、その推定手法の一種として、ＰＮＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－Ｐｏｉｎｔｓ　Ｐｒｏｂｌｅｍ）がある。言い換えると、座標変換パラメータは、３次元ＣＧソフトウェア上で扱われる３次元ＣＡＤモデルに対応する第１座標系において３次元座標で表されるｎ点（ｎは任意の自然数）の基準部分と、二次元実画像に対応する第２座標系において２次元座標で表されるそれらの基準部分とに基づいて、第１座標系における撮像装置の視点情報を規定する位置及び姿勢を推定するためのパラメータである。
　ここで図４はＰＮＰによって推定される座標変換パラメータによる第１座標系と第２座標系と対応関係を概念的に示す図である。ＰＮＰでは、３Ｄグラフィックソフトウェア上で取り扱われる３次元ＣＡＤモデルに対応するワールド座標系である第１座標系におけるｎ点の３次元座標（Ｘ１，Ｘ２，・・・）と、それらの点が含まれる二次元実画像を撮像した撮像装置５０の視点に対応する第２座標系におけるｎ点の２次元座標（ｘ１，ｘ２，・・・）との変換を行うためのパラメータとして、座標変換パラメータ（並進ベクトルや回転行列等）が推定される。
　ＰＮＰにおける座標変換パラメータの推定は、例えば、第１座標系及び第２座標系において、互いに対応する基準部分が一致するように行われる。具体的には、座標変換パラメータ推定部４０は、形状識別部３２で識別された前記形状に基づいて二次元実画像における点検対象物２の複数の第１基準部分（第２座標系における複数の座標点）を例えば機械学習を用いた自動検出やユーザによる手入力で特定するとともに、３次元ＣＡＤモデルにおいて複数の第２基準部分（第１座標系における複数の座標点）を予め登録する。第２基準部分の登録は、予めデータベース等に第２基準部分を登録することにより行われる。このような第２基準部分の登録は、例えば、３次元ＣＡＤモデルを画面表示し、当該画面上でオペレータがカーソルやポインタ等によって指定することによって行われてもよい。そして、第１基準部分と第２基準部分とが一致するように、座標変換パラメータを推定する。
　座標変換パラメータには、撮像装置５０の外部パラメータが含まれる。外部パラメータとは、第１座標系における撮像装置５０の位置及び方向（自由度：６）を規定するために必要なパラメータである。つまり、相対位置ではなく、第１座標系において、二次元実画像の撮像位置と同じ場所を再現するためのパラメータであり、例えば、並進ベクトルや回転行列によって表される。
　また座標変換パラメータには、撮像装置５０の内部パラメータが含まれていてもよい、撮像装置５０の内部パラメータとは、撮像装置５０の本体（レンズ）に関するパラメータであり、例えば焦点距離ｆや光学中心である。尚、光学中心は、第２座標系の原点に対応し、レンズ固有のパラメータであり、二次元座標（Ｃｕ，Ｃｖ）として表される。この場合、３次元ＣＡＤモデルに対応する第１座標系における特徴点の三次元座標（Ｘｗ，Ｙｗ，Ｚｗ）と、二次元実画像に対応する第２座標系における特徴点の二次元座標（ｕ，ｖ）との関係式は、以下で表される。
Figure JPOXMLDOC01-appb-I000001
　図１に戻って、３次元ＣＡＤモデル変更部４１は、座標変換パラメータ推定部４０で推定された座標変換パラメータを用いて、点検対象物２の３次元ＣＡＤモデルの視点情報の位置及び方向を変更する。これにより、３次元ＣＡＤモデルの描画ソフト上で特定の位置及び方向にあるカメラからの視点で示される３次元ＣＡＤモデルの視点情報は、二次元実画像を撮像した撮像装置５０の視点に対応する位置及び方向に対応するように変更される。
　画像抽出部４２は、形状識別部３２による識別結果に基づいて、３次元ＣＡＤモデル変更部４１によって視点情報が変更された３次元ＣＡＤモデルを参照し、その３次元ＣＡＤモデルから、二次元実画像に対応する二次元模擬画像を抽出する。
　描写部４４は、欠陥検出部３４が検出した欠陥を示す欠陥画像を二次元模擬画像に適合するように調整し、調整後の欠陥画像を３次元ＣＡＤモデル上に描写する。この調整は、描写する前又は描写する時に実行されてもよいし、一度描写した後に既に描写されている欠陥画像に対して実行されてもよい。欠陥画像が描写された状態の３次元ＣＡＤモデルは、出力部１２のディスプレイ装置に表示されてもよい。
　例えば、描写部４４は、幾何学的変換（平面変換）、例えばアフィン変換等の変換方法を用いて、対象画像の基準部分（複数の座標点）を入力値として、二次元実画像を二次元模擬画像の座標系に変換することにより、３次元ＣＡＤモデル上に投影する。このとき３次元ＣＡＤモデルの視点情報は前述のように変更されるため、描画部４４では、変換した座標に沿って欠陥を定義し、投影することで３次元ＣＡＤモデル上への描画を行う。
　例えば、描写部４４は、二次元実画像と二次元模擬画像との間で、複数の基準部分の位置関係から定まる辺の長さを比較して、それらの相似比に基づいて欠陥画像を拡大又は縮小してもよい。描写部４４は、二次元実画像と二次元模擬画像との間で、複数の基準部分の位置関係を比較して、欠陥画像のアスペクト比の調整、平行移動、線形変換等を行ってもよい。
　尚、本実施形態では、描写部４４が欠陥画像を変換した場合について例示しているが、他の変換の例として、アフィン変換、射影変換、相似変換、反転変換、透視変換等を用いてもよい。
　報告書作成部３６は、３次元ＣＡＤモデルの寸法データから点検対象物２における欠陥の３次元的な位置及び寸法を導出し、位置及び寸法の導出結果を含む報告書を作成する。作成された報告書は、記憶部１１に記憶されてもよいし、他の装置（例えば、報告書を管理するサーバ装置）に送信されてもよい。
　続いて上記構成を有する点検支援システム１で実施される点検支援方法について説明する。図５は一実施形態に係る点検支援方法を示すフローチャートである。
　まず点検支援方法が実施される前段階として、撮像装置５０を用いて点検対象物２を撮像する（ステップＳ１）。ステップＳ１では、点検対象物２に対して任意の位置及び方向から撮像を行うことができ、撮像装置５０で得られた二次元実画像は、データとしてクライアント端末６に入力される。
　クライアント端末６では、画像取得部３０によって、撮像装置５０から入力されたデータとして二次元実画像を取得する（ステップＳ２）。続いてクライアント端末６では、形状識別部３２によって、ステップＳ２で取得した二次元実画像における点検対象物２の基準部分を検出して、点検対象物２の形状を識別する（ステップＳ３）。
　続いて座標変換パラメータ推定部４０は、ステップＳ３で形状を識別する際に検出された基準部分に関する学習モデルにアクセスし（ステップＳ４）、座標変換パラメータを推定する（ステップＳ５）。座標変換パラメータの推定手法は、具体的に前述したように例えばＰＮＰにより行われる。
　続いて３次元ＣＡＤモデル変更部４１は、ステップＳ５で推定された座標変換パラメータ（例えば並進ベクトルや回転行列等）を用いて、３次元ＣＡＤモデルの位置又は方向の少なくとも一方を変更する（ステップＳ６）。
　ここで図６～図８を参照して、３次元ＣＡＤモデル変更部４１による処理について具体的に説明する。図６は撮像装置５０によって撮像された二次元実画像の一例であり、図７は３次元ＣＡＤモデルのデフォルト姿勢を示す模式図であり、図８は図７の３次元ＣＡＤモデルが３次元ＣＡＤモデル変更部４１によって位置又は方向の少なくとも一方の少なくとも一方が変更された後の姿勢を示す模式図である。
　図６に示すように、撮像装置５０で撮像された二次元実画像では、点検対象物２の複数の基準部分Ｃ１～Ｃ８のうち、Ｃ１～Ｃ７が写り込んでいる。一方で、図７に示す３次元ＣＡＤモデルのデフォルト姿勢では、図６に示されている点検対象物２が有する複数の基準部分の一部しか確認できない（具体的には、図７では図６と共通の基準部分Ｃ２～Ｃ８が見えているが、図６の基準部分Ｃ１は見えない）。このようなデフォルト姿勢を有する３次元ＣＡＤモデルは、図８に示すように、図６に示すデフォルト姿勢を有する３次元ＣＡＤモデルの位置又は方向の少なくとも一方が座標変換パラメータによって変更されることで、図６に示す二次元実画像に対応する姿勢になることで、全ての基準部分Ｃ１～Ｃ７が含まれることとなる。
　続いてサーバ８の画像抽出部４２は、３次元ＣＡＤモデル変更部４１によって視点情報が変更された３次元ＣＡＤモデルから、二次元実画像から検出された点検対象物２の複数の基準部分に対応する部分を含む二次元模擬画像を抽出する（ステップＳ７）。ステップＳ７では、例えば、視点情報が変更された３次元ＣＡＤモデルを画面上に表示し、当該画面のスクリーンショットを取得することにより二次元模擬画像を抽出してもよい。この場合、スクリーンショットの取得は、実際に、画面上に視点情報が変更された３次元ＣＡＤモデルを表示させて行ってもよいし、画面上に表示を行うことなく演算的に行われてもよい。この抽出には、レンダリングや学習済みモデルが使用されてもよい。
　続いてクライアント端末６の欠陥検出部３４は、ステップＳ２で取得された二次元実画像に基づいて、サーバ８に対して点検対象物３の欠陥の検出指示を行う（ステップＳ８）。検出指示を受信したサーバ８は、予め用意された欠陥検出のための学習モデルにアクセスし（ステップＳ９）、当該学習モデルを用いて欠陥検出を実行する（ステップＳ１０）。
　クライアント端末６は、サーバ８からステップＳ１０の検出結果を取得し、当該検出結果に基づいて、点検対象物２に欠陥があるか否かを判別する（ステップＳ１１）。点検対象物２に欠陥が無いと判別された場合（ステップＳ１１：ＮＯ）、ステップＳ１２～Ｓ１４は、スキップされ、報告書作成部３６によって欠陥が無いことを示す報告書が作成される（ステップＳ１５）。
　一方、点検対象物２に欠陥が無いと判別された場合（ステップＳ１１：ＮＯ）、サーバ８の描写部４４は、ステップＳ１０で検出された欠陥を示す二次元実画像（すなわち欠陥画像）を二次元模擬画像に適合するように適合化を行い（ステップＳ１２）、調整後の欠陥画像を３次元ＣＡＤモデル上に描写する（ステップＳ１３）。そしてクライアント端末６は、欠陥画像が描写された３次元ＣＡＤモデルに関するデータ（例えば寸法データ）を取得し（ステップＳ１４）、報告書作成部３６によって、当該データから点検対象物２における欠陥の３次元的な位置及び寸法が導出され、その導出結果を含む報告書が作成される（ステップＳ１５）。
　図９は他の実施形態に係る点検支援システム１´の概略構成を示すブロック図である。点検支援システム１´は、前述の実施形態に比べて、座標変換パラメータ修正部４６を更に備える。座標変換パラメータ修正部４６は、機械学習によるノイズ除去によって、座標変換パラメータ推定部４０によって推定された座標変換パラメータを修正する。
　座標変換パラメータ推定部４０では、前述のように二次元実画像で特定された基準部分と、３次元ＣＡＤモデル上で特定された基準部分とが一致するように座標変換パラメータが推定される。ここで座標変換パラメータ推定部４０に対する各基準部分の検出は、例えばサーバ８内における画像解析による計測、オペレータによる手動指定、或いは、機械学習モデルを用いた機械学習によって行われる。そのため、画像解析における計測誤差、オペレータの手動入力時の人的ミス、或いは、機械学習モデルにおける不確かさに基づいて、推定される座標変換パラメータには誤差がある場合がある。本実施形態では、座標変換パラメータ修正部４６を備えることで、このような誤差が小さくなるように座標変換パラメータの修正が行われる。座標変換パラメータ修正部４６による座標変換パラメータの修正は、例えば、機械学習によるノイズ除去によって行うことができる。
　図１０は変分オートエンコーダ（Ａｕｔｏｅｎｃｏｄｅｒ）として構成された図９の座標変換パラメータ修正部４６の概略的な構成図である。図１０では、座標変換パラメータ修正部４６は、ニューラルネットの一種であるエンコーダ４６ａ及びデコーダ４６ｂを含む。エンコーダ４６ａには、入力として、座標変換パラメータが与えられ、次元圧縮を行う。エンコーダからの出力は、平均及び分散が特定され、これらから規定される分布が標準正規分布になるように修正される。そして修正結果は、デコーダ４６ｂによって復元されることで、もとの次元を有する修正後の座標変換パラメータとなる。このような座標変換パラメータ修正部４６では、入力される修正前の座標変換パラメータに含まれる異常が再現されずに正常な値に修正されて出力される。
　尚、上記実施形態では、変分オートエンコーダ（ＶＡＥｓ）を用いた座標変換パラメータ修正部４６について例示したが、その他には、例えば、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ　Ａｄｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）、主成分解析（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）、ｋ平均法（ｋ－ｍｅａｎｓ　Ｃｌｕｓｔｅｒｉｎｇ）、ベクトル量子化（ＶＱ：Ｖｅｃｔｏｒ　Ｑｕａｎｔｉｚａｔｉｏｎ）等を用いてもよい。
　このように点検支援システム１´は座標変換パラメータ修正部４６を備えることで、画像解析における計測誤差、オペレータの手動入力時の人的ミス、或いは、機械学習モデルにおける不確かさに基づく座標変換パラメータの誤差を小さくできる。その結果、３次元ＣＡＤモデルに対する欠陥画像の描写を精度よく行うことができる。
　上述のように、座標変換パラメータの推定に用いられる二次元実画像に含まれる点検対象物の形状は、例えば、画像解析や作業員による手動入力によって識別されるため、これらには少なからず誤差が伴う。上記（７）の態様によれば、機械学習によるノイズ除去を用いることにより、推定された座標変換パラメータを修正することで、このような誤差による影響を軽減し、座標変換パラメータを用いた座標変換の精度を効果的に向上できる。
　以上説明したように上記各実施形態によれば、二次元実画像に含まれる点検対象物の形状、及び、点検対象物の３次元ＣＡＤモデルに基づいて、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像を撮像した撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータが推定される。このような座標変換パラメータを用いて３次元ＣＡＤモデルの視点情報の位置及び方向が二次元実画像に含まれる点検対象物に対応するように変更される。このように座標変換パラメータを用いて二次元実画像に対応するように３次元ＣＡＤモデルの位置及び方向を変更することで、オペレータの操作を必要とせず、両者の位置及び方向のずれを抑制できる。そして、このように位置及び方向が変更された３次元ＣＡＤモデル上に、二次元実画像に含まれる欠陥画像を描写することで、３次元ＣＡＤモデル上における欠陥の精度のよい計測が可能となる。
　その他、本開示の趣旨を逸脱しない範囲で、上記した実施形態における構成要素を周知の構成要素に置き換えることは適宜可能であり、また、上記した実施形態を適宜組み合わせてもよい。
　上記各実施形態に記載の内容は、例えば以下のように把握される。
（１）一態様に係る点検支援システムは、
　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するための形状識別部と、
　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するための欠陥検出部と、
　前記形状識別部によって識別された前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するための座標変換パラメータ推定部と、
　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するための３次元ＣＡＤモデル変更部と、
　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するための二次元模擬画像抽出部と、
　前記欠陥検出部で検出された前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するための描写部と、
を備える。
　上記（１）の態様によれば、二次元実画像に含まれる点検対象物の形状、及び、点検対象物の３次元ＣＡＤモデルに基づいて、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像を撮像した撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータが推定される。この座標変換パラメータは、例えば並進ベクトルや回転行列を含み、第１座標系を、２次元座標系である第２座標系に変換するためのパラメータである。言い換えると、座標変換パラメータは、３次元ＣＧソフトウェア上で扱われる３次元ＣＡＤモデルに対応する第１座標系において３次元座標で表されるｎ点（ｎは任意の自然数）の基準部分と、二次元実画像に対応する第２座標系において２次元座標で表されるそれらの基準部分とに基づいて、第１座標系における撮像装置の視点情報を規定する位置及び姿勢を推定するためのパラメータである。このような座標変換パラメータを用いて３次元ＣＡＤモデルの視点情報の位置及び又は方向が二次元実画像に含まれる点検対象物に対応するように変更される。このように座標変換パラメータを用いて二次元実画像に対応するように３次元ＣＡＤモデルの視点情報の位置及び方向を変更することで、オペレータの操作を必要とせず、両者の位置及び方向のずれを抑制できる。そして、このように視点情報の位置及び方向が変更された３次元ＣＡＤモデル上に、二次元実画像に含まれる欠陥画像を描写することで、３次元ＣＡＤモデル上における欠陥の精度のよい計測が可能となる。
（２）他の態様では、上記（１）の態様において、
　前記座標変換パラメータ推定部は、前記形状識別部で識別された前記形状に基づいて前記二次元実画像における前記点検対象物の複数の第１基準部分を予め特定し、前記３次元ＣＡＤモデルにおいて予め登録された複数の第２基準部分が、前記複数の第１基準部分に一致するように、前記座標変換パラメータを推定する。
　上記（２）の態様によれば、二次元実画像に含まれる点検対象物について予め特定された第１基準部分と、３次元ＣＡＤモデルで予め登録された第２基準部分とが一致するように、座標変換パラメータが推定される。このように推定された座標変換パラメータを用いることにより、３次元ＣＡＤモデルの視点情報の位置や姿勢を二次元実画像に含まれる点検対象物の位置や姿勢に合わせることができ、３次元ＣＡＤモデルに描写される欠陥の位置や方向にずれが生じることを効果的に抑制できる。
（３）他の態様では、上記（１）又は（２）の態様において、
　前記座標変換パラメータは、前記第１座標系における前記撮像装置の位置及び姿勢を規定するための外部パラメータを含む。
　上記（３）の態様によれば、座標変換パラメータに外部パラメータを含めることで、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像に対応する第２座標系に好適に変換できる。
（４）他の態様では、上記（３）の態様において、
　前記座標変換パラメータは、前記撮像装置に関する内部パラメータを更に含む。
　上記（４）の態様によれば、座標変換パラメータには、例えば撮像装置に固有なパラメータである焦点距離や光学中心等の内部パラメータが含まれる。これにより、異なる撮像装置を用いて二次元実画像の取得が行われた場合においても、撮像装置ごとに固有な特性（仕様の違いや個体差など）が考慮された座標変換パラメータを用いて、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像に対応する第２座標系に好適に変換できる。
（５）他の態様では、上記（１）から（４）のいずれか一態様において、
　前記描写部は、前記二次元実画像と前記二次元模擬画像とを比較した結果に基づいて、前記欠陥画像を含む前記二次元実画像を平面変換することによって、描写する前記欠陥画像の位置及び寸法を調整する。
　上記（５）の態様によれば、二次元実画像と二次元模擬画像とを比較して、それらの位置関係、形状、寸法等の相違に基づいて、欠陥画像の位置及び寸法が調整される。この場合、例えば点検対象物の輪郭を示すライン同士を比較して、欠陥画像の位置及び寸法を調整する場合に比べて、処理を単純化したり、調整の精度を向上させたりすることが可能となる。
（６）他の態様では、上記（１）から（５）のいずれか一態様において、
　前記３次元ＣＡＤモデルの寸法データから前記３次元ＣＡＤモデル上に投影された前記欠陥画像に基づいて前記点検対象物における前記欠陥の３次元的な位置及び寸法を導出し、前記位置及び寸法の導出結果を含む報告書を作成する報告書作成部を更に備える。
　上記（６）の態様によれば、欠陥の３次元的な位置及び寸法を含む報告書が作成されるため、報告書を作成する作業負担が低減される。また、同一の３次元ＣＡＤモデルに対する欠陥の位置及び寸法の情報を複数の事例において収集することにより、統計（例えば、欠陥がへこみである場合、統計データからへこみ易い位置を特定できる）を取ることも可能となる。
（７）他の態様では、上記（１）から（６）のいずれか一態様において、
　機械学習によるノイズ除去によって、前記座標変換パラメータを修正するための座標変換パラメータ修正部を更に備える。
　上述のように、座標変換パラメータの推定に用いられる二次元実画像に含まれる点検対象物の形状は、例えば、画像解析や作業員による手動入力によって識別されるため、これらには少なからず誤差が伴う。上記（７）の態様によれば、機械学習によるノイズ除去を用いることにより、推定された座標変換パラメータを修正することで、このような誤差による影響を軽減し、座標変換パラメータを用いた座標変換の精度を効果的に向上できる。
（８）一態様に係る点検支援方法は、
　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するステップと、
　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するステップと、
　前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するステップと、
　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するステップと、
　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するステップと、
　前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するステップと、
を備える。
　上記（８）の態様によれば、二次元実画像に含まれる点検対象物の形状、及び、点検対象物の３次元ＣＡＤモデルに基づいて、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像を撮像した撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータが推定される。この座標変換パラメータは、例えば並進ベクトルや回転行列を含み、第１座標系を、２次元座標系である第２座標系に変換するためのパラメータである。言い換えると、座標変換パラメータは、３次元ＣＧソフトウェア上で扱われる３次元ＣＡＤモデルに対応する第１座標系において３次元座標で表されるｎ点（ｎは任意の自然数）の基準部分と、二次元実画像に対応する第２座標系において２次元座標で表されるそれらの基準部分とに基づいて、第１座標系における撮像装置の視点情報を規定する位置及び姿勢を推定するためのパラメータである。このような座標変換パラメータを用いて３次元ＣＡＤモデルの視点情報の位置又は方向の少なくとも一方が二次元実画像に含まれる点検対象物に対応するように変更される。このように座標変換パラメータを用いて二次元実画像に対応するように３次元ＣＡＤモデルの視点情報の位置及び方向を変更することで、オペレータの操作を必要とせず、両者の位置及び方向のずれを抑制できる。そして、このように視点情報の位置及び方向が変更された３次元ＣＡＤモデル上に、二次元実画像に含まれる欠陥画像を描写することで、３次元ＣＡＤモデル上における欠陥の精度のよい計測が可能となる。
（９）一態様に係る点検支援プログラムは、
　コンピュータに、
　コンピュータに、
　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するステップと、
　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するステップと、
　前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するステップと、
　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置又は方向の少なくとも一方を変更するステップと、
　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するステップと、
　前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するステップと、
を実行させる。
　上記（９）の態様によれば、二次元実画像に含まれる点検対象物の形状、及び、点検対象物の３次元ＣＡＤモデルに基づいて、３次元ＣＡＤモデルに対応する第１座標系を、二次元実画像を撮像した撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータが推定される。この座標変換パラメータは、例えば並進ベクトルや回転行列を含み、第１座標系を、２次元座標系である第２座標系に変換するためのパラメータである。言い換えると、座標変換パラメータは、３次元ＣＧソフトウェア上で扱われる３次元ＣＡＤモデルに対応する第１座標系において３次元座標で表されるｎ点（ｎは任意の自然数）の基準部分と、二次元実画像に対応する第２座標系において２次元座標で表されるそれらの基準部分とに基づいて、第１座標系における撮像装置の視点情報を規定する位置及び姿勢を推定するためのパラメータである。このような座標変換パラメータを用いて３次元ＣＡＤモデルの視点情報の位置及び方向が二次元実画像に含まれる点検対象物に対応するように変更される。このように座標変換パラメータを用いて二次元実画像に対応するように３次元ＣＡＤモデルの視点情報の位置及び方向を変更することで、オペレータの操作を必要とせず、両者の位置及び方向のずれを抑制できる。そして、このように視点情報の位置及び方向が変更された３次元ＣＡＤモデル上に、二次元実画像に含まれる欠陥画像を描写することで、３次元ＣＡＤモデル上における欠陥の精度のよい計測が可能となる。
１　点検支援システム
２　点検対象物
４　通信ネットワーク
６　クライアント端末
８　サーバ
１０　通信部
１１　記憶部
１２　出力部
１３　入力部
１４　演算部
１５　通信部
１６　記憶部
１８　演算部
３０　画像取得部
３２　形状識別部
３４　欠陥検出部
３６　報告書作成部
４０　座標変換パラメータ推定部
４１　モデル変更部
４２　画像抽出部
４４　描写部
５０　撮像装置

Claims (9)

  1. 　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するための形状識別部と、
    　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するための欠陥検出部と、
    　前記形状識別部によって識別された前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するための座標変換パラメータ推定部と、
    　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するための３次元ＣＡＤモデル変更部と、
    　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するための二次元模擬画像抽出部と、
    　前記欠陥検出部で検出された前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するための描写部と、
    を備える、点検支援システム。
  2. 　前記座標変換パラメータ推定部は、前記形状識別部で識別された前記形状に基づいて前記二次元実画像における前記点検対象物の複数の第１基準部分を予め特定し、前記３次元ＣＡＤモデルにおいて予め登録された複数の第２基準部分が、前記複数の第１基準部分に一致するように、前記座標変換パラメータを推定する、請求項１に記載の点検支援システム。
  3. 　前記座標変換パラメータは、前記第１座標系における前記撮像装置の位置及び姿勢を規定するための外部パラメータを含む、請求項１又は２に記載の点検支援システム。
  4. 　前記座標変換パラメータは、前記撮像装置に関する内部パラメータを更に含む、請求項３に記載の点検支援システム。
  5. 　前記描写部は、前記二次元実画像と前記二次元模擬画像とを比較した結果に基づいて、前記欠陥画像を含む前記二次元実画像を平面変換することによって、描写する前記欠陥画像の位置及び寸法を調整する、請求項１又は２に記載の点検支援システム。
  6. 　前記３次元ＣＡＤモデルの寸法データから前記３次元ＣＡＤモデル上に投影された前記欠陥画像に基づいて前記点検対象物における前記欠陥の３次元的な位置及び寸法を導出し、前記位置及び寸法の導出結果を含む報告書を作成する報告書作成部を更に備える、請求項１又は２に記載の点検支援システム。
  7. 　機械学習によるノイズ除去によって前記座標変換パラメータを修正するための座標変換パラメータ修正部を更に備える、請求項１又は２に記載の点検支援システム。
  8. 　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するステップと、
    　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するステップと、
    　前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するステップと、
    　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するステップと、
    　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するステップと、
    　前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するステップと、
    を備える、点検支援方法。
  9. 　コンピュータに、
    　撮像装置で点検対象物を撮像することにより得られた二次元実画像に基づいて、前記二次元実画像に含まれる前記点検対象物の形状を識別するステップと、
    　前記二次元実画像に含まれる前記点検対象物の欠陥を検出するステップと、
    　前記形状、及び、前記点検対象物の３次元ＣＡＤモデルに基づいて、前記３次元ＣＡＤモデルに対応する第１座標系を、前記二次元実画像を撮像した前記撮像装置の視点に対応する第２座標系に変換するための座標変換パラメータを推定するステップと、
    　前記座標変換パラメータを用いて、前記点検対象物の３次元ＣＡＤモデルの視点情報の位置及び方向を変更するステップと、
    　前記視点情報が変更された後の前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出するステップと、
    　前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合することにより、前記欠陥画像を前記３次元ＣＡＤモデル上に描写するステップと、
    を実行させるための、点検支援プログラム。
PCT/JP2023/000032 2022-03-28 2023-01-05 点検支援システム、点検支援方法、及び、点検支援プログラム WO2023188671A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112023000151.0T DE112023000151T5 (de) 2022-03-28 2023-01-05 Inspektionsunterstützungssystem, inspektionsunterstützungsverfahren und inspektionsunterstützungsprogramm
CN202380013420.0A CN117916581A (zh) 2022-03-28 2023-01-05 检查支援系统、检查支援方法及检查支援程序
KR1020247008488A KR20240044495A (ko) 2022-03-28 2023-01-05 점검 지원 시스템, 점검 지원 방법, 및, 점검 지원 프로그램
JP2024511265A JPWO2023188671A1 (ja) 2022-03-28 2023-01-05

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-051343 2022-03-28
JP2022051343 2022-03-28

Publications (1)

Publication Number Publication Date
WO2023188671A1 true WO2023188671A1 (ja) 2023-10-05

Family

ID=88200199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000032 WO2023188671A1 (ja) 2022-03-28 2023-01-05 点検支援システム、点検支援方法、及び、点検支援プログラム

Country Status (5)

Country Link
JP (1) JPWO2023188671A1 (ja)
KR (1) KR20240044495A (ja)
CN (1) CN117916581A (ja)
DE (1) DE112023000151T5 (ja)
WO (1) WO2023188671A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197728A (zh) * 2023-11-07 2023-12-08 成都千嘉科技股份有限公司 通过可穿戴摄像设备进行实时燃气放散作业识别的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021021669A (ja) * 2019-07-30 2021-02-18 三菱パワー株式会社 点検支援方法、点検支援システム、及び点検支援プログラム
US20210183102A1 (en) * 2019-12-13 2021-06-17 Facebook Technologies, Llc Raycast calibration for artificial reality head-mounted displays
JP2021530051A (ja) * 2018-06-29 2021-11-04 デルタレイ・ベーフェー 投影角度の動的選択による物品検査

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7344188B2 (ja) 2020-09-18 2023-09-13 株式会社東芝 画像処理装置、及び画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021530051A (ja) * 2018-06-29 2021-11-04 デルタレイ・ベーフェー 投影角度の動的選択による物品検査
JP2021021669A (ja) * 2019-07-30 2021-02-18 三菱パワー株式会社 点検支援方法、点検支援システム、及び点検支援プログラム
US20210183102A1 (en) * 2019-12-13 2021-06-17 Facebook Technologies, Llc Raycast calibration for artificial reality head-mounted displays

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197728A (zh) * 2023-11-07 2023-12-08 成都千嘉科技股份有限公司 通过可穿戴摄像设备进行实时燃气放散作业识别的方法
CN117197728B (zh) * 2023-11-07 2024-01-23 成都千嘉科技股份有限公司 通过可穿戴摄像设备进行实时燃气放散作业识别的方法

Also Published As

Publication number Publication date
JPWO2023188671A1 (ja) 2023-10-05
CN117916581A (zh) 2024-04-19
DE112023000151T5 (de) 2024-04-04
KR20240044495A (ko) 2024-04-04

Similar Documents

Publication Publication Date Title
US9940756B2 (en) Silhouette-based object and texture alignment, systems and methods
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
JP5248806B2 (ja) 情報処理装置、情報処理方法
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
JP5812599B2 (ja) 情報処理方法及びその装置
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
JP2022542573A (ja) 衣服の３次元モデルデータを生成するための方法およびコンピュータプログラム製品
WO2019177539A1 (en) Method for visual inspection and apparatus thereof
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
WO2023188671A1 (ja) 点検支援システム、点検支援方法、及び、点検支援プログラム
JP2019153290A (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
JP2021021669A (ja) 点検支援方法、点検支援システム、及び点検支援プログラム
US20230222680A1 (en) System and method for mobile 3d scanning and measurement
CN112712513A (zh) 产品缺陷检测方法、装置、设备及计算机可读存储介质
JP2020148625A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP7178803B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN114581632A (zh) 基于增强现实技术的零件装配误差检测方法、设备和装置
JP7230722B2 (ja) 画像処理装置及び画像処理方法
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
JP6374812B2 (ja) 三次元モデル処理装置およびカメラ校正システム
CN115184362B (zh) 一种基于结构光投影的快速缺陷检测方法
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法
US20220343661A1 (en) Method and device for identifying presence of three-dimensional objects using images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23778711

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024511265

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112023000151

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 202380013420.0

Country of ref document: CN