WO2020003818A1 - 検査装置及び検査方法 - Google Patents

検査装置及び検査方法 Download PDF

Info

Publication number
WO2020003818A1
WO2020003818A1 PCT/JP2019/020207 JP2019020207W WO2020003818A1 WO 2020003818 A1 WO2020003818 A1 WO 2020003818A1 JP 2019020207 W JP2019020207 W JP 2019020207W WO 2020003818 A1 WO2020003818 A1 WO 2020003818A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
inspection
building
inspection target
image
Prior art date
Application number
PCT/JP2019/020207
Other languages
English (en)
French (fr)
Inventor
康平 是澤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020527283A priority Critical patent/JP7170234B2/ja
Publication of WO2020003818A1 publication Critical patent/WO2020003818A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an inspection device and an inspection method for a building.
  • Patent Literature 1 discloses a product shape inspection system for detecting a shape defect generated in an inspection target. This inspection system acquires distance image data that displays distance information to an inspection target as an image, and extracts a height profile on the surface of the inspection target based on the distance image data. Further, the inspection system determines whether the shape of the inspection target has a defect based on difference data between the extracted height profile and the reference profile.
  • Patent Document 1 is suitable for inspection of an inspection target whose contour is a predetermined shape and whose distance from the camera is the same. Such an inspection system is not suitable for inspection of a building having various types, shapes, and positions of inspection objects.
  • the present disclosure provides an inspection device and an inspection method for automating an inspection of a building.
  • An inspection device is an inspection device that inspects a building, including an information holding unit that holds information on the building, and a measurement unit that captures an image of an inspection target site in the building.
  • a position recognition unit that acquires position information and calculates a position of the measurement unit with respect to the building based on the information on the building and the position information of the measurement unit held in the information holding unit; and the measurement unit.
  • a part determination unit that specifies the part to be inspected that is projected on the image based on the image and the position of the measurement unit, based on the image and the position of the measurement unit, and holds an inspection standard for each part of the building
  • the test result of the test target part is determined by comparing the test target part specified by the part judgment part with the test target part specified by the part judgment part and the test reference held in the reference holding part. And a determining section for.
  • An inspection method is an inspection method for inspecting a building, wherein an image of an inspection target site in the building and information on an imaging position of the image are acquired, and information on the building is obtained. Obtain, based on the information of the building and the information of the imaging position, calculate the imaging position of the building, based on the image and the imaging position of the building, the image is projected on the image An inspection target part is specified, an inspection standard for each part of the building is acquired, and the inspection result of the inspection target part is determined by comparing the specified inspection target part with the inspection standard.
  • a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program or a computer-readable recording disk, and the system, the apparatus, the method, and the integrated circuit.
  • a computer program and a recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • FIG. 1 is a schematic perspective view illustrating an example of a situation in which the inspection device according to the first embodiment performs an inspection.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the inspection device according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a floor plan of a building stored in the building information holding unit according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of information included in the floor plan of FIG.
  • FIG. 5 is a diagram illustrating an example of an abnormality determination criterion stored in the abnormality criterion holding unit according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating an example of the type of abnormality in the inspection target site.
  • FIG. 1 is a schematic perspective view illustrating an example of a situation in which the inspection device according to the first embodiment performs an inspection.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the inspection device according to the first embodiment.
  • FIG. 3 is
  • FIG. 7 is a diagram illustrating an example of an abnormality type determination criterion stored in the type criterion holding unit according to the first embodiment.
  • FIG. 8A is a diagram illustrating an example of an image of an inspection result output by the inspection device according to the first embodiment.
  • FIG. 8B is a diagram illustrating an example of an image of an inspection result output by the inspection device according to the first embodiment.
  • FIG. 9 is a flowchart illustrating an example of the flow of the operation of the inspection device according to the first embodiment.
  • FIG. 10 is a block diagram illustrating an example of a functional configuration of an inspection device according to a modification of the first embodiment.
  • FIG. 11 is a block diagram illustrating an example of a functional configuration of the inspection device according to the second embodiment.
  • FIG. 12 is a block diagram illustrating an example of a functional configuration of the inspection device according to the third embodiment.
  • FIG. 13 is a block diagram illustrating an example of a functional configuration of the inspection device according to the fourth embodiment.
  • FIG. 14 is a diagram illustrating an example of a positional relationship between a building component and a measuring unit stored in the positional relationship holding unit according to the fourth embodiment.
  • FIG. 15 is a block diagram illustrating an example of a functional configuration of the inspection device according to the fifth embodiment.
  • FIG. 1 is a schematic perspective view showing an example of a situation where the inspection apparatus 100 according to the first embodiment performs an inspection.
  • the inspection device 100 can inspect the inside and outside of the building C.
  • the structure C is described as a house, but the inspection target of the inspection device 100 may be any structure.
  • the inspection device 100 is mounted on the mobile unit 1 together with the measuring unit 10, and inspects various parts of the building C while moving together with the mobile unit 1.
  • the moving body 1 may be a moving body traveling on a support surface, a moving body 1 flying in the air, or a moving body traveling on water or in water.
  • Examples of the mobile object 1 are a land mobile robot, a drone, and a water or underwater mobile robot.
  • the moving object 1 is a land mobile robot. All of the inspection device 100 may be mounted on the moving body 1, or part or all of the inspection device 100 may be mounted on one or more devices different from the moving body 1. In the former case, the inspection device 100 is electrically connected to the measuring unit 10.
  • the inspection device 100 may exchange information and instructions with the measurement unit 10 of the moving object 1 via wired communication or wireless communication.
  • Examples of the equipment on which the latter inspection device 100 is mounted are a control device 1a for controlling the moving object 1 and a computer device (not shown).
  • the moving body 1 arbitrarily travels on the floor F inside the building C, and the measuring unit 10 captures an image inside the building C.
  • the inspection device 100 inspects the inside of the building C, for example, the interior using the image captured by the measurement unit 10.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the inspection device 100 according to the first embodiment.
  • the inspection device 100 includes a part determination unit 101, a position recognition unit 102, an abnormality determination unit 103, a type recognition unit 104, a building information storage unit 105, an abnormality reference storage unit 106, a type reference storage unit 107 including.
  • the measuring unit 10 also includes a position acquiring unit 11, a 2D (2-dimensional: 2-Dimensions) image acquiring unit 12, and a 3D (3-dimensional: 3-Dimensions) image acquiring unit 13.
  • the position acquisition unit 11 acquires the position of the measurement unit 10, specifically, the position of the mobile unit 1.
  • the position of the measurement unit 10 may be a two-dimensional position or a three-dimensional position, and may be determined according to a movable direction of the moving body 1. For example, when the moving body 1 moves on the floor F, the position of the measuring unit 10 may be a two-dimensional position, and when the moving body 1 flies, the position of the measuring unit 10 is a three-dimensional position. Is also good.
  • the position acquisition unit 11 may include an acceleration sensor and a gyro sensor (also referred to as an “angular velocity sensor”), and / or a GPS (Global Positioning System) receiver.
  • the position acquisition unit 11 can calculate the position of the measurement unit 10 using the acceleration and the angular velocity detected by the acceleration sensor and the gyro sensor.
  • the position acquisition unit 11 can calculate the position of the measurement unit 10 based on a satellite signal acquired via a GPS receiver.
  • the position acquisition unit 11 outputs the position information of the measurement unit 10 to the position recognition unit 102 of the inspection device 100.
  • the position information of the measurement unit 10 includes the position of the measurement unit 10 and the imaging direction that is the direction of the 2D image acquisition unit 12 and the 3D image acquisition unit 13.
  • the imaging direction is a direction along the optical axis of the 2D image acquisition unit 12 and the 3D image acquisition unit 13.
  • Examples of the position of the measurement unit 10 include a position based on coordinates on the earth such as a map, a position based on coordinates set in a specific area, a relative position with respect to a reference point, and the like.
  • the position acquisition unit 11 may acquire position information from the moving object 1.
  • the 2D image acquisition unit 12 captures a two-dimensional image of the part of the building C to be inspected, specifically, a two-dimensional digital image.
  • the two-dimensional image is an image including a luminance value as a pixel value of each pixel.
  • An example of the 2D image acquisition unit 12 is a 2D camera such as a monocular camera.
  • the 2D image acquisition unit 12 may include a pan head such as a gimbal (not shown) so that the imaging direction can be freely changed. Then, the 2D image acquisition unit 12 may change the direction and capture an image according to a control command of the inspection device 100 or the control device 1a.
  • the 2D image acquisition unit 12 outputs the captured two-dimensional image to the part determination unit 101 of the inspection device 100.
  • the 3D image acquisition unit 13 captures a three-dimensional image of a part to be inspected of the building C, specifically, a three-dimensional digital image.
  • the three-dimensional image is an image including distance information from the 3D image acquisition unit 13 to the subject.
  • An example of the three-dimensional image is a distance image including the distance from the 3D image acquisition unit 13 to the subject as a pixel value of each pixel.
  • Examples of the 3D image acquisition unit 13 are 3D cameras such as a laser light projection camera and a compound eye camera.
  • the 3D image acquisition unit 13 may include a pan head such as a gimbal (not shown) so that the imaging direction can be freely changed.
  • the 3D image acquisition unit 13 may change the direction and take an image according to a control command of the inspection device 100 or the control device 1a.
  • the 3D image acquisition unit 13 captures an image of the same or overlapping area as the imaging area of the 2D image acquisition unit 12.
  • the 2D image acquisition unit 12 may also serve as the 3D image acquisition unit 13.
  • the 3D image acquisition unit 13 may also serve as the 2D image acquisition unit 12.
  • the 3D image acquisition unit 13 outputs the captured three-dimensional image to the part determination unit 101 of the inspection device 100.
  • the building information holding unit 105, the abnormality criterion holding unit 106, and the type criterion holding unit 107 can store information, and can retrieve the stored information.
  • the building information holding unit 105, the abnormality reference holding unit 106, and the type reference holding unit 107 include, for example, a semiconductor memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, a hard disk drive, or an SSD (Solid). State Drive) or the like.
  • the abnormality criterion holding unit 106 and the type criterion holding unit 107 store, that is, hold inspection standards for each part of the building C.
  • the abnormality criterion holding unit 106 holds, as an inspection criterion, a criterion for determining whether or not each part of the building C has an abnormality.
  • the type criterion holding unit 107 holds, as an inspection criterion, a criterion for determining the type of abnormality in each part of the building C. Details of the determination criterion and the determination criterion held by the abnormality criterion holding unit 106 and the type criterion holding unit 107 will be described later.
  • the construction information storage unit 105 stores information on the construction C created in advance. Examples of the information of the building C include a diagram showing the appearance of the building C, a diagram showing the inside of the building C, types, shapes, colors, patterns of materials and members used for each part of the building C. Information such as surface roughness and position, type, shape, color, pattern, surface roughness and position of fittings of building C, and type, shape, color, pattern, surface of accessory of building C Information such as roughness and position. As described above, the building information holding unit 105 stores information on building components, such as materials, members, fittings, and accessories, which are components used for the building C. Here, the building information holding unit 105 is an example of an information holding unit.
  • Examples of materials used include wall materials, floor materials, ceiling materials and roof materials.
  • Examples of members used are pillars, skirting boards and wiring devices such as outlets and lighting switches.
  • Examples of fittings are partitions that open and close doors, windows, and other openings.
  • Examples of accessories are baths, toilets, kitchens, storage shelves, closets, closets, and shoe boxes.
  • the example of the figure which shows the external appearance of the building C is a front view, a side view, a rear view, and a top view of the building C.
  • Examples of the diagram showing the inside of the building C are a sectional view of the building C and a floor plan of the building C as shown in FIG. FIG.
  • FIG 3 is a diagram illustrating an example of a floor plan of the building C stored in the building information holding unit 105 according to the first embodiment.
  • the information on the building component of each part is associated with the position where these are arranged in the external view, cross-sectional view, and floor plan of the building C.
  • FIG. 4 is a diagram showing an example of information included in the floor plan of FIG.
  • the building component existing in each part of the floor plan is associated with, for example, a position indicated by three-dimensional coordinates set in the floor plan.
  • the position recognizing unit 102 acquires the position information of the measuring unit 10 from the measuring unit 10 that captures an image of the inspection target site in the building C, and measures the information of the building C held in the building information holding unit 105 and the measurement.
  • the position of the measuring unit 10 with respect to the building C is calculated based on the position information of the unit 10.
  • the position recognition unit 102 calculates the position and the direction of the measurement unit 10 with respect to the building C.
  • the direction of the measurement unit 10 is the imaging direction of the 2D image acquisition unit 12 and the 3D image acquisition unit 13.
  • the position recognition unit 102 associates the position of the measuring unit 10 with the floor plan of the building C, and measures the position on the floor plan.
  • the position and orientation of the unit 10 are calculated.
  • the position recognition unit 102 outputs position information including the position and the orientation of the measurement unit 10 with respect to the building C to the region determination unit 101.
  • the part determination unit 101 is a part that acquires an image captured by the measurement unit 10 and is displayed on the image based on the acquired image and the position information of the measurement unit 10 acquired from the position recognition unit 102.
  • the position and area of the part to be imaged are specified for the building C.
  • region determining section 101 uses both a two-dimensional image and a three-dimensional image, but may use at least one of a two-dimensional image and a three-dimensional image.
  • the position and the area of the portion to be imaged are the position and the area on the floor plan, but may be the position and the area with respect to another reference of the building C.
  • the part determination unit 101 does not use the image, and the position, the direction, and the floor plan of the measurement unit 10 with respect to the building C. Based on the above, the position and region of the part to be imaged may be specified.
  • the part determination unit 101 specifies an inspection target part which is an area of each building component included in the subject part in the image.
  • the part determination unit 101 collates information on each building component included in the floor plan with information on the contour, color, texture, and the like of the subject extracted from the image, thereby forming the building component and its inspection target. Identify the site.
  • the part determination unit 101 includes a position and a region of the part to be imaged, positions and regions of each building component in the part to be inspected and its inspection target part, and an image corresponding to the part to be inspected.
  • the information is output to the abnormality determination unit 103.
  • the part determination unit 101 may calculate the position and the area of the inspection target part with respect to the building C or the floor plan by using the three-dimensional image.
  • the abnormality criterion holding unit 106 stores a criterion for determining the presence or absence of an abnormality in each part of the building C prepared in advance, that is, an abnormality criterion. Specifically, the abnormality criterion holding unit 106 stores abnormality criterion for each building component used for each part of the building C.
  • the abnormality criterion is a criterion based on a two-dimensional image and a three-dimensional image of a building component.
  • the abnormality determination criterion defines a predetermined state in which a change in a parameter related to a pixel value of a pixel arranged in an image is normal. That is, when the parameter change deviates from the abnormality determination criterion, it can be determined that there is an abnormality.
  • the abnormal reference holding unit 106 is an example of a reference holding unit.
  • the pixel value may be either a luminance value or a distance value.
  • parameter changes include the pixel value pattern or spatial frequency of the arranged pixels, the change in color of the arranged pixels, the change in contrast of the arranged pixels, and the distance value indicated by the pixel value of the arranged pixels. , But is not limited to these.
  • the spatial frequency of the luminance value indicated by the pixel value indicates the state of the surface processing such as the surface pattern and the grain
  • the spatial frequency of the distance value indicated by the pixel value indicates the state of the surface processing such as the uneven structure of the surface. Can be shown.
  • a change in a combination of two or more parameters may be evaluated as a target of the abnormality determination.
  • the abnormality determination criterion may be a unique criterion set for the building C or a general-purpose criterion set for general building components.
  • FIG. 5 illustrates an example of an abnormality determination criterion stored in the abnormality criterion holding unit 106 according to the first embodiment configured with a general-purpose criterion.
  • FIG. 6 is a schematic diagram showing an example of the type of abnormality in the inspection target site.
  • the abnormality determination criterion is not a criterion for specifying up to the type of abnormality as shown in FIG. 6, but is an excessive gap, an uneven gap, a contact, a bulge, a dent, a step, a chipped edge, a chipped edge, This is a criterion for extracting abnormal features such as protrusion and color difference.
  • the abnormality determination unit 103 determines whether or not there is an abnormality in a building component for each inspection target site in the obtained image based on the information obtained from the site determination unit 101. Specifically, the abnormality determination unit 103 scans the acquired two-dimensional image and / or three-dimensional image for the pixel value of a pixel that represents each inspection target site. The abnormality determination unit 103 compares the scan result of the pixel value of each inspection target part with the abnormality determination criterion of the building component corresponding to the inspection target part stored in the abnormality reference holding unit 106, thereby obtaining the scan result. Is deviated from the abnormality criterion. The abnormality determination unit 103 performs the above-described abnormality determination on all the images acquired from the measurement unit 10.
  • the abnormality determination unit 103 calculates the position of a pixel on which an abnormal area that deviates from the abnormality determination criterion on the image where the abnormality has been determined is projected, that is, pixel coordinates.
  • the abnormality determination unit 103 performs the abnormality determination on the image, the pixel coordinates of the abnormal region extracted in the image, the inspection target region including the abnormal region, and the building component corresponding to the inspection target region.
  • the information associated with the position of the inspection target part is output to the type recognition unit 104.
  • the abnormality determination unit 103 is an example of a determination unit.
  • the type reference holding unit 107 stores a determination standard of an abnormality type for each part of the building C created in advance, that is, a type determination standard. Specifically, the type criterion holding unit 107 stores a criterion for determining the type of abnormality for each building component used for the building C.
  • the type determination criterion is a criterion for specifying up to the type of abnormality as shown in FIG. 6 and is a determination criterion based on a two-dimensional image and a three-dimensional image of a building component. For example, as shown in FIG. 7, in the type determination criterion, the shape and / or size of the abnormal region of each building component is associated with the type of abnormality.
  • FIG. 7 is a diagram illustrating an example of an abnormality type determination criterion stored in the type criterion holding unit 107 according to the first embodiment.
  • the type reference holding unit 107 is an example of a reference holding unit.
  • the type recognizing unit 104 includes an image acquired from the abnormality determining unit 103, pixel coordinates of the abnormal region extracted in the image, an inspection target region including the abnormal region, and a building configuration corresponding to the inspection target region.
  • the type of abnormality in the abnormal region is determined based on the element and the position of the inspection target part.
  • the type recognizing unit 104 calculates the shape of the abnormal area based on the image and the pixel coordinates of the abnormal area.
  • the type recognition unit 104 may calculate the size of the abnormal area based on the pixel coordinates of the abnormal area and the pixel value of the pixel coordinates by using the three-dimensional image.
  • the type recognizing unit 104 compares the shape and / or dimensions of the abnormal area and the building component corresponding to the inspection target part including the abnormal area with the type determination standard of the type standard holding unit 107, that is, pattern matching. By doing so, the type of abnormality in the abnormal region is specified.
  • the type recognizing unit 104 associates the image for which the type of abnormality has been determined, the type of abnormality in the abnormal region, the building component including the abnormal region, and the position thereof, and outputs the image to the outside of the inspection device 100. I do.
  • the type recognition unit 104 is an example of a determination unit.
  • the output destination of the type recognition unit 104 may be a storage device (not shown), an output device such as a display, an output interface such as an output terminal, or a computer device. Further, the type recognition unit 104 may refer to the information on the floor plan of the building C from the building information holding unit 105 and associate the position on the floor plan with the output information. Further, the type recognizing unit 104 may generate and output data in which the position on the floor plan is associated with the output information, for example, data for displaying the images of FIGS. 8A and 8B. 8A and 8B are diagrams illustrating an example of an image of an inspection result output by the inspection device 100 according to the first embodiment.
  • points F1 to F10 indicate positions determined to be abnormal on the floor plan
  • FIG. 8B the type of abnormality and the height position from the floor for each of points F1 to F10 are shown. I have.
  • the captured image corresponding to the selected point may be displayed. Examples of the display are a liquid crystal panel and an organic or inorganic EL (Electroluminescence) panel. 8A and 8B, the user can visually recognize the inspection result output by the type recognition unit 104.
  • Each component of the inspection apparatus 100 including the above-described part determination unit 101, position recognition unit 102, abnormality determination unit 103, and type recognition unit 104 includes a CPU (Central Processing Unit) or a DSP (Digital Signal Processor). , And a computer system (not shown) including a memory such as a RAM and a ROM. Part or all of the functions of each component may be achieved by the CPU or DSP executing a program recorded in the ROM using the RAM as a working memory. Further, some or all of the functions of each component may be achieved by a dedicated hardware circuit such as an electronic circuit or an integrated circuit. Some or all of the functions of each component may be configured by a combination of the above-described software functions and hardware circuits.
  • the program may be stored in the ROM in advance, and is provided as an application in communication via a communication network such as the Internet, communication according to a mobile communication standard, other wireless networks, wired networks, or broadcasts, and stored in the ROM. You may.
  • FIG. 9 is a flowchart illustrating an example of the flow of the operation of the inspection device 100 according to the first embodiment.
  • step S ⁇ b> 1 the 2D image acquisition unit 12 and the 3D image acquisition unit 13 of the measurement unit 10 capture a two-dimensional image and a three-dimensional image of the inspection target site of the building C, respectively, and The output is output to the part determination unit 101 of the unit 100.
  • the 2D image acquisition unit 12 and the 3D image acquisition unit 13 simultaneously capture images, but the invention is not limited to this.
  • step S2 the position acquisition unit 11 of the measurement unit 10 acquires the position information of the measurement unit 10 at the time of imaging by the 2D image acquisition unit 12 and the 3D image acquisition unit 13, and acquires the 2D image acquisition unit 12 and the 3D image acquisition
  • the image is output to the position recognition unit 102 of the inspection device 100 in association with the image of the unit 13.
  • step S3 the position recognizing unit 102 of the inspection device 100 refers to the information on the building C held in the building information holding unit 105, and builds the building based on the obtained position information of the measuring unit 10.
  • the position and orientation of the measurement unit 10 with respect to the object C are calculated and output to the part determination unit 101.
  • the part determination unit 101 specifies the part to be inspected. Specifically, based on the image acquired from the measurement unit 10 and the position and orientation of the measurement unit 10 at the time of capturing the image acquired from the position recognition unit 102, the part determination unit 101 The position and area of the part to be imaged are specified for the building C. Further, the part determination unit 101 specifies, in the image, the position and the area of the inspection target part of each building component included in the subject part. The part determination unit 101 outputs to the abnormality determination unit 103 the position and area of the part to be captured, the position and area of each building component and its inspection target part, and an image corresponding to the part to be captured.
  • step S5 the abnormality determining unit 103 determines whether there is an abnormality in the inspection target site. Based on the information acquired from the part determination unit 101 and the abnormality determination criterion stored in the abnormality criterion holding unit 106, the abnormality determination unit 103 determines the construction component The presence or absence of an abnormality is determined. The abnormality determination unit 103 outputs a determination result to the type recognition unit 104.
  • the type recognizing unit 104 determines the type of abnormality in the inspection target site.
  • the type recognizing unit 104 includes the image acquired from the abnormality determining unit 103, the pixel coordinates of the abnormal region extracted in the image, the inspection target region including the abnormal region, the position thereof, and the construction corresponding to the inspection target region.
  • the type of the abnormality in the abnormal region is specified based on the object component and the type determination criterion stored in the type standard holding unit 107.
  • step S7 the type recognition unit 104 outputs the determination result, that is, the inspection result. Specifically, the type recognizing unit 104 compares the image in which the type of the abnormality is determined, the type of the abnormality in the abnormal region, the building component including the abnormal region, and the data corresponding to the position thereof. For example, as shown in FIG. 8A and FIG.
  • the inspection device 100 inspects the building C.
  • the inspection apparatus 100 acquires position information of a building information holding unit 105 as an information holding unit that holds information of the building C, and position information of the measurement unit 10 that captures an image of a part to be inspected in the building C, and A position recognition unit 102 that calculates the position of the measuring unit 10 with respect to the building C based on the information on the building C held in the information holding unit 105 and the position information of the measuring unit 10, and an image captured by the measuring unit 10.
  • a part determination unit 101 that specifies a part to be inspected that is projected on the image and a reference holding unit that holds an inspection reference for each part of the building C Are stored in the abnormality reference holding unit 106 and the type reference holding unit 107, and the inspection target part specified by the part determination unit 101 and the abnormality reference holding unit 106 and the type reference holding unit 107.
  • a part determination unit 101 that specifies a part to be inspected that is projected on the image and a reference holding unit that holds an inspection reference for each part of the building C are stored in the abnormality reference holding unit 106 and the type reference holding unit 107, and the inspection target part specified by the part determination unit 101 and the abnormality reference holding unit 106 and the type reference holding unit 107.
  • the inspection device 100 generates an image captured by the measuring unit 10 based on the position of the measuring unit 10 with respect to the building C calculated using the information on the building C and the position information of the measuring unit 10. Identify the site to be inspected. Further, the inspection device 100 determines the inspection result of the inspection target site by comparing the inspection target site with the inspection standard for each site of the building C. As described above, the inspection apparatus 100 specifies various inspection target sites from various images captured by the measurement unit 10 and outputs respective inspection results. Therefore, the inspection device 100 enables automation of the inspection of the building.
  • the measurement unit 10 captures a two-dimensional image and a three-dimensional image of a part to be inspected, acquires position information of the measurement unit 10, and the part determination unit 101
  • the inspection target part may be specified using at least one of the two-dimensional image and the three-dimensional image captured by the measurement unit 10.
  • the part determination unit 101 can specify the shape of the inspection target part and the position of the inspection target part on the two-dimensional image by using the two-dimensional image.
  • the part determination unit 101 can specify the shape and size of the inspection target part and the three-dimensional position of the inspection target part.
  • the shape of the inspection target part using the two-dimensional image is specified with higher accuracy than the three-dimensional image due to the difference in the target indicated by the pixel value. Further, by using the two-dimensional image and the three-dimensional image, it is possible to more accurately specify the shape, the size, and the position of the inspection target site.
  • the type recognition unit 104 may output the inspection result of the inspection target site, the information of the inspection target site, and the image of the inspection target site in association with each other. According to the above configuration, for example, by displaying the output result of the type recognition unit 104 on a display or the like, the user can easily recognize the inspection result and the state of each inspection target site.
  • each of the abnormality determination unit 103 and the type recognition unit 104 of the inspection apparatus 100 performs the abnormality determination and the abnormality type determination processing on all of the images acquired by the measurement unit 10.
  • the abnormality determination unit 103A of the inspection apparatus 100A according to this modification performs an abnormality determination process on all of the images acquired by the measurement unit 10, and the type recognition unit 104A determines that the abnormality is present by the abnormality determination unit 103.
  • the process of determining the type of abnormality is performed only on the image including the inspected target part.
  • the points different from the first embodiment will be mainly described.
  • FIG. 10 is a block diagram showing an example of a functional configuration of an inspection device 100A according to a modification of the first embodiment.
  • the inspection apparatus 100A includes a site determination unit 101, a position recognition unit 102, a construction information storage unit 105, an abnormality reference storage unit 106, a type reference storage Unit 107.
  • inspection device 100A includes an abnormality determination unit 103A and a type recognition unit 104A.
  • the configurations and operations of the part determination unit 101, the position recognition unit 102, the construction information holding unit 105, the abnormality reference holding unit 106, and the type reference holding unit 107 are the same as those in the first embodiment.
  • the configuration and operation of the measuring unit 10 are the same as those in the first embodiment.
  • the abnormality determination unit 103A determines, for all the images acquired from the measurement unit 10, whether there is an abnormality in the inspection target part in the images. Then, the abnormality determination unit 103A determines the inspection target site determined to have an abnormality and its position, a building component corresponding to the inspection target site, the pixel coordinates of the abnormal region of the inspection target site, and the inspection target. The image on which the abnormality determination of the part is performed is output to the type recognition unit 104A. The image obtained by performing the abnormality determination on the inspection target site is an image including the inspection target site. The abnormality determination unit 103A does not output information on the inspection target site to the type recognition unit 104A for the inspection target site determined to have no abnormality.
  • the type recognizing unit 104A includes an image acquired from the abnormality determining unit 103A, an inspection target part and its position in the image, a building component corresponding to the inspection target part, and a pixel of an abnormal area of the inspection target part. Using the coordinates, the type of abnormality in the abnormal region is determined. Other operations of the type recognizing unit 104A are the same as those of the type recognizing unit 104 of the first embodiment, and a description thereof will not be repeated.
  • the other configurations and operations of the inspection apparatus 100A according to the present modification are the same as those of the first embodiment, and thus description thereof will be omitted.
  • the same effect as in the first embodiment can be obtained by the inspection apparatus 100A according to the present modification as described above.
  • the abnormality criterion holding unit 106 holds a criterion for determining whether or not there is an abnormality in each part of the building C as an inspection criterion
  • the type criterion holding unit 107 determines that the construction C
  • the determination criteria for the type of abnormality for each part may be held.
  • the abnormality determination unit 103A determines whether the inspection target part satisfies the determination criterion
  • the type recognition unit 104A determines whether the inspection target part that does not satisfy the determination criterion matches the determination criterion.
  • the determination result may be output as an inspection result.
  • the abnormality determination unit 103A can make a determination based on the determination criterion for the inspection target portions included in all the images, but the type recognition unit 104A does not perform the determination on the inspection target portions included in all the images.
  • the determination based on the determination criterion is performed only on the image including the inspection target site that does not satisfy the determination criterion. Therefore, when the calculation amount of the determination process of the type recognition unit 104A is large, the calculation load of the inspection device 100A can be reduced.
  • each of the abnormality determination unit 103 and the type recognition unit 104 of the inspection apparatus 100 performs a process on the inspection target part in the image acquired by the measurement unit 10.
  • Inspection apparatus 200 according to Embodiment 2 does not include a type recognition unit, and outputs a determination result of abnormality determination unit 203 as an inspection result.
  • description will be made focusing on differences from the first embodiment and the modification.
  • FIG. 11 is a block diagram showing an example of a functional configuration of the inspection device 200 according to the second embodiment.
  • the inspection device 200 includes a site determination unit 101, a position recognition unit 102, a building information storage unit 105, and an abnormality reference storage unit 106, as in the first embodiment. Further, the inspection device 200 includes an abnormality determination unit 203.
  • the configurations and operations of the part determination unit 101, the position recognition unit 102, the construction information storage unit 105, and the abnormality reference storage unit 106 are the same as those in the first embodiment.
  • the configuration and operation of the measuring unit 10 are the same as those in the first embodiment.
  • the abnormality determination unit 203 determines, for all the images acquired from the measurement unit 10, the presence or absence of an abnormality in the inspection target part in the images. Then, the abnormality determination unit 103 ⁇ / b> A associates the image for which abnormality determination has been performed, the building component corresponding to the inspection target site including the abnormal region, and the position thereof, and outputs the image to the outside of the inspection device 200.
  • the output destination of the abnormality determination unit 203 may be a storage device (not shown), an output device such as a display, an output interface such as an output terminal, or a computer device.
  • the abnormality determination unit 203 may refer to the information on the floor plan of the building C from the building information holding unit 105 and associate the position on the floor plan with the above output information. Further, the abnormality determination unit 203 may generate and output data in which the position on the floor plan is associated with the output information. An image displayed using such data indicates, for example, a position determined to be abnormal on the floor plan, and also indicates height information of the position. Furthermore, when the user selects the position by operating the computer device, a captured image corresponding to the selected position may be displayed.
  • the other configurations and operations of the inspection apparatus 200 according to the second embodiment are the same as those of the first embodiment, and thus description thereof will be omitted.
  • the same effect as in the first embodiment can be obtained by the inspection apparatus 200 according to the second embodiment as described above.
  • the abnormality criterion holding unit 106 holds, as an inspection criterion, a criterion for determining whether or not there is an abnormality in each part of the building C.
  • the inspection result of the inspection target site may be determined according to whether or not.
  • the inspection apparatus 200 outputs only the determination result of the presence or absence of the abnormality as the inspection result, so that the processing amount can be reduced.
  • the abnormality determination unit 203 does not determine the type of the abnormality, it is possible to reduce erroneous detection of an abnormality in which the type is difficult to determine. Therefore, the accuracy of abnormality detection can be improved.
  • each of the abnormality determination unit 103 and the type recognition unit 104 of the inspection apparatus 100 performs a process on the inspection target part in the image acquired by the measurement unit 10.
  • Inspection apparatus 300 according to Embodiment 3 does not include an abnormality determination unit, and outputs a determination result of type recognition unit 304 as an inspection result.
  • the points different from the first and second embodiments and the modifications will be mainly described.
  • FIG. 12 is a block diagram showing an example of a functional configuration of the inspection device 300 according to the third embodiment.
  • the inspection apparatus 300 includes a site determination unit 101, a position recognition unit 102, a construction information storage unit 105, and a type reference storage unit 107, as in the first embodiment. Further, the inspection device 300 includes a type recognition unit 304.
  • the configurations and operations of the part determining unit 101, the position recognizing unit 102, the building information holding unit 105, and the type reference holding unit 107 are the same as those in the first embodiment.
  • the configuration and operation of the measuring unit 10 are the same as those in the first embodiment.
  • the type recognizing unit 304 determines the type of the abnormal region included in the inspection target site in all the images acquired from the measuring unit 10. Then, the type recognizing unit 304 associates the image for which the type of the abnormality has been determined, the type of the abnormality in the abnormal region, the building component including the abnormal region, and the position thereof, as in the first embodiment. Is output to the outside of the inspection apparatus 300.
  • the type recognizing unit 304 scans the pixel values of the pixels that project each inspection target site in each of the acquired images. Further, the type recognizing unit 304 extracts a feature amount related to a pixel value of a pixel arranged in the inspection target part. Then, the type recognizing unit 304 checks the extracted feature amount and the building component corresponding to the inspection target site projected on the pixel from which the feature amount has been extracted with the type determination criterion of the type standard holding unit 107. Thus, the presence / absence of an abnormality is specified, and if there is an abnormality, the type of the abnormality is also specified.
  • the extraction of the feature amount and the identification of the presence / absence of the abnormality and the type of the abnormality can be performed by a method such as multi-class classification using deep learning.
  • the type recognizing unit 304 associates the image for which the type of the abnormality has been determined, the type of the abnormality, the building component including the abnormality, and the position thereof with the inspection device. Output to outside of 300.
  • the other configurations and operations of the inspection apparatus 300 according to the third embodiment are the same as those of the first embodiment, and thus description thereof will be omitted.
  • the same effect as in the first embodiment can be obtained by the inspection apparatus 300 according to the third embodiment as described above.
  • the type reference holding unit 107 holds, as an inspection standard, a determination standard of the type of abnormality of each part of the building C, and the type recognition unit 304 determines that the inspection target part matches the determination standard.
  • the inspection result of the inspection target site may be determined depending on whether or not to perform the inspection.
  • the inspection device 300 detects an abnormality in the inspection target site based only on the criterion of the type of the abnormality.
  • Such an inspection device 300 can determine the type of abnormality without performing the determination process of the abnormality determination unit 103 according to the first embodiment. Therefore, the inspection apparatus 300 can reduce the processing to be performed to determine the type of abnormality.
  • Embodiment 4 An inspection device 400 according to Embodiment 4 will be described.
  • the inspection apparatus 100 according to the first embodiment performs an inspection process using an image arbitrarily captured by the measurement unit 10.
  • the inspection apparatus 400 according to Embodiment 4 determines whether an image captured by the measurement unit 10 is suitable for inspection, and performs an inspection process using an image appropriate for the inspection.
  • the points different from the first to third embodiments and the modifications will be mainly described.
  • FIG. 13 is a block diagram showing an example of a functional configuration of an inspection device 400 according to the fourth embodiment.
  • the inspection device 400 includes a position recognition unit 102, an abnormality determination unit 103, a type recognition unit 104, a building information storage unit 105, and an abnormality reference storage unit. 106 and a type reference holding unit 107. Further, the inspection device 400 includes a part determination unit 401, a positional relationship recognition unit 408, a position / posture control unit 409, and a positional relationship holding unit 410.
  • Configurations and operations of the position recognition unit 102, the abnormality determination unit 103, the type recognition unit 104, the construction information storage unit 105, the abnormality reference storage unit 106, and the type reference storage unit 107 are the same as those in the first embodiment.
  • the positional relationship recognition unit 408 and the position / posture control unit 409 are realized by the same configuration as the above-described components.
  • the configuration and operation of the measuring unit 10 are the same as in the first embodiment.
  • the positional relationship holding unit 410 is configured in the same manner as the construction information holding unit 105 and the like, and is realized by a storage device as exemplified for the construction information holding unit 105 and the like.
  • the positional relationship holding unit 410 holds a criterion for determining whether the positional relationship between each part of the building C and the measuring unit 10 is appropriate.
  • the positional relationship holding unit 410 stores a predetermined positional relationship between the building component and the measuring unit 10.
  • the positional relationship includes a range of the distance between the building component and the measuring unit 10 and a range of the orientation of the measuring unit 10 with respect to the surface of the building component.
  • the measuring unit 10 When the range of the distance between the building component and the measuring unit 10 and the range of the orientation of the measuring unit 10 with respect to the surface of the building component satisfy the range defined by the positional relationship holding unit 410, the measuring unit 10 The captured image is suitable for inspection, and if the image is not satisfied, it can be determined that the image is not suitable for inspection.
  • the range of the distance between the building component and the measuring unit 10 is a range of a distance suitable for the measuring unit 10 to image the building component.
  • the range of this distance can be set according to the imaging capabilities of the 2D image acquisition unit 12 and the 3D image acquisition unit 13 of the measurement unit 10, the size of an abnormal region that can occur in a building component, and the like.
  • the range of the orientation of the measurement unit 10 with respect to the surface of the construction component is a range suitable for the measurement unit 10 to image the construction component.
  • the range of this orientation can be set depending on the characteristics of the surface of the building component.
  • the direction of the measurement unit 10 is the imaging direction of the 2D image acquisition unit 12 and the 3D image acquisition unit 13.
  • the direction of the measurement unit 10 with respect to the surface of the building component is a direction in a three-dimensional space, but may be a direction in a two-dimensional space such as a horizontal plane. For example, if the building component is a kitchen or a mirror, the surface of the building component may be glossy or mirrored.
  • the positional relationship holding unit 410 includes a construction component, a range of a distance between the construction component and the measurement unit 10, and an orientation of the measurement unit 10 with respect to the surface of the construction component.
  • the range is stored in association with the range.
  • the positional relationship holding unit 410 associates only the building component with the range of the direction of the measuring unit 10 with respect to the surface of the building component. It may be stored.
  • the part determination unit 401 determines the position and area of the part to be imaged, the construction components in the part to be inspected, and the inspection target part thereof for each image acquired from the measurement unit 10. The position and the area on the image are calculated, and information including these and the image corresponding to the subject is output to the abnormality determination unit 103 and the positional relationship recognition unit 408. Further, the part determination unit 401 outputs the position information of the measurement unit 10 acquired from the position recognition unit 102 to the positional relationship recognition unit 408.
  • the positional relationship recognizing unit 408 acquires the positional relationship between the measuring unit 10 and the inspection target site based on the position of the measuring unit 10 and the information on the inspection target site specified by the site determining unit 401. Specifically, the positional relationship recognizing unit 408 refers to the information of the building C stored in the building information holding unit 105, and based on the information of the building C and the information acquired from the part determining unit 401, The position of the inspection target part with respect to the building C is calculated. At this time, the positional relationship recognizing unit 408 stores the information of the floor plan of the building C, the position and the area of the subject, and the position and the area of each building component in the subject and the inspection target part thereof.
  • the position of the inspection target site is calculated. Further, the positional relationship recognition unit 408 determines the position and orientation of the measurement unit 10 with respect to the inspection target site based on the position of the inspection target site on the floor plan and the position information of the measurement unit 10 acquired from the site determination unit 401. Is calculated. Specifically, the positional relationship recognizing unit 408 calculates the position and orientation of the measuring unit 10 with respect to the surface of the building component at the inspection target site. The positional relationship recognition unit 408 outputs to the position / posture control unit 409 information including the position of the inspection target site and the position and orientation of the measurement unit 10 with respect to the surface of the construction component of the inspection target site.
  • the position / posture control unit 409 compares the positional relationship between the measurement unit 10 and the inspection target site acquired by the positional relationship recognition unit 408 with the construction corresponding to the measurement unit 10 and the inspection target site held in the positional relationship holding unit 410. By comparing the positional relationship with the object component, the inspection result of the inspection target site is determined. Further, the position / posture control unit 409 generates control information of the position and the posture of the measurement unit 10 based on the compared two positional relationships.
  • the position / posture control unit 409 is an example of a determination unit and a control information generation unit.
  • the position / posture control unit 409 determines the positional relationship between the measuring unit 10 acquired by the positional relationship recognizing unit 408 and the inspection target part of the building component in the measuring unit 10 held in the positional relationship holding unit 410 and the construction It is determined whether or not the positional relationship with the object component is satisfied. If satisfied, the position / posture control unit 409 determines that the image of the inspection target site is appropriate, and causes the abnormality determination unit 103 and the type recognition unit 104 to perform processing using the image of the inspection target site. If the condition is not satisfied, the position / posture control unit 409 determines that the image of the inspection target site is inappropriate, and causes the abnormality determination unit 103 and the type recognition unit 104 to stop the process using the image of the inspection target site. .
  • the position / posture control unit 409 instructs the measurement unit 10 to re-image the inspection target site.
  • the position / posture control unit 409 changes the imaging direction of the measuring unit 10 so that the positional relationship between the measuring unit 10 and the inspection target site satisfies the positional relationship held by the positional relationship holding unit 410, and A control command for changing the position of the measurement unit 10, that is, the position of the moving body 1, is generated.
  • the position / posture control unit 409 outputs a control command to a control device (not shown) of the measurement unit 10 and a control device (not shown) of the moving body 1 before the command for re-imaging.
  • the control device of the measuring unit 10 controls, for example, a gimbal driving device of the measuring unit 10 to change the attitude of the measuring unit 10.
  • the control device of the moving body 1 controls the driving device of the moving body 1 to change the position of the moving body 1.
  • the measuring unit 10 performs re-imaging after recognizing the change in the posture and the position of the measuring unit 10 and the moving body 1 via the position acquiring unit 11 and the like. Thereby, an image suitable for the inspection is obtained.
  • the other configurations and operations of the inspection device 400 according to the fourth embodiment are the same as those of the first embodiment, and thus the description thereof is omitted.
  • the same effect as in the first embodiment can be obtained by the inspection device 400 according to the fourth embodiment as described above.
  • the inspection apparatus 400 is a positional relationship recognizing unit that acquires a positional relationship between the measuring unit 10 and the inspection target site based on the position of the measurement unit 10 and information on the inspection target site specified by the site determination unit 401. 408, and a positional relationship holding unit 410 that holds a positional relationship between each part set in advance in each part of the building C and the measuring unit 10. Then, the position / posture control unit 409 as a determination unit compares the positional relationship between the measurement unit 10 and the inspection target part acquired by the positional relationship recognition unit 408 with the measurement unit 10 held in the positional relationship holding unit 410 and the inspection. The inspection result of the inspection target site may be determined by comparing the positional relationship with the target site.
  • the position / posture control unit 409 invalidates the test result, for example, when the positional relationship between the measurement unit 10 and the inspection target site does not satisfy the relationship held in the positional relationship holding unit 410 and is not appropriate. be able to.
  • the position / posture control unit 409 may instruct the measurement unit 10 to re-capture an image. Thereby, the accuracy of the inspection result can be improved.
  • the position / posture control unit 409 as a control information generation unit stores the positional relationship between the measurement unit 10 and the inspection target part acquired by the positional relationship recognition unit 408 in the positional relationship holding unit 410. Control information of the position and orientation of the measuring unit 10 may be generated based on the measured positional relationship between the measuring unit 10 and the inspection target site. According to the above configuration, the position / posture control unit 409 determines the position and orientation of the measurement unit 10 when the positional relationship between the measurement unit 10 and the inspection target site does not satisfy the relationship held in the positional relationship holding unit 410 and is not appropriate.
  • Control information including a command to make the information appropriate may be output to the measurement unit 10 and the mobile unit 1, and further, the measurement unit 10 may be instructed to re-capture an image. This makes it possible to perform an inspection using an image suitable for detecting an abnormality, thereby improving the accuracy of the inspection result.
  • Embodiment 5 An inspection device 500 according to Embodiment 5 will be described.
  • the inspection apparatus 500 according to Embodiment 5 controls the imaging operation of the measurement unit 10 and the operation of the moving body 1 and further stops the moving body 1 when the measurement unit 10 performs imaging. This is different from the fourth embodiment. In the following, the points different from the first to fourth embodiments and the modified examples will be mainly described.
  • FIG. 15 is a block diagram showing an example of a functional configuration of an inspection device 500 according to the fifth embodiment.
  • the inspection device 500 includes a position recognition unit 102, an abnormality determination unit 103, a type recognition unit 104, a building information storage unit 105, and an abnormality reference storage unit. 106, a type reference holding unit 107, a part determining unit 401, a positional relationship recognizing unit 408, and a positional relationship holding unit 410.
  • the configuration and operation of the above components are the same as in the fourth embodiment.
  • the inspection device 500 includes a position / posture control unit 509 and a measurement control unit 511.
  • the measurement control unit 511 is realized by the same configuration as the above-described components.
  • the configuration and operation of the measuring unit 10 are the same as in the first embodiment.
  • the position / posture control unit 509 operates in the same manner as in the fourth embodiment. Further, when the position / posture control unit 509 receives a command to stop the movement of the moving body 1 from the measurement control unit 511, the position / posture control unit 509 instructs a control device (not shown) of the moving body 1 to stop the movement of the moving body 1. Is output.
  • the measurement control unit 511 instructs the measurement unit 10 to capture an image of a part to be inspected, and controls the imaging operation of the measurement unit 10. Furthermore, when outputting an imaging command to the measurement unit 10, the measurement control unit 511 outputs a command to stop the movement of the moving object 1 in advance. Specifically, the measurement control unit 511 acquires, via the input device 520, a command to execute imaging by the measurement unit 10. Next, the measurement control unit 511 outputs a command to stop the movement of the moving body 1 to the position / posture control unit 509. Next, the measurement control unit 511 outputs to the measurement unit 10 a command to execute imaging after the movement of the moving body 1 is stopped.
  • the order of the commands output to the measurement unit 10 is not limited to the above, and may be reversed.
  • the measurement unit 10 When detecting the stop of the movement of the mobile unit 1 via the position acquisition unit 11, the measurement unit 10 performs imaging. Therefore, the measurement unit 10 performs imaging while the movement of the moving body 1 is stopped.
  • the measurement control unit 511 is an example of a control command unit.
  • the input device 520 is an input interface such as a switch that receives an input of a user command to the inspection device 500.
  • the input device 520 may be mounted on the control device 1a of the moving body 1.
  • the input device 520 may be mounted on a device different from the control device 1a, and may be connected to the mobile unit 1 via wired communication or wireless communication.
  • the input device 520 may output the imaging execution command in the ON state without outputting the imaging execution instruction in the OFF state.
  • the measurement control unit 511 acquires the imaging timing from the measurement unit 10 in advance, and moves the moving body 1 before the imaging timing.
  • a command to stop may be output.
  • the measurement control unit 511 is mounted together with other components of the inspection device 500, but is not limited thereto.
  • the measurement control unit 511 may be included in the measurement unit 10 or included in the control device 1a. Is also good.
  • the other configurations and operations of the inspection apparatus 500 according to the fifth embodiment are the same as those of the fourth embodiment, and thus description thereof will be omitted.
  • the same effect as in the fourth embodiment can be obtained by the inspection device 500 according to the fifth embodiment as described above.
  • the inspection apparatus 500 further includes a measurement control unit 511 as a control command unit that instructs the measurement unit 10 to capture an image of the part to be inspected, and the measurement control unit 511 outputs an imaging command to the measurement unit 10.
  • a command to stop the movement of the moving body 1 may be output in advance.
  • the technology of the present disclosure may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program or a computer-readable recording disk, and the system, the apparatus, the method, and the integrated circuit.
  • a computer program and a recording medium includes, for example, a non-volatile recording medium such as a CD-ROM.
  • each processing unit included in the above-described embodiment and the modification is typically realized as an LSI (Large Scale Integration) which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include some or all of them.
  • LSI Large Scale Integration
  • the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a processor such as a CPU reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • Part or all of the above components may be constituted by a removable IC (Integrated Circuit) card or a single module.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or module may include the above-described LSI or system LSI.
  • the IC card or module achieves its functions by the microprocessor operating according to the computer program. These IC cards and modules may have tamper resistance.
  • the technology of the present disclosure may be realized by a method such as the following inspection method.
  • the inspection method may be realized by an MPU (Micro Processing Unit) and a processor such as a CPU, a circuit such as an LSI, an IC card or a single module, or the like.
  • MPU Micro Processing Unit
  • a processor such as a CPU, a circuit such as an LSI, an IC card or a single module, or the like.
  • Such an inspection method is an inspection method for inspecting a building, and acquires an image of an inspection target site in the building and information on an imaging position of the image, and acquires information on the building. Based on the information on the building and the information on the imaging position, calculate the imaging position with respect to the building, and based on the image and the imaging position with respect to the building, the inspection target portion projected on the image. Identifying and acquiring the inspection standard for each part of the building, and comparing the specified inspection target part with the inspection standard to determine an inspection result of the inspection target part.
  • the technology of the present disclosure may be realized by a software program or a digital signal including the software program, or may be a non-transitory computer-readable recording medium on which the program is recorded. Needless to say, the program can be distributed via a transmission medium such as the Internet.
  • the division of functional blocks in the block diagram is merely an example, and a plurality of functional blocks can be implemented as one functional block, one functional block can be divided into a plurality of functional blocks, or some functions can be transferred to other functional blocks. You may.
  • the functions of a plurality of functional blocks having similar functions may be processed by a single piece of hardware or software in parallel or time division.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

検査装置（１００）は、建設物の情報と計測部（１０）の位置情報とに基づき、建設物に対する計測部（１０）の位置を算出する位置認識部（１０２）と、計測部（１０）によって撮像された画像を取得し、画像と計測部（１０）の位置とに基づき、画像に写し出される検査対象部位を特定する部位判定部（１０１）と、特定された検査対象部位と検査基準とを比較することによって、検査対象部位の検査結果を決定し出力する決定部としての異常判定部（１０３）及び種別認識部（１０４）とを備える。

Description

検査装置及び検査方法
　本開示は、建設物の検査装置及び検査方法に関する。
　近年、品質検査の自動化が検討されている。例えば、特許文献１は、検査対象に生じた形状の欠陥を検出するための製品形状の検査システムを開示している。この検査システムは、検査対象までの距離情報を画像として表示する距離画像データを取得し、距離画像データに基づいて、検査対象の表面における高さプロファイルを抽出する。さらに、検査システムは、抽出された高さプロファイルと基準プロファイルとの差分データに基づき、検査対象の形状に欠陥があるか否かを判定する。
特開２０１０－１９７３１３号公報
　特許文献１の検査システムは、輪郭が予め決められた形状であり且つカメラからの距離が同じである検査対象の検査に適している。このような検査システムは、検査対象の種別、形状及び位置が多様である建設物の検査に適さない。
　本開示は、建設物の検査を自動化する検査装置及び検査方法を提供する。
　本開示の一態様に係る検査装置は、建設物を検査する検査装置であって、前記建設物の情報を保持する情報保持部と、前記建設物における検査対象部位の画像を撮像する計測部の位置情報を取得し、前記情報保持部に保持される前記建設物の情報と前記計測部の位置情報とに基づき、前記建設物に対する前記計測部の位置を算出する位置認識部と、前記計測部によって撮像された画像を取得し、前記画像と前記計測部の位置とに基づき、前記画像に写し出される前記検査対象部位を特定する部位判定部と、前記建設物の各部位についての検査基準を保持する基準保持部と、前記部位判定部によって特定された前記検査対象部位と前記基準保持部に保持される前記検査基準とを比較することによって、前記検査対象部位の検査結果を決定し出力する決定部とを備える。
　本開示の一態様に係る検査方法は、建設物を検査する検査方法であって、前記建設物における検査対象部位の画像と、前記画像の撮像位置の情報とを取得し、前記建設物の情報を取得し、前記建設物の情報と前記撮像位置の情報とに基づき、前記建設物に対する前記撮像位置を算出し、前記画像と前記建設物に対する前記撮像位置とに基づき、前記画像に写し出される前記検査対象部位を特定し、前記建設物の各部位についての検査基準を取得し、特定された前記検査対象部位と前記検査基準とを比較することによって、前記検査対象部位の検査結果を決定する。
　なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等の不揮発性の記録媒体を含む。
　本開示による検査装置等によれば、建設物の検査を自動化することが可能になる。
図１は、実施の形態１に係る検査装置が検査を実施する状況の一例を示す模式的な斜視図である。 図２は、実施の形態１に係る検査装置の機能的な構成の一例を示すブロック図である。 図３は、実施の形態１に係る建設物情報保持部に格納される建設物の間取り図の一例を示す図である。 図４は、図３の間取り図に含まれる情報の一例を示す図である。 図５は、実施の形態１に係る異常基準保持部に格納される異常判定基準の一例を示す図である。 図６は、検査対象部位における異常の種別の例を示す模式的な図である。 図７は、実施の形態１に係る種別基準保持部に格納される異常の種別判別基準の一例を示す図である。 図８Ａは、実施の形態１に係る検査装置によって出力される検査結果の画像の一例を示す図である。 図８Ｂは、実施の形態１に係る検査装置によって出力される検査結果の画像の一例を示す図である。 図９は、実施の形態１に係る検査装置の動作の流れの一例を示すフローチャートである。 図１０は、実施の形態１の変形例に係る検査装置の機能的な構成の一例を示すブロック図である。 図１１は、実施の形態２に係る検査装置の機能的な構成の一例を示すブロック図である。 図１２は、実施の形態３に係る検査装置の機能的な構成の一例を示すブロック図である。 図１３は、実施の形態４に係る検査装置の機能的な構成の一例を示すブロック図である。 図１４は、実施の形態４に係る位置関係保持部に格納される建設物構成要素と計測部との位置関係の一例を示す図である。 図１５は、実施の形態５に係る検査装置の機能的な構成の一例を示すブロック図である。
　以下では、本開示の実施の形態に係る検査装置等について、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の技術の好ましい一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ（工程）、並びに、ステップの順序などは、一例であり、本開示の技術を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の技術の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。また、本明細書及び請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　［実施の形態１］
　［１－１．検査装置の構成］
　まず、実施の形態１に係る検査装置１００の概略的な構成を説明する。図１は、実施の形態１に係る検査装置１００が検査を実施する状況の一例を示す模式的な斜視図である。図１に示すように、検査装置１００は、建設物Ｃの内部及び外部の検査を行うことができる。本実施の形態では、建設物Ｃは、住宅であるとして説明するが、検査装置１００の検査対象はいかなる建設物であってもよい。
　さらに、検査装置１００は、計測部１０と一緒に、移動体１に搭載されるとし、移動体１と一緒に移動しつつ建設物Ｃの様々な部位を検査する。移動体１は、支持面上を走行する移動体であってもよく、空中を飛行する移動体１であってもよく、水上又は水中を進行する移動体であってもよい。移動体１の例は、陸上移動ロボット、ドローン及び水上又は水中移動ロボットである。本実施の形態では、移動体１は、陸上移動ロボットである。検査装置１００の全てが移動体１に搭載されてもよく、検査装置１００の一部又は全てが、移動体１とは別の１つ以上の機器に搭載されてもよい。前者の場合、検査装置１００は計測部１０と電気的に接続される。後者の場合、検査装置１００は、移動体１の計測部１０と、有線通信又は無線通信を介して、情報及び指令を授受してもよい。後者の検査装置１００を搭載する機器の例は、移動体１を操縦するための操縦装置１ａ、及び、図示しないコンピュータ装置である。
　図１の例では、移動体１は、建設物Ｃの内部の床面Ｆ上を任意に走行し、計測部１０は、建設物Ｃの内部の画像を撮像する。検査装置１００は、計測部１０によって撮像された画像を用いて、建設物Ｃの内部、例えば、内装を検査する。
　さらに、実施の形態１に係る検査装置１００の詳細な構成を説明する。図２は、実施の形態１に係る検査装置１００の機能的な構成の一例を示すブロック図である。検査装置１００は、部位判定部１０１と、位置認識部１０２と、異常判定部１０３と、種別認識部１０４と、建設物情報保持部１０５と、異常基準保持部１０６と、種別基準保持部１０７とを含む。また、計測部１０は、位置取得部１１と、２Ｄ（２次元：2-Dimensions）画像取得部１２と、３Ｄ（３次元：3-Dimensions）画像取得部１３とを含む。
　位置取得部１１は、計測部１０の位置、具体的には、移動体１の位置を取得する。計測部１０の位置は、２次元位置であってもよく、３次元位置であってもよく、移動体１の移動可能な方向に応じて決定されてもよい。例えば、移動体１が床面Ｆ上を移動する場合、計測部１０の位置は２次元位置であってもよく、移動体１が飛行する場合、計測部１０の位置は３次元位置であってもよい。位置取得部１１は、加速度センサ及びジャイロセンサ（「角速度センサ」とも呼ばれる）、並びに／又は、ＧＰＳ（Global Positioning System）受信器を含んでもよい。位置取得部１１は、加速度センサ及びジャイロセンサによって検出される加速度及び角速度を用いて、計測部１０の位置を算出することができる。位置取得部１１は、ＧＰＳ受信器を介して取得される衛星信号に基づき、計測部１０の位置を算出することができる。位置取得部１１は、計測部１０の位置情報を検査装置１００の位置認識部１０２に出力する。計測部１０の位置情報は、計測部１０の位置と、２Ｄ画像取得部１２及び３Ｄ画像取得部１３の向きである撮像方向とを含む。撮像方向は、２Ｄ画像取得部１２及び３Ｄ画像取得部１３の光軸に沿う方向である。計測部１０の位置の例は、地図等の地球を基準とする座標に基づく位置、特定のエリア内で設定された座標に基づく位置、及び基準点に対する相対的な位置等を含む。また、移動体１が加速度センサ及びジャイロセンサ、並びに／又はＧＰＳ受信器を備える場合、位置取得部１１は、移動体１から位置情報を取得してもよい。
　２Ｄ画像取得部１２は、建設物Ｃの検査対象の部位の２次元画像、具体的には、２次元のデジタル画像を撮像する。２次元画像は、各画素の画素値として輝度値を含む画像である。２Ｄ画像取得部１２の例は、単眼カメラ等の２Ｄカメラである。２Ｄ画像取得部１２は、その撮像方向を自在に変えることができるように、図示しないジンバル等の雲台を備えてもよい。そして、２Ｄ画像取得部１２は、検査装置１００又は操縦装置１ａの制御指令に従って、その向きを変更し撮像してもよい。２Ｄ画像取得部１２は、撮像した２次元画像を検査装置１００の部位判定部１０１に出力する。
　３Ｄ画像取得部１３は、建設物Ｃの検査対象の部位の３次元画像、具体的には、３次元のデジタル画像を撮像する。３次元画像は、３Ｄ画像取得部１３から被写体までの距離情報を含む画像である。３次元画像の例は、３Ｄ画像取得部１３から被写体までの距離を、各画素の画素値として含む距離画像である。３Ｄ画像取得部１３の例は、レーザ光投射式カメラ及び複眼カメラ等の３Ｄカメラである。３Ｄ画像取得部１３は、その撮像方向を自在に変えることができるように、図示しないジンバル等の雲台を備えてもよい。そして、３Ｄ画像取得部１３は、検査装置１００又は操縦装置１ａの制御指令に従って、その向きを変更し撮像してもよい。３Ｄ画像取得部１３は、２Ｄ画像取得部１２の撮像領域と同じ又は重複する領域を撮像する。３Ｄ画像取得部１３がレーザ光投射式カメラで構成される場合、２Ｄ画像取得部１２が３Ｄ画像取得部１３を兼ねてもよい。又は、３Ｄ画像取得部１３が複眼カメラで構成される場合、３Ｄ画像取得部１３が２Ｄ画像取得部１２を兼ねてもよい。３Ｄ画像取得部１３は、撮像した３次元画像を検査装置１００の部位判定部１０１に出力する。
　建設物情報保持部１０５、異常基準保持部１０６及び種別基準保持部１０７は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。建設物情報保持部１０５、異常基準保持部１０６及び種別基準保持部１０７は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又はＳＳＤ（Solid State Drive）等の記憶装置によって実現される。
　異常基準保持部１０６及び種別基準保持部１０７は、建設物Ｃの各部位についての検査基準を格納、つまり保持する。異常基準保持部１０６は、検査基準として、建設物Ｃの各部位についての異常の有無の判定基準を保持する。種別基準保持部１０７は、検査基準として、建設物Ｃの各部位についての異常の種別の判別基準を保持する。異常基準保持部１０６及び種別基準保持部１０７によって保持される判定基準及び判別基準の詳細は、後述する。
　建設物情報保持部１０５は、予め作成された建設物Ｃの情報を格納する。建設物Ｃの情報の例は、建設物Ｃの外観を示す図、建設物Ｃの内部を示す図、建設物Ｃの各部位に使用されている材料及び部材の種類、形状、色、模様、表面粗度及び位置などの情報、建設物Ｃの建具の種類、形状、色、模様、表面粗度及び位置などの情報、並びに、建設物Ｃの付属物の種類、形状、色、模様、表面粗度及び位置などの情報である。このように、建設物情報保持部１０５は、材料、部材、建具及び付属物等の建設物Ｃに使用される構成要素である建設物構成要素の情報を格納する。ここで、建設物情報保持部１０５は、情報保持部の一例である。
　使用材料の例は、壁材、床材、天井材及び屋根材である。使用部材の例は、柱、巾木及びコンセントや照明スイッチなどの配線器具である。建具の例は、扉、窓、及びその他の開口部を開閉する仕切りである。付属物の例は、バス、トイレ、キッチン、収納棚、押入れ、クローゼット及び下駄箱である。建設物Ｃの外観を示す図の例は、建設物Ｃの正面図、側面図、背面図及び上面図である。建設物Ｃの内部を示す図の例は、建設物Ｃの断面図、及び図３に示すような建設物Ｃの間取り図である。なお、図３は、実施の形態１に係る建設物情報保持部１０５に格納される建設物Ｃの間取り図の一例を示す図である。各部位の建設物構成要素の情報は、建設物Ｃの外観図、断面図及び間取り図におけるこれらが配置される位置と対応付けられている。
　例えば、図４は、図３の間取り図に含まれる情報の一例を示す図である。図４に示すように、間取り図の各部位に存在する建設物構成要素は、例えば、間取り図に設定された３次元座標によって示される位置と対応付けられる。
　位置認識部１０２は、建設物Ｃにおける検査対象部位の画像を撮像する計測部１０から、計測部１０の位置情報を取得し、建設物情報保持部１０５に保持される建設物Ｃの情報と計測部１０の位置情報とに基づき、建設物Ｃに対する計測部１０の位置を算出する。具体的には、位置認識部１０２は、建設物Ｃに対する計測部１０の位置及び向きを算出する。計測部１０の向きは、２Ｄ画像取得部１２及び３Ｄ画像取得部１３の撮像方向である。本実施の形態のように、移動体１が建設物Ｃの内部に位置する場合、位置認識部１０２は、計測部１０の位置を、建設物Ｃの間取り図と対応付け、間取り図上における計測部１０の位置及び向きを算出する。位置認識部１０２は、建設物Ｃに対する計測部１０の位置及び向きを含む位置情報を部位判定部１０１に出力する。
　部位判定部１０１は、計測部１０によって撮像された画像を取得し、取得された画像と、位置認識部１０２から取得された計測部１０の位置情報とに基づき、当該画像に写し出される部位である被写部位の位置及び領域を、建設物Ｃに対して特定する。部位判定部１０１は、本実施の形態では、２次元画像及び３次元画像の両方を用いるが、２次元画像及び３次元画像の少なくとも一方を用いてもよい。また、本実施の形態では、被写部位の位置及び領域は、間取り図上における位置及び領域であるが、建設物Ｃの他の基準に対する位置及び領域であってもよい。なお、２Ｄ画像取得部１２及び３Ｄ画像取得部１３の視野つまり視野角が既知である場合、部位判定部１０１は、画像を用いずに、建設物Ｃに対する計測部１０の位置及び向きと間取り図とに基づき、被写部位の位置及び領域を特定してもよい。
　さらに、部位判定部１０１は、画像内において、被写部位に含まれる各建設物構成要素の領域である検査対象部位を特定する。部位判定部１０１は、間取り図に含まれる各建設物構成要素の情報と、画像から抽出される被写体の輪郭、色及びテクスチャ等の情報とを照合することによって、建設物構成要素及びその検査対象部位を特定する。部位判定部１０１は、被写部位の位置及び領域と、被写部位内の各建設物構成要素及びその検査対象部位の画像上での位置及び領域と、被写部位に対応する画像とを含む情報を異常判定部１０３に出力する。なお、部位判定部１０１は、３次元画像を用いることによって、建設物Ｃ又は間取り図に対する検査対象部位の位置及び領域を算出してもよい。
　異常基準保持部１０６は、予め作成された建設物Ｃの各部位についての異常の有無の判定基準、つまり異常判定基準を格納する。具体的には、異常基準保持部１０６は、建設物Ｃの各部位に使用される各建設物構成要素についての異常判定基準を格納する。異常判定基準は、建設物構成要素の２次元画像及び３次元画像に基づく判定基準である。具体的には、異常判定基準では、画像において配列された画素の画素値に関するパラメータの変化が正常である所定の状態が、規定されている。つまり、パラメータの変化が異常判定基準から逸脱している場合、異常が有ると判断できる。ここで、異常基準保持部１０６は、基準保持部の一例である。
　画素値は、輝度値及び距離値のいずれであってもよい。パラメータの変化の例は、配列された画素の画素値のパターンつまり空間周波数、配列された画素の色の変化、配列された画素のコントラストの変化、及び配列された画素の画素値が示す距離値の変化であるが、これらに限定されない。例えば、画素値が示す輝度値の空間周波数は、表面の模様、及びシボ等の表面加工の状態を示し、画素値が示す距離値の空間周波数は、表面の凹凸構造等の表面加工の状態を示し得る。２つの以上のパラメータの組み合わせの変化が、異常判定の対象として評価されてもよい。また、異常判定基準は、建設物Ｃに設定された固有の基準であってもよく、一般的な建設物構成要素に設定された汎用的な基準であってもよい。例えば、図５は、汎用的な基準で構成された実施の形態１に係る異常基準保持部１０６に格納される異常判定基準の一例を示す。
　また、図６は、検査対象部位における異常の種別の例を示す模式的な図を示す。異常判定基準は、図６に示すような異常の種別までを特定することを目的とする基準ではなく、過大な隙間、不均一な隙間、接触、膨らみ、凹み、段差、縁の欠け、縁の突出、及び色違い等の異常の特徴を抽出することを目的とする基準である。
　異常判定部１０３は、部位判定部１０１から取得された情報に基づき、取得された画像内の各検査対象部位に対して、建設物構成要素の異常の有無を判定する。具体的には、異常判定部１０３は、取得された２次元画像及び／又は３次元画像において、各検査対象部位を写し出す画素の画素値を走査する。異常判定部１０３は、各検査対象部位の画素値の走査結果を、異常基準保持部１０６に格納される当該検査対象部位に対応する建設物構成要素の異常判定基準と照合することによって、走査結果が異常判定基準から逸脱するか否かを判定する。異常判定部１０３は、計測部１０から取得された全ての画像に対して、上述のような異常判定を行う。そして、異常判定基準から逸脱する場合、異常判定部１０３は、異常判定を行った画像上における異常判定基準から逸脱した領域である異常領域を写し出す画素の位置、つまり画素座標を算出する。異常判定部１０３は、異常判定を行った画像と、当該画像において抽出された異常領域の画素座標と、当該異常領域を含む検査対象部位と、当該検査対象部位に対応する建設物構成要素と、当該検査対象部位の位置とを対応付けた情報を、種別認識部１０４に出力する。ここで、異常判定部１０３は、決定部の一例である。
　種別基準保持部１０７は、予め作成された建設物Ｃの各部位についての異常の種別の判別基準、つまり種別判別基準を格納する。具体的には、種別基準保持部１０７は、建設物Ｃに使用される各建設物構成要素についての異常の種別を判別するための基準を格納する。種別判別基準は、図６に示すような異常の種別までを特定することを目的とする基準であり、建設物構成要素の２次元画像及び３次元画像に基づく判別基準である。例えば、図７に示すように、種別判別基準では、各建設物構成要素の異常領域の形状及び／又は寸法と、異常の種別とが対応付けられている。建設物構成要素の異常領域の形状及び／又は寸法が、当該建設物構成要素に対応する種別判別基準の形状及び／又は寸法のいずれかを満たす場合、当該建設物構成要素の異常の種別は、満たされる形状及び／又は寸法に対応する異常の種別であると見なすことができる。なお、図７は、実施の形態１に係る種別基準保持部１０７に格納される異常の種別判別基準の一例を示す図である。ここで、種別基準保持部１０７は、基準保持部の一例である。
　種別認識部１０４は、異常判定部１０３から取得された画像と、当該画像において抽出された異常領域の画素座標と、当該異常領域を含む検査対象部位と、当該検査対象部位に対応する建設物構成要素と、当該検査対象部位の位置とに基づき、異常領域における異常の種別を判別する。具体的には、種別認識部１０４は、画像と異常領域の画素座標とに基づき、異常領域の形状を算出する。さらに、種別認識部１０４は、３次元画像を用いることによって、異常領域の画素座標と当該画素座標の画素値とに基づき、異常領域の寸法を算出してもよい。種別認識部１０４は、異常領域の形状及び／又は寸法と、当該異常領域を含む検査対象部位に対応する建設物構成要素とを、種別基準保持部１０７の種別判別基準と照合する、つまりパターンマッチングすることによって、異常領域における異常の種別を特定する。種別認識部１０４は、異常の種別の判別を行った画像と、異常領域の異常の種別と、当該異常領域を含む建設物構成要素及びその位置とを対応付けて、検査装置１００の外部に出力する。ここで、種別認識部１０４は、決定部の一例である。
　種別認識部１０４の出力先は、図示しない記憶装置、ディスプレイなどの出力装置、出力端子などの出力インタフェース、又はコンピュータ装置であってもよい。また、種別認識部１０４は、建設物情報保持部１０５から建設物Ｃの間取り図の情報を参照し、間取り図上の位置と、上記の出力情報とを対応付けてもよい。さらに、種別認識部１０４は、間取り図上の位置と上記の出力情報とを対応付けたデータ、例えば図８Ａ及び図８Ｂの画像を表示するデータを生成し出力してもよい。なお、図８Ａ及び図８Ｂは、実施の形態１に係る検査装置１００によって出力される検査結果の画像の一例を示す図である。
　図８Ａ及び図８Ｂの画像は、種別認識部１０４の出力先のコンピュータ装置のディスプレイに表示される。図８Ａにおいて、点Ｆ１～Ｆ１０は、間取り図上における異常有りと判定された位置を示し、図８Ｂにおいて、点Ｆ１～Ｆ１０それぞれについての異常の種別及び床面からの高さ位置が示されている。コンピュータ装置を操作することによって、図８Ａの点Ｆ１～Ｆ１０のいずれかをユーザが選択すると、選択された点に対応する撮像画像が表示されるように構成されてもよい。なお、ディスプレイの例は、液晶パネル、及び有機又は無機ＥＬ（Electroluminescence）パネルである。図８Ａ及び図８Ｂの画像により、ユーザは、種別認識部１０４によって出力される検査結果を視認することができる。
　また、上述のような部位判定部１０１、位置認識部１０２、異常判定部１０３及び種別認識部１０４からなる検査装置１００の各構成要素は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ、並びに、ＲＡＭ及びＲＯＭ等のメモリなどからなるコンピュータシステム（図示せず）により構成されてもよい。各構成要素の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、各構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。各構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、予めＲＯＭに格納されていてもよく、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されＲＯＭに格納されてもよい。
　［１－２．検査装置の動作］
　さらに、実施の形態１に係る検査装置１００の動作の一例を説明する。図９は、実施の形態１に係る検査装置１００の動作の流れの一例を示すフローチャートである。図９に示すように、ステップＳ１において、計測部１０の２Ｄ画像取得部１２及び３Ｄ画像取得部１３はそれぞれ、建設物Ｃの検査対象部位の２次元画像及び３次元画像を撮像し、検査装置１００の部位判定部１０１に出力する。本実施の形態では、２Ｄ画像取得部１２及び３Ｄ画像取得部１３は同時に撮像するが、これに限定されない。
　次いで、ステップＳ２において、計測部１０の位置取得部１１は、２Ｄ画像取得部１２及び３Ｄ画像取得部１３の撮像時点において計測部１０の位置情報を取得し、２Ｄ画像取得部１２及び３Ｄ画像取得部１３の画像と対応付けて検査装置１００の位置認識部１０２に出力する。
　次いで、ステップＳ３において、検査装置１００の位置認識部１０２は、建設物情報保持部１０５に保持される建設物Ｃの情報を参照することによって、取得された計測部１０の位置情報に基づき、建設物Ｃに対する計測部１０の位置及び向きを算出し、部位判定部１０１に出力する。
　次いで、ステップＳ４において、部位判定部１０１は、検査対象部位を特定する。具体的には、部位判定部１０１は、計測部１０から取得された画像と、位置認識部１０２から取得された当該画像の撮像時における計測部１０の位置及び向きとに基づき、当該画像に写し出される被写部位の位置及び領域を、建設物Ｃに対して特定する。さらに、部位判定部１０１は、画像内において、被写部位に含まれる各建設物構成要素の検査対象部位の位置及び領域を特定する。部位判定部１０１は、被写部位の位置及び領域と、各建設物構成要素及びその検査対象部位の位置及び領域と、被写部位に対応する画像とを異常判定部１０３に出力する。
　次いで、ステップＳ５において、異常判定部１０３は、検査対象部位における異常の有無を判定する。異常判定部１０３は、部位判定部１０１から取得された情報と、異常基準保持部１０６に格納される異常判定基準とに基づき、各画像内の各検査対象部位に対して、建設物構成要素の異常の有無を判定する。異常判定部１０３は、判定結果を種別認識部１０４に出力する。
　次いで、ステップＳ６において、種別認識部１０４は、検査対象部位における異常の種別を判別する。種別認識部１０４は、異常判定部１０３から取得された画像と、当該画像において抽出された異常領域の画素座標と、当該異常領域を含む検査対象部位及びその位置及び当該検査対象部位に対応する建設物構成要素と、種別基準保持部１０７に格納される種別判別基準とに基づき、異常領域における異常の種別を特定する。
　次いで、ステップＳ７において、種別認識部１０４は、判別結果つまり検査結果を出力する。具体的には、種別認識部１０４は、異常の種別の判別を行った画像と、異常領域の異常の種別と、当該異常領域を含む建設物構成要素及びその位置とを対応付けたデータを、例えば、図８Ａ及び図８Ｂに示すように建設物Ｃの間取り図と対応付けて出力する。
　［１－３．効果等］
　上述したように、実施の形態１に係る検査装置１００は、建設物Ｃを検査する。検査装置１００は、建設物Ｃの情報を保持する情報保持部としての建設物情報保持部１０５と、建設物Ｃにおける検査対象部位の画像を撮像する計測部１０の位置情報を取得し且つ建設物情報保持部１０５に保持される建設物Ｃの情報と計測部１０の位置情報とに基づき、建設物Ｃに対する計測部１０の位置を算出する位置認識部１０２と、計測部１０によって撮像された画像を取得し且つ当該画像と計測部１０の位置とに基づき、当該画像に写し出される検査対象部位を特定する部位判定部１０１と、建設物Ｃの各部位についての検査基準を保持する基準保持部としての異常基準保持部１０６及び種別基準保持部１０７と、部位判定部１０１によって特定された検査対象部位と異常基準保持部１０６及び種別基準保持部１０７に保持される検査基準とを比較することによって、検査対象部位の検査結果を決定し出力する決定部としての異常判定部１０３及び種別認識部１０４とを備える。
　上記構成によると、検査装置１００は、建設物Ｃの情報と計測部１０の位置情報とを用いて算出される建設物Ｃに対する計測部１０の位置に基づき、計測部１０によって撮像された画像に写し出される検査対象部位を特定する。さらに、検査装置１００は、当該検査対象部位と建設物Ｃの各部位についての検査基準とを比較することによって、当該検査対象部位の検査結果を決定する。このように、検査装置１００は、計測部１０によって撮像される様々な画像から様々な検査対象部位を特定し、それぞれの検査結果を出力する。よって、検査装置１００は、建設物の検査の自動化を可能にする。
　また、実施の形態１に係る検査装置１００において、計測部１０は、検査対象部位の２次元画像及び３次元画像を撮像し、且つ計測部１０の位置情報を取得し、部位判定部１０１は、計測部１０によって撮像された２次元画像及び３次元画像の少なくとも一方を用いて、検査対象部位を特定してもよい。上記構成によると、部位判定部１０１は、２次元画像を用いることによって、検査対象部位の形状と、２次元画像上における検査対象部位の位置とを特定することができる。部位判定部１０１は、３次元画像を用いることによって、検査対象部位の形状及び寸法と、検査対象部位の３次元位置とを特定することができる。なお、画素値が示す対象の違いから、２次元画像を用いた検査対象部位の形状の特定は、３次元画像よりも高精度である。さらに、２次元画像及び３次元画像を用いることによって、検査対象部位の形状、寸法及び位置のより高精度な特定が可能である。
　また、実施の形態１に係る検査装置１００において、種別認識部１０４は、検査対象部位の検査結果と、検査対象部位の情報と、検査対象部位の画像とを対応付けて出力してもよい。上記構成によると、例えば、種別認識部１０４の出力結果をディスプレイ等に表示することによって、ユーザは、各検査対象部位の検査結果及びその状態を認識しやすくなる。
　［実施の形態１の変形例］
　実施の形態１の変形例に係る検査装置１００Ａを説明する。実施の形態１では、検査装置１００の異常判定部１０３及び種別認識部１０４はそれぞれ、計測部１０によって取得された画像の全てに対して、異常判定及び異常の種別判別の処理を行った。本変形に係る検査装置１００Ａの異常判定部１０３Ａは、計測部１０によって取得された画像の全てに対して異常判定の処理を行い、種別認識部１０４Ａは、異常判定部１０３によって異常があると判定された検査対象部位を含む画像に対してのみ、異常の種別判別の処理を行う。以下において、実施の形態１と異なる点を中心に説明する。
　図１０は、実施の形態１の変形例に係る検査装置１００Ａの機能的な構成の一例を示すブロック図である。図１０に示すように、検査装置１００Ａは、実施の形態１と同様に、部位判定部１０１と、位置認識部１０２と、建設物情報保持部１０５と、異常基準保持部１０６と、種別基準保持部１０７とを含む。さらに、検査装置１００Ａは、異常判定部１０３Ａと、種別認識部１０４Ａとを含む。部位判定部１０１、位置認識部１０２、建設物情報保持部１０５、異常基準保持部１０６及び種別基準保持部１０７の構成及び動作は、実施の形態１と同様である。計測部１０の構成及び動作も実施の形態１と同様である。
　異常判定部１０３Ａは、実施の形態１と同様に、計測部１０から取得される全ての画像に対して、当該画像内の検査対象部位の異常の有無を判定する。そして、異常判定部１０３Ａは、異常が有ると判定した検査対象部位及びその位置と、当該検査対象部位に対応する建設物構成要素と、当該検査対象部位の異常領域の画素座標と、当該検査対象部位の異常判定を行った画像とを、種別認識部１０４Ａに出力する。検査対象部位の異常判定を行った画像は、当該検査対象部位を含む画像である。異常判定部１０３Ａは、異常がないと判定した検査対象部位については、当該検査対象部位に関する情報を、種別認識部１０４Ａに出力しない。
　種別認識部１０４Ａは、異常判定部１０３Ａから取得した画像と、当該画像内の検査対象部位及びその位置と、当該検査対象部位に対応する建設物構成要素と、当該検査対象部位の異常領域の画素座標とを用いて、異常領域における異常の種別を判別する。種別認識部１０４Ａのその他の動作は、実施の形態１の種別認識部１０４と同様であるため、その説明を省略する。
　また、本変形例に係る検査装置１００Ａのその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような本変形例に係る検査装置１００Ａによっても、実施の形態１と同様の効果が得られる。
　さらに、検査装置１００Ａにおいて、異常基準保持部１０６は、検査基準として、建設物Ｃの各部位についての異常の有無の判定基準を保持し、種別基準保持部１０７は、検査基準として、建設物Ｃの各部位についての異常の種別の判別基準を保持してもよい。異常判定部１０３Ａは、検査対象部位が判定基準を満たすか否かを判定し、種別認識部１０４Ａは、判定基準を満たさない検査対象部位に対して、判別基準に合致するか否かを判定し、判定結果を検査結果として出力してもよい。上記構成によると、異常判定部１０３Ａは、全ての画像に含まれる検査対象部位に対して判定基準に基づく判定を行い得るが、種別認識部１０４Ａは、全ての画像に含まれる検査対象部位ではなく、判定基準を満たさない検査対象部位を含む画像に対してのみ、判別基準に基づく判定を行う。よって、種別認識部１０４Ａの判別処理の演算量が多い場合において、検査装置１００Ａの演算負荷の低減が可能になる。
　［実施の形態２］
　実施の形態２に係る検査装置２００を説明する。実施の形態１では、検査装置１００の異常判定部１０３及び種別認識部１０４がそれぞれ、計測部１０によって取得された画像内の検査対象部位に対して処理を行った。実施の形態２に係る検査装置２００は、種別認識部を備えず、異常判定部２０３の判定結果を検査結果として出力する。以下において、実施の形態１及び変形例と異なる点を中心に説明する。
　図１１は、実施の形態２に係る検査装置２００の機能的な構成の一例を示すブロック図である。図１１に示すように、検査装置２００は、実施の形態１と同様に、部位判定部１０１と、位置認識部１０２と、建設物情報保持部１０５と、異常基準保持部１０６とを含む。さらに、検査装置２００は、異常判定部２０３を含む。部位判定部１０１、位置認識部１０２、建設物情報保持部１０５及び異常基準保持部１０６の構成及び動作は、実施の形態１と同様である。計測部１０の構成及び動作も実施の形態１と同様である。
　異常判定部２０３は、実施の形態１と同様に、計測部１０から取得される全ての画像に対して、当該画像内の検査対象部位の異常の有無を判定する。そして、異常判定部１０３Ａは、異常判定を行った画像と、異常領域を含む検査対象部位に対応する建設物構成要素及びその位置とを対応付けて、検査装置２００の外部に出力する。異常判定部２０３の出力先は、図示しない記憶装置、ディスプレイなどの出力装置、出力端子などの出力インタフェース、又はコンピュータ装置であってもよい。
　また、異常判定部２０３は、建設物情報保持部１０５から建設物Ｃの間取り図の情報を参照し、間取り図上の位置と、上記の出力情報とを対応付けてもよい。さらに、異常判定部２０３は、間取り図上の位置と上記の出力情報とを対応付けたデータを生成し出力してもよい。このようなデータを用いて表示される画像は、例えば、間取り図上において、異常有りと判定された位置を示し、当該位置の高さ情報も示す。さらに、コンピュータ装置を操作することによって、上記位置をユーザが選択すると、選択された位置に対応する撮像画像が表示されように構成されてもよい。
　また、実施の形態２に係る検査装置２００のその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような実施の形態２に係る検査装置２００によっても、実施の形態１と同様の効果が得られる。
　さらに、検査装置２００において、異常基準保持部１０６は、検査基準として、建設物Ｃの各部位についての異常の有無の判定基準を保持し、異常判定部２０３は、検査対象部位が判定基準を満たすか否かに応じて、検査対象部位の検査結果を決定してもよい。上記構成によると、検査装置２００は、異常の有無の判定結果のみを検査結果として出力するため、その処理量を低減することができる。さらに、異常判定部２０３は、異常の種別の判別をしないため、種別の判別が困難である異常の誤検出を低減することができる。よって、異常の検出精度の向上が可能になる。
　［実施の形態３］
　実施の形態３に係る検査装置３００を説明する。実施の形態１では、検査装置１００の異常判定部１０３及び種別認識部１０４がそれぞれ、計測部１０によって取得された画像内の検査対象部位に対して処理を行った。実施の形態３に係る検査装置３００は、異常判定部を備えず、種別認識部３０４の判定結果を検査結果として出力する。以下において、実施の形態１及び２並びに変形例と異なる点を中心に説明する。
　図１２は、実施の形態３に係る検査装置３００の機能的な構成の一例を示すブロック図である。図１２に示すように、検査装置３００は、実施の形態１と同様に、部位判定部１０１と、位置認識部１０２と、建設物情報保持部１０５と、種別基準保持部１０７とを含む。さらに、検査装置３００は、種別認識部３０４を含む。部位判定部１０１、位置認識部１０２、建設物情報保持部１０５及び種別基準保持部１０７の構成及び動作は、実施の形態１と同様である。計測部１０の構成及び動作も実施の形態１と同様である。
　種別認識部３０４は、計測部１０から取得される全ての画像に対して、当該画像内の検査対象部位に含まれる異常領域の種別を判別する。そして、種別認識部３０４は、異常の種別の判別を行った画像と、異常領域の異常の種別と、当該異常領域を含む建設物構成要素及びその位置とを対応付け、実施の形態１と同様に検査装置３００の外部に出力する。
　具体的には、種別認識部３０４は、取得された各画像内において、各検査対象部位を写し出す画素の画素値を走査する。さらに、種別認識部３０４は、当該検査対象部位において配列されている画素の画素値に関する特徴量を抽出する。そして、種別認識部３０４は、抽出した特徴量と、当該特徴量を抽出した画素に写し出された検査対象部位に対応する建設物構成要素とを、種別基準保持部１０７の種別判別基準と照合することによって、異常の有無を特定し、さらに異常がある場合には、異常の種別まで特定する。特徴量の抽出と異常の有無や異常の種別の特定は、ディープラーニングを用いた多クラス分類などの手法で実施できる。種別認識部３０４は、異常の種別が特定された場合、異常の種別の判別を行った画像と、異常の種別と、当該異常を含む建設物構成要素及びその位置とを対応付けて、検査装置３００の外部に出力する。
　また、実施の形態３に係る検査装置３００のその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような実施の形態３に係る検査装置３００によっても、実施の形態１と同様の効果が得られる。
　さらに、検査装置３００において、種別基準保持部１０７は、検査基準として、建設物Ｃの各部位についての異常の種別の判別基準を保持し、種別認識部３０４は、検査対象部位が判別基準に合致するか否かに応じて、検査対象部位の検査結果を決定してもよい。上記構成によると、検査装置３００は、異常の種別の判別基準のみに基づき、検査対象部位の異常を検出する。このような検査装置３００は、実施の形態１に係る異常判定部１０３の判定処理を実施することなく異常の種別の判別を行い得る。よって、検査装置３００は、異常の種別を判別するために実施する処理の低減が可能になる。
　［実施の形態４］
　実施の形態４に係る検査装置４００を説明する。実施の形態１に係る検査装置１００は、計測部１０によって任意に撮像された画像を用いて、検査処理を行った。実施の形態４に係る検査装置４００は、計測部１０によって撮像された画像の検査への適否を判定し、検査に適切な画像を用いて、検査処理を行う。以下において、実施の形態１～３及び変形例と異なる点を中心に説明する。
　図１３は、実施の形態４に係る検査装置４００の機能的な構成の一例を示すブロック図である。図１３に示すように、検査装置４００は、実施の形態１と同様に、位置認識部１０２と、異常判定部１０３と、種別認識部１０４と、建設物情報保持部１０５と、異常基準保持部１０６と、種別基準保持部１０７とを含む。さらに、検査装置４００は、部位判定部４０１と、位置関係認識部４０８と、位置・姿勢制御部４０９と、位置関係保持部４１０とを含む。位置認識部１０２、異常判定部１０３、種別認識部１０４、建設物情報保持部１０５、異常基準保持部１０６及び種別基準保持部１０７の構成及び動作は、実施の形態１と同様である。位置関係認識部４０８及び位置・姿勢制御部４０９は、上記構成要素と同様の構成により実現される。計測部１０の構成及び動作は実施の形態１と同様である。
　位置関係保持部４１０は、建設物情報保持部１０５等と同様に構成され、建設物情報保持部１０５等に関して例示したような記憶装置で実現される。位置関係保持部４１０は、建設物Ｃの各部位と計測部１０との位置関係の適否の基準を保持する。具体的には、位置関係保持部４１０は、建設物構成要素と計測部１０との間の予め規定された位置関係を格納する。上記位置関係は、建設物構成要素と計測部１０との距離の範囲、及び、建設物構成要素の表面に対する計測部１０の向きの範囲を含む。建設物構成要素と計測部１０との距離の範囲、及び、建設物構成要素の表面に対する計測部１０の向きの範囲が、位置関係保持部４１０に定められる範囲を満たす場合、当該計測部１０によって撮像された画像は検査に適し、満たさない場合、当該画像は、検査に適さないと判断することができる。
　建設物構成要素と計測部１０との距離の範囲は、計測部１０による当該建設物構成要素の撮像に適した距離の範囲である。この距離の範囲は、計測部１０の２Ｄ画像取得部１２及び３Ｄ画像取得部１３の撮像能力、及び、建設物構成要素に生じ得る異常領域の大きさ等に応じて、設定され得る。
　建設物構成要素の表面に対する計測部１０の向きの範囲は、計測部１０による当該建設物構成要素の撮像に適した方向の範囲である。この向きの範囲は、建設物構成要素の表面の特性に応じて、設定され得る。なお、計測部１０の向きは、２Ｄ画像取得部１２及び３Ｄ画像取得部１３の撮像方向である。本実施の形態では、建設物構成要素の表面に対する計測部１０の向きは、３次元空間内での向きであるが、水平面等の２次元空間内での向きであってもよい。例えば、建設物構成要素が、キッチン又は鏡である場合、建設物構成要素の表面は、光沢面又は鏡面であり得る。このような表面に対して、２Ｄ画像取得部１２及び３Ｄ画像取得部１３が正面から撮像する場合、表面上の傷又は凹み等の異常は、表面での反射像に埋もれてしまい、画像上に現れない場合がある。このような表面に対して、斜めの方向から撮像することによって、表面上の異常が画像に写し出される。
　例えば、図１４に示すように、位置関係保持部４１０は、建設物構成要素と、建設物構成要素と計測部１０との距離の範囲と、建設物構成要素の表面に対する計測部１０の向きの範囲とを対応付けて格納する。なお、計測部１０に適した距離の範囲が設定されない場合、位置関係保持部４１０は、建設物構成要素と、当該建設物構成要素の表面に対する計測部１０の向きの範囲とのみを対応付けて格納していてもよい。
　部位判定部４０１は、実施の形態１と同様に、計測部１０から取得された各画像について、被写部位の位置及び領域と、被写部位内の各建設物構成要素及びその検査対象部位の画像上での位置及び領域とを算出し、これらと被写部位に対応する画像とを含む情報を、異常判定部１０３及び位置関係認識部４０８に出力する。さらに、部位判定部４０１は、位置認識部１０２から取得された計測部１０の位置情報を位置関係認識部４０８に出力する。
　位置関係認識部４０８は、計測部１０の位置と、部位判定部４０１によって特定された検査対象部位の情報とに基づき、計測部１０と当該検査対象部位との位置関係を取得する。具体的には、位置関係認識部４０８は、建設物情報保持部１０５に格納される建設物Ｃの情報を参照し、建設物Ｃの情報と部位判定部４０１から取得された情報とに基づき、建設物Ｃに対する検査対象部位の位置を算出する。このとき、位置関係認識部４０８は、建設物Ｃの間取り図の情報と、被写部位の位置及び領域と、被写部位内の各建設物構成要素及びその検査対象部位の位置及び領域とに基づき、間取り図上での検査対象部位の位置を算出する。さらに、位置関係認識部４０８は、間取り図上での検査対象部位の位置と、部位判定部４０１から取得された計測部１０の位置情報とに基づき、検査対象部位に対する計測部１０の位置及び向きを算出する。具体的には、位置関係認識部４０８は、検査対象部位における建設物構成要素の表面に対する計測部１０の位置及び向きを算出する。位置関係認識部４０８は、検査対象部位の位置と、検査対象部位の建設物構成要素の表面に対する計測部１０の位置及び向きとを含む情報を、位置・姿勢制御部４０９に出力する。
　位置・姿勢制御部４０９は、位置関係認識部４０８によって取得された計測部１０と検査対象部位との位置関係を、位置関係保持部４１０に保持される計測部１０と検査対象部位に対応する建設物構成要素との位置関係と比較することによって、当該検査対象部位の検査結果を決定する。さらに、位置・姿勢制御部４０９は、比較された２つの位置関係に基づき、計測部１０の位置及び姿勢の制御情報を生成する。ここで、位置・姿勢制御部４０９は、決定部及び制御情報生成部の一例である。
　位置・姿勢制御部４０９は、位置関係認識部４０８によって取得された計測部１０と建設物構成要素の検査対象部位との位置関係が、位置関係保持部４１０に保持される計測部１０と当該建設物構成要素との位置関係を満たすか否かを判定する。位置・姿勢制御部４０９は、満たす場合、当該検査対象部位の画像は適切であると判定し、異常判定部１０３及び種別認識部１０４に当該検査対象部位の画像を用いた処理をさせる。位置・姿勢制御部４０９は、満たさない場合、当該検査対象部位の画像は不適切であると判定し、異常判定部１０３及び種別認識部１０４に当該検査対象部位の画像を用いた処理を中止させる。
　さらに、後者の場合、位置・姿勢制御部４０９は、計測部１０に当該検査対象部位の再撮像を指令する。このとき、位置・姿勢制御部４０９は、計測部１０と当該検査対象部位との位置関係が位置関係保持部４１０に保持される位置関係を満たすように、計測部１０の撮像方向を変更し且つ計測部１０の位置つまり移動体１の位置を変更する制御指令を生成する。位置・姿勢制御部４０９は、制御指令を計測部１０の図示しない制御装置及び移動体１の図示しない制御装置に、再撮像の指令よりも前に出力する。計測部１０の制御装置は、例えば、計測部１０のジンバルの駆動装置を制御し、計測部１０の姿勢を変更する。移動体１の制御装置は、移動体１の駆動装置を制御し、移動体１の位置を変更する。計測部１０は、計測部１０及び移動体１の姿勢及び位置の変更を位置取得部１１等を介して認識した後、再撮像を行う。これにより、検査に適した画像が得られる。
　また、実施の形態４に係る検査装置４００のその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような実施の形態４に係る検査装置４００によっても、実施の形態１と同様の効果が得られる。
　さらに、検査装置４００は、計測部１０の位置と、部位判定部４０１によって特定された検査対象部位の情報とに基づき、計測部１０と当該検査対象部位との位置関係を取得する位置関係認識部４０８と、建設物Ｃの各部位に予め設定された各部位と計測部１０との位置関係を保持する位置関係保持部４１０とをさらに備えてもよい。そして、決定部としての位置・姿勢制御部４０９は、位置関係認識部４０８によって取得された計測部１０と検査対象部位との位置関係を、位置関係保持部４１０に保持される計測部１０と検査対象部位との位置関係と比較することによって、検査対象部位の検査結果を決定してもよい。上記構成によると、位置・姿勢制御部４０９は、計測部１０と検査対象部位との位置関係が位置関係保持部４１０に保持される関係を満たさず適切でない場合、例えば、検査結果を無効とすることができる。この場合、位置・姿勢制御部４０９は、計測部１０に対して画像の再撮像を指令してもよい。これにより、検査結果の精度の向上が可能になる。
　また、検査装置４００において、制御情報生成部としての位置・姿勢制御部４０９は、位置関係認識部４０８によって取得された計測部１０と検査対象部位との位置関係と、位置関係保持部４１０に保持される計測部１０と検査対象部位との位置関係とに基づき、計測部１０の位置及び姿勢の制御情報を生成してもよい。上記構成によると、位置・姿勢制御部４０９は、計測部１０と検査対象部位との位置関係が位置関係保持部４１０に保持される関係を満たさず適切でない場合、計測部１０の位置及び姿勢を適正にする指令を含む制御情報を計測部１０及び移動体１に出力し、さらに、計測部１０に対して画像の再撮像を指令してもよい。これにより、異常の検出に適切な画像を用いた検査が可能になり、検査結果の精度の向上が可能になる。
　［実施の形態５］
　実施の形態５に係る検査装置５００を説明する。実施の形態５に係る検査装置５００は、計測部１０の撮像動作及び移動体１の動作を制御し、さらに、計測部１０の撮像時において移動体１を停止させるように構成される点で、実施の形態４と異なる。以下において、実施の形態１～４及び変形例と異なる点を中心に説明する。
　図１５は、実施の形態５に係る検査装置５００の機能的な構成の一例を示すブロック図である。図１５に示すように、検査装置５００は、実施の形態４と同様に、位置認識部１０２と、異常判定部１０３と、種別認識部１０４と、建設物情報保持部１０５と、異常基準保持部１０６と、種別基準保持部１０７と、部位判定部４０１と、位置関係認識部４０８と、位置関係保持部４１０とを含む。上記構成要素の構成及び動作は、実施の形態４と同様である。さらに、検査装置５００は、位置・姿勢制御部５０９と、計測制御部５１１とを含む。計測制御部５１１は、上記構成要素と同様の構成により実現される。計測部１０の構成及び動作は実施の形態１と同様である。
　位置・姿勢制御部５０９は、実施の形態４と同様に動作する。さらに、位置・姿勢制御部５０９は、計測制御部５１１から、移動体１の移動を停止する指令を受け取ると、移動体１の図示しない制御装置に対して、移動体１の移動を停止する指令を出力する。
　計測制御部５１１は、計測部１０に検査対象部位の画像の撮像を指令し、計測部１０の撮像動作を制御する。さらに、計測制御部５１１は、計測部１０に撮像の指令を出力する場合、移動体１の移動を停止する指令を事前に出力する。具体的には、計測制御部５１１は、入力装置５２０を介して、計測部１０による撮像を実施する指令を取得する。次いで、計測制御部５１１は、移動体１の移動を停止する指令を位置・姿勢制御部５０９に出力する。次いで、計測制御部５１１は、移動体１の移動停止後に撮像を実施する指令を計測部１０に出力する。計測部１０に出力される指令の順序は、上記に限定されず、逆であってもよい。計測部１０は、位置取得部１１を介して移動体１の移動停止を検出すると、撮像を行う。よって、計測部１０は、移動体１の移動停止状態で撮像を行う。ここで、計測制御部５１１は、制御指令部の一例である。
　本実施の形態では、入力装置５２０は、検査装置５００へのユーザの指令の入力を受け付けるスイッチ等の入力インタフェースである。例えば、入力装置５２０は、移動体１の操縦装置１ａに搭載されてもよい。又は、入力装置５２０は、操縦装置１ａとは別の装置に搭載され、移動体１と有線通信又は無線通信を介して接続されてもよい。入力装置５２０は、ＯＦＦ状態では、撮像実施の指令を出力せず、ＯＮ状態で撮像実施の指令を出力してもよい。
　また、計測部１０が所定のプログラムに従って順に撮像を行うように構成されている場合、計測制御部５１１は、計測部１０から撮像タイミングを予め取得し、撮像タイミングの前に移動体１の移動を停止する指令を出力してもよい。
　また、計測制御部５１１は、検査装置５００の他の構成要素と一緒に搭載されているが、これに限定されず、例えば、計測部１０に含まれてもよく、操縦装置１ａに含まれてもよい。
　また、実施の形態５に係る検査装置５００のその他の構成及び動作は、実施の形態４と同様であるため、その説明を省略する。そして、上述のような実施の形態５に係る検査装置５００によっても、実施の形態４と同様の効果が得られる。
　さらに、検査装置５００は、計測部１０に検査対象部位の画像の撮像を指令する制御指令部として計測制御部５１１をさらに備え、計測制御部５１１は、計測部１０に撮像の指令を出力する場合、移動体１の移動を停止する指令を事前に出力してもよい。上記構成によると、計測部１０の撮像時、計測部１０を搭載する移動体１の移動が停止される。これにより、移動体１から計測部１０に付与される振動及び変位が低減されるため、計測部１０は、鮮明な画像を安定して撮像することができる。よって、検査装置５００における異常の検出精度が向上する。
　［その他］
　以上のように、本開示に係る検査装置について、実施の形態及び変形例を説明した。しかしながら、本開示の技術は、上記実施の形態及び変形例に限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態及び変形例で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。
　例えば、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。
　例えば、上記実施の形態及び変形例に含まれる各処理部は典型的には集積回路であるＬＳＩ（Large Scale Integration：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　なお、上記実施の形態及び変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵなどのプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Integrated Circuit）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
　本開示の技術は、以下の検査方法のような方法によって実現されてもよい。検査方法は、ＭＰＵ（Micro Processing Unit）及びＣＰＵなどのプロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。このような検査方法は、建設物を検査する検査方法であって、前記建設物における検査対象部位の画像と、前記画像の撮像位置の情報とを取得し、前記建設物の情報を取得し、前記建設物の情報と前記撮像位置の情報とに基づき、前記建設物に対する前記撮像位置を算出し、前記画像と前記建設物に対する前記撮像位置とに基づき、前記画像に写し出される前記検査対象部位を特定し、前記建設物の各部位についての検査基準を取得し、特定された前記検査対象部位と前記検査基準とを比較することによって、前記検査対象部位の検査結果を決定する。
　さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記で用いた序数、数量等の数字は全て、本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
１　移動体
Ｃ　建設物
１０　計測部
１００，１００Ａ，２００，３００，４００，５００　検査装置
１０１，４０１　部位判定部
１０２　位置認識部
１０３，１０３Ａ，２０３　異常判定部（決定部）
１０４，１０４Ａ，３０４　種別認識部（決定部）
１０５　建設物情報保持部（情報保持部）
１０６　異常基準保持部（基準保持部）
１０７　種別基準保持部（基準保持部）
４０８　位置関係認識部
４０９，５０９　位置・姿勢制御部（決定部、制御情報生成部）
４１０　位置関係保持部
５１１　計測制御部（制御指令部）

Claims (10)

  1. 　建設物を検査する検査装置であって、
    　前記建設物の情報を保持する情報保持部と、
    　前記建設物における検査対象部位の画像を撮像する計測部の位置情報を取得し、前記情報保持部に保持される前記建設物の情報と前記計測部の位置情報とに基づき、前記建設物に対する前記計測部の位置を算出する位置認識部と、
    　前記計測部によって撮像された画像を取得し、前記画像と前記計測部の位置とに基づき、前記画像に写し出される前記検査対象部位を特定する部位判定部と、
    　前記建設物の各部位についての検査基準を保持する基準保持部と、
    　前記部位判定部によって特定された前記検査対象部位と前記基準保持部に保持される前記検査基準とを比較することによって、前記検査対象部位の検査結果を決定し出力する決定部とを備える
    　検査装置。
  2. 　前記計測部は、前記検査対象部位の２次元画像及び３次元画像を撮像し、且つ前記計測部の位置情報を取得し、
    　前記部位判定部は、前記計測部によって撮像された２次元画像及び３次元画像の少なくとも一方を用いて、前記検査対象部位を特定する
    　請求項１に記載の検査装置。
  3. 　前記決定部は、前記検査対象部位の検査結果と、前記検査対象部位の情報と、前記検査対象部位の前記画像とを対応付けて出力する
    　請求項１または２に記載の検査装置。
  4. 　前記基準保持部は、検査基準として、前記建設物の各部位についての異常の有無の判定基準を保持し、
    　前記決定部は、前記検査対象部位が前記判定基準を満たすか否かに応じて、前記検査対象部位の検査結果を決定する
    　請求項１～３のいずれか一項に記載の検査装置。
  5. 　前記基準保持部は、検査基準として、前記建設物の各部位についての異常の種別の判別基準を保持し、
    　前記決定部は、前記検査対象部位が前記判別基準に合致するか否かに応じて、前記検査対象部位の検査結果を決定する
    　請求項１～４のいずれか一項に記載の検査装置。
  6. 　前記基準保持部は、検査基準として、前記建設物の各部位についての異常の有無の判定基準と、前記建設物の各部位についての異常の種別の判別基準とを保持し、
    　前記決定部は、前記検査対象部位が前記判定基準を満たすか否かを判定し、前記判定基準を満たさない前記検査対象部位に対して、前記判別基準に合致するか否かを判定し、判定結果を検査結果として出力する
    　請求項１～４のいずれか一項に記載の検査装置。
  7. 　前記計測部の位置と、前記部位判定部によって特定された前記検査対象部位の情報とに基づき、前記計測部と前記検査対象部位との位置関係を取得する位置関係認識部と、
    　前記建設物の各部位に予め設定された各部位と前記計測部との位置関係を保持する位置関係保持部とをさらに備え、
    　前記決定部は、前記位置関係認識部によって取得された前記計測部と前記検査対象部位との位置関係を、前記位置関係保持部に保持される前記計測部と前記検査対象部位との位置関係と比較することによって、前記検査対象部位の検査結果を決定する
    　請求項１～６のいずれか一項に記載の検査装置。
  8. 　前記計測部の位置と、前記部位判定部によって特定された前記検査対象部位の情報とに基づき、前記計測部と前記検査対象部位との位置関係を取得する位置関係認識部と、
    　前記建設物の各部位に予め設定された各部位と前記計測部との位置関係を保持する位置関係保持部と、
    　前記位置関係認識部によって取得された前記計測部と前記検査対象部位との位置関係と、前記位置関係保持部に保持される前記計測部と前記検査対象部位との位置関係とに基づき、前記計測部の位置及び姿勢の制御情報を生成する制御情報生成部とをさらに備える
    　請求項１～６のいずれか一項に記載の検査装置。
  9. 　前記計測部が移動体に搭載される請求項１～８のいずれか一項に記載の検査装置であって、
    　前記計測部に前記検査対象部位の画像の撮像を指令する制御指令部をさらに備え、
    　前記制御指令部は、前記計測部に撮像の指令を出力する場合、前記移動体の移動を停止する指令を事前に出力する
    　検査装置。
  10. 　建設物を検査する検査方法であって、
    　前記建設物における検査対象部位の画像と、前記画像の撮像位置の情報とを取得し、
    　前記建設物の情報を取得し、
    　前記建設物の情報と前記撮像位置の情報とに基づき、前記建設物に対する前記撮像位置を算出し、
    　前記画像と前記建設物に対する前記撮像位置とに基づき、前記画像に写し出される前記検査対象部位を特定し、
    　前記建設物の各部位についての検査基準を取得し、
    　特定された前記検査対象部位と前記検査基準とを比較することによって、前記検査対象部位の検査結果を決定する
    　検査方法。
PCT/JP2019/020207 2018-06-28 2019-05-22 検査装置及び検査方法 WO2020003818A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020527283A JP7170234B2 (ja) 2018-06-28 2019-05-22 検査装置及び検査方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-123107 2018-06-28
JP2018123107 2018-06-28

Publications (1)

Publication Number Publication Date
WO2020003818A1 true WO2020003818A1 (ja) 2020-01-02

Family

ID=68986391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020207 WO2020003818A1 (ja) 2018-06-28 2019-05-22 検査装置及び検査方法

Country Status (2)

Country Link
JP (1) JP7170234B2 (ja)
WO (1) WO2020003818A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022021268A (ja) * 2020-07-21 2022-02-02 直樹 廣瀬 屋根の劣化診断方法および劣化診断システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243655A (ja) * 2001-02-13 2002-08-28 Mitsubishi Materials Corp 電子部品の外観検査方法および外観検査装置
JP2004271205A (ja) * 2003-03-05 2004-09-30 Precision:Kk 容器口部の欠陥検査装置
JP2011128030A (ja) * 2009-12-18 2011-06-30 Sharp Corp 欠陥検査装置、及び欠陥情報管理方法
JP2013029350A (ja) * 2011-07-27 2013-02-07 Hitachi Ltd 外観検査方法及びその装置
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2015194418A (ja) * 2014-03-31 2015-11-05 株式会社日立製作所 構造物の表面検査装置および表面検査方法
WO2017119202A1 (ja) * 2016-01-06 2017-07-13 富士フイルム株式会社 構造物の部材特定装置及び方法
WO2017130700A1 (ja) * 2016-01-26 2017-08-03 富士フイルム株式会社 撮影支援装置及び撮影支援方法
JP2017181201A (ja) * 2016-03-29 2017-10-05 日本電気株式会社 自走式検査装置、及び検査システム
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3037429B1 (fr) 2015-06-15 2018-09-07 Donecle Systeme et procede d'inspection automatique de surface
JP2017102672A (ja) 2015-12-01 2017-06-08 株式会社日立ソリューションズ 地理位置情報特定システム及び地理位置情報特定方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243655A (ja) * 2001-02-13 2002-08-28 Mitsubishi Materials Corp 電子部品の外観検査方法および外観検査装置
JP2004271205A (ja) * 2003-03-05 2004-09-30 Precision:Kk 容器口部の欠陥検査装置
JP2011128030A (ja) * 2009-12-18 2011-06-30 Sharp Corp 欠陥検査装置、及び欠陥情報管理方法
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
JP2013029350A (ja) * 2011-07-27 2013-02-07 Hitachi Ltd 外観検査方法及びその装置
JP2015194418A (ja) * 2014-03-31 2015-11-05 株式会社日立製作所 構造物の表面検査装置および表面検査方法
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2017119202A1 (ja) * 2016-01-06 2017-07-13 富士フイルム株式会社 構造物の部材特定装置及び方法
WO2017130700A1 (ja) * 2016-01-26 2017-08-03 富士フイルム株式会社 撮影支援装置及び撮影支援方法
JP2017181201A (ja) * 2016-03-29 2017-10-05 日本電気株式会社 自走式検査装置、及び検査システム
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022021268A (ja) * 2020-07-21 2022-02-02 直樹 廣瀬 屋根の劣化診断方法および劣化診断システム

Also Published As

Publication number Publication date
JP7170234B2 (ja) 2022-11-14
JPWO2020003818A1 (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
EP3134869B1 (en) 3d point clouds
CN107025663B (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
EP2993490B1 (en) Operating device, operating method, and program therefor
JP6486069B2 (ja) 画像処理装置、検査装置、検査方法及び画像処理プログラム
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
US9697607B2 (en) Method of estimating imaging device parameters
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
EP3496035B1 (en) Using 3d vision for automated industrial inspection
JP5799273B2 (ja) 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
CN107449459A (zh) 自动调试系统和方法
CN112465960B (zh) 一种三维模型的尺寸标定装置及方法
US11158039B2 (en) Using 3D vision for automated industrial inspection
JP2006349586A (ja) ３次元計測方法および３次元計測装置
US20170109932A1 (en) Content projection apparatus, content projection method, and computer readable storage medium
WO2020003818A1 (ja) 検査装置及び検査方法
JP6132246B2 (ja) 寸法計測方法
So et al. 3DComplete: Efficient completeness inspection using a 2.5 D color scanner
CN117881959A (zh) 外观检查装置以及外观检查方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19824690

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020527283

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19824690

Country of ref document: EP

Kind code of ref document: A1