WO2020066711A1 - 内装材検査システム、及び、内装材検査方法 - Google Patents

内装材検査システム、及び、内装材検査方法 Download PDF

Info

Publication number
WO2020066711A1
WO2020066711A1 PCT/JP2019/036183 JP2019036183W WO2020066711A1 WO 2020066711 A1 WO2020066711 A1 WO 2020066711A1 JP 2019036183 W JP2019036183 W JP 2019036183W WO 2020066711 A1 WO2020066711 A1 WO 2020066711A1
Authority
WO
WIPO (PCT)
Prior art keywords
interior material
image
interior
unit
information
Prior art date
Application number
PCT/JP2019/036183
Other languages
English (en)
French (fr)
Inventor
康平 是澤
智治 中原
佳周 長田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020548477A priority Critical patent/JP7054869B2/ja
Publication of WO2020066711A1 publication Critical patent/WO2020066711A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an interior material inspection system and an interior material inspection method used in a building such as an apartment.
  • Patent Document 1 discloses an imaging device capable of acquiring a captured image in which contrast is enhanced with respect to irregularities on the surface of an object, for example, a satin pattern applied to the surface of the object. ing.
  • the customer when selling a newly-built condominium, the customer may be able to select interior materials such as flooring and wall cloth, and inspect whether the interior material specified by the customer is correctly constructed before delivering the house to the customer. There is a need. When such an inspection is performed based on an image, the inspection accuracy tends to decrease as the number of interior material options that can be selected by the customer increases.
  • the present invention provides an interior material inspection system and an interior material inspection method with improved inspection accuracy.
  • An interior material inspection system acquires an image acquisition unit that acquires an image of a first interior material constructed on a building, and acquires region information indicating a region where the first interior material is constructed.
  • a part information acquisition unit based on the acquired part information, a selection unit that selects a part of interior materials that are likely to be constructed in the building as candidate interior materials, and the acquired image Based on, a specifying unit that specifies the candidate interior material corresponding to the first interior material from among the selected candidate interior materials, and the identified candidate interior material is installed at the site in terms of specifications.
  • a determination unit configured to determine whether the material is a second interior material to be output and to output a determination result.
  • the interior material inspection method acquires an image of a first interior material constructed on a building, acquires part information indicating a part where the first interior material is constructed, and acquires the acquired part information. Based on the site information, select a part of the interior material that is likely to be constructed in the building as a candidate interior material, based on the acquired image, the selected candidate interior material From the inside, the candidate interior material corresponding to the first interior material is specified, and it is determined whether or not the specified candidate interior material is the second interior material to be installed on the site in terms of specifications, and the determination is made. Output the result.
  • a program according to one embodiment of the present invention is a program for causing a computer to execute the interior material inspection method.
  • an interior material inspection system and an interior material inspection method with improved inspection accuracy are realized.
  • FIG. 1 is a diagram for explaining an outline of the interior material inspection system according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of a display screen of a determination result.
  • FIG. 3 is a block diagram illustrating a functional configuration of the interior material inspection system according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of the interior specification information.
  • FIG. 5 is a diagram illustrating an example of the feature amount information.
  • FIG. 6 is a flowchart of the operation of the interior material inspection system.
  • FIG. 7 is a diagram illustrating an example of a screen for inputting part information.
  • FIG. 8 is a diagram illustrating another example of the display screen of the determination result.
  • FIG. 9 is a diagram for explaining a method for specifying a candidate image in the first modification.
  • FIG. 9 is a diagram for explaining a method for specifying a candidate image in the first modification.
  • FIG. 10 is a diagram illustrating an example of the feature amount information according to the second modification.
  • FIG. 11 is a diagram illustrating an example of the instruction information displayed in the third modification.
  • FIG. 12 is a diagram illustrating another example of the instruction information displayed in the third modification.
  • FIG. 13 is a block diagram illustrating a functional configuration of an identification unit used in the fourth modification.
  • each figure is a schematic diagram, and is not necessarily strictly illustrated.
  • substantially the same components are denoted by the same reference numerals, and redundant description may be omitted or simplified.
  • FIG. 1 is a diagram for explaining an outline of the interior material inspection system according to the embodiment.
  • the interior material inspection system 10 is realized in the form of a tablet terminal, for example, and is used by a user who inspects interior materials.
  • the inspection of the interior material here means an inspection of whether or not the interior material according to the specification is constructed.
  • the interior material inspection system 10 is used for such an interior material inspection.
  • Interior materials are a general term for finishing materials and base materials used for floors, walls, ceilings, and the like.
  • the interior materials include not only finishing materials such as flooring, carpet, tile, wall cloth, plywood, and painting material directly facing the room, but also the underlying materials underneath.
  • FIG. 2 is a diagram illustrating an example of a display screen of a determination result.
  • FIG. 3 is a block diagram showing a functional configuration of the interior material inspection system 10. As shown in FIG.
  • the interior material inspection system 10 includes an operation reception unit 11, an image acquisition unit 12, an imaging condition acquisition unit 13, a position acquisition unit 14, a display unit 15, an information processing unit 16, , A storage unit 17.
  • the operation receiving unit 11 receives a user operation.
  • the operation receiving unit 11 is realized by a touch panel, hardware buttons, and the like.
  • the image acquisition unit 12 acquires (ie, captures) an image when the operation receiving unit 11 receives a shooting operation.
  • the image acquisition unit 12 is, for example, a camera realized by a CMOS image sensor or the like.
  • the image obtained by the image obtaining unit 12 is stored in the storage unit 17.
  • the image acquisition unit 12 may be a communication interface that acquires an image from a camera other than the image acquisition unit 12.
  • the photographing condition acquiring unit 13 acquires photographing conditions when an image is acquired by the image acquiring unit 12.
  • the imaging conditions include, for example, the distance from the image acquisition unit 12 to the subject, the attitude of the image acquisition unit 12 (the interior material inspection system 10), the zoom setting of the image acquisition unit 12, the brightness around the subject, and the like.
  • the posture of the image acquisition unit 12 is, specifically, the angle of each of pan, tilt, and roll.
  • the imaging conditions acquired by the imaging condition acquisition unit 13 are stored in the storage unit 17 in association with the images.
  • the imaging condition acquisition unit 13 is specifically realized by various sensors such as a distance sensor such as a TOF (Time @ Flight) sensor, an acceleration sensor, a gyro sensor, and a brightness sensor.
  • TOF Time @ Flight
  • the position acquisition unit 14 acquires the position information of the image acquisition unit 12.
  • the position acquired by the position acquisition unit 14 is a three-dimensional position, but may be a two-dimensional position.
  • the position information also includes posture information indicating the posture (direction) of the image acquisition unit 12.
  • the position acquisition unit 14 is realized by an acceleration sensor, a gyro sensor, a GPS (Global Positioning System) module, and the like.
  • the display unit 15 displays a display screen based on the control of the information processing unit 16.
  • the display unit 15 is a display including, for example, a liquid crystal panel or an organic EL panel as a display device.
  • the information processing unit 16 performs various types of information processing for determining whether the interior material shown in the image acquired by the image acquisition unit 12 is an interior material that meets specifications.
  • the information processing unit 16 is realized by, for example, a microcomputer, but may be realized by a processor.
  • the information processing unit 16 specifically includes a site information acquisition unit 16a, a selection unit 16b, a specification unit 16c, a determination unit 16d, and a setting unit 16e. Specific information processing performed by each of these components will be described later.
  • the storage unit 17 is a storage device that stores a program executed by the information processing unit 16 to perform information processing and information necessary for the information processing.
  • the storage unit 17 is realized by, for example, a semiconductor memory.
  • the information stored in the storage unit 17 is, for example, building information 17a, interior specification information 17b, feature amount information 17c, and the like.
  • the building information 17a is an example of building information, and is information indicating a floor plan of the whole building.
  • the interior specification information 17b is information indicating an interior specification (as it should be) in each of a plurality of dwelling units included in the building.
  • FIG. 4 is a diagram illustrating an example of the interior specification information 17b.
  • the interior specification information 17b is information indicating an interior material to be installed in each of a plurality of parts included in the building in terms of specifications. As shown in FIG. 4, the interior specification information includes, specifically, a dwelling unit number, a room included in the dwelling unit, a site in each room, a type of interior material to be installed in the site, and identification information (for example, , Part numbers) are associated with each other.
  • the feature amount information 17c is information including a plurality of image feature amounts (hereinafter, simply referred to as feature amounts) to be compared with the image acquired by the image acquisition unit 12 for each piece of interior material identification information.
  • FIG. 5 is a diagram illustrating an example of the feature amount information 17c. As shown in FIG. 5, in the feature amount information, a plurality of feature amounts are associated with the identification information of one interior material. Further, the identification information of the interior material is grouped for each part where the interior material is constructed (also described as a construction part).
  • FIG. 6 is a flowchart of the operation of the interior material inspection system.
  • the interior material actually constructed on the building is described as the first interior material
  • the interior material to be constructed on the building that is, the correct interior material
  • the second interior material in the specifications is described as material.
  • the image acquiring unit 12 acquires an image of the first interior material constructed on the building (S11). Specifically, the image obtaining unit 12 obtains an image when the operation receiving unit 11 receives a shooting operation. The image obtained by the image obtaining unit 12 is stored in, for example, the storage unit 17.
  • the part information obtaining unit 16a obtains part information indicating the part where the first interior material is installed (S12).
  • the part information acquisition unit 16a acquires, for example, part information input by a user operation.
  • FIG. 7 is a diagram illustrating an example of a screen for inputting part information.
  • the part information the dwelling unit number of the apartment house, the room in the dwelling unit (such as a living room, a dining room, or a kitchen) and the part in the room (such as a wall, a floor, or a ceiling) are input.
  • the part information obtaining unit 16a stores the building information 17a stored in the storage unit 17 and the image obtaining unit obtained by the position obtaining unit 14.
  • the part information may be obtained by performing information processing based on the twelve position information.
  • the building information 17a is floor plan information of the entire building.
  • the position acquisition unit 14 can specify which room in which dwelling unit the image acquisition unit 12 is located by comparing the building information 17a with the three-dimensional position information included in the position information.
  • the position acquisition unit 14 can specify the position of the subject of the image acquisition unit 12, that is, the part where the first interior material is installed, based on the posture information of the image acquisition unit 12 included in the position information. .
  • the selection unit 16b selects, as candidate interior materials, some of the interior materials that may be constructed on the building, based on the acquired part information (S13). Specifically, the selection unit 16b selects, as a candidate interior material, an interior material to be applied to a part indicated by the part information, out of the interior materials included in the feature amount information 17c stored in the storage unit 17.
  • the part indicated by the part information is a wall
  • an interior material whose construction part is a wall is selected as a candidate interior material
  • the construction part is an interior material other than a wall.
  • the selection unit 16b narrows down the interior materials based on the part information.
  • the specifying unit 16c specifies a candidate interior material corresponding to the first interior material from the selected candidate interior materials based on the image of the first interior material acquired in step S11 (S14). Specifically, the specifying unit 16c extracts the feature amount of the image of the first interior material stored in the storage unit 17, and checks each of the feature amounts of the candidate interior material included in the feature amount information 17c. The specifying unit 16c specifies the candidate interior material having the highest similarity as the candidate interior material corresponding to the first interior material.
  • the determination unit 16d specifies the second interior material based on the acquired part information and the interior specification information 17b stored in the storage unit 17 (S15). Specifically, the determining unit 16d refers to the interior specification information 17b and specifies the interior material associated with the part indicated by the part information as the second interior material.
  • the determination unit 16d determines whether or not the candidate interior material specified in Step S14 is the second interior material specified in Step S15 (S16).
  • the determination unit 16d specifically determines whether or not the identification information of the candidate interior material matches the identification information of the second interior material.
  • the determination unit 16d determines that the candidate interior material is the second interior material
  • the determination unit 16d outputs a determination result indicating that the constructed first interior material is the correct interior material (S17).
  • S17 an image as shown in FIG. 2
  • the determination unit 16d outputs a determination result indicating that the constructed first interior material is an incorrect interior material (S18).
  • S18 an image as shown in FIG. 8 is displayed on the display unit 15.
  • FIG. 8 is a diagram illustrating another example of the display screen of the determination result.
  • the interior material inspection system 10 selects a part of the interior materials that may be constructed on the building based on the part information as the candidate interior materials (that is, the interior materials). ) Can reduce the amount of information processing for specifying a candidate interior material corresponding to the first interior material. If the amount of information processing is reduced, the inspection time (for example, the time from acquisition of an image to display of a display screen of a determination result) can be reduced.
  • step S11 of the flowchart in FIG. 6 a plurality of images may be acquired, and in step S14, a candidate interior material corresponding to the first interior material may be specified based on the plurality of images.
  • step S11 a plurality of images of the first interior material are obtained by a plurality of shootings.
  • step S14 a candidate interior material is specified using such a plurality of images of the first interior material.
  • FIG. 9 is a diagram for explaining a method for specifying a candidate image in the first modification.
  • a candidate interior material having the highest similarity is specified for each of the images of the plurality of first interior materials. Then, the candidate interior material having the largest number among the identified candidate interior materials is identified as the final candidate interior material.
  • a plurality of images may be obtained by dividing an image of the first interior material obtained by one photographing into regions. Also in this case, in step S14, a candidate interior material corresponding to the first interior material is specified by majority decision. It should be noted that in the region division of the image, only the central portion of the image that is considered to have a small aberration may be a division target.
  • a shooting condition at the time of shooting the image may be acquired.
  • the photographing conditions are acquired by the photographing condition acquiring unit 13.
  • the shooting conditions include, for example, the distance from the image acquisition unit 12 to the subject, the attitude of the image acquisition unit 12, the brightness around the subject, and the like.
  • the imaging conditions acquired by the imaging condition acquisition unit 13 are stored in the storage unit 17 in association with the images.
  • FIG. 10 is a diagram illustrating an example of the feature amount information 17c according to the second modification.
  • step S14 the specifying unit 16c determines a candidate interior material corresponding to the first interior material from the selected candidate interior materials based on the acquired image and the imaging conditions when the image is acquired. To identify. Specifically, among the feature amounts of the candidate interior materials included in the feature amount information 17c, the feature amount belonging to the shooting condition (one of the shooting conditions 1 to m) closest to the shooting condition acquired in step S11 is compared. Subject to. Accordingly, it is possible to suppress the occurrence of erroneous determination due to the difference in the imaging conditions in the feature amount comparison.
  • the setting of the image acquisition unit 12 may be changed according to the imaging condition acquired by the imaging condition acquisition unit 13.
  • the setting unit 16e may change the zoom setting of the image acquisition unit 12 so that the interior material is reflected in the image with a predetermined size according to the distance from the image acquisition unit 12 to the subject indicated by the shooting conditions.
  • the setting unit 16e sets a shutter speed (exposure time) or sets an F-number (aperture) so that the interior material is photographed at a predetermined brightness in accordance with the brightness around the subject indicated by the photographing conditions. ) May be changed.
  • the setting unit 16e may fix the zoom setting, the shutter speed setting, the F-number setting, and the like so that the user cannot change the image when capturing the image in which the first interior material is reflected.
  • the setting unit 16e changes the setting of the image obtaining unit 12 (specifically, the setting of the camera parameter) according to the obtained shooting condition.
  • the interior material inspection system 10 can suppress the occurrence of an erroneous determination due to the difference in the imaging conditions in the feature amount comparison.
  • the display unit 15 may display instruction information for instructing a user on a photographing condition for acquiring an image.
  • the attitude (pan, tilt, and roll angles) of the image acquisition unit 12 may be displayed as instruction information.
  • FIG. 11 is a diagram illustrating an example of the instruction information displayed in the third modification.
  • the pan, tilt, and roll angles and a predetermined angle range (for example, ⁇ 5 deg) to be satisfied by these angles are displayed as instruction information. That is, in the example of FIG. 11, the instruction information is information for instructing the user of the attitude of the image acquisition unit 12.
  • the display unit 15 can display pan, tilt, and roll angles based on the posture information acquired by the position acquisition unit 14.
  • the instruction information is updated in real time.
  • the user can acquire an image of the first interior material while maintaining the posture of the image acquiring unit 12 in a predetermined state. Therefore, it is possible to suppress the occurrence of an erroneous determination due to the variation in the posture of the image acquisition unit 12 at the time of shooting in the matching of the feature amounts.
  • the display mode of the pan, tilt, and roll angles displayed on the display unit 15 may be changed depending on whether the angle is within a predetermined angle range or not.
  • the display mode is, for example, the color of a character. Thereby, the user can easily recognize whether or not each of the pan, tilt, and roll angles is within a predetermined angle range.
  • the interior material inspection system 10 may be configured to be able to acquire an image only when each of the pan, tilt, and roll angles is within a predetermined angle range.
  • FIG. 12 is a diagram illustrating another example of the instruction information displayed in the third modification.
  • a ball and a predetermined circle are displayed on the display unit 15, and the position of the ball moves according to the attitude of the image acquisition unit 12.
  • the instruction information instructs the user to shoot with the displayed ball placed in a predetermined circle. According to such instruction information, the user can intuitively set the posture of the image acquisition unit 12 to a predetermined state.
  • the instruction information may be information indicating an imaging condition other than the attitude of the image acquisition unit 12.
  • Other shooting conditions include the distance from the image acquisition unit 12 to the subject, the brightness around the subject, and the like.
  • FIG. 13 is a block diagram illustrating a functional configuration of an identification unit used in the fourth modification.
  • the identification unit 18 has a plurality of classifiers.
  • Each of the plurality of classifiers is a classifier to which an interior material identification function is provided by machine learning.
  • the plurality of discriminators correspond to a plurality of construction sites.
  • the discriminator 18a is a discriminator corresponding to a wall, and is a discriminator that targets a wall cloth.
  • the discriminator 18a outputs as a classification score which of the wall cloths A to M is more likely to be the first interior material shown in the input image.
  • the classifier 18b is a classifier corresponding to the floor
  • the classifier 18c is a classifier corresponding to the ceiling.
  • a plurality of images having different photographing conditions such as a distance, a camera posture, a color temperature of illumination at the time of photographing, and a position shift are used as learning data.
  • the identification unit 16c selectively uses, from among the plurality of identifiers included in the identification unit 18, the identifier that targets the candidate interior material selected in step S13 as an identification target.
  • the selected candidate interior material is a wall cloth
  • the classifier 18a corresponding to the wall among the plurality of classifiers is used.
  • the classifiers are narrowed down by selecting the candidate interior materials by the selection unit 16b.
  • the classifier When the image of the first interior material acquired in step S11 is input to the selected classifier, the classifier outputs a classification score.
  • the specifying unit 16c specifies the candidate interior material having the highest classification score as the candidate interior material corresponding to the first interior material based on the classification score output from the selected classifier.
  • the interior material inspection system 10 may include the identification unit 18 (a plurality of identifiers) provided with an identification function of identifying interior materials by machine learning.
  • the identification unit 16c identifies a candidate interior material corresponding to the first interior material by using an identifier that identifies the candidate interior material selected by the selection unit 16b among the plurality of identifiers.
  • the storage unit 17 does not need to store the feature amount information 17c.
  • the interior material inspection system 10 acquires the image acquisition unit 12 that acquires an image of the first interior material constructed on the building and the region information indicating the region where the first interior material is constructed.
  • a part information acquisition unit 16a a selection unit 16b that selects a part of interior materials that may be constructed on the building as candidate interior materials based on the acquired part information, Based on the specification, a specifying unit 16c for specifying a candidate interior material corresponding to the first interior material from the selected candidate interior materials, and the second interior material that is to be installed in the site in the specified candidate interior material.
  • a determination unit 16d that determines whether the material is a material and outputs a determination result.
  • Such an interior material inspection system 10 can improve the inspection accuracy by selecting, as candidate interior materials, some of the interior materials that may be constructed on the building based on the part information. . Further, the interior material inspection system 10 can reduce the amount of information processing for specifying a candidate interior material corresponding to the first interior material.
  • the interior material inspection system 10 further includes an operation receiving unit 11 that receives a user operation.
  • the part information obtaining unit 16a obtains part information input by a user operation.
  • Such an interior material inspection system 10 can acquire part information by a user's operation.
  • the interior material inspection system 10 further includes a storage unit 17 in which building information 17a is stored, and a position acquisition unit 14 that acquires position information of the image acquisition unit 12.
  • the part information obtaining unit 16a obtains part information based on the building information 17a and the position information of the image obtaining unit 12.
  • the interior material inspection system 10 can acquire the part information based on the building information 17a and the position information of the image acquisition unit 12.
  • the image acquisition unit 12 acquires a plurality of images, and the specifying unit 16c corresponds to the first interior material among the selected candidate interior materials based on the acquired images. Identify candidate interior materials to be used.
  • Such an interior material inspection system 10 reduces occurrence of a specification error of the candidate interior material corresponding to the first interior material by identifying the candidate interior material corresponding to the first interior material based on the plurality of images. be able to. That is, the interior material inspection system 10 can improve the inspection accuracy.
  • the plurality of images are obtained by dividing an image obtained by one shooting.
  • Such an interior material inspection system 10 specifies a candidate interior material corresponding to the first interior material based on a plurality of images obtained by one photographing operation, thereby providing a candidate interior material corresponding to the first interior material. Can be reduced. That is, the interior material inspection system 10 can improve the inspection accuracy.
  • the plurality of images are obtained by a plurality of shootings.
  • Such an interior material inspection system 10 is configured to select a candidate interior material corresponding to the first interior material based on a plurality of images having different imaging conditions or a plurality of images of the interior material having different portions to be photographed. Can be identified. Thereby, the interior material inspection system 10 can reduce occurrence of a specific error of the candidate interior material corresponding to the first interior material. That is, the interior material inspection system 10 can improve the inspection accuracy.
  • the interior material inspection system 10 further includes a photographing condition acquisition unit 13 that acquires a photographing condition when an image is acquired, and the identifying unit 16c includes the acquired image and the acquired image.
  • the candidate interior material corresponding to the first interior material is specified from the selected candidate interior materials based on the photographing conditions at the time when the is acquired.
  • Such an interior material inspection system 10 specifies the candidate interior material corresponding to the first interior material in consideration of the imaging condition when an image is acquired, and thereby the first interior material It is possible to suppress occurrence of a specification error of a candidate interior material corresponding to the material. That is, the interior material inspection system 10 can improve the inspection accuracy.
  • the interior material inspection system 10 further sets the photographing condition acquiring unit 13 that acquires photographing conditions when an image is acquired, and the setting of the image acquiring unit 12 according to the acquired photographing conditions. And a setting unit 16e for changing the setting.
  • the interior material inspection system 10 further includes a display unit 15 that displays instruction information for instructing a user on a photographing condition for acquiring an image.
  • Such an interior material inspection system 10 can suppress the variation in the image capturing conditions by instructing the image capturing conditions by the instruction information. In other words, the interior material inspection system 10 can suppress the occurrence of a specific error of the candidate interior material corresponding to the first interior material, which is caused by the difference in the imaging conditions. That is, the interior material inspection system 10 can improve the inspection accuracy.
  • the interior material inspection system 10 further includes a storage unit 17 in which interior specification information 17b indicating an interior material to be constructed according to specifications is stored in each of a plurality of parts included in the building, and a determination unit. 16d specifies the second interior material based on the part information and the interior specification information 17b, and determines whether the identified candidate interior material is the identified second interior material.
  • the interior material inspection system 10 can specify the second interior material based on the part information.
  • the interior material inspection system 10 further includes a plurality of classifiers provided with an identification function of identifying interior materials by machine learning, and the specifying unit 16c includes, among the plurality of classifiers, A candidate interior material corresponding to the first interior material is specified by selectively using a classifier that identifies the selected candidate interior material.
  • the interior material inspection system 10 can specify a candidate interior material corresponding to the first interior material using the discriminator.
  • each of the plurality of classifiers is provided with an identification function by machine learning using a plurality of images having different imaging conditions as learning data.
  • Such an interior material inspection system 10 can suppress occurrence of a specific error of a candidate interior material corresponding to the first interior material, which is caused by a difference in imaging conditions. That is, the interior material inspection system 10 can improve the inspection accuracy.
  • the interior material inspection method executed by the computer acquires an image of the first interior material installed on the building and acquires site information indicating a site where the first interior material is installed. Then, based on the acquired part information, a part of the interior materials that may be constructed on the building is selected as candidate interior materials, and based on the acquired image, the selected candidate interior materials are selected.
  • the candidate interior material corresponding to the first interior material is specified from among the above, and it is determined whether or not the identified candidate interior material is the second interior material to be installed on the part according to the specification, and the determination result is output. I do.
  • inspection accuracy can be improved by selecting, as candidate interior materials, a part of interior materials that may be constructed on a building based on site information. Further, the interior material inspection system 10 can reduce the amount of information processing for specifying a candidate interior material corresponding to the first interior material.
  • the interior material inspection system is realized as a single device, but may be realized by a plurality of devices.
  • the components included in the interior material inspection system described in the above embodiment may be distributed to the plurality of devices in any manner.
  • the interior material inspection system may be realized as a client server system.
  • the client device is a portable terminal that acquires an image, receives a user operation, and displays a determination result, and the server device performs information processing that uses information such as image matching such as feature amount matching.
  • the interior material inspection system may be realized as a robot-type terminal that moves in a building.
  • another processing unit may execute the process executed by the specific processing unit. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component may be realized by hardware.
  • Each component may be a circuit (or an integrated circuit). These circuits may constitute one circuit as a whole, or may be separate circuits. Each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • the general or specific aspects of the present invention may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM. Further, the present invention may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • the present invention may be realized as an interior material inspection method executed by a computer such as an interior material inspection system. Further, the present invention may be realized as a program for causing a computer to execute the interior material inspection method, or may be realized as a non-transitory computer-readable recording medium on which such a program is recorded. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

内装材検査システム（１０）は、建築物に施工された第一内装材の画像を取得する画像取得部（１２）と、第一内装材が施工された部位を示す部位情報を取得する部位情報取得部（１６ａ）と、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部（１６ｂ）と、取得された画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する特定部（１６ｃ）と、特定された候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部（１６ｄ）とを備える。

Description

内装材検査システム、及び、内装材検査方法
　本発明は、マンションなどの建築物において使用される、内装材検査システム及び内装材の検査方法に関する。
　物体を撮影することによって得られる画像を検査等に用いる技術が知られている。このような技術に関連して、特許文献１には、物体の表面の凹凸、例えば物体の表面に施された梨地模様についてコントラストが強調された撮影画像を取得することができる撮影装置が開示されている。
特許第６１１９７５１号公報
　ところで、新築マンションの販売においては、床材及び壁クロスなどの内装材を顧客が選択できる場合があり、顧客への住居の引き渡し前に顧客が指定した内装材が正しく施工されているかを検査する必要がある。このような検査を画像に基づいて行う場合、顧客が選択可能な内装材の選択肢が多いほど検査精度が低下する傾向にある。
　本発明は、検査精度が向上された内装材検査システム、及び、内装材検査方法を提供する。
　本発明の一態様に係る内装材検査システムは、建築物に施工された第一内装材の画像を取得する画像取得部と、前記第一内装材が施工された部位を示す部位情報を取得する部位情報取得部と、取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部と、取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する特定部と、特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部とを備える。
　本発明の一態様に係る内装材検査方法は、建築物に施工された第一内装材の画像を取得し、前記第一内装材が施工された部位を示す部位情報を取得し、取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択し、取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定し、特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する。
　本発明の一態様に係るプログラムは、前記内装材検査方法をコンピュータに実行させるためのプログラムである。
　本発明によれば、検査精度が向上された内装材検査システム、及び、内装材検査方法が実現される。
図１は、実施の形態に係る内装材検査システムの概要を説明するための図である。 図２は、判定結果の表示画面の一例を示す図である。 図３は、実施の形態に係る内装材検査システムの機能構成を示すブロック図である。 図４は、内装仕様情報の一例を示す図である。 図５は、特徴量情報の一例を示す図である。 図６は、内装材検査システムの動作のフローチャートである。 図７は、部位情報の入力画面の一例を示す図である。 図８は、判定結果の表示画面の別の一例を示す図である。 図９は、変形例１における候補画像の特定方法を説明するための図である。 図１０は、変形例２における特徴量情報の一例を示す図である。 図１１は、変形例３において表示される指示情報の一例を示す図である。 図１２は、変形例３において表示される指示情報の別の一例を示す図である。 図１３は、変形例４において用いられる識別部の機能構成を示すブロック図である。
　以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
　（実施の形態１）
　［概要］
　まず、実施の形態に係る内装材検査システムの概要について説明する。図１は、実施の形態に係る内装材検査システムの概要を説明するための図である。
　図１に示されるように、実施の形態１に係る内装材検査システム１０は、例えば、タブレット端末の形態で実現され、内装材の検査を行うユーザによって使用される。ここでの内装材の検査は、仕様通りの内装材が施工されているか否かの検査を意味する。
　例えば、新築マンションの販売においては、様々な顧客の嗜好に対応するため、床材及び壁クロスなどの内装材に多くの選択肢が設けられている。したがって、顧客への住居の引き渡し前に顧客が指定した内装材が正しく施工されているかを検査する必要がある。内装材検査システム１０は、このような内装材の検査に用いられる。
　なお、内装材は、床、壁、及び、天井などに使う仕上げ材及び下地材の総称である。内装材には、室内に直接面したフローリング、カーペット、タイル、壁クロス、合板、塗装材などの仕上げ材だけでなく、その下の下地材も含まれる。
　内装材検査システム１０は、ユーザの操作により内装材の画像を取得すると、当該画像に映る内装材が仕様通りの内装材であるかを判定し、判定結果を表示部１５に表示する。図２は、判定結果の表示画面の一例を示す図である。
　［構成］
　以下、このような内装材検査システム１０の構成について説明する。図３は、内装材検査システム１０の機能構成を示すブロック図である。
　図３に示されるように、内装材検査システム１０は、操作受付部１１と、画像取得部１２と、撮影条件取得部１３と、位置取得部１４と、表示部１５と、情報処理部１６と、記憶部１７とを備える。
　操作受付部１１は、ユーザの操作を受け付ける。操作受付部１１は、タッチパネル、及び、ハードウェアボタンなどによって実現される。
　画像取得部１２は、操作受付部１１によって撮影操作が受け付けられたときに、画像を取得（つまり、撮影）する。画像取得部１２は、例えば、ＣＭＯＳイメージセンサなどによって実現されるカメラである。画像取得部１２によって取得された画像は、記憶部１７に記憶される。なお、画像取得部１２は、画像取得部１２以外のカメラから画像を取得する通信インターフェースであってもよい。
　撮影条件取得部１３は、画像取得部１２によって画像が取得される際の撮影条件を取得する。撮影条件は、例えば、画像取得部１２から被写体までの距離、画像取得部１２（内装材検査システム１０）の姿勢、画像取得部１２のズーム設定、及び、被写体周辺の明るさなどである。画像取得部１２の姿勢は、具体的には、パン、チルト、及び、ロールのそれぞれの角度などである。撮影条件取得部１３によって取得された撮影条件は、画像と対応付けて記憶部１７に記憶される。撮影条件取得部１３は、具体的には、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサなどの距離センサ、加速度センサ、ジャイロセンサ、及び、明るさセンサなどの各種センサによって実現される。
　位置取得部１４は、画像取得部１２の位置情報を取得する。位置取得部１４が取得する位置は、３次元的な位置であるが、２次元的な位置であってもよい。また、位置情報には、画像取得部１２の姿勢（向き）を示す姿勢情報も含まれる。位置取得部１４は、加速度センサ、ジャイロセンサ、及び、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）モジュールなどによって実現される。
　表示部１５は、情報処理部１６の制御に基づいて表示画面を表示する。表示部１５は、例えば、液晶パネルまたは有機ＥＬパネルなどを表示デバイスとして含むディスプレイである。
　情報処理部１６は、画像取得部１２によって取得された画像に映る内装材が、仕様通りの内装材であるか否かの判定を行うための各種情報処理を行う。情報処理部１６は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部１６は、具体的には、部位情報取得部１６ａと、選択部１６ｂと、特定部１６ｃと、判定部１６ｄと、設定部１６ｅとを備える。これらの各構成要素が行う具体的な情報処理については後述される。
　記憶部１７は、情報処理部１６が情報処理を行うために実行するプログラム、及び、当該情報処理に必要な情報が記憶される記憶装置である。記憶部１７は、例えば、半導体メモリによって実現される。記憶部１７に記憶される情報は、例えば、建築物情報１７ａ、内装仕様情報１７ｂ、及び、特徴量情報１７ｃなどである。
　建築物情報１７ａは、建築物の情報の一例であり、建築物全体の間取りを示す情報である。内装仕様情報１７ｂは、建築物に含まれる複数の住戸それぞれにおける内装の仕様（あるべき姿）を示す情報である。図４は、内装仕様情報１７ｂの一例を示す図である。
　内装仕様情報１７ｂは、建築物に含まれる複数の部位のそれぞれに仕様上施工されるべき内装材を示す情報である。図４に示されるように、内装仕様情報は、具体的には、住戸の番号、当該住戸に含まれる部屋、各部屋における部位、当該部位に施工されるべき内装材の種別及び識別情報（例えば、品番）が対応付けられた情報である。
　特徴量情報１７ｃは、画像取得部１２によって取得された画像の照合の対象となる画像特徴量（以下、単に特徴量と記載される）を、内装材の識別情報ごとに複数含む情報である。図５は、特徴量情報１７ｃの一例を示す図である。図５に示されるように、特徴量情報においては、１つの内装材の識別情報に対して複数の特徴量が対応付けられている。また、内装材の識別情報は、内装材が施工される部位（施工部位とも記載される）ごとにグルーピングされている。
　［動作］
　次に、内装材検査システムの動作について説明する。図６は、内装材検査システムの動作のフローチャートである。なお、以下の動作では、建築物に実際に施工されている内装材が第一内装材と記載され、仕様上、建築物に施工されるべき内装材（つまり、正しい内装材）が第二内装材と記載される。
　まず、画像取得部１２は、建築物に施工された第一内装材の画像を取得する（Ｓ１１）。画像取得部１２は、具体的には、操作受付部１１によって撮影操作が受け付けられたときに画像を取得する。画像取得部１２によって取得された画像は、例えば、記憶部１７に記憶される。
　次に、部位情報取得部１６ａは、第一内装材が施工された部位を示す部位情報を取得する（Ｓ１２）。部位情報取得部１６ａは、例えば、ユーザの操作によって入力される部位情報を取得する。図７は、部位情報の入力画面の一例を示す図である。図７の例では、部位情報として、集合住宅の住戸番号、住戸における部屋（リビング、ダイニング、または、キッチンなど）、及び、部屋における部位（壁、床、または、天井など）が入力される。
　なお、部位情報が入力されることは必須ではなく、ステップＳ１２において、部位情報取得部１６ａは、記憶部１７に記憶された建築物情報１７ａ、及び、位置取得部１４によって取得される画像取得部１２の位置情報に基づいて情報処理を行うことにより、部位情報を取得してもよい。
　上述のように、建築物情報１７ａは、建築物全体の間取り情報である。位置取得部１４は、建築物情報１７ａと位置情報に含まれる３次元位置情報とを照合することにより、画像取得部１２がどの住戸のどの部屋に位置するかを特定することができる。また、位置取得部１４は、位置情報に含まれる画像取得部１２の姿勢情報に基づいて、画像取得部１２の被写体の位置、つまり、第一内装材が施工された部位を特定することができる。
　次に、選択部１６ｂは、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する（Ｓ１３）。選択部１６ｂは、具体的には、記憶部１７に記憶された特徴量情報１７ｃに含まれる内装材のうち、部位情報が示す部位に施工される内装材を候補内装材として選択する。
　例えば、部位情報が示す部位が壁である場合には、特徴量情報１７ｃに含まれる内装材のうち施工部位が壁である内装材を候補内装材として選択し、施工部位が壁以外の内装材は候補内装材から除かれる。このように、選択部１６ｂは、部位情報に基づいて内装材の絞り込みを行う。
　次に、特定部１６ｃは、ステップＳ１１において取得された第一内装材の画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する（Ｓ１４）。特定部１６ｃは、具体的には、記憶部１７に記憶された第一内装材の画像の特徴量を抽出し、特徴量情報１７ｃに含まれる候補内装材の特徴量のそれぞれと照合する。特定部１６ｃは、最も類似度の高い候補内装材を第一内装材に相当する候補内装材として特定する。
　次に、判定部１６ｄは、取得された部位情報、及び、記憶部１７に記憶された内装仕様情報１７ｂに基づいて第二内装材を特定する（Ｓ１５）。判定部１６ｄは、具体的には、内装仕様情報１７ｂを参照することにより、部位情報が示す部位に対応付けられた内装材を第二内装材として特定する。
　次に、判定部１６ｄは、ステップＳ１４において特定された候補内装材が、ステップＳ１５において特定された第二内装材であるか否かを判定する（Ｓ１６）。判定部１６ｄは、具体的には、候補内装材の識別情報と、第二内装材の識別情報とが一致するか否かを判定する。
　判定部１６ｄは、候補内装材が第二内装材であると判定した場合、施工された第一内装材が正しい内装材であることを示す判定結果を出力する（Ｓ１７）。この結果、表示部１５には、図２に示されるような画像が表示される。一方、判定部１６ｄは、候補内装材が第二内装材ではないと判定した場合、施工された第一内装材が誤った内装材であることを示す判定結果を出力する（Ｓ１８）。この結果、表示部１５には、図８に示されるような画像が表示される。図８は、判定結果の表示画面の別の一例を示す図である。
　以上のような動作によれば、内装材検査システム１０は、部位情報に基づいて建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する（つまり、内装材の絞り込みを行う）ことで、第一内装材に相当する候補内装材を特定するための情報処理量を低減することができる。情報処理量が低減されれば、検査時間（例えば、画像を取得してから判定結果の表示画面が表示されるまでの時間）を短縮することができる。
　［変形例１］
　図６のフローチャートのステップＳ１１においては複数の画像が取得され、ステップＳ１４においては複数の画像に基づいて第一内装材に相当する候補内装材が特定されてもよい。
　例えば、ステップＳ１１において、複数回の撮影により複数の第一内装材の画像が取得される。ステップＳ１４においては、このような複数の第一内装材の画像を用いて候補内装材が特定される。図９は、変形例１における候補画像の特定方法を説明するための図である。
　まず、複数の第一内装材の画像のそれぞれについて、最も類似度の高い候補内装材が特定される。そして、特定された候補内装材のうち数の最も多い候補内装材が最終的な候補内装材として特定される。
　また、ステップＳ１１においては、１回の撮影により得られた第一内装材の画像が領域分割されることにより複数の画像が取得されてもよい。この場合もステップＳ１４においては多数決によって第一内装材に相当する候補内装材が特定される。なお、画像の領域分割においては、収差が少ないと考えられる画像の中央部のみが分割の対象とされてもよい。
　このように、複数の第一内装材の画像が用いられれば、特徴量の照合における誤判定（言い換えれば、第一内装材に相当する候補内装材の特定ミス）の発生を低減することができる。
　［変形例２］
　図６のフローチャートのステップＳ１１においては、画像に加えて、当該画像が撮影される際の撮影条件が取得されてもよい。撮影条件は、撮影条件取得部１３によって取得される。撮影条件は、例えば、画像取得部１２から被写体までの距離、画像取得部１２の姿勢、及び、被写体周辺の明るさなどである。撮影条件取得部１３によって取得された撮影条件は、画像と対応付けて記憶部１７に記憶される。
　特徴量情報１７ｃにおいては、１つの内装材の識別情報に、当該内装材を互いに異なる撮影条件で撮影することによって得られる複数の画像に基づく複数の特徴量が対応付けられる。つまり、特徴量が撮影条件ごとにグループ化されている。図１０は、変形例２における特徴量情報１７ｃの一例を示す図である。
　ステップＳ１４においては、特定部１６ｃは、取得された画像、及び、当該画像が取得される際の撮影条件に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する。具体的には、特徴量情報１７ｃに含まれる候補内装材の特徴量のうち、ステップＳ１１において取得された撮影条件に最も近い撮影条件（撮影条件１～ｍのいずれか）に属する特徴量が照合の対象とされる。これにより、特徴量の照合における、撮影条件の差に起因する誤判定の発生を抑制することができる。
　また、撮影条件取得部１３によって取得された撮影条件に応じて画像取得部１２の設定が変更されてもよい。例えば、設定部１６ｅは、撮影条件によって示される画像取得部１２から被写体までの距離に応じて、内装材が所定の大きさで画像に映るように画像取得部１２のズーム設定を変更してもよい。また、設定部１６ｅは、撮影条件によって示される被写体周辺の明るさに応じて、内装材が所定の明るさで撮影されるように、シャッタースピード（露光時間）の設定、または、Ｆ値（絞り）の設定を変更してもよい。また、設定部１６ｅは、第一内装材が映る画像の撮影時に、ズーム設定、シャッタースピードの設定、及び、Ｆ値の設定などをユーザが変更できないように固定してもよい。
　このように、設定部１６ｅは、取得された撮影条件に応じて、画像取得部１２の設定（具体的には、カメラパラメータの設定）を変更する。これにより、第一内装材が映る画像が特徴量の照合に適した条件で撮影される。したがって、内装材検査システム１０は、特徴量の照合における、撮影条件の差に起因する誤判定の発生を抑制することができる。
　［変形例３］
　図６のフローチャートのステップＳ１１において画像が取得される際には、表示部１５は、画像を取得する際の撮影条件をユーザに指示するための指示情報を表示してもよい。例えば、画像取得部１２（内装材検査システム１０）の姿勢（パン、チルト、及び、ロールの角度）が指示情報として表示されてもよい。図１１は、変形例３において表示される指示情報の一例を示す図である。
　図１１の例では、パン、チルト、及び、ロールの角度のそれぞれと、これらの角度が満たすべき所定の角度範囲（例えば、±５ｄｅｇ）とが指示情報として表示されている。つまり、図１１の例では、指示情報は、画像取得部１２の姿勢をユーザに指示するための情報である。表示部１５は、位置取得部１４によって取得される姿勢情報に基づいて、パン、チルト、及び、ロールの角度を表示することができる。なお、指示情報は、リアルタイムに更新される。
　このような指示情報によれば、ユーザは、画像取得部１２の姿勢を所定の状態に保った状態で第一内装材の画像を取得することができる。したがって、特徴量の照合における、撮影時の画像取得部１２の姿勢のばらつきに起因する誤判定の発生を抑制することができる。
　なお、表示部１５に表示されるパン、チルト、及び、ロールの角度のそれぞれは、所定の角度範囲内であるときと、そうでないときとで表示態様が変更されてもよい。表示態様は、例えば、文字の色などである。これにより、ユーザは、パン、チルト、及び、ロールの角度のそれぞれが所定の角度範囲内であるか否かを容易に認識することができる。また、内装材検査システム１０は、パン、チルト、及び、ロールの角度のそれぞれが所定の角度範囲内であるときのみ画像の取得が可能な構成であってもよい。
　なお、図１１のように、画像取得部１２の姿勢が数値で表示されることは必須ではない。図１２は、変形例３において表示される指示情報の別の一例を示す図である。
　図１２の例では、表示部１５には、ボール及び所定の円が表示され、ボールの位置は、画像取得部１２の姿勢に応じて移動する。指示情報は、表示されたボールを所定の円の中に入れた状態で撮影することをユーザに指示する。このような指示情報によれば、ユーザは、直感的に画像取得部１２の姿勢を所定の状態にすることができる。
　また、指示情報は、画像取得部１２の姿勢以外の他の撮影条件を指示する情報であってもよい。他の撮影条件は、画像取得部１２から被写体までの距離、及び、被写体周辺の明るさなどである。
　［変形例４］
　図６のフローチャートのステップＳ１４においては、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などの機械学習に基づいて分類スコアを出力する識別部を用いて第一内装材に相当する候補内装材が特定されてもよい。図１３は、変形例４において用いられる識別部の機能構成を示すブロック図である。
　図１３に示されるように、識別部１８は、複数の識別器を有する。複数の識別器のそれぞれは、機械学習によって内装材の識別機能が付与された識別器である。複数の識別器は、複数の施工部位に対応しており、例えば、識別器１８ａは、壁に対応する識別器であり、壁クロスを識別の対象とする識別器である。識別器１８ａは、入力された画像に映る第一内装材が壁クロスＡ～Ｍのいずれである可能性が高いかを分類スコアとして出力する。同様に、識別器１８ｂは、床に対応する識別器であり、識別器１８ｃは、天井に対応する識別器である。なお、各識別器においてあらかじめ行われる機械学習においては、距離、カメラ姿勢、撮影時の照明の色温度、位置ずれなどの撮影条件が互いに異なる複数の画像が学習データとして用いられる。
　以下、このような識別部１８を用いた動作について図１３に加えて図６を参照しながら説明する。図６のステップＳ１４において、特定部１６ｃは、識別部１８に含まれる複数の識別器のうち、ステップＳ１３において選択された候補内装材を識別の対象とする識別器を選択的に用いる。例えば、選択された候補内装材が壁クロスである場合には、複数の識別器のうち壁に対応する識別器１８ａが用いられる。このように、変形例４では、選択部１６ｂによって候補内装材が選択されることで識別器が絞り込まれる。
　ステップＳ１１において取得された第一内装材の画像が選択された識別器に入力されると、当該識別器からは分類スコアが出力される。特定部１６ｃは、選択された識別器から出力される分類スコアに基づいて、分類スコアの最も高い候補内装材を第一内装材に相当する候補内装材として特定する。
　以上説明したように、内装材検査システム１０は、機械学習によって内装材の識別を行う識別機能が付与された識別部１８（複数の識別器）を備えてもよい。特定部１６ｃは、複数の識別器のうち、選択部１６ｂによって選択された候補内装材を識別の対象とする識別器を用いることにより、第一内装材に相当する候補内装材を特定する。この場合、記憶部１７に特徴量情報１７ｃが記憶される必要はない。
　［効果等］
　以上説明したように、内装材検査システム１０は、建築物に施工された第一内装材の画像を取得する画像取得部１２と、第一内装材が施工された部位を示す部位情報を取得する部位情報取得部１６ａと、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部１６ｂと、取得された画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する特定部１６ｃと、特定された候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部１６ｄとを備える。
　このような内装材検査システム１０は、部位情報に基づいて建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択することで、検査精度を向上することができる。また、内装材検査システム１０は、第一内装材に相当する候補内装材を特定するための情報処理量を低減することができる。
　また、例えば、内装材検査システム１０は、さらに、ユーザの操作を受け付ける操作受付部１１を備える。部位情報取得部１６ａは、ユーザの操作によって入力される部位情報を取得する。
　このような内装材検査システム１０は、ユーザの操作によって部位情報を取得することができる。
　また、例えば、内装材検査システム１０は、さらに、建築物情報１７ａが記憶される記憶部１７と、画像取得部１２の位置情報を取得する位置取得部１４とを備える。部位情報取得部１６ａは、建築物情報１７ａ、及び、画像取得部１２の位置情報に基づいて部位情報を取得する。
　このような内装材検査システム１０は、建築物情報１７ａ、及び、画像取得部１２の位置情報に基づいて部位情報を取得することができる。
　また、変形例１では、画像取得部１２は、複数の画像を取得し、特定部１６ｃは、取得された複数の画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する。
　このような内装材検査システム１０は、複数の画像に基づいて第一内装材に相当する候補内装材を特定することにより、第一内装材に相当する候補内装材の特定ミスの発生を低減することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
　また、例えば、上記複数の画像は、１回の撮影で得られた画像の分割によって得られる。
　このような内装材検査システム１０は、１回の撮影によって得られた複数の画像に基づいて第一内装材に相当する候補内装材を特定することにより、第一内装材に相当する候補内装材の特定ミスの発生を低減することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
　また、例えば、上記複数の画像は、複数回の撮影によって得られる。
　このような内装材検査システム１０は、撮影条件が異なる複数の画像、あるいは、内装材のうちの撮影対象となる部分が異なる複数の画像などに基づいて第一内装材に相当する候補内装材を特定することができる。これにより、内装材検査システム１０は、第一内装材に相当する候補内装材の特定ミスの発生を低減することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
　また、変形例２では、内装材検査システム１０は、さらに、画像が取得される際の撮影条件を取得する撮影条件取得部１３を備え、特定部１６ｃは、取得された画像、及び、当該画像が取得される際の撮影条件に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する。
　このような内装材検査システム１０は、画像が取得される際の撮影条件を考慮して第一内装材に相当する候補内装材を特定することで、撮影条件の差に起因する、第一内装材に相当する候補内装材の特定ミスの発生を抑制することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
　また、変形例２では、内装材検査システム１０は、さらに、画像が取得される際の撮影条件を取得する撮影条件取得部１３と、取得された撮影条件に応じて、画像取得部１２の設定を変更する設定部１６ｅとを備える。
　これにより、第一内装材が映る画像が特徴量の照合に適した条件で撮影されれば、特徴量の照合における、撮影条件の差に起因する誤判定の発生を抑制することができる。
　また、変形例３では、内装材検査システム１０は、さらに、画像を取得する際の撮影条件をユーザに指示するための指示情報を表示する表示部１５を備える。
　このような内装材検査システム１０は、指示情報によって撮影条件を指示することにより画像の撮影条件のばらつきを抑制することができる。言い換えれば、内装材検査システム１０は、撮影条件の差に起因する、第一内装材に相当する候補内装材の特定ミスの発生を抑制することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
　また、例えば、内装材検査システム１０は、さらに、建築物に含まれる複数の部位のそれぞれに仕様上施工されるべき内装材を示す内装仕様情報１７ｂが記憶された記憶部１７を備え、判定部１６ｄは、部位情報、及び、内装仕様情報１７ｂに基づいて第二内装材を特定し、特定された候補内装材が特定された第二内装材であるか否かを判定する。
　このような内装材検査システム１０は、部位情報に基づいて第二内装材を特定することができる。
　また、変形例４では、内装材検査システム１０は、さらに、機械学習によって内装材の識別を行う識別機能が付与された複数の識別器を備え、特定部１６ｃは、複数の識別器のうち、選択された候補内装材を識別の対象とする識別器を選択的に用いることにより、第一内装材に相当する候補内装材を特定する。
　このような内装材検査システム１０は、識別器を用いて第一内装材に相当する候補内装材を特定することができる。
　また、変形例４では、複数の識別器のそれぞれは、互いに撮影条件が異なる複数の画像を学習データとする機械学習によって識別機能が付与されている。
　このような内装材検査システム１０は、撮影条件の差に起因する、第一内装材に相当する候補内装材の特定ミスの発生を抑制することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
　また、内装材検査システム１０などのコンピュータが実行する内装材検査方法は、建築物に施工された第一内装材の画像を取得し、第一内装材が施工された部位を示す部位情報を取得し、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択し、取得された画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定し、特定された候補内装材が、仕様上部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する。
　このような内装材検査方法は、部位情報に基づいて建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択することで、検査精度を向上することができる。また、内装材検査システム１０は、第一内装材に相当する候補内装材を特定するための情報処理量を低減することができる。
　（その他の実施の形態）
　以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。例えば、上記実施の形態において、変形例１～４は任意に組み合わされてよい。
　また、上記実施の形態では、内装材検査システムは、単一の装置として実現されたが、複数の装置によって実現されてもよい。内装材検査システムが複数の装置によって実現される場合、上記実施の形態で説明された内装材検査システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
　例えば、内装材検査システムは、クライアントサーバシステムとして実現されてもよい。この場合、クライアント装置は、画像の取得、ユーザの操作の受け付け、及び、判定結果の表示などを行う携帯端末であり、サーバ装置は、特徴量の照合などの画像を用いた情報処理を行う情報端末である。また、内装材検査システムは、建築物内を移動するロボット型の端末として実現されてもよい。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本発明は、内装材検査システムなどのコンピュータによって実行される内装材検査方法として実現されてもよい。また、本発明は、内装材検査方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　１０　内装材検査システム
　１１　操作受付部
　１２　画像取得部
　１３　撮影条件取得部
　１４　位置取得部
　１５　表示部
　１６　情報処理部
　１６ａ　部位情報取得部
　１６ｂ　選択部
　１６ｃ　特定部
　１６ｄ　判定部
　１７　記憶部
　１７ａ　建築物情報
　１７ｂ　内装仕様情報
　１７ｃ　特徴量情報
　１８　識別部
　１８ａ、１８ｂ、１８ｃ　識別器

Claims (14)

  1. 　建築物に施工された第一内装材の画像を取得する画像取得部と、
    　前記第一内装材が施工された部位を示す部位情報を取得する部位情報取得部と、
    　取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部と、
    　取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する特定部と、
    　特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部とを備える
    　内装材検査システム。
  2. 　さらに、ユーザの操作を受け付ける操作受付部を備え、
    　前記部位情報取得部は、前記ユーザの操作によって入力される前記部位情報を取得する
    　請求項１に記載の内装材検査システム。
  3. 　さらに、
    　前記建築物の情報が記憶される記憶部と、
    　前記画像取得部の位置情報を取得する位置取得部とを備え、
    　前記部位情報取得部は、前記建築物の情報、及び、前記画像取得部の位置情報に基づいて前記部位情報を取得する
    　請求項１に記載の内装材検査システム。
  4. 　前記画像取得部は、複数の前記画像を取得し、
    　前記特定部は、取得された複数の前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する
    　請求項１～３のいずれか１項に記載の内装材検査システム。
  5. 　複数の前記画像は、１回の撮影で得られた画像の分割によって得られる
    　請求項４に記載の内装材検査システム。
  6. 　複数の前記画像は、複数回の撮影によって得られる
    　請求項４に記載の内装材検査システム。
  7. 　さらに、前記画像が取得される際の撮影条件を取得する撮影条件取得部を備え、
    　前記特定部は、取得された前記画像、及び、当該画像が取得される際の前記撮影条件に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する
    　請求項１～６のいずれか１項に記載の内装材検査システム。
  8. 　さらに、
    　前記画像が取得される際の撮影条件を取得する撮影条件取得部と、
    　取得された撮影条件に応じて、前記画像取得部の設定を変更する設定部とを備える
    　請求項１～６のいずれか１項に記載の内装材検査システム。
  9. 　さらに、前記画像を取得する際の撮影条件をユーザに指示するための指示情報を表示する表示部を備える
    　請求項１～８のいずれか１項に記載の内装材検査システム。
  10. 　さらに、前記建築物に含まれる複数の部位のそれぞれに仕様上施工されるべき内装材を示す内装仕様情報が記憶された記憶部を備え、
    　前記判定部は、前記部位情報、及び、前記内装仕様情報に基づいて前記第二内装材を特定し、特定された前記候補内装材が特定された前記第二内装材であるか否かを判定する
    　請求項１～９のいずれか１項に記載の内装材検査システム。
  11. 　さらに、機械学習によって内装材の識別を行う識別機能が付与された複数の識別器を備え、
    　前記特定部は、前記複数の識別器のうち、選択された候補内装材を識別の対象とする識別器を選択的に用いることにより、前記第一内装材に相当する前記候補内装材を特定する
    　請求項１～１０のいずれか１項に記載の内装材検査システム。
  12. 　前記複数の識別器のそれぞれは、互いに撮影条件が異なる複数の画像を学習データとする前記機械学習によって前記識別機能が付与されている
    　請求項１１に記載の内装材検査システム。
  13. 　建築物に施工された第一内装材の画像を取得し、
    　前記第一内装材が施工された部位を示す部位情報を取得し、
    　取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択し、
    　取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定し、
    　特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する
    　内装材検査方法。
  14. 　請求項１３に記載の内装材検査方法をコンピュータに実行させるためのプログラム。
PCT/JP2019/036183 2018-09-26 2019-09-13 内装材検査システム、及び、内装材検査方法 WO2020066711A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020548477A JP7054869B2 (ja) 2018-09-26 2019-09-13 内装材検査システム、及び、内装材検査方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018179758 2018-09-26
JP2018-179758 2018-09-26

Publications (1)

Publication Number Publication Date
WO2020066711A1 true WO2020066711A1 (ja) 2020-04-02

Family

ID=69952688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036183 WO2020066711A1 (ja) 2018-09-26 2019-09-13 内装材検査システム、及び、内装材検査方法

Country Status (2)

Country Link
JP (1) JP7054869B2 (ja)
WO (1) WO2020066711A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249884A1 (ja) * 2021-05-28 2022-12-01 パナソニックＩｐマネジメント株式会社 判定装置、及び、判定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327170A (ja) * 2004-05-17 2005-11-24 Shimizu Corp 建築現場における品質確認システム
JP2011128699A (ja) * 2009-12-15 2011-06-30 Fujifilm Corp 検査情報システム、告知情報出力方法および告知情報出力プログラム
WO2017033561A1 (ja) * 2015-08-21 2017-03-02 新日鉄住金ソリューションズ株式会社 表示システム、表示装置、表示方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327170A (ja) * 2004-05-17 2005-11-24 Shimizu Corp 建築現場における品質確認システム
JP2011128699A (ja) * 2009-12-15 2011-06-30 Fujifilm Corp 検査情報システム、告知情報出力方法および告知情報出力プログラム
WO2017033561A1 (ja) * 2015-08-21 2017-03-02 新日鉄住金ソリューションズ株式会社 表示システム、表示装置、表示方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249884A1 (ja) * 2021-05-28 2022-12-01 パナソニックＩｐマネジメント株式会社 判定装置、及び、判定方法

Also Published As

Publication number Publication date
JP7054869B2 (ja) 2022-04-15
JPWO2020066711A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
US10237494B2 (en) Display control apparatus and display control method
US9295141B2 (en) Identification device, method and computer program product
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US10395389B2 (en) Calibration based on intrinsic parameter selection and a projected calibration target
EP3314581B1 (en) Augmented reality device for visualizing luminaire fixtures
TW202036480A (zh) 影像定位方法及其系統
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
US20230040665A1 (en) Air-conditioning operation terminal, computer-readable medium and air-conditioning system
JP2019029935A (ja) 画像処理装置およびその制御方法
WO2020066711A1 (ja) 内装材検査システム、及び、内装材検査方法
JP6425406B2 (ja) 情報処理装置、情報処理方法、プログラム
JPWO2008084523A1 (ja) 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
JP2021027584A (ja) 画像処理装置、画像処理方法およびプログラム
KR102028319B1 (ko) 연관 영상 제공장치 및 방법
JP5251841B2 (ja) 画像処理装置および画像処理プログラム
JP6374812B2 (ja) 三次元モデル処理装置およびカメラ校正システム
KR101921709B1 (ko) 멀티 카메라 유닛을 이용한 객체 인식 시스템
JP2016218626A (ja) 画像管理装置、画像管理方法およびプログラム
WO2022249875A1 (ja) 画像識別装置、及び、画像識別方法
US20170069138A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
WO2022249885A1 (ja) 識別装置、及び、識別方法
JP2014197004A (ja) 画像計測装置
WO2023223887A1 (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法
JP2006178696A (ja) 平面検出装置および方法並びに平面検出プログラム
WO2021020358A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19865209

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548477

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19865209

Country of ref document: EP

Kind code of ref document: A1