WO2023210020A1 - 情報処理装置、三次元復元システム、及び情報処理方法 - Google Patents

情報処理装置、三次元復元システム、及び情報処理方法 Download PDF

Info

Publication number
WO2023210020A1
WO2023210020A1 PCT/JP2022/019468 JP2022019468W WO2023210020A1 WO 2023210020 A1 WO2023210020 A1 WO 2023210020A1 JP 2022019468 W JP2022019468 W JP 2022019468W WO 2023210020 A1 WO2023210020 A1 WO 2023210020A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information processing
restoration
equipment
work
Prior art date
Application number
PCT/JP2022/019468
Other languages
English (en)
French (fr)
Inventor
真弘 掛野
恒次 阪田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022559301A priority Critical patent/JP7282275B1/ja
Priority to PCT/JP2022/019468 priority patent/WO2023210020A1/ja
Publication of WO2023210020A1 publication Critical patent/WO2023210020A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • the present disclosure relates to an information processing device, a three-dimensional reconstruction system, and an information processing method.
  • a method for three-dimensional reconstruction of an object using image data or point cloud data obtained by observing the object from multiple viewpoints is photogrammetry.
  • the image data is connected based on the similarity between feature points, The pose of the camera at the time of image data acquisition is estimated, and the object is reconstructed in three dimensions.
  • the three-dimensional reconstruction of part A is performed in a state where data of part A and data of part B, which has a shape similar to part A, are mixed.
  • the range indicated by the image data can be roughly specified based on the position where the image was acquired and the tilt of the terminal that acquired the image.
  • the technique disclosed in Patent Document 1 has a problem in that the accuracy of three-dimensional reconstruction may be low. Further, when the equipment has a movable part, data indicating mutually different states of the movable part may be incorporated into the three-dimensional reconstruction result as noise. As a specific example, when the equipment is an elevator, the landing door corresponds to the movable part. At this time, when three-dimensional reconstruction is performed using both the data corresponding to the state in which the hall door is open and the data corresponding to the state in which the hall door is closed, one of the data is captured as noise. However, Patent Document 1 does not disclose a technique for preventing such noise from being incorporated into the three-dimensional reconstruction result. Therefore, the technique disclosed in Patent Document 1 has a problem in that the accuracy of three-dimensional reconstruction may decrease.
  • the present disclosure aims to improve the accuracy of three-dimensional reconstruction in three-dimensional reconstruction for large-scale equipment and the like.
  • the information processing device includes: An information processing device that three-dimensionally reconstructs at least a part of the device based on data obtained by observing at least a part of the device, the information processing device comprising: within the target period based on at least one of facility equipment data indicating the state of the equipment within the target period and sensor data that is data acquired during the target period by a sensor provided on a terminal operated by a worker. Estimate the work performed by the worker on the equipment, and based on the result of estimating the work, determine the part of the equipment that is the work target of the worker within the target period and the state of the part.
  • the apparatus includes a metadata generation unit that adds generated metadata to restoration data that is data used when performing original restoration processing.
  • metadata is added to the restoration data.
  • the metadata indicates each part and the state of the part. Therefore, the region indicated by the restoration data can be specified using the region indicated by the metadata, and noise can be prevented from being introduced by using the state of the region indicated by the metadata. Therefore, according to the present disclosure, the accuracy of three-dimensional reconstruction can be improved in three-dimensional reconstruction for large-scale equipment and the like.
  • FIG. 1 is a diagram showing an example configuration of a three-dimensional reconstruction system 90 according to Embodiment 1.
  • FIG. FIG. 3 is a diagram illustrating metadata according to the first embodiment. 1 is a diagram showing an example of a hardware configuration of an information processing device 100 according to Embodiment 1.
  • FIG. 5 is a flowchart showing the operation of data acquisition device 400 according to the first embodiment. 5 is a flowchart showing the operation of information processing apparatus 100 according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a process of generating metadata according to the first embodiment. 5 is a flowchart showing the operation of information processing apparatus 100 according to Embodiment 1.
  • FIG. 3 is a diagram illustrating processing of the information processing device 100 according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration example of a three-dimensional reconstruction system 90 according to a modification of the first embodiment.
  • FIG. 2 is a diagram illustrating a hardware configuration example of an information processing device 100 according to a modification of the first embodiment.
  • FIG. 7 is a diagram illustrating a configuration example of a three-dimensional reconstruction system 90 according to a second embodiment. 7 is a flowchart showing the operation of information processing apparatus 100 according to Embodiment 2. 7 is a flowchart showing the operation of information processing apparatus 100 according to Embodiment 2.
  • FIG. 1 shows a configuration example of a three-dimensional reconstruction system 90 according to this embodiment.
  • the three-dimensional restoration system 90 includes an information processing device 100, a mobile terminal 200, equipment 300, a data acquisition device 400, a restoration data DB (Database) 190, and an equipment data DB 410. , a sensor data DB 420, and a restoration data DB 430.
  • Each device and each DB constituting the three-dimensional restoration system 90 may be appropriately configured integrally.
  • the information processing device 100 includes a work estimation section 110, a metadata generation section 120, a grouping section 130, a three-dimensional restoration section 140, an integration section 150, and a restoration result output section 160.
  • the information processing device 100 is a device that three-dimensionally reconstructs at least a portion of a device based on data obtained by observing at least a portion of the device.
  • the work estimation unit 110 estimates the work of the worker based on data stored in each of the equipment data DB 410 and the sensor data DB 420.
  • the work estimating unit 110 estimates the work performed by the worker on the equipment within the target period based on at least one of equipment data and sensor data. Further, the work estimating unit 110 estimates the part of the equipment that is the work target of the worker within the target period and the state of the part, based on the result of estimating the work.
  • the target period may be any period.
  • the equipment data is data indicating the status of each equipment that constitutes the equipment within the target period, and includes a control signal 310 and a sensor signal 320 as a specific example.
  • the equipment data may be data indicating the state of each equipment estimated based on the control signal 310 and the sensor signal 320.
  • the sensor data is data acquired within the target period by a sensor (excluding the restoration data acquisition sensor 240) included in a terminal operated by a worker.
  • the terminal is a mobile terminal 200 as a specific example.
  • the metadata generation unit 120 generates metadata based on the work estimated by the work estimation unit 110, and adds the generated metadata to the restoration data stored in the restoration data DB 430. At this time, the metadata generation unit 120 generates data indicating each of the body part estimated by the work estimation unit 110 and the state of the body part estimated by the work estimation unit 110 as metadata, and generates it in the restoration data. Attach metadata.
  • the metadata generation unit 120 may add metadata to each of the plurality of pieces of restoration data.
  • the restoration data is data acquired by the terminal within the target period, data acquired by the worker operating the mobile terminal 200 during work, data indicating each part of the equipment, and tertiary data. This is data that is directly used when executing the original restoration process.
  • a specific example of the restoration data is image data or point cloud data.
  • the restoration data is data corresponding to the work of the worker.
  • the grouping unit 130 classifies each restoration data based on the metadata attached to each restoration data. At this time, the grouping unit 130 groups the plurality of restoration data according to the region and the state of the region corresponding to each of the plurality of restoration data.
  • the three-dimensional restoration unit 140 performs three-dimensional restoration for each classification classified by the grouping unit 130 using restoration data belonging to each classification.
  • the integrating unit 150 uses the design data 191 to generate data indicating a frame of the equipment, and integrates the result of the three-dimensional reconstruction performed by the three-dimensional reconstruction unit 140 with the data indicating the generated frame. At this time, the integrating unit 150 generates data indicating a frame corresponding to the equipment including each device, and applies the result of executing three-dimensional reconstruction processing using the grouped restoration data to the data indicating the generated frame. Paste.
  • the design data 191 is data showing the design content regarding the three-dimensional restoration target, and is, for example, a design drawing showing the configuration of each device, or data showing the design values of each device. As a specific example, the design value is a value indicating at least one of the lifting process, the number of floors, and the distance between floors.
  • the design data 191 is used to understand the entirety of the equipment that is the target of three-dimensional reconstruction.
  • the restoration result output unit 160 outputs data indicating the results of three-dimensional restoration.
  • the restoration result output unit 160 may receive the reference state definition 192 and output data indicating the result for each state of each part based on the received reference state definition 192.
  • the reference state definition 192 is information indicating the definition of each state of a part whose state changes among parts of the equipment.
  • the mobile terminal 200 includes an air pressure sensor 210, an acceleration sensor 220, an angular velocity sensor 230, a restoration data acquisition sensor 240, and a UI (User Interface) 250.
  • the sensor included in the mobile terminal 200 may be any type of sensor.
  • the mobile terminal 200 is a communication terminal carried by a worker, and is, for example, a smartphone or a tablet terminal.
  • the worker is, for example, a person or a robot who works on the equipment. Workers are data acquirers. A specific example of the worker's work is inspection of equipment that constitutes equipment.
  • the atmospheric pressure sensor 210 is a sensor that measures atmospheric pressure.
  • Acceleration sensor 220 is a sensor that measures acceleration of mobile terminal 200 in each direction.
  • the angular velocity sensor 230 is a sensor that measures the angular velocity of the mobile terminal 200.
  • the restoration data acquisition sensor 240 is a sensor that acquires restoration data, and is, for example, a camera or a distance sensor.
  • the UI 250 is information indicating an image displayed on a screen included in the mobile terminal 200.
  • the equipment 300 is each equipment included in the equipment, and acquires a control signal 310 and a sensor signal 320.
  • the control signal 310 is a signal that controls each device included in the equipment 300.
  • the sensor signal 320 is a signal acquired by each sensor included in the equipment 300.
  • the data acquisition device 400 acquires data from each of the mobile terminal 200 and the equipment 300, stores the data acquired from the equipment 300 in the equipment data DB 410, and stores the data acquired from the equipment 300 in the equipment data DB 410.
  • the data acquired by each sensor provided (excluding the restoration data acquisition sensor 240) is stored in the sensor data DB 420, and the data acquired by the restoration data acquisition sensor 240 among the data acquired from the mobile terminal 200 is stored in the restoration data DB 430. Store.
  • the restoration data DB 190 is a DB that stores restoration data to which metadata has been added. Metadata is data indicating each part and the state of each part. Note that the restoration data is given metadata indicating the state of the region indicated by the restoration data at the date and time when the restoration data was acquired. FIG. 2 shows a specific example of metadata when the restoration data indicates each part of the elevator. As shown in FIG. 2, the metadata indicates each part indicated by the restoration data and the state of each part at the date and time when the restoration data was acquired. Note that the restoration data may be data indicating a plurality of parts.
  • the equipment data DB 410 is a DB that stores equipment data.
  • the sensor data DB 420 is a DB that stores sensor data.
  • the restoration data DB 430 is a DB that stores restoration data.
  • FIG. 3 shows an example of the hardware configuration of the information processing device 100 according to the present embodiment.
  • Information processing device 100 consists of a computer.
  • Information processing device 100 may include multiple computers.
  • the hardware configuration example of each device included in the three-dimensional restoration system 90 may be the same as the hardware configuration example of the information processing device 100.
  • the information processing device 100 is a computer that includes hardware such as a processor 11, a memory 12, an auxiliary storage device 13, an input/output IF (Interface) 14, and a communication device 15. These pieces of hardware are appropriately connected via signal lines 19.
  • the processor 11 is an IC (Integrated Circuit) that performs arithmetic processing, and controls hardware included in the computer.
  • the processor 11 is, for example, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
  • the information processing device 100 may include a plurality of processors that replace the processor 11. A plurality of processors share the role of the processor 11.
  • the memory 12 is typically a volatile storage device, and a specific example is a RAM (Random Access Memory). Memory 12 is also called main storage or main memory. The data stored in the memory 12 is stored in the auxiliary storage device 13 as necessary.
  • RAM Random Access Memory
  • the auxiliary storage device 13 is typically a nonvolatile storage device, and specific examples include a ROM (Read Only Memory), an HDD (Hard Disk Drive), or a flash memory. Data stored in the auxiliary storage device 13 is loaded into the memory 12 as needed.
  • the memory 12 and the auxiliary storage device 13 may be configured integrally.
  • the input/output IF 14 is a port to which an input device and an output device are connected.
  • the input/output IF 14 is, for example, a USB (Universal Serial Bus) terminal.
  • Specific examples of the input device include a keyboard and a mouse.
  • a specific example of the output device is a display.
  • the communication device 15 is a receiver and a transmitter.
  • the communication device 15 is, for example, a communication chip or a NIC (Network Interface Card).
  • Each part of the information processing device 100 may use the input/output IF 14 and the communication device 15 as appropriate when communicating with other devices.
  • the auxiliary storage device 13 stores a three-dimensional restoration program.
  • the three-dimensional restoration program is a program that causes a computer to realize the functions of each part included in the information processing device 100.
  • the three-dimensional reconstruction program is loaded into the memory 12 and executed by the processor 11.
  • the functions of each part included in the information processing device 100 are realized by software.
  • the storage device includes, as a specific example, at least one of the memory 12, the auxiliary storage device 13, a register within the processor 11, and a cache memory within the processor 11. Note that data and information may have the same meaning.
  • the storage device may be independent of the computer.
  • the functions of the memory 12 and the auxiliary storage device 13 may be realized by other storage devices.
  • the three-dimensional restoration program may be recorded on a computer-readable nonvolatile recording medium.
  • the nonvolatile recording medium include an optical disk or a flash memory.
  • the three-dimensional restoration program may be provided as a program product.
  • the operating procedure of the three-dimensional reconstruction system 90 corresponds to a three-dimensional reconstruction method.
  • the three-dimensional restoration method is also a general term for methods executed by each device included in the three-dimensional restoration system 90.
  • a program that realizes the operation of the three-dimensional reconstruction system 90 corresponds to a three-dimensional reconstruction program.
  • the three-dimensional restoration program is also a general term for programs executed by each device included in the three-dimensional restoration system 90.
  • FIG. 4 is a flowchart showing an example of the operation of the data acquisition device 400. The operation of the data acquisition device 400 will be explained with reference to FIG. 4.
  • Step S101 When a worker operates the mobile terminal 200, information indicating an instruction to start data acquisition is input to the data acquisition device 400. Note that by operating the mobile terminal 200, the worker causes the restoration data acquisition sensor 240 to acquire data indicating the part to be worked on. At this time, as a specific example, the worker uses the mobile terminal 200 to photograph the part to be worked on.
  • Step S102 The data acquisition device 400 starts acquiring each of equipment data, sensor data, and restoration data.
  • Step S103 The data acquisition device 400 stores the acquired data in each DB as appropriate. At this time, the data acquisition device 400 may convert the acquired data as appropriate and store the converted data in each DB.
  • Step S104 The data acquisition device 400 determines whether termination conditions for data acquisition are satisfied. If the termination condition is satisfied, the data acquisition device 400 proceeds to step S105. Otherwise, the data acquisition device 400 proceeds to step S102.
  • Specific examples of the termination conditions include that an instruction to terminate data acquisition is input to the data acquisition device 400 by a worker operating the mobile terminal 200, and that data acquisition is started at a specified acquisition time. or the amount of data acquired by the data acquisition device 400 has reached a specified upper limit.
  • Step S105 The data acquisition device 400 ends data acquisition.
  • FIG. 5 is a flowchart illustrating an example of a process in which the information processing device 100 generates metadata. The process will be explained with reference to FIG.
  • Step S121 First, the work estimation unit 110 reads the equipment data stored in the equipment data DB 410 and the sensor data stored in the sensor data DB 420. Next, the work estimating unit 110 estimates the work of the worker in chronological order based on the read data, and determines the part of the equipment corresponding to the work of the worker based on the read data and the estimated work. The state of each part is estimated. At this time, the work estimating unit 110 estimates the state of each part at each date and time using information indicating the date and time linked to the read data. Next, the work estimation unit 110 inputs data indicating the result of estimating the body part and the state of the body part to the metadata generation unit 120.
  • FIG. 6 shows a specific example of this step.
  • the work estimating unit 110 acquires data from the equipment data DB 410 and the sensor data DB 420, and uses the acquired data and pre-built estimation logic to estimate the worker's work and body parts. The state of the part is estimated. Specifically, the work estimating unit 110 estimates the "work place” to be on the first floor based on the data indicating atmospheric pressure, and estimates the "work content” to be “door inspection” since the door inspection signal indicates “signal ON”. Then, from the estimated “work place” and “work content”, the "part” is estimated to be the “1st floor door", and the “part” is the “1st floor door” and the "door open/close signal” indicates “open”. From this, the "part state” is estimated to be “door open.” Note that the work estimation unit 110 may estimate each item using a machine learning method.
  • Step S122 The metadata generation unit 120 appropriately associates the date and time when the restoration data was acquired with the results of the chronological estimation, and adds metadata indicating each of "part” and "part state” to the restoration data. Then, the restoration data to which metadata has been added is stored in the restoration data DB 190.
  • the "part state” indicates the state of a "part” whose state can change. As a specific example, when the "part” is a movable part, the “part state” indicates the posture of the "part” or the shape of the "part”, and when the color of the light of the "part” changes, the "part state” indicates what color the "part” is.
  • FIG. 7 is a flowchart illustrating an example of three-dimensional restoration processing performed by the information processing device 100. The process will be explained with reference to FIG.
  • Step S141 The grouping unit 130 reads the restoration data to which metadata has been added from the restoration data DB 190, and groups the read restoration data by body part and by the state of the body part.
  • the grouping unit 130 inputs the grouped restoration data to the three-dimensional restoration unit 140.
  • the three-dimensional restoration unit 140 uses the restoration data classified by the grouping unit 130 to perform three-dimensional restoration for each region and state of the region, and generates data indicating the three-dimensional restoration result that is the result of performing the three-dimensional restoration. is input to the integration unit 150.
  • Step S143 First, the integrating unit 150 generates a frame to which the results of three-dimensional restoration using the design data 191 are pasted for each position. Next, the integrating unit 150 integrates the three-dimensional restoration results indicated by the input data into the generated frame. At this time, the integrating unit 150 pastes each part indicated by the input data at a position within the frame that corresponds to each part, adjusting the orientation of each part according to the characteristics of each part. Ru. As a specific example, the integration unit 150 inputs the information so that the orientation of the hall operation panel is the same as the actual orientation of the hall operation panel at the same position within the frame as the hall operation panel is actually installed. Attach the hall operation panel indicated by the data to the frame.
  • the integrating unit 150 aligns the states corresponding to each part to be integrated into a certain frame, that is, makes sure that the states corresponding to each two parts integrated into a certain frame do not contradict each other.
  • the integration unit 150 inputs data indicating the integration result, which is the result of integrating the three-dimensional reconstruction results into the frame, to the reconstruction result output unit 160. Note that the integration unit 150 may prepare a frame for each state and generate an integration result for each state.
  • FIG. 8 is a diagram illustrating this step using a specific example.
  • the integrating unit 150 generates a frame based on design data 191 corresponding to equipment.
  • the generated frame shows a three-story building.
  • the integrating unit 150 integrates the three-dimensional reconstruction results into the generated frame.
  • the integrating unit 150 appropriately integrates the results of performing three-dimensional reconstruction using the reconstruction data grouped by metadata indicating the part "3rd floor landing push button" into the 3rd floor portion of the frame.
  • the integrating unit 150 appropriately integrates the results of performing three-dimensional restoration using the restoration data grouped by metadata indicating the part "1st floor landing push button" into the 1st floor portion of the frame.
  • the restoration result output unit 160 outputs data indicating the integration result.
  • the restoration result output unit 160 may output integrated results for each part state.
  • the restoration result output unit 160 may separately output the restoration result when the elevator hall door is in the open state and the restoration result when the hall door is in the closed state. At this time, it may be possible to switch the three-dimensional reconstruction results output for each part state by using a user interface.
  • Embodiment 1 metadata indicating the body part and the body part state is added to the restoration data. Therefore, according to this embodiment, even if a certain piece of equipment has a plurality of parts with similar characteristics, each part can be distinguished, and data indicating mutually different states can be displayed in three-dimensional form. This can prevent noise from being incorporated into the restoration results. Furthermore, according to the prior art, when performing three-dimensional reconstruction using a plurality of pieces of reconstruction data acquired in areas that are not adjacent to each other in large equipment, how should the positional relationship of each piece of reconstruction data be determined? I can't decide what to do.
  • the restoration data indicating part A and the restoration data showing part B are acquired in a separated state, how should the positional relationship between part A and part B be determined at the time of restoration? I can't judge.
  • the restoration results of each part are integrated into a frame, three-dimensional restoration can be performed even when using a plurality of pieces of restoration data obtained in a divided state. I can do it. Further, according to the present embodiment, it is possible to present the three-dimensional restoration results of the equipment by the state of each part.
  • FIG. 9 shows a configuration example of a three-dimensional reconstruction system 90 according to this embodiment.
  • the three-dimensional reconstruction system 90 further includes an inspection plan DB 440.
  • the inspection plan DB 440 is a DB that stores inspection plan data.
  • Inspection plan data is data indicating a plan for a worker to inspect equipment, and includes information indicating a work plan for the equipment.
  • the inspection plan data includes the equipment to be inspected by the worker, the date and time for the worker to inspect the equipment, and information indicating the work plan for the equipment. shows.
  • the work estimating unit 110 uses inspection plan data in addition to equipment data and sensor data to estimate each of the worker's work, part, and state of the part.
  • the work estimation unit 110 estimates the work performed by the worker on the equipment within the target period using information indicating the work plan for the equipment. According to this modification, since the work estimating unit 110 estimates each item using inspection plan data, the estimation accuracy of the work estimating unit 110 becomes higher.
  • FIG. 10 shows an example of the hardware configuration of an information processing device 100 according to this modification.
  • the information processing device 100 includes a processing circuit 18 instead of the processor 11, the processor 11 and the memory 12, the processor 11 and the auxiliary storage device 13, or the processor 11, the memory 12, and the auxiliary storage device 13.
  • the processing circuit 18 is hardware that implements at least a portion of each section included in the information processing device 100.
  • Processing circuit 18 may be dedicated hardware or may be a processor that executes a program stored in memory 12.
  • the processing circuit 18 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array) or a combination thereof.
  • the information processing device 100 may include a plurality of processing circuits that replace the processing circuit 18. The plurality of processing circuits share the role of the processing circuit 18.
  • the processing circuit 18 is implemented, for example, by hardware, software, firmware, or a combination thereof.
  • the processor 11, memory 12, auxiliary storage device 13, and processing circuit 18 are collectively referred to as a "processing circuitry.” That is, the functions of each functional component of the information processing device 100 are realized by processing circuitry.
  • the other devices may also have the same configuration as this modified example.
  • FIG. 11 shows a configuration example of a three-dimensional reconstruction system 90 according to this embodiment.
  • the information processing device 100 further includes a feature analysis section 170.
  • the feature analysis unit 170 receives the restoration data from the restoration data DB 430 and analyzes the characteristics indicated by the received restoration data. Furthermore, the feature analysis unit 170 estimates the region and the state of the region indicated by the restoration data based on the features indicated by the restoration data.
  • the feature analysis unit 170 receives at least one of the estimated work and the characteristics of the restoration data as input, and uses an inference model that infers the part and state of the part corresponding to the input to analyze the equipment that is the work target. The part and the state of the part of the device to be worked on may be estimated.
  • the feature analysis unit 170 may generate an inference model.
  • the metadata generation unit 120 generates metadata based on the region and the state of the region estimated based on the characteristics indicated by the restoration data.
  • FIG. 12 is a flowchart illustrating an example of a process in which the information processing apparatus 100 generates metadata. The processing will be explained with reference to FIG. 12.
  • Step S321 The feature analysis unit 170 extracts the features of the restoration data, and estimates the region and region state indicated by the restoration data from the extracted features. At this time, the feature analysis unit 170 may use an inference model generated by machine learning. The feature analysis unit 170 inputs data indicating the results of estimating the part and the state of the part to the metadata generation unit 120.
  • Step S122 The metadata generation unit 120 integrates the results estimated by the work estimation unit 110 and the results estimated by the feature analysis unit 170. After that, the metadata generation unit 120 executes the above-described process.
  • FIG. 13 is a flowchart illustrating an example of a process in which the information processing device 100 generates metadata. The processing will be explained with reference to FIG. 13.
  • Step S322 The feature analysis unit 170 extracts the features of the restoration data, and uses a machine learning method using the results of the work estimation unit 110 estimating the body parts and body parts states and the extracted features as input to determine the body part indicated by the restoration data. and the state of the region.
  • the feature analysis unit 170 inputs data indicating the results of estimating each part and part state to the metadata generation unit 120.
  • the parts and part states are estimated using the features indicated by the restoration data, so the accuracy of the parts and part states indicated by the metadata is improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)

Abstract

三次元復元を実行する情報処理装置（１００）は、作業推定部（１１０）とメタデータ生成部（１２０）とを備える。作業推定部（１１０）は、対象期間内における機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて対象期間内に作業員が機器に対して実施した作業を推定し、作業を推定した結果に基づいて、対象期間内における作業員の作業対象である機器の部位と、部位の状態とを推定する。メタデータ生成部（１２０）は、推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、部位を示すデータであって、端末が対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与する。

Description

情報処理装置、三次元復元システム、及び情報処理方法
　本開示は、情報処理装置、三次元復元システム、及び情報処理方法に関する。
　対象物を複数の視点から観測した画像データ又は点群データを用いて対象物を三次元復元する手法が存在する。当該手法は、具体例としてフォトグラメトリである。具体例として、当該手法を用いて対象物を撮影することによって取得された画像データのみを用いて対象物を三次元復元する場合、特徴点同士の類似度に基づいて画像データ同士を繋ぎ合わせ、画像データの取得時におけるカメラの姿勢を推定し、対象物を三次元復元する。
国際公開第２０１８／１５０５１５号パンフレット
　大型の設備機器等を対象として三次元復元を実行する場合、互いに類似する特徴を持つ複数の部位が存在する場合がある。この場合において、具体例として、部位Ａの三次元復元において、部位Ａのデータと、部位Ａの形状に類似する形状を有する部位Ｂのデータとが混ざった状態において三次元復元が実行されてしまう。特許文献１が開示する技術によれば、画像を取得した位置と、画像を取得した端末の傾きとによって画像データが示す範囲を大まかに特定することができる。しかしながら、画像を取得した位置と、画像を取得した端末の傾きのみではより詳細にどの設備のどの部位が画像に映っているかを推定することができない。そのため、特許文献１が開示する技術には、三次元復元の精度が低いことがあるという課題がある。
　また、設備機器が可動部を有する場合、可動部の互いに異なる状態を示すデータが三次元復元結果にノイズとして取り込まれることがある。具体例として、設備機器がエレベーターである場合、乗場扉が可動部に当たる。このとき、乗場扉が開いている状態に対応するデータと、乗場扉が閉じている状態に対応するデータとの双方を用いて三次元復元を実行すると、一方のデータはノイズとして取り込まれる。しかしながら、特許文献１は三次元復元結果にそのようなノイズが取り込まれることを防ぐ技術を開示していない。そのため、特許文献１が開示する技術には、三次元復元の精度が低下することがあるという課題がある。
　本開示は、大型の設備機器等を対象とした三次元復元において、三次元復元の精度を改善することを目的とする。
　本開示に係る情報処理装置は、
　機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理装置であって、
　対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定する作業推定部と、
　推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与するメタデータ生成部と
を備える。
　本開示によれば、復元用データにメタデータが付与されている。ここで、メタデータは部位と部位の状態との各々を示す。そのため、メタデータが示す部位を用いて復元用データが示す部位を特定することができ、また、メタデータが示す部位の状態を用いることによってノイズの取り込みを防ぐことができる。従って、本開示によれば、大型の設備機器等を対象とした三次元復元において、三次元復元の精度を改善することができる。
実施の形態１に係る三次元復元システム９０の構成例を示す図。 実施の形態１に係るメタデータを説明する図。 実施の形態１に係る情報処理装置１００のハードウェア構成例を示す図。 実施の形態１に係るデータ取得装置４００の動作を示すフローチャート。 実施の形態１に係る情報処理装置１００の動作を示すフローチャート。 実施の形態１に係るメタデータを生成する処理を説明する図。 実施の形態１に係る情報処理装置１００の動作を示すフローチャート。 実施の形態１に係る情報処理装置１００の処理を説明する図。 実施の形態１の変形例に係る三次元復元システム９０の構成例を示す図。 実施の形態１の変形例に係る情報処理装置１００のハードウェア構成例を示す図。 実施の形態２に係る三次元復元システム９０の構成例を示す図。 実施の形態２に係る情報処理装置１００の動作を示すフローチャート。 実施の形態２に係る情報処理装置１００の動作を示すフローチャート。
　実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「装置」又は「部」を、「方法」、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。
　実施の形態１．
　以下、本実施の形態について、図面を参照しながら詳細に説明する。
＊＊＊構成の説明＊＊＊
　図１は、本実施の形態に係る三次元復元システム９０の構成例を示している。三次元復元システム９０は、本図に示すように、情報処理装置１００と、携帯端末２００と、設備機器３００と、データ取得装置４００と、復元用データＤＢ（Ｄａｔａｂａｓｅ）１９０と、設備機器データＤＢ４１０と、センサデータＤＢ４２０と、復元用データＤＢ４３０とを備える。三次元復元システム９０を構成する各装置及び各ＤＢは、適宜一体的に構成されていてもよい。
　情報処理装置１００は、作業推定部１１０と、メタデータ生成部１２０と、グルーピング部１３０と、三次元復元部１４０と、統合部１５０と、復元結果出力部１６０とを備える。情報処理装置１００は、機器の少なくとも一部を観測したデータに基づいて機器の少なくとも一部を三次元復元する装置である。
　作業推定部１１０は、設備機器データＤＢ４１０と、センサデータＤＢ４２０との各々に格納されているデータに基づいて作業者の作業を推定する。作業推定部１１０は、設備機器データとセンサデータとの少なくともいずれかに基づいて対象期間内に作業員が機器に対して実施した作業を推定する。また、作業推定部１１０は、作業を推定した結果に基づいて、対象期間内における作業員の作業対象である機器の部位と、部位の状態とを推定する。対象期間はどのような期間であってもよい。
　設備機器データは、設備を構成する各機器の対象期間内における状態等を示すデータであり、具体例として、制御信号３１０とセンサ信号３２０とから成る。設備機器データは、制御信号３１０とセンサ信号３２０に基づいて推定された各機器の状態を示すデータであってもよい。
　センサデータは、作業員が操作する端末が備えるセンサ（復元用データ取得センサ２４０を除く）が対象期間内において取得したデータである。当該端末は、具体例として携帯端末２００である。
　メタデータ生成部１２０は、作業推定部１１０が推定した作業に基づいてメタデータを生成し、生成したメタデータを復元用データＤＢ４３０に格納されている復元用データに付与する。この際、メタデータ生成部１２０は、作業推定部１１０によって推定された部位と、作業推定部１１０によって推定された部位の状態との各々を示すデータをメタデータとして生成し、復元用データに生成したメタデータを付与する。メタデータ生成部１２０は、複数の復元用データの各々に対してメタデータを付与してもよい。
　復元用データは、端末が対象期間内に取得したデータであり、作業員が作業中に携帯端末２００を操作することによって取得されたデータであり、設備が備える各部位を示すデータであり、三次元復元処理を実行する際に直接的に用いられるデータである。復元用データは、具体例として画像データ又は点群データである。また、復元用データは作業員の作業に対応するデータである。
　グルーピング部１３０は、各復元用データに付与されているメタデータに基づいて各復元用データを分類する。この際、グルーピング部１３０は、複数の復元用データの各々に対応する部位及び部位の状態に応じて複数の復元用データをグルーピングする。
　三次元復元部１４０は、グルーピング部１３０が分類した各分類について、各分類に属する復元用データを用いて三次元復元を実行する。
　統合部１５０は、設計データ１９１を用いて設備のフレームを示すデータを生成し、三次元復元部１４０が三次元復元を実行した結果と生成したフレームを示すデータとを統合する。この際、統合部１５０は、各機器を備える設備に対応するフレームを示すデータを生成し、生成したフレームを示すデータに、グルーピングされた復元用データを用いて三次元復元処理を実行した結果を張り付ける。
　設計データ１９１は、三次元復元対象に関する設計内容を示すデータであり、具体例として各機器の構成を示す設計図面、又は各機器の設計値を示すデータである。設計値は、具体例として、昇降工程と、階床数と、階間距離との少なくともいずれかを示す値である。設計データ１９１は、三次元復元の対象である設備機器の全容を把握するために利用される。
　復元結果出力部１６０は、三次元復元を実行した結果を示すデータを出力する。復元結果出力部１６０は、基準状態定義１９２を受信し、受信した基準状態定義１９２に基づいて各部位の状態ごとに結果を示すデータを出力してもよい。
　基準状態定義１９２は、設備が備える部位のうち、状態が変化する部位の各状態の定義を示す情報である。
　携帯端末２００は、気圧センサ２１０と、加速度センサ２２０と、角速度センサ２３０と、復元用データ取得センサ２４０と、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）２５０とを備える。携帯端末２００が備えるセンサはどのようなセンサであってもよい。携帯端末２００は、作業員が携帯する通信端末であり、具体例としてスマートフォン又はタブレット端末である。作業員は、具体例として、設備において作業する人又はロボットである。作業員はデータ取得者に当たる。作業員の作業は、具体例として設備を構成する機器の点検である。
　気圧センサ２１０は、気圧を計測するセンサである。
　加速度センサ２２０は、携帯端末２００の各方向における加速度を計測するセンサである。
　角速度センサ２３０は、携帯端末２００の角速度を計測するセンサである。
　復元用データ取得センサ２４０は、復元用データを取得するセンサであり、具体例としてカメラ又は距離センサである。
　ＵＩ２５０は、携帯端末２００が備える画面に表示される画像を示す情報である。
　設備機器３００は、設備が備える各機器であり、制御信号３１０と、センサ信号３２０とを取得する。
　制御信号３１０は、設備機器３００が備える各機器を制御する信号である。
　センサ信号３２０は、設備機器３００が備える各センサが取得した信号である。
　データ取得装置４００は、携帯端末２００及び設備機器３００の各々からデータを取得し、設備機器３００から取得したデータを設備機器データＤＢ４１０に格納し、携帯端末２００から取得したデータのうち携帯端末２００が備える各センサ（復元用データ取得センサ２４０を除く）が取得したデータをセンサデータＤＢ４２０に格納し、携帯端末２００から取得したデータのうち復元用データ取得センサ２４０が取得したデータを復元用データＤＢ４３０に格納する。
　復元用データＤＢ１９０は、メタデータが付与された復元用データを格納するＤＢである。メタデータは、各部位及び各部位の状態を示すデータである。なお、復元用データには、復元用データを取得した日時における復元用データが示す部位の状態を示すメタデータが付与される。
　図２は、復元用データがエレベーターの各部位を示す場合におけるメタデータの具体例を示している。図２に示すように、メタデータは、復元用データが示す各部位と、復元用データが取得された日時における各部位の状態とを示す。なお、復元用データは複数の部位を示すデータであってもよい。
　設備機器データＤＢ４１０は、設備機器データを格納するＤＢである。
　センサデータＤＢ４２０は、センサデータを格納するＤＢである。
　復元用データＤＢ４３０は、復元用データを格納するＤＢである。
　図３は、本実施の形態に係る情報処理装置１００のハードウェア構成例を示している。情報処理装置１００はコンピュータから成る。情報処理装置１００は複数のコンピュータから成ってもよい。三次元復元システム９０が備える各装置のハードウェア構成例は、情報処理装置１００のハードウェア構成例と同じであってもよい。
　情報処理装置１００は、本図に示すように、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、入出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１４と、通信装置１５等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１９を介して適宜接続されている。
　プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　情報処理装置１００は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサはプロセッサ１１の役割を分担する。
　メモリ１２は、典型的には揮発性の記憶装置であり、具体例としてＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。メモリ１２は、主記憶装置又はメインメモリとも呼ばれる。メモリ１２に記憶されたデータは、必要に応じて補助記憶装置１３に保存される。
　補助記憶装置１３は、典型的には不揮発性の記憶装置であり、具体例として、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はフラッシュメモリである。補助記憶装置１３に記憶されたデータは、必要に応じてメモリ１２にロードされる。
　メモリ１２及び補助記憶装置１３は一体的に構成されていてもよい。
　入出力ＩＦ１４は、入力装置及び出力装置が接続されるポートである。入出力ＩＦ１４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。
　通信装置１５は、レシーバ及びトランスミッタである。通信装置１５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）である。
　情報処理装置１００の各部は、他の装置等と通信する際に、入出力ＩＦ１４及び通信装置１５を適宜用いてもよい。
　補助記憶装置１３は三次元復元プログラムを記憶している。三次元復元プログラムは、情報処理装置１００が備える各部の機能をコンピュータに実現させるプログラムである。三次元復元プログラムは、メモリ１２にロードされて、プロセッサ１１によって実行される。情報処理装置１００が備える各部の機能は、ソフトウェアにより実現される。
　三次元復元プログラムを実行する際に用いられるデータと、三次元復元プログラムを実行することによって得られるデータ等は、記憶装置に適宜記憶される。情報処理装置１００の各部は記憶装置を適宜利用する。記憶装置は、具体例として、メモリ１２と、補助記憶装置１３と、プロセッサ１１内のレジスタと、プロセッサ１１内のキャッシュメモリとの少なくとも１つから成る。なお、データと情報とは同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。
　メモリ１２及び補助記憶装置１３の機能は、他の記憶装置によって実現されてもよい。
　三次元復元プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。三次元復元プログラムは、プログラムプロダクトとして提供されてもよい。
＊＊＊動作の説明＊＊＊
　三次元復元システム９０の動作手順は三次元復元方法に相当する。三次元復元方法は、三次元復元システム９０が備える各装置が実行する方法の総称でもある。また、三次元復元システム９０の動作を実現するプログラムは三次元復元プログラムに相当する。三次元復元プログラムは、三次元復元システム９０が備える各装置が実行するプログラムの総称でもある。
　図４は、データ取得装置４００の動作の一例を示すフローチャートである。図４を参照してデータ取得装置４００の動作を説明する。
（ステップＳ１０１）
　作業員が携帯端末２００を操作することによって、データの取得を開始する指示を示す情報がデータ取得装置４００に入力される。
　なお、作業員は、携帯端末２００を操作することによって、復元用データ取得センサ２４０に、作業対象である部位を示すデータを取得させる。この際、具体例として、作業員は携帯端末２００を用いて作業対象である部位を撮影する。
（ステップＳ１０２）
　データ取得装置４００は、設備機器データとセンサデータと復元用データとの各々の取得を開始する。
（ステップＳ１０３）
　データ取得装置４００は、取得したデータを各ＤＢに適宜格納する。この際、データ取得装置４００は、取得したデータを適宜変換し、変換したデータを各ＤＢに格納してもよい。
（ステップＳ１０４）
　データ取得装置４００は、データの取得についての終了条件を満たすか判定する。終了条件を満たす場合、データ取得装置４００はステップＳ１０５に進む。それ以外の場合、データ取得装置４００はステップＳ１０２に進む。
　終了条件は、具体例として、作業員が携帯端末２００を操作することによってデータの取得を終了する指示がデータ取得装置４００に入力されること、指定された取得時間がデータの取得を開始してから経過したこと、又は、データ取得装置４００が取得したデータの量が指定された上限に達したことである。
（ステップＳ１０５）
　データ取得装置４００はデータの取得を終了する。
　図５は、情報処理装置１００がメタデータを生成する処理の一例を示すフローチャートである。図５を参照して当該処理を説明する。
（ステップＳ１２１）
　まず、作業推定部１１０は、設備機器データＤＢ４１０に格納されている設備機器データと、センサデータＤＢ４２０に格納されているセンサデータとを読み出す。
　次に、作業推定部１１０は、時系列に、読み出したデータに基づいて作業員の作業を推定し、読み出したデータ及び推定した作業に基づいて、作業員の作業に対応する設備の部位と、当該部位の状態との各々を推定する。この際、作業推定部１１０は、読み出したデータに紐づいている日時を示す情報を用いて各日時における各部位の状態を推定する。
　次に、作業推定部１１０は、部位及び当該部位の状態を推定した結果を示すデータをメタデータ生成部１２０に入力する。
　図６は、本ステップの具体例を示している。本例において、作業推定部１１０は、設備機器データＤＢ４１０及びセンサデータＤＢ４２０からデータを取得し、取得したデータと、事前に構築された推定ロジックとを用いて、作業員の作業と、部位と、部位の状態とを推定する。具体的には、作業推定部１１０は、気圧を示すデータから「作業場所」を１階と推定し、ドア点検信号が「信号ＯＮ」を示すことから「作業内容」を「ドア点検」と推定し、推定した「作業場所」及び「作業内容」から「部位」を「１階ドア」と推定し、「部位」が「１階ドア」であること及び「ドア開閉信号」が「開」を示すことから「部位状態」を「ドア開」と推定する。なお、作業推定部１１０は機械学習手法を用いて各項目を推定してもよい。
（ステップＳ１２２）
　メタデータ生成部１２０は、復元用データが取得された日時と、時系列に推定した結果とを適宜対応させ、復元用データに「部位」と「部位状態」との各々を示すメタデータを付与し、メタデータを付与した復元用データを復元用データＤＢ１９０に格納する。ここで、「部位状態」は、状態が変化し得る「部位」の状態を示す。具体例として、「部位」が可動部である場合に「部位状態」は「部位」の姿勢又は「部位」の形状等を示し、「部位」の光の色が変化する場合に「部位状態」は「部位」が何色であるかを示す。
　図７は、情報処理装置１００が実行する三次元復元処理の一例を示すフローチャートである。図７を参照して当該処理を説明する。
（ステップＳ１４１）
　グルーピング部１３０は、復元用データＤＢ１９０からメタデータが付与された復元用データを読み出し、読み出した復元用データを、部位別及び部位の状態別にグルーピングする。グルーピング部１３０は、グルーピングした復元用データを三次元復元部１４０に入力する。
（ステップＳ１４２）
　三次元復元部１４０は、グルーピング部１３０によって分類された復元用データを用い、部位別及び部位の状態別に三次元復元を実行し、三次元復元を実行した結果である三次元復元結果を示すデータを統合部１５０に入力する。
（ステップＳ１４３）
　まず、統合部１５０は、設計データ１９１を用いて三次元復元を実行した結果を位置別に張り付けるためのフレームを生成する。
　次に、統合部１５０は、入力されたデータが示す三次元復元結果を、生成したフレームに統合する。この際、統合部１５０は、入力されたデータが示す各部位を、フレーム内の位置であって、各部位に対応する位置に、各部位の特徴に応じて各部位の向きを調整して張り付ける。統合部１５０は、具体例として、フレーム内において、乗場操作盤が実際に設置されている位置と同じ位置に、乗場操作盤の向きが実際の乗場操作盤の向きと同じになるように、入力されたデータが示す乗場操作盤をフレームに張り付ける。なお、統合部１５０は、あるフレームに統合する各部位に対応する状態をそろえる、即ち、あるフレームに統合した各２つの部位に対応する状態が互いに矛盾しないようにする。
　統合部１５０は、フレームに三次元復元結果を統合した結果である統合結果を示すデータを復元結果出力部１６０に入力する。なお、統合部１５０は、状態毎にフレームを用意し、状態毎に統合結果を生成してもよい。
　図８は、具体例を用いて本ステップを説明する図である。
　まず、統合部１５０は、設備に対応する設計データ１９１に基づいてフレームを生成する。本例において、生成されたフレームは３階建ての建物を示す。
　次に、統合部１５０は生成したフレームに三次元復元結果を統合する。本例において、統合部１５０は、「３階乗場押し釦」という部位を示すメタデータによってグルーピングされた復元用データを用いて三次元復元を実行した結果をフレームの３階部分に適宜統合する。また、統合部１５０は、「１階乗場押し釦」という部位を示すメタデータによってグルーピングされた復元用データを用いて三次元復元を実行した結果をフレームの１階部分に適宜統合する。
（ステップＳ１４４）
　復元結果出力部１６０は、統合結果を示すデータを出力する。
　なお、復元結果出力部１６０は、部位の状態別に統合結果を出力してもよい。具体例として、復元結果出力部１６０は、エレベーターの乗場ドアが開状態である場合における復元結果と、乗場ドアが閉状態である場合における復元結果とを個別に出力してもよい。この際、ユーザーインタフェースを用いることによって部位状態別に出力された三次元復元結果を切り替えることができてもよい。
＊＊＊実施の形態１の効果の説明＊＊＊
　以上のように、本実施の形態によれば、復元用データに部位及び部位状態を示すメタデータが付与されている。そのため、本実施の形態によれば、ある設備に互いに類似する特徴を持つ複数の部位が存在する場合であっても各部位を区別することができ、また、互いに異なる状態を示すデータが三次元復元結果にノイズとして取り込まれることを防ぐことができる。
　また、先行技術によれば、大型の設備機器において、互いに隣接していない領域において取得された複数の復元用データを用いて三次元復元を実行する場合に各復元用データの位置関係をどのようにすべきか判断することができない。具体例として、部位Ａを示す復元用データと部位Ｂを示す復元用データとが分断された状態で取得された場合に、復元時に部位Ａと部位Ｂとの位置関係をどのようにすべきかを判断することができない。しかしながら、本実施の形態によれば、各部位の復元結果をフレームに統合するため、分断された状態で取得された複数の復元用データを用いた場合であっても三次元復元を実行することができる。
　また、本実施の形態によれば、設備機器の三次元復元結果を各部位の状態別に提示することができる。
＊＊＊他の構成＊＊＊
＜変形例１＞
　図９は、本実施の形態に係る三次元復元システム９０の構成例を示している。本図に示すように、三次元復元システム９０は点検計画ＤＢ４４０をさらに備える。
　点検計画ＤＢ４４０は、点検計画データを格納するＤＢである。点検計画データは、作業員が設備を点検する計画を示すデータであり、機器に対する作業計画を示す情報を含み、具体例として、作業員が点検する機器と、作業員が機器を点検する日時とを示す。
　作業推定部１１０は、設備機器データ及びセンサデータに加えて点検計画データを用いて、作業員の作業と、部位と、部位状態との各々を推定する。この際、作業推定部１１０は、機器に対する作業計画を示す情報を用いて対象期間内に作業員が機器に対して実施した作業を推定する。
　本変形例によれば、作業推定部１１０が点検計画データも用いて各項目を推定するため、作業推定部１１０の推定精度がより高くなる。
＜変形例２＞
　図１０は、本変形例に係る情報処理装置１００のハードウェア構成例を示している。
　情報処理装置１００は、プロセッサ１１、プロセッサ１１とメモリ１２、プロセッサ１１と補助記憶装置１３、あるいはプロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、処理回路１８を備える。
　処理回路１８は、情報処理装置１００が備える各部の少なくとも一部を実現するハードウェアである。
　処理回路１８は、専用のハードウェアであってもよく、また、メモリ１２に格納されるプログラムを実行するプロセッサであってもよい。
　処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はこれらの組み合わせである。
　情報処理装置１００は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。
　情報処理装置１００において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。
　処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
　プロセッサ１１とメモリ１２と補助記憶装置１３と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、情報処理装置１００の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
　他の各装置についても、本変形例と同様の構成であってもよい。
　実施の形態２．
　以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
＊＊＊構成の説明＊＊＊
　図１１は、本実施の形態に係る三次元復元システム９０の構成例を示している。図１１に示すように、情報処理装置１００は特徴解析部１７０をさらに備える。
　特徴解析部１７０は、復元用データＤＢ４３０から復元用データを受け取り、受け取った復元用データが示す特徴を解析する。また、特徴解析部１７０は、復元用データが示す特徴に基づいて、復元用データが示す部位と部位の状態とを推定する。特徴解析部１７０は、推定された作業と、復元用データの特徴との少なくとも一方を入力とし、入力に対応する部位と部位の状態とを推論する推論モデルを用いて、作業対象である機器の部位と、作業対象である機器の部位の状態とを推定してもよい。特徴解析部１７０は、推論モデルを生成してもよい。
　メタデータ生成部１２０は、復元用データが示す特徴に基づいて推定された部位と部位の状態とに基づいてメタデータを生成する。
＊＊＊動作の説明＊＊＊
　図１２は、情報処理装置１００がメタデータを生成する処理の一例を示すフローチャートである。図１２を参照して当該処理を説明する。
（ステップＳ３２１）
　特徴解析部１７０は、復元用データの特徴を抽出し、抽出した特徴から、復元用データが示す部位及び部位状態を推定する。この際、特徴解析部１７０は機械学習によって生成された推論モデルを用いてもよい。
　特徴解析部１７０は、部位及び部位状態を推定した結果を示すデータをメタデータ生成部１２０に入力する。
（ステップＳ１２２）
　メタデータ生成部１２０は、作業推定部１１０が推定した結果と、特徴解析部１７０が推定した結果とを統合する。
　その後、メタデータ生成部１２０は、前述の処理を実行する。
　図１３は、情報処理装置１００がメタデータを生成する処理の一例を示すフローチャートである。図１３を参照して当該処理を説明する。
（ステップＳ３２２）
　特徴解析部１７０は、復元用データの特徴を抽出し、作業推定部１１０が部位及び部位状態を推定した結果と、抽出した特徴とを入力として機械学習手法を用いることにより復元用データが示す部位及び部位状態の各々を推定する。
　特徴解析部１７０は、部位及び部位状態の各々を推定した結果を示すデータをメタデータ生成部１２０に入力する。
＊＊＊実施の形態２の効果の説明＊＊＊
　以上のように、本実施の形態によれば、復元用データが示す特徴を用いて部位及び部位状態を推定するため、メタデータが示す部位及び部位状態の精度が向上する。
＊＊＊他の実施の形態＊＊＊
　前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　また、実施の形態は、実施の形態１から２で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャート等を用いて説明した手順は適宜変更されてもよい。
　１１　プロセッサ、１２　メモリ、１３　補助記憶装置、１４　入出力ＩＦ、１５　通信装置、１８　処理回路、１９　信号線、９０　三次元復元システム、１００　情報処理装置、１１０　作業推定部、１２０　メタデータ生成部、１３０　グルーピング部、１４０　三次元復元部、１５０　統合部、１６０　復元結果出力部、１７０　特徴解析部、１９０　復元用データＤＢ、１９１　設計データ、１９２　基準状態定義、２００　携帯端末、２１０　気圧センサ、２２０　加速度センサ、２３０　角速度センサ、２４０　復元用データ取得センサ、２５０　ＵＩ、３００　設備機器、３１０　制御信号、３２０　センサ信号、４００　データ取得装置、４１０　設備機器データＤＢ、４２０　センサデータＤＢ、４３０　復元用データＤＢ、４４０　点検計画ＤＢ。

Claims (7)

  1. 　機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理装置であって、
    　対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定する作業推定部と、
    　推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与するメタデータ生成部と
    を備える情報処理装置。
  2. 　前記作業推定部は、前記機器に対する作業計画を示す情報を用いて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定する請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、さらに、
    　前記復元用データが示す特徴に基づいて前記部位と前記部位の状態とを推定する特徴解析部
    を備え、
    　前記メタデータ生成部は、前記復元用データが示す特徴に基づいて推定された部位と部位の状態とに基づいて前記メタデータを生成する請求項１又は２に記載の情報処理装置。
  4. 　前記特徴解析部は、推定された作業と、前記復元用データの特徴との少なくとも一方を入力とし、前記入力に対応する部位と部位の状態とを推論する推論モデルを用いて、前記作業対象である前記機器の部位と、前記作業対象である前記機器の部位の状態とを推定する請求項３に記載の情報処理装置。
  5. 　前記メタデータ生成部は、複数の復元用データの各々に対してメタデータを付与し、
    　前記情報処理装置は、さらに、
    　前記複数の復元用データの各々に対応する部位及び部位の状態に応じて前記複数の復元用データをグルーピングするグルーピング部と、
    　前記機器を備える設備に対応するフレームを示すデータを生成し、生成したフレームを示すデータに、グルーピングされた復元用データを用いて三次元復元処理を実行した結果を張り付ける統合部と
    を備える請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　請求項１から５のいずれか１項に記載の情報処理装置と、
    　前記端末と
    を備える三次元復元システム。
  7. 　機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理方法であって、
    　コンピュータが、対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定し、
    　前記コンピュータが、推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与する情報処理方法。
PCT/JP2022/019468 2022-04-29 2022-04-29 情報処理装置、三次元復元システム、及び情報処理方法 WO2023210020A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022559301A JP7282275B1 (ja) 2022-04-29 2022-04-29 情報処理装置、三次元復元システム、及び情報処理方法
PCT/JP2022/019468 WO2023210020A1 (ja) 2022-04-29 2022-04-29 情報処理装置、三次元復元システム、及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019468 WO2023210020A1 (ja) 2022-04-29 2022-04-29 情報処理装置、三次元復元システム、及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2023210020A1 true WO2023210020A1 (ja) 2023-11-02

Family

ID=86425002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019468 WO2023210020A1 (ja) 2022-04-29 2022-04-29 情報処理装置、三次元復元システム、及び情報処理方法

Country Status (2)

Country Link
JP (1) JP7282275B1 (ja)
WO (1) WO2023210020A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
JP2019082864A (ja) * 2017-10-31 2019-05-30 株式会社日立製作所 検査作業管理システム及び検査作業管理方法
JP2022038803A (ja) * 2020-08-27 2022-03-10 パシフィックコンサルタンツ株式会社 設備管理プログラム、設備管理方法、および設備管理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
JP2019082864A (ja) * 2017-10-31 2019-05-30 株式会社日立製作所 検査作業管理システム及び検査作業管理方法
JP2022038803A (ja) * 2020-08-27 2022-03-10 パシフィックコンサルタンツ株式会社 設備管理プログラム、設備管理方法、および設備管理システム

Also Published As

Publication number Publication date
JPWO2023210020A1 (ja) 2023-11-02
JP7282275B1 (ja) 2023-05-26

Similar Documents

Publication Publication Date Title
CN107251096B (zh) 图像捕获装置和方法
CN110573992B (zh) 使用增强现实和虚拟现实编辑增强现实体验
WO2016143022A1 (ja) 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法
JP2013130582A5 (ja)
JP6805351B2 (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP2011028309A5 (ja)
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
JP6723798B2 (ja) 情報処理装置、方法、プログラム
CN109840508A (zh) 一个基于深度网络架构自动搜索的机器人视觉控制方法，设备及存储介质
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
US20160110840A1 (en) Image processing method, image processing device, and robot system
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
US20140198177A1 (en) Realtime photo retouching of live video
WO2023210020A1 (ja) 情報処理装置、三次元復元システム、及び情報処理方法
JP6786015B1 (ja) 動作分析システムおよび動作分析プログラム
CN108431816B (zh) 关于设备的数字模型来控制设备
EP4235393A1 (en) Image processing device, image processing method, and image processing program
TWI679969B (zh) 咬合壓力解析裝置、咬合壓力解析程式、及咬合壓力解析方法
JP7029253B2 (ja) 情報処理装置及びその方法
JP2015062017A (ja) モデル作成装置、モデル作成プログラム、および画像認識システム
CN113167568B (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
JP4714050B2 (ja) ３次元形状モデル生成システム
US20150160836A1 (en) Extracting demonstrations from in-situ video content
JP6204781B2 (ja) 情報処理方法、情報処理装置、およびコンピュータプログラム
KR20230050268A (ko) 3차원 이미지들로부터 프로파일들을 추출하기 위한 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022559301

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940292

Country of ref document: EP

Kind code of ref document: A1