WO2021111609A1 - 測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体 - Google Patents

測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021111609A1
WO2021111609A1 PCT/JP2019/047730 JP2019047730W WO2021111609A1 WO 2021111609 A1 WO2021111609 A1 WO 2021111609A1 JP 2019047730 W JP2019047730 W JP 2019047730W WO 2021111609 A1 WO2021111609 A1 WO 2021111609A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormality
optical sensor
dimensional optical
measurement
point cloud
Prior art date
Application number
PCT/JP2019/047730
Other languages
English (en)
French (fr)
Inventor
聡 辻
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/047730 priority Critical patent/WO2021111609A1/ja
Priority to US17/781,553 priority patent/US20220413153A1/en
Priority to JP2021562411A priority patent/JP7272462B2/ja
Publication of WO2021111609A1 publication Critical patent/WO2021111609A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the present invention relates to a non-temporary computer-readable medium in which a measurement control device, a measurement system, a measurement control method, and a measurement control program are stored.
  • a three-dimensional optical sensor that measures the distance and shape to an object using light is known.
  • the three-dimensional optical sensor is used for inspection of infrastructure equipment, security monitoring, etc. because it can acquire the distance and shape of an object over a wide range by using, for example, the ToF (Time of Flight) method.
  • ToF Time of Flight
  • Patent Documents 1 to 3 are known.
  • Patent Document 1 describes that in a measuring device that measures a dental model with a laser displacement meter, when there is a part that cannot be measured, the measurement is performed by changing the inclination of the optical axis of the laser displacement meter. ..
  • Patent Document 2 in an inspection device using a laser, the intensity of the irradiation light of the second scanning process is adjusted based on the intensity of the reflected light obtained by irradiating the object in the first scanning process. It is stated that it should be done.
  • Patent Document 3 in the laser radar, the measurement data of the judgment laser light reflector installed in the monitoring area is stored as the initial data, and the measurement result of the light reflector and the initial data are compared at the time of measurement. It is described that the installation status of the laser radar and the spatial propagation status of the laser beam are determined.
  • Japanese Unexamined Patent Publication No. 8-233519 Japanese Unexamined Patent Publication No. 2015-10959 Japanese Unexamined Patent Publication No. 2010-19621
  • the present disclosure is a non-temporary computer-readable medium in which a measurement control device, a measurement system, a measurement control method, and a measurement control program that can respond more accurately according to a measurement state are stored.
  • the purpose is to provide.
  • the measurement control device is a detection unit that detects an abnormal part of point cloud data acquired from a three-dimensional optical sensor, and a control that controls the orientation of the three-dimensional optical sensor according to the detected abnormal part. It is provided with a unit and a determination unit for determining an abnormality factor of the abnormality portion based on the point cloud data measured by the three-dimensional optical sensor in the controlled direction.
  • the measurement system includes a three-dimensional optical sensor and a measurement control device, and the measurement control device includes a detection unit that detects an abnormal portion of point group data acquired from the three-dimensional optical sensor, and the detection. Based on the control unit that controls the orientation of the three-dimensional optical sensor according to the abnormal location and the point group data measured by the three-dimensional optical sensor in the controlled orientation, the abnormality factor of the abnormal location is determined. It is provided with a judgment unit to be used.
  • the measurement control method detects an abnormal part of the point cloud data acquired from the three-dimensional optical sensor, controls the orientation of the three-dimensional optical sensor according to the detected abnormal part, and is controlled. Based on the point cloud data measured by the three-dimensional optical sensor in the vertical direction, the cause of the abnormality at the abnormal portion is determined.
  • the non-temporary computer-readable medium in which the measurement control program according to the present disclosure is stored detects an abnormal part of the point group data acquired from the three-dimensional optical sensor, and the three-dimensional according to the detected abnormal part.
  • a non-temporary computer-readable medium containing a measurement control device, a measurement system, a measurement control method, and a measurement control program that can respond more accurately according to a measurement state. it can.
  • FIG. 1 It is a figure which shows the example of the point cloud data measured by the 3D optical sensor. It is a block diagram which shows the outline of the measurement control apparatus which concerns on embodiment. It is a block diagram which shows the structural example of the measurement system which concerns on Embodiment 1.
  • FIG. It is a schematic diagram which shows the structural example of the 3D measuring apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the example of the bitmap used in the measurement control apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation example of the measurement system which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation example of the measurement abnormality factor identification processing which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation example of the correction measurement process which concerns on Embodiment 1.
  • FIG. It is a figure which shows the example of the normal data measured by the 3D optical sensor which concerns on Embodiment 1.
  • FIG. It is a figure which shows the example of the abnormality data measured by the 3D optical sensor which concerns on Embodiment 1.
  • FIG. It is a figure for demonstrating the measurement abnormality factor identification method which concerns on Embodiment 1.
  • FIG. It is a figure for demonstrating the measurement abnormality factor identification method which concerns on Embodiment 1.
  • FIG. It is a figure for demonstrating the measurement abnormality factor identification method which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structural example of the measurement system which concerns on Embodiment 2. It is a block diagram which shows the structural example of the measurement system which concerns on Embodiment 3. It is a block diagram which shows the outline of the hardware of the computer which concerns on embodiment.
  • the ToF method As described above, in the three-dimensional optical sensor, for example, the ToF method is used.
  • the three-dimensional light sensor irradiates the measurement light, receives the reflected light reflected from the object to be measured, and is based on the time from the irradiation of the measurement light to the reception of the reflected light and the speed of the light.
  • the distance from the three-dimensional optical sensor to the object to be measured is measured.
  • the ToF method will be described as an example as a method in which the three-dimensional optical sensor measures the distance, but this is not limited to this.
  • the three-dimensional optical sensor repeats scanning in a predetermined scanning direction, and generates point cloud data (Point Cloud) including the distance obtained at each measurement point by the ToF method.
  • Point Cloud point cloud data
  • the value of the reflected light intensity (reflected brightness and brightness) of the irradiated light hereinafter, also referred to as a beam). Etc. are also included.
  • FIG. 1 is an example of point cloud data obtained by measuring an electric power facility with a three-dimensional optical sensor.
  • FIG. 1 shows the shape of the electric power facility based on the point cloud data. Further, it is possible to display in another color according to the reflection brightness included in the point cloud data, or to display in another color according to the distance included in the point cloud data. In this way, the shape of the measurement target and the like can be grasped with high accuracy from the point cloud data obtained from the three-dimensional optical sensor.
  • the inventor examined a method of inspecting facilities such as electric power facilities as shown in FIG. 1 using a three-dimensional optical sensor, and there is a possibility that normal measurement data cannot be obtained depending on the measurement state of the three-dimensional optical sensor. I found the problem. That is, when an outdoor power facility such as a substation is targeted for measurement, it is necessary to install a three-dimensional optical sensor outdoors. Then, there is a high possibility that rain, snowfall, dust, dirt from animals, etc. will adhere to the surface of the three-dimensional optical sensor. For this reason, dirt adheres to the surface of the three-dimensional optical sensor, which causes problems in beam irradiation and detection of reflected light, making it difficult to obtain normal point cloud data.
  • FIG. 2 shows an outline of the measurement control device according to the embodiment.
  • the measurement control device 10 according to the embodiment is a device that controls the measurement of the three-dimensional optical sensor, and includes a detection unit 11, a control unit 12, and a determination unit 13 as shown in FIG.
  • the detection unit 11 detects an abnormal part of the point cloud data acquired from the three-dimensional optical sensor.
  • the control unit 12 controls the orientation of the three-dimensional optical sensor according to the abnormal portion detected by the detection unit 11.
  • the determination unit 13 determines the cause of the abnormality in the abnormality portion detected by the detection unit 11 based on the point cloud data measured by the three-dimensional optical sensor in the direction controlled by the control unit 12. Further, the measurement control device 10 uses the point cloud data measured by the three-dimensional optical sensor in the direction controlled by the control unit 12 based on the determination result of the abnormality factor by the determination unit 13 to obtain the point cloud data of the abnormality location.
  • a correction unit for correction may be provided.
  • the irradiation direction of the beam which may have a problem in the irradiation or reflection of the beam is grasped, and the three-dimensional optical sensor is determined according to the direction.
  • the cause of the abnormality is determined by controlling the direction of and measuring. As a result, it is possible to grasp whether or not the cause of the abnormal part is on the three-dimensional optical sensor side, so that it is possible to appropriately correct the abnormal part and reduce the frequency of maintenance as much as possible. it can.
  • FIG. 3 shows a configuration example of the measurement system according to the present embodiment.
  • the measurement system 1 according to the present embodiment includes a measurement control device 100 and a three-dimensional measurement device 200.
  • the three-dimensional measuring device 200 includes a three-dimensional optical sensor 201 and a rotation mechanism 202.
  • the three-dimensional optical sensor 201 is a three-dimensional sensor that measures the distance to an object by the ToF method and generates point cloud data (measurement data) based on the measurement result.
  • the point cloud data has position information, luminance information, and the like in the three-dimensional space as described above at each measurement point in the scanning range (measurement range).
  • the three-dimensional optical sensor 201 is a 3D-LiDAR (Light Detection and Ringing) or the like.
  • the three-dimensional optical sensor 201 is, for example, an omnidirectional sensor that scans a beam in all directions.
  • a three-dimensional optical sensor is obtained by scanning the beam in the horizontal direction (main scanning direction) in the range of 360 ° and scanning the beam in the vertical direction (sub-scanning direction) orthogonal to the horizontal direction in the range of 180 °. Objects in all directions around 201 are measured.
  • the three-dimensional optical sensor 201 has a rotational optical system 211 inside, and the entire three-dimensional optical sensor 201 is covered with a cover 212 that transmits light.
  • the rotating optical system 211 is a scanning unit that scans the light emitted from the light emitting element, and is, for example, a rotating mirror.
  • the rotational optical system 211 rotates the beam in the main scanning direction and moves the beam in the sub-scanning direction while the cover 212 is fixed.
  • the light emitted from the rotational optical system 211 is applied to the object through the cover 212, and the light reflected from the object is received through the cover 212.
  • Rotational scanning may be performed in the main scanning direction while moving one beam in the sub-scanning direction, or rotational scanning may be performed in the main scanning direction by a plurality of beams arranged in the sub-scanning direction.
  • the rotation mechanism 202 is a direction changing mechanism that changes the direction of the three-dimensional optical sensor 201.
  • the change in the orientation of the three-dimensional optical sensor 201 is a change in the overall orientation of the three-dimensional optical sensor 201 including the cover 212.
  • an arbitrary irradiation direction from 0 ° to 360 ° in the main scanning range is set to ⁇ 0 , and the entire three-dimensional optical sensor 201 facing the ⁇ 0 is changed in a different direction.
  • the rotation mechanism 202 is, for example, a rotation stage, and as shown in FIG. 4, a three-dimensional optical sensor 201 is fixed on the rotation mechanism 202.
  • the rotation mechanism 202 is rotationally driven in the rotation control direction according to the control of the measurement control device 100, and rotates the entire three-dimensional optical sensor 201.
  • the rotation control direction is a direction that is not orthogonal to the plane (main scanning direction) drawn by the beam irradiation direction of the three-dimensional optical sensor 201, and is, for example, a direction parallel to the plane drawn by the irradiation direction.
  • the main scanning direction of the beam of the three-dimensional optical sensor 201 is the horizontal direction
  • the rotation control direction of the rotation mechanism 202 is also the same horizontal direction.
  • the measurement control device 100 includes a normal data holding unit 101, a measurement abnormality detection unit 102, an abnormality direction management unit 103, a direction control unit 104, and a measurement data correction unit 105.
  • the normal data holding unit 101 and the measurement abnormality detecting unit 102 constitute an abnormality determination unit that determines an abnormality in the measurement of the three-dimensional optical sensor 201.
  • the three-dimensional optical sensor 201, the rotation mechanism 202, the direction control unit 104, and the measurement data correction unit 105 constitute a measurement unit that avoids the irradiation direction of the beam in which the measurement abnormality has occurred.
  • the normal data holding unit 101 holds normal point cloud data (normal data) in advance.
  • the normal data holding unit 101 holds the point cloud data acquired by scanning the object with the three-dimensional optical sensor 201 in a normal state.
  • the measurement abnormality detection unit (abnormal factor determination unit) 102 scans the normal point cloud data held in the normal data holding unit 101 and the object with the three-dimensional optical sensor 201 at the time of measurement or the like, and acquires the point cloud. Compare with the data (measurement data) and detect the abnormal location (abnormal direction) of the acquired point cloud data.
  • the measurement abnormality detection unit 102 detects the presence / absence of abnormality or the abnormality level of the measurement data, and detects the irradiation direction of the beam in which the measurement abnormality has occurred.
  • the measurement abnormality detection unit 102 may detect the presence or absence of an abnormality depending on whether or not there is a place where the point group data cannot be acquired (whether or not the data is missing), and the brightness of the normal data and the measurement data. Anomalous level (change level of brightness) may be detected according to the difference in brightness of. Further, the measurement abnormality detection unit 102 determines the cause of the detected abnormality based on the result of re-measurement in the direction changed according to the detection of the abnormality.
  • the abnormality direction management unit 103 manages the irradiation direction of the beam having the measurement abnormality based on the detection of the measurement abnormality detection unit 102.
  • the abnormality direction management unit 103 manages whether or not an abnormality has occurred in beam irradiation and detection for each beam irradiation direction or for each of a plurality of nearby irradiation directions. As shown in FIG. 5, for example, the abnormality direction management unit 103 manages an abnormality detection result (comparison result with normal data) in the irradiation direction in a bitmap format.
  • the abnormal direction management unit 103 holds (manages) the bitmap, and the direction control unit 104 updates the bitmap in response to the detection of the abnormality.
  • the bitmap corresponds to the measurement range (scanning range) of the three-dimensional optical sensor 201.
  • the bitmap is from 0 ° to 360 ° (0 ° ⁇ ⁇ ⁇ 360 °) in the horizontal direction (main scanning direction) and from 0 ° to 180 ° (0 °) in the vertical direction (secondary scanning direction).
  • the data is up to ⁇ ⁇ 180 °), and each has bit data in units of 1 °, for example.
  • the measurement abnormality may be managed for each bit data of 1 ° in the horizontal direction ⁇ 1 ° in the vertical direction, or the measurement abnormality may be managed for each range including a plurality of bit data of N ° in the horizontal direction ⁇ N ° in the vertical direction. You may.
  • each bit data may be managed as binary data of 0 or 1, 0 as no abnormality, and 1 as abnormal (unusable).
  • each bit data may be N value data from 0 to N, 0 may be regarded as no abnormality, and the abnormality level may be managed in N steps from 1 to N.
  • the degree of decrease in brightness when compared with the normal state may be expressed in N stages.
  • the abnormality level when the abnormality level is managed for each range (plural irradiation directions) including a plurality of bit data, the number of data acquired in that range may be expressed in N steps. Further, the abnormality level may be set according to the change in the number of data acquired in that range.
  • the direction control unit 104 changes the direction of the three-dimensional optical sensor 201 when measuring the irradiation direction of the beam having the measurement abnormality based on the information managed by the abnormality direction management unit 103.
  • the direction control unit 104 refers to the bitmap of the abnormality direction management unit 103, controls the rotation drive of the rotation mechanism 202 so as to face the normal direction in which the abnormality is not detected, and directs the three-dimensional optical sensor 201. change.
  • the direction control unit 104 manages the amount of change (angle) in which the direction of the measurement abnormality is changed.
  • the measurement data correction unit 105 corrects the point cloud data (measurement data) obtained by the three-dimensional optical sensor 201 whose direction has been changed based on the direction changed by the direction control unit 104.
  • the measurement data correction unit 105 corrects the point cloud data according to the amount of change in the orientation of the three-dimensional optical sensor 201 by the direction control unit 104. Further, the measurement data correction unit 105 may correct the point cloud data according to the abnormality level when the abnormality direction management unit 103 manages the abnormality level in N steps. For example, a table or the like for obtaining the brightness reduction rate for each abnormality level is held, and the brightness value of the point cloud data is corrected according to the abnormality level.
  • the reduction rate is not limited to the abnormality level, and the reduction amount may be set according to the abnormality level.
  • the brightness value changes depending on the orientation of the object, the direction of the object is grasped when the reduction amount is used. Is preferable.
  • FIG. 6 shows the overall operation flow of the measurement system 1.
  • FIG. 7 shows the flow of the measurement abnormality direction detection process (S102) in FIG. 6
  • FIG. 8 shows the flow of the measurement abnormality factor identification process (S105) in FIG. 6
  • FIG. 9 shows the correction measurement in FIG. The flow of the process (S107) is shown.
  • the measurement control device 100 stores normal data (S101). For example, as shown in FIG. 10, the object is scanned in a state where the three-dimensional optical sensor 201 is clean, and normal point cloud data (normal data) is generated.
  • the normal data holding unit 101 holds the normal data generated by the three-dimensional optical sensor 201.
  • the normal data has position information and luminance information according to the object at each measurement point in the measurement range (scanning range) of the three-dimensional optical sensor 201. As long as the three-dimensional optical sensor 201 normally receives the reflected light from the object, there is no omission in the data (no omission).
  • the measurement control device 100 detects the measurement abnormality direction (S102).
  • the detection of the measurement abnormality direction may be performed at any timing as long as the normal data is saved. For example, it may be performed periodically at a timing different from the measurement time when the object is measured for inspection or the like, or it may be performed at the same timing as the measurement time.
  • the measurement abnormality detection unit 102 acquires the measurement data (S111).
  • the three-dimensional optical sensor 201 scans an object and generates point cloud data (measurement data) in the same manner as when acquiring normal data.
  • the measurement abnormality detection unit 102 acquires the measurement data generated by the three-dimensional optical sensor 201 in order to detect the measurement abnormality.
  • the measurement abnormality detection unit 102 compares the normal data with the measurement data (S112), and determines whether or not there is an abnormality direction (S113).
  • the measurement abnormality detection unit 102 acquires the measurement data from the three-dimensional optical sensor 201
  • the measurement abnormality detection unit 102 compares the normal data held in the normal data holding unit 101 with the measurement data acquired from the three-dimensional optical sensor 201.
  • the measurement abnormality detection unit 102 determines that there is an abnormality because there is a region where data is missing (no data) as compared with the normal data. Alternatively, the measurement abnormality detection unit 102 determines that there is an abnormality when there is a region where the brightness is different from that of the normal data.
  • the abnormality may be determined by comparing the measurement data obtained in one measurement with the normal data, or the abnormality may be determined by comparing the measurement data obtained in a plurality of measurements with the normal data. May be determined. For example, if a floating object such as a bird or an insect floats or a car or a person passes between the three-dimensional optical sensor 201 and the object, an abnormality may temporarily occur in the measurement data. By determining an abnormality using a plurality of measurement data, it is possible to prevent erroneous detection of such a temporary abnormality. For example, after performing the measurement once, the measurement may be performed a plurality of times at predetermined intervals.
  • the abnormality When detecting the presence or absence of an abnormality, the abnormality may be determined based on the number of times the abnormality has occurred as a result of multiple measurements, and when detecting the abnormality level, the abnormality is determined based on the average value of the abnormality levels. You may.
  • the measurement abnormality detection unit 102 When it is determined in S113 that the measurement data has an abnormal direction, the measurement abnormality detection unit 102 notifies the direction control unit 104 of the abnormality detection result (S114).
  • the direction control unit 104 sets the presence / absence or the abnormality level of the abnormality in the abnormal direction to be notified in the bitmap of the abnormal direction management unit 103.
  • the correction control by the measurement control device 100 is unnecessary, so that the normal measurement is performed by the three-dimensional optical sensor 201.
  • S104 the three-dimensional optical sensor 201 scans an object to generate point cloud data, repeats the measurement abnormality direction detection process (S102) and subsequent steps as necessary, and performs normal measurement until an abnormality is detected.
  • the measurement control device 100 identifies the cause of the measurement abnormality (S105). That is, the measurement abnormality detection unit 102 requests the direction control unit 104 to change the direction of the three-dimensional optical sensor 201 with respect to the irradiation direction of the beam presumed to have an abnormality, and measures again in the changed direction. It is performed once or more, and based on the result, it is determined whether the cause of the abnormality is on the three-dimensional optical sensor 201 side or on the object side.
  • the orientation of the three-dimensional optical sensor 201 is changed from, for example, ⁇ to ⁇ (S121).
  • the direction before the change is defined as ⁇
  • the direction after the change is defined as ⁇ .
  • the three-dimensional light is emitted up to the ⁇ direction where there is no abnormality in the measurement data.
  • the direction of the sensor 201 is rotated.
  • the ⁇ direction after the change and the ⁇ direction before the change are measured. Either the ⁇ -direction measurement or the ⁇ -direction measurement may be performed first. Further, both the measurement in the ⁇ direction and the measurement in the ⁇ direction may be performed, or only one of them may be performed.
  • the measurement abnormality detection unit 102 acquires the measurement data in the ⁇ direction (S122).
  • the three-dimensional optical sensor 201 measures by irradiating a beam in a direction corresponding to the changed abnormality detection portion in a state where the direction is changed, and the measurement abnormality detection unit 102 acquires the measurement data. For example, as shown in FIG. 13, when an abnormality in the ⁇ direction is detected and the direction of the three-dimensional optical sensor 201 is changed from the ⁇ direction to the ⁇ direction, the object 3 is moved in the ⁇ direction corresponding to the changed abnormality detection location. Measure.
  • the measurement abnormality detection unit 102 determines whether or not there is a measurement abnormality in the acquired measurement data in the ⁇ direction (S123), and if there is an abnormality in the measurement result in the ⁇ direction, it is determined that there is an abnormality on the three-dimensional optical sensor side. If there is no abnormality (normal) in the measurement result in the ⁇ direction (S124), it is determined that there is an abnormality on the object side (S125).
  • the measurement abnormality detection unit 102 acquires the measurement data in the ⁇ direction (S126).
  • the three-dimensional optical sensor 201 measures by irradiating a beam in a direction corresponding to the abnormality detection portion before the change in a state where the direction is changed, and the measurement abnormality detection unit 102 acquires the measurement data. For example, as shown in FIG. 14, when an abnormality in the ⁇ direction is detected and the direction of the three-dimensional optical sensor 201 is changed from the ⁇ direction to the ⁇ direction, the object 2 is moved in the ⁇ direction corresponding to the abnormality detection location before the change. Measure again.
  • the measurement abnormality detection unit 102 determines whether or not there is a measurement abnormality in the acquired measurement data in the ⁇ direction (S127), and if there is an abnormality in the measurement result in the ⁇ direction, it determines that there is an abnormality on the object side (S). S128), if there is no abnormality (normal) in the measurement result in the ⁇ direction, it is determined that there is an abnormality on the three-dimensional optical sensor 201 side (S129).
  • the measurement control device 100 performs a correction measurement process (S107) for correcting the data in the abnormality direction.
  • the three-dimensional optical sensor 201 starts measuring the object (S131).
  • the direction control unit 104 determines whether or not the irradiation direction of the beam being measured is in the direction of measurement abnormality (S132).
  • the direction control unit 104 changes the direction of the three-dimensional optical sensor 201 (S133).
  • the direction control unit 104 refers to the bitmap of the abnormality direction management unit 103, selects a normal direction in which an abnormality is not detected, and changes the direction of the three-dimensional optical sensor 201 in the selected direction.
  • a direction without an abnormality is selected, and when managing an abnormality level, a direction in which the abnormality level is 0 or a value lower than the threshold value is selected.
  • the normal direction from the abnormal direction to the direction in which the amount of change in the direction is small or the direction in which there is no abnormality is continuous (the direction in which 0 is continuous in the bitmap).
  • one beam irradiation may be changed from the abnormal direction to the closest direction, or the direction may be changed to the direction in which the change amount of the direction is minimized including the irradiation of M beams.
  • the measurement data correction unit 105 acquires the measurement data (S134).
  • the three-dimensional optical sensor 201 scans an object and emits point cloud data by irradiating the beam in the changed direction in the direction with an abnormality and in the direction before the change in the direction without an abnormality. Generate (measurement data).
  • the measurement data correction unit 105 acquires the measurement data generated by the three-dimensional optical sensor 201 in order to correct the data in the abnormal direction.
  • the measurement data correction unit 105 determines whether or not the data in the abnormal direction is missing (S135), and if the data in the abnormal direction is missing, complements the data (S136) and the data in the abnormal direction exists. If so, the brightness of the data is adjusted (S137).
  • the measurement data correction unit 105 rotates (changes) the position of the three-dimensional coordinates of the data acquired in the changed orientation according to the angle of the orientation changed by the direction control unit 104, and obtains the data in the orientation before the change. to correct.
  • the data in the abnormal direction is missing (data is missing)
  • the data in the abnormal direction is complemented (embedded) by using the data acquired in the changed orientation.
  • the brightness of the data in the abnormal direction is adjusted to a normal value by using the brightness of the data acquired in the changed orientation.
  • the data in the direction in which the direction has not been changed is not corrected (correction value is zero).
  • the direction of the detected abnormality is provided with a rotation mechanism for rotating the direction of the three-dimensional optical sensor such as 3D-LiDAR.
  • a rotation mechanism for rotating the direction of the three-dimensional optical sensor such as 3D-LiDAR.
  • FIG. 15 shows a configuration example of the measurement system according to the present embodiment.
  • the measurement control device 100 is further provided with the external environment information receiving unit 106 as compared with the configuration of the first embodiment.
  • the external environment information receiving unit 106 is connected to an external network or the like, and receives information on the external environment such as the weather from the outside.
  • the information on the external environment is information indicating the state of the external environment that can affect the measurement of the three-dimensional optical sensor 201, for example, weather information, maintenance of the target facility, and information on equipment update.
  • the weather information may be obtained from the Internet or the like
  • the equipment information may be obtained from a database or the like that manages the equipment information.
  • the information of the external environment including this information is used for measurement abnormality detection and direction control. That is, the external environment information receiving unit 106 acquires the information of the external environment and notifies the measurement abnormality detection unit 102 and the direction control unit 104 that the external environment has changed.
  • the measurement abnormality detection unit 102 changes the measurement abnormality detection condition based on the information of the external environment notified from the external environment information reception unit 106, and detects the measurement abnormality under the changed condition. For example, when the information of the external environment is the information of the change of the measurement object such as maintenance or equipment update, the changed part in the normal data of the measurement object held by the normal data holding unit 101 is updated. The direction that affects the change is grasped from the change information of the measurement object, and the normal data corresponding to that direction is updated.
  • the normal data may be updated by the information indicating the change of the object, or the changed object may be measured by the three-dimensional optical sensor 201 and the normal data may be updated.
  • the direction control unit 104 changes the management information of the abnormal direction based on the information of the external environment notified from the external environment information reception unit 106, and controls the direction of the three-dimensional optical sensor 201 by using the changed information. For example, if the information on the external environment is weather information, the surface of the three-dimensional optical sensor 201 is affected by the weather, so the data managed by the abnormal direction management unit 103 is updated. For example, when the weather changes from rain to fine weather, the dirt is washed away by the rain, and some parts are cleaned and some parts are dirty. Therefore, the part corresponding to the object of the bitmap of the abnormal direction management unit 103 is updated. Further, when the information of the external environment is the information of the change of the measurement object such as maintenance or equipment update, the data managed by the abnormal direction management unit 103 based on the normal data after the normal data of the normal data holding unit 101 is updated. To update.
  • the information on the external environment is weather information
  • the surface of the three-dimensional optical sensor 201 is affected by the weather
  • FIG. 16 shows a configuration example of the measurement system according to the present embodiment.
  • the measurement control device 100 is further provided with the notification unit 107 as compared with the configuration of the first embodiment.
  • the notification unit 107 is connected to an external network or the like, and notifies a remote operator via the network of the abnormality detection result and abnormality cause by the measurement abnormality detection unit 102, the data managed by the abnormality direction management unit 103, and the like. ..
  • the operator may be notified when the abnormality in the irradiation direction managed by the abnormality direction management unit 103 exceeds the threshold value.
  • An abnormality detection result or the like may be notified together with the measurement data of the three-dimensional optical sensor 201. Further, the abnormality detection result or the like may be output to an external display device.
  • the operator can grasp the presence / absence of the abnormality, the abnormality direction, the abnormality factor, etc., and appropriately judge the necessity of maintenance. be able to.
  • each configuration in the above-described embodiment is composed of hardware and / or software, and may be composed of one hardware or software, or may be composed of a plurality of hardware or software.
  • Each device and each function (processing) may be realized by a computer 20 having a processor 21 such as a CPU (Central Processing Unit) and a memory 22 which is a storage device, as shown in FIG.
  • a program (measurement control program) for performing the method in the embodiment may be stored in the memory 22, and each function may be realized by executing the program stored in the memory 22 on the processor 21.
  • Non-temporary computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) A detector that detects abnormal points in the point cloud data acquired from the 3D optical sensor, and a detector.
  • a control unit that controls the orientation of the three-dimensional optical sensor according to the detected abnormal location, Based on the point cloud data measured by the three-dimensional optical sensor in the controlled orientation, a determination unit that determines the cause of the abnormality at the abnormal location, and a determination unit.
  • a measurement control device (Appendix 2) The determination unit determines the cause of the abnormality based on the point cloud data obtained by measuring the direction corresponding to the changed abnormality in a state where the direction of the three-dimensional optical sensor is changed according to the abnormality. To do, The measurement control device according to Appendix 1.
  • the determination unit determines that there is an abnormality on the measurement target side measured by the three-dimensional optical sensor, and determines that there is an abnormality on the measurement target side before the change. If there is no abnormality in the point group data obtained by measuring the direction corresponding to the abnormality location, it is determined that there is an abnormality on the three-dimensional optical sensor side.
  • the measurement control device according to Appendix 4.
  • the detection unit detects the abnormal portion based on a plurality of point cloud data acquired by measuring the three-dimensional optical sensor a plurality of times.
  • the measurement control device according to any one of Appendix 1 to 5.
  • the detection unit detects the abnormal portion based on the comparison result between the point cloud data measured at the normal time and the acquired point cloud data.
  • the measurement control device according to any one of Appendix 1 to 6.
  • the detection unit detects the presence or absence of abnormality in the acquired point cloud data according to the comparison result.
  • the measurement control device according to Appendix 7. (Appendix 9) The presence or absence of the abnormality is whether or not the acquired point cloud data is missing from the point cloud data measured at the normal time.
  • the measurement control device according to Appendix 8. (Appendix 10) The detection unit detects an abnormality level of the acquired point cloud data according to the comparison result.
  • the abnormality level is a change level of the brightness of the acquired point cloud data with respect to the point cloud data measured at the normal time.
  • the measurement control device according to Appendix 10. (Appendix 12) A management unit that manages the comparison result by a bitmap for each measurement direction of the three-dimensional optical sensor is further provided. The measurement control device according to any one of Supplementary note 7 to 11. (Appendix 13) The comparison result is managed for each of a plurality of measurement directions of the three-dimensional optical sensor by the bitmap. The measurement control device according to Appendix 12. (Appendix 14) The control unit changes the direction of the three-dimensional optical sensor in the direction in which the change amount of the direction is small among the measurement directions in which the abnormal portion is not detected.
  • the measurement control device changes the direction of the three-dimensional optical sensor in a direction in which the amount of change in direction is small in a plurality of measurements by the three-dimensional optical sensor among the measurement directions in which the abnormal portion is not detected.
  • the measurement control device according to Appendix 14.
  • a correction unit for correcting the point cloud data of the abnormal portion by using the point cloud data measured by the three-dimensional optical sensor in the controlled direction based on the determination result of the abnormal factor is further provided.
  • the measurement control device according to any one of Appendix 1 to 15.
  • the correction unit changes the position of the point cloud data measured by the three-dimensional optical sensor in the controlled direction according to the controlled direction.
  • the measurement control device according to Appendix 16.
  • the correction unit complements the point cloud data of the abnormal portion with the point cloud data measured by the three-dimensional optical sensor in the controlled direction.
  • the measurement control device according to Appendix 17.
  • the correction unit determines the brightness of the point cloud data of the abnormal portion by the brightness of the point cloud data measured by the three-dimensional optical sensor in the controlled direction. adjust, The measurement control device according to Appendix 17.
  • the detection unit detects an abnormal part of the point cloud data based on the external environment information.
  • the measurement control device according to any one of Appendix 1 to 19.
  • the control unit controls the orientation of the three-dimensional optical sensor based on the external environment information.
  • a notification unit for notifying the detection result of the detection unit or the determination result of the determination unit is further provided.
  • the measurement control device is A detection unit that detects abnormal points in the point cloud data acquired from the three-dimensional optical sensor, and A control unit that controls the orientation of the three-dimensional optical sensor according to the detected abnormal location, Based on the point cloud data measured by the three-dimensional optical sensor in the controlled orientation, a determination unit that determines the cause of the abnormality at the abnormal location, and a determination unit.
  • a measurement system. (Appendix 24) A direction changing mechanism for changing the direction of the three-dimensional optical sensor is provided. The control unit controls the orientation changing mechanism to change the orientation of the three-dimensional optical sensor.
  • the measurement system according to Appendix 23.
  • (Appendix 25) Detects abnormal points in point cloud data acquired from a 3D optical sensor, The orientation of the three-dimensional optical sensor is controlled according to the detected abnormal location. Based on the point cloud data measured by the three-dimensional optical sensor in the controlled orientation, the abnormality factor of the abnormality portion is determined. Measurement control method. (Appendix 26) In the determination, the abnormality factor is determined based on the point cloud data obtained by measuring the direction corresponding to the changed abnormality portion in a state where the orientation of the three-dimensional optical sensor is changed according to the abnormality portion. , The measurement control method according to Appendix 25. (Appendix 27) Detects abnormal points in point cloud data acquired from a 3D optical sensor, The orientation of the three-dimensional optical sensor is controlled according to the detected abnormal location.
  • the abnormality factor of the abnormality portion is determined.
  • a measurement control program that allows a computer to perform processing. (Appendix 28)
  • the abnormality factor is determined based on the point cloud data obtained by measuring the direction corresponding to the changed abnormality portion in a state where the orientation of the three-dimensional optical sensor is changed according to the abnormality portion. , The measurement control program according to Appendix 27.
  • Measurement system 2 3 Object 10 Measurement control device 11 Detection unit 12 Control unit 13 Judgment unit 20 Computer 21 Processor 22 Memory 100 Measurement control device 101 Normal data holding unit 102 Measurement abnormality detection unit 103 Abnormal direction management unit 104 Direction control unit 105 Measurement data correction unit 106 External environment information reception unit 107 Notification unit 200 3D measurement device 201 3D optical sensor 202 Rotation mechanism 211 Rotational optical system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示に係る測定制御装置（１０）は、３次元光センサから取得された点群データの異常箇所を検知する検知部（１１）と、検知部（１１）により検知された異常箇所に応じて３次元光センサの向きを制御する制御部（１２）と、制御部（１２）により制御された向きで３次元光センサが測定した点群データに基づいて、検知部（１１）により検知された異常箇所の異常要因を判断する判断部（１３）と、を備える。

Description

測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体
　本発明は、測定制御装置、測定システム、測定制御方法及び測定制御プログラムが格納された非一時的なコンピュータ可読媒体に関する。
　光を用いて対象物までの距離と形状を測定する３次元光センサが知られている。３次元光センサは、例えば、ＴｏＦ（Time of Flight）方式を用いることで、広範囲にわたって対象物の距離と形状を取得できるため、インフラ設備の点検やセキュリティ監視等に利用されている。
　関連する技術として、例えば特許文献１～３が知られている。特許文献１には、レーザ変位計により歯科用模型を測定する測定装置おいて、測定不能の箇所があった場合、レーザ変位計の光軸の傾斜を変えて測定を行うことが記載されている。特許文献２には、レーザを用いた検査装置において、１回目の走査処理で対象物に照射して得られた反射光の強度をもとに、２回目の走査処理の照射光の強度を調整することが記載されている。特許文献３には、レーザレーダにおいて、監視領域に設置される判定用レーザ光反射体の測定データを初期データとして保存しておき、計測時にこの光反射体の計測結果と初期データを比較することで、レーザレーダの設置状況及びレーザ光の空間伝搬状況を判定することが記載されている。
特開平８－２３３５１９号公報 特開２０１５－１０９５９号公報 特開２０１０－１９６２１号公報
　上記のように、特許文献１のような関連する技術では、レーザの光軸の傾きを変えることで、測定対象物の面の傾斜によって正常に測定できない場合でも測定可能としている。しかしながら、関連する技術では、３次元光センサ側の測定状態が考慮されていないため、３次元光センサの表面の汚れなどの測定状態に正確に対応することが困難であるという問題がある。
　本開示は、このような課題に鑑み、測定状態に応じてより正確に対応することが可能な測定制御装置、測定システム、測定制御方法及び測定制御プログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示に係る測定制御装置は、３次元光センサから取得された点群データの異常箇所を検知する検知部と、前記検知された異常箇所に応じて前記３次元光センサの向きを制御する制御部と、前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する判断部と、を備えるものである。
　本開示に係る測定システムは、３次元光センサと測定制御装置とを備え、前記測定制御装置は、前記３次元光センサから取得された点群データの異常箇所を検知する検知部と、前記検知された異常箇所に応じて前記３次元光センサの向きを制御する制御部と、前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する判断部と、を備えるものである。
　本開示に係る測定制御方法は、３次元光センサから取得された点群データの異常箇所を検知し、前記検知された異常箇所に応じて前記３次元光センサの向きを制御し、前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断するものである。
　本開示に係る測定制御プログラムが格納された非一時的なコンピュータ可読媒体は、３次元光センサから取得された点群データの異常箇所を検知し、前記検知された異常箇所に応じて前記３次元光センサの向きを制御し、前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する、処理をコンピュータに実行させるための測定制御プログラムが格納された非一時的なコンピュータ可読媒体である。
　本開示によれば、測定状態に応じてより正確に対応することが可能な測定制御装置、測定システム、測定制御方法及び測定制御プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
３次元光センサにより測定された点群データの例を示す図である。 実施の形態に係る測定制御装置の概要を示す構成図である。 実施の形態１に係る測定システムの構成例を示す構成図である。 実施の形態１に係る３次元測定装置の構成例を示す模式図である。 実施の形態１に係る測定制御装置で用いるビットマップの例を示す図である。 実施の形態１に係る測定システムの動作例を示すフローチャートである。 実施の形態１に係る測定異常方向検知処理の動作例を示すフローチャートである。 実施の形態１に係る測定異常要因特定処理の動作例を示すフローチャートである。 実施の形態１に係る補正測定処理の動作例を示すフローチャートである。 実施の形態１に係る３次元光センサにより測定された正常データの例を示す図である。 実施の形態１に係る３次元光センサにより測定された異常データの例を示す図である。 実施の形態１に係る測定異常要因特定方法を説明するための図である。 実施の形態１に係る測定異常要因特定方法を説明するための図である。 実施の形態１に係る測定異常要因特定方法を説明するための図である。 実施の形態２に係る測定システムの構成例を示す構成図である。 実施の形態３に係る測定システムの構成例を示す構成図である。 実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。
　以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。
（実施の形態に至る検討）
　上記のように、３次元光センサでは、例えば、ＴｏＦ方式が用いられている。ＴｏＦ方式では、３次元光センサが測定光を照射して、測定対象物から反射した反射光を受光し、測定光の照射から反射光を受光するまでの時間と光の速度とに基づいて、３次元光センサから測定対象物までの距離を測定する。以降、本開示の実施の形態を説明するために、３次元光センサが距離を測る方式としてＴｏＦ方式を例に説明するが、このことは本開示の構成をこれに限定するものではない。
　３次元光センサは、所定の走査方向に走査を繰り返し、ＴｏＦ方式により各測定点で得られた距離等を含む点群データ（Point Cloud）を生成する。点群データには、距離や３次元空間上の位置情報（ｘ，ｙ，ｚ等）の他、照射した光（以下、ビームともいう）の反射光の強さ（反射輝度や輝度）の値等も含む。
　図１は、３次元光センサにより電力施設を測定して得られた点群データの例である。図１は、点群データに基づいた電力施設の形状を示している。さらに、点群データに含まれる反射輝度に応じて別の色で表示したり、点群データに含まれる距離に応じて別の色で表示したりすることが可能である。このように、３次元光センサから得られる点群データにより、測定対象の形状等を高精度に把握することができる。
　発明者は、３次元光センサを用いて図１のような電力施設などの施設の点検を行う方法について検討し、３次元光センサの測定状態によって正常な測定データを得ることができない恐れがあるという課題を見出した。すなわち、変電所のような屋外の電力施設を測定対象にすると、３次元光センサを屋外に設置する必要がある。そうすると、３次元光センサの表面に、降雨や降雪、粉塵、動物等による汚れが付着する可能性が高い。このため、３次元光センサの表面に汚れが付着することにより、ビームの照射と反射光の検知に不具合が生じ、正常な点群データを得ることが困難となる。
　また、電力施設の点検では、できる限り省力化が望まれる。しかし、変電所や鉄塔などの電力施設は国内全域をカバーするために僻地や山地にも存在する。このため、３次元光センサの不具合の度にメンテナンスに行く必要があるようでは、省力化を図ることができない。
　このような課題を解決するためには、３次元光センサによる測定の不具合の要因を正確に把握し、不具合に対する補正等の対応を適切に行う必要がある。
（実施の形態の概要）
　図２は、実施の形態に係る測定制御装置の概要を示している。実施の形態に係る測定制御装置１０は、３次元光センサの測定を制御する装置であり、図２に示すように、検知部１１、制御部１２、判断部１３を備えている。
　検知部１１は、３次元光センサから取得された点群データの異常箇所を検知する。制御部１２は、検知部１１により検知された異常箇所に応じて３次元光センサの向きを制御する。判断部１３は、制御部１２により制御された向きで３次元光センサが測定した点群データに基づいて、検知部１１が検知した異常箇所の異常要因を判断する。測定制御装置１０は、さらに、判断部１３による異常要因の判断結果に基づき、制御部１２により制御された向きで３次元光センサが測定した点群データを用いて、異常箇所の点群データを補正する補正部を備えてもよい。
　このように、実施の形態では、点群データの異常箇所を検知することで、ビームの照射または反射に不具合の可能性があるビームの照射方向を把握し、その方向に応じて３次元光センサの向きを制御して測定を行うことで異常要因を判断する。これにより、異常箇所の要因が３次元光センサ側にあるのか否かを把握することができるため、異常箇所に対する補正等を適切に行うことができ、可能な限りメンテナンスの頻度を低減することができる。
（実施の形態１）
　以下、図面を参照して実施の形態１について説明する。図３は、本実施の形態に係る測定システムの構成例を示している。図３に示すように、本実施の形態に係る測定システム１は、測定制御装置１００と３次元測定装置２００とを備えている。
　３次元測定装置２００は、３次元光センサ２０１と回転機構２０２を備えている。３次元光センサ２０１は、ＴｏＦ方式により対象物までの距離を測定し、測定した結果に基づいて点群データ（測定データ）を生成する３次元センサである。点群データは、走査範囲（測定範囲）の各測定点において、上記のように３次元空間の位置情報及び輝度情報等を有する。３次元光センサ２０１は、具体的には３Ｄ－ＬｉＤＡＲ（Light Detection and Ranging）等である。
　３次元光センサ２０１は、例えば全方位にビームをスキャン（走査）する全方位センサである。例えば、水平方向（主走査方向）に３６０°の範囲でビームを走査するとともに、水平方向と直交する垂直方向（副走査方向）に１８０°の範囲でビームを走査することで、３次元光センサ２０１の周囲の全方位における対象物を測定する。図４に示すように、３次元光センサ２０１は、内部に回転光学系２１１を有しており、その全体が光を透過するカバー２１２により覆われている。
　回転光学系２１１は、発光素子から出射される光を走査する走査部であり、例えば回転ミラーである。回転光学系２１１は、カバー２１２が固定されている状態でビームを主走査方向に回転させるとともに、副走査方向にビームを移動させる。回転光学系２１１から出射された光は、カバー２１２を介して対象物へ照射され、対象物から反射した光がカバー２１２を介して受光される。なお、１本のビームを副走査方向に移動させながら主走査方向に回転走査を行ってもよいし、副走査方向に並んだ複数のビームにより主走査方向に回転走査を行ってもよい。
　回転機構２０２は、３次元光センサ２０１の向きを変更する向き変更機構である。３次元光センサ２０１の向きの変更とは、カバー２１２を含む３次元光センサ２０１の全体の向きの変更である。例えば、主走査範囲の０°～３６０°のうちの任意の照射方向をθ０として、このθ０に向いている３次元光センサ２０１の全体を違う方向に変更する。
　回転機構２０２は、例えば回転ステージであり、図４に示すように、その上に３次元光センサ２０１が固定されている。回転機構２０２は、測定制御装置１００の制御に応じて回転制御方向に回転駆動し、３次元光センサ２０１の全体を回転させる。回転制御方向は、３次元光センサ２０１のビームの照射方向が描く面（主走査方向）と直行しない方向であり、例えば、照射方向が描く面と平行な方向である。この例では、３次元光センサ２０１のビームの主走査方向は水平方向であり、回転機構２０２の回転制御方向も同じ水平方向である。
　図３に示すように、測定制御装置１００は、正常データ保持部１０１、測定異常検知部１０２、異常方向管理部１０３、方向制御部１０４、測定データ補正部１０５を備える。例えば、正常データ保持部１０１及び測定異常検知部１０２は、３次元光センサ２０１の測定の異常判定を行う異常判定部を構成する。３次元光センサ２０１、回転機構２０２、方向制御部１０４及び測定データ補正部１０５は、測定異常が発生したビームの照射方向を避けて測定を行う測定部を構成する。
　正常データ保持部１０１は、予め正常な点群データ（正常データ）を保持する。正常データ保持部１０１は、正常な状態で３次元光センサ２０１により対象物をスキャンして取得された点群データを保持する。
　測定異常検知部（異常要因判断部）１０２は、正常データ保持部１０１に保持された正常な点群データと、測定時等に３次元光センサ２０１により対象物をスキャンして取得された点群データ（測定データ）とを比較し、取得した点群データの異常箇所（異常方向）を検知する。測定異常検知部１０２は、測定データの異常の有無または異常レベルを検知し、測定異常が生じたビームの照射方向を検知する。例えば、測定異常検知部１０２は、点群データが取得できない箇所があるか否か（データが欠落しているか否か）により異常の有無を検知してもよいし、正常データの輝度と測定データの輝度の差分に応じて異常レベル（輝度の変化レベル）を検知してもよい。さらに、測定異常検知部１０２は、異常の検知に応じて変更した向きで再度測定した結果に基づいて、検知した異常の要因を判断する。
　異常方向管理部１０３は、測定異常検知部１０２の検知に基づいて、測定異常のあるビームの照射方向を管理する。異常方向管理部１０３は、ビームの照射及び検知に異常が生じているかどうかを、ビームの照射方向ごと、あるいは近傍の複数の照射方向ごとに管理する。異常方向管理部１０３は、例えば、図５に示すように、ビットマップ形式で照射方向の異常検知結果（正常データとの比較結果）を管理する。異常方向管理部１０３がビットマップを保持（管理）し、方向制御部１０４が異常の検知に応じてビットマップを更新する。
　ビットマップは、３次元光センサ２０１の測定範囲（走査範囲）に対応している。この例では、ビットマップは、水平方向（主走査方向）に０°から３６０°（０°≦θ＜３６０°）まで、かつ、垂直方向（副走査方向）に０°から１８０°（０°≦Φ＜１８０°）までのデータであり、例えばそれぞれ１°単位にビットデータを有する。例えば、水平方向１°×垂直方向１°のビットデータごとに測定異常を管理してもよいし、水平方向Ｎ°×垂直方向Ｎ°の複数のビットデータを含む範囲ごとに測定異常を管理してもよい。
　測定異常検知部１０２の異常検知に応じて、ビットデータごとに異常の有無を管理してもよいし、複数段階の異常レベルを管理してもよい。例えば、各ビットデータを０または１の２値データとして、０を異常なしとし、１を異常あり（使用不可）として管理してもよい。また、各ビットデータを０～ＮまでのＮ値データとして、０を異常なしとし、１～ＮによりＮ段階で異常レベルを管理してもよい。異常レベルを管理する場合、正常な状態と比べたときの輝度の低下具合をＮ段階で表してもよい。また、複数のビットデータを含む範囲（複数の照射方向）ごとに異常レベルを管理する場合、その範囲で取得できたデータの数をＮ段階で表してもよい。さらに、その範囲で取得できたデータの数の変化に応じて異常レベルを設定してもよい。
　方向制御部１０４は、異常方向管理部１０３により管理された情報をもとに、測定異常のあるビームの照射方向の測定の際に３次元光センサ２０１の方向を変更する。方向制御部１０４は、異常方向管理部１０３のビットマップを参照し、異常を検知していない正常な方向に向くように回転機構２０２の回転駆動を制御して、３次元光センサ２０１の向きを変更する。方向制御部１０４は、測定異常の方向を変更した変更量（角度）を管理する。
　測定データ補正部１０５は、方向を変更した３次元光センサ２０１により得られた点群データ（測定データ）を、方向制御部１０４が変更した方向に基づいて補正する。測定データ補正部１０５は、方向制御部１０４による３次元光センサ２０１の向きの変更量に応じて点群データを補正する。また、測定データ補正部１０５は、異常方向管理部１０３がＮ段階で異常レベルを管理している場合に、異常レベルに応じて点群データを補正してもよい。例えば、異常レベルごとに輝度の低下率を得るためのテーブル等を保持しておき、異常レベルに応じて点群データの輝度値を補正する。なお、異常レベルに応じた低下率に限らず、異常レベルに応じた低下量としてもよいが、対象物の向きによって輝度値が変化するため、低下量とする場合は対象物の向きを把握することが好ましい。
　次に、本実施の形態に係る測定システム１の動作について説明する。図６は、測定システム１の全体の動作の流れを示している。図７は、図６における測定異常方向検知処理（Ｓ１０２）の流れを示し、図８は、図６における測定異常要因特定処理（Ｓ１０５）の流れを示し、図９は、図６にける補正測定処理（Ｓ１０７）の流れを示している。
　図６に示すように、まず、測定制御装置１００は、正常データを保存する（Ｓ１０１）。例えば、図１０に示すように、３次元光センサ２０１に汚れがない状態で対象物をスキャンし、正常な点群データ（正常データ）を生成する。正常データ保持部１０１は、３次元光センサ２０１により生成された正常データを保持する。図１０のように、正常データは、３次元光センサ２０１の測定範囲（走査範囲）の各測定点で対象物に応じた位置情報及び輝度情報を有している。３次元光センサ２０１が対象物から正常に反射光を受光している限りデータに抜けは生じない（欠落がない）。
　続いて、測定制御装置１００は、測定異常方向を検知する（Ｓ１０２）。測定異常方向の検知は、正常データを保存した後であれば、任意のタイミングに行ってもよい。例えば、点検等のために対象物を測定する測定時とは別のタイミングで定期的に行ってもよいし、測定時と同じタイミングに常時行ってもよい。
　測定異常方向検知処理（Ｓ１０２）では、図７に示すように、測定異常検知部１０２は、測定データを取得する（Ｓ１１１）。３次元光センサ２０１は、正常データ取得時と同様に、対象物をスキャンし点群データ（測定データ）を生成する。測定異常検知部１０２は、測定異常を検知するため、３次元光センサ２０１により生成された測定データを取得する。
　続いて、測定異常検知部１０２は、正常データと測定データを比較し（Ｓ１１２）、異常方向があるか否か判定する（Ｓ１１３）。測定異常検知部１０２は、３次元光センサ２０１から測定データを取得すると、正常データ保持部１０１に保持された正常データと３次元光センサ２０１から取得した測定データとを比較する。
　例えば、図１１に示すように、３次元光センサ２０１の表面（カバー２１２）に汚れが付着している状態で対象物をスキャンすると、汚れが付着した方向で正常にビームの照射または受光することができないため、点群データの汚れに対応した箇所に異常が発生する。このような点群データの異常箇所（異常方向）を、正常データと比較することで検知する。図１１の例では、測定異常検知部１０２は、正常データと比べると、データが抜けている（データが無い）領域があるため、異常ありと判定する。もしくは、測定異常検知部１０２は、正常データと比べて輝度に差が生じている領域がある場合、異常ありと判定する。
　また、１回の測定で得られた測定データと正常データとを比較することで異常を判定してもよいし、複数回の測定で得られた測定データと正常データとを比較することで異常を判定してもよい。例えば、３次元光センサ２０１と対象物との間に、鳥や虫などの浮遊物が浮遊したり車や人などが通過したりすると、一時的に測定データに異常が発生する場合がある。複数回の測定データを用いて異常を判定することで、このような一時的な異常に対する誤検知を防ぐことができる。例えば、１度測定を行った後、所定の間隔で複数回測定を行ってもよい。異常の有無を検知する場合、複数回測定した結果、異常が生じた回数に基づいて異常を判定してもよいし、異常レベルを検知する場合、異常レベルの平均値に基づいて異常を判定してもよい。
　Ｓ１１３において、測定データに異常方向ありと判断された場合、測定異常検知部１０２は、方向制御部１０４に異常の検知結果を通知する（Ｓ１１４）。方向制御部１０４は、通知されたい異常方向の異常の有無または異常レベルを異常方向管理部１０３のビットマップに設定する。
　続いて、図６に示すように、測定異常方向検知処理において異常方向が検知されない場合（Ｓ１０３／Ｎｏ）、測定制御装置１００による補正制御は不要であるため、３次元光センサ２０１により通常の測定を行う（Ｓ１０４）。すなわち、３次元光センサ２０１は、対象物をスキャンして点群データを生成し、必要に応じて測定異常方向検知処理（Ｓ１０２）以降を繰り返し、異常が検知されるまで通常の測定を行う。
　一方、測定異常方向検知処理において異常方向が検知された場合（Ｓ１０３／Ｙｅｓ）、測定制御装置１００は、測定異常の要因を特定する（Ｓ１０５）。すなわち、測定異常検知部１０２は、異常が生じたと推定されるビームの照射方向について、３次元光センサ２０１の向きを変更するように方向制御部１０４に依頼し、変更後の向きで再び測定を１回以上行い、その結果に基づいて異常の要因が３次元光センサ２０１側にあるのか、あるいは対象物側にあるのかを判定する。
　具体的には、測定異常要因特定処理（Ｓ１０５）では、図８に示すように、３次元光センサ２０１の向きを例えばαからβに変更する（Ｓ１２１）。この例では、変更前の方向をαとし変更後の方向をβとして説明する。図１２に示すように、３次元光センサ２０１がα方向で対象物２にビームを照射して測定した結果、測定データに異常があった場合、測定データに異常のないβ方向まで３次元光センサ２０１の向きを回転する。
　続いて、３次元光センサ２０１の向きを変えた状態で、変更後のβ方向と変更前のα方向の測定を行う。β方向の測定とα方向の測定は、どちらを先に行ってもよい。また、β方向の測定とα方向の測定の両方を行ってもよいし、いずれか一方のみを行ってもよい。
　β方向の測定（Ｓ１２２～Ｓ１２５）では、測定異常検知部１０２は、β方向の測定データを取得する（Ｓ１２２）。３次元光センサ２０１は、向きを変更した状態で、変更後の異常検知箇所に対応する方向でビームを照射して測定を行い、測定異常検知部１０２は、その測定データを取得する。例えば、図１３のように、α方向の異常を検知し、３次元光センサ２０１の向きをα方向からβ方向に変更した場合、変更後の異常検知箇所に対応するβ方向で対象物３を測定する。
　続いて、測定異常検知部１０２は、取得したβ方向の測定データの測定異常の有無を判定し（Ｓ１２３）、β方向の測定結果に異常がある場合、３次元光センサ側に異常ありと判断し（Ｓ１２４）、β方向の測定結果に異常がない（正常である）場合、対象物側に異常ありと判断する（Ｓ１２５）。
　すなわち、図１２の方向変更前にα方向で異常を検知し、さらに、図１３の方向変更後にβ方向でも異常を検知した場合、対象物が変わっているにもかかわらず測定異常であるため、３次元光センサ側に汚れ等の異常があると判断する。また、図１２の方向変更前にα方向で異常を検知し、さらに、図１３の方向変更後にβ方向では異常を検知しない場合、対象物が変わったことで異常から正常な状態に回復しているため、３次元光センサ側の異常ではなく、対象物側に汚れ等の異常があると判断する。対象物側に異常があると判断された場合、正常データ保持部１０１の正常データを修正する。
　また、α方向の測定（Ｓ１２６～Ｓ１２９）では、測定異常検知部１０２は、α方向の測定データを取得する（Ｓ１２６）。３次元光センサ２０１は、向きを変更した状態で、変更前の異常検知箇所に対応する方向でビームを照射して測定を行い、測定異常検知部１０２は、その測定データを取得する。例えば、図１４のように、α方向の異常を検知し、３次元光センサ２０１の向きをα方向からβ方向に変更した場合、変更前の異常検知箇所に対応するα方向で対象物２を再度測定する。
　続いて、測定異常検知部１０２は、取得したα方向の測定データの測定異常の有無を判定し（Ｓ１２７）、α方向の測定結果に異常がある場合、対象物側に異常ありと判断し（Ｓ１２８）、α方向の測定結果に異常がない（正常である）場合、３次元光センサ２０１側に異常ありと判断する（Ｓ１２９）。
　すなわち、図１２の方向変更前にα方向で異常を検知し、さらに、図１４の方向変更後に同じα方向でも異常を検知した場合、３次元光センサ２０１の向きが変わっているにもかかわらず測定異常であるため、３次元光センサ側の異常ではなく、対象物側に汚れ等の異常があると判断する。また、図１２の方向変更前にα方向で異常を検知し、さらに、図１４の方向変更後に同じα方向では異常を検知しない場合、３次元光センサ２０１の向きが変わったことで異常から正常な状態に回復しているため、３次元光センサ側に汚れ等の異常があると判断する。対象物側に異常があると判断された場合、正常データ保持部１０１の正常データを修正する。
　続いて、図６に示すように、測定異常要因特定処理においてセンサ側に異常はない（対象物側に異常がある）と判断された場合（Ｓ１０６／Ｎｏ）、測定制御装置１００による補正制御は不要であるため、３次元光センサ２０１により通常の測定を行う（Ｓ１０４）。
　一方、測定異常要因特定処理においてセンサ側に異常があると判断された場合（Ｓ１０６／Ｙｅｓ）、測定制御装置１００は、異常方向のデータを補正する補正測定処理（Ｓ１０７）を行う。
　補正測定処理（Ｓ１０７）では、図９に示すように、３次元光センサ２０１は対象物の測定を開始する（Ｓ１３１）。３次元光センサ２０１がスキャンを開始すると、方向制御部１０４は、測定しているビームの照射方向が測定異常の方向であるか否か判定する（Ｓ１３２）。
　ビームの照射方向が測定異常の方向である場合、方向制御部１０４は、３次元光センサ２０１の向きを変更する（Ｓ１３３）。方向制御部１０４は、異常方向管理部１０３のビットマップを参照し、異常を検知していない正常な方向を選択し、選択した方向に３次元光センサ２０１の向きを変更する。異常の有無を管理している場合、異常のない方向を選択し、また、異常レベルを管理している場合、異常レベルが０もしくは閾値よりも低い値の方向を選択する。このとき、正常な方向のうち、異常方向から向きの変更量が少ない方向や異常のない方向が連続する向き（ビットマップで０が連続する方向）に変更することが好ましい。例えば、１回のビームの照射について異常方向から最も近い向きに変更してもよいし、Ｍ回分のビームの照射を含めて向きの変更量が最小になる方向に向きを変更してもよい。
　続いて、測定データ補正部１０５は、測定データを取得する（Ｓ１３４）。３次元光センサ２０１は、異常のある方向については変更後の向きでビームを照射し、異常のない方向については変更前の向きでビームを照射することで、対象物をスキャンして点群データ（測定データ）を生成する。測定データ補正部１０５は、異常方向のデータを補正するため、３次元光センサ２０１により生成された測定データを取得する。
　続いて、測定データ補正部１０５は、異常方向のデータが抜けているか否か判定し（Ｓ１３５）、異常方向のデータが抜けている場合、データを補完し（Ｓ１３６）、異常方向のデータが存在する場合、データの輝度を調整する（Ｓ１３７）。測定データ補正部１０５は、方向制御部１０４が変更した向きの角度に応じて、変更後の向きで取得したデータの３次元座標の位置を回転（変更）して、変更前の向きのデータを補正する。このとき、異常方向のデータが抜けている（データが欠落している）場合、変更後の向きで取得したデータを用いて、異常方向のデータを補完する（データを埋め込む）。異常方向のデータが存在する（輝度の低いデータがある）場合、変更後の向きで取得したデータの輝度を用いて、異常方向のデータの輝度を正常な値まで調整する。なお、向きを変更していない方向のデータは、補正しない（補正値ゼロ）。
　以上のように、本実施の形態では、３Ｄ－ＬｉＤＡＲなどの３次元光センサの向きを回転させる回転機構を備え、３次元光センサの測定データに異常が検知された場合、検知した異常の方向に応じて３次元光センサの向きを変更することで、正常な測定データを得ることができる。また、異常検知の際に、３次元光センサの向きを変更して再度測定することで、測定異常の要因が３次元光センサ側にあるのか否か判断するため、確実に測定データを補正することができる。例えば、遠隔地で屋外の保守点検を行う場合に、測定異常の要因を確認した上で、適切にメンテナンスの必要性を把握することができる。
（実施の形態２）
　以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１の構成において、さらに外部環境情報を用いて制御する例について説明する。
　図１５は、本実施の形態に係る測定システムの構成例を示している。図１５に示すように、本実施の形態では、実施の形態１の構成と比べて、測定制御装置１００にさらに外部環境情報受付部１０６を備えている。外部環境情報受付部１０６は、外部のネットワーク等に接続されており、外部から天候などの外部環境の情報を受け付ける。外部環境の情報とは、３次元光センサ２０１の測定に影響し得る外部環境の状態を示す情報であり、例えば天候情報、対象施設のメンテナンスや設備更新の情報である。例えば、天候情報についてはインターネット等から取得してもよいし、設備情報については設備情報を管理するデータベース等から取得してもよい。
　雨などにより対象物の表面が濡れると、その表面に水や油の層が形成されて、光が全反射する状態となるため、３次元光センサ２０１で反射光を正常に受光することができない場合がある。また、電力施設などは定期的に工事が行われるため、対象物の状態や形状が変わる恐れがある。このため、これらの情報を含む外部環境の情報を、測定異常検知や方向制御に利用する。すなわち、外部環境情報受付部１０６は、外部環境の情報を取得し、測定異常検知部１０２と方向制御部１０４に対し外部環境が変化したことを通知する。
　測定異常検知部１０２は、外部環境情報受付部１０６から通知された外部環境の情報に基づき、測定異常の検知条件を変更し、変更した条件で測定異常を検知する。例えば、外部環境の情報が、メンテナンスや設備更新などの測定対象物の変更の情報の場合、正常データ保持部１０１が保持している測定対象物の正常データにおける変更箇所を更新する。測定対象物の変更情報から変更に影響する方向を把握し、その方向に対応した正常データを更新する。対象物の変更を示す情報により正常データを更新してもよいし、３次元光センサ２０１により変更後の対象物を測定して正常データを更新してもよい。
　方向制御部１０４は、外部環境情報受付部１０６から通知された外部環境の情報に基づき、異常方向の管理情報を変更し、変更した情報を用いて３次元光センサ２０１の向きを制御する。例えば、外部環境の情報が、天候情報の場合、天候に応じて３次元光センサ２０１の表面に影響があるため、異常方向管理部１０３が管理するデータを更新する。例えば、雨から好天になると、雨で汚れが流され、きれいになる箇所と汚れる箇所が生ずるため、異常方向管理部１０３のビットマップの対象物に該当する部分を更新する。また、外部環境の情報がメンテナンスや設備更新などの測定対象物の変更の情報の場合、正常データ保持部１０１の正常データの更新後、その正常データに基づいて異常方向管理部１０３が管理するデータを更新する。
　このように、天候や対象施設などの外部環境の情報を取得することで、外部環境の変化の影響による誤検知や御制御を抑えることができ、適切に異常検知や方向制御を行うことができる。
（実施の形態３）
　以下、図面を参照して実施の形態３について説明する。本実施の形態では、実施の形態１の構成において、さらに外部に通知する例について説明する。なお、本実施の形態を実施の形態２に適用してもよい。
　図１６は、本実施の形態に係る測定システムの構成例を示している。図１６に示すように、本実施の形態では、実施の形態１の構成と比べて、測定制御装置１００にさらに通知部１０７を備えている。通知部１０７は、外部のネットワーク等に接続されており、測定異常検知部１０２による異常検知結果や異常要因、異常方向管理部１０３の管理するデータ等を、ネットワークを介して遠隔のオペレータに通知する。例えば、異常方向管理部１０３が管理する照射方向の異常が閾値を超えた場合にオペレータに通知してもよい。３次元光センサ２０１の測定データとともに異常検知結果等を通知してもよい。また、異常検知結果等を外部の表示装置に出力してもよい。
　このように、異常の検知結果や異常方向のデータ等をオペレータに通知することで、オペレータは異常の有無や異常方向、異常要因等を把握することができ、メンテナンスの必要性を適切に判断することができる。
　なお、上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能（処理）を、図１７に示すような、ＣＰＵ（Central Processing Unit）等のプロセッサ２１及び記憶装置であるメモリ２２を有するコンピュータ２０により実現してもよい。例えば、メモリ２２に実施形態における方法を行うためのプログラム（測定制御プログラム）を格納し、各機能を、メモリ２２に格納されたプログラムをプロセッサ２１で実行することにより実現してもよい。
　これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　また、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　３次元光センサから取得された点群データの異常箇所を検知する検知部と、
　前記検知された異常箇所に応じて前記３次元光センサの向きを制御する制御部と、
　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する判断部と、
　を備える、測定制御装置。
（付記２）
　前記判断部は、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更後の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
　付記１に記載の測定制御装置。
（付記３）
　前記判断部は、前記変更後の異常箇所に対応する方向を測定した点群データにおいて異常がある場合、前記３次元光センサ側に異常があると判断し、前記変更後の異常箇所に対応する方向を測定した点群データにおいて異常がない場合、前記３次元光センサが測定する測定対象側に異常があると判断する、
　付記２に記載の測定制御装置。
（付記４）
　前記判断部は、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更前の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
　付記１に記載の測定制御装置。
（付記５）
　前記判断部は、前記変更前の異常箇所に対応する方向を測定した点群データにおいて異常がある場合、前記３次元光センサが測定する測定対象側に異常があると判断し、前記変更前の異常箇所に対応する方向を測定した点群データにおいて異常がない場合、前記３次元光センサ側に異常があると判断する、
　付記４に記載の測定制御装置。
（付記６）
　前記検知部は、前記３次元光センサにより複数回測定して取得された複数の点群データに基づいて、前記異常箇所を検知する、
　付記１乃至５のいずれかに記載の測定制御装置。
（付記７）
　前記検知部は、正常時に測定された点群データと前記取得された点群データとの比較結果に基づいて、前記異常箇所を検知する、
　付記１乃至６のいずれかに記載の測定制御装置。
（付記８）
　前記検知部は、前記比較結果に応じて前記取得された点群データの異常の有無を検知する、
　付記７に記載の測定制御装置。
（付記９）
　前記異常の有無は、前記正常時に測定された点群データに対し、前記取得された点群データが欠落しているか否かである、
　付記８に記載の測定制御装置。
（付記１０）
　前記検知部は、前記比較結果に応じて前記取得された点群データの異常レベルを検知する、
　付記７に記載の測定制御装置。
（付記１１）
　前記異常レベルは、前記正常時に測定された点群データに対し、前記取得された点群データの輝度の変化レベルである、
　付記１０に記載の測定制御装置。
（付記１２）
　前記３次元光センサの測定方向ごとに前記比較結果をビットマップにより管理する管理部をさらに備える、
　付記７乃至１１のいずれかに記載の測定制御装置。
（付記１３）
　前記ビットマップにより、前記３次元光センサの複数の測定方向ごとに前記比較結果を管理する、
　付記１２に記載の測定制御装置。
（付記１４）
　前記制御部は、前記異常箇所が検知されない測定方向のうち、向きの変更量が小さい方向に前記３次元光センサの向きを変更する、
　付記１乃至１３のいずれかに記載の測定制御装置。
（付記１５）
　前記制御部は、前記異常箇所が検知されない測定方向のうち、前記３次元光センサによる複数回の測定において向きの変更量が小さい方向に前記３次元光センサの向きを変更する、
　付記１４に記載の測定制御装置。
（付記１６）
　前記異常要因の判断結果に基づき、前記制御された向きで前記３次元光センサが測定した点群データを用いて、前記異常箇所の点群データを補正する補正部をさらに備える、
　付記１乃至１５のいずれかに記載の測定制御装置。
（付記１７）
　前記補正部は、前記制御された向きで前記３次元光センサが測定した点群データの位置を、前記制御された向きに応じて変更する、
　付記１６に記載の測定制御装置。
（付記１８）
　前記補正部は、前記異常箇所の点群データが欠落していた場合、前記制御された向きで前記３次元光センサが測定した点群データにより、前記異常箇所の点群データを補完する、
　付記１７に記載の測定制御装置。
（付記１９）
　前記補正部は、前記異常箇所の点群データが欠落していない場合、前記制御された向きで前記３次元光センサが測定した点群データの輝度により、前記異常箇所の点群データの輝度を調整する、
　付記１７に記載の測定制御装置。
（付記２０）
　前記３次元光センサの外部環境の状態を示す外部環境情報を受け付ける外部環境情報受付部をさらに備え、
　前記検知部は、前記外部環境情報に基づいて前記点群データの異常箇所を検知する、
　付記１乃至１９のいずれかに記載の測定制御装置。
（付記２１）
　前記制御部は、前記外部環境情報に基づいて前記３次元光センサの向きを制御する、
　付記２０に記載の測定制御装置。
（付記２２）
　前記検知部の検知結果または前記判断部の判断結果を通知する通知部をさらに備える、
　付記１乃至２１のいずれかに記載の測定制御装置。
（付記２３）
　３次元光センサと測定制御装置とを備え、
　前記測定制御装置は、
　　前記３次元光センサから取得された点群データの異常箇所を検知する検知部と、
　　前記検知された異常箇所に応じて前記３次元光センサの向きを制御する制御部と、
　　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する判断部と、
　を備える、測定システム。
（付記２４）
　前記３次元光センサの向きを変更する向き変更機構を備え、
　前記制御部は、前記向き変更機構に対し前記３次元光センサの向きを変更するよう制御する、
　付記２３に記載の測定システム。
（付記２５）
　３次元光センサから取得された点群データの異常箇所を検知し、
　前記検知された異常箇所に応じて前記３次元光センサの向きを制御し、
　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する、
　測定制御方法。
（付記２６）
　前記判断では、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更後の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
　付記２５に記載の測定制御方法。
（付記２７）
　３次元光センサから取得された点群データの異常箇所を検知し、
　前記検知された異常箇所に応じて前記３次元光センサの向きを制御し、
　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する、
　処理をコンピュータに実行させるための測定制御プログラム。
（付記２８）
　前記判断では、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更後の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
　付記２７に記載の測定制御プログラム。
１　　　測定システム
２、３　対象物
１０　　測定制御装置
１１　　検知部
１２　　制御部
１３　　判断部
２０　　コンピュータ
２１　　プロセッサ
２２　　メモリ
１００　測定制御装置
１０１　正常データ保持部
１０２　測定異常検知部
１０３　異常方向管理部
１０４　方向制御部
１０５　測定データ補正部
１０６　外部環境情報受付部
１０７　通知部
２００　３次元測定装置
２０１　３次元光センサ
２０２　回転機構
２１１　回転光学系

Claims (28)

  1. 　３次元光センサから取得された点群データの異常箇所を検知する検知手段と、
    　前記検知された異常箇所に応じて前記３次元光センサの向きを制御する制御手段と、
    　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する判断手段と、
    　を備える、測定制御装置。
  2. 　前記判断手段は、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更後の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
    　請求項１に記載の測定制御装置。
  3. 　前記判断手段は、前記変更後の異常箇所に対応する方向を測定した点群データにおいて異常がある場合、前記３次元光センサ側に異常があると判断し、前記変更後の異常箇所に対応する方向を測定した点群データにおいて異常がない場合、前記３次元光センサが測定する測定対象側に異常があると判断する、
    　請求項２に記載の測定制御装置。
  4. 　前記判断手段は、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更前の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
    　請求項１に記載の測定制御装置。
  5. 　前記判断手段は、前記変更前の異常箇所に対応する方向を測定した点群データにおいて異常がある場合、前記３次元光センサが測定する測定対象側に異常があると判断し、前記変更前の異常箇所に対応する方向を測定した点群データにおいて異常がない場合、前記３次元光センサ側に異常があると判断する、
    　請求項４に記載の測定制御装置。
  6. 　前記検知手段は、前記３次元光センサにより複数回測定して取得された複数の点群データに基づいて、前記異常箇所を検知する、
    　請求項１乃至５のいずれか一項に記載の測定制御装置。
  7. 　前記検知手段は、正常時に測定された点群データと前記取得された点群データとの比較結果に基づいて、前記異常箇所を検知する、
    　請求項１乃至６のいずれか一項に記載の測定制御装置。
  8. 　前記検知手段は、前記比較結果に応じて前記取得された点群データの異常の有無を検知する、
    　請求項７に記載の測定制御装置。
  9. 　前記異常の有無は、前記正常時に測定された点群データに対し、前記取得された点群データが欠落しているか否かである、
    　請求項８に記載の測定制御装置。
  10. 　前記検知手段は、前記比較結果に応じて前記取得された点群データの異常レベルを検知する、
    　請求項７に記載の測定制御装置。
  11. 　前記異常レベルは、前記正常時に測定された点群データに対し、前記取得された点群データの輝度の変化レベルである、
    　請求項１０に記載の測定制御装置。
  12. 　前記３次元光センサの測定方向ごとに前記比較結果をビットマップにより管理する管理手段をさらに備える、
    　請求項７乃至１１のいずれか一項に記載の測定制御装置。
  13. 　前記ビットマップにより、前記３次元光センサの複数の測定方向ごとに前記比較結果を管理する、
    　請求項１２に記載の測定制御装置。
  14. 　前記制御手段は、前記異常箇所が検知されない測定方向のうち、向きの変更量が小さい方向に前記３次元光センサの向きを変更する、
    　請求項１乃至１３のいずれか一項に記載の測定制御装置。
  15. 　前記制御手段は、前記異常箇所が検知されない測定方向のうち、前記３次元光センサによる複数回の測定において向きの変更量が小さい方向に前記３次元光センサの向きを変更する、
    　請求項１４に記載の測定制御装置。
  16. 　前記異常要因の判断結果に基づき、前記制御された向きで前記３次元光センサが測定した点群データを用いて、前記異常箇所の点群データを補正する補正手段をさらに備える、
    　請求項１乃至１５のいずれか一項に記載の測定制御装置。
  17. 　前記補正手段は、前記制御された向きで前記３次元光センサが測定した点群データの位置を、前記制御された向きに応じて変更する、
    　請求項１６に記載の測定制御装置。
  18. 　前記補正手段は、前記異常箇所の点群データが欠落していた場合、前記制御された向きで前記３次元光センサが測定した点群データにより、前記異常箇所の点群データを補完する、
    　請求項１７に記載の測定制御装置。
  19. 　前記補正手段は、前記異常箇所の点群データが欠落していない場合、前記制御された向きで前記３次元光センサが測定した点群データの輝度により、前記異常箇所の点群データの輝度を調整する、
    　請求項１７に記載の測定制御装置。
  20. 　前記３次元光センサの外部環境の状態を示す外部環境情報を受け付ける外部環境情報受付手段をさらに備え、
    　前記検知手段は、前記外部環境情報に基づいて前記点群データの異常箇所を検知する、
    　請求項１乃至１９のいずれか一項に記載の測定制御装置。
  21. 　前記制御手段は、前記外部環境情報に基づいて前記３次元光センサの向きを制御する、
    　請求項２０に記載の測定制御装置。
  22. 　前記検知手段の検知結果または前記判断手段の判断結果を通知する通知手段をさらに備える、
    　請求項１乃至２１のいずれか一項に記載の測定制御装置。
  23. 　３次元光センサと測定制御装置とを備え、
    　前記測定制御装置は、
    　　前記３次元光センサから取得された点群データの異常箇所を検知する検知手段と、
    　　前記検知された異常箇所に応じて前記３次元光センサの向きを制御する制御手段と、
    　　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する判断手段と、
    　を備える、測定システム。
  24. 　前記３次元光センサの向きを変更する向き変更機構を備え、
    　前記制御手段は、前記向き変更機構に対し前記３次元光センサの向きを変更するよう制御する、
    　請求項２３に記載の測定システム。
  25. 　３次元光センサから取得された点群データの異常箇所を検知し、
    　前記検知された異常箇所に応じて前記３次元光センサの向きを制御し、
    　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する、
    　測定制御方法。
  26. 　前記判断では、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更後の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
    　請求項２５に記載の測定制御方法。
  27. 　３次元光センサから取得された点群データの異常箇所を検知し、
    　前記検知された異常箇所に応じて前記３次元光センサの向きを制御し、
    　前記制御された向きで前記３次元光センサが測定した点群データに基づいて、前記異常箇所の異常要因を判断する、
    　処理をコンピュータに実行させるための測定制御プログラムが格納された非一時的なコンピュータ可読媒体。
  28. 　前記判断では、前記異常箇所に応じて前記３次元光センサの向きが変更された状態で、前記変更後の異常箇所に対応する方向を測定した点群データに基づいて、前記異常要因を判断する、
    　請求項２７に記載の非一時的なコンピュータ可読媒体。
PCT/JP2019/047730 2019-12-06 2019-12-06 測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体 WO2021111609A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/047730 WO2021111609A1 (ja) 2019-12-06 2019-12-06 測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体
US17/781,553 US20220413153A1 (en) 2019-12-06 2019-12-06 Measurement control apparatus, measurement system, measurement control method, and non-transitory computer readable medium
JP2021562411A JP7272462B2 (ja) 2019-12-06 2019-12-06 測定制御装置、測定システム、測定制御方法及び測定制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/047730 WO2021111609A1 (ja) 2019-12-06 2019-12-06 測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021111609A1 true WO2021111609A1 (ja) 2021-06-10

Family

ID=76222550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047730 WO2021111609A1 (ja) 2019-12-06 2019-12-06 測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20220413153A1 (ja)
JP (1) JP7272462B2 (ja)
WO (1) WO2021111609A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4209800A1 (de) * 2022-01-05 2023-07-12 Continental Automotive Technologies GmbH Verfahren zur überprüfung einer statischen überwachungsanlage
EP4209801A1 (de) * 2022-01-05 2023-07-12 Continental Automotive Technologies GmbH Verfahren zur überprüfung einer in einem verkehrsraum installierten statischen überwachungsanlage und überwachungsanlage

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10213650A (ja) * 1997-01-30 1998-08-11 Omron Corp 物体検出装置
JP2007121175A (ja) * 2005-10-31 2007-05-17 Sunx Ltd 変位センサ
JP2011185764A (ja) * 2010-03-09 2011-09-22 Ihi Corp 遠隔監視システム
JP2016183877A (ja) * 2015-03-25 2016-10-20 株式会社デンソーウェーブ レーザレーダ装置
JP2017053793A (ja) * 2015-09-11 2017-03-16 キヤノン株式会社 計測装置、および物品の製造方法
JP2019523424A (ja) * 2016-08-01 2019-08-22 ショット シュヴァイツ アー・ゲーＳＣＨＯＴＴ Ｓｃｈｗｅｉｚ ＡＧ 透明なボディの光学検査を行う方法および装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940299B2 (en) * 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
AU2003245283A1 (en) * 2002-05-15 2003-12-02 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations An imaging system and method for tracking the motion of an object
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US11501531B2 (en) * 2020-03-03 2022-11-15 Cyberlink Corp. Systems and methods for anti-spoofing protection using motion detection and video background analysis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10213650A (ja) * 1997-01-30 1998-08-11 Omron Corp 物体検出装置
JP2007121175A (ja) * 2005-10-31 2007-05-17 Sunx Ltd 変位センサ
JP2011185764A (ja) * 2010-03-09 2011-09-22 Ihi Corp 遠隔監視システム
JP2016183877A (ja) * 2015-03-25 2016-10-20 株式会社デンソーウェーブ レーザレーダ装置
JP2017053793A (ja) * 2015-09-11 2017-03-16 キヤノン株式会社 計測装置、および物品の製造方法
JP2019523424A (ja) * 2016-08-01 2019-08-22 ショット シュヴァイツ アー・ゲーＳＣＨＯＴＴ Ｓｃｈｗｅｉｚ ＡＧ 透明なボディの光学検査を行う方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4209800A1 (de) * 2022-01-05 2023-07-12 Continental Automotive Technologies GmbH Verfahren zur überprüfung einer statischen überwachungsanlage
EP4209801A1 (de) * 2022-01-05 2023-07-12 Continental Automotive Technologies GmbH Verfahren zur überprüfung einer in einem verkehrsraum installierten statischen überwachungsanlage und überwachungsanlage

Also Published As

Publication number Publication date
JPWO2021111609A1 (ja) 2021-06-10
US20220413153A1 (en) 2022-12-29
JP7272462B2 (ja) 2023-05-12

Similar Documents

Publication Publication Date Title
WO2021111609A1 (ja) 測定制御装置、測定システム、測定制御方法及び非一時的なコンピュータ可読媒体
JP6366405B2 (ja) レーザレーダ装置
WO2018205119A1 (zh) 基于激光雷达扫描的路沿检测方法和系统
US11320371B2 (en) Optical wheel evaluation
JP6252722B2 (ja) レーザ距離測定方法及びレーザ距離測定装置
JP2010243417A (ja) トロリ線検測装置
JP7452682B2 (ja) 検査システム、抽出装置、検査方法及びプログラム
JP2018159642A (ja) 移動体撮像装置および移動体
CN112659189B (zh) 一种隧道水位检测方法、检测机器人及系统
WO2019186742A1 (ja) 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2018131071A (ja) 物体検知システム及び物体検知方法
CN113610765B (zh) 一种车辆轮廓检测方法、装置、电子设备和可读存储介质
JP2015141635A (ja) 物体検出センサ及びプログラム
JP6984737B2 (ja) 測距センサ、制御装置、制御方法及びプログラム
WO2020059685A1 (ja) センサシステム、および、傾き検出方法
CN115032618B (zh) 应用于激光雷达的盲区修复方法、装置及激光雷达
CN117630863A (zh) 一种基于激光雷达对隧道衬砌形变的监测方法
CN111090133B (zh) 一种雨量雷达数据质量控制方法
CN212180644U (zh) 三维激光扫描外墙检测系统
US20230332887A1 (en) Abnormality detection system, abnormality detection method, and computer readable medium
JP2024031115A (ja) 監視システム、監視装置、及び、監視方法
US20240069201A1 (en) Foreign body detection system, foreign body detection device, foreign body detection method
JP5022007B2 (ja) 欠陥検出装置及び方法
CN116385354B (zh) 圆形钢坯的偏移越界检测方法、设备及介质
JP6911802B2 (ja) レーザレーダ装置の着雪検出方法および着雪検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19954816

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562411

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19954816

Country of ref document: EP

Kind code of ref document: A1