WO2021106935A1 - 情報処理システム、情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021106935A1
WO2021106935A1 PCT/JP2020/043830 JP2020043830W WO2021106935A1 WO 2021106935 A1 WO2021106935 A1 WO 2021106935A1 JP 2020043830 W JP2020043830 W JP 2020043830W WO 2021106935 A1 WO2021106935 A1 WO 2021106935A1
Authority
WO
WIPO (PCT)
Prior art keywords
deposit
information processing
unit
statistic
type
Prior art date
Application number
PCT/JP2020/043830
Other languages
English (en)
French (fr)
Inventor
聖太 星野
淳 神田
田中　康弘
一孝 舘山
康浩 原田
Original Assignee
国立研究開発法人宇宙航空研究開発機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人宇宙航空研究開発機構 filed Critical 国立研究開発法人宇宙航空研究開発機構
Publication of WO2021106935A1 publication Critical patent/WO2021106935A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/02—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology

Definitions

  • the present invention relates to an information processing system, an information processing device, an information processing method, and a program.
  • the present application claims priority based on Japanese Patent Application No. 2019-215757 filed on November 28, 2019, the contents of which are incorporated herein by reference.
  • the present invention has been made in consideration of such circumstances, and an object of the present invention is to provide an information processing system, an information processing device, an information processing method, and a program capable of accurately determining the type of deposit. It is one of.
  • One aspect of the present invention is an irradiation unit that irradiates the deposit with electromagnetic waves, a detection unit that detects scattered waves or transmitted waves of the electromagnetic waves irradiated to the deposit by the irradiation unit, and detection by the detection unit. It is an information processing system including a determination unit for determining the type of the deposit from the scattered wave or the image based on the transmitted wave.
  • the type of deposit can be accurately determined.
  • FIG. 1 is a diagram showing an example of the configuration of the information processing system 1 according to the first embodiment.
  • the information processing system 1 includes a sensor 10 and an information processing device 100. These devices are connected to the network NW.
  • the network NW is, for example, WAN (Wide Area Network) or LAN (Local Area Network).
  • WAN Wide Area Network
  • LAN Local Area Network
  • the sensor 10 is buried near, for example, a runway, a road, or a railroad track.
  • the sensor irradiates an object deposited at the burial site, that is, the deposit with laser light, and detects scattered light or transmitted light of the irradiated laser light.
  • Sediments include, for example, snow, ice, water, mud, soil, volcanic ash, sand and the like.
  • FIG. 2 is a diagram showing an example of the sensor 10 according to the first embodiment.
  • the sensor 10 includes an irradiation unit 12 and a detection unit 14.
  • the irradiation unit 12 and the detection unit 14 are covered with a transmission member 16 that is transparent to the laser beam, such as resin or glass.
  • the irradiation unit 12 irradiates the outside with a laser beam via the transmission member 16. For example, when snow is deposited on the transmitting member 16, the plurality of laser beams emitted from the irradiation unit 12 are reflected by the snow. At this time, a part of the laser light is scattered by a light scattering phenomenon.
  • the detection unit 14 detects, for example, the laser light scattered by the snow deposited on the transmission member 16, that is, the scattered light. When the detection unit 14 detects the scattered light, the detection unit 14 transmits the detection signal of the detected scattered light to the information processing device 100 via the network NW.
  • FIG. 3 is a diagram showing another example of the sensor 10 according to the first embodiment.
  • the sensor 10 may be set above the deposit.
  • the detection unit 14 irradiates the deposit with a laser beam from above the deposit.
  • the detection unit 14 detects the scattered light scattered above the deposit.
  • a known solid-state imaging device that converts an electromagnetic wave including the wavelength of the laser beam emitted from the irradiation unit 12 into an electric signal is used for the detection unit 14.
  • CMOS complementary MOS
  • CCD charge-coupled device
  • CMOS complementary MOS
  • CMOS complementary MOS
  • It may be one-dimensional detection.
  • the sensor 10 may detect the transmitted light instead of detecting the scattered light of the laser light irradiating the deposit.
  • FIG. 4 is a diagram showing another example of the sensor 10 according to the first embodiment.
  • the detection unit 14 may be provided at a position facing the irradiation unit 12 via the transmission member 16.
  • the irradiation unit 12 irradiates the snow deposited on the transmitting member 16 from the lower side of the transmitting member 16 with a laser beam
  • a part of the laser beam can transmit the snow.
  • the detection unit 14 provided at a position facing the irradiation unit 12 detects the transmitted light of the laser light emitted from the irradiation unit 12.
  • the sensor 10 mainly detects scattered light.
  • FIG. 5 is a diagram showing an example of the configuration of the information processing apparatus 100 according to the first embodiment.
  • the information processing device 100 includes, for example, a communication unit 102, a display unit 104, a control unit 110, and a storage unit 130.
  • the communication unit 102 is, for example, a wireless communication module including a receiver and a transmitter, and wirelessly communicates with an external device via a network NW.
  • the external device may include, for example, a device such as a sensor 10 or other device.
  • the external device may include an aircraft that uses a runway in which the sensor 10 is embedded, a vehicle that uses a road in which the sensor 10 is embedded, a railroad vehicle that uses a railroad track in which the sensor 10 is embedded, and the like. ..
  • the external device may include an observation device for observing the surrounding environment of the point where the sensor 10 is buried, that is, a point where sediment exists, and a providing device for providing meteorological data based on a meteorological model.
  • the observation device may observe various weather conditions such as air temperature, humidity, and wind speed, or may observe the temperature of the place where the sensor 10 is embedded (for example, the road surface temperature of a runway or a road).
  • the communication unit 102 may acquire various observation information from the observation device.
  • the display unit 104 is a user interface that displays various types of information.
  • the display unit 104 displays an image generated by the control unit 110.
  • the display unit 104 may display a GUI (Graphical User Interface) for receiving various input operations from users related to the jurisdiction in which the sensor 10 is embedded, such as an airport staff member, a road staff member, and a railway staff member.
  • the display unit 104 is an LCD (Liquid Crystal Display), an organic EL (Electroluminescence) display, or the like.
  • the control unit 110 includes, for example, an acquisition unit 112, an image generation unit 114, a calculation unit 116, a determination unit 118, and an output control unit 120.
  • the component of the control unit 110 is realized by, for example, a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) executing a program stored in the storage unit 130.
  • a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) executing a program stored in the storage unit 130.
  • Some or all of the components of the control unit 110 may be realized by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable Gate Array), or software. And may be realized by the cooperation of hardware.
  • the storage unit 130 is realized by, for example, an HDD (Hard Disk Drive), a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), a ROM (Read Only Memory), a RAM (Random Access Memory), or the like.
  • the storage unit 130 stores various programs such as firmware and application programs.
  • the acquisition unit 112 acquires the scattered light detection signal from the sensor 10 via the communication unit 102 (step S100).
  • the image generation unit 114 replaces the intensity of the scattered light with pixel values such as brightness, saturation, and hue based on the detection signal of the scattered light acquired by the acquisition unit 112, and is a one-dimensional or two-dimensional image. (Hereinafter referred to as a light scattered image) is generated (step S102). That is, the image generation unit 114 acquires the intensity distribution of the scattered light as an image.
  • the light reflection intensity in snow is much higher than that in ice and water. This is because the light incident on the snow surface is reflected or scattered between the snow particles or on the surface. On the other hand, water and ice have a much higher density than snow and hardly scatter (transmit), so the reflection intensity is very low. Scattering of light incident on snow spreads not only upward or downward but also horizontally with respect to the snow surface and the like. Therefore, in the present embodiment, the types such as snow, ice, and water are determined by capturing the spread of one-dimensional or two-dimensional scattered light as an image.
  • the calculation unit 116 calculates the feature amount of the scattered light and the Mahalanobis distance from the light scattered image generated by the image generation unit 114 (step S104).
  • the feature amount is, for example, the area where the scattered light is distributed on the scattered light image, the sum of the pixel values where the scattered light is distributed, and the like.
  • the feature amount will be described as an area.
  • the Mahalanobis distance represents a statistical distance and is a scale that can be quantitatively evaluated in multivariate analysis such as statistics and classification.
  • FIG. 8 is a diagram showing an example of a difference in the area of scattered light depending on the type of deposit. As shown in the figure, when the deposit is snow, the thicker the snow, the larger the area of scattered light (spread of the distribution of scattered light), whereas when the deposit is ice or water, the deposit is snow. The area of scattered light is smaller than that of. As described above, it can be seen that the spread of scattered light shows a large difference depending on the state (thickness) of each deposit.
  • FIG. 9 is a diagram showing the frequency distribution of the area of scattered light according to the type of deposit. As shown in the figure, there is a clear boundary (discrimination boundary value) between the frequency distribution of snow and the frequency distribution of ice or water. That is, the data set of the area of scattered light tends to have a significantly different variance. For data sets with significantly different variances, it is effective to discriminate the data using the Mahalanobis distance.
  • the Mahalanobis distance can be expressed by mathematical formulas (1) and (2).
  • X is the area of scattered light in an unknown scattered light image.
  • An "unknown scattered light image” is a scattered light image obtained in a state where the type of deposit is unknown. That is, X represents an explanatory variable (input) in the mathematical expressions (1) and (2).
  • D S the deposits Mahalanobis distance when a snow (hereinafter, the first called Mahalanobis distance).
  • the first Mahalanobis distance D S the objective variables in the equation (1) (Output).
  • ⁇ S is the average area of scattered light calculated from the scattered light image obtained when the deposit is snow (the type of the deposit is known to be “snow”).
  • ⁇ S is the standard deviation of the area of scattered light calculated from the scattered light image obtained when the deposit is snow (the type of the deposit is known to be “snow”).
  • D O is deposits Mahalanobis distance when other than snow (hereinafter, the second called Mahalanobis distance).
  • the second Mahalanobis distance D O an objective variable in equation (2) (Output).
  • ⁇ O is the scattered light calculated from the scattered light image obtained when the deposit is other than snow such as ice or water (the type of the deposit is known to be “ice” or “water”). Is the average of the area of.
  • ⁇ O is a standard of the area of scattered light calculated from the scattered light image obtained when the deposit is other than snow (the type of the deposit is known to be "ice", "water”, etc.). It is a deviation.
  • ⁇ S , ⁇ S , ⁇ O , and ⁇ O are determined in advance by experiments and simulations. For example, ⁇ S and ⁇ S are calculated based on the area of scattered light obtained from a plurality of scattered light images of snow. On the other hand, ⁇ O and ⁇ O are calculated based on the area of scattered light obtained from a plurality of scattered light images of deposits other than snow such as ice and water.
  • the calculation unit 116 calculates the area X of the scattered light from the scattered light image generated by the image generation unit 114, further substitutes the calculated area X into the mathematical formulas (1) and (2), and first. calculating the Mahalanobis distance D S and a second Mahalanobis distance D O.
  • the determination unit 118 compares the first Mahalanobis distance D S calculated by the calculating unit 116 and a second Mahalanobis distance D O, first Mahalanobis distance D S is smaller than the second Mahalanobis distance D O (D S ⁇ D O) determines whether (step S106).
  • Judging unit 118 determines that if the first Mahalanobis distance D S is smaller than the second Mahalanobis distance D O (D S ⁇ D O ), sediment is snow (step S108).
  • the determination unit 118 determines that if the first Mahalanobis distance D S is larger than the second Mahalanobis distance D O (D S> D O ), sediment is an object other than snow (step S110).
  • the calculation unit 116 determines the type of deposit from the calculated histogram (frequency distribution) of the scattered light area.
  • Statistical value is calculated (step S112).
  • a statistic is an index value of different types such as mean, kurtosis, skewness, and variance.
  • 10 to 12 are diagrams showing the distribution of two-dimensional scattered light in the visible region.
  • 13 to 15 are diagrams showing histograms of images. As shown in FIGS. 10 to 12, in the distributed image, the brightness increases from the outside to the center of the circle. As shown in FIGS. 13 to 15, it can be seen that the frequency of the histogram increases as the area increases. Differences appear between water and ice in areas of relatively low values, where ice is more frequent than water. When the average and kurtosis were calculated as the statistics of the histogram, the average was 972 for water, 2196 for thin ice film, and 4679 for thick ice film. The kurtosis was 243 for water, 181 for thin ice film, and 123 for thick ice film. In this way, the statistic of the histogram appears different depending on the type of sediment.
  • Linear discriminant analysis is a method for finding a linear discriminant function that can best discriminate between two classes (data groups).
  • the linear discriminant function is derived so that, for example, the difference in the mean between the data groups to be classified becomes large and the difference in the variance within the data group becomes small.
  • FIG. 16 is a diagram showing the relationship between the average and the kurtosis in the image histogram of water and ice and the linear discriminant function derived from the relationship.
  • Z represents a linear discriminant function.
  • the linear discriminant function Z uses one first statistic as an explanatory variable and a second statistic different in type from the first statistic as an objective variable among a plurality of statistics obtained from the histogram.
  • the determination unit 118 inputs the kurtosis calculated by the calculation unit 116 into the linear discrimination function Z as an explanatory variable (step S114).
  • the determination unit 118 compares the average output by the linear discrimination function Z with the kurtosis input as the objective variable with the average calculated together with the kurtosis by the calculation unit 116, and obtains the output result of the linear discrimination function Z. It is determined whether or not the average (hereinafter, referred to as the second average A2), which is the calculation result of the calculation unit 116, is larger than a certain average (hereinafter, referred to as the first average A1) (step S116).
  • the second average A2 which is the calculation result of the calculation unit 116
  • the determination unit 118 determines that the deposit is ice (step S118). In other words, the determination unit 118 determines that the deposit is ice when it is in the region above the linear discrimination function Z on the graph of FIG.
  • the determination unit 118 determines that the deposit is water (step S120). In other words, the determination unit 118 determines that the deposit is water when it is in the region below the linear discrimination function Z on the graph of FIG.
  • the output control unit 120 may transmit the determination result to an external device via the communication unit 102 or display the determination result on the display unit 104. This completes the processing of this flowchart.
  • the information processing system 1 has an irradiation unit 12 that irradiates the deposit with laser light, and scattered light or transmitted light of the laser light that is irradiated to the deposit by the irradiation unit 12.
  • the area of the scattered light or transmitted light from the detection unit 14 that detects the light the image generation unit 114 that generates an image based on the scattered light or the transmitted light detected by the detection unit 14, and the image generated by the image generation unit 114. It is provided with a calculation unit 116 for calculating the Maharanobis distance from the calculated area, and a determination unit 118 for determining whether the deposit is snow or other based on the Maharanobis distance calculated by the calculation unit. This makes it possible to accurately determine the type of sediment.
  • the calculation unit 116 uses a histogram of the area of scattered light or transmitted light to indicate that the deposits are of different types. A plurality of different statistics are calculated, and the determination unit 118 further determines the type of sediment determined to be an object other than snow based on the plurality of statistics calculated by the calculation unit 116. This makes it possible to determine the type of deposit more accurately.
  • the senor 10 has been described as irradiating the deposit with a laser beam, but the present invention is not limited to this.
  • the sensor 10 may irradiate radio waves in addition to or instead of the laser beam.
  • the transmitting member 16 may be a member having transparency to the electromagnetic wave irradiated by the irradiation unit 12.
  • the calculation unit 116 has been described as calculating the kurtosis and the average as statistics from the histogram of the image, but the present invention is not limited to this.
  • the calculation unit 116 may calculate other statistics such as skewness and variance.
  • the determination unit 118 inputs the skewness to the linear discrimination function Z as an explanatory variable, and the variance output by the linear discrimination function Z inputting the skewness as the objective variable and the variance calculated by the calculation unit 116.
  • the type of the deposit determined to be an object other than snow may be determined in more detail.
  • the determination unit 118 has been described as determining the type of deposit, but the present invention is not limited to this.
  • the determination unit 118 may determine, in addition to, or instead of, the type of deposit, the thickness of the deposit, and the like.
  • FIG. 17 is a diagram for explaining a method of determining the thickness of the deposit.
  • the determination unit 118 may determine the thickness of ice based on the kurtosis and the average calculated by the calculation unit 116. Specifically, the determination unit 118 may determine that the larger the average and the smaller the kurtosis, the thicker the ice, and the smaller the average and the larger the kurtosis, the thinner the ice.
  • the determination unit 118 is not limited to the thickness of ice, and may determine the thickness of other types of deposits such as mud, soil, and volcanic ash.
  • the type of deposit is determined based on the Mahalanobis distance, but the present invention is not limited to this.
  • the calculation unit 116 may calculate, in addition to, or in addition to the Mahalanobis distance, another index used for discriminant analysis in multivariate analysis such as Euclidean distance.
  • the determination unit 118 may type the deposit based on the Euclidean distance or the like calculated by the calculation unit 116.
  • the second embodiment will be described.
  • the linear discriminant function Z has been used to determine the type of deposit based on a plurality of statistics obtained from the histogram.
  • the second embodiment differs from the first embodiment in that the type of deposit is determined using a pre-learned classifier MDL.
  • the differences from the first embodiment will be mainly described, and the points common to the first embodiment will be omitted.
  • the same parts as those of the first embodiment will be described with the same reference numerals.
  • FIG. 18 is a diagram showing an example of the configuration of the information processing system 2 according to the second embodiment.
  • the information processing system 2 further includes a learning device 200 in addition to the sensor 10 and the information processing device 100 described above.
  • FIG. 19 is a diagram showing an example of the configuration of the information processing device 100 according to the second embodiment.
  • the classifier data D1 is stored in the storage unit 130 of the information processing device 100 according to the second embodiment.
  • the classifier data D1 is information (program or data structure) that defines a model (hereinafter referred to as a classifier MDL) for classifying the types of sediments.
  • the classifier data D1 may be installed in the storage unit 130 from the learning device 200 via the network NW, or may be installed in the storage unit 130 from a portable storage medium connected to the drive device of the information processing device 100. It may be installed.
  • FIG. 20 is a diagram schematically showing the classifier MDL.
  • the classifier MDL receives, for example, statistics (eg, kurtosis, average, etc.) obtained from an image based on scattered or transmitted light of laser light shining on an object, and then the object. It is a model trained to output the likelihood and probability that represent the likelihood of a kind.
  • the output of the classifier MDL is a multidimensional vector or tensor whose elements are, for example, the likelihood of the sediment being ice and the likelihood of the sediment being water. It may be (a set of coefficients).
  • Such a classifier MDL may be implemented by various models such as neural networks, support vector machines, mixed Gaussian models, and naive Bayes classifiers.
  • the classifier MDL will be described as being implemented by a neural network.
  • the classifier data D1 contains, for example, connection information on how units contained in each of a plurality of layers constituting the neural network are connected to each other, and combination. It contains various information such as the coupling coefficient given to the data input / output between the units.
  • the connection information includes, for example, the number of units included in each layer, information that specifies the type of unit to which each unit is connected, an activation function that realizes each unit, a gate provided between units in the hidden layer, and the like. Contains information.
  • the activation function that realizes the unit may be, for example, a rectified linear function (ReLU function), a sigmoid function, a step function, or other function.
  • the gate selectively passes or weights the data transmitted between the units, for example, depending on the value returned by the activation function (eg 1 or 0).
  • the coupling coefficient includes, for example, a weight given to the output data when data is output from a unit of a certain layer to a unit of a deeper layer in a hidden layer of a neural network.
  • the coupling coefficient may include a bias component peculiar to each layer.
  • the determination unit 118 determines the type of deposit by using the classifier MDL instead of the linear discrimination function Z. Specifically, the determination unit 118 selects a statistic of the same type as the statistic used when the classifier MDL is learned from the plurality of statistics calculated by the calculation unit 116. This statistic may be one or plural. That is, the input of the classifier MDL may be a one-dimensional scalar, a multidimensional vector or a tensor. Then, the determination unit 118 inputs the selected statistic to the classifier MDL, and deposits the type corresponding to the element having the largest value among the plurality of elements contained in the vector or tensor output by the classifier MDL. Judge as the type of thing.
  • the learning device 200 may be a single device, or may be a system in which a plurality of devices connected via a network NW operate in cooperation with each other. That is, the learning device 200 may be realized by a plurality of computers (processors) included in a system using distributed computing or cloud computing.
  • FIG. 21 is a diagram showing an example of the configuration of the learning device 200 according to the second embodiment.
  • the learning device 200 includes a communication unit 202, a control unit 210, and a storage unit 230.
  • the communication unit 202 is, for example, a wireless communication module including a receiver and a transmitter, and communicates with an external device such as an information processing device 100 via a network NW.
  • the control unit 210 includes, for example, an acquisition unit 212, a calculation unit 214, and a learning unit 216.
  • the components of the control unit 210 are realized, for example, by a processor such as a CPU or GPU executing a program stored in the storage unit 230. Some or all of the components of the control unit 210 may be realized by hardware such as LSI, ASIC, or FPGA, or may be realized by the cooperation of software and hardware.
  • the storage unit 230 is realized by, for example, an HDD, a flash memory, an EEPROM, a ROM, a RAM, or the like.
  • the storage unit 230 stores the above-mentioned classifier data D1 and teacher data D2 in addition to various programs such as firmware and application programs.
  • Teacher data D2 is data for learning (training) the classifier MDL. For example, in the teacher data D2, the likelihood that the classifier MDL should output as the type of the object is taught with respect to the image obtained by capturing the scattered light or the transmitted light of the laser light applied to the object of a known type.
  • a dataset associated as a label also called a target).
  • FIG. 22 is a flowchart showing an example of a series of processing flows of the learning device 200 according to the second embodiment. The processing of this flowchart may be repeated, for example, at a predetermined cycle.
  • the learning device 200 is realized by a plurality of computers included in a system utilizing distributed computing or cloud computing, a part or all of the processing of this flowchart may be processed in parallel by the plurality of computers.
  • the acquisition unit 212 acquires a plurality of scattered light images in which the likelihoods of possible types of deposits are associated as teacher labels from the teacher data D2 stored in the storage unit 230 (step S200). If the sensor 10 can detect the transmitted light, the scattered light image may be a transmitted light image.
  • the calculation unit 214 calculates the area of the scattered light from each of the plurality of scattered light images acquired from the teacher data D2 by the acquisition unit 212 (step S202).
  • the calculation unit 214 calculates a plurality of statistics from the calculated histogram of the area of scattered light (step S204).
  • the learning unit 216 inputs to the unlearned classifier MDL a scalar corresponding to one statistic or a vector having the plurality of statistics as elements among the plurality of statistics calculated by the calculation unit 214 ( Step S206).
  • the learning unit 216 determines the difference (gradient of the loss function) between the likelihood output by the classifier MDL and the likelihood associated with the image captured by the scattered light or transmitted light as a teacher label. Is calculated (step S208).
  • the learning unit 216 learns the classifier MDL so that the calculated difference becomes small (step S210). For example, the learning unit 216 may determine (update) the weighting coefficient, the bias component, and the like, which are parameters of the classifier MDL, by using a stochastic gradient descent method or the like so that the difference becomes small.
  • the learning unit 216 stores the learned classifier MDL in the storage unit 230 as the classifier data D1.
  • the learning unit 216 repeats the processes of S200 to S210 (iterates) and learns the classifier data D1. Then, the learning unit 216 transmits the classifier data D1 that defines the fully learned learned classifier MDL to the information processing device 100 via, for example, the communication unit 202. This ends the processing of this flowchart.
  • the determination unit 118 when the determination unit 118 inputs a statistic obtained from an image based on a scattered wave or a transmitted wave of an electromagnetic wave (laser light or radio wave) applied to an object, the electromagnetic wave is generated.
  • the statistic calculated by the calculation unit 116 is input to the classifier MDL learned to classify the type of the irradiated object, and the type of deposit is determined based on the output result of the classifier MDL. judge.
  • the determination unit 118 in the second embodiment described above is a calculation unit when the acquisition unit 112 acquires external information including meteorological observation information and meteorological model information at a point where sediments exist via the communication unit 102.
  • the type of sediment may be determined by further inputting external information into the classifier MDL.
  • the meteorological observation information may include, for example, the temperature at the point where the sensor 10 is buried (for example, the surface temperature of a runway or a road), the air temperature, the humidity, the wind speed, and the like.
  • the information of the meteorological model may include the temperature, humidity, wind speed, etc. estimated or predicted by the meteorological model.
  • the classification device MDL is learned by supervised learning, but the present invention is not limited to this.
  • the classifier MDL may be learned by unsupervised learning.
  • the classifier MDL may be learned by transfer learning instead of supervised or unsupervised learning. Transfer learning is a method of learning a model learned in a certain area (also called a domain) so as to be adapted to another area. This makes it possible to generate a highly accurate classifier MDL even when the amount of teacher data is small.
  • 1 ... Information processing system, 10 ... Sensor, 12 ... Irradiation unit, 14 ... Detection unit, 100 ... Information processing device, 102 ... Communication unit, 104 ... Display unit, 110 ... Control unit, 112 ... Acquisition unit, 114 ... Image generation Unit, 116 ... Calculation unit, 118 ... Judgment unit, 120 ... Output control unit, 130 ... Storage unit, 200 ... Learning device, 202 ... Communication unit, 210 ... Control unit, 212 ... Acquisition unit, 214 ... Calculation unit, 216 ... Learning department, 230 ... Memory department

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Atmospheric Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Electromagnetism (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

実施形態の情報処理システムは、堆積物に対して電磁波を照射する照射部と、前記照射部によって前記堆積物に照射された電磁波の散乱波又は透過波を検出する検出部と、前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の種類を判定する判定部と、を備える。

Description

情報処理システム、情報処理装置、情報処理方法、及びプログラム
　本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
　本願は、２０１９年１１月２８日に出願された日本国特許出願２０１９－２１５７５７号に基づき優先権を主張し、その内容をここに援用する。
　道路面や滑走路面には、例えば、雪や氷、水、泥といった物体が堆積又は付着する。これら堆積物の状態量をモニタリングすることは、安全管理上重要である。これに関連して、道路や滑走路の管理を目的として、路面上の状態を計測する技術が知られている（例えば、特許文献１－５参照）。
特開２００４－１９１２７６号公報 特開２０１７－１１０９８３号公報 特開２００６－０４６９３６号公報 特開２０１６－１７００６９号公報 特開２０１９－０２９０５６号公報
　しかしながら、従来の技術では、雪、氷、水といったような堆積物の種類を精度よく判定することができていなかった。
　本発明は、このような事情を考慮してなされたものであり、堆積物の種類を精度よく判定することができる情報処理システム、情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
　本発明の一態様は、堆積物に対して電磁波を照射する照射部と、前記照射部によって前記堆積物に照射された電磁波の散乱波又は透過波を検出する検出部と、前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の種類を判定する判定部と、を備える情報処理システムである。
　本発明の一態様によれば、堆積物の種類を精度よく判定することができる。
第１実施形態に係る情報処理システムの構成の一例を示す図である。 第１実施形態に係るセンサの一例を示す図である。 第１実施形態に係るセンサの他の例を示す図である。 第１実施形態に係るセンサの他の例を示す図である。 第１実施形態に係る情報処理装置の構成の一例を示す図である。 第１実施形態に係る情報処理装置の一連の処理の流れの一例を示すフローチャート（その１）である。 第１実施形態に係る情報処理装置の一連の処理の流れの一例を示すフローチャート（その２）である。 堆積物の種類に応じた散乱光の面積の違いの一例を示す図である。 堆積物の種類に応じた散乱光の面積の頻度分布を示す図である。 可視域における二次元の散乱光の分布を示す図である。 可視域における二次元の散乱光の分布を示す図である。 可視域における二次元の散乱光の分布を示す図である。 画像のヒストグラムを示す図である。 画像のヒストグラムを示す図である。 画像のヒストグラムを示す図である。 水及び氷の画像ヒストグラムにおける平均と尖度との関係とその関係から導出された線形判別関数を示す図である。 堆積物の厚さを判定する方法を説明するための図である。 第２実施形態に係る情報処理システムの構成の一例を示す図である。 第２実施形態に係る情報処理装置の構成の一例を示す図である。 分類器を模式的に示す図である。 第２実施形態に係る学習装置の構成の一例を示す図である。 第２実施形態に係る学習装置の一連の処理の流れの一例を示すフローチャートである。
　以下、図面を参照し、本発明の情報処理システム、情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。本出願が日本語から英語に翻訳された場合、本開示全体を通して使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかにそうでないことを示していない限り、複数形のリファレンスを含むとみなしてよい。
　＜第１実施形態＞
　［情報処理システムの構成］
　図１は、第１実施形態に係る情報処理システム１の構成の一例を示す図である。図示のように、情報処理システム１は、センサ１０と、情報処理装置１００とを備える。これらの装置は、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などである。複数のセンサ１０－１～１０－ｎのうちいずれかを区別しない場合、これらセンサ１０－１～１０－ｎをまとめてセンサ１０と称して説明する。
　センサ１０は、例えば、滑走路や道路、鉄道の線路付近などに埋設される。センサは、埋設場所に堆積した物体、すなわち堆積物にレーザ光を照射し、その照射したレーザ光の散乱光や透過光を検出する。堆積物は、例えば、雪や氷、水、泥、土、火山灰、砂などである。
　図２は、第１実施形態に係るセンサ１０の一例を示す図である。図示のように、センサ１０は、照射部１２と、検出部１４とを備える。照射部１２及び検出部１４は、例えば、樹脂やガラスといった上記レーザ光に対し透過性を有する透過部材１６に覆われている。
　照射部１２は、透過部材１６を介して外部にレーザ光を照射する。例えば、透過部材１６上に雪が堆積している場合、照射部１２から照射された複数のレーザ光は、雪によって反射される。この際、レーザ光の一部は、光散乱現象によって散乱する。
　検出部１４は、例えば、透過部材１６上に堆積した雪によって散乱したレーザ光、つまり散乱光を検出する。検出部１４は、散乱光を検出すると、その検出した散乱光の検出信号を、ネットワークＮＷを介して情報処理装置１００に送信する。
　センサ１０は、必ずしも雪などが堆積し得る場所に埋設されなくてもよい。図３は、第１実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、センサ１０は堆積物の上方に設定されてよい。この場合、検出部１４は、堆積物の上方から堆積物に向けてレーザ光を照射する。検出部１４は、堆積物の上方へと散乱した散乱光を検出する。ここで、検出部１４には、照射部１２から照射されたレーザ光の波長を含む電磁波を電気信号に変換する公知の固体撮像素子が用いられる。例えば、電荷結合素子（ＣＣＤ）、相補型ＭＯＳ（ＣＭＯＳ）を用いることができるが、ＣＣＤ、ＣＭＯＳ等による二次元検出のみならず、フォトダイオードをライン状に配置したセンサアレイや、ラインセンサ等による一次元検出であってもよい。
　センサ１０は堆積物に照射したレーザ光の散乱光を検出する代わりに、透過光を検出してもよい。
　図４は、第１実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、検出部１４は、透過部材１６を介して、照射部１２と対向した位置に設けられてよい。照射部１２が透過部材１６の下側から透過部材１６上に堆積した雪に向けてレーザ光を照射した場合、そのレーザ光の一部は雪を透過し得る。この場合、照射部１２と対向した位置に設けられた検出部１４は、照射部１２から照射されたレーザ光の透過光を検出する。以下の説明では、一例としてセンサ１０が主に散乱光を検出するものとして説明する。
　［制御装置の構成］
　図５は、第１実施形態に係る情報処理装置１００の構成の一例を示す図である。図示のように、情報処理装置１００は、例えば、通信部１０２と、表示部１０４と、制御部１１０と、記憶部１３０とを備える。
　通信部１０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して外部装置と無線通信する。外部装置には、例えば、センサ１０やその他の装置の装置が含まれてよい。外部装置には、センサ１０が埋設された滑走路を利用する航空機や、センサ１０が埋設された道路を利用する車両、センサ１０が埋設された線路を利用する鉄道車両などが含まれてもよい。
　外部装置には、センサ１０が埋設された地点、すなわち堆積物が存在する地点の周辺環境を観測する観測装置や、気象モデルに基づく気象データを提供する提供装置が含まれてもよい。観測装置は、例えば、気温や湿度、風速といった種々の気象を観測してもよいし、センサ１０が埋設された場所の温度（例えば滑走路や道路の路面温度）を観測してもよい。この場合、通信部１０２は、観測装置から各種観測情報を取得してよい。
　表示部１０４は、各種の情報を表示するユーザインターフェースである。例えば、表示部１０４は、制御部１１０によって生成された画像を表示する。表示部１０４は、空港局員や道路局員、鉄道局員といったセンサ１０が埋設された管轄地に関連するユーザからの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示してもよい。例えば、表示部１０４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどである。
　制御部１１０は、例えば、取得部１１２と、画像生成部１１４と、算出部１１６と、判定部１１８と、出力制御部１２０とを備える。
　制御部１１０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
　記憶部１３０は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムなどを格納する。
　［情報処理装置の処理フロー］
　以下、フローチャートに即して情報処理装置１００の一連の処理の流れを説明する。図６及び図７は、第１実施形態に係る情報処理装置１００の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。
　まず、取得部１１２は、通信部１０２を介して、センサ１０から散乱光の検出信号を取得する（ステップＳ１００）。
　次に、画像生成部１１４は、取得部１１２によって取得された散乱光の検出信号に基づいて、散乱光の強度を、輝度や彩度、色相といった画素値に置き換えた一次元または二次元の画像（以下、光散乱画像と称する）を生成する（ステップＳ１０２）。つまり、画像生成部１１４は、散乱光の強度分布を画像として取得する。
　一般的に、雪における光の反射強度は、氷や水に比べて非常に高いということが知られている。これは、雪面に入射した光が雪粒子間や表面において反射したり、散乱したりするためである。一方、水や氷は雪に比べて密度が非常に高く、ほとんど散乱しない（透過する）ため、反射強度は非常に低い。雪に入射した光の散乱は上方或いは下方だけでなく、雪面等に対して水平方向へも広がる。従って、本実施形態では、一次元または二次元的な散乱光の広がりを画像として捉えることで、雪、氷、水といった種類を判定する。
　次に、算出部１１６は、画像生成部１１４によって生成された光散乱画像から、散乱光の特徴量と、マハラノビス距離とを算出する（ステップＳ１０４）。特徴量は、例えば、散乱光画像上において散乱光が分布する面積や、散乱光が分布する画素値の総和などである。以下、一例として特徴量が面積であるものとして説明する。マハラノビス距離とは、統計学的な距離を表すものであり、統計や分類などの多変最解析などにおいて定量的に評価することができる尺度である。
　図８は、堆積物の種類に応じた散乱光の面積の違いの一例を示す図である。図示のように、堆積物が雪の場合、雪が厚くなるほど散乱光の面積（散乱光の分布の広がり）が大きくなるのに対して、堆積物が氷や水の場合、堆積物が雪の場合に比べて散乱光の面積が小さい。このように、各堆積物の状態（厚さ）に応じて散乱光の広がりは大きな違いを示すことがわかる。
　図９は、堆積物の種類に応じた散乱光の面積の頻度分布を示す図である。図示のように、雪の頻度分布と、氷又は水の頻度分布との間には、明確に境界（判別境界値）がある。つまり、散乱光の面積というデータ集合は、分散が大きく異なる傾向にある。分散が大きく異なるデータ集合に対しては、マハラノビス距離を用いてデータを判別することが有効である。
　マハラノビス距離は、数式（１）及び（２）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　Ｘは、未知の散乱光画像における散乱光の面積である。「未知の散乱光画像」とは、堆積物の種類が判明していない状態で得られた散乱光画像である。つまり、Ｘは、数式（１）及び（２）における説明変数（入力）であることを表している。
　ＤＳは、堆積物が雪である場合のマハラノビス距離（以下、第１マハラノビス距離と称する）である。第１マハラノビス距離ＤＳは、数式（１）における目的変数（出力）である。μＳは、堆積物が雪である場合（堆積物の種類が「雪」と判明している状態）に得られた散乱光画像から算出された散乱光の面積の平均である。σＳは、堆積物が雪である場合（堆積物の種類が「雪」と判明している状態）に得られた散乱光画像から算出された散乱光の面積の標準偏差である。
　ＤＯは、堆積物が雪以外である場合のマハラノビス距離（以下、第２マハラノビス距離と称する）である。第２マハラノビス距離ＤＯは、数式（２）における目的変数（出力）である。μＯは、堆積物が氷や水といった雪以外である場合（堆積物の種類が「氷」や「水」等と判明している状態）に得られた散乱光画像から算出された散乱光の面積の平均である。σＯは、堆積物が雪以外である場合（堆積物の種類が「氷」や「水」等と判明している状態）に得られた散乱光画像から算出された散乱光の面積の標準偏差である。
　μＳ、σＳ、μＯ、σＯといったパラメータは、実験やシミュレーションによって事前にその値が決められる。例えば、μＳ及びσＳは、複数の雪の散乱光画像から求めた散乱光の面積を基に算出される。一方、μＯ及びσＯは、氷や水といった雪以外の堆積物の複数の散乱光画像から求めた散乱光の面積を基に算出される。
　つまり、算出部１１６は、画像生成部１１４によって生成された散乱光画像から散乱光の面積Ｘを算出し、更にその算出した面積Ｘを数式（１）及び（２）に代入して、第１マハラノビス距離ＤＳと第２マハラノビス距離ＤＯを算出する。
　フローチャートの説明に戻る。次に、判定部１１８は、算出部１１６によって算出された第１マハラノビス距離ＤＳと第２マハラノビス距離ＤＯとを比較して、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯよりも小さい（ＤＳ＜ＤＯ）か否かを判定する（ステップＳ１０６）。
　判定部１１８は、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯよりも小さい場合（ＤＳ＜ＤＯ）、堆積物が雪であると判定する（ステップＳ１０８）。
　一方、判定部１１８は、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯよりも大きい場合（ＤＳ＞ＤＯ）、堆積物が雪以外の物体であると判定する（ステップＳ１１０）。
　判定部１１８は、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯと同じ場合（ＤＳ＝ＤＯ）、上述した判別境界値と散乱光の面積が同じであるため、判定不可としてよい。
　判定部１１８によって堆積物が雪以外の物体であると判定された場合、算出部１１６は、更に堆積物の種類を判別するために、算出した散乱光の面積のヒストグラム（頻度分布）から、複数の統計量（統計値）を算出する（ステップＳ１１２）。例えば、統計量は、平均や尖度、歪度、分散といった互い種類の異なる指標値である。
　図１０から図１２は、可視域における二次元の散乱光の分布を示す図である。図１３から図１５は、画像のヒストグラムを示す図である。図１０から図１２に示すように、分布画像において、円の外側から中心に向かい輝度が増加している。図１３から図１５に示すように、面積の増加とともにヒストグラムの頻度は高くなることが分かる。水と氷では比較的値の低い領域において違いが現れており、その領域では水よりも氷の頻度が高い値を示している。ヒストグラムの統計量として平均と尖度を算出したところ、平均は水で９７２、薄い氷膜で２１９６、厚い氷膜で４６７９であった。尖度は、水で２４３、薄い氷膜で１８１、厚い氷膜で１２３であった。このように、堆積物の種類に応じて、ヒストグラムの統計量に違いが表れる。
　従って、本実施形態では、画像のヒストグラムの統計量に着目し、未知の散乱光画像（二次元散乱強度分布）が水と氷のどちらのクラスに属するのかを線形判別分析により判別する。線形判別分析とは、２つのクラス（データ群）を最もよく判別できる線形判別関数を求める手法である。線形判別関数は、例えば、分類するデータ群間の平均の差が大きくなり、データ群内の分散の差が小さくなるように導出される。
　図１６は、水及び氷の画像ヒストグラムにおける平均と尖度との関係とその関係から導出された線形判別関数を示す図である。図中Ｚは、線形判別関数を表している。図示のように、線形判別関数Ｚは、ヒストグラムから得られる複数の統計量のうち、ある一つの第１統計量を説明変数とし、第１統計量と種類が異なる第２統計量を目的的変数とした関数であり、例えば、Ｚ＝ａ１ｘ１＋ａ２ｘ２＋ａ３ｘ３…といった多項式関数であってよい。
　フローチャートの説明に戻る。次に、判定部１１８は、算出部１１６によって算出された尖度を説明変数として線形判別関数Ｚに入力する（ステップＳ１１４）。
　次に、判定部１１８は、尖度を入力した線形判別関数Ｚが目的変数として出力した平均と、算出部１１６によって尖度と共に算出された平均とを比較し、線形判別関数Ｚの出力結果である平均（以下、第１平均Ａ１と称する）よりも算出部１１６の算出結果である平均（以下、第２平均Ａ２と称する）の方が大きいか否かを判定する（ステップＳ１１６）。
　判定部１１８は、第１平均Ａ１よりも第２平均Ａ２の方が大きい場合（Ａ１＜Ａ２）、堆積物が氷であると判定する（ステップＳ１１８）。言い換えれば、判定部１１８は、図１６のグラフ上において、線形判別関数Ｚよりも上側の領域である場合、堆積物が氷であると判定する。
　一方、判定部１１８は、第１平均Ａ１よりも第２平均Ａ２の方が小さい場合（Ａ１＞Ａ２）、堆積物が水であると判定する（ステップＳ１２０）。言い換えれば、判定部１１８は、図１６のグラフ上において、線形判別関数Ｚよりも下側の領域である場合、堆積物が水であると判定する。
　出力制御部１２０は、判定部１１８によって堆積物の種類が判定されると、通信部１０２を介して判定結果を外部装置に送信したり、表示部１０４に判定結果を表示させたりしてよい。これによって、本フローチャートの処理が終了する。
　以上説明した第１実施形態によれば、情報処理システム１が、堆積物に対してレーザ光を照射する照射部１２と、照射部１２によって堆積物に照射されたレーザ光の散乱光又は透過光を検出する検出部１４と、検出部１４によって検出された散乱光又は透過光に基づいて画像を生成する画像生成部１１４と、画像生成部１１４によって生成された画像から散乱光又は透過光の面積を算出し、算出した面積からマハラノビス距離を算出する算出部１１６と、算出部によって算出されたマハラノビス距離に基づいて、堆積物が雪やそれ以外かを判定する判定部１１８とを備える。これによって、堆積物の種類を精度よく判定することができる。
　更に、上述した第１実施形態によれば、判定部１１８によって堆積物が雪以外の物体であると判定された場合、算出部１１６が、散乱光又は透過光の面積のヒストグラムから、互いに種類の異なる複数の統計量を算出し、判定部１１８が、算出部１１６によって算出された複数の統計量に基づいて、雪以外の物体と判定された堆積物の種類を更に判定する。これによって、更に精度よく堆積物の種類を判定することができる。
　＜第１実施形態の変形例＞
　上述した第１実施形態では、センサ１０が堆積物に対してレーザ光を照射するものとして説明したがこれに限られない。例えば、センサ１０は、レーザ光に加えて、或いは代えて、電波を照射してもよい。この場合、透過部材１６は、照射部１２によって照射された電磁波に対して透過性を有する部材とすればよい。
　上述した実施形態では、算出部１１６が画像のヒストグラムから尖度及び平均を統計量として算出するものとして説明したがこれに限られない。例えば、算出部１１６は、歪度や分散といった他の統計量を算出してもよい。この場合、判定部１１８は、例えば、歪度を説明変数として線形判別関数Ｚに入力し、歪度を入力した線形判別関数Ｚが目的変数として出力した分散と、算出部１１６によって算出された分散とを比較することで、雪以外の物体と判定された堆積物の種類を更に詳細に判定してもよい。
　上述した実施形態では、判定部１１８が堆積物の種類を判定するものとして説明したがこれに限られない。例えば、判定部１１８は、堆積物の種類に加えて、或いは代えて、堆積物の厚さなどを判定してもよい。
　図１７は、堆積物の厚さを判定する方法を説明するための図である。図示のように、例えば、判定部１１８は、堆積物の種類を氷と判定した場合、算出部１１６によって算出された尖度及び平均を基に氷の厚さを判定してよい。具体的には、判定部１１８は、平均が大きく、且つ尖度が小さいほど、より厚い氷と判定し、平均が小さく、且つ尖度が大きいほど、より薄い氷と判定してよい。判定部１１８は、氷の厚さに限られず、泥や土、火山灰といった他の種類の堆積物の厚さを判定してもよい。
　上述した実施形態では、堆積物の種類をマハラノビス距離に基づいて判定するとして説明したがこれに限らない。例えば、算出部１１６は、マハラノビス距離に代えて、或いは加えて、ユークリッド距離等の多変量解析における判別分析に用いられる他の指標を算出してもよい。この場合、判定部１１８は、算出部１１６によって算出されたユークリッド距離等に基づいて堆積物の種類をしてよい。
　＜第２実施形態＞
　以下、第２実施形態について説明する。上述した第１実施形態では、線形判別関数Ｚを用いて、ヒストグラムから得られた複数の統計量を基に堆積物の種類を判定するものとして説明した。これに対して、第２実施形態では、予め学習された分類器ＭＤＬを用いて堆積物の種類を判定する点で第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。
　図１８は、第２実施形態に係る情報処理システム２の構成の一例を示す図である。図示のように、情報処理システム２は、上述したセンサ１０および情報処理装置１００に加えて、更に学習装置２００を備える。
　図１９は、第２実施形態に係る情報処理装置１００の構成の一例を示す図である。第２実施形態に係る情報処理装置１００の記憶部１３０には、分類器データＤ１が格納される。分類器データＤ１は、堆積物の種類を分類するためのモデル（以下、分類器ＭＤＬと称する）を定義した情報（プログラムまたはデータ構造）である。この分類器データＤ１は、例えば、ネットワークＮＷを介して学習装置２００から記憶部１３０にインストールされてもよいし、情報処理装置１００のドライブ装置に接続された可搬型の記憶媒体から記憶部１３０にインストールされてもよい。
　図２０は、分類器ＭＤＬを模式的に示す図である。図示のように、分類器ＭＤＬは、例えば、物体に照射されたレーザ光の散乱光または透過光に基づく画像から得られる統計量（例えば尖度や平均など）が入力されると、その物体の種類の尤もらしさを表す尤度や確率を出力するように学習されたモデルである。分類器ＭＤＬの出力は、例えば、堆積物が氷であることの尤もらしさを表す尤度や、堆積物が水であることの尤もらしさを表す尤度などを要素とする多次元のベクトル或いはテンソル（係数の集合）であってよい。このような分類器ＭＤＬは、例えば、ニューラルネットワークやサポートベクターマシン、混合ガウスモデル、単純ベイズ分類器といった様々なモデルによって実装されてよい。以下、一例として、分類器ＭＤＬがニューラルネットワークによって実装されるものとして説明する。
　分類器ＭＤＬがニューラルネットワークによって実装される場合、分類器データＤ１には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるユニットが互いにどのように結合されるのかという結合情報や、結合されたユニット間で入出力されるデータに付与される結合係数などの各種情報が含まれる。
　結合情報とは、例えば、各層に含まれるユニット数や、各ユニットの結合先のユニットの種類を指定する情報、各ユニットを実現する活性化関数、隠れ層のユニット間に設けられたゲートなどの情報を含む。ユニットを実現する活性化関数は、例えば、正規化線形関数（ＲｅＬＵ関数）であってもよいし、シグモイド関数や、ステップ関数、その他の関数などであってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ユニット間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、例えば、ニューラルネットワークの隠れ層において、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを含む。結合係数は、各層の固有のバイアス成分などを含んでもよい。
　第２実施形態に係る判定部１１８は、堆積物が雪以外の物体であると判定した場合、線形判別関数Ｚの代わりに、分類器ＭＤＬを用いて、堆積物の種類を判定する。具体的には、判定部１１８は、算出部１１６によって算出された複数の統計量の中から、分類器ＭＤＬが学習される際に利用された統計量と同種の統計量を選択する。この統計量は、一つであってもよいし、複数であってもよい。つまり、分類器ＭＤＬの入力は、一次元のスカラであってもよいし、多次元のベクトル或いはテンソルであってもよい。そして、判定部１１８は、選択した統計量を分類器ＭＤＬに入力し、その分類器ＭＤＬが出力したベクトル又はテンソルに含まれる複数の要素のうち、最も値が大きい要素に対応した種類を、堆積物の種類として判定する。
　［学習装置の構成］
　以下、分類器ＭＤＬを学習する学習装置２００について説明する。学習装置２００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。すなわち、学習装置２００は、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
　図２１は、第２実施形態に係る学習装置２００の構成の一例を示す図である。図示のように、例えば、学習装置２００は、通信部２０２と、制御部２１０と、記憶部２３０とを備える。
　通信部２０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して情報処理装置１００等の外部装置と通信する。
　制御部２１０は、例えば、取得部２１２と、算出部２１４と、学習部２１６とを備える。制御部２１０の構成要素は、例えば、ＣＰＵやＧＰＵなどのプロセッサが記憶部２３０に格納されたプログラムを実行することにより実現される。制御部２１０の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
　記憶部２３０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどにより実現される。記憶部２３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、上述した分類器データＤ１と、教師データＤ２とを格納する。
　教師データＤ２は、分類器ＭＤＬを学習（訓練）するためのデータである。例えば、教師データＤ２は、種類が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、分類器ＭＤＬがその物体の種類として出力すべき尤度が教師ラベル（ターゲットともいう）として対応付けられたデータセットである。
　［学習装置の処理フロー］
　以下、フローチャートに即して制御部２１０の一連の処理の流れを説明する。図２２は、第２実施形態に係る学習装置２００の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。学習装置２００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
　まず、取得部２１２は、記憶部２３０に格納された教師データＤ２から、堆積物が取り得る種類の尤度が教師ラベルとして対応付けられた複数の散乱光画像を取得する（ステップＳ２００）。センサ１０が透過光を検出可能な場合、散乱光画像は透過光画像であってもよい。
　次に、算出部２１４は、取得部２１２によって教師データＤ２から取得された複数の散乱光画像の其々から散乱光の面積を算出する（ステップＳ２０２）。
　次に、算出部２１４は、算出した散乱光の面積のヒストグラムから、複数の統計量を算出する（ステップＳ２０４）。
　次に、学習部２１６は、算出部２１４によって算出された複数の統計量のうち、一つの統計量にあたるスカラ、または複数の統計量を要素とするベクトルを未学習の分類器ＭＤＬに入力する（ステップＳ２０６）。
　次に、学習部２１６は、分類器ＭＤＬによって出力された尤度と、散乱光又は透過光を撮像した画像に対して教師ラベルとして対応付けられていた尤度との差分（損失関数の勾配）を算出する（ステップＳ２０８）。
　次に、学習部２１６は、算出した差分が小さくなるように分類器ＭＤＬを学習する（ステップＳ２１０）。例えば、学習部２１６は、差分が小さくなるように、分類器ＭＤＬのパラメータである重み係数やバイアス成分などを確率的勾配降下法などを用いて決定（更新）してよい。
　学習部２１６は、学習した分類器ＭＤＬを記憶部２３０に分類器データＤ１として記憶させる。
　このように、学習部２１６は、Ｓ２００からＳ２１０の処理を繰り返し行い（イタレーションを行い）、分類器データＤ１を学習する。そして、学習部２１６は、十分に学習した学習済みの分類器ＭＤＬを定義した分類器データＤ１を、例えば、通信部２０２を介して情報処理装置１００に送信する。これによって本フローチャートの処理が終了する。
　以上説明した第２実施形態によれば、判定部１１８が、物体に照射された電磁波（レーザ光や電波）の散乱波又は透過波に基づく画像から得られる統計量が入力されると、電磁波が照射された物体の種類を分類するように学習された分類器ＭＤＬに対して、算出部１１６によって算出された統計量を入力し、その分類器ＭＤＬの出力結果に基づいて、堆積物の種類を判定する。これによって、第１実施形態と同様に、堆積物の種類を精度よく判定することができる。
　上述した第２実施形態における判定部１１８は、取得部１１２が通信部１０２を介して、堆積物が存在する地点の気象観測情報や気象モデルの情報などを含む外部情報を取得した場合、算出部１１６が算出した統計量に加えて、更に、外部情報を分類器ＭＤＬに入力することで、堆積物の種類を判定してもよい。気象観測情報には、例えば、センサ１０が埋設された地点の温度（例えば滑走路や道路の路面温度）や、気温や湿度、風速などが含まれてよい。気象モデルの情報には、気象モデルによって推定または予測された気温や湿度、風速などが含まれてよい。
　上述した第２実施形態では、教師あり学習によって分類器ＭＤＬを学習するものとして説明したがこれに限られない。例えば、分類器ＭＤＬは、教師なし学習によって学習されてもよい。分類器ＭＤＬは、教師あり学習または教師なし学習に代えて、転移学習によって学習されてもよい。転移学習とは、ある領域（ドメインともいう）で学習されたモデルを、他の領域に適合させるように学習する手法である。これによって、教師データの量が少ない場合であっても、精度の高い分類器ＭＤＬを生成することができる。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…情報処理システム、１０…センサ、１２…照射部、１４…検出部、１００…情報処理装置、１０２…通信部、１０４…表示部、１１０…制御部、１１２…取得部、１１４…画像生成部、１１６…算出部、１１８…判定部、１２０…出力制御部、１３０…記憶部、２００…学習装置、２０２…通信部、２１０…制御部、２１２…取得部、２１４…算出部、２１６…学習部、２３０…記憶部

Claims (12)

  1. 　堆積物に対して電磁波を照射する照射部と、
    　前記照射部によって前記堆積物に照射された前記電磁波の散乱波又は透過波を検出する検出部と、
    　前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の種類を判定する判定部と、
    　を備える情報処理システム。
  2. 　前記画像から前記散乱波又は前記透過波の特徴量を算出する算出部を更に備え、
    　前記判定部は、前記算出部によって算出された前記特徴量に基づいて、前記堆積物の種類を判定する、
    　請求項１に記載の情報処理システム。
  3. 　前記判定部は、前記算出部が算出した前記特徴量の多変量解析における判別分析に用いられる指標に基づいて、前記堆積物の種類を判定する、
    　請求項２に記載の情報処理システム。
  4. 　前記指標には、前記特徴量のマハラノビス距離が含まれ、
    　前記判定部は、前記特徴量のマハラノビス距離に基づいて、前記堆積物の種類を判定する、
    　請求項３に記載の情報処理システム。
  5. 　前記算出部は、算出した前記特徴量のヒストグラムから、互いに種類の異なる複数の統計量を算出し、
    　前記判定部は、前記算出部によって算出された前記複数の統計量に基づいて、前記堆積物の種類を判定する、
    　請求項２から４のうちいずれか一項に記載の情報処理システム。
  6. 　前記判定部は、
    　　説明変数が第１統計量であり、目的変数が前記第１統計量と種類が異なる第２統計量である判別関数に対して、前記複数の統計量に含まれる前記第１統計量を入力し、
    　　前記第１統計量を入力した前記判別関数によって出力された前記第２統計量と、前記複数の統計量に含まれる前記第２統計量との比較結果に基づいて、前記堆積物の種類を判定する、
    　請求項５に記載の情報処理システム。
  7. 　前記判定部は、
    　　物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる統計量が入力されると、前記物体の種類を分類するように学習された分類器に対して、前記算出部によって算出された前記統計量を入力し、前記統計量を入力した前記分類器の出力結果に基づいて、前記堆積物の種類を判定する、
    　請求項５に記載の情報処理システム。
  8. 　前記判定部は、更に、前記算出部によって算出された前記複数の統計量に基づいて、前記堆積物の厚さを判定する、
    　請求項５から７のうちいずれか一項に記載の情報処理システム。
  9. 　前記判定部は、前記算出部によって算出された前記複数の統計量のうち、第１統計量が大きく、且つ前記第１統計量と種類が異なる第２統計量が小さくなるほど、前記堆積物の厚さが小さいと判定し、前記第１統計量が小さく、且つ前記第２統計量が大きくなるほど、前記堆積物の厚さが大きいと判定する、
    請求項８に記載の情報処理システム。
  10. 　堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得する取得部と、
    　前記取得部により取得された前記画像から、前記堆積物の種類を判定する判定部と、
    　を備える情報処理装置。
  11. 　コンピュータが、
    　堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得し、
    　取得した前記画像から、前記堆積物の種類を判定する、
    　情報処理方法。
  12. 　コンピュータに、
    　堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
    　取得した前記画像から、前記堆積物の種類を判定すること、
    　を実行させるためのプログラム。
PCT/JP2020/043830 2019-11-28 2020-11-25 情報処理システム、情報処理装置、情報処理方法、及びプログラム WO2021106935A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-215757 2019-11-28
JP2019215757A JP7383247B2 (ja) 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021106935A1 true WO2021106935A1 (ja) 2021-06-03

Family

ID=76087526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043830 WO2021106935A1 (ja) 2019-11-28 2020-11-25 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7383247B2 (ja)
WO (1) WO2021106935A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180357A (ja) * 1998-12-11 2000-06-30 Omron Corp 路面状態判別装置
JP2014228300A (ja) * 2013-05-20 2014-12-08 国立大学法人 東京大学 路面状態推定装置
JP2015088106A (ja) * 2013-11-01 2015-05-07 Ｎｅｃソリューションイノベータ株式会社 水浮検知装置、水浮検知方法、及びプログラム
JP2019078720A (ja) * 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム
JP2020134347A (ja) * 2019-02-21 2020-08-31 国立研究開発法人宇宙航空研究開発機構 モニタリング装置及びモニタリング方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180357A (ja) * 1998-12-11 2000-06-30 Omron Corp 路面状態判別装置
JP2014228300A (ja) * 2013-05-20 2014-12-08 国立大学法人 東京大学 路面状態推定装置
JP2015088106A (ja) * 2013-11-01 2015-05-07 Ｎｅｃソリューションイノベータ株式会社 水浮検知装置、水浮検知方法、及びプログラム
JP2019078720A (ja) * 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム
JP2020134347A (ja) * 2019-02-21 2020-08-31 国立研究開発法人宇宙航空研究開発機構 モニタリング装置及びモニタリング方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Detection of Road Surface Conditions in Winter using CCTV Camera for Road Monitoring", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN, vol. 135, no. 7, 2015, pages 901 - 907, DOI: TAKEUCHI, Kazuya *
SHIBATA, KEIJI ET AL.: "Distinction of Wet Road Surface Condition at Night-time using Texture Features", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN, vol. 132, no. 9, 2012, pages 1488 - 1493 *

Also Published As

Publication number Publication date
JP2021085786A (ja) 2021-06-03
JP7383247B2 (ja) 2023-11-20

Similar Documents

Publication Publication Date Title
Kilic et al. Lidar light scattering augmentation (lisa): Physics-based simulation of adverse weather conditions for 3d object detection
Kellenberger et al. 21 000 birds in 4.5 h: efficient large‐scale seabird detection with machine learning
Muhadi et al. Deep learning semantic segmentation for water level estimation using surveillance camera
Yavariabdi et al. Change detection in multispectral landsat images using multiobjective evolutionary algorithm
Hicks et al. Method for classification of snowflakes based on images by a multi-angle snowflake camera using convolutional neural networks
Bystrov et al. Automotive system for remote surface classification
US20220026557A1 (en) Spatial sensor system with background scene subtraction
Urmy et al. Quantitative ornithology with a commercial marine radar: standard‐target calibration, target detection and tracking, and measurement of echoes from individuals and flocks
Mirzaei et al. Data fusion of acoustics, infrared, and marine radar for avian study
Azizi et al. Semantic segmentation: A modern approach for identifying soil clods in precision farming
Zhang et al. Sea Ice Image Processing with MATLAB®
Notarangelo et al. Transfer learning with convolutional neural networks for rainfall detection in single images
Satyanath et al. Smart parking space detection under hazy conditions using convolutional neural networks: a novel approach
CN106326850A (zh) 快速车道线检测方法
Farooqui et al. Automatic crop disease recognition by improved abnormality segmentation along with heuristic-based concatenated deep learning model
Saeed et al. Gravel road classification based on loose gravel using transfer learning
WO2021106935A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Boppana et al. Comparative analysis of single-stage yolo algorithms for vehicle detection under extreme weather conditions
WO2021106945A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Liu et al. Cooperative and comprehensive multi-task surveillance sensing and interaction system empowered by edge artificial intelligence
Ma et al. Target recognition for coastal surveillance based on radar images and generalised Bayesian inference
Urmy et al. Evaluating the target‐tracking performance of scanning avian radars by augmenting data with simulated echoes
Brill et al. Extrapolating satellite-based flood masks by one-class classification—a test case in houston
Ivanda et al. An application of 1D convolution and deep learning to remote sensing modelling of Secchi depth in the northern Adriatic Sea
Hsieh et al. Automatic precipitation measurement based on raindrop imaging and artificial intelligence

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893930

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20893930

Country of ref document: EP

Kind code of ref document: A1