JP7328144B2 - Face property estimation device and estimation method - Google Patents
Face property estimation device and estimation method Download PDFInfo
- Publication number
- JP7328144B2 JP7328144B2 JP2019239416A JP2019239416A JP7328144B2 JP 7328144 B2 JP7328144 B2 JP 7328144B2 JP 2019239416 A JP2019239416 A JP 2019239416A JP 2019239416 A JP2019239416 A JP 2019239416A JP 7328144 B2 JP7328144 B2 JP 7328144B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- data
- unit
- determination result
- measurement data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Excavating Of Shafts Or Tunnels (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、切羽性状推定装置および推定方法等に関する。 The present invention relates to a face property estimation device, an estimation method, and the like.
トンネルの掘削工事では、事前に地山の地質を調査した上で施工計画が練られ、実際の工事が行われる。しかしながら、実際に施工してみた場合、地山の地質が事前調査の結果と異なる地質である場合も多い。そのため、掘削工事の施工業者は、切羽性状を判定することで、切羽周辺の地山の地質を確認することが一般的である。この判定は、施工中定期的に行われる。施工業者は、切羽性状の判定結果を考慮して、掘削工事の安全方策および施工計画を立てる。 In tunnel excavation work, the geology of the natural ground is surveyed in advance, the construction plan is formulated, and the actual construction is carried out. However, there are many cases where the geology of the natural ground is different from the result of the preliminary investigation when the construction is actually carried out. For this reason, excavation contractors generally check the geology of the natural ground around the face by determining the properties of the face. This determination is made periodically during construction. The construction company considers the results of face property determination, and formulates safety measures and construction plans for excavation work.
切羽性状の判定は、人間が知識と経験に基づいて行うため、その判定精度は判定者に依存している。例えば、従来は、切羽性状の判定は、地質学の専門家が、切羽の写真または観測データを総合的に参照して下していた。一方、近年、地質評価を人工知能(AI)に行わせる技術が開発されている。例えば、特許文献1には、AIが行う岩盤の強度判定の、精度を高めるための技術が開示されている。
Since the judgment of the face properties is made by a human based on knowledge and experience, the accuracy of the judgment depends on the judge. For example, conventionally, face properties were determined by geologists by comprehensively referring to face photographs or observation data. On the other hand, in recent years, technology has been developed that allows artificial intelligence (AI) to perform geological evaluation. For example,
上述のように、切羽性状の判定結果は、工事の安全方策を練るためにも用いられる。そのため、切羽性状の判定は高精度であることが求められる。しかしながら、特許文献1に記載のAI等、従来技術のAIを用いて切羽性状の判定を行うと、高くても90%程度の正解率しか得られていない。ゆえに、これらのAIの判定結果を無条件で安全対策および施工計画の検討に用いることはリスクが高く、AIによる切羽性状の判定は実用性が低かった。
As described above, the face property determination results are also used to develop safety measures for construction work. Therefore, it is required that the face properties be determined with high accuracy. However, when the AI of the prior art such as the AI described in
本発明の一態様は、上記問題点に鑑みたものである。本発明の一態様は、施工中のトンネルにおける切羽性状の推定に適合した学習済モデルを構築することを目的とする。 One aspect of the present invention is made in view of the above problems. An object of one aspect of the present invention is to construct a trained model suitable for estimating face properties in a tunnel under construction.
前記の課題を解決するために、本発明に係る切羽性状推定装置は、施工中のトンネルのある切羽の測定データに基づいて専門家により判定された、当該ある切羽の性状の判定結果を取得する判定結果取得部と、前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データの中から、前記判定結果取得部が取得した前記判定結果と一致または類似する判定結果を含んだ教師データを、再学習用教師データとして1つ以上抽出する抽出部と、前記抽出部により抽出された1つ以上の再学習用教師データを用いて、前記種々の切羽の測定データと、前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習部と、を備え、前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含む。 In order to solve the above-described problems, a face property estimation apparatus according to the present invention acquires the judgment result of the property of a certain face determined by an expert based on the measurement data of the face having a tunnel under construction. The determination result acquisition unit acquires from teacher data composed of a combination of measurement data on various faces including the certain face and the determination results corresponding to each of the various faces. using an extraction unit for extracting one or more teacher data containing judgment results that match or are similar to the judgment result as relearning teacher data , and one or more relearning teacher data extracted by the extraction unit a re-learning unit for re-learning a trained model obtained by machine-learning the correlation between the measurement data of the various faces and the determination result corresponding to each of the various faces , wherein the measurement data is , at least one of a stereo image and a three-dimensional image, and a spectral image.
前記の構成または方法によれば、専門家による施工中のトンネルのある切羽の性状についての判定結果と、結果が一致または類似している再学習用教師データを用いて、学習済モデルに再学習を実行させる。これにより、施工中のトンネルにおける切羽性状の推定に、より適合した学習済モデルを構築することができる。 According to the above configuration or method, the trained model is re-learned using re-learning teacher data that matches or is similar to the result of judgment by an expert regarding the nature of the face with a tunnel under construction. to run. As a result, it is possible to construct a trained model that is more suitable for estimating the face properties of a tunnel under construction.
前記切羽性状推定装置は、前記測定データを取得する測定データ取得部と、種々の切羽の前記測定データを、前記再学習を実行した後の前記学習済モデルに入力することによって、前記測定データが示す各切羽の性状を推定する推定部と、を備えていてもよい。 The face property estimating device includes a measurement data acquisition unit that acquires the measurement data, and inputs the measurement data of various faces to the learned model after executing the re-learning, so that the measurement data is and an estimating unit for estimating the property of each face shown.
前記の構成によれば、再学習後の学習済モデルを用いて、測定データから切羽の性状を推定することができる。再学習後の学習済モデルは、再学習前の学習済モデルよりも、そのトンネルの切羽の性状を推定するのに適合したモデルである。したがって、前記の構成によれば、学習済モデルを用いた切羽性状の推定を高精度で実行することができる。 According to the above configuration, the properties of the face can be estimated from the measurement data using the trained model after re-learning. The trained model after re-learning is a model that is more suitable for estimating the characteristics of the face of the tunnel than the trained model before re-learning. Therefore, according to the above configuration, the face properties can be estimated with high accuracy using the learned model.
前記切羽性状推定装置において、前記推定部は、前記ある切羽の測定データを、前記再学習を実行する前の前記学習済モデルに入力することによって、前記ある切羽の性状を事前推定し、前記ある切羽の判定結果は、前記推定部が前記ある切羽の性状を事前推定した結果を修正することによって作成されてもよい。 In the face property estimating device, the estimating unit pre-estimates the property of the certain face by inputting the measurement data of the certain face into the learned model before executing the re-learning, The determination result of the face may be created by correcting the result of preestimating the property of the certain face by the estimation unit.
前記の構成によれば、専門家に学習済モデルの事前推定の結果を修正させることによって、より正しい判定結果を得ることができる。また、その判定結果に基づいて学習済モデルを再学習させることで、学習済モデルの判定精度を向上させることができる。 According to the above configuration, a more correct determination result can be obtained by having the expert correct the pre-estimation result of the trained model. Further, by re-learning the learned model based on the determination result, it is possible to improve the determination accuracy of the learned model.
前記切羽性状推定装置において、前記抽出部は、前記推定部が前記ある切羽の性状を事前推定した結果と、前記判定結果取得部の取得した前記ある切羽の性状の判定結果と、の少なくとも一部が異なる場合に、前記再学習用教師データを抽出し、前記再学習部は、前記抽出部が前記再学習用教師データを抽出した場合に、前記学習済モデルに前記再学習を行わせてもよい。 In the face property estimating device, the extracting unit includes at least part of a result of preestimating the property of the certain face by the estimating unit and a determination result of the property of the certain face acquired by the determination result acquiring unit. is different, the relearning unit extracts the relearning teacher data, and the relearning unit causes the trained model to perform the relearning when the extracting unit extracts the relearning teacher data. good.
また、前記の構成によれば、学習済モデルの事前推定の結果と、専門家の判定結果とを照合して、少なくとも一部が異なる場合に再学習を実行する。再学習後の学習済モデルは、再学習前の学習済モデルよりも、そのトンネルの切羽判定に適合したモデルである。したがって、前記の構成によれば、再学習によって切羽性状の判定を高精度に実行可能な学習済モデルを構築することができる。 Further, according to the above configuration, the result of pre-estimation of the trained model and the judgment result of the expert are collated, and re-learning is executed when at least a part of them is different. The learned model after re-learning is a model that is more suitable for face determination of the tunnel than the learned model before re-learning. Therefore, according to the above configuration, it is possible to construct a trained model capable of highly accurately determining the face properties by re-learning.
前記切羽性状推定装置において、前記抽出部は、前記判定結果取得部が取得した前記判定結果と、該判定結果に対応する前記測定データとを組み合わせて作成された教師データを、再学習用教師データとして1つ以上抽出してもよい。 In the apparatus for estimating face properties, the extraction unit converts teacher data created by combining the determination result acquired by the determination result acquisition unit and the measurement data corresponding to the determination result into relearning teacher data. You may extract one or more as
前記の構成によれば、専門家の判定結果を用いて作成した教師データを用いて学習済モデルを再学習させることができる。これにより、学習済モデルに、適切な再学習を実行させることができる。 According to the above configuration, the learned model can be re-learned using teacher data created using the result of judgment by an expert. This allows the trained model to perform appropriate re-learning.
前記教師データを複数個記憶している記憶装置において、前記複数個の前記教師データは、該教師データに含まれるステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像とを生成するための画像の撮影地域に応じて、複数のデータセットに分類されて記憶されており、前記抽出部は、前記再学習用教師データを含む前記データセットを抽出してもよい。 In a storage device storing a plurality of the training data, the plurality of training data are images for generating at least one of a stereo image and a three-dimensional image included in the training data and a spectral image. A plurality of data sets may be classified and stored according to the photographing area, and the extraction unit may extract the data set including the relearning teacher data.
切羽の性状は一律の条件で判定するよりも、切羽周辺の地山の地質に基づいて、総合的に推定することが望ましい。前記の構成によれば、施工中のトンネルにおける切羽性状の推定に、より適合した学習済モデルを構築することができる。 It is desirable to comprehensively estimate the properties of the face based on the geology of the ground around the face rather than determining it under uniform conditions. According to the above configuration, it is possible to construct a learned model that is more suitable for estimating the face properties of a tunnel under construction.
前記切羽性状推定装置において、前記測定データは、近赤外写真を含んでいてもよい。 In the face property estimation device, the measurement data may include a near-infrared photograph.
近赤外写真からは、切羽が含有する水量(有水量)を特定することができる。したがって、前記の構成によれば、切羽性状のうち、有水量についてより精密に特定することが可能な学習済モデルを構築することができる。また、該学習済モデルを用いて切羽性状の推定を行う場合に、切羽の有水量について、より精密な推定結果を得ることができる。 From the near-infrared photograph, the amount of water contained in the face (water content) can be specified. Therefore, according to the above configuration, it is possible to construct a learned model that can more precisely specify the water content among the face properties. Moreover, when the face property is estimated using the learned model, a more precise estimation result can be obtained for the water content of the face.
前記の課題を解決するために、本発明に係る推定方法は、施工中のトンネルのある切羽の測定データに基づいて専門家により判定された、当該ある切羽の性状の判定結果を取得する判定結果取得ステップと、前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データの中から、前記判定結果取得ステップにおいて取得された前記判定結果と一致または類似する判定結果を含んだ教師データを、再学習用教師データとして1つ以上抽出する抽出ステップと、前記抽出ステップにおいて抽出された1つ以上の再学習用教師データを用いて、前記種々の切羽の測定データと、前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習ステップと、を含み、前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含む。前記の推定方法によれば、前記切羽性状推定装置と同様の効果を奏する。 In order to solve the above-mentioned problems, an estimation method according to the present invention is a determination result of acquiring a determination result of a certain face property determined by an expert based on measurement data of a certain face of a tunnel under construction. an acquiring step, and from among teacher data composed of a combination of measurement data for various faces including the certain face and the determination results corresponding to each of the various faces, the determination result acquired in the determination result acquisition step An extraction step of extracting one or more pieces of teacher data containing determination results that match or are similar to the determination result as relearning teacher data , and using the one or more relearning teacher data extracted in the extraction step. , a re-learning step of re-learning a learned model obtained by machine-learning the correlation between the measurement data of the various faces and the determination results corresponding to the various faces, wherein the measurement data is At least one of a stereo image and a three-dimensional image, and a spectral image. According to the estimation method, the same effects as those of the face property estimation device can be obtained.
前記推定方法において、前記測定データは、近赤外写真を含んでいてもよい。 In the estimation method, the measurement data may include near-infrared photographs.
近赤外写真からは、切羽が含有する水量(有水量)を特定することができる。したがって、前記の推定によれば、切羽性状のうち、有水量についてより精密に特定することが可能な学習済モデルを構築することができる。また、該学習済モデルを用いて切羽性状の推定を行う場合に、切羽の有水量について、より精密な推定結果を得ることができる。 From the near-infrared photograph, the amount of water contained in the face (water content) can be specified. Therefore, according to the above estimation, it is possible to construct a trained model capable of more precisely specifying the water content among the face properties. Moreover, when the face property is estimated using the learned model, a more precise estimation result can be obtained for the water content of the face.
本発明の一態様によれば、施工中のトンネルにおける切羽性状の推定に適合した学習済モデルを構築することができる。 According to one aspect of the present invention, it is possible to construct a trained model suitable for estimating face properties in a tunnel under construction.
〔実施形態1〕
≪システム概要≫
図1は、本実施形態に係る切羽推定システム100の概要を示す図である。切羽推定システム100は、切羽性状を推定する学習済モデルを、より適切なモデルになるよう再学習させるためのシステムである。
[Embodiment 1]
≪System Overview≫
FIG. 1 is a diagram showing an outline of a
ここで、「切羽性状」とは、切羽の岩質、風化度合、凹凸度合、亀裂の有無、水の有無、含有する水量(有水量)等、切羽およびその周辺の地質の性質または状態に関する情報を意味する。切羽性状は、専門家が種々の測定データを参照して判定することができる。本実施形態において「専門家」とは、地質学の専門家または地質技術者等、切羽性状の判定を下す技能を有する者を示す。端末装置3は、入力された切羽性状の判定結果を示す情報を、推定装置1へと送信する。以降、切羽性状の判定結果を示す情報を、判定結果情報と称する。
Here, "face property" means information on the geological properties or conditions of the face and its surroundings, such as the lithology of the face, the degree of weathering, the degree of unevenness, the presence or absence of cracks, the presence or absence of water, the amount of water contained (water content), etc. means The face properties can be determined by an expert with reference to various measurement data. In the present embodiment, the term "expert" refers to a person skilled in determining face properties, such as a geological expert or geotechnical engineer. The terminal device 3 transmits to the
切羽推定システム100は、例えば、測定装置2と、端末装置3と、推定装置1と、記憶装置4とを含む。なお、端末装置3は必須の構成ではない。推定装置1と端末装置3、推定装置1と記憶装置4、端末装置3と記憶装置4とは互いに通信可能に接続されている。
The
測定装置2は、施工中のトンネルの切羽に関する測定を行うための装置である。本実施形態において測定装置2は、切羽を被写体として、下記(1)および(2)を撮影する。
(1)異なる視点からの複数の単眼画像
(2)異なる波長帯の電磁波を記録した複数の画像
測定装置2は、ステレオ画像および三次元画像のうち、少なくとも一方を生成する。「ステレオ画像」とは、(1)の複数の単眼画像自体、または(1)の画像群から生成される、立体視が可能な画像である。また、「三次元画像」とは、(1)の複数の単眼画像から生成される、三次元の立体画像である。また、測定装置2は、(2)から、スペクトル画像を生成する。「スペクトル画像」とは、(2)の画像の少なくとも1つから生成される、複数の波長帯の電磁波を記録した画像である。スペクトル画像には、可視光線、紫外線、赤外線、遠赤外線等の少なくともいずれかの波長帯の電磁波が記録される。以降、測定装置2が生成したデータを「測定データ」と称する。すなわち、本実施形態では、測定データには、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像とが含まれる。なお、測定データには、これらの画像の元となる(1)(2)の画像群が含まれていてもよい。
The measuring
(1) Multiple Monocular Images from Different Viewpoints (2) Multiple Images Recording Electromagnetic Waves in Different Wavelength Bands The measuring
測定装置2の測定データは、端末装置3に供給される。例えば、測定装置2は、有線または無線で接続している端末装置3に、測定データを送信する。または、測定装置2は、USBフラッシュメモリおよびSDカード等の外部記録媒体に測定データを記録させてもよい。そして、前記外部記録媒体を端末装置3に接続させ、端末装置3に読み取らせてもよい。これにより、測定装置2から端末装置3に測定データを移すことができる。このように、外部記録媒体を介して測定データを供給する場合、測定装置2と端末装置3との通信接続は不必須である。
Measurement data from the
端末装置3は、測定データを専門家が閲覧するための装置である。また、端末装置3は、専門家が、自身が閲覧した測定データが示す切羽についての、切羽性状の判定結果を入力するための装置である。端末装置3は、入力された切羽性状の判定結果を示す情報を推定装置1に送信する。以降、切羽性状の判定結果を単に「判定結果」とも称する。また、該判定結果を示す情報を「判定結果情報」と称する。
The terminal device 3 is a device for viewing measurement data by an expert. Further, the terminal device 3 is a device for the expert to input the determination result of the face properties of the face indicated by the measurement data browsed by him/herself. The terminal device 3 transmits to the
端末装置3はまた、受信した測定データと、該測定データに対応する判定結果とを対応付けて、記憶装置4に送信する。記憶装置4において、該測定データと判定結果との組は1つの教師データとして記憶される。すなわち、教師データは、種々の切羽についての測定データと、前記種々の切羽それぞれに対応する判定結果との組み合わせから成る。なお、端末装置3は、判定結果情報ではなく教師データを推定装置1に送信してもよい。
The terminal device 3 also associates the received measurement data with the determination result corresponding to the measurement data and transmits them to the storage device 4 . In the storage device 4, a set of the measurement data and the judgment result is stored as one teacher data. In other words, the teacher data is a combination of measurement data for various faces and determination results corresponding to each of the various faces. Note that the terminal device 3 may transmit teacher data to the
推定装置1は、学習済モデルに再学習を実行させる装置である。推定装置1は、端末装置3から受信した判定結果情報または教師データに基づいて、記憶装置4から学習済モデルの再学習に用いる教師データを抽出する。推定装置1は、当該再学習に用いる教師データを用いて、学習済モデルの再学習を実行する。ここで、学習済モデルは、種々の切羽についての測定データと判定結果との相関関係を機械学習させたモデルである。
The
記憶装置4は、教師データを複数個記憶している記憶装置である。記憶装置4において教師データは、該教師データに含まれる測定データの測定地域に応じて、複数のデータセットに分類されて記憶されていてもよい。なお、ここで言う「地域」とは地山の地質学的性状から区分される地域であり、地理上の地域と必ずしも一致しない。記憶装置4は、推定装置1からの要求に応じて記憶している教師データを読み出して、推定装置1に送信する。
The storage device 4 is a storage device that stores a plurality of teacher data. In the storage device 4, the training data may be classified and stored in a plurality of data sets according to the measurement area of the measurement data included in the training data. The term "area" used here refers to an area classified according to the geological properties of the ground, and does not necessarily correspond to a geographical area. The storage device 4 reads out the stored training data in response to a request from the
トンネルを施工する際、切羽性状の判定は施工の進捗に合わせて複数回行われることが一般的である。また、切羽の性状は一律の条件で判定するよりも、切羽周辺の地山の地質に基づいて、総合的に判定することが望ましい。 When constructing a tunnel, it is common to determine the face properties multiple times according to the progress of the construction. In addition, it is desirable to comprehensively determine the properties of the face based on the geology of the ground around the face, rather than determining it under uniform conditions.
図1に示す切羽推定システム100によれば、ある切羽の性状についての判定結果と、結果が一致または類似している教師データを用いて、学習済モデルに再学習を実行させる。ここで、「ある切羽」とは、再学習を実行した後の学習済モデルを用いて、切羽の性状推定を実行する予定の地山に在る切羽である。より具体的には、「ある切羽」とは、例えば施工中のトンネルの切羽等である。これにより、施工中のトンネルにおける切羽性状の推定に適合した学習済モデルを構築することができる。
According to the
また、地山の岩質または土質は、地域によってその傾向が異なる。例えば、同じ岩質であっても、地域によって切羽の見た目が異なる場合もある。また、同じ岩質の切羽でも、風化度合によって見た目が異なる場合がある。したがって、切羽性状を推定する学習済モデルを構築する場合、推定を実施する切羽の存在する、すなわち、施工中のトンネルの存在する地域における測定データおよび切羽性状の判定結果を教師データとして、学習済モデルを構築することが望ましい。 In addition, the tendency of rock quality or soil quality of the natural ground varies depending on the region. For example, even if the lithology is the same, the appearance of the face may differ depending on the region. In addition, even the face of the same rock quality may look different depending on the degree of weathering. Therefore, when building a trained model for estimating the face properties, the measured data in the area where the face to be estimated exists, that is, the tunnel under construction, and the judgment results of the face properties are used as teacher data. Building a model is desirable.
しかしながら、同じ地域で得られる測定データの数は限られており、また、該測定データの内容は似通ったものになることが多い。ゆえに、同じ地域で得られる教師データの数は限られている上、それぞれが似通った教師データになることが多い。例えば施工中のトンネルの切羽の測定および性状判定を教師データとして、学習済モデルを構築した場合、似通った教師データが多くなる虞がある。そして、このような似通った教師データを用いて機械学習を実行させると、学習済モデルの汎用性が失われてしまい、切羽性状を推定可能な範囲(例えば、推定可能な地域)が限定されてしまう虞がある。 However, the number of measurement data obtained in the same area is limited, and the content of the measurement data is often similar. Therefore, the number of training data that can be obtained from the same area is limited, and moreover, they often become similar training data. For example, when a trained model is constructed using the face measurement and property judgment of a tunnel under construction as teacher data, there is a risk that the number of similar teacher data will increase. When machine learning is performed using such similar training data, the versatility of the trained model is lost, and the range in which the face properties can be estimated (for example, the area in which the face properties can be estimated) is limited. There is a risk that it will be lost.
これに対し、切羽推定システム100によれば、ある切羽の性状についての判定結果と結果が一致または類似している教師データを、記憶装置4から抽出して再学習を実行する。ここで抽出する教師データは、同じ地域の測定データ由来の教師データとは限らない。したがって、同じ地域で得られる測定データの数が限られている場合でも、教師データの多様性を担保することができる。
In contrast, the
上述の通り、切羽推定システム100において、端末装置3は必須構成ではない。切羽推定システム100が端末装置3を含まない場合、推定装置1が端末装置3の機能を兼ねていてもよい。すなわち、切羽推定システム100において、端末装置3と推定装置1とは一体に構成されていてもよい。この場合、推定装置1は、測定装置2から測定データを取得するための、測定データ取得部を備える。また、測定装置2は推定装置1に測定データを送信する。そして、専門家は推定装置1において測定データを閲覧してもよい。そして、専門家は、推定装置1に対し判定結果を入力してもよい。
As described above, in the
≪要部構成≫
図2は、切羽推定システム100に含まれる装置の要部構成を示すブロック図である。なお、図2では端末装置3も併せて図示しているが、切羽推定システム100において、端末装置3は必須の構成ではない。
≪Main part composition≫
FIG. 2 is a block diagram showing the essential configuration of the devices included in the
(測定装置2)
測定装置2は、少なくとも、ステレオカメラ22と、スペクトルカメラ23とを含む。さらに、測定装置2は制御部20と、通信部21と、光源24と、記憶部25のうち1つ以上の構成を含んでいてもよい。また、測定装置2はボタン、マウス、およびタッチパネル等の入力部と、ディスプレイ等の表示部を含んでいてもよい。
(Measuring device 2)
The
ステレオカメラ22は、切羽のステレオ画像、または三次元画像を生成するための画像を撮影するためのカメラである。切羽全体のステレオ画像を撮影可能であれば、ステレオカメラ22の詳細な構造および性能は特に限定されない。
The
スペクトルカメラ23は、切羽のスペクトル画像を生成するための画像を撮影するためのカメラである。切羽の少なくとも一部分のスペクトル画像を撮影可能であれば、スペクトルカメラ23の詳細な構造および性能は特に限定されない。
The
測定装置2において、ステレオカメラ22とスペクトルカメラ23は、同じ撮影対象を同じ向きおよび角度で撮影可能なように配置および固定されていることが望ましい。また、測定装置2は、トンネルの切羽付近まで測定装置2を運搬可能な移動体に搭載されていることが望ましい。これにより、切羽撮影のために施工が中断される時間を短縮することができる。例えば、測定装置2はトラックの荷台に固定され、切羽付近まで運搬される。
In the
光源24は、ステレオカメラ22およびスペクトルカメラ23の少なくとも一方が画像を撮影する際の、標準光源である。光源24は、例えば発光ダイオードを用いたライトで実現可能である。光源24を用いることによって、トンネル内の光(例えば、工事のためのライト等の光)、すなわちバックグラウンドの光の、撮影画像に対する影響を少なくすることができる。
光源24の光は、太陽光と同程度の色および強度であることが望ましい。例えば、光源24の光は、彩度が所定の範囲内である光であることが望ましい。ここで、所定の範囲とは、例えば人間の目で光源24の光を見た場合に、白色光に見える程度の彩度の値の範囲を示す。また例えば、光源24の光を、白色光に見えるような色相の光としてもよい。また、光源24の光を色温度が3500ケルビン以上5000ケルビン以下程度の白色光としてもよい。これにより、光源24の光の色が撮影画像に与える影響を最小限にすることができる。また、光源24は平面から拡散光を照射可能なフラット光源であることが望ましい。これにより、撮影の際に均等に光を照射することができる。
The light from
通信部21は、測定装置2と他の装置との通信を行う通信インタフェースである。例えば、通信部21は、制御部20の制御に従って端末装置3と通信する。例えば、通信部21は、制御部20から入力された測定データを端末装置3に送信する。また、通信部21は、図示しない他の装置から、測定装置2での撮影開始の指示を受信してもよい。撮影開始の指示を受信した場合、通信部21は該指示を制御部20に出力する。
The
制御部20は、測定装置2を統括的に制御する。制御部20は、ステレオカメラ22およびスペクトルカメラ23を制御して、それぞれに切羽を撮影させる。例えば制御部20は、通信部21を介して他の装置から受信した撮影開始指示に応答して、ステレオカメラ22およびスペクトルカメラ23に撮影を実行させてもよい。また例えば、制御部20は測定装置2に備えられたまたは測定装置2に接続された、入力装置等を介して、撮影開始を指示するユーザの入力操作を受け付けてもよい。そして、該入力操作を受け付けた場合、制御部20はステレオカメラ22およびスペクトルカメラ23に撮影を実行させてもよい。
The
ステレオカメラ22による撮影と、スペクトルカメラ23による撮影は、同タイミング、さらに望ましくは略同時に、実行される。制御部20はステレオ画像および三次元画像の少なくとも一方と、スペクトル画像とを取得する。
The imaging by the
制御部20は、1回の測定で得られた測定データを対応付けてもよい。例えば、制御部20は、同タイミングの撮影画像から生成された、ステレオ画像および三次元画像の少なくとも一方とスペクトル画像とを対応付けてよい。制御部20は、1回の測定毎に測定データを記憶部25に記憶させる。なお、測定データに含まれる各画像の対応付けを行う際、制御部20は、各画像に写った切羽の位置合わせを行ってもよい。
The
例えば、制御部20は、光学カメラの撮影領域を基準として、ステレオカメラ22およびスペクトルカメラ23の撮影領域を予め位置合わせした上で、撮影を行ってもよい。この場合、測定装置2は光学カメラ(図示せず)を備える。そして、制御部20は、光学カメラとスペクトルカメラ23を、各カメラの撮影領域の左上、左下、右上、右下いずれかの四隅の1点、または中央の1点が同じ位置になるように位置合わせする。次に、制御部20は、光学カメラとステレオカメラ22との撮影領域を、光学カメラとスペクトルカメラ23との位置合わせのときと同様に、四隅の1点または中央の1点が同じ位置になるように位置合わせする。これにより、測定装置2は、撮影を実行した際に、上述のいずれか1点で位置合わせされた画像を得ることができる。したがって、測定装置2は、位置合わせされたステレオ画像、三次元画像、およびスペクトル画像を生成することができる。
For example, the
もしくは、測定装置2または端末装置3にて切羽画像の編集ソフトウェアを実行し、当該ソフトウェアを用いて、測定データに含まれる各画像の位置合わせを行ってもよい。例えば、一般的な切羽エディターのソフトウェアにおいて、切羽の形状図と、測定データに含まれる各画像の切羽の輪郭とを重ねあわせることで、両者の画像を位置合わせしてもよい。
Alternatively, face image editing software may be executed on the
また、制御部20は端末装置3からの要求に応じて、記憶部25に記憶された測定データを読み出して、該測定データを、通信部21を介して端末装置3に送信してもよい。また、制御部20は1回の測定毎に測定データを自律的に端末装置3に送信してもよい。
Further, the
また、測定装置2が光源24を含む場合、制御部20は光源24の位置および向きのうち少なくとも一方を制御してもよい。また、測定装置2が光源24を含む場合、制御部20は光源24の光の強さおよび色のうち少なくとも一方を制御してもよい。
Moreover, when the
記憶部25は、測定装置2の処理に必要な各種データを記憶する記憶装置である。また、記憶部25は、測定データを記憶する。本実施形態では、記憶部25は、ステレオカメラ22の撮影した単眼画像に基づくステレオ画像および三次元画像の少なくとも一方と、スペクトルカメラ23の撮影した画像に基づくスペクトル画像とを測定データとして記憶する。
The
(端末装置3)
端末装置3は、例えばパーソナルコンピュータ(PC)等である。端末装置3は、測定データを表示する表示部と、専門家が判定結果を入力するための、マウス、ボタン、キーボード等の入力部とを含む。また、端末装置3は推定装置1および測定装置2と通信するための通信部を有する。また、端末装置3は、外部記録媒体を接続するためのインタフェースを有する。
(Terminal device 3)
The terminal device 3 is, for example, a personal computer (PC) or the like. The terminal device 3 includes a display section for displaying measurement data, and an input section such as a mouse, buttons, and keyboard for the expert to input determination results. Also, the terminal device 3 has a communication unit for communicating with the
端末装置3は、推定装置1に判定結果情報を送信する。また、端末装置3は、測定装置2から取得した測定データと、専門家によって入力された、該測定データに対する判定結果と、を対応付けて、記憶装置4に送信する。すなわち、端末装置3は教師データを作成して記憶装置4に送信する。なお、端末装置3は、推定装置1に判定結果情報ではなく教師データを送信してもよい。
The terminal device 3 transmits determination result information to the
また、端末装置3は、自装置に接続された外部記録媒体に、作成した教師データを記録させてもよい。そして、記憶装置4は、前記外部記録媒体が接続された場合、外部記憶媒体から教師データを読み取って記憶してもよい。 Also, the terminal device 3 may record the created teacher data in an external recording medium connected to the terminal device 3 itself. When the external storage medium is connected, the storage device 4 may read and store the teacher data from the external storage medium.
(推定装置1)
推定装置1は、通信部11と、記憶部12と、制御部(切羽性状推定装置)10とを含む。なお、推定装置1は、外部記録媒体を接続することが可能なインタフェースを備えていてもよい。例えば、推定装置1はUSBフラッシュメモリまたはSDカード等を接続可能なインタフェースを備えていてもよい。また、推定装置1はボタン、マウス、およびタッチパネル等の入力部と、ディスプレイ等の表示部を含んでいてもよい。なお、切羽推定システム100が端末装置3を含まない場合、推定装置1は、端末装置3としての機能を実現するため、前述した端末装置3の各種部材に相当する構成を備えている。
(Estimation device 1)
The
通信部11は、推定装置1と他の装置との通信を実現する。通信部11は、端末装置3、および記憶装置4と通信を行う。例えば、通信部11は端末装置3から判定結果情報または教師データを受信する。例えば、通信部11は記憶装置4から再学習用データセットを受信する。なお、外部記録媒体を介して判定結果情報を取得する場合、通信部11は端末装置3との通信を行わなくてもよい。また例えば、通信部11は記憶装置4から再学習用データセットを受信する。なお、切羽推定システム100が端末装置3を含まない場合、通信部11は、測定装置2から測定データを受信し、該測定データを制御部10に出力する。
The
記憶部12は、推定装置1の処理に必要なデータを記憶する記憶装置である。記憶部12は、学習済モデル121を記憶する。学習済モデル121は、種々の切羽のステレオ画像および三次元画像の少なくとも一方、ならびにスペクトル画像と、判定結果との相関関係を機械学習させた学習済モデルである。学習済モデル121の構造は特に限定されない。例えば、学習済モデル121は、CNN(Convolution al Neural Network、畳み込みニューラルネットワーク)構造を有するモデルで実現可能である。本実施形態に係る切羽推定システム100では、一例として、AlexNetのモデル構造を有する学習済モデル121を用いることとして説明を行う。
The
また、学習済モデル121を最初に構築するための学習方法、および学習用のデータセットの内容も特に限定されない。例えば、過去に施工した、種々の地域におけるトンネルの切羽の測定データと、各切羽についての切羽性状の判定結果との組み合わせを、学習用の教師データとしてもよい。学習済モデル121は、後述する再学習部104によって再学習が行われる。
Also, the learning method for initially constructing the trained
なお、記憶部12は推定装置1の外部装置であってもよい。例えば、記憶部12は、推定装置1と通信可能に接続されたサーバ等の記憶装置であってもよい。
Note that the
制御部10は、推定装置1を統括的に制御する。制御部10は、判定結果取得部101と、データセット決定部102と、抽出部103と、再学習部104と、を含む。
The
判定結果取得部101は、判定結果情報または教師データを取得する。推定装置1と端末装置3とが通信接続されている場合、判定結果取得部101は、通信部11を介して端末装置3から判定結果情報または教師データを取得する。また、外部記録媒体を介して判定結果情報または教師データの受け渡しを行う場合、判定結果取得部101は、推定装置1のインタフェースに接続された外部記録媒体から、判定結果情報または教師データを読み出す。判定結果取得部101は、判定結果情報または教師データをデータセット決定部102に出力する。
The determination result
データセット決定部102は、判定結果情報または教師データに応じて、記憶装置4の再学習用データセット41から、学習済モデル121の再学習に用いるデータセットを1つ以上決定する。例えば、データセット決定部102は、記憶装置4にアクセスして再学習用データセット41を参照して、再学習に用いるデータセットを決定する。データセット決定部102は決定したデータセットを示す情報を、抽出部103に出力する。
The data
より詳しくは、データセット決定部102は少なくとも、判定結果情報が示す判定結果と一致または類似する判定結果を含んだ教師データを特定し、当該教師データを含んだデータセットを、再学習に用いるデータセットとして決定する。
More specifically, the
なお、データセット決定部102は、判定結果取得部101から教師データを取得した場合、当該教師データのうち「正解データ」である判定結果と、一致または類似する判定結果を含んだ教師データを特定し、当該教師データを含んだデータセットを、再学習に用いるデータセットとして決定してもよい。
When the data
判定結果取得部101から教師データを取得した場合、データセット決定部102は、教師データに含まれる判定結果と一致または類似する判定結果を含み、かつ、取得した教師データに含まれる測定データ(すなわち、判定結果に対応する測定データ)の少なくともいずれかのパラメータが一致または類似する教師データを、再学習用データセット41の一群から特定してもよい。
When the teacher data is acquired from the determination
そして、データセット決定部102は、該特定した教師データを含むデータセットを、再学習に用いるデータセットとして決定してもよい。例えば、測定データに測定地域の名称、測定地点の山の名称、山脈名等、測定地点を地理的に示す情報、および測定日時を示す情報等が含まれていてもよい。この場合、上述のように測定データを加味して再学習を行うことで、学習済モデル121を、切羽性状の推定を実施する地域および日時により適合したモデルにすることができる。
Then, the
抽出部103は、データセット決定部102が決定した1つ以上のデータセット、すなわち1つ以上の教師データを、記憶装置4の再学習用データセット41から抽出する。抽出部103は抽出した1つ以上のデータセットを再学習部104に出力する。
The
再学習部104は、抽出部103が取得したデータセットに含まれている、1つ以上の教師データを再学習用教師データとして用いて、学習済モデル121を再学習させる。再学習の方法は特に限定されない。
The relearning
記憶装置4は、再学習用データセットの一群を記憶する記憶装置である。以降、再学習用データセットの一群をまとめて再学習用データセット41と呼称する。再学習用データセット41は、再学習用教師データを1つ以上含んだデータセットの一群である。再学習用データセット41の各データセットは、測定データの測定地域、すなわち、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像との撮影地域に応じて、教師データを分類したものである。記憶装置4は、推定装置1からの要求に応じて、再学習用データセット41から再学習用データセットを読み出して、推定装置1に送信する。なお、上述した記憶部12と記憶装置4とは一体に構成されていてもよい。すなわち、学習済モデル121と、再学習用データセット41とは同じ記憶装置に格納されていてもよい。
The storage device 4 is a storage device that stores a group of relearning data sets. Hereinafter, a group of relearning data sets will be collectively referred to as a relearning
切羽の性状は一律の条件で判定するよりも、切羽周辺の地山の地質に基づいて、総合的に推定されることが望ましい。前記の構成によれば、施工中のトンネルにおける切羽性状の推定に、より適合した学習済モデルを構築することができる。 It is preferable to comprehensively estimate the properties of the face based on the geology of the ground around the face, rather than determining it under uniform conditions. According to the above configuration, it is possible to construct a learned model that is more suitable for estimating the face properties of a tunnel under construction.
≪学習済モデルの詳細≫
図3は、本実施形態に係る学習済モデル121の一例を模式的に示した図である。図示の通り、学習済モデル121には、測定データが入力される。図3の例では、測定データとして、ステレオ画像と、スペクトル画像とが入力されることとする。ステレオ画像における切羽の位置と、スペクトル画像における切羽の位置とは位置合わせされていることが望ましい。
<<Details of trained model>>
FIG. 3 is a diagram schematically showing an example of the trained
学習済モデル121は、例えば、畳み込み層と、プーリング層と、結合層とから成る。畳み込み層において、入力データはフィルタリングによる情報の畳み込みがなされる。畳み込みを経たデータは、プーリング層においてプーリング処理が施される。これにより、データ中の特徴の位置変化に対するモデルの認識能力を向上させることができる。プーリング処理を経たデータは、結合層で処理されることによって、学習済モデル121の出力データ、すなわち、切羽性状の推定結果の形式に変換されて出力される。
The trained
すなわち、学習済モデル121に入力された測定データを、図3に示す各層をこれらの順に通過させることにより、最終的に、切羽の岩質、風化度合、凹凸度合、亀裂の有無、水の有無等、切羽性状の推定結果が出力される。なお、推定結果の出力形式は特に限定されない。例えば、各種性状は指標値として数値で示されてもよいし、「亀裂有り」「無し」等の2値で示されてもよい。もしくは、各種性状の推定結果はテキストデータで示されてもよい。
That is, by passing the measurement data input to the trained
≪処理の流れ≫
図4は、推定装置1における、学習済モデルの再学習に係る処理の流れを示すフローチャートである。なお、同図は、推定装置1が端末装置3から判定結果情報を取得する場合の処理の流れを示している。
<<Process flow>>
FIG. 4 is a flow chart showing the flow of processing related to re-learning of a trained model in the
推定装置1の判定結果取得部101は、端末装置3から判定結果情報を取得する(S10)。判定結果取得部101は、判定結果情報をデータセット決定部102に出力する。データセット決定部102は、入力された判定結果情報が示す判定結果に基づいて、学習済モデル121の再学習に用いるデータセットを決定する(S11)。データセット決定部102は、決定したデータセットを示す情報を、抽出部103に出力する。
The determination result
抽出部103はデータセット決定部102の決定した再学習用データセットを、記憶装置4の再学習用データセット41から抽出して取得する(S12)。抽出部103は取得したデータセットを再学習部104に出力する。再学習部104は、抽出部103から入力されたデータセットを用いて、学習済モデル121に再学習を行わせる(S13)。
The
〔実施形態2〕
本発明の一態様に係る推定装置は、測定データを取得する測定データ取得部と、種々の切羽の測定データを、再学習を実行した後の学習済モデル121に入力することによって、測定データが示す各切羽の性状を推定する推定部と、を備えていてもよい。
[Embodiment 2]
The estimation device according to an aspect of the present invention inputs the measurement data acquisition unit that acquires the measurement data, and the measurement data of various faces into the trained
また、前述の推定部は、ある切羽の測定データを、再学習を実行する前の学習済モデル121に入力することによって、ある切羽の性状を事前推定してもよい。そして、ある切羽の判定結果は、推定部がある切羽の性状を事前推定した結果を修正することによって作成されたものであってもよい。
Further, the above-described estimation unit may pre-estimate the properties of a certain face by inputting the measurement data of a certain face into the trained
このように、切羽の性状を事前推定または推定する場合、推定装置5は図示しない表示部等に、推定部の推定結果を表示してもよい。もしくは、推定装置5はプリンタ等の出力装置と接続されており、該推定結果を、該出力装置を介して出力することとしてもよい。
In this way, when preestimating or estimating the properties of the face, the
以下、本発明の実施形態2について説明する。なお、説明の便宜上、前述の実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは、以降の実施形態についても同様である。 A second embodiment of the present invention will be described below. For convenience of description, members having the same functions as those of the members described in the first embodiment are denoted by the same reference numerals, and description thereof will not be repeated. This also applies to subsequent embodiments.
≪システム概要≫
図5は、本実施形態に係る切羽推定システム200の概要を示す図である。切羽推定システム200は、推定装置1が推定装置5に代わった構成である。切羽推定システム200は、測定装置2が端末装置3と推定装置5へ測定データを送信する点、および、推定装置5から端末装置3へ、切羽性状の推定結果を送信する点で、実施形態1に係る切羽推定システム100と異なる。
≪System Overview≫
FIG. 5 is a diagram showing an overview of the
推定装置5は、学習済モデル121を用いて、測定データから該測定データの示す切羽の性状を事前推定する。ここで、事前推定とは、学習済モデル121を再学習させる前に行う推定のことを示す。推定装置5は事前推定の結果(事前推定結果)を端末装置3に送信する。端末装置3を操作する専門家は、測定データと、推定装置5の事前推定結果とを閲覧し、該事前推定結果に誤りがある場合は、該事前推定結果を正しい結果に修正することにより、切羽性状の判定結果を作成してもよい。端末装置3は判定結果情報または教師データを、推定装置5に送信する。なお、教師データに含まれる判定結果も、上述のように事前推定結果を修正することにより得られた判定結果となる。
The
また、推定装置5は、再学習後の学習済モデル121を用いて、測定データから該測定データの示す切羽の性状を推定してもよい。そして、推定結果は、プリンタ等の出力装置を介して出力されてもよい。
Also, the
前記の構成によれば、再学習後の学習済モデル121を用いて、測定データから切羽の性状を推定することができる。再学習後の学習済モデル121は、再学習前の学習済モデル121よりも、そのトンネルの切羽の性状を推定するのに適合したモデルである。したがって、前記の構成によれば、再学習後の学習済モデル121を用いた切羽性状の推定を高精度で実行することができる。
According to the above configuration, the properties of the face can be estimated from the measurement data using the learned
また、前記の構成によれば、専門家に再学習前の学習済モデル121の事前推定結果を修正させることによって誤りのない判定結果を得ることができる。したがって、学習済モデル121の事前推定結果に応じた、切羽性状の判定結果に基づいて、再学習用データセットを抽出することができる。したがって、再学習により適したデータセットを抽出することができる。
Moreover, according to the above configuration, an error-free determination result can be obtained by having an expert correct the pre-estimation result of the trained
なお、図5では、測定装置2から端末装置3および推定装置5の両方に測定データを送信する例について記載している。しかしながら、切羽推定システム200では、測定装置2は推定装置5を介して端末装置3に測定データを送信することとしてもよい。具体的には、推定装置5は推定結果を端末装置3に送信するときに、該推定結果に対応する測定データをともに端末装置3に送信してもよい。
Note that FIG. 5 describes an example in which measurement data is transmitted from the measuring
≪要部構成≫
図6は、切羽推定システム200に含まれる各種装置の要部構成を示すブロック図である。切羽推定システム200は、推定装置1にかわり推定装置5を含んでいる点で、切羽推定システム100と異なる。
≪Main part composition≫
FIG. 6 is a block diagram showing the main configuration of various devices included in the
なお、切羽推定システム100と同様、切羽推定システム200においても、外部記録媒体を介して測定装置2、端末装置3、記憶装置4、および推定装置5の間の各種データの受け渡しを実現してもよい。推定装置5は、推定装置1に含まれる各種構成に加えて、測定データ取得部105と、推定部106と、を含む。
In the same manner as the
測定データ取得部105は、測定データを取得する。推定装置5と測定装置2とが通信接続されている場合、測定データ取得部105は、通信部11を介して測定装置2から測定データを取得する。また、外部記録媒体を介して測定データの受け渡しを行う場合、測定データ取得部105は、推定装置5のインタフェースに接続された外部記録媒体から、測定データを読み出す。測定データ取得部105は、測定データを推定部106に出力する。
The measurement
推定部106は、再学習後の学習済モデル121に測定データを入力することにより、切羽性状を事前推定する。また、推定部106は、再学習前の学習済モデル121に測定データを入力することにより、切羽性状を推定してもよい。推定部106は、事前推定結果を、通信部11を介し端末装置3に送信する。
The estimating
端末装置3は、測定データと、推定装置5の事前推定結果とを専門家に向けて表示する。また、端末装置3は、事前推定結果を修正するための入力操作を受け付ける。端末装置3は、修正された事前推定結果、すなわち切羽性状の判定結果を作成して、該判定結果を示す判定結果情報を推定装置5に送信する。また、端末装置3は該判定結果を含む教師データを作成して、記憶装置4に送信する。なお、端末装置3は、判定結果情報ではなく教師データを推定装置5に送信してもよい。
The terminal device 3 displays the measurement data and the preliminary estimation result of the
≪処理の流れ≫
図7は、推定装置5の実行する処理の流れの一例を示すフローチャートである。なお、同図は、推定装置5が、端末装置3から判定結果情報を取得する場合の処理の流れを示している。測定データ取得部105は、測定装置2から測定データを取得する(S20)。測定データ取得部105は、測定データを推定部106に出力する。推定部106は、測定データを学習済モデル121に入力して(S21)、学習済モデル121から出力される切羽性状の事前推定結果を取得する(S22)。推定部106は、取得した事前推定結果を、通信部11を介して端末装置3に送信する(S23)。
<<Process flow>>
FIG. 7 is a flowchart showing an example of the flow of processing executed by the
端末装置3は、事前推定結果を取得すると、該事前推定結果と、それに対応する測定データとを表示する。端末装置3は専門家による、事前推定結果の修正を指示する入力操作を受け付ける。端末装置3は前記入力操作に従って事前推定結果を修正することで、切羽性状の判定結果を作成する。端末装置3は判定結果情報を推定装置5に送信する。
After obtaining the preliminary estimation result, the terminal device 3 displays the preliminary estimation result and the corresponding measurement data. The terminal device 3 receives an input operation by an expert to instruct correction of the pre-estimation result. The terminal device 3 corrects the preliminary estimation result in accordance with the input operation, thereby creating the determination result of the face properties. The terminal device 3 transmits determination result information to the
推定装置5の判定結果取得部101は、通信部11を介して端末装置3から判定結果情報を取得する(S24)。以降のS25~S27の処理は、図4のS11~S13と同様である。
The determination result
(変形例1)
なお、推定装置5は、端末装置3に事前推定結果を送信しない構成としてもよい。そして、端末装置3は実施形態1に記載の端末装置3と同様に、測定装置2から得られた測定データから専門家の判定結果を作成し、該判定結果を推定装置5に送信してもよい。
(Modification 1)
Note that the
この場合、推定装置5の判定結果取得部101は判定結果を受信し、データセット決定部102に出力する。また、推定装置5の推定部106は、学習済モデル121を用いて切羽性状を事前推定し、該事前推定結果をデータセット決定部102に出力する。以降の処理は、前述の実施形態2と同様である。
In this case, the determination
(変形例2)
また、データセット決定部102は、推定部106がある切羽の性状を事前推定した結果と、判定結果取得部101の取得した該ある切羽の性状の判定結果とを照合して、これらの少なくとも一部が異なる場合に、データセットを抽出すると決定してもよい。そして、再学習部104は、抽出部103が再学習用教師データを抽出した場合に、学習済モデル121に再学習を行わせてもよい。
(Modification 2)
In addition, the data set
前記の構成によれば、学習済モデル121の事前推定結果と、専門家の判定結果とを照合して、少なくとも一部が異なる場合に、再学習を実行する。再学習後の学習済モデル121は、再学習前の学習済モデル121よりも、そのトンネルの切羽判定に適合したモデルである。したがって、前記の構成によれば、再学習によって切羽性状の判定を高精度に実行可能な学習済モデル121を構築することができる。
(変形例3)
また、データセット決定部102は、推定部106がある切羽の性状を事前推定した結果と、判定結果取得部101の取得した該ある切羽の性状の判定結果とを照合して、これらの少なくとも一部が異なる場合に、データセットを抽出すると決定してもよい。そして、再学習部104は、抽出部103が再学習用教師データを抽出した場合に、学習済モデル121に再学習を行わせてもよい。
According to the above configuration, the pre-estimation result of the trained
(Modification 3)
In addition, the data set
また、データセット決定部102は、判定結果情報と一致または類似し、かつ、前記判定結果情報の判定結果に対応する測定データと一致または類似する測定データを含む教師データ(または教師データのデータセット)を、抽出対象の再学習用教師データ(またはデータセット)と決定してもよい。そして、前記抽出部103は、データセット決定部102が決定した教師データ(またはデータセット)を、再学習用教師データとして記憶装置4から抽出してもよい。例えば、測定データに測定地域の名称、測定地点の山の名称、山脈名等、測定地点を地理的に示す情報、および測定日時を示す情報等が含まれていてもよい。この場合、上述のように測定データを加味して再学習用教師データを抽出することで、学習済モデル121を、切羽性状の推定を実施する地域および日時により適合したモデルにすることができる。
In addition, the data set
(変形例4)
データセット決定部102は、測定データ取得部105から、ある切羽の測定データを取得してもよい。また、データセット決定部102は、判定結果取得部101から、当該ある切羽の判定結果情報を取得してもよい。また、データセット決定部102は、判定結果情報が示す判定結果と、当該判定結果に対応する測定データとを組み合わせて、教師データを作成してもよい。そして、データセット決定部102は、作成した教師データを抽出部103に出力してもよい。
(Modification 4)
The data
この場合、抽出部103は、作成された教師データを、抽出した再学習用の教師データ(例えば、再学習用データセット)と同様に取り扱う。すなわち、抽出部103は、当該作成された教師データを再学習部104に出力する。そして、再学習部104は、当該教師データを用いて学習済モデルに再学習させる。なお、データセット決定部102は、上述した教師データの作成に加え、実施形態2に示す再学習用データセットの決定も行ってよい。そして、抽出部103は、記憶装置4から当該再学習用データセットの抽出も行ってよい。この場合、抽出部103は、作成された教師データと、再学習用データセットとの両方を再学習部104に出力する。そして、再学習部104は、作成された教師データと、再学習用データセットとの両方を用いて、学習済モデル121に再学習を実行させる。前記の構成によれば、専門家の判定結果を用いて作成した教師データを用いて、学習済モデル121を再学習させることができる。これにより、学習済モデルに、適切な再学習を実行させることができる。
In this case, the
(変形例5)
また、データセット決定部102は、測定データと、該測定データを用いた場合の事前推定結果との関係性を解析してもよい。そして、データセット決定部102は、当該解析の結果を加味して、再学習用データセットを決定してもよい。ここで言う「解析」とは、例えば、学習済モデル121を用いて事前推定を行う際に、学習済モデル121が、測定データの何のデータのどの部分(例えば、どのパラメータまたはどの領域)に着目して、事前推定結果を出力したかについての解析である。以降、学習済モデル121の前述の着目点のことを単に「着目点」とも称する。
(Modification 5)
Also, the data set
より具体的に言えば、例えば、データセット決定部102は、スペクトル画像、三次元画像、およびステレオ画像の少なくともいずれかにおける着目点を特定してもよい。なお、当該特定の手法は特に限定されない。例えば、データセット決定部102は、Grad-CAM またはGuided Grad-CAMの技術を用いることで、着目点を特定することができる。
More specifically, for example, the
そして、データセット決定部102は、特定した着目点(すなわち、画像における着目領域)が類似する測定データを含んだ複数の教師データ(または該教師データを含むデータセット)を、再学習用データセットと決定してよい。これにより、学習済モデル121に、より効果的な再学習を実行させることができる。
Then, the
(変形例6)
また、学習済モデル121がCNN以外の構成も含む場合、データセット決定部102は、学習済モデル121がCNNからどのような影響を受けているかを特定してもよい。ここで、「CNN以外の構成」とは、例えばCNNにデータを入力する前の前処理工程のための構成、またはCNNの出力結果を推定結果の形式に変換する、後処理工程のための構成等である。そして、データセット決定部102は、学習済モデル121がCNNから受ける影響のうち、間違った影響については修正を行い、修正後のデータを再学習用データとして用いてもよい。
(Modification 6)
Moreover, when the trained
具体的には、データセット決定部102は、前述した変形例3と同様に、ある切羽についての事前推定結果と、判定結果取得部101の取得した該ある切羽についての判定結果とを照合する。次に、データセット決定部102は、照合結果において、事前推定結果が判定結果と異なっている箇所を「事前推定において、学習済モデル121がCNNから受けた、間違った影響」であると特定する。続いて、データセット決定部102は、特定した影響箇所を、判定結果に応じて修正して、測定データと、該修正した事前推定結果とを組み合わせたデータを再学習用教師データとして生成する。データセット決定部102は、該再学習用教師データを再学習部104に出力し、再学習部104は該再学習用教師データを用いて学習済モデル121に再学習を実行させる。これにより、学習済モデル121に、より効果的な再学習を実行させることができる。
Specifically, the data set
〔実施形態3〕
測定装置2は、ステレオカメラ22、スペクトルカメラ23に加えて、近赤外写真を撮影可能なカメラを備えていてもよい。そして、測定データには該カメラで撮影された、切羽の近赤外写真が含まれていてもよい。
[Embodiment 3]
In addition to the
この場合、切羽の性状の判定結果は、切羽のステレオ画像および三次元画像のうち少なくとも一方、スペクトル画像、および近赤外写真に基づいて専門家により判定された結果である。また、教師データに含まれている測定データにも、各切羽の近赤外写真が含まれる。また、学習済モデル121は、種々の切羽のステレオ画像および三次元画像のうち少なくとも一方、スペクトル画像、および近赤外写真と、前記判定結果との相関関係を機械学習させた学習済モデルである。
In this case, the result of determining the properties of the face is the result of determination by an expert based on at least one of the stereo image and the three-dimensional image of the face, the spectral image, and the near-infrared photograph. The measurement data included in the training data also includes near-infrared photographs of each face. In addition, the trained
近赤外写真からは、切羽が含有する水量(有水量)を精度良く特定することができる。したがって、前記の構成によれば、切羽性状のうち、有水量についてより精密に特定することが可能な学習済モデル121を構築することができる。また、該学習済モデル121を用いて切羽性状の推定(または事前推定)を行う場合に、切羽の有水量について、より精密な推定結果を得ることができる。
From the near-infrared photograph, the amount of water contained in the face (water content) can be specified with high accuracy. Therefore, according to the above configuration, it is possible to construct the learned
〔実施形態4〕
また、実施形態1~3に係るステレオカメラ22およびスペクトルカメラ23は、バンドパスフィルタ27が取り付けられた複数のカメラ群26で実現されてもよい。カメラ群26の各カメラのバンドパスフィルタ27は、それぞれ異なる波長帯域の光を透過する。これにより、カメラ群26からの複数枚の単眼画像に基づいて、スペクトル画像を生成することができる。また、カメラ群26からの複数枚の単眼画像は複眼画像であるともいえる。この複眼画像をステレオ画像として用いる、または、この複眼画像に基づいて、三次元画像を生成することができる。
[Embodiment 4]
Moreover, the
このようにカメラ群26を構成することにより、スペクトル画像の元画像を撮影するためのカメラと、ステレオ画像または三次元画像用の元画像を撮影するためのカメラとを分けて用意せずとも、同じカメラを用いて両方の画像生成に必要な元画像を撮影することができる。すなわち、一度の撮影で得られる複数枚の単眼画像に基づいて、ステレオ画像または三次元画像の少なくとも一方と、スペクトル画像とを生成することが出来る。なお、カメラ群26に含まれる単眼カメラの台数は、撮影対象範囲に応じて適宜設定されてよい。
By configuring the
また、実施形態1~3に係る学習済モデル121は、複数のサブモデルから構成されていてもよい。図8は、本実施形態に係る学習済モデル121の一例を模式的に示した図である。図示の通り、本実施形態において、学習済モデル121は、第1学習済モデル121-1と、第2学習済モデル121-2の2つのサブモデルから成る。なお、各サブモデルの構造は特に限定されない。例えば、第1学習済モデル121-1および第2学習済モデル121-2はそれぞれ、実施形態1に係る学習済モデル121と同様、AlexNetのモデル構造を有していてもよい。
Also, the trained
なお、図8は、ステレオカメラ22およびスペクトルカメラ23を、バンドパスフィルタ27が取り付けられた複数のカメラ群26で実現した場合の例を示している。しかしながら、図8で示す学習済モデル121の構成は、ステレオカメラ22とスペクトルカメラ23とをそれぞれ別個に設けた場合においても実現可能である。また、図8の例では、測定データには、三次元画像と、スペクトル画像とが含まれていることとする。
Note that FIG. 8 shows an example in which the
第1学習済モデル121-1は、複数のカメラの画像から生成されたスペクトル画像を入力すると、中間結果として、切羽性状のうちの風化度合、凹凸度合、および亀裂の有無を出力する学習済モデルである。第2学習済モデル121-2は、第1学習済モデル121-1の出力データである中間結果と、複数のカメラの画像から生成された三次元画像とを入力データとして、切羽性状の最終的な推定結果を出力するモデルである。例えば、図8の例では、第2学習済モデル121-2は、推定結果として岩質、風化度合、凹凸度合、亀裂の有無、および水の有無等の推定結果を出力する。 The first trained model 121-1 inputs spectral images generated from images of a plurality of cameras, and outputs the degree of weathering, the degree of unevenness, and the presence or absence of cracks among the face properties as intermediate results. is. The second trained model 121-2 uses, as input data, intermediate results, which are the output data of the first trained model 121-1, and three-dimensional images generated from images of a plurality of cameras, and the final face properties are It is a model that outputs accurate estimation results. For example, in the example of FIG. 8, the second trained model 121-2 outputs estimation results such as rock quality, degree of weathering, degree of unevenness, presence or absence of cracks, and presence or absence of water.
本実施形態に係る推定部106は、まず測定データのうちスペクトル画像を、第1学習済モデル121-1に入力することで、中間結果を得る。次に推定部106は、該中間結果と、測定データのうちの三次元画像とを第2学習済モデル121-2に入力することで、最終的な推定結果を得る。なお、推定部106は、切羽性状の推定と同様、第1学習済モデル121-1および第2学習済モデル121-2を用いて、切羽性状の事前推定も実行可能である。
The estimating
また、本実施形態に係る再学習部104は、学習済モデル121に再学習を実行させる場合、再学習用教師データに含まれる測定データを、各サブモデルの入力データに適合するよう、分解して再学習に用いてもよい。
Further, when causing the trained
このように、学習済モデル121を複数のサブモデルで構成することによって、切羽性状をより精密に推定することができる。例えば、一般的にスペクトル画像からは、切羽の風化度合、凹凸度合、亀裂の有無等を推定することができる。したがって、スペクトル画像を第1学習済モデル121-1に入力して推定を行い、次に推定結果と三次元画像とを合わせて、第2学習済モデル121-2で推定結果をブラッシュアップすることで、切羽性状のより精密な推定結果を得ることができる。なお、事前推定についても同様に、より精密な事前推定結果を得ることができる。
By configuring the trained
〔実施形態5〕
また、前記各実施形態に記載の推定部106は、ルールベースでの切羽性状の推定と、学習済モデル121での切羽性状の推定とを組み合わせて実施してもよい。この場合、記憶部12には、該ルールを定めたデータベース等が格納されている。
[Embodiment 5]
In addition, the
例えば、記憶部12は、スペクトル画像の所定の特徴と、該特徴に対応する岩質および風化度合の指標値とを対応付けたデータベース(DB)を格納していてもよい。そして、学習済モデル121は、該DBにおける岩質および風化度合の指標値、ならびにステレオ画像または三次元画像と、切羽性状の推定結果との相関関係を機械学習させた学習済モデルであってもよい。
For example, the
この場合、推定部106は、測定データ取得部105から測定データが入力されると、まず測定データのうちのスペクトル画像から特徴を特定し、該特徴に対応する岩質と風化度合の指標値とを、記憶部12のDBを参照して特定する。そして、推定部106は、特定した岩質と風化度合の指標値と、ステレオ画像または三次元画像とを学習済モデル121に入力することで、最終的な切羽性状の推定結果を取得する。なお、推定部106は、切羽性状の推定と同様、記憶部12のDBと学習済モデル121とを用いて、切羽性状の事前推定も実行可能である。
In this case, when the measurement data is input from the measurement
以上の構成によれば、測定データ、特に画像データ等、情報量の大きいデータを、まずルールベースで数値等の情報に変換してから、学習済モデル121での推定を行うことができる。これにより、切羽性状の推定にかかる処理量を減少させることができる。なお、事前推定についても同様に、事前推定にかかる処理量を減少させることができる。
According to the above configuration, measurement data, particularly data with a large amount of information, such as image data, can be first converted into information such as numerical values on a rule basis, and then estimated by the trained
また、前述したDBは、記憶装置4に記憶されていてもよい。そして、推定部106は、切羽性状の推定を行う際に、通信部11を介して記憶装置4のDBにアクセスしてもよい。
Also, the DB described above may be stored in the storage device 4 . Then, the
〔ソフトウェアによる実現例〕
推定装置1および5の制御ブロック(判定結果取得部101、データセット決定部102、抽出部103、再学習部104、測定データ取得部105、および推定部106のうち少なくとも1つ)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of realization by software]
Control blocks of
後者の場合、推定装置1および5は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. is also included in the technical scope of the present invention.
1、5 推定装置
2 測定装置
3 端末装置
4 記憶装置
10、20 制御部
11、21 通信部
12、25 記憶部
22 ステレオカメラ
23 スペクトルカメラ
24 光源
41 再学習用データセット
100、200 切羽推定システム
101 判定結果取得部
102 データセット決定部
103 抽出部
104 再学習部
105 測定データ取得部
106 推定部
121 学習済モデル
Claims (9)
前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データの中から、前記判定結果取得部が取得した前記判定結果と一致または類似する判定結果を含んだ教師データを、再学習用教師データとして1つ以上抽出する抽出部と、
前記抽出部により抽出された1つ以上の再学習用教師データを用いて、前記種々の切羽の測定データと、前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習部と、を備え、
前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含むことを特徴とする、切羽性状推定装置。 a determination result acquisition unit that acquires the determination result of the property of a tunnel face determined by an expert based on the measurement data of the tunnel face during construction;
The determination result obtained by the determination result obtaining unit matches or is selected from teacher data consisting of a combination of measurement data for various faces including the certain face and the determination result corresponding to each of the various faces. an extraction unit that extracts one or more teacher data containing similar determination results as relearning teacher data ;
Using one or more re-learning teaching data extracted by the extraction unit, machine learning of the correlation between the measurement data of the various faces and the determination results corresponding to the various faces. and a re-learning unit for re-learning the model,
A face property estimation apparatus, wherein the measurement data includes at least one of a stereo image and a three-dimensional image, and a spectrum image.
種々の切羽の前記測定データを、前記再学習を実行した後の前記学習済モデルに入力することによって、前記測定データが示す各切羽の性状を推定する推定部と、を備えることを特徴とする、請求項1に記載の切羽性状推定装置。 a measurement data acquisition unit that acquires the measurement data;
an estimating unit for estimating properties of each face indicated by the measurement data by inputting the measurement data of various faces into the trained model after the re-learning. , The face property estimating device according to claim 1.
前記ある切羽の判定結果は、前記推定部が前記ある切羽の性状を事前推定した結果を修正することによって作成されることを特徴とする、請求項2に記載の切羽性状推定装置。 The estimating unit pre-estimates the properties of the certain face by inputting the measurement data of the certain face into the learned model before executing the re-learning,
3. The face property estimating apparatus according to claim 2, wherein the judgment result of the certain face is created by correcting the result of preestimating the property of the certain face by the estimating unit.
前記再学習部は、前記抽出部が前記再学習用教師データを抽出した場合に、前記学習済モデルに前記再学習を行わせることを特徴とする、請求項3に記載の切羽性状推定装置。 When at least a part of the result of preestimation of the property of the certain face by the estimation unit and the determination result of the property of the certain face acquired by the determination result acquisition unit is different, the extraction unit performs the re-evaluation . Extract training training data,
The face property estimation apparatus according to claim 3, wherein the re-learning unit causes the trained model to perform the re-learning when the extraction unit has extracted the re -learning teacher data.
前記抽出部は、前記再学習用教師データを含む前記データセットを抽出することを特徴とする、請求項1~5のいずれか1項に記載の切羽性状推定装置。 In a storage device storing a plurality of the training data, the plurality of training data are images for generating at least one of a stereo image and a three-dimensional image included in the training data and a spectral image. It is classified and stored in multiple data sets according to the shooting area of
The face property estimation apparatus according to any one of claims 1 to 5, wherein the extraction unit extracts the data set including the re-learning teacher data.
前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データの中から、前記判定結果取得ステップにおいて取得された前記判定結果と一致または類似する判定結果を含んだ教師データを、再学習用教師データとして1つ以上抽出する抽出ステップと、
前記抽出ステップにおいて抽出された1つ以上の再学習用教師データを用いて、前記種々の切羽の測定データと、前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習ステップと、を含み、
前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含むことを特徴とする、推定方法。 a determination result acquisition step of acquiring a determination result of the property of a tunnel face determined by an expert based on the measurement data of the tunnel face under construction;
Matches the determination result obtained in the determination result obtaining step from teacher data consisting of a combination of measurement data for various faces including the certain face and the determination result corresponding to each of the various faces. Alternatively, an extraction step of extracting one or more teacher data containing similar determination results as relearning teacher data ;
Using one or more re-learning teaching data extracted in the extraction step, machine learning of the correlation between the measurement data of the various faces and the determination results corresponding to the various faces. a retraining step of retraining the trained model;
An estimation method, wherein the measurement data includes at least one of a stereo image and a three-dimensional image, and a spectral image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239416A JP7328144B2 (en) | 2019-12-27 | 2019-12-27 | Face property estimation device and estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239416A JP7328144B2 (en) | 2019-12-27 | 2019-12-27 | Face property estimation device and estimation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021107650A JP2021107650A (en) | 2021-07-29 |
JP7328144B2 true JP7328144B2 (en) | 2023-08-16 |
Family
ID=76967802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239416A Active JP7328144B2 (en) | 2019-12-27 | 2019-12-27 | Face property estimation device and estimation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7328144B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7374847B2 (en) * | 2020-05-21 | 2023-11-07 | 清水建設株式会社 | Face evaluation system, face evaluation learning system, face evaluation method, face evaluation learning method, computer program |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000345793A (en) | 1999-06-07 | 2000-12-12 | Okumura Corp | Rock-bed judging system |
JP2010092413A (en) | 2008-10-10 | 2010-04-22 | Ricoh Co Ltd | Image classification learning device, image classification learning method, and image classification learning system |
JP2017117147A (en) | 2015-12-24 | 2017-06-29 | 前田建設工業株式会社 | Structure construction management method |
JP2018017570A (en) | 2016-07-27 | 2018-02-01 | 日本システムウエア株式会社 | Rock mass strength determination device, rock mass strength determination method, and rock mass strength determination program |
JP2018150720A (en) | 2017-03-13 | 2018-09-27 | 大成建設株式会社 | Method and system for displaying information of working face, and tunnel construction method by using these |
JP2018181271A (en) | 2017-04-21 | 2018-11-15 | 佐藤工業株式会社 | Methods of representing and evaluating three-dimensional body |
JP2019143386A (en) | 2018-02-21 | 2019-08-29 | 清水建設株式会社 | Operation estimation device and operation estimation method |
JP2019184541A (en) | 2018-04-17 | 2019-10-24 | 鹿島建設株式会社 | Method for evaluating weathering alteration of bedrock and device for evaluating weathering alteration of bedrock |
JP2019190189A (en) | 2018-04-27 | 2019-10-31 | 戸田建設株式会社 | Blasting optimization method in mountain tunnel |
JP2019191004A (en) | 2018-04-25 | 2019-10-31 | 国立大学法人京都大学 | Detector and method for detection |
-
2019
- 2019-12-27 JP JP2019239416A patent/JP7328144B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000345793A (en) | 1999-06-07 | 2000-12-12 | Okumura Corp | Rock-bed judging system |
JP2010092413A (en) | 2008-10-10 | 2010-04-22 | Ricoh Co Ltd | Image classification learning device, image classification learning method, and image classification learning system |
JP2017117147A (en) | 2015-12-24 | 2017-06-29 | 前田建設工業株式会社 | Structure construction management method |
JP2018017570A (en) | 2016-07-27 | 2018-02-01 | 日本システムウエア株式会社 | Rock mass strength determination device, rock mass strength determination method, and rock mass strength determination program |
JP2018150720A (en) | 2017-03-13 | 2018-09-27 | 大成建設株式会社 | Method and system for displaying information of working face, and tunnel construction method by using these |
JP2018181271A (en) | 2017-04-21 | 2018-11-15 | 佐藤工業株式会社 | Methods of representing and evaluating three-dimensional body |
JP2019143386A (en) | 2018-02-21 | 2019-08-29 | 清水建設株式会社 | Operation estimation device and operation estimation method |
JP2019184541A (en) | 2018-04-17 | 2019-10-24 | 鹿島建設株式会社 | Method for evaluating weathering alteration of bedrock and device for evaluating weathering alteration of bedrock |
JP2019191004A (en) | 2018-04-25 | 2019-10-31 | 国立大学法人京都大学 | Detector and method for detection |
JP2019190189A (en) | 2018-04-27 | 2019-10-31 | 戸田建設株式会社 | Blasting optimization method in mountain tunnel |
Also Published As
Publication number | Publication date |
---|---|
JP2021107650A (en) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11972638B2 (en) | Face living body detection method and apparatus, device, and storage medium | |
JP6786762B2 (en) | A method and device for controlling a device having an image collecting unit and a distance measuring unit. | |
CN107844744A (en) | With reference to the face identification method, device and storage medium of depth information | |
CN110168562B (en) | Depth-based control method, depth-based control device and electronic device | |
CN108573170B (en) | Information processing method and device, electronic equipment and computer readable storage medium | |
WO2020088029A1 (en) | Liveness detection method, storage medium, and electronic device | |
CN103985172A (en) | An access control system based on three-dimensional face identification | |
CN104615234A (en) | Information processing device and information processing method | |
CN107563304A (en) | Unlocking terminal equipment method and device, terminal device | |
CN111742342A (en) | Image generation method, image generation device, and image generation system | |
US10764563B2 (en) | 3D enhanced image correction | |
KR20140004230A (en) | Image processing device, information generation device, image processing method, information generation method, control program, and recording medium | |
CN104615233A (en) | Information processing device and information processing method | |
US20150379333A1 (en) | Three-Dimensional Motion Analysis System | |
CN110276831A (en) | Constructing method and device, equipment, the computer readable storage medium of threedimensional model | |
KR102362470B1 (en) | Mehtod and apparatus for processing foot information | |
WO2020230244A1 (en) | Training method, training program, and training device | |
JP7328144B2 (en) | Face property estimation device and estimation method | |
CN110059579A (en) | For the method and apparatus of test alive, electronic equipment and storage medium | |
KR20180094554A (en) | Apparatus and method for reconstructing 3d image | |
US20200082452A1 (en) | Advanced techniques for improved product photography, interactivity, and information distribution | |
CN107077623A (en) | Image quality compensation system and method | |
CN109191522B (en) | Robot displacement correction method and system based on three-dimensional modeling | |
CN112507986B (en) | Multi-channel human face in-vivo detection method and device based on neural network | |
CN109407842A (en) | Interface operation method, device, electronic equipment and computer readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7328144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |