JP7390975B2 - 切羽評価システム、切羽評価学習システム、切羽評価方法、切羽評価学習方法、コンピュータプログラム - Google Patents

Description

特許法第３０条第２項適用 ［１］ 刊行物の配布日 令和元年１２月１日～４日 刊行物の名称 ＹＳＲＭ２０１９＆ＲＥＩＦ２０１９ＩＳＲＭ２０１９ Ｓｐｅｃｉａｌｉｚｅｄ Ｃｏｎｆｅｒｅｎｃｅ発表概要 公開者 邊見 涼、長谷川 裕員、福田 毅、鳥居 敏、淡路 動太 ［２］ 開催日 令和元年１２月３日 刊行物の名称 ＹＳＲＭ２０１９＆ＲＥＩＦ２０１９ ＩＳＲＭ２０１９ Ｓｐｅｃｉａｌｉｚｅｄ Ｃｏｎｆｅｒｅｎｃｅ 公開者 邊見 涼、長谷川 裕員、福田 毅、鳥居 敏、淡路 動太

本発明は、切羽評価システム、切羽評価学習システム、切羽評価方法、切羽評価学習方法、コンピュータプログラムに関する。

切羽評価をシステムがある。例えば、特許文献１では、カメラで撮像された画像から得られる特徴点に基づいて計測領域を定め、変状点を得ることで監視することで、切羽における崩落や肌落ちについての評価することができる。
また、近年は、各種システムにＡＩ（人工知能；ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を導入することが検討されている。山岳トンネル工事における切羽評価についても、ＡＩ（人工知能；ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて行うシステム（切羽ＡＩシステム）を開発することも検討されつつある。このような切羽ＡＩシステムでは、ＡＩを訓練するデータ（教師データ）の質が性能に大きな影響を与える。特徴が明確でありＡＩが容易に分類可能なデータが、教師データとして良質なデータであるといわれている。

特開２０１８－２０７１９４号公報

しかしながら、切羽を撮像した画像データを教師データに用いたとしても、単に切羽を撮像した画像では、撮影角度や照明の照射角度により死角が生じるため、部分的に見えづらい箇所（撮影されない箇所）が生じるクラックなどを把握することができない。そのため、切羽全面を対象としたクラック検知をすることが困難である。したがって、このような画像データを教師データとして用いたとしても、切羽ＡＩシステムの性能を向上させることには容易ではない。また、切羽ＡＩシステムを利用する場合においても、山岳トンネル工事の特性上、切羽での作業は、なるべく少ないことが望ましい。

本発明は、このような事情に鑑みてなされたもので、その目的は、切羽における作業量を抑えつつ、ＡＩを用いて切羽を評価する性能を向上させることが可能な切羽評価システム、切羽評価学習システム、切羽評価方法、切羽評価学習方法、コンピュータプログラムを提供することにある。

上述した課題を解決するために、本発明の一態様は、複数のカメラによって切羽を異なる撮像アングルから撮像した切羽画像データを取得する切羽画像データ取得部と、前記切羽画像データから三次元切羽モデルを生成する三次元切羽モデル生成部と、切羽を穿孔する施工機械の前記切羽を穿孔する際の施工状況を表す計測データを取得する計測データ取得部と、前記三次元切羽モデルと前記計測データを前処理することで得られる分布データと、前記切羽を評価する評価者によって評価された結果である評価データに基づく教師データを用い、三次元切羽モデルと分布データとの組み合わせと、評価データとの関係を学習することで生成された学習済みモデルに対して、評価対象の切羽を撮像した切羽画像データと当該評価対象の切羽を施工機械によって施工する際に得られる計測データに基づく分布データとを入力することで、切羽を評価した評価結果を得る評価部と、を有する。

また、本発明の一態様は、複数のカメラによって切羽を異なる撮像アングルから撮像した切羽画像データを取得する切羽画像データ取得部と、前記切羽画像データから三次元切羽モデルを生成する三次元切羽モデル生成部と、切羽を穿孔する施工機械の前記切羽を穿孔する際の施工状況を表す計測データを取得する計測データ取得部と、前記計測データに対して前処理を行うことで分布データを生成するデータ前処理部と、前記切羽を評価する評価者によって評価された結果である評価データを取得する評価データ取得部と、前記三次元切羽モデルと前記分布データと前記評価データに基づく教師データを用い、三次元切羽モデルと分布データとの組み合わせと、評価データとの関係を学習することで学習済みモデルを生成する学習部と、を有する。

以上説明したように、この発明によれば、切羽における作業量を抑えつつ、ＡＩを用いて切羽を評価する性能を向上させることができる。

本実施形態における切羽評価システムにおいて用いるデータを収集する流れを説明する図である。 切羽評価システム１の構成を示す概略ブロック図である。 切羽の三次元切羽モデルを生成する処理を説明するフローチャートである。 分布データを生成する処理を説明するフローチャートである。 学習段階における処理のフローを説明するフローチャートである。 画像データを分割する場合について説明する図である。 画像データを分割する場合について説明する図である。 画像データを分割する場合について説明する図である。 画像データを分割する場合について説明する図である。 実行フェーズにおける処理を説明するフローチャートである。 風化状態データを説明する図である。 風化分類モデル学習に用いられる画像の一例を示す。 割目状態データを説明する図である。 割目分類モデルの学習に用いられる画像の一例を示す。 地山評価モデルを生成する流れを説明する図である。 地山評価モデルを用いて予測処理を行う流れ説明する図である。

以下、本発明の一実施形態による切羽評価システムについて図面を参照して説明する。
まず、本実施形態における切羽評価システムにおいて用いるデータを収集する流れについて図１を用いて説明する。

切羽１００は、トンネル工事における切羽である。この切羽１００は、評価対象となる切羽である。
撮像装置群１１０は、例えば撮像装置１１０ａ、撮像装置１１０ｂ、撮像装置１１０ｃの３台の撮像装置が含まれる。これら撮像装置１１０ａ、１１０ｂ、１１０ｃは、同じ切羽１００をそれぞれ撮像するが、撮像アングルが異なる。撮像アングルは、異なる位置、異なる撮像方向等の少なくともいずれかを条件として撮像されればよい。これら撮像装置群１１０は、それぞれ、施工機械に取り付けられていてもよいし、三脚等に固定された状態で撮像する箇所に設置されていてもよいし、作業員が安全な場所から撮像するようにしてもよい。撮像装置は、例えば、カメラである。

撮像装置１１０ａ、撮像装置１１０ｂ、撮像装置１１０ｃは、撮像されたデータを出力する。ここでは、同じタイミングあるいは予め決められた時間内（例えば数分以内）に各撮像装置によって撮像されたそれぞれの画像データが１組の切羽画像データ１２０として得られる。例えば、撮像装置１１０ａから得られる１枚分の切羽画像データ１２０ａ、撮像装置１１０ｂから得られる１枚分の画像データ１２０ｂ、撮像装置１１０ｃから得られる１枚分の切羽画像データ１２０ｃが１組の切羽画像データ１２０として得られる。このような切羽画像データ１２０は、切羽の施工の進捗状況に応じて（数時間毎、１日毎、休憩が到来する毎、所定量を穿孔する毎等）撮像されて得られるようにしてもよいし、所定時間毎に得られるようにしてもよい。
また、撮像装置群１１０は、３台である場合について説明したが、少なくとも２台以上であればよい。少なくとも２台の撮像装置で撮像することができれば、奥行き情報を得ることが可能である。

切羽画像データ１２０が得られると、切羽評価システムは、切羽画像データ１２０に対して各種処理を行うことで、三次元切羽モデル１３０を生成する。三次元切羽モデルは、切羽の凹凸形状を把握することが可能なデータである。この三次元切羽モデル１３０は、切羽画像データ１２０に基づいて生成される三次元写真画像１３０ａや、三次元写真画像１３０ａの表示態様を加工した数値標高モデル１３０ｂがある。

施工機械１５０は、切羽１００に対する施工を行う。施工機械１５０は、例えばドリルジャンボである。
測定機器群１５５は、施工機械１５０によって切羽１００に対する施工が行われる施工時における施工状況を計測し、計測データ１６０を得る。
測定機器群１５５は、例えば、各種センサや、湧水量測定機器等である。測定機器群１５５は、各種センサや湧水量測定機器からそれぞれ計測データ１６０を得る。

各種センサは、ドリルジャンボによって切羽を穿孔する際の穿孔エネルギー値を求めるために必要なデータを計測する。このセンサは、ドリルジャンボに搭載されているセンサ（ブームの回転角度センサや傾斜センサ、油圧センサ、モータの駆動電流を検出する電流センサ）であってもよい。

各種センサは、穿孔エネルギー値を求めるために必要なデータを計測する機能だけでなく、この計測されたデータに基づいて、穿孔エネルギー値を求める機能を有していてもよい。穿孔エネルギー値は、例えば、ドリルジャンボに取り付けられた各種センサによって、削岩機の作動油圧、削孔距離、孔口位置、削孔角度等を検出し、この検出された結果に基づいて求めることができる。穿孔エネルギー値は、例えば一般的に知られている式に従い、打撃エネルギー、打撃数、穿孔速度、孔断面積に基づいて求めることができる。打撃エネルギーは、ドリルジャンボの削岩機能の特性や穿孔時の負荷に基づいて求めることができ、穿孔面積、１打撃エネルギー、穿孔速度、打撃数に基づいて求めることができる。

湧水量測定機器は、切羽１００の前方方向（掘削する方向）に対してボーリングによって探査された湧水状況に基づいて湧水量を測定する。

計測データ１６０が得られると、切羽評価システムは、計測データ１６０に対して前処理をすることで分布データ１７０を生成する。分布データ１７０は、切羽の圧縮強度分布データや湧水分布データである。

切羽データＤＢ２９０は、施工機械１５０によって施工が行われたタイミングにおいて計測された計測データ１６０に基づく分布データ１７０と、当該施工が行われたタイミングに応じて撮像された切羽画像データ１２０から得られる三次元切羽モデル１３０とを対応付けて、施工状況データ１８０として記憶する。施工の進捗がある毎にこのような施工状況データ１８０が記憶される。
切羽データＤＢ２９０は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この切羽データＤＢ２９０は、例えば、不揮発性メモリを用いることができる。

次に、図２は、この発明の一実施形態による切羽評価システム１の構成を示す概略ブロック図である。
切羽評価システム１は、撮像装置群１１０と、測定機器群１５５と、入力装置１５６と、切羽評価装置２００とを含む。
切羽評価装置２００は、切羽画像データ取得部２１０、三次元切羽モデル生成部２２０、計測データ取得部２３０、評価データ取得部２４０、データ前処理部２５０、学習部２６０、評価部２７０、出力部２８０、切羽データＤＢ２９０を含む。

切羽画像データ取得部２１０は、撮像装置群１１０である複数の撮像装置によって切羽を異なる撮像アングルから撮像した切羽画像データ１２０を取得する。

三次元切羽モデル生成部２２０は、切羽１００を測量した結果に基づいて、切羽１００の三次元形状を表す三次元切羽モデルを生成する。この測量は、写真測量技術を適用することができる。写真測量技術は、複数アングルから撮影した写真のみで測量可能、すなわち、撮像装置群１１０から得られる画像データから測量することが可能であり、切羽の施工への影響が非常に小さく、また、切羽周辺における作業を低減することができるというメリットがある。

このように切羽１００の三次元切羽モデルを得る場合、三次元切羽モデル生成部２２０の機能は、ソフトウェアにて実現することができ、例えば、写真測量用ソフトウェア（例えばＡｇｉｓｏｆｔ Ｍｅｔａｓｈａｐｅ（Ａｇｉｓｏｆｔ社製）を用いることができる。写真測量用ソフトウェアを用いることで、異なる複数の撮像アングルから撮影された画像データから、三次元切羽モデルを得ることができる。三次元切羽モデルは、切羽の凹凸形状を把握することが可能なデータである。この三次元切羽モデルとしては、三次元写真画像１３０ａや、数値標高モデル１３０ｂを用いることができる。

この実施形態において、三次元切羽モデル生成部２２０は、切羽画像データ１２０から三次元切羽モデル１３０を生成する。具体的に、三次元切羽モデル生成部２２０は、撮像装置群１１０から得られる切羽画像データ１２０を用い、切羽１００を異なる複数の撮像アングルから撮像した画像データを元にＳｆＭ（Structure from Motion）処理をすることで、三次元切羽モデル１３０を生成する。ＳｆＭ処理は、計測対象を異なる位置や角度から撮影した画像を複数枚準備し、写真同士の対応関係を解析することで、計測対象の三次元点群データを生成する処理である。このＳｆＭ処理を行って三次元切羽モデル１３０を得ることで、この三次元切羽モデル１３０を元に、切羽の三次元形状を把握することが可能となる。

数値標高モデルは、切羽面のクラックの状態をより明瞭にするために、切羽面に対して正対する鉛直面を基準面とし、そこからの傾斜量を色で表現することができる。例えば、切羽の奥行き量を標高として表し、この標高差が大きな箇所は、クラックとして捉えることができる。また、切羽１００の表面に開口していて規模が大きい（所定以上の標高である部位）については、クラックである見なし、切羽において周囲よりも濃い色を割り当てることで、強調して表現することができる。
これにより、クラックの状態をより明確に示すことができる。後述するように、切羽評価装置２００は、この数値標高モデルを用いて教師データを生成し学習済みモデルを生成することで、数値標高モデルを切羽ＡＩに適用することができる。また、三次元切羽モデルは、画像データとして取り扱うことができるため、学習するための教師データとして用いる場合であっても、適用しやすいというメリットがある。

計測データ取得部２３０は、切羽を穿孔する施工機械が切羽を穿孔する際の施工状況を表す計測データを測定機器群１５５から取得する。ここでは、測定機器群１５５から穿孔エネルギー値、圧縮強度、湧水量計測値の少なくともいずれか１つを直接得るようにしてもよいし、測定機器群１５５から得られた計測データに基づいて、切羽評価装置２００において穿孔エネルギー値や圧縮強度を求めるようにしてもよい。

評価データ取得部２４０は、切羽を評価する評価者によって評価項目に基づいて切羽が評価された結果である評価データを取得する。評価データは、例えば、切羽観察項目に基づいて評価された結果が入力装置１５６から入力される。この評価者は、切羽を評価する習熟技術者であることが好ましい。そしてこの習熟技術者よって判断や評価された結果を評価データ取得部２４０から取得することで、切羽評価システム１において学習データの一部として用いることができる。このような習熟技術者の評価結果を取り込んで切羽評価システムにおいて生成される学習済みモデルを用いることで、切羽に関する各種データを入力することができれば、習熟技術者自身が評価を行わなくても、切羽評価システムから、習熟技術者の評価結果を反映させた評価結果を出力することができる。

評価項目は、例えば、切羽の状態、素掘面の状態、圧縮強度、風化変質、割目の頻度、割目の状態、割目の形態、湧水、水による劣化、割目の方向性等の項目のうち少なくとも１つの項目を含むようにすることができる。

切羽の状態は、肌落ちするか否かの状態や湧水状態等を考慮して切羽を観察した結果を表す。素掘面の状態は、素掘り面において肌落ちするか否か等を表す。圧縮強度は、切羽における岩盤の圧縮強度を示す。風化変質は、時間の経過に応じて切羽の質（色や強度など）の変化が変化する状態を表す。割目の頻度は、単位面積あたりに存在する割目の間隔や数に基づく頻度を表し、割れ目が密に存在するか、疎に存在するか等の度合いを表す。割目の状態は、割目の開口の度合い、割目の挟在物等を表す。割目の形態は、割目の走向方向の傾向や、割目が層状であるか否か等を表す。
湧水は、湧水が切羽の特定部位から集中して生じているか全面的に生じているか否か、湧水の量等を表す。水による劣化は、水によって切羽が軟弱化している度合いを表す。割目の方向性は、生じている割目の方向を表す。

データ前処理部２５０は、学習済みモデルを生成するために必要なデータに対して各種前処理を行うことで、分布データを生成する。分布データは、切羽における位置や領域毎に、所定の評価項目に基づく評価結果が示す度合いに応じてことなる色で位置（あるいは領域）毎にその分布を表す画像データである。
例えばデータ前処理部２５０は、計測データ１６０に含まれる（または計測データ１６０に基づいて求まる）穿孔エネルギー値と湧水量計測値との少なくともいずれか一方に基づいて穿孔エネルギー値に応じて求まる切羽における圧縮強度の分布を示す圧縮強度分布データ、または、計測データに基づいて湧水量計測値に応じて求まる切羽における湧水の分布を示す湧水分布データを求める。
圧縮強度分布データは、切羽の垂直面方向における圧縮強度分布を示す画像データである。圧縮強度は、計測データに基づいて生成される値であり、切羽における岩盤の圧縮強度を示す。例えば、削孔エネルギー値が高いほど、圧縮強度が高く、削孔エネルギー値が低いほど圧縮強度が低い関係にある。例えば、圧縮強度分布データでは、切羽における位置（あるいは領域）毎に、その位置（領域）における圧縮強度に応じて異なる色で表現した画像データである。例えば、圧縮強度が高いほど赤に近い色で表し、圧縮強度が低いほど緑に近い色で表し、圧縮強度が中間よりであるほど黄に近い色で表すようにしてもよい。

湧水分布データは、切羽の垂直面方向における湧水状況を示す画像データである。湧水状況は、湧水量測定機器等で測定された結果に基づく値であり、湧水量を表す。例えば、湧水分布データでは、切羽における位置（あるいは領域）毎に、その位置（領域）における湧水量に応じて異なる色で表現した画像データである。例えば、湧水量が高いほど赤に近い色で表し、湧水量が少ないほど緑に近い色で表し、湧水量が中間よりであるほど黄に近い色で表すようにしてもよい。
このような分布データは、画像として表現されるため、画像データとして取り扱うことができる。

また、データ前処理部２５０は、三次元切羽モデル、圧縮強度分布データ、湧水分布データに対して教師データとなる評価データを対応付けし、学習部２６０に入力する。

学習部２６０は、三次元切羽モデル１３０と計測データ１６０と評価データに基づく教師データを用い、三次元切羽モデル１３０と計測データ１６０との組み合わせと、評価データとの関係を学習することで学習済みモデルを生成する。
ここで、学習済みモデルを生成するにあたり、教師データに用いられる三次元切羽モデル１３０は、三次元写真画像１３０ａと数値標高モデル１３０ｂの両方であってもよいし、いずれか一方であってもよい。この実施形態では、両方を用いる場合について説明する。
また、学習済みモデルを生成するにあたり、教師データに用いられる計測データは、データ前処理部２５０によって求められた圧縮強度分布データまたは湧水分布データを用いることができる。ここでは、計測データが画像データとして得られるのであれば、計測データをそのまま教師データとして用いるようにしてもよいし、計測データが画像データとして得られていない場合には、データ前処理部２５０によって前処理をすることで画像データを得るようにしてもよい。
ここでは、圧縮強度分布データまたは湧水分布データは、いずれも画像データであるため、教師データとして用いて学習済みモデルを生成するにあたり、学習データとして適用し易い。

学習部２６０が行う学習は、機械学習モデルを作成する学習であってもよい。ここで、機械学習モデルを作成する機械学習の技法としては、決定木学習、ニューラルネットワーク、遺伝的プログラミング、サポートベクタマシン、ディープラーニングなどの一般的に用いられている技法のいずれを用いても良い。

評価部２７０は、学習部２６０によって生成された学習済みモデルに対して、切羽を評価する段階において得られる評価対象の切羽を撮像した切羽画像データと当該評価対象の切羽を施工機械によって施工する際に得られる計測データとを入力することで、切羽を評価した評価結果を得る。この評価結果は、評価データとして入力される評価項目毎に、評価された結果を示す値（例えば、評価項目に従って評価された切羽の状態を示すクラス）を出力する。より具体的には、評価部２７０は、切羽の状態、素掘面の状態、圧縮強度、風化変質、割目の頻度、割目の状態、割目の形態、湧水、水による劣化、割目の方向性等の項目のうち、切羽を評価する評価者によって評価された評価項目に従って評価結果を出力する。

出力部２８０は、評価結果を出力する。評価結果は、上述した評価データにおいて用いられた切羽観察項目と同様の切羽観察項目に基づく評価結果である。出力部２８０による出力は、液晶表示装置等の表示装置の表示画面に評価結果を表示することであってもよいし、外部の機器（例えば、ネットワークを介して接続される他のコンピュータ端末）へ評価結果を送信することであってもよい。

切羽データＤＢ２９０は、分布データ１７０や三次元切羽モデル１３０等の各種データを記憶する。

上述した切羽評価装置２００は、コンピュータによって実現するようにしてもよい。例えば、切羽評価装置２００の各機能をコンピュータプログラムによって構築し、コンピュータが実行することで、切羽評価装置２００として機能するようにしてもよい。

《学習フェーズ》
上述した切羽評価システム１における学習段階の処理について説明する。
〈切羽の三次元切羽モデルの生成〉
図３は、切羽の三次元切羽モデルを生成する処理を説明するフローチャートである。
撮像装置群１１０によって切羽１００が撮像されると、切羽画像データ取得部２１０は、撮像装置群１１０から得られる切羽画像データ１２０を取得する（ステップＳ１０１）。切羽画像データ１２０が得られると、三次元切羽モデル生成部２２０は、切羽画像データ１２０に対してＳｆＭ変換処理を行うことで三次元形状モデルを生成する。ここでは、三次元切羽モデル生成部２２０は、ＳｆＭ変換処理を行うことで三次元写真画像１３０ａを生成する（ステップＳ１０２）。また、三次元切羽モデル生成部２２０は、生成された三次元写真画像１３０ａの表示態様を加工することで、数値標高モデル１３０ｂを生成する（ステップＳ１０３）。切羽データＤＢ２９０は、三次元写真画像１３０ａと数値標高モデル１３０ｂとを記憶する（ステップＳ１０４）。

〈分布データの生成〉
図４は、分布データを生成する処理を説明するフローチャートである。
測定機器群１５５によって計測データが得られると、計測データ取得部２３０は、測定機器群１５５から計測データを取得する（ステップＳ２０１）。データ前処理部２５０は、得られた計測データのうち、ドリルジャンボの稼動状態を示すデータ（作動油圧、削孔距離等）に基づいて、削孔エネルギー値を求める（ステップＳ２０２）。ここでは、データ前処理部２５０が削孔エネルギー値を求める場合について説明するが、センサが削孔エネルギー値を求めることができる場合には、当該センサから削孔エネルギー値をデータ前処理部２５０または計測データ取得部２３０が取得するようにしてもよい。

次に、データ前処理部２５０は、削孔エネルギー値に基づいて求められる圧縮強度分布を示す圧縮強度分布データを生成するとともに、計測データに基づいて湧水状況を示す湧水分布データを生成する（ステップＳ２０３）。切羽データＤＢ２９０は、圧縮強度分布データと湧水分布データとを記憶する（ステップＳ２０４）。

次に、学習段階について説明する。
図５は、学習段階における処理のフローを説明するフローチャートである。
〈学習処理〉
データ前処理部２５０は、切羽データＤＢ２９０に記憶された切羽画像データ、三次元切羽モデル、圧縮強度分布データ、湧水分布データのうち、同じ施工タイミングに対応する切羽画像データ、三次元切羽モデル、圧縮強度分布データ、湧水分布データを読み出し、それぞれを所定の大きさになるように複数の領域に分割する（ステップＳ３０１）。ここでは、切羽画像データ、三次元切羽モデル、圧縮強度分布データ、湧水分布データのそれぞれの分割数は、同じである。図６Ａは、切羽画像データを分割した場合の例を示す図であり、図６Ｂは、三次元切羽モデル（ここでは数値標高モデル）を分割した場合の例を示す図であり、図６Ｃは、圧縮強度分布データ（湧水分布データであってもよい）を分割した場合の例を示す図である。分割数は、これらの画像を学習部２６０による学習をする際に適したサイズとなるようにすればよい。

データ前処理部２５０は、画像を分割すると、分割された領域をそれぞれクラス分けしてもよい。クラス分けすることで、領域毎にクラスが付与される。図６Ｄは、三次元切羽モデルを複数領域に分割し、分割された領域にクラスを付与した場合の例を示す図である。三次元切羽モデルに対するクラスは、切羽の凹凸の高さの度合いに応じて付与してもよい。ここでは、領域（符号５００）には、クラス（符号５１０）が付与されている。
また、数値標高モデルについても同様に複数領域に分割し、分割された領域について、標高に応じたクラスを付与するようにしてもよい。圧縮強度分布データについても同様に、複数領域に分割し、分割された領域について、圧縮強度の度合いに応じたクラスを付与するようにしてもよい。湧水分布データについても同様に、複数領域に分割し、分割された領域について、湧水量の度合いに応じたクラスを付与するようにしてもよい。

次に、評価データ取得部２４０は、入力装置１５６から入力される評価データを取得する（ステップＳ３０２）。
データ前処理部２５０は、評価データが取得されると、評価データが得られた評価を行った時点において撮像装置群１１０から得られた切羽画像データ１２０と、当該切羽画像データ１２０に基づいて生成された三次元切羽モデル１３０と、評価データが得られた評価を行った時点において得られた計測データに基づいて得られた圧縮強度分布データ及び湧水分布データに対し、評価データをラベルとして付与することで（ステップＳ３０３）、教師データを生成する。ここで、切羽データＤＢ２９０には、施工状況データが複数記憶されているため、データ前処理部２５０は、各施工状況データ１８０のそれぞれに対し、評価データをラベルとして付与する。データ前処理部２５０は、生成した教師データを記憶装置（例えば切羽データＤＢ２９０）に記憶する。

学習部２６０は、記憶された教師データを読み出し、当該教師データを用い、三次元切羽モデル１３０と分布データ１７０との組み合わせと、評価データとの関係を学習することで学習済みモデルを生成する（ステップＳ３０４）。学習部２６０は、生成された学習済みモデルを、記憶装置（例えば切羽データＤＢ２９０）に記憶しておく。学習済みモデルが記憶されていることで、実行フェーズにおいて学習済みを読み出すことにより、学習済みモデルを利用することができる。

次に、実行フェーズについて説明する。
図７は、実行フェーズにおける処理を説明するフローチャートである。
《実行フェーズ》
山岳トンネル工事において施工機械１５０による施工が行われると、測定機器群１５５は、各種データを測定する（ステップＳ１０１）。また、撮像装置群１１０は、切羽を撮影することで切羽画像データを取得する（ステップＳ１０２）。切羽評価装置２００の三次元切羽モデル生成部２２０は、切羽画像データを取得すると、切羽画像データに対してＳｆＭ変換処理を行うことで三次元写真画像を生成し（ステップＳ１０３）、切羽評価装置２００のデータ前処理部２５０は、数値標高モデルを生成する（ステップＳ１０４）。

また、データ前処理部２５０は、計測データに対して前処理を行うことで、穿孔エネルギー値を求め（ステップＳ１０５）、分布データを生成する（ステップＳ１０６）。このとき求められる分布データは、穿孔エネルギー値に基づく圧縮強度分布データと、計測データに基づく湧水分布データである。
評価部２７０は、得られた三次元写真画像、数値標高モデル及び分布データを学習済みモデルに入力することで、評価データを得る（ステップＳ１０７）。出力部２８０は、評価部２７０によって得られた評価データを出力する（ステップＳ１０８）。出力部２８０は、表示画面に表示することで出力してもよいし、外部のスマートフォンやコンピュータに評価データを送信するようにしてもよい。

以上説明した実施形態によれば、切羽画像データから三次元形状モデルを生成し、計測データに基づく分布データを生成し、これらを評価データとともに学習データとして用いるようにしたので、ＡＩ（人工知能）にとって正解を導きやすい教師データを作成できることができ、切羽ＡＩの性能を向上することができる。

また、教師データの作成が容易であるため、作業効率が向上する。
また、切羽面のクラックの状態（開口の規模等）を定量的に表現することができる。そのため、切羽で生じる事象とクラックの状態を結び付けて考えられることから、有事の際の発注者への説明資料として活用することも期待できる。

また、上述した実施形態において、切羽における計測データは、計測データを得るための各種センサが搭載されたドリルジャンボを用いる場合について説明したが、このようなドリルジャンボは、既存のものを利用することができる。また、湧水量の計測は、トンネル工事において一般的に行っている。また、切羽を撮影する場合であっても、撮像装置を施工機械に取り付けておくことで、切羽における撮影作業を削減することができる。
そのため、切羽の評価を行うために必要な情報については、切羽における作業量を増大させることなく準備することができる。
また、測量（写真測量）によって作成した切羽全面の数値標高モデルを教師データとして利用することができる。
また、切羽を撮影した切羽画像データから三次元形状モデル（例えば数値標高モデル）を生成し、これを含む教師データを生成し、学習することができ、学習済みモデルを生成することができるため、ＡＩを用いて切羽を評価するために用いる質の良い教師データを切羽における作業を増大させることなく準備することができる。

また、上述した実施形態においては、切羽の状態を具体的に数値化する方法として、分布データ１７０を用いるようにし、この分布データ１７０が、穿孔エネルギーに基づく圧縮強度分布データや湧水分布データを用いる場合について説明したが、切羽の状態を具体的に数値化する方法は、風化分類や割目分類にも利用することができる。以下、切羽の状態を数値化する方法の一例として、風化分類や割目分類に適用した場合について説明する。

風化状態データは、切羽状態を深層学習させた「風化分類モデル」を用いて、切羽画像データを分割した各ブロックの風化の状態を複数の段階（風化クラス，ここでは一例として３段階）に分類したデータである。
割目状態データは、切羽状態を深層学習させた「割目分類モデル」を用い、切羽画像データを分割した各ブロックの風化や割目の状態を複数の段階（割目クラス，ここでは一例として３段階）に分類したデータである。
図８は、風化状態データを説明する図である。
《風化状態データ》
図８において、風化状態データ８００は、撮像装置１１０ａ、撮像装置１１０ｂ、撮像装置１１０ｃのうちいずれかの撮像装置によって撮像された画像データが複数の領域に分割され、その分割された領域毎に、風化の状態がいずれの段階であるかを示す風化のクラスが割り当てられたデータである。この風化状態データ８００は、画像データとして表示することも可能である。

風化の状態の段階（風化クラス）は、例えば、「風化なし」を示す風化クラス１、「風化少し有り」を示す風化クラス２、「風化有り」を示すクラス３、の３段階がある。そして、切羽の画像データにおいて、分割された領域毎に、この風化クラス１から３のうちいずれかが割り当てられ、その割り当てられた風化クラスに応じた異なる態様の画像が重ねられる。

例えば、クラスの数が大きいほど、濃い色の画像が重ねられる。符号８１０に示す領域には、風化クラス２が割り当てられており、符号８２０に示す領域には風化クラス３が割り当てられている。また、ここでは、風化クラス１については透明な画像が割り当てられているため、元々の画像データの表示態様と同じ表示態様となっている（符号８３０）。
このような風化状態データは、切羽の画像データを風化分類モデルに入力することで得ることができる。

《風化分類モデル》
風化分類モデルは、切羽画像データと、当該切羽画像データの画像領域を複数領域に分割したそれぞれの分割領域に割り当てられた風化のクラスとの関係を学習した学習済モデルである。風化分類モデルは、切羽画像データが入力されることに応じて風化状態データを得ることができるモデルである。

この風化分類モデルを作成するために、トンネル坑口からある地点（例えば、５０切羽（５０メートル））までの範囲で得られる切羽画像データを用いて学習を行う。学習は、深層学習（転移学習）を用いるが、他の学習方法であってもよい。
学習に用いられる切羽画像データは、ＲＧＢ（赤、緑、青）データであり、縦方向及び横方向に所定の分割数で分割される。この分割画像から特徴的な画像を選択し、選択された分割画像に対して、風化クラス１～３のいずれかをラベルが付与される。この風化クラスがラベルとして付与された切羽画像データを風化教師データとし、学習部２６０が学習する。
このラベルの付与は、例えば地山評価をする技術が習熟した技術者によって判断された結果を、入力デバイスを介して入力される。
図９は、この風化分類モデル学習に用いられる画像の一例を示す。

《割目状態データ》
図１０は、割目状態データを説明する図である。
図１０において、割目状態データ９００は、撮像装置１１０ａ、撮像装置１１０ｂ、撮像装置１１０ｃのうちいずれかの撮像装置によって撮像された画像データを複数の領域に分割され、その分割された領域毎に、割目の状態がいずれの段階であるかを示す割目のクラスが割り当てられたデータである。この割目状態データ９００は、画像データとして表示することも可能である。

割目の状態の段階（割目クラス）は、例えば、「割目なし」を示す割目クラス１、「大きい割目」を示す割目クラス２、「複雑な割目」を示す割目クラス３、の３段階がある。そして、切羽の画像データにおいて、分割された領域毎に、この割目クラス１から３のうちいずれかが割り当てられ、その割り当てられた割目クラスに応じた異なる態様の画像が重ねられる。
例えば、割目クラスの数が大きいほど、濃い色の画像が重ねられる。符号９１０に示す領域には、割目クラス２が割り当てられており、符号９２０に示す領域には割目クラス３が割り当てられている。また、ここでは、割目クラス１については透明な画像が割り当てられているため、元々の画像データの表示態様と同じ表示態様となっている（符号９３０）。
このような割目状態データは、切羽の画像データを割目分類モデルに入力することで得ることができる。

《割目分類モデル》
割目分類モデルは、切羽画像データと、当該切羽画像データの画像領域を複数領域に分割したそれぞれの分割領域に割り当てられた割目のクラスとの関係を学習した学習済モデルである。割目分類モデルは、切羽画像データが入力されることに応じて割目状態データを得ることができるモデルである。

割目分類モデルは、切羽画像データを前処理することで生成される数値標高モデルに対して、３クラスにグループ分けされた割目クラスをラベルとして付与し、学習することで得られる。学習は、深層学習（転移学習）を用いるが、他の学習方法であってもよい。
学習に用いられる数値標高モデルは、上述した三次元切羽モデル生成部２２０によってされる数値標高モデルを用いることができる。
数値標高モデルは、複数アングルの切羽画像データからＳｆＭ技術を用いて切羽の三次元点群化したデータである。
この割目分類モデルを作成するために、トンネル坑口側からある地点（例えば、５０切羽（５０メートル））までの範囲で得られる切羽画像データから、数値標高モデルを生成する。数値標高モデルを用いることで、切羽における凹凸形状に応じて色の濃淡で表現される画像データであり、この色の濃淡を元に、所定以上の標高である部位については、クラックであるとみなすことができる。
数値標高モデルの特徴量をより強調する場合には、色の濃淡で表現するのではなく、２値化処理することで、クラックがあるか否かを表すようにしてもよい。
学習に用いられる数値標高モデルは、縦方向及び横方向に所定の分割数で分割される。この分割画像から特徴的な画像を選択し、選択された分割画像に対して、割目クラス１～３のいずれかをラベルが付与され、学習部２６０が学習する。
このラベルの付与は、例えば地山評価をする技術が習熟した技術者によって判断された結果を、入力デバイスを介して入力される。
図１１は、割目分類モデルの学習に用いられる画像の一例を示す。

《今回の地山評価方法》
次に、上述した風化分類モデルと割目分類モデルとを用いて、地山評価予測をする地山評価について説明する。
図１２は、地山評価モデルを生成する流れを説明する図である。
地山評価モデルを生成するにあたり、まず、風化分類モデルと割目分類モデルとを生成する（ステップＳ２０１～ステップＳ２０３）。
学習部２６０は、風化教師データと割目教師データを取り込む（ステップＳ２０１）。ここで用いられる風化教師データは、切羽画像データが複数の領域に分割され、その分割された領域の画像毎に、風化クラスがラベルとして付与されたデータである。割目教師データは、切羽画像データが複数の領域に分割され、その分割された領域の画像毎に、割目クラスがラベルとして付与されたデータである。
学習部２６０は、風化教師データと割目教師データを取り込むと、ＣＮＮ等によって学習する（ステップＳ２０２）。学習部２６０は、学習をすると、学習済モデルとして、風化分類モデルと割目分類モデルを生成する（ステップＳ２０３）。

風化分類モデルと割目分類モデルとが生成されると、学習部２６０は、切羽画像データ１２０や計測データ１６０から、地山評価モデルを生成する（ステップＳ３０１～ステップＳ３０４）。
データ前処理部２５０は、切羽画像データを風化分類モデルに入力することで風化状態データを得る。また、データ前処理部２５０は、数値標高モデルを割目分類モデルに入力することで割目状態データを得る。また、データ前処理部２５０は、穿孔エネルギー値に対して統計処理等の前処理を行うことで、分布データを生成する（ステップＳ３００２）。
評価データ取得部２４０は、切羽の状態を目視観察することで切羽に対する評価が行われた結果である目視観察評価（評価データ）を取得する。この評価データは、技術者によって評価された結果が評価データとして入力デバイスを介して入力される。
学習部２６０は、評価データ取得部２４０によって取得された評価データと、データ前処理部２５０によって得られた結果である風化状態データ、割目状態データ、穿孔エネルギー値に基づく分布データ、との関係と学習する。ここでの学習方法は、アンサンブル学習を用いることができる。アンサンブル学習としては、例えば、勾配ブースティング決定木の分類器を用いることができる。
例えば、切羽の特徴量を数値化した数値化データ（風化状態データ、割目状態データ、穿孔エネルギー値に基づく分布データ）を説明変数とし、技術者の目視観察による所定の評価項目に対する点数（例えば、上述した、切羽観察項目に基づいて評価された結果）を目的変数とし、学習部２６０は、アンサンブル学習をする（ステップＳ３０３）。これにより、学習部２６０は、切羽特徴量を示す数値化データから技術者による切羽評価点（切羽観察項目に基づいて評価された結果）との関係性（相関）を学習した地山評価モデルを構築する（ステップＳ３０４）。
この地山評価モデルは、天端、左肩、右肩の３エリアのそれぞれのエリアについて、切羽観察項目に基づく評価結果が得られる予測モデルである。このような地山評価モデルは、切羽評価装置２００内の記憶領域（メモリ）に記憶しておくことができる。

図１３は、地山評価モデルを用いて予測処理を行う流れ説明する図である。
評価部２７０は、評価対象となる切羽を撮像した切羽画像データ、当該切羽画像データに基づく数値標高モデル、評価対象の切羽を施工した際に得られる穿孔エネルギー値を取得すると（ステップＳ４０１）、切羽画像データを風化分類モデルに入力することで風化状態データを取得し、数値標高モデルを割目分類モデルに入力することで割目状態データを生成し、穿孔エネルギー値を前処理することで分布データを得る（ステップＳ４０２）。そして、評価部２７０は、地山評価モデルに、風化状態データ、割目状態データ、穿孔エネルギー値に基づく分布データを入力することで、地山評価予測結果を得ることができる。

なお、上述した切羽評価装置２００では、学習部２６０と評価部２７０との両方の機能を含む場合について説明したが、学習部２６０を含み上述した学習フェーズの機能を実現する機能を有するコンピュータ（学習装置）と、評価部２７０を含み上述した実行フェーズを実現する機能を有するコンピュータ（評価装置）と、に分けるようにしてもよい。

上述した実施形態における切羽評価システム１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…切羽評価システム、１００…切羽、１１０…撮像装置群、１１０ａ…撮像装置、１１０ｂ…撮像装置、１１０ｃ…撮像装置、１５０…施工機械、１５５…測定機器群、１５６…入力装置、２００…切羽評価装置、２１０…切羽画像データ取得部、２２０…三次元切羽モデル生成部、２３０…計測データ取得部、２４０…評価データ取得部、２５０…データ前処理部、２６０…学習部、２７０…評価部、２８０…出力部

Claims (10)

1. 複数のカメラによって切羽を異なる撮像アングルから撮像した切羽画像データを取得する切羽画像データ取得部と、
   前記切羽画像データから三次元切羽モデルを生成する三次元切羽モデル生成部と、
   切羽を穿孔する施工機械の前記切羽を穿孔する際の施工状況を表す計測データを取得する計測データ取得部と、
   前記三次元切羽モデルと前記計測データを前処理することで得られる分布データと、前記切羽を評価する評価者によって評価された結果である評価データに基づく教師データを用い、三次元切羽モデルと分布データとの組み合わせと、評価データとの関係を学習することで生成された学習済みモデルに対して、評価対象の切羽を撮像した切羽画像データと当該評価対象の切羽を施工機械によって施工する際に得られる計測データに基づく分布データとを入力することで、切羽を評価した評価結果を得る評価部と、
   を有する切羽評価システム。
2. 前記評価データは、少なくとも風化状態、割目状態、圧縮強度のうちいずれか１つの評価項目に従った評価データであり、
   前記評価部では、少なくとも風化状態、割目状態、圧縮強度のうち前記評価データに用いられた評価項目従った評価結果を得る
   請求項１の切羽評価システム。
3. 複数のカメラによって切羽を異なる撮像アングルから撮像した切羽画像データを取得する切羽画像データ取得部と、
   前記切羽画像データから三次元切羽モデルを生成する三次元切羽モデル生成部と、
   切羽を穿孔する施工機械の前記切羽を穿孔する際の施工状況を表す計測データを取得する計測データ取得部と、
   前記計測データに対して前処理を行うことで分布データを生成するデータ前処理部と、
   前記切羽を評価する評価者によって評価された結果である評価データを取得する評価データ取得部と、
   前記三次元切羽モデルと前記分布データと前記評価データに基づく教師データを用い、三次元切羽モデルと分布データとの組み合わせと、評価データとの関係を学習することで学習済みモデルを生成する学習部と、
   を有する切羽評価学習システム。
4. 前記データ前処理部は、前記計測データに含まれる穿孔エネルギー値と湧水量計測値との少なくともいずれか一方に基づいて前記穿孔エネルギー値に応じて求まる切羽における圧縮強度の分布を示す圧縮強度分布データ、または、前記計測データに基づいて前記湧水量計測値に応じて求まる切羽における湧水の分布を示す湧水分布データを求め、
   前記教師データとして用いられる計測データは、前記データ前処理部によって求められた圧縮強度分布データまたは湧水分布データである
   請求項３に記載の切羽評価学習システム。
5. 前記圧縮強度分布データは、圧縮強度を当該圧縮強度の度合いに応じた色で表現した画像データであり、湧水分布データは、湧水量の度合いに応じた色で表現した画像データである
   請求項４に記載の切羽評価学習システム。
6. 前記評価データは、少なくとも風化状態、割目状態、圧縮強度のうちいずれか１つの評価項目に従った評価データである
   請求項３から５のうちいずれか１項に記載の切羽評価学習システム。
7. 切羽画像データ取得部が、複数のカメラによって切羽を異なる撮像アングルから撮像した切羽画像データを取得し、
   三次元切羽モデル生成部が、前記切羽画像データから三次元切羽モデルを生成し、
   計測データ取得部が、切羽を穿孔する施工機械の前記切羽を穿孔する際の施工状況を表す計測データを取得し、
   評価部が、前記三次元切羽モデルと前記計測データを前処理することで得られる分布データと前記切羽を評価する評価者によって評価された結果である評価データに基づく教師データを用い、三次元切羽モデルと分布データとの組み合わせと、評価データとの関係を学習することで生成された学習済みモデルに対して、評価対象の切羽を撮像した切羽画像データと当該評価対象の切羽を施工機械によって施工する際に得られる計測データに基づく分布データとを入力することで、切羽を評価した評価結果を得る
   切羽評価方法。
8. 切羽画像データ取得部が、複数のカメラによって切羽を異なる撮像アングルから撮像した切羽画像データを取得し、
   三次元切羽モデル生成部が、前記切羽画像データから三次元切羽モデルを生成し、
   計測データ取得部が、切羽を穿孔する施工機械の前記切羽を穿孔する際の施工状況を表す計測データを取得し、
   データ前処理部が、前記計測データに対して前処理を行うことで分布データを生成し、
   評価データ取得部が、前記切羽を評価する評価者によって評価された結果である評価データを取得し、
   学習部が、前記三次元切羽モデルと前記分布データと前記評価データに基づく教師データを用い、三次元切羽モデルと分布データとの組み合わせと、評価データとの関係を学習することで学習済みモデルを生成する
   切羽評価学習方法。
9. 請求項１に記載された切羽評価システムとしてコンピュータを機能させるためのコンピュータプログラム。
10. 請求項３に記載された切羽評価学習システムとしてコンピュータを機能させるためのコンピュータプログラム。

Images