[1.評価支援システムの全体構成]
図1は、実施形態に係る評価支援システムの全体構成を示す図である。図1に示すように、評価支援システムSは、学習端末10と視線検出装置20とを含み、これらは互いに通信可能に接続される。なお、評価支援システムSは、サーバコンピュータ等の他のコンピュータが含まれていてもよい。
学習端末10は、本実施形態で説明する処理を実行するコンピュータであり、例えば、パーソナルコンピュータ、携帯情報端末(タブレット型コンピュータを含む)、又は携帯電話機(スマートフォンを含む)等である。例えば、学習端末10は、制御部11、記憶部12、通信部13、操作部14、及び表示部15を含む。
制御部11は、少なくとも1つのプロセッサを含む。制御部11は、記憶部12に記憶されたプログラムやデータに従って処理を実行する。記憶部12は、主記憶部及び補助記憶部を含む。例えば、主記憶部はRAMなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部13は、有線通信又は無線通信用の通信インタフェースを含み、例えば、ネットワークを介してデータ通信を行う。操作部14は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等である。操作部14は、操作内容を制御部11に伝達する。表示部15は、例えば、液晶表示部又は有機EL表示部等である。
視線検出装置20は、人間の視線を検出する装置であり、例えば、カメラ、赤外線センサ、又は赤外線発光部を含む。視線検出装置20は、アイトラッカーと呼ばれることもあり、人間の目の動きを検出する。視線の検出方法自体は、任意の方法を利用可能であり、例えば、強膜反射法や角膜反射法などの非接触型を利用してもよいし、サーチコイル法や眼球電位法などの接触型を利用してもよい。本実施形態では、視線検出装置20が学習端末10の外部装置である場合を説明するが、視線検出装置20は、学習端末10の一部として組み込まれていてもよい。また、据置型の視線検出装置20を例に挙げて説明するが、視線検出装置20は、ヘッドマウントディスプレイ又はスマートグラスのようなウェアラブルな装置であってもよい。
なお、記憶部12に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して学習端末10に供給されるようにしてもよい。また、学習端末10のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、学習端末10は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部(例えば、光ディスクドライブやメモリカードスロット)や外部機器と直接的に接続するための入出力部(例えば、USB端子)を含んでもよい。この場合、情報記憶媒体に記憶されたプログラムやデータが読取部又は入出力部を介して、学習端末10に供給されるようにしてもよい。
[2.評価支援システムの概要]
評価支援システムSは、工事現場の評価対象を評価する評価者の業務を支援する。評価者とは、評価の担当者であり、建設会社の社員であってもよいし、建設会社から評価業務を委託された者であってもよい。工事現場とは、工事が行われる場所であり、地上であってもよいし、地下であってもよい。工事は、任意の種類の工事であってよく、例えば、土木工事であってもよいし、建築工事であってもよい。
評価対象とは、評価者により評価される物である。別の言い方をすれば、評価対象は、工事の進行具合を判断するために評価者が見る物ということもできる。例えば、評価対象は、工事によって削られる物、工事によって作られる物、又は工事によって取り壊される物である。評価とは、評価対象を観察することである。別の言い方をすれば、評価は、評価対象の状態、品質、又は良し悪しをチェックすることである。
本実施形態では、山岳トンネル工事におけるトンネル切羽(以降、単に切羽と記載する。)を評価する場面を例に挙げて、評価支援システムSの処理を説明する。切羽は、掘削面又は掘削場所である。切羽は、評価対象の一例であり、本実施形態で切羽と記載した箇所は、評価対象と読み替えることができる。評価者は、工事現場に出向いて直に切羽を見て評価してもよいが、本実施形態では、切羽をカメラで撮影した撮影画像を見て評価する場合を説明する。
図2は、切羽が撮影された撮影画像の一例を示す図である。図2に示すように、例えば、撮影画像I1には、正面から撮影された切羽が示されている。評価者は、撮影画像I1に示された切羽を目視で評価して切羽観察簿を作成する。切羽観察簿は、電子データであってもよいし、紙であってもよい。切羽観察簿には、切羽の評価結果が入力又は記入され、例えば、切羽の安定性、素掘面の自律性、圧縮強度、風化又は変質の有無、割れ目の頻度・状態・形態、湧水の有無、又は水による劣化の有無などの評価項目が存在する。
評価者は、評価対象の項目ごとに、切羽の左側・天端・右側などの各部分を評価する。原則として、評価者は、毎日少なくとも1回は切羽を評価する必要があり、最新の切羽の状態が撮影された撮影画像を見て切羽観察簿を作成する。このため、切羽観察簿の作成は、評価者の業務量を増加させる一因となっている。また、切羽の評価には、高度な専門知識と豊富な経験を要するので、経験の浅い評価者には、正確な評価をすることが難しい。更に、切羽の評価は、評価者の観点や現場の状況によって変わり、普遍的な評価をすることも難しい。
そこで、評価支援システムSは、熟練者が撮影画像を見て切羽を評価したときの視線を追跡し、熟練者が重点的に見る部分を学習させた機械学習モデルを用意し、切羽の評価業務を支援するようにしている。また、評価支援システムSは、熟練者が作成した切羽観察簿を学習させた機械学習モデルも用意し、切羽の評価業務を支援するようにもしている。
図3は、熟練者が撮影画像を見て切羽を評価する様子を示す図である。図3に示すように、熟練者は、表示部15に撮影画像I1を表示させて切羽を評価し、切羽観察簿B1を作成する。視線検出装置20は、熟練者の視線を検出できるように、例えば、表示部15の下部などに配置される。視線検出装置20は、画面の正面方向が検出範囲となっており、熟練者の視線を検出する。学習端末10は、視線検出装置20の検出結果に基づいて、熟練者が重点的に見る部分を示す注視点画像I2を作成する。
注視点画像I2は、ヒートマップとも呼ばれる画像であり、熟練者が見た部分が色で表現される。注視点画像I2の色は、注視の度合いを表し、注視の度合いが強い箇所と弱い箇所が色分けされている。注視の度合いとは、熟練者が重要視している程度である。別の言い方をすれば、注視の度合いは、熟練者が注視した時間又は頻度ということもできる。例えば、注視点画像I2は、色のグラデーションを利用して注視の度合いが示されてもよいし、グラデーションを利用せずに、赤・青・黄色といった複数の色で色分けすることによって注視の度合いが示されてもよい。
図3では、色の濃さを網点の密度で示しており、注視点画像I2の色が濃いほど、注視の度合いが高くなっている。本実施形態の注視点画像I2は、撮影画像I1と同じサイズであり、撮影画像I1が示す切羽の位置と、注視点画像I2が示す注視点の位置と、は互いに対応している。このため、図3の注視点画像I2は、熟練者が、切羽の右上、左下、及び中央下の状態を重点的に見ていることを意味する。
評価支援システムSは、種々の撮影画像I1を熟練者に評価させて注視点画像I2を作成する。注視点画像I2の作成には、複数の熟練者が参加してもよいし、複数の工事現場の各々の切羽が撮影された撮影画像I1が利用されてもよい。評価支援システムSは、撮影画像I1と注視点画像I2のペアを蓄積し、撮影画像I1から注視点画像I2を生成する注視点画像出力モデルを作成する。
図4は、注視点画像出力モデルの概要を示す説明図である。図4に示すように、注視点画像出力モデルM1は、熟練者によって評価済みの撮影画像I1と、視線検出装置20を利用して作成した注視点画像I2と、のペアが多数格納された第1教師データD1を学習させた機械学習モデルである。機械学習自体は、公知の手法を利用可能であり、例えば、畳み込みニューラルネットワーク又は再帰的ニューラルネットワークが利用されてもよい。例えば、経験の浅い評価者は、学習済みの注視点画像出力モデルM1に対し、その日の業務で評価する切羽が撮影された撮影画像I3を入力する。
撮影画像I3は、注視点画像出力モデルM1に学習されていない未知の画像である。注視点画像出力モデルM1は、撮影画像I3が入力されると、注視点画像I4を出力する。注視点画像出力モデルM1は、第1教師データD1を学習済みなので、注視点画像I4は、熟練者が撮影画像I3の切羽を評価すると仮定した場合に、熟練者が重点的に見ると推測される部分を示すことになる。評価者は、注視点画像I4を参考にしながら撮影画像I3を見て切羽の評価業務を行ってもよいが、本実施形態では、切羽の評価結果を自動的に作成する評価結果出力モデルが用意されている。
図5は、評価結果出力モデルの概要を示す説明図である。図5に示すように、評価結果出力モデルM2は、先述した撮影画像I1及び注視点画像I2と、熟練者が記入した切羽観察簿B1と、のペアが多数格納された第2教師データD2を学習させた機械学習モデルである。本実施形態では、注視点画像出力モデルM1に対し、撮影画像I3が入力されて注視点画像I4が作成されると、評価結果出力モデルM2に対し、撮影画像I3と注視点画像I4が入力される。
評価結果出力モデルM2は、撮影画像I3と注視点画像I4が入力されると、切羽観察簿B2を出力する。注視点画像出力モデルM1は、第2教師データD2を学習済みなので、切羽観察簿B2は、熟練者が撮影画像I3の切羽を評価すると仮定した場合に、熟練者が作成すると推測される切羽観察簿の内容を示す。切羽観察簿B2は、その日の評価結果としてそのまま用いられてもよいし、その日の評価を担当する評価者の参考用の情報として用いられてもよい。
以上のように、評価支援システムSは、主に、注視点画像出力モデルM1を利用して注視点画像I4を取得する第1の構成と、評価結果出力モデルM2を利用して切羽観察簿B2を取得する第2の構成と、を有し、評価対象を評価する業務を支援することができるようになっている。以降、評価支援システムSの詳細を説明する。
[3.本実施形態で実現される機能]
図6は、評価支援システムSで実現される機能の一例を示す機能ブロック図である。図6に示すように、評価支援システムSは、データ記憶部100、教師注視点画像取得部101、第1教師データ取得部102、第1学習部103、第1入力部104、出力注視点画像取得部105、第2教師データ取得部106、第2学習部107、入力注視点画像取得部108、第2入力部109、及び出力評価結果取得部110が実現される。
データ記憶部100、教師注視点画像取得部101、第1教師データ取得部102、第1学習部103、第1入力部104、出力注視点画像取得部105は、主に第1の構成に係る機能である。また、データ記憶部100、第2教師データ取得部106、第2学習部107、入力注視点画像取得部108、第2入力部109、及び出力評価結果取得部110は、主に第2の構成に係る機能である。なお、本実施形態では、これら各機能が学習端末10によって実現される場合を説明するが、後述する変形例のように、各機能は、サーバコンピュータ等の他のコンピュータによって実現されてもよい。
[データ記憶部]
データ記憶部100は、記憶部12を主として実現される。データ記憶部100は、本実施形態の処理を実行するために必要なデータを記憶する。例えば、データ記憶部100は、第1教師データD1と、第2教師データD2と、を記憶する。
図7は、第1教師データD1のデータ格納例を示す図である。図7に示すように、第1教師データD1は、工事現場における切羽が撮影された教師撮影画像と、切羽を評価した評価者の教師注視点画像と、の関係を示すデータである。本実施形態では、後述する教師注視点画像取得部101により教師注視点画像が取得されるので、第1教師データD1は、教師撮影画像と、教師注視点画像取得部101により取得された教師注視点画像と、の関係を示す。なお、本実施形態では、教師注視点画像は、評価者が教師撮影画像を見て切羽を評価したときの注視点を示す場合を説明するが、教師注視点画像は、評価者が、画像ではなく、実際の切羽を直接見て評価したときの注視点を示してもよい。
第1教師データD1は、熟練者による評価が行われた後の任意のタイミングで作成され、教師撮影画像と教師注視点画像のペアが複数個格納される。第1教師データD1に格納される当該ペアの個数は、任意であってよく、例えば、十~数十個程度であってもよいし、百~数万個程度であってもよい。第1教師データD1は、注視点画像出力モデルM1の入力と出力の対応関係を定めたデータということができ、教師撮影画像が入力に相当し、教師注視点画像が出力に相当する。なお、図7では、画像ファイルが第1教師データD1に格納されている場合を示しているが、各画像の特徴量が第1教師データD1に格納されていてもよい。特徴量は、ベクトルや配列等の任意の形式で表現されるようにすればよい。
教師撮影画像は、教師データとして用いられる撮影画像である。別の言い方をすれば、教師撮影画像は、機械学習モデルを学習させるために用いられる撮影画像である。なお、教師データは、訓練データ又は学習データと呼ばれることもある。図3-図5に示した撮影画像I1は、教師撮影画像に相当する。教師撮影画像には、工事現場における評価対象が撮影されている。本実施形態では、切羽が評価対象に相当するので、教師撮影画像は、切羽が撮影された画像となる。
教師撮影画像は、任意の拡張子のデータであってよく、例えば、JPEG、PNG、BMP、又はGIFの画像であってよい。本実施形態では、教師撮影画像がカラー画像である場合を説明するが、教師撮影画像は、グレーケール画像又はモノクロ画像といった他の形式であってもよい。教師撮影画像のサイズ、解像度、及びビット数は、任意であってよい。
なお、本実施形態では、各教師撮影画像における切羽の撮影条件が同じであり、拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。撮影条件は、切羽を撮影する際の条件であり、例えば、切羽とカメラの位置関係(切羽に対するカメラの相対位置・向き・高さ)、画像において切羽が占める割合、撮影時の証明の明るさや色、又はカメラが生成する画像の形式などの設定である。また、切羽とカメラの位置関係(切羽の撮影方向)は、どの教師撮影画像も同じものとするが、教師撮影画像ごとに、切羽とカメラの位置関係が微妙に異なってもよい。
教師注視点画像は、教師データとして用いられる注視点画像である。別の言い方をすれば、教師注視点画像は、機械学習モデルを学習させるために用いられる注視点画像である。教師注視点画像は、注視点(注視の度合い)が色によって表現されている。図3-図5に示した注視点画像I2は、教師注視点画像に相当する。本実施形態では、切羽が評価対象に相当するので、教師注視点画像は、評価者が切羽を評価した場合の注視点を示す画像となる。
教師注視点画像は、任意の拡張子のデータであってよく、例えば、JPEG、PNG、BMP、又はGIFの画像であってよい。本実施形態では、教師注視点画像がカラー画像である場合を説明するが、教師注視点画像は、グレーケール画像又はモノクロ画像といった他の形式であってもよい。教師注視点画像のサイズ、解像度、及びビット数は、任意であってよい。
なお、本実施形態では、教師撮影画像と教師注視点画像の各々の拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。また、本実施形態では、注視点情報の一例として注視点画像を説明するが、注視点情報は、人間が視認可能な画像以外の形式であってもよく、例えば、座標情報、表形式の情報、又は数式形式の情報などによって表現されてもよい。本実施形態で注視点画像と記載した箇所は、注視点情報と読み替えることができる。例えば、教師注視点画像、出力注視点画像、及び入力注視点画像は、それぞれ教師注視点情報、出力注視点情報、及び入力注視点情報と読み替えることができる。
図8は、第2教師データD2のデータ格納例を示す図である。図8に示すように、第2教師データD2は、工事現場における評価対象が撮影された教師撮影画像と当該教師撮影画像に対応する教師注視点画像と、評価者による評価対象の教師評価結果と、の関係を示すデータである。本実施形態では、後述する教師注視点画像取得部101により教師注視点画像が取得されるので、第2教師データD2は、教師撮影画像と教師注視点画像取得部101により取得された教師注視点画像と、教師評価結果と、の関係を示す。
第2教師データD2は、熟練者による評価後の任意のタイミングで作成され、教師撮影画像及び教師注視点画像と、教師評価結果と、のペアが複数個格納される。第2教師データD2に格納される当該ペアの個数は、任意であってよく、例えば、十~数十個程度であってもよいし、百~数万個程度であってもよい。第2教師データD2は、評価結果出力モデルM2の入力と出力の対応関係を定めたデータということができ、教師撮影画像と教師注視点画像が入力に相当し、教師評価結果が出力に相当する。なお、図8では、画像ファイルが第2教師データD2に格納されている場合を示しているが、各画像の特徴量が第2教師データD2に格納されていてもよい。
教師撮影画像に対応する教師注視点画像とは、教師撮影画像を熟練者が評価した場合に作成された注視点画像、又は、教師撮影画像を熟練者が評価すると仮定した場合の注視点画像である。例えば、図3-図5に示す撮影画像I1を教師撮影画像だとすると、視線検出装置20を利用して作成した注視点画像I2は、教師撮影画像に対応する教師注視点画像である。なお、後述する変形例のように、教師撮影画像を注視点画像出力モデルM1に入力した場合に出力される注視点画像I4が、教師撮影画像に対応する教師注視点画像に相当してもよい。
教師評価結果は、教師データとして用いられる評価結果である。別の言い方をすれば、教師評価結果は、機械学習モデルを学習させるために用いられる評価結果である。図3及び図5に示した切羽観察簿B1は、教師評価結果に相当する。
教師評価結果は、複数の評価項目の各々の評価結果を含む。評価項目は、評価の基準となる項目であり、例えば、先述した切羽の安定性や素掘面の自律性などである。本実施形態では、評価結果が数値で示される場合を説明する。例えば、評価項目に該当するか否かが「0」又は「1」の数値で示されてもよいし、3つ以上の数値の中から該当する数値が選択されてもよい。
例えば、評価結果を示す数値は、「非常に良い」「良い」「悪い」「非常に悪い」といったように、予め定められた複数の数値の中から選択されてもよいし、10点や5点などのような点数を示してもよい。なお、評価結果は、数値に限られず、記号や文字などで示されてもよい。また、評価結果は、評価項目が1つだけであってもよい。評価結果は、評価の内容ということもでき、工事の進捗状況や良し悪しの判断結果ということもできる。
また、データ記憶部100は、第1教師データD1と第2教師データD2だけでなく、注視点画像出力モデルM1と評価結果出力モデルM2も記憶する。これらのモデルは、人工知能又はエンジンと呼ばれることもある。データ記憶部100は、注視点画像出力モデルM1と評価結果出力モデルM2の各々のプログラムやパラメータ(係数)を記憶することになる。データ記憶部100に記憶された注視点画像出力モデルM1と評価結果出力モデルM2の各々は、後述する第1学習部103と第2学習部107の各々により学習済みであり、第1教師データD1と第2教師データD2の各々によってパラメータ等が調整されている。
なお、注視点画像出力モデルM1の基礎となる機械学習モデル自体は、公知のアルゴリズムを利用可能である。例えば、注視点画像出力モデルM1は、入力撮影画像が入力されると、出力注視点画像を出力するので、画像変換で用いられる機械学習モデルを利用可能である。例えば、「ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け」(飯塚 里志、シモセラ エドガー、石川 博、http://iizuka.cs.tsukuba.ac.jp/projects/colorization/ja/)に記載されているようなモノクロ画像をカラー画像に変換する機械学習モデルの手法を流用してもよい。他にも例えば、複数のデータ間の変換を学習するGANと呼ばれる手法の一種であるcycleGAN(Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks、https://arxiv.org/pdf/1703.10593.pdf)と呼ばれる手法を流用してもよい。
また、評価結果出力モデルM2の基礎となる機械学習モデルについても、公知のアルゴリズムを利用可能である。評価結果出力モデルM2は、入力撮影画像と入力注視点画像が入力されると、それに応じた出力評価結果を出力し、出力評価結果は、入力撮影画像と入力注視点画像の分類結果と捉えることができるので、いわゆる分類学習器を利用可能である。分類学習器は、入力されたデータを分類(ラベリング)する機械学習モデルであり、例えば、ある分類に該当するか否かを0又は1で出力したり、分類に該当する蓋然性を示すスコアを出力したりする。例えば、撮影画像に示された犬や猫などの物体を分類するGrad-CAMと呼ばれる手法を流用してもよい。他にも例えば、FasterRNN、Yolo、又はSSDと呼ばれる流用してもよい。
なお、データ記憶部100に記憶されるデータは、上記の例に限られない。例えば、データ記憶部100は、熟練者による評価が行われていない教師入力画像を記憶してもよい。また例えば、データ記憶部100は、後述する入力撮影画像を記憶してもよい。他にも例えば、データ記憶部100は、注視点画像出力モデルM1と評価結果出力モデルM2の各々を学習させるためのプログラムを記憶してもよいし、視線検出装置20の検出結果から注視点画像を作成するためのプログラムを記憶してもよい。
[教師注視点画像取得部]
教師注視点画像取得部101は、制御部11を主として実現される。教師注視点画像取得部101は、教師注視点画像を取得する。教師注視点画像は、任意の方法によって取得可能であり、本実施形態では、教師注視点画像取得部101は、視線検出装置20により検出された評価者の視線に基づいて、教師注視点画像を取得する場合を説明する。
視線検出装置20は、本発明に係る視線検出手段の一例である。視線検出手段は、視線検出装置20に限られず、視線を検出可能な手段であればよい。例えば、パーソナルコンピュータ、タブレット型コンピュータ、又はスマートフォンのカメラが視線検出手段に相当してもよい。他にも例えば、ヘッドマウントディスプレイ又はスマートグラスに組み込まれた視線センサが視線検出手段に相当してもよい。この場合、熟練者は、ヘッドマウントディスプレイ又はスマートグラスを装着したまま切羽の評価を行うことになる。先述したように、本実施形態では、熟練者が画像を見て切羽の評価を行い、その時の教師注視点画像が取得される場合を説明するが、熟練者が実際の切羽を直接見て評価を行い、その時の教師注視点画像が取得されてもよい。
教師注視点画像の取得方法自体は、公知のツールを利用可能である。例えば、教師注視点画像取得部101は、視線検出装置20の検出結果に基づいて、注視点の位置を時系列的に記録する。教師注視点画像取得部101は、当該時系列的に記録された注視点の位置に基づいて、画面上の位置ごとに注視時間を計算する。教師注視点画像取得部101は、各位置の注視時間に基づいて、各画素の画素値を決定して教師注視画像を取得する。注視時間と画素値との関係は、予め定めておけばよく、例えば、注視時間が長いほど所定の色に近づくように定めてもよいし、注視時間が長いほど色が濃くなるように定めてもよい。
本実施形態では、教師注視点画像取得部101は、視線検出装置20により検出された評価者の視線のうち、教師撮影画像が表示された画面上への視線を特定し、当該特定された視線に基づいて、教師注視点画像を取得する。教師撮影画像は、画面全体に表示されてもよいし、画面の一部にだけ表示されてもよい。表示部15の画面のうち、教師撮影画像が表示された領域の位置は、初期設定によって予めデータ記憶部100に記録されているものとする。教師注視点画像取得部101は、視線検出装置20により検出された視線のうち、教師撮影画像が表示された領域内への視線(注視点が当該領域内の視線)に基づいて、教師注視点画像を取得し、当該領域外への視線(注視点が当該領域外の視線)の情報については、教師注視点画像に含まれないようにする。なお、教師撮影画像には、画面外への視線が多少含まれていてもよい。
[第1教師データ取得部]
第1教師データ取得部102は、制御部11を主として実現される。第1教師データ取得部102は、第1教師データD1を取得する。本実施形態では、第1教師データD1がデータ記憶部100に記憶されているので、第1教師データ取得部102は、データ記憶部100を参照し、第1教師データD1を取得する。第1教師データD1が学習端末10以外の他のコンピュータ又は外部情報記憶媒体に記憶されている場合、第1教師データ取得部102は、当該他のコンピュータ又は外部情報記憶媒体に記憶された第1教師データD1を取得する。
[第1学習部]
第1学習部103は、制御部11を主として実現される。第1学習部103は、第1教師データD1に基づいて、注視点画像出力モデルM1を学習させる。学習方法自体は、公知の機械学習モデルの手法を利用すればよく、例えば、畳み込みニューラルネットワーク又は再帰的ニューラルネットワークの学習手法を利用すればよい。この点は、後述する第2学習部107も同様である。
第1学習部103は、第1教師データD1が示す入力と出力の関係が得られるように、注視点画像出力モデルM1のパラメータを調整する。例えば、第1学習部103は、第1教師データD1の教師撮影画像と教師注視点画像との各々を特徴量化し、教師撮影画像の特徴量を入力した場合に、教師注視点画像の特徴量が出力されるように、注視点画像出力モデルM1のパラメータを調整する。なお、第1教師データD1には、教師撮影画像と教師注視点画像の各々の特徴量が予め計算されて格納されていてもよい。この場合には、第1学習部103は、学習時に特徴量を計算しなくてよい。
[第1入力部]
第1入力部104は、制御部11を主として実現される。第1入力部104は、注視点画像出力モデルM1に対し、入力撮影画像を入力する。
入力撮影画像は、注視点画像出力モデルM1に入力される撮影画像である。別の言い方をすれば、入力撮影画像は、評価者(例えば、経験の浅い評価者)が評価すべき切羽が撮影された撮影画像である。図4-図5に示した撮影画像I3は、入力撮影画像に相当する。本実施形態では、入力撮影画像が、第1教師データD1及び第2教師データD2に格納されていない場合を説明するが、第1教師データD1及び第2教師データD2に格納された教師撮影画像が入力撮影画像となってもよい。
入力撮影画像には、工事現場における評価対象が撮影されている。本実施形態では、切羽が評価対象に相当するので、入力撮影画像は、教師撮影画像の切羽の工事現場又は他の工事現場における切羽が撮影された画像である。入力撮影画像は、教師撮影画像に撮影された切羽と同じ工事現場の切羽(例えば、教師撮影画像に撮影された切羽を更に掘り進めた後の切羽)が示されていてもよいし、全く別の場所の他の工事現場における全く異なる切羽が示されていてもよい。
入力撮影画像の拡張子、形式、サイズ、解像度、及びビット数が任意であってよい点は、教師撮影画像と同様である。本実施形態では、教師撮影画像と入力撮影画像との間で切羽の撮影条件が同じであり、教師撮影画像と入力撮影画像の各々は、拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。また、切羽とカメラの位置関係(切羽の撮影方向)は、入力撮影画像と教師撮影画像との間で同じものとするが、入力撮影画像と教師撮影画像との間で、切羽とカメラの位置関係が微妙に異なってもよい。
本実施形態では、データ記憶部100に入力撮影画像が記憶されており、第1入力部104が、データ記憶部100に記憶された入力撮影画像を取得する場合を説明するが、入力撮影画像は、任意の方法で取得可能である。例えば、第1入力部104は、学習端末10以外の他のコンピュータ又は外部情報記憶媒体から入力撮影画像を取得してもよい。また例えば、第1入力部104は、カメラから直接的に入力撮影画像を取得してもよい。
第1入力部104は、注視点画像出力モデルM1に対し、取得した入力撮影画像を入力する。本実施形態では、入力撮影画像の特徴量を計算するアルゴリズムが注視点画像出力モデルM1に組み込まれている場合を説明するが、当該アルゴリズムは、注視点画像出力モデルM1とは別に用意されていてもよい。この場合、第1入力部104は、特徴量を計算するアルゴリズムに対し、入力撮影画像を入力し、当該アルゴリズムから出力された入力撮影画像の特徴量を注視点画像出力モデルM1に入力すればよい。
[出力注視点画像取得部]
出力注視点画像取得部105は、制御部11を主として実現される。出力注視点画像取得部105は、注視点画像出力モデルM1から出力された、出力注視点画像を取得する。
出力注視点画像は、注視点画像出力モデルM1から出力される注視点画像である。別の言い方をすれば、出力注視点画像は、熟練者が入力撮影画像を評価すると仮定した場合に、熟練者が注視すると推測される部分を示す。出力注視点画像は、注視点(注視の度合い)が色によって表現されている。図4-図5に示した注視点画像I4は、出力注視点画像に相当する。本実施形態では、出力注視点画像は、第1教師データD1及び第2教師データD2に格納されない場合を説明するが、後述する変形例のように、出力注視点画像は、第1教師データD1及び第2教師データD2に格納され、教師データとして用いられてもよい。
本実施形態では、切羽が評価対象に相当し、入力撮影画像には、工事現場における評価対象が撮影されているので、出力注視点画像は、入力撮影画像に示された切羽の評価時に見るべき部分を示す。出力注視点画像の拡張子、形式、サイズ、解像度、及びビット数が任意であってよい点は、教師注視点画像と同様である。本実施形態では、教師注視点画像と出力撮影画像との各々は、拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。
[第2教師データ取得部]
第2教師データ取得部106は、制御部11を主として実現される。第2教師データ取得部106は、第2教師データD2を取得する。本実施形態では、第2教師データD2がデータ記憶部100に記憶されているので、第2教師データ取得部106は、データ記憶部100を参照し、第2教師データD2を取得する。第2教師データD2が学習端末10以外の他のコンピュータ又は外部情報記憶媒体に記憶されている場合、第2教師データ取得部106は、当該他のコンピュータ又は外部情報記憶媒体に記憶された第2教師データD2を取得する。
[第2学習部]
第2学習部107は、制御部11を主として実現される。第2学習部107は、第2教師データD2に基づいて、評価結果出力モデルM2を学習させる。第2学習部107は、第2教師データD2が示す入力と出力の関係が得られるように、評価結果出力モデルM2のパラメータを調整する。例えば、第2学習部107は、第2教師データD2の教師撮影画像と教師注視点画像の各々を特徴量化し、教師撮影画像と教師注視点画像の各々の特徴量を入力した場合に、教師評価結果が出力されるように、評価結果出力モデルM2のパラメータを調整する。なお、第2教師データD2には、教師撮影画像と教師注視点画像の各々の特徴量が予め計算されて格納されていてもよい。この場合には、第2学習部107は、学習時に特徴量を計算しなくてよい。
[入力注視点画像取得部]
入力注視点画像取得部108は、制御部11を主として実現される。入力注視点画像取得部108は、入力注視点画像を取得する。本実施形態では、入力注視点画像取得部108は、学習済みの注視点画像出力モデルM1に対し、入力撮影画像が入力された場合に出力される出力注視点画像を、入力注視点画像として取得する。
入力注視点画像は、注視点画像出力モデルM1に入力される注視点画像である。別の言い方をすれば、入力注視点画像は、入力撮影画像の中で見るべき部分を示す。図4-図5に示した注視点画像I4は、入力注視点画像に相当する。本実施形態では、切羽が評価対象に相当し、入力撮影画像には、工事現場における切羽が撮影されているので、入力注視点画像は、入力撮影画像に示された切羽の評価時に見るべき部分を示す。
本実施形態では、出力注視点画像が入力注視点画像に相当し、第2入力部109が、注視点画像出力モデルM1から出力された出力注視点画像を、入力注視点画像として取得する場合を説明するが、入力注視点画像は、任意の方法で取得可能である。例えば、注視点画像出力モデルM1を利用しない場合には、第2入力部109は、操作部14からの操作に基づいて入力注視点画像を取得してもよいし、学習端末10以外の他のコンピュータ又は外部情報記憶媒体から入力注視点画像を取得してもよい。
[第2入力部]
第2入力部109は、制御部11を主として実現される。第2入力部109は、評価結果出力モデルM2に対し、入力撮影画像と、入力撮影画像に対応する入力注視点画像と、を入力する。入力撮影画像については、第1入力部104の説明で記載した通りである。入力注視点画像は、任意の方法によって取得可能であり、本実施形態では、後述する入力注視点画像取得部108により入力注視点画像が取得されるので、第2入力部109は、評価結果出力モデルに対し、入力撮影画像と、入力注視点画像取得部108により取得された入力注視点画像と、を入力する。
第2入力部109は、評価結果出力モデルM2に対し、入力撮影画像と入力注視点画像を入力する。本実施形態では、入力撮影画像と入力注視点画像の各々の特徴量を計算するアルゴリズムが評価結果出力モデルM2に組み込まれている場合を説明するが、当該アルゴリズムは、評価結果出力モデルM2とは別に用意されていてもよい。この場合、第2入力部109は、特徴量を計算するアルゴリズムに対し、入力撮影画像と入力注視点画像の各々を入力し、当該アルゴリズムから出力された特徴量を評価結果出力モデルM2に入力すればよい。
[出力評価結果取得部]
出力評価結果取得部110は、制御部11を主として実現される。出力評価結果取得部110は、学習済みの評価結果出力モデルに対し、入力撮影画像と、入力注視点画像と、が入力された場合に出力される、入力撮影画像に示された切羽の出力評価結果を取得する。
出力評価結果は、評価結果出力モデルM2から出力される評価結果である。別の言い方をすれば、出力評価結果は、熟練者が入力撮影画像を評価したと仮定した場合の評価結果と推測された内容を示す。図5に示した切羽観察簿B2は、出力評価結果に相当する。出力評価結果は、評価項目ごとに、入力撮影画像と入力注視点画像に対応する数値を示す。当該数値は、入力撮影画像と入力注視点画像の分類結果ということができ、分類学習器におけるラベルに相当する。
なお、本実施形態では、出力評価結果が表示部15に表示される場合を説明するが、出力評価結果は、任意の用途で利用されてよい。例えば、出力評価結果は、プリンタから印刷されてもよいし、電子メール等に添付された送信されてもよい。他にも例えば、出力評価結果を示すファイルが学習端末10又は他のコンピュータに記録されてもよい。
[4.本実施形態において実行される処理]
次に、評価支援システムSで実行される処理を説明する。ここでは、注視点画像出力モデルM1と評価結果出力モデルM2の各々を学習させるための学習処理と、これらのモデルを利用して評価者の評価業務を支援するための評価支援処理と、について説明する。以降説明する処理は、制御部11が記憶部12に記憶されたプログラムに従って動作することによって実行される。また、以降説明する処理は、図6に示す機能ブロックにより実行される処理の一例である。
[4-1.学習処理]
図9は、学習処理を示すフロー図である。図9に示すように、まず、制御部11は、操作部14の検出信号に基づいて、熟練者に評価させる教師撮影画像を表示部15に表示させる(S100)。S100においては、制御部11は、記憶部12に記憶された教師撮影画像のうち、熟練者が操作部14を操作して選択した教師撮影画像を、表示部15に表示させる。S100において表示される教師撮影画像は、対応する教師注視点画像が作成されていない画像であり、第1教師データD1にまだ格納されていない教師撮影画像である。
制御部11は、視線検出装置20による熟練者の視線の検出結果を取得する(S101)。S101においては、制御部11は、視線検出装置20により検出された熟練者の視線(例えば、注視点の座標)を時系列的に記憶部12に記録する。熟練者は、表示部15に表示された教師撮影画像に示された切羽を評価し、切羽観察簿の評価項目の評価結果を入力する。評価結果は、操作部14から入力されてもよいし、熟練者の手元にあるタブレット型端末等から入力されて学習端末10に送られてもよい。他にも例えば、評価結果は、紙の切羽観察簿に記入され、事後的にスキャナで取り込まれたり、操作部14から入力されたりしてもよい。
制御部11は、操作部14の検出信号に基づいて、熟練者による評価が完了したか否かを判定する(S102)。S102においては、制御部11は、操作部14や熟練者の端末等からの入力結果に基づいて、切羽観察簿の全ての評価項目が入力されて所定の終了操作が行われたか否かを判定する。
熟練者による評価が完了したと判定されない場合(S102;N)、熟練者による評価が終了していないので、S101の処理に戻る。この場合、熟練者は、引き続き切羽の評価を行い、熟練者の視線の検出結果が記録される。
一方、評価結果の入力を受け付けたと判定された場合(S102;Y)、制御部11は、熟練者の視線の検出結果に基づいて、教師注視点画像を作成する(S103)。S103においては、制御部11は、熟練者が評価を開始してから終了するまでの間における視線の検出結果に基づいて、教師注視点画像を作成する。制御部11は、熟練者が注視した時間が長いほど色が濃くなるように、教師注視点画像を作成する。
制御部11は、S100で表示させた教師撮影画像と、S103で作成した教師注視点画像と、のペアを第1教師データD1に格納する(S104)。制御部11は、S100で表示させた教師撮影画像及びS103で作成した教師注視点画像と、S102で完了した評価である教師評価結果と、のペアを第2教師データD2に格納する(S105)。S104においては、第1教師データD1が作成され、S105においては、第2教師データD2が作成されることになる。
制御部11は、操作部14の検出信号に基づいて、学習処理を実行するか否かを判定する(S106)。学習処理は、任意のタイミングで実行されてよく、例えば、操作部14から所定の操作が行われた場合に実行される。なお、学習処理は、予め定められた時間が到来した場合に実行されてもよいし、熟練者による評価が行われるたびに実行されてもよい。他にも例えば、第1教師データD1及び第2教師データD2の各々に対し、新しいデータが一定数以上追加された場合に実行されてもよい。
学習処理を実行すると判定されない場合(S106;N)、本処理は終了する。この場合、再びS1の処理から実行され、第1教師データD1及び第2教師データD2の各々に対し、新しいデータが追加されてもよい。また、以降のS107及びS108の処理は、任意のタイミングで実行可能であり、第1教師データD1及び第2教師データD2の各々に対し、新しいデータが追加された後でなくてもよい。
一方、学習処理を実行すると判定された場合(S106;Y)、制御部11は、第1教師データD1に基づいて、注視点画像出力モデルM1の学習処理を実行する(S107)。S107においては、制御部11は、公知の学習アルゴリズムに基づいて、第1教師データD1が示す入力と出力の関係が得られるように、注視点画像出力モデルM1のパラメータを調整する。
制御部11は、第2教師データD2に基づいて、評価結果出力モデルM2の学習処理を実行し(S108)、本処理は終了する。S108においては、制御部11は、公知の学習アルゴリズムに基づいて、第2教師データD2が示す入力と出力の関係が得られるように、評価結果出力モデルM2のパラメータを調整する。
[4-2.評価支援処理]
図10は、評価支援処理を示すフロー図である。評価支援処理は、学習処理が実行された後に実行される。図10に示すように、まず、制御部11は、入力撮影画像を取得する(S200)。S200においては、記憶部12に記憶された入力撮影画像のうち、評価者が操作部14を操作して選択した入力撮影画像を取得する。
制御部11は、注視点画像出力モデルM1に対し、S200で取得した入力撮影画像を入力し(S201)、注視点画像出力モデルM1から出力された出力注視点画像を、入力注視点画像として取得する(S202)。S201において入力撮影画像が入力されると、注視点画像出力モデルM1は、入力撮影画像の特徴量を計算する。注視点画像出力モデルM1は、計算した特徴量に基づいて、出力注視点画像を出力する。
制御部11は、評価結果出力モデルM2に対し、S200で取得した入力撮影画像と、S202で取得した入力注視点画像と、を入力し(S203)、評価結果出力モデルM2から出力された、出力評価結果を取得する(S204)。S203において入力撮影画像と入力注視点画像が入力されると、評価結果出力モデルM2は、入力撮影画像と入力注視点画像の各々の特徴量を計算する。評価結果出力モデルM2は、これらの特徴量に基づいて、出力評価結果を出力する。
制御部11は、S204で取得した出力評価結果を表示部15に表示させ(S205)、本処理は終了する。評価者は、表示部15に表示された出力評価結果を評価の参考にしたり、表示部15に表示された出力評価結果を印刷したりして、その日の切羽の評価業務を行う。
評価支援システムSの第1の構成によれば、第1教師データD1に基づいて学習された注視点画像出力モデルM1に対し、入力撮影画像を入力して出力注視点画像を取得することによって、評価者の業務を支援することができる。例えば、出力注視点画像を入力注視点画像として評価結果出力モデルM2に入力して出力評価結果を得ることにより、評価者は、熟練者であればこのような評価結果になるといったヒントを得たり、出力評価結果をそのままその日の評価結果として利用したりすることができる。
また、評価支援システムSは、教師撮影画像と、視線検出装置20により取得された教師注視点画像と、の関係を注視点画像出力モデルM1に学習させることによって、熟練者の視線の検出結果を注視点画像出力モデルM1に学習させ、注視点画像出力モデルM1の精度を高めることができる。
また、評価支援システムSは、視線検出装置20により検出された評価者の視線のうち、教師撮影画像が表示された画面上への視線を特定して教師注視点画像を取得することによって、切羽の評価に関係のない視線を排除し、注視点画像出力モデルM1の精度を効果的に高めることができる。
また、評価支援システムSは、学習済みの評価結果出力モデルM2に対し、入力撮影画像と出力注視点画像とを入力し、入力撮影画像に示された切羽の出力評価結果を取得することによって、熟練者であればこのような評価結果になるといった情報が出力され、評価者の業務を効果的に支援することができる。
また、評価支援システムSは、教師撮影画像、入力撮影画像、教師注視点画像、及び出力注視点画像の各々を互いに同じサイズとすることによって、注視点画像出力モデルM1の精度を効果的に高めることができる。
また、評価支援システムSは、評価対象を切羽とすることで、トンネル工事の評価者の業務を支援することができる。
評価支援システムSの第2の構成によれば、第2教師データD2に基づいて学習された評価結果出力モデルM2に対し、入力撮影画像と出力注視点画像を入力して出力評価結果を取得することによって、評価者の業務を支援することができる。例えば、評価者は、熟練者であればこのような評価結果になるといったヒントを得たり、出力評価結果をそのままその日の評価結果として利用したりすることができる。
また、評価支援システムSは、教師撮影画像と視線検出装置20により取得された教師注視点画像と、教師評価結果と、の関係を評価結果出力モデルM2に学習させることによって、熟練者の視線の検出結果を評価結果出力モデルM2に学習させ、評価結果出力モデルM2の精度を高めることができる。
また、評価支援システムSは、視線検出装置20により検出された評価者の視線のうち、教師撮影画像が表示された画面上への視線を特定して教師注視点画像を取得することによって、切羽の評価に関係のない視線を排除し、評価結果出力モデルM2の精度を効果的に高めることができる。
また、評価支援システムSは、学習済みの注視点画像出力モデルM1に対し、入力撮影画像を入力して出力注視点画像を入力注視点画像として取得し、評価結果出力モデルM2に入力することによって、入力注視点画像を自動的に取得し、評価者の業務を効果的に支援することができる。
また、評価支援システムSは、教師撮影画像、入力撮影画像、教師注視点画像、及び出力注視点画像の各々を互いに同じサイズとすることによって、評価結果出力モデルM2の精度を効果的に高めることができる。
また、評価支援システムSは、評価対象を切羽とすることで、トンネル工事の評価者の業務を支援することができる。
[5.変形例]
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
図11は、変形例に係る機能ブロック図である。図11に示すように、以降説明する変形例では、実施形態で説明した機能に加えて、特徴情報取得部111が実現される。特徴情報取得部111は、学習端末10によって実現される場合を説明するが、サーバコンピュータ等の他のコンピュータによって実現されてもよい。
[5-1.第1の構成に係る変形例]
(1-1)まず、第1の構成に係る変形例について説明する。例えば、同じトンネル工事であったとしても、山岳トンネル工事と地下トンネル工事とで評価者が見るべき場所が変わることがある。このため、工事の特徴情報を注視点画像出力モデルM1に学習させ、特徴情報に応じた出力注視点画像が出力されるようにしてもよい。
特徴情報は、工事の特徴に関する情報であり、工種ということもできる。例えば、特徴情報は、工事現場の場所、工法、地盤、天候、平均降水量、機材、材料、又は作業員といった特徴である。特徴情報には、これら複数の項目の各々の特徴が示されてもよいし、何れか1つの特徴だけが示されていてもよい。特徴情報は、各項目が数値によって示されてもよいし、記号又は文字などによって示されてもよい。
本変形例の第1教師データD1は、工事現場における工事の特徴情報及び教師撮影画像と、教師注視点画像と、の関係を示す。即ち、第1教師データD1には、特徴情報及び教師撮影画像と、教師注視点画像と、のペアが格納される。特徴情報及び教師撮影画像が入力に相当し、教師注視点画像が出力に相当する。第1教師データD1に格納される特徴情報は、教師撮影画像が示す工事の特徴情報であり、例えば、教師撮影画像を評価する熟練者によって操作部14等から入力されたり、工事の計画書から取得されたりする。
本変形例の評価支援システムSは、特徴情報取得部111を含む。特徴情報取得部111は、制御部11を主として実現される。特徴情報取得部111は、入力撮影画像に対応する工事の特徴情報を取得する。入力撮影画像に対応する工事の特徴情報とは、入力撮影画像が示す工事の特徴情報であり、例えば、入力撮影画像を評価する評価者によって操作部14から入力されたり、工事の計画書から取得されたりする。
例えば、山岳トンネルの工事現場を担当する評価者は、山岳トンネルの入力撮影画像である旨を操作部14から入力し、地下トンネルの工事現場を担当する評価者は、地下トンネルの入力撮影画像である旨を操作部14から入力する。なお、特徴情報は、操作部14から入力されるのではなく、任意の方法で取得されてよい。例えば、予め入力撮影画像に特徴情報が関連付けられていてもよいし、担当者に特徴情報を予め関連付けておいてもよい。
第1入力部104は、注視点画像出力モデルM1に対し、特徴情報取得部111により取得された特徴情報と入力撮影画像とを入力する。注視点画像出力モデルM1は、特徴情報と入力撮影画像との両方を特徴量化し、出力注視点画像を出力する。特徴情報と入力撮影画像の特徴量についても、ベクトルや配列等の任意の形式で表現されるようにすればよい。なお、特徴量を計算するアルゴリズムが注視点画像出力モデルM1の外部にあってもよい点については、実施形態で説明した通りである。
変形例(1-1)によれば、工事現場における工事の特徴情報及び教師撮影画像と、教師注視点画像と、の関係を注視点画像出力モデルM1に学習させることによって、工事の特徴に応じた出力注視点画像を取得することができ、出力注視点画像の精度を高めることができる。
(1-2)また例えば、変形例(1-1)では、注視点画像出力モデルM1に特徴情報を学習させる場合を説明したが、工事の特徴情報ごとに、専用の注視点画像出力モデルM1を別々に用意してもよい。例えば、山岳トンネル用の注視点画像出力モデルM1と、地下トンネル用の注視点画像出力モデルM1と、を別々に用意してもよい。
本変形例のデータ記憶部100は、工事の特徴情報ごとに、第1教師データD1と注視点画像出力モデルM1を記憶する。例えば、データ記憶部100は、工事現場の場所ごとに第1教師データD1と注視点画像出力モデルM1を記憶したり、工法ごとに第1教師データD1と注視点画像出力モデルM1を記憶したりする。第1教師データD1の作成方法自体は、実施形態で説明した通りであり、データ記憶部100には、第1教師データD1が工事の特徴情報に関連付けられて格納される。
本変形例の第1学習部103は、工事現場における工事の特徴情報ごとに、当該特徴情報に対応する第1教師データD1に基づいて注視点画像出力モデルM1を学習させる。第1学習部103は、特徴情報ごとに、当該特徴情報に関連付けられた第1教師データD1に基づいて、当該特徴情報に関連付けられた注視点画像出力モデルM1を学習させる。注視点画像出力モデルM1の学習方法自体は、実施形態で説明した通りである。
第1入力部104は、特徴情報取得部111により取得された特徴情報に対応する注視点画像出力モデルM1に対し、入力撮影画像を入力する。第1入力部104は、データ記憶部100に記憶された注視点画像出力モデルM1のうち、入力撮影画像の特徴情報に関連付けられた注視点画像出力モデルM1に対し、入力撮影画像を入力する。入力撮影画像が入力された後の処理は、実施形態で説明した通りである。
変形例(1-2)によれば、工事現場における工事の特徴情報ごとに注視点画像出力モデルM1を用意することによって、工事の特徴に応じた出力注視点画像を取得することができ、出力注視点画像の精度を高めることができる。
(1-3)また例えば、注視点画像出力モデルM1により出力された出力注視点画像は、任意の用途で利用されてよく、評価結果出力モデルM2に入力されること以外の用途で利用されてもよい。例えば、出力注視点画像は、プリンタから印刷されてもよいし、電子メール等に添付された送信されてもよい。他にも例えば、出力注視点画像を示すファイルが学習端末10又は他のコンピュータに記録されてもよい。この場合、出力注視点画像を経験の浅い評価者の教育に利用し、評価者に出力注視点画像を見せて、熟練者であれば見る部分を教えるようにしてもよい。また例えば、教師注視点画像は、視線検出装置20の検出結果を利用せずに取得されてもよい。例えば、熟練者に教師撮影画像を見せて、評価時に重点的に見た部分を手動で指定させるようにしてもよい。
[5-2.第2の構成に係る変形例]
(2-1)次に、第2の構成に係る変形例について説明する。例えば、変形例(1-1)では、工事の特徴情報を注視点画像出力モデルM1に学習させる場合を説明したが、評価結果出力モデルM2についても同様に、工事の特徴情報を評価結果出力モデルM2に学習させてもよい。
本変形例の第2教師データD2は、工事現場における工事の特徴情報、教師撮影画像、及び教師注視点画像と、教師評価結果と、の関係を示す。即ち、第2教師データD2には、特徴情報、教師撮影画像、及び教師注視点画像と、教師評価結果と、のペアが格納される。特徴情報、教師撮影画像、及び教師注視点画像が入力に相当し、教師評価結果が出力に相当する。第2教師データD2に格納される特徴情報は、教師撮影画像が示す工事の特徴情報であり、例えば、教師撮影画像を評価する熟練者によって操作部14等から入力されたり、工事の計画書から取得されたりする。
第2入力部109は、評価結果出力モデルM2に対し、特徴情報取得部111により取得された特徴情報、入力撮影画像、及び入力注視点画像を入力する。評価結果出力モデルM2は、特徴情報、入力撮影画像、及び入力注視点画像の各々を特徴量化し、出力評価結果を出力する。特徴情報、入力撮影画像、及び入力注視点画像の特徴量についても、ベクトルや配列等の任意の形式で表現されるようにすればよい。なお、特徴量を計算するアルゴリズムが評価結果出力モデルM2の外部にあってもよい点については、実施形態で説明した通りである。
変形例(2-1)によれば、工事現場における工事の特徴情報、教師撮影画像、及び教師注視点画像と、教師評価結果と、の関係を評価結果出力モデルM2に学習させることによって、工事の特徴に応じた出力評価結果を取得することができ、出力評価結果の精度を高めることができる。
(2-2)また例えば、変形例(1-2)では、工事の特徴情報ごとに、専用の注視点画像出力モデルM1を別々に用意する場合を説明したが、評価結果出力モデルM2についても同様に、工事の特徴情報ごとに、専用の評価結果出力モデルM2を別々に用意してもよい。例えば、山岳トンネル用の評価結果出力モデルM2と、地下トンネル用の評価結果出力モデルM2と、を別々に用意してもよい。
本変形例のデータ記憶部100は、工事の特徴情報ごとに、第2教師データD2と評価結果出力モデルM2を記憶する。例えば、データ記憶部100は、工事現場の場所ごとに第2教師データD2と評価結果出力モデルM2を記憶したり、工法ごとに第2教師データD2と評価結果出力モデルM2を記憶したりする。第2教師データD2の作成方法自体は、実施形態で説明した通りであり、データ記憶部100には、第2教師データD2が工事の特徴情報に関連付けられて格納される。
第2学習部107は、工事現場における工事の特徴情報ごとに、当該特徴情報に対応する第2教師データD2に基づいて評価結果出力モデルM2を学習させる。第2学習部107は、特徴情報ごとに、当該特徴情報に関連付けられた第2教師データD2に基づいて、当該特徴情報に関連付けられた評価結果出力モデルM2を学習させる。評価結果出力モデルM2の学習方法自体は、実施形態で説明した通りである。
第2入力部109は、特徴情報取得部111により取得された特徴情報に対応する評価結果出力モデルM2に対し、入力撮影画像と入力注視点画像とを入力する。第2入力部109は、データ記憶部100に記憶された評価結果出力モデルM2のうち、入力撮影画像の特徴情報に関連付けられた評価結果出力モデルM2に対し、入力撮影画像を入力する。入力撮影画像が入力された後の処理は、実施形態で説明した通りである。
変形例(2-2)によれば、工事現場における工事の特徴情報ごとに評価結果出力モデルM2を用意することによって、工事の特徴に応じた出力評価結果を取得することができ、出力評価結果の精度を高めることができる。
(2-3)また例えば、第2教師データD2には、注視点画像出力モデルM1が出力した出力注視点画像が、教師注視点画像として格納されていてもよい。即ち、第2教師データD2には、熟練者の視線を検出することによって取得された教師注視点画像だけでなくてもよい。
本変形例の教師注視点画像取得部101は、学習済みの注視点画像出力モデルM1に対し、教師撮影画像が入力された場合に出力される出力注視点画像を、教師注視点画像として取得する。教師注視点画像取得部101による出力注視点画像の取得方法自体は、実施形態で説明した通りである。本変形例の第2教師データD2は、教師撮影画像と教師注視点画像取得部101により取得された教師注視点画像と、教師評価結果と、の関係を示すことになる。
変形例(2-3)によれば、注視点画像出力モデルM1から出力された出力注視点画像を、教師注視点画像として第2教師データD2に格納して利用することによって、第2教師データD2の数を増やすことができ、評価結果出力モデルM2の精度を高めることができる。
(2-4)また例えば、注視点画像出力モデルM1に入力される入力注視点画像は、注視点画像出力モデルM1により出力された出力注視点画像でなくてもよい。例えば、評価者が、入力撮影画像を表示させた表示部15上で重点的に見たい部分を選択することによって、入力注視点画像が取得されるようにしてもよい。この場合、評価者が熟練者であれば、正確な部分を選択できるので、熟練者が重点的に見たい部分を選択するだけで、切羽観察簿を自動的に作成することができ、評価業務を支援することができる。また例えば、ある日の評価業務において切羽を見るべき場所が前日とさほど変わらない場合には、前日に熟練者が重点的に見た部分を記録しておき、当該部分が入力注視点画像となってもよい。他にも例えば、過去に別の場所で似たような工事が行われた場合に、その時と切羽を見るべき場所がさほど変わらない場合には、その時に熟練者が重点的に見た部分を記録しておき、当該部分が入力注視点画像となってもよい。
[5-3.その他の変形例]
(3)また例えば、上記変形例を組み合わせてもよい。
また例えば、教師撮影画像、入力撮影画像、教師注視点画像、及び出力注視点画像の各々が同じサイズである場合を説明したが、これらのサイズは互いに異なっていてもよい。他にも例えば、これらの解像度等が互いに異なってもよい。
また例えば、注視点画像出力モデルM1のアルゴリズムは、実施形態で説明した例に限られない。例えば、教師注視点画像に閾値を定めて各画素をラベル分けし、ラベル分けされた画像を教師データとしてセマンティックセグメンテーションにより分類されるようにしてもよい。即ち、注視点画像で表現可能な色の段階数(例えば、256段階)を任意の閾値で所定段階に分けて疑似的にセマンティックセグメンテーションによるラベルに落とし込むことによって、出力注視点画像が作成されるようにしてもよい。
また例えば、実施形態及び変形例では、主に山岳トンネルの切羽を評価する場面を例に挙げたが、地下トンネルの切羽を評価する場面にも適用可能であり、実施形態及び変形例で説明した処理によって、評価者の業務を支援するようにすればよい。また例えば、評価支援システムSが切羽の評価で利用される場合を説明したが、任意の評価対象を評価する場面に適用可能である。
例えば、トンネル工事以外の工事にも適用可能であり、コンクリートのひび割れを評価する場面や建造物の形状やバランスなどを評価する場面などにも適用可能である。例えば、評価対象は、建物、橋、ダム、鉄骨の骨組、柱、又は壁などであってもよい。これらの評価対象を評価する場合についても、実施形態及び変形例で説明した処理と同様の処理によって、熟練者が見るべき部分を示す出力注視点画像を取得したり、熟練者の評価結果と推測される出力評価結果を取得したりすればよい。
また例えば、実施形態では、学習端末10によって各機能が実現される場合を説明したが、評価支援システムSに複数のコンピュータが含まれている場合に、各コンピュータで機能が分担されてもよい。例えば、データ記憶部100がサーバコンピュータによって実現され、学習端末10は、サーバコンピュータに記憶された第1教師データD1、第2教師データD2、注視点画像出力モデルM1、及び評価結果出力モデルM2の各々を利用してもよい。