JP7496858B2

JP7496858B2 - 粒度分布予測装置、機械学習装置、粒度分布予測方法、及び、機械学習方法

Info

Publication number: JP7496858B2
Application number: JP2022126161A
Authority: JP
Inventors: 啓一郎峯; 徹也島田; 里香川西; 良行柳浦; 文宏成瀬
Original assignee: 基礎地盤コンサルタンツ株式会社
Priority date: 2022-08-08
Filing date: 2022-08-08
Publication date: 2024-06-07
Anticipated expiration: 2042-08-08
Also published as: JP2024022804A

Description

特許法第３０条第２項適用令和４年度土木学会全国大会第７７回年次学術講演会、第ＶＩ部門品質管理（４）、［ＶＩ－９７６］「画像分析ＡＩを用いた簡易的な粒度分析技術」峯啓一郎、柳浦良行、溝山勇、成瀬文宏、小林陵平、水谷一馬、令和４年８月１日

本発明は、盛土・土質材料試料における粒度分布を予測する粒度分布予測装置、粒度分布予測装置に用いられる学習モデルを生成する機械学習装置、盛土・土質材料試料における粒度分布を予測する粒度分布予測方法、及び、粒度分布予測方法に用いられる学習モデルを生成する機械学習方法に関する。

盛土材料の品質管理や土質材料の区分には、ＪＩＳＡ１２０４規格による粒度試験（以降、ＪＩＳ粒度試験）が用いられているが、当該試験には少なくとも１日を要し、盛土などの施工現場において全数検査を行うことは困難である。また、経済的にも試験を実施できる数量にも限界がある。実際には、経験者による目視や触診に基づいて土質材料の区分が行われたり、抜き取り検査により粒度試験が実施されたりするのが一般的である。このため、判定の不備による盛土や造成地の変状が発生する二次被害が多数報告されている。

一般宅地においても、地震時の被害を低減するため建築時において、土質材料の区分に基づいた液状化判定を行い、対策を行うことが望まれているが、費用面などの問題があり、粒度試験が実施されることは殆どない。

そこで、非特許文献１においては、粒度試験の実施に代え、画像解析を用いて粒度分布を推定する方法が提案されている。また、非特許文献２においては、機械学習による土質判定の自動化を行う方法であって、有機質土、礫混じり砂、シルト混じり砂の３種の判別を行う方法が提案されている。

古川ほか「画像解析を用いた粒度分布推定手法の構築」土木学会論文集Ｂ２（海岸工学），Ｖｏｌ７３，Ｎｏ．２，Ｉ＿１６４５－Ｉ＿１６５０，２０１７伊藤「機械学習による土質判定自動化の可能性について」，全地連「技術フォーラム２０１７」旭川

非特許文献１記載の従来技術は、前処理として試料の炉乾燥を行ったり、サンプルシートを作成した上でスキャナー画像の取得を行ったりする必要があり、簡便な粒度分布推定方法ではない、という問題があった。また、現場で撮影した写真画像から短時間で粒度分布の予測を行うことができない、という問題もあった。

一方、非特許文献２記載の従来技術は機械学習を用いるものであるものの、有機質土、礫混じり砂、シルト混じり砂の３種の判別を行うものであって、粒度分布を予測し得るようなものではない、という問題があった。

上記目的を達成するために、本発明に係る粒度分布予測装置は、盛土・土質材料試料の粒度分布を予測する粒度分布予測装置であって、盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得部と、盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルを記憶する学習済みモデル記憶部と、前記判定データ取得部により取得された前記判定データを前記学習モデルに入力し、前記予測用画像に撮像された盛土・土質材料試料の粒度分布を推論する推論部とを備え、前記予測用画像には、盛土・土質材料試料と共にマーカーが写り込んでおり、前記マーカーが撮影方向に関する情報、及び寸法の基準として用いられることを特徴とする。

また、本発明に係る粒度分布予測装置は、前記学習モデルがニューラルネットワークモデルであり、前記ニューラルネットワークモデルは、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有することを特徴とする。

また、本発明に係る粒度分布予測装置は、前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層であることを特徴とする。

また、本発明に係る粒度分布予測装置は、前記複数のプーリング層を構成するプーリング層が、マックスプーリング層であることを特徴とする。

また、本発明に係る粒度分布予測装置は、前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層とマックスプーリング層の組み合わせであることを特徴とする。

また、本発明に係る粒度分布予測装置は、前記複数の組み合わせ中間層からの出力が入力される複数の結合層を有することを特徴とする。

また、本発明に係る粒度分布予測装置は、前記複数の結合層からの出力が、ソフトマックス関数処理部に入力されることを特徴とする。

また、本発明に係る粒度分布予測装置は、前記推論部で推論された盛土・土質材料試料の粒度分布に基づいて、細粒分、砂分、礫分割合を算出することを特徴とする。

また、本発明に係る粒度分布予測方法は、盛土・土質材料試料の粒度分布を予測する粒度分布予測方法であって、盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得工程と、
前記判定データ取得工程により取得された前記判定データを、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルに入力し、前記予測用画像に撮像された前記盛土・土質材料試料の粒度分布を推論する推論工程とを備え、前記予測用画像には、盛土・土質材料試料と共にマーカーが写り込んでおり、前記マーカーが撮影方向に関する情報、及び寸法の基準として用いられることを特徴とする。

また、本発明に係る粒度分布予測方法は、前記マーカーが白色の円盤又は球体であることを特徴とする。

また、本発明に係る機械学習方法は、盛土・土質材料試料の粒度分布を予測する粒度分布予測方法に用いられる学習モデルを生成する機械学習方法であって、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとで構成される学習データを学習データ記憶部に複数組記憶する学習データ記憶工程と、前記学習モデルに前記学習データを複数組入力することで、前記入力データと前記出力データとの相関関係を前記学習モデルに機械学習させる機械学習工程と、前記機械学習工程により機械学習させた前記学習モデルを学習済みモデル記憶部に記憶する学習済みモデル記憶工程とを備えることを特徴とする。

本発明に係る粒度分布予測装置によれば、判定データを前記学習モデルに入力し、盛土・土質材料試料が撮像された予測用画像を含む判定データに基づいて粒度分布が推論されるので、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる。

また、学習モデルがニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る粒度分布予測装置によれば、より精度が高い粒度分布の予測を行うことができる。

また、本発明に係る機械学習装置によれば、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる粒度分布予測装置に用いられる学習モデルを生成することができる。

また、学習モデルがニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る機械学習装置によれば、より精度が高い粒度分布の予測を行うことができる粒度分布予測装置に用いられる学習モデルを生成することができる。

また、本発明に係る粒度分布予測方法によれば、判定データを前記学習モデルに入力し、盛土・土質材料試料が撮像された予測用画像を含む判定データに基づいて粒度分布が推論されるので、精度高く粒度分布を予測することができる。

また、本発明に係る機械学習方法によれば、精度高く粒度分布を予測することができる粒度分布予測装置に用いられる学習モデルを生成することができる。

本発明の実施形態に係る粒度分布予測システム１の一例を示す全体構成図である。本発明の実施形態に係る機械学習装置４の一例を示すブロック図である。本発明の実施形態に係る機械学習装置４により学習される学習データの作成のフローチャートを示す図である。二値化処理と輝度の調整処理の具体例を示す図である。本発明の実施形態に係る機械学習装置４により学習される学習データの例を示す図である。本発明の実施形態に係る学習モデル２に適用されるニューラルネットワークモデル２０の一例を示す概略図である。出力層で得られる推論結果を説明する図である。本発明の実施形態に係る粒度分布予測装置５の一例を示すブロック図である。本発明の実施形態に係る粒度分布予測システム１を構成し得るスマートフォン８００のハードウエア構成図である。粒度分布予測システム１の各装置３～６を構成するコンピュータ９００の一例を示すハードウエア構成図である。本発明の実施形態に係る機械学習装置４による機械学習方法の一例を示すフローチャートである予測用画像撮像処理のフローチャートを示す図である。スマートフォン８００を用いた予測用画像撮像処理の様子を示す図である。本発明の実施形態に係る粒度分布予測装置５による粒度分布予測方法の一例を示すフローチャートである。予測用画像３１からの画像データの切り出しを説明する図である。表示データ作成処理サブルーチンのフローチャートを示す図である。本発明の実施形態に係る粒度分布予測装置５による表示例を示す図である。

以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
（本発明の実施形態）
図１は、本発明の実施形態に係る粒度分布予測システム１の一例を示す全体構成図である。粒度分布予測システム１は、盛土・土質材料試料１０に関する情報を取得し、これに基づいて、盛土・土質材料試料１０における粒度分布を予測するシステムである。このために、粒度分布予測システム１は、人工知能技術を用いた機械学習装置４と、この機械学習装置４によって学習された学習データに基づいて推論を行う粒度分布予測装置５とを有している。

盛土・土質材料試料１０は、盛土材料単体の試料あってもよいし、土質材料単体の試料であってもよいし、盛土材料と土質材料とを混合した試料であってもよい。

盛土・土質材料試料１０は撮像装置３によって撮像されるが、このとき盛土・土質材料試料１０は適当なバット１１の上に積載される。バット１１の上に積載される盛土・土質材料試料１０の量は、バット１１の底が見えない程度とし、撮像装置３がバット１１の底を撮像することがないようにする。対象とされる盛土・土質材料試料１０はバット１１の上に積載されると、コテ等（不図示）で表面がならされる。

図の下側は機械学習における学習フェーズを示している。学習フェーズでは、土質試験の結果により粒度分布が既に知られている盛土・土質材料試料１０が撮像装置３によって取得され、取得された画像と既知の粒度分布が対応付けられて機械学習が行われ、学習モデル２が生成される。

一方、図の上側は機械学習における推論フェーズを示している。上記のようにして生成された学習モデル２は、この推論フェーズに供される。推論フェーズのために盛土・土質材料試料１０を撮像する際には、盛土・土質材料試料１０の上にマーカー１５が載置される。

例えば、盛土施工現場において、盛土・土質材料試料１０の粒度分布を予測するような場合、現場では極力簡単な手段を用いて、短時間で粒度分布を把握することが望ましい。このための一助として、本実施形態ではマーカー１５が用いられる。

マーカー１５は撮像装置３によって取得された画像を解析する際の基準とすることができる。例えば、盛土・土質材料試料１０と同時に撮影したマーカー１５により、撮影方向に関する情報を取得することができる。撮影方向に関する補正が必要な場合には、この撮影方向に関する情報を利用することができる。また、マーカー１５の寸法は既知であるため、盛土・土質材料試料１０全体の画像から、予測用画像を切り出す際には、画像に写り込んだマーカー１５の寸法を基準とすることができる。また、マーカー１５は画像の明暗補正の際の基準とすることもできる。

本実施形態では、マーカー１５として直径３５ｍｍのプラスティック製の薄い白色の円盤を用いているが、マーカー１５は特殊な材料を用いる必要はなく、白色で汚れを簡単に落とすことができる材料を用いれば、どのようなものでもよい。また、マーカー１５の平面視の形状は本実施形態のように円に限定される必要はなく、任意の形状とすることができる。また、白色のプラスティック製の球体なども好適にマーカー１５として用い得る。本発明においては、このようなマーカー１５を用いるために、精度高く粒度分布の予測を行うことができる。

なお、盛土・土質材料試料１０の画像を取得する際に、距離計あるいは、ＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）スキャナーによる点群データが同時に取得することが可能な場合には、上記のような指定サイズのマーカーを用いなくても、切り出し画像のサイズの決定や、撮影方向の補正等を行うことが可能ではある。しかしながら、マーカー１５を用いる方法により、種々の演算を簡略化することが可能となる。

粒度分布予測システム１は、盛土・土質材料試料１０を撮像する撮像装置３と、機械学習の学習フェーズの主体として動作する機械学習装置４と、機械学習における推論フェーズの主体として動作する粒度分布予測装置５と、粒度分布予測システム１の管理者や作業者が使用する端末装置６を備える。粒度分布予測システム１の各装置３～６は、ネットワーク７により相互に通信可能に接続される。なお、図１に示す粒度分布予測システム１のシステム構成は一例であり、適宜変更することができる。例えば、本実施形態においては、粒度分布予測装置５と機械学習装置４と端末装置６とをそれぞれ独立した情報処理装置により構成しているが、これらを一つの情報処理装置で構成することもできる。

ネットワーク７は狭義の意味でのネットワークである必要なく、データ通信を行うことを可能とするもの程度の最も広い意味でのネットワークとして捉える。また、ネットワーク７は有線のものであってもよいし、また、無線のものであってもよい。

図１においては、撮像装置３、機械学習装置４、粒度分布予測装置５、端末装置６をそれぞれ独立した装置として示したが、これらの装置を適宜組み合わせた装置も用いることができる。例えば、図の上側の撮像装置３と粒度分布予測装置５とを組み合わせた装置として、現在広く普及しているスマートフォンやタブレット端末を用いることができる。学習済みの学習モデル２を記憶させたスマートフォンを粒度分布予測装置５として用い、スマートフォン内蔵のカメラを撮像装置３として用いる。当該スマートフォンを盛土施工現場に持ち込み、これにより、マーカー１５と共に盛土・土質材料試料１０の画像を撮影することで、粒度分布や土質区分（細粒分、砂分、礫分）に係る情報を、手間なく短時間で得ることが可能となる。なお、スマートフォンの構成例については、後述する。

また、図１においては、機械学習装置４と粒度分布予測装置５とを別体の装置として示したが、これらの装置を別体の装置とすることなく、同一の装置とすることができる。例えば、機械学習装置４と粒度分布予測装置５として同一のパーソナルコンピュータを用いることができる。すなわち、当該パーソナルコンピュータが、機械学習装置４と粒度分布予測装置５と兼ねることができる。

また、粒度分布予測システム１は、（ａ）撮像装置３としてデジタルカメラ等により画像データを取得して、機械学習装置４としてパーソナルコンピュータで機械学習を行う形態、（ｂ）撮像装置３としてスマートフォン内蔵カメラで画像データを取得して、当該画像データを無線通信により、機械学習装置４としてのサーバーコンピュータに送信して、当該サーバーコンピュータで機械学習を行う形態、また、（ｃ）撮像装置３としてスマートフォン内蔵カメラで画像データを取得して、当該スマートフォンを機械学習装置４としても利用する形態、など種々のシステム構成を採ることが
上記の（ａ）の形態は、デジタルカメラ等により取得した画像データのファイルを、機械学習装置４としてのパーソナルコンピュータに読み込ませることで機械学習を行う。このような機械学習の形態は、多数の画像データを一括して学習する場合に適した形態である。

一方、（ｂ）、（ｃ）の形態は、盛土・土質材料試料１０の画像データ取得と同時並行的に機械学習を行うことができる。また、（ｂ）、（ｃ）の形態で、スマートフォンを粒度分布予測装置５としても用いれば、施工現場において抜き取り検査や全数検査を行うことが可能となる。無線通信を行うことができないような場合は、（ｃ）の形態での運用となる。（ｂ）の形態での運用では、画像データや学習モデル２などをサーバ型のコンピュータで一括して蓄積することが可能となり利便性が高い。

撮像装置３は、例えば、ＣＭＯＳセンサーやＣＣＤセンサー等のイメージセンサーで構成されるカメラを備え、盛土・土質材料試料１０の全体を撮像する。なお、撮像装置３は、手持ち式又は固定設置式のカメラであって、例えば、作業者が操作して画像を撮像するものでもよいし、所定の撮像条件が満たされたときに自動で画像を撮像するものでもよい。また、本実施形態では、一つの撮像装置３によって、盛土・土質材料試料１０全体を撮像するようにしているが、複数の撮像装置３によって、盛土・土質材料試料１０を撮像するようにしてもよい。

撮像装置３は、撮像装置３の画角内に盛土・土質材料試料１０を撮像し、所定の画像形式に基づいてデジタルデータとしての画像を出力する。なお、撮像装置３は、図１に示すように、機械学習装置４に接続された撮像装置３と、粒度分布予測装置５に接続された撮像装置３とが別々に設けられてもよいし、１つの撮像装置３が機械学習装置４及び粒度分布予測装置５の双方に接続されて共用されてもよい。また、図１では、簡略化のため、１つの撮像装置３が、機械学習装置４及び粒度分布予測装置５にそれぞれ接続されているが、複数の撮像装置３がそれぞれ接続されていてもよい。

機械学習装置４は、汎用又は専用のコンピュータ等で構成され得る。機械学習装置４は、機械学習における学習フェーズの主体として動作する。機械学習装置４は、撮像装置３により撮像された画像（学習用画像）を含む学習データを用いて、学習モデル２の機械学習を実施する。機械学習装置４は、学習済みの学習モデル２をネットワーク７や記録媒体等を介して粒度分布予測装置５に提供する。なお、コンピュータの構成例については、後述する。

粒度分布予測装置５は、汎用又は専用のコンピュータ等で構成され得る。粒度分布予測装置５は、機械学習における推論フェーズの主体として動作する。粒度分布予測装置５は、機械学習装置４により学習済みの学習モデル２を用いて、撮像装置３により撮像された画像（予測用画像）から盛土・土質材料試料１０の予測を行う。

端末装置６は、汎用又は専用のコンピュータ等で構成され得る。端末装置６は、粒度分布予測システム１にて、学習データの準備、学習モデル２の機械学習、盛土・土質材料試料１０の粒度分布予測を行うために、入力画面を介して各種の操作入力を受け付けるとともに、アプリケーションやブラウザ等の表示画面を介して各種の情報を表示する。また、図１では、簡略化のため、１つの端末装置６を図示しているが、端末装置６は複数でもあってもよい。また、端末装置６を省略することもできる。
（機械学習装置４）
図２は、本発明の実施形態に係る機械学習装置４の一例を示すブロック図である。機械学習装置４は、制御部４０、通信部４１、学習データ記憶部４２、及び、学習済みモデル記憶部４３を備える。

撮像装置３は学習用画像３０を撮像し、機械学習装置４に送信する。機械学習装置４の制御部４０は、学習データ作成部４１０、学習データ取得部４００及び機械学習部４０１として機能する。通信部４１は、ネットワーク７を介して外部装置（例えば、撮像装置３、粒度分布予測装置５及び端末装置６等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。

学習データ作成部４１０は、例えば、撮像装置３で撮像された学習用画像から学習データを作成する。学習データ作成部４１０では、概略、図３に示すような学習データの作成のフローチャートに基づいて学習データの作成処理がなされる。図４は学習データの作成処理で実行される二値化処理と輝度の調整処理の具体例を示す図である。

当該フローチャートにおいて、ステップＳ１では、撮像装置３で撮像された学習用画像３０のデータを取得する。通常、撮像装置３で撮像される画像はカラーであるので、ステップＳ２で二値化処理を施して画像をモノクロ化する（図４参照）。盛土・土質材料試料１０は産地によって色味が異なるので、本発明においては、このような二値化処理を施すことで産地由来の差異を排除するようにしている。

続いて、ステップＳ３では、輝度の調整処理が施される（図４参照）。本ステップでは、撮像装置３で撮像された画像の輝度の平均値が、必ず、２５６（階調）の半値である１２８となるようにする処理が施される。

輝度の調整処理の方法は種々あるが、本発明においては、
（画像データの輝度値）－（画像データの輝度の平均値）＋１２８
の計算式を実行することで輝度の調整を行った。ここで、レンジオーバーした値は切り捨て処理をした。標準偏差などを考慮することで、より精度の高い輝度の調整を行うことができるが、計算が煩雑となるために、本発明においては、先の計算式を利用するようにしている。当該計算式を用いたたとしても、実用上は特に問題がないことを確認している。

本発明においては、画像に対して、ステップＳ３のような輝度の調整処理が施されるために、撮像装置３で画像を撮像する際の撮影条件等の影響を排除することが可能となる。

ステップＳ４では、上記のように二値化処理・輝度調整処理が施された画像を入力データとし、室内土質試験結果を出力データとして対応付けることで、一つの学習データとする。図５に、このような学習データをいくつか示す。

図５は本発明の実施形態に係る機械学習装置４により学習される学習データの例を示す図である。本発明においては、標準的な土質の区分（細粒分（０．０００～０．０７５［ｍｍ］）、砂分（０．０７５～２．０００［ｍｍ］）、礫分（２．０００～１９．０００［ｍｍ］）に基づいて盛土・土質材料試料１０の細粒分、砂分、礫分の割合を決定するものである。

図５（Ａ）は細粒分や比較的小径の砂分の割合が多い場合の学習データを示している。一方、図５（Ｃ）は礫分の割合が多い場合の学習データを示している。図５（Ｂ）はこれらの中間で、細粒分、砂分、礫分をまんべんなく含んだ場合の学習データを示している。

図２に戻り、学習データ取得部４００は、学習データ作成部４１０で作成された学習データを取得する。また、学習データ取得部４００は、外部装置と通信部４１及びネットワーク７を介して接続されているので、入力データ及び出力データが対応付けられて構成される学習データを、外部装置から取得するようにしてもよい。

学習データ記憶部４２は、学習データ取得部４００で取得した学習データを複数組記憶するデータベースである。なお、学習データ記憶部４２を構成するデータベースの具体的な構成は適宜設計すればよい。

機械学習部４０１は、学習データ記憶部４２に記憶された学習データを用いて機械学習を実施する。すなわち、機械学習部４０１は、学習モデル２に学習データを複数組入力することで、学習データを構成する入力データと出力データとの相関関係を学習モデル２に機械学習させることで、学習モデル２を生成する。

学習済みモデル記憶部４３は、機械学習部４０１により機械学習させた学習済みの学習モデル２を記憶するデータベースである。学習済みモデル記憶部４３に記憶された学習モデル２は、ネットワーク７や記録媒体等を介して実システム（例えば、粒度分布予測装置５）に提供される。なお、学習モデル２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）に提供されて、外部コンピュータの記憶部に記憶されてもよい。また、図２では、学習データ記憶部４２と、学習済みモデル記憶部４３とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。

次に、学習モデル２について説明する。図６は本発明の実施形態に係る学習モデル２に適用されるニューラルネットワークモデル２０の一例を示す概略図である。

ニューラルネットワークモデル２０は、機械学習の具体的な手法として、畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を採用したものである。ニューラルネットワークモデル２０は、入力層２１と、中間層２３と、出力層２７とを備えており、データ（機械学習の場合は学習データ、予測の場合は予測用の画像データ）は入力層２１に入力され、中間層２３を経て、出力層２７に出力される流れとなっている。入力層２１は、入力データとしての画像データの画素数に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。

入力層２１から入力されたデータは、点線で示される第1ルート、一点鎖線で示される第２ルート、二点鎖線で示される第３ルートを経て、結合層、出力層へと順次データ処理がなされていく。このように複数のルートを経ることは、本発明の実施形態に係るニューラルネットワークモデル２０の一つの特徴点であるということができる。

中間層２３は、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層を有している。図中、２２₁、２２_２、２２_３、２２_４のそれぞれが単位中間層である。

例えば、単位中間層２２₁を見ると、畳み込み層ｃ→アベレージプーリング層ａ→畳み込み層ｃ→アベレージプーリング層ａ→畳み込み層ｃ→アベレージプーリング層ａの順で各層が並んでいる。ここで、アベレージプーリング層ａは、画像における輪郭をぼやかす効果を有している。単位中間層２２₁のように、画像をアベレージプーリング層ａで３回処理することは、画像を大きい度合いでぼやかしていることを意味している。このように大きい度合いでぼやかしているにも関わらず、画像中の形が認識できれば、認識できたものは大きいものであり、礫分である可能性が高いなどと判断できる。

一方、単位中間層２２_４を見ると、畳み込み層ｃ→マックスプーリング層ｍ→畳み込み層ｃ→マックスプーリング層ｍ→畳み込み層ｃ→マックスプーリング層ｍの順で各層が並んでいる。マックスプーリング層ｍは、画像における輪郭を強調する効果を有している。単位中間層２２₁のように、画像をマックスプーリング層ｍで３回処理することは、画像における輪郭を大きい度合いで強調していることを意味している。このように大きい度合いで強調しているにも関わらず、画像中における形の認識が困難であれば、認識できたものは形がほとんどない、細粒分や小径の砂分である可能性が高いなどと判断できる。

単位中間層２２_２は、畳み込み層ｃ→マックスプーリング層ｍ→畳み込み層ｃ→アベレージプーリング層ａ→畳み込み層ｃ→アベレージプーリング層ａの順で各層が並んでおり、どちらかというと、画像における輪郭をぼやかす効果を有している。

単位中間層２２_３は、畳み込み層ｃ→マックスプーリング層ｍ→畳み込み層ｃ→マックスプーリング層ｍ→畳み込み層ｃ→アベレージプーリング層ａの順で各層が並んでおり、どちらかというと、画像における輪郭を強調する効果を有している。

本発明の実施形態に係るニューラルネットワークモデル２０の単位中間層は、例えば、単位中間層２２_３では、２回のマックスプーリング層による処理と、１回のアベレージプーリング層による処理とを含んでいるが、プーリング層による処理の回数は３回に限定されるものではなく任意である。

上記のように構成される単位中間層は選択的にデータ処理に利用される。第１ルートでは、単位中間層２２₁と単位中間層２２_２とによりデータが処理される。本明細書では、単位中間層２２₁と単位中間層２２_２とからなる中間層を、組み合わせ中間層として定義する。

第２ルートでは、単位中間層２２₁と単位中間層２２_２と単位中間層２２_３とによりデータが処理される。第２ルートでは、単位中間層２２₁と単位中間層２２_２と単位中間層２２_３とからなる中間層が、組み合わせ中間層である。

第３ルートでは、単位中間層２２_２と単位中間層２２_３と単位中間層２２_４とによりデータが処理される。第３ルートでは、単位中間層２２_２と単位中間層２２_３と単位中間層２２_４とからなる中間層が、組み合わせ中間層である。

本実施形態においては、ルートが３つあり、組み合わせ中間層の数は３であるが、設定する組み合わせ中間層の数は任意であり、特に組み合わせ中間層の数が３に限定される分けではない。

第１ルートにおける組み合わせ中間層で処理されたデータは第１結合層２５_１に入力され、組み合わせ中間層で取り出された特徴量に対する分類分けが行われる。同様に、第２ルートにおける組み合わせ中間層で処理されたデータは第２結合層２５_２に入力され、組み合わせ中間層で取り出された特徴量に対する分類分けが行われる。同様に、第３ルートにおける組み合わせ中間層で処理されたデータは第３結合層２５_３に入力され、組み合わせ中間層で取り出された特徴量に対する分類分けが行われる。

第１結合層２５_１からの出力、第２結合層２５_２からの出力、第３結合層２５_３からの出力はソフトマックス関数処理部２６を経て、出力層２７へと至る。ソフトマックス関数処理部２６は、出力層２７における各出力の合計が１となるように処理を行う。出力層２７における各出力は、それぞれの結合層から出力された特徴ベクトルに基づいて、画像データに含まれる粒度分布の割合の判定結果を含む出力データを出力する。

本発明においては、ニューラルネットワークモデル２０は、畳み込み層（コンボリューション層）とプーリング層から構成されており、その組み合わせにより優位に検出する粒度が異なる特性を有している。

ニューラルネットワークモデル２０においては、前記したように、複数の特性を有するネットワークを組み合わせることで、盛土・土質材料試料１０の幅広い粒度特性に対応した予測を可能としており、予測精度を確保している。例えば、画像のエッジを強調するマックスプーリング層ｍで細粒成分の検出性を確保し、平均的な画像を得るアベレージプーリング層ａで粗粒成分の検出性を確保している。

ニューラルネットワークモデル２０における畳み込みニューラルネットワークを構成する畳み込み層とプーリング層の特性を調節すること、特性の異なる畳み込みネットワーク（組み合わせ中間層）の数を調整することで、粒度分布予測装置５のカスタマイズが可能であり、特定の土質材料、特定目的の土質区分に対応可能である。複数の学習済み学習モデル２を準備し、適宜学習モデル２を選択することで土質判定用途にあった予測結果が得られる粒度分布予測装置５を構築することも可能である。

ＪＩＳ粒度試験と比較すると、本発明に係る粒度分布予測装置５による予測結果は、細粒分、砂分及び礫分の土質区分において、９５％以上の判定精度を有している。また、ＪＩＳ粒度試験と本発明に係る粒度分布予測装置５の予測における加積粒度分布曲線を比較すると、両者の曲線は概ね一致しており、実務上問題が生じない精度での予測結果となっている。また、この曲線から求まる粒度分布に関する定数の１つである５０％粒径Ｄ_５０などの値も、実務上問題が生じない精度を有する。

図７は各出力層で得られる推論結果を説明する図である。図７に示すように、第１出力は粒径が０．０００～０．０７５［ｍｍ］であるもの比率（これを（１）とする）であり０から１の間の値をとり得る。

また、第２出力は粒径が０．０７５～０．１０６［ｍｍ］であるもの比率（これを（２）とする）であり０から１の間の値をとり得る。

また、第３出力は粒径が０．１０６～０．２５０［ｍｍ］であるもの比率（これを（３）とする）であり０から１の間の値をとり得る。

また、第４出力は粒径が０．２５０～０．４２５［ｍｍ］であるもの比率（これを（４）とする）→であり０から１の間の値をとり得る。

また、第５出力は粒径が０．４２５～０．８５０［ｍｍ］であるもの比率（これを（５）とする）であり０から１の間の値をとり得る。

また、第６出力は粒径が０．８５０～２．０００［ｍｍ］であるもの比率（これを（６）とする）であり０から１の間の値をとり得る。

また、第７出力は粒径が２．０００～４．７５０［ｍｍ］であるもの比率（これを（７）とする）であり０から１の間の値をとり得る。

また、第８出力は粒径が４．７５０～９．５００［ｍｍ］であるもの比率（これを（８）とする）であり０から１の間の値をとり得る。

また、第９出力は粒径が９．５００～１９．０００［ｍｍ］であるもの比率（これを（９）とする）であり０から１の間の値をとり得る。

機械学習部４０１は、学習データをニューラルネットワークモデル２０に入力し、入力データ（学習用画像３０に基づく画像データ）と、出力データ（各粒径分布の比率）との相関関係をニューラルネットワークモデル２０に機械学習させる。具体的には、機械学習部４０１は、学習データを入力データとして、ニューラルネットワークモデル２０の入力層２１に入力する。

機械学習部４０１は、出力層２３から推論結果として出力された出力データと、当該学習データを構成する出力データ（正解ラベル）とを比較する誤差関数を用いて、誤差関数の評価値が小さくなるように、各シナプスに対応付けられた重みを調整する（バックプロバケーション）ことを反復する。

機械学習部４０１は、上記の一連の処理を所定の回数反復実施することや、誤差関数の評価値が許容値より小さくなること等の所定の学習終了条件が満たされたと判断した場合には、機械学習を終了し、そのときのニューラルネットワークモデル２０（各シナプスのそれぞれに対応付けられた全ての重みからなる重みパラメータ群）を、学習済みの学習モデル２として学習済みモデル記憶部４３に格納する。なお、機械学習部４０１は、学習モデル２の機械学習を実施する際、重みを調整する手法として、例えば、オンライン学習、バッチ学習、ミニバッチ学習等を採用してもよいし、複数組の学習データを訓練データとテストデータに分割して学習モデル２を評価する手法として、例えば、ホールドアウト法、交差検証等を採用してもよいし、所定の学習終了条件として、誤判定率が最小であることを判定するようにしてもよい。
（粒度分布予測装置５）
図８は、本発明の実施形態に係る粒度分布予測装置５の一例を示すブロック図である。粒度分布予測装置５は、制御部５０、通信部５１、及び、学習済みモデル記憶部５２を備える。

制御部５０は、判定データ取得部５００、判定データ作成部５１０、推論部５０１及び出力処理部５０２として機能する。通信部５１は、ネットワーク７を介して外部装置（例えば、撮像装置３、機械学習装置４及び端末装置６等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。

判定データ取得部５００は、撮像装置３などの外部装置と通信部５１及びネットワーク７を介して接続され、盛土・土質材料試料１０が撮像された予測用画像３１を含む判定データを取得する。判定データ作成部５１０は、予測用画像３１を推論部５０１に入力可能な画像データに加工する。より具体的には、判定データ作成部５１０は、予測用画像から画像を切り出して二値化の処理や輝度調整の処理を行う。

推論部５０１は、判定データ取得部５００により取得された画像データを学習モデル２に入力することにより、盛土・土質材料試料１０の粒度分布の比率を推論する推論処理を行う。

学習済みモデル記憶部５２は、推論部５０１の推論処理にて用いられる学習済みの学習モデル２を記憶するデータベースである。なお、学習済みモデル記憶部５２に記憶される学習モデル２の数は１つに限定されず、例えば、機械学習の手法が異なる複数の学習済みモデルが記憶され、選択的に利用可能としてもよい。また、学習済みモデル記憶部５２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）の記憶部で代用されてもよく、その場合には、推論部５０１は、当該外部コンピュータにアクセスすることで、上記の推論処理を行ってもよい。

出力処理部５０２は、推論部５０１により推論された盛土・土質材料試料１０の画像データに対する粒度分布の比率の予測結果を出力するための出力処理を行う。予測結果を出力するための具体的な出力手段は、種々の手段を採用することが可能である。例えば、出力処理部５０２は、判定結果を端末装置６に送信したり、さらに画面表示したりしてもよいし、判定結果を粒度分布予測装置５の記憶部に記憶したりしてもよい。

ここでの学習モデル２は、機械学習装置４にて複数組の学習データを用いて、学習用画像３０から作成された画像データと、粒度分布の比率とのの相関関係を機械学習させたものであり、重みパラメータ群が調整済み（学習済み）の学習モデル２である。したがって、推論部５０１は、予測用画像３１から切り出された画像データを学習モデル２に入力することにより、当該予測用画像３１の画像データにおける粒度分布の比率を推論することができる。

なお、予測用画像３１に含まれる画像データに対する粒度分布の比率の予測結果は、学習済みモデル記憶部５２や他の記憶装置（不図示）に記憶されることが好ましく、過去の予測結果は、例えば、学習済みの学習モデル２の推論精度の更なる向上のため、オンライン学習や再学習に用いられる学習データとして利用してもよい。
（スマートフォン８００の構成）
本発明に係る粒度分布予測装置で利用され得るコンピュータの一例であるスマートフォン８００の構成について説明する。図９は本発明の実施形態に係る粒度分布予測システム１を構成し得るスマートフォン８００のハードウエア構成図である。なお、本実施形態では、コンピュータとしてスマートフォンを用いる例に基づいて説明するが、本発明に係る粒度分布予測装置ではコンピュータとしてはタブレット端末装置など他のものも利用され得る。

制御部８１１は、演算処理装置（プロセッサ、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や、この演算処理装置上で実行される各種プログラムなどに相当する構成である。前記演算処理装置上で動作する基本オペレーティングシステム８１６には、例えば、カレンダーや時計の基本的な計時機能等を実現するプログラムも含まれている。

記憶部８１５は、データを記憶しておく揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ等）や不揮発性メモリ（ＲＯＭ、フラッシュメモリ等）などのストレージである。この記憶部８１５においては、制御部８１１が書き込んだデータを保持したり、書き込まれているデータが制御部８１１によって参照されたり、或いは、制御部８１１が不要となったデータを消去したりすることができるようになっている。

記憶部８１５には、基本オペレーティングシステム８１６と、この基本オペレーティングシステム８１６上で動作する本発明の粒度分布予測装置アプリケーションプログラム８１７と、この粒度分布予測装置アプリケーションプログラム８１７によって利用される学習モデル２などが記憶されている。記憶部８１５に記憶されている各プログラムは、制御部８１１において実行される。

本発明に係る粒度分布予測装置は、記憶部８１５にインストールされたアプリケーションソフトウェアである粒度分布予測装置アプリケーションプログラム８１７に基づいて、制御部８１１が各種処理を実行することで各種機能が実現されるようになっている。

図において、制御部８１１と連結されたブロック構成（例えば、タッチパネル部８３０など）に対して各種制御指令を発したり、各種データを転送したり、また、当該ブロック構成で取得されたデータを受けたりすることができるようになっている。

通信部８２０は、無線通信によって外部の機器とデータ通信、音声通話を実現するものでる。通信部８２０は、制御部１１の指令に基づいて、例えば、記憶部８１５に書き込まれたデータを外部機器に送信したり、外部機器からの受信したデータを制御部８１１に転送したりすることなどができる。

ＧＰＳ受信部８２３は、複数の衛星からのＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）信号を受信することで、自らの緯度・経度を特定する構成である。ＧＰＳ受信部８２３で特定された緯度・経度は制御部８１１に送信される。制御部８１１は、記憶部８１５に記憶されている地図データ・アプリケーション（不図示）と連携することで、地図上におけるスマートフォン８００自身の存在位置、ひいては、スマートフォン８００を携帯していることが想定されるユーザーの位置を割り出す。特に、粒度分布予測装置５としてスマートフォン８００を用いた場合、このようなＧＰＳ受信部８２３が設けられているのが一般的であるため、盛土・土質材料試料１０の採取場所と、画像データと、予測された粒度分布の比率とを対応付けることなどが可能となる。

撮像部８２５は、静止画像撮像データや動画像撮像データを取得する構成である。このような撮像部８２５で取得された静止画像撮像データや動画像撮像データは、制御部８１１で画像処理され、タッチパネル部８３０に表示されたり、必要に応じて記憶部８１５に保存されたりする。記憶部８１５に保存された静止画像撮像データは、粒度分布予測装置５で利用可能に構成することができる。

スマートフォン８００に設けられているタッチパネル部８３０は、ユーザーインターフェースとして利用される。タッチパネル部８３０は、ユーザーの指の接触を検知することで、ユーザーが情報を入力できる入力部８３１と共に、ユーザーに対して情報を表示する表示部８３２とが一体となったものである。タッチパネル部８３０において、表示部８３２と入力部８３１とは重ねられるように設けられると共に、入力部８３１は透明とされているので、ユーザーは表示部８３２の表示に対して指を接触させることで、表示に基づいた入力を行うことができるようになっている。このようなタッチパネル部８３０に基づいたユーザーによる入力操作については、従来周知の技術が本発明に適用される。

タッチパネル部８３０の入力部８３１は、例えば静電容量方式のものを用いることができる。また、タッチパネル部８３０の表示部３２には、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などの表示装置を用いることができる。

スマートフォン８００におけるタッチパネル部８３０で一般的に知られている「タップ」、「ダブルタップ」、「ロングタップ」、「ドラッグ」、「ムーブ」、「フリック」、「スワイプ」、「ピンチ」、「ピンチアウト」と称される各入力操作は、本発明に係る粒度分布予測装置５においても採用され得る。

音声処理部８３５は、音声信号の変復調を行う。音声処理部８３５は、マイク８３６から与えられる信号を変調して、変調後の信号を制御部８１１へ与える。また、音声処理部８３５は、音声信号をスピーカー８３７へ与える。音声処理部８３５は、例えば、音声処理用のプロセッサによって実現される。マイク８３６は、音声信号の入力を受け付けて制御部８１１へ出力するための音声入力部として機能する。スピーカー８３７は、音声信号を、スマートフォン８００の外部へ出力するための音声出力部として機能する。

加速度センサー８４１は、スマートフォン８００に対して加えられる加速度を計測する慣性センサーであり、例えば、加速度の検出方式としてＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍ）技術を応用したＭＥＭＳ加速度センサーを利用することができる。

地磁気センサー８４２は、磁場（磁界）の大きさ、方向を計測するセンサーである。地磁気センサー４２としては、ホール素子のホール効果を利用したホール素子センサーや、磁気抵抗素子を用いたＭＲセンサーなどを用いることができる。

また、ジャイロセンサー８４３は、スマートフォン８００の回転角速度を計測する角速度センサーである。このようなジャイロセンサー４３としては、ＭＥＭＳ技術を用いた振動式ジャイロセンサーを好適に用い得る。
（コンピュータ９００の構成）
図１０は、粒度分布予測システム１の各装置３～６を構成し得るコンピュータ９００の一例を示すハードウエア構成図である。

粒度分布予測システム１の各装置３～６は、汎用又は専用のコンピュータ９００により構成される。コンピュータ９００は、その主要な構成要素として、バス９１０、プロセッサ９１２、メモリ９１４、入力デバイス９１６、出力デバイス９１７、表示デバイス９１８、ストレージ装置９２０、通信Ｉ／Ｆ（インターフェース）部９２２、外部機器Ｉ／Ｆ部９２４、Ｉ／Ｏ（入出力）デバイスＩ／Ｆ部９２６、及び、メディア入出力部９２８を備える。なお、上記の構成要素は、コンピュータ９００が使用される用途に応じて適宜省略されてもよい。

プロセッサ９１２は、１つ又は複数の演算処理装置（ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等）で構成され、コンピュータ９００全体を統括する制御部として動作する。メモリ９１４は、各種のデータ及びプログラム９３０を記憶し、例えば、メインメモリとして機能する揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ等）と、不揮発性メモリ（ＲＯＭ、フラッシュメモリ等）とで構成される。

入力デバイス９１６は、例えば、キーボード、マウス、テンキー、電子ペン等で構成され、入力部として機能する。出力デバイス９１７は、例えば、音（音声）出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス９１８は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス９１６及び表示デバイス９１８は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置９２０は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等で構成され、記憶部として機能する。ストレージ装置９２０は、オペレーティングシステムやプログラム９３０の実行に必要な各種のデータを記憶する。

通信Ｉ／Ｆ部９２２は、インターネットやイントラネット等のネットワーク９４０（図１のネットワーク７と同じでもよい）に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器Ｉ／Ｆ部９２４は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器９５０に有線又は無線により接続され、所定の通信規格に従って外部機器９５０との間でデータの送受信を行う通信部として機能する。Ｉ／ＯデバイスＩ／Ｆ部９２６は、各種のセンサー、アクチュエーター等のＩ／Ｏデバイス９６０に接続され、Ｉ／Ｏデバイス９６０との間で、例えば、センサーによる検出信号やアクチュエーターへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部９２８は、例えば、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）ドライブ、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）ドライブ等のドライブ装置で構成され、ＤＶＤ、ＣＤ等のメディア（非一時的な記憶媒体）９７０に対してデータの読み書きを行う。

上記構成を有するコンピュータ９００において、プロセッサ９１２は、ストレージ装置９２０に記憶されたプログラム９３０をメモリ９１４に呼び出して実行し、バス９１０を介してコンピュータ９００の各部を制御する。なお、プログラム９３０は、ストレージ装置９２０に代えて、メモリ９１４に記憶されていてもよい。プログラム９３０は、インストール可能なファイル形式又は実行可能なファイル形式でメディア９７０に記録され、メディア入出力部９２８を介してコンピュータ９００に提供されてもよい。プログラム９３０は、通信Ｉ／Ｆ部９２２を介してネットワーク９４０経由でダウンロードすることによりコンピュータ９００に提供されてもよい。また、コンピュータ９００は、プロセッサ９１２がプログラム９３０を実行することで実現する各種の機能を、例えば、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）等のハードウエアで実現するものでもよい。

コンピュータ９００は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ９００は、コンピュータ９００の使用用途に応じて、クライアント型コンピュータやエッジ型コンピュータで構成されてもよいし、サーバ型コンピュータやクラウド型コンピュータで構成されてもよい。
（機械学習方法）
図１１は、本発明の実施形態に係る機械学習装置４による機械学習方法の一例を示すフローチャートである。

まず、ステップＳ１００において、学習データ取得部４００は、機械学習を開始するための事前準備として、所望の数の学習データを準備し、その準備した学習データを学習データ記憶部４２に記憶する。ここで準備する学習データの数は、最終的に得られる学習モデル２に求められる推論精度を考慮して設定すればよい。

学習データを準備する方法には、いくつかの方法を採用することができる。例えば、撮像装置３を用いて盛土・土質材料試料１０の学習用画像３０を撮像し、端末装置６を用いて、室内土質試験結果と対応付けていく。このような作業を、新たな盛土・土質材料試料１０が出現する毎に繰り返すことで学習データを複数組準備することが可能である。

次に、ステップＳ１１０において、機械学習部４０１は、機械学習を開始すべく、学習前の学習モデル２を準備する。

次に、ステップＳ１２０において、機械学習部４０１は、学習データ記憶部４２に記憶された複数組の学習データから、例えば、ランダムに１組の学習データを取得する。

次に、ステップＳ１３０において、機械学習部４０１は、１組の学習データに含まれる入力データを、準備された学習前（又は学習中）の学習モデル２の入力層に入力する。その結果、学習モデル２の出力層から推論結果として出力データが出力されるが、当該出力データは、学習前（又は学習中）の学習モデル２によって生成されたものである。そのため、学習前（又は学習中）の状態では、推論結果として出力された出力データは、学習データに含まれる出力データ（正解ラベル）とは異なる情報を示す。

次に、ステップＳ１４０において、機械学習部４０１は、ステップＳ１２０において取得された１組の学習データに含まれる出力データ（正解ラベル）と、ステップＳ１３０において出力層から推論結果として出力された出力データとを比較し、各シナプスの重みを調整することで、機械学習を実施する。これにより、機械学習部４０１は、入力データと出力データとの相関関係を学習モデル２に学習させる。

次に、ステップＳ１５０において、機械学習部４０１は、所定の学習終了条件が満たされたか否かを、例えば、推論結果と、学習データに含まれる出力データ（正解ラベル）とに基づく誤差関数の評価値や、学習データ記憶部４２内に記憶された未学習の学習データの残数に基づいて判定する。

ステップＳ１５０において、機械学習部４０１が、学習終了条件が満たされておらず、機械学習を継続すると判定した場合（ステップＳ１５０でＮｏ）、ステップＳ１２０に戻り、学習中の学習モデル２に対してステップＳ１２０～Ｓ１４０の工程を未学習の学習データを用いて複数回実施する。一方、ステップＳ１５０において、機械学習部４０１が、学習終了条件が満たされて、機械学習を終了すると判定した場合（ステップＳ１５０でＹｅｓ）、ステップＳ１６０に進む。

そして、ステップＳ１６０において、機械学習部４０１は、各シナプスに対応付けられた重みを調整することで機械学習させた学習済みの学習モデル２（調整済みの重みパラメータ群）を学習済みモデル記憶部４３に記憶し、図１１に示す一連の機械学習方法を終了する。

機械学習方法において、ステップＳ１００が学習データ記憶工程、ステップＳ１１０～Ｓ１５０が機械学習工程、ステップＳ１６０が学習済みモデル記憶工程に相当する。なお、図１１に示す一連の機械学習方法では、重みを調整する手法として、オンライン学習を採用した場合について説明したが、バッチ学習やミニバッチ学習（例えば、１００組の学習データ単位）等が採用されてもよい。また、複数組の学習データを訓練データとテストデータに分割した場合には、図１１に示す一連の機械学習方法は、訓練データを用いて実行されればよい。さらに、所定の学習終了条件が満たされたか否かを誤判定率に基づいて判定するようにしてもよい。

以上のように、本実施形態に係る機械学習装置４及び機械学習方法によれば、撮像装置３より盛土・土質材料試料１０の少なくとも一部が撮像された学習用画像３０から、盛土・土質材料試料１０の粒度分布予測を高精度に推論（判定、予測）することが可能な学習モデル２を提供することができる。
（粒度分布予測方法）
ここでは、撮像装置３と粒度分布予測装置５とを兼ねるスマートフォン８００を粒度分布予測装置５として用いる例について説明する。まず、スマートフォン８００の撮像部８２５で、予測用画像を撮像する上で、スマートフォン８００にインストールされていると好ましいアプリケーションソフトウェアについて説明する。このようなアプリケーションソフトウェアは、予測用画像として適したものを撮像するように組まれたものである。

図１２は予測用画像撮像処理のフローチャートを示す図である。スマートフォン８００による予測用画像の撮影者はタッチパネル部８３０を参照しつつ、図１３に示すように、マーカー１５と盛土・土質材料試料１０とを画角内に納めるようにすることが想定されている。

アプリケーションソフトウェア側では、ステップＳ１１では、画像認識によりマーカー１５を検出する。ステップＳ１２では、検出されたマーカーが真円であるか否かが判定される。

ステップＳ１２の判定がＹＥＳであると、ステップＳ１３に進み撮像部８２５のシャッター（不図示）を切り、ステップＳ１４に進み、撮像部８２５で取得した画像データを、記憶部８１５に格納する。一方、ステップＳ１２の判定がＮＯであるときは、ステップＳ１１に戻り、撮影者が適切な角度でマーカー１５と盛土・土質材料試料１０とを画角に納めるタイミングを待つ。

このようなアプリケーションソフトウェアをマーカー１５と盛土・土質材料試料１０の撮像時に用いると、予測に適した予測用画像を取得することが容易となる。なお、画像の撮像において、上記のようなアプリケーションソフトウェアが用いられず、盛土・土質材料試料１０の正面からの写真とならなかった場合、正面からの撮影画像となるようにマーカー１５の形状から撮像画像の補正を行うようにすることができる。

図１４は、本発明の実施形態に係る粒度分布予測装置５による粒度分布予測方法の一例を示すフローチャートである。なお、図１４に示す一連の粒度分布予測方法は、粒度分布予測装置５により所定のタイミングにて繰り返し実行される。所定のタイミングは、任意のタイミングでよく、例えば、撮像装置３（又は撮像部８２５）が予測用画像３１を新たに撮像したときでもよいし、所定の事象発生時（端末装置６から管理者や作業者による判定操作を受け付けた時、粒度分布予測システム１から判定指令を受信した時等）でもよい。

ステップＳ２００において、盛土・土質材料試料１０が撮像装置（又は撮像部８２５）３により撮像されて、予測用画像３１が粒度分布予測装置５に送信されることで、判定データ取得部５００が、当該予測用画像３１を含む判定データを取得する。

ステップＳ２１０では、予測用画像３１に映り込んでいるマーカーを基準に予測用画像から、複数の画像データを切り出す。図１５は予測用画像３１からの画像データの切り出しを説明する図である。図１５に予測用画像３１には、盛土・土質材料試料１０と共にマーカー１５が映り込んでいるが、このマーカー１５の広さを基準として、マーカー１５の近傍の矩形状の画像データを切り出して、それぞれの画像データを予測に供するようにする。

本実施形態においては、１つの予測用画像３１から５つの画像データを切り出すようにしているが、切り出す画像データの数が特に５つに限定される分けではなく、切り出す画像データの数は任意である。

続く、ステップＳ２２０においては、切り出された画像データに対して二値化処理・輝度調整処理が施される。このような処理は、図３のフローチャートに関連して説明した処理と同様であるので、詳細な説明を割愛する。

次のステップＳ２３０では、学習モデル２に二値化処理・輝度調整処理が施された画像データを入力し、推論結果を出力する。次のＳ２４０では、全て（本実施形態では５つ）の画像データについて、推論が完了したか否かが判定される。当該判定の結果がＮＯであれば、ステップＳ２８０に進み、次の画像データについての処理を進めていく。

一方、当該判定の結果がＹＥＳであれば、ステップＳ２５０に進む。ステップＳ２５０では、推論結果の平均を算出する。本実施形態では、５つの画像データに基づく推論結果の平均値が算出される。このステップＳ２５０では、図７に示す（１）～（９）の値の平均値を得ることができる。

続いて、ステップＳ２６０では、表示データ作成処理サブルーチンが実行される。表示データ作成処理サブルーチンでは、（１）～（９）の平均値に基づいて、各種の表示のためのデータの作成が実行される。

図１６は表示データ作成処理サブルーチンのフローチャートを示す図である。また、図１７は、表示データ作成処理サブルーチンによって作成されたデータの表示例を示すものである
図１６において、ステップＳ３００では、累積値の算出を行う。累積値は、（１）、（１）＋（２）、（１）＋（２）＋（３）、（１）＋（２）＋（３）＋（４）、・・・、（１）＋（２）＋（３）＋（４）＋（５）＋（６）＋（７）＋（８）＋（９）の９つの算出を行うことで得ることができる。これらの算出値は、図１７の表示例において、Ａによって示される箇所に表示される。

次のステップＳ３１０では、土出区分についての算出を行う。具体的には、細粒分の算出値としては（１）により、砂分の算出値は（２）＋（３）＋（４）＋（５）＋（６）により、また、礫分の算出値は（７）＋（８）＋（９）により得ることができる。これらの算出値は、図１７の表示例において、Ｂによって示される箇所に表示される。

次のステップＳ３２０においてはＤ_１０、Ｄ_２０、Ｄ_３０、Ｄ_４０、Ｄ_５０、Ｄ_６０の各値を算出する。これらの算出式は周知のものが用いられ、図１７の表示例において、Ｃによって示される箇所に表示される。

次のステップＳ３３０においては、これまで算出された算出値を表示すると共に、算出値に基づいたグラフが描画される。描画されるグラフは、図１７の表示例において、Ｄによって示される箇所に表示される。

表示データ作成処理サブルーチンが終了しリターンすると、元の粒度分布予測方法のフローチャートに戻り処理が終了する。

以上、本発明に係る粒度分布予測装置５によれば、判定データを前記学習モデルに入力し、盛土・土質材料試料が撮像された予測用画像を含む判定データに基づいて粒度分布が推論されるので、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる。

また、学習モデル２がニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る粒度分布予測装置５によれば、より精度が高い粒度分布の予測を行うことができる。

また、本発明に係る機械学習装置４によれば、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる粒度分布予測装置に用いられる学習モデル２を生成することができる。

また、学習モデル２がニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る機械学習装置４によれば、より精度が高い粒度分布の予測を行うことができる粒度分布予測装置５に用いられる学習モデル２を生成することができる。

また、本発明に係る機械学習方法によれば、精度高く粒度分布を予測することができる粒度分布予測装置５に用いられる学習モデルを生成することができる。

上記実施形態における機械学習装置４の制御部４０、又は、粒度分布予測装置５の制御部５０が備える各部は、図１０に示すコンピュータ９００のプロセッサ９１２にプログラムで実行させることで実現されるものでもよい。

また、上記実施形態に係る粒度分布予測装置５の態様に代えて、盛土・土質材料試料１０の粒度分布の予測・判定するために用いられる推論装置（推論方法又は推論プログラム）の態様で提供してもよい。この場合、推論装置は、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行する。

当該一連の処理には、予測用画像３１を含む判定データを取得するデータ取得処理と、データ取得処理にて判定データを取得すると、予測用画像３１を学習モデルに入力し、予測用画像３１に撮像された盛土・土質材料試料の粒度分布を推論する推論処理とが含まれる。

上記の推論装置（推論方法又は推論プログラム）の態様で提供することで、粒度分布予測装置５を実装する場合に比して簡単に種々の装置への適用が可能となる。なお、推論装置（推論方法又は推論プログラム）が盛土・土質材料試料１０の粒度分布を予測・判定する際、上記実施形態に係る機械学習装置４により生成された学習済みの学習モデル２を用いて、粒度分布予測装置５の推論部５０１が実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るものである。

１・・・粒度分布予測システム
２・・・学習モデル
３・・・撮像装置
４・・・機械学習装置
５・・・粒度分布予測装置
６・・・端末装置
７・・・ネットワーク
１０・・・盛土・土質材料試料
１１・・・バット
１５・・・マーカー
２０・・・ニューラルネットワークモデル
２１・・・入力層
２２₁、２２_２、２２_３、２２_４・・・単位中間層
ｃ・・・畳み込み層
ａ・・・アベレージプーリング層
ｍ・・・マックスプーリング層
２３・・・中間層
２５_１・・・第１結合層
２５_２・・・第２結合層
２５_３・・・第３結合層
２６・・・ソフトマックス関数処理部
２７・・・出力層
３０・・・学習用画像
３１・・・予測用画像
４０・・・制御部
４１・・・通信部
４２・・・学習データ記憶部
４３・・・学習済みモデル記憶部
５０・・・制御部
５１・・・通信部
５２・・・学習済みモデル記憶部
４００・・・学習データ取得部
４０１・・・機械学習部
４１０・・・学習データ作成部
５００・・・判定データ取得部
５０１・・・推論部
５０２・・・出力処理部
５１０・・・判定データ作成部
８００・・・スマートフォン（コンピュータの一例）
８１１・・・制御部
８１５・・・記憶部
８１６・・・基本オペレーティングシステム
８１７・・・粒度分布予測装置アプリケーションプログラム
８１８・・・データベース
８２０・・・通信部
８２３・・・ＧＰＳ受信部
８２５・・・撮像部
８３０・・・タッチパネル部
８３１・・・入力部
８３２・・・表示部
８３５・・・音声処理部
８３６・・・マイク
８３７・・・スピーカー
８４１・・・加速度センサー
８４２・・・地磁気センサー
８４３・・・ジャイロセンサー
９００・・・コンピュータ
９１０・・・バス
９１２・・・プロセッサ
９１４・・・メモリ
９１６・・・入力デバイス
９１７・・・出力デバイス
９１８・・・表示デバイス
９２０・・・ストレージ装置
９２２・・・通信Ｉ／Ｆ（インターフェース）部
９２４・・・外部機器Ｉ／Ｆ部
９２６・・・Ｉ／Ｏ（入出力）デバイスＩ／Ｆ部
９２８・・・メディア入出力部

Claims

盛土・土質材料試料の粒度分布を予測する粒度分布予測装置であって、
盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得部と、
盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルを記憶する学習済みモデル記憶部と、
前記判定データ取得部により取得された前記判定データを前記学習モデルに入力し、前記予測用画像に撮像された盛土・土質材料試料の粒度分布を推論する推論部とを備え、
前記予測用画像には、盛土・土質材料試料と共にマーカーが写り込んでおり、
前記マーカーが撮影方向に関する情報、及び寸法の基準として用いられることを特徴とする粒度分布予測装置。
前記学習モデルがニューラルネットワークモデルであり、
前記ニューラルネットワークモデルは、
複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、
異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有することを特徴とする請求項１に記載の粒度分布予測装置。
前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層であることを特徴とする請求項２に記載の粒度分布予測装置。
前記複数のプーリング層を構成するプーリング層が、マックスプーリング層であることを特徴とする請求項２に記載の粒度分布予測装置。
前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層とマックスプーリング層の組み合わせであることを特徴とする請求項２に記載の粒度分布予測装置。
前記複数の組み合わせ中間層からの出力が入力される複数の結合層を有することを特徴とする請求項２乃至請求項５に記載の粒度分布予測装置。
前記複数の結合層からの出力が、ソフトマックス関数処理部に入力されることを特徴とする請求項６に記載の粒度分布予測装置。
前記推論部で推論された盛土・土質材料試料の粒度分布に基づいて、細粒分、砂分、礫分割合を算出することを特徴とする請求項７に記載の粒度分布予測装置。
盛土・土質材料試料の粒度分布を予測する粒度分布予測方法であって、
盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得工程と、
前記判定データ取得工程により取得された前記判定データを、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルに入力し、前記予測用画像に撮像された前記盛土・土質材料試料の粒度分布を推論する推論工程とを備え、
前記予測用画像には、盛土・土質材料試料と共にマーカーが写り込んでおり、
前記マーカーが撮影方向に関する情報、及び寸法の基準として用いられることを特徴とする粒度分布予測方法。
前記マーカーが白色の円盤又は球体であることを特徴とする請求項９に記載の粒度分布予測方法。