JP2024061301A - 生コンクリートの品質予測システム - Google Patents

Abstract

【課題】練り混ぜ開始後、早期に生コンクリートの品質を、高い精度で予測可能な、そして時間情報を強く反映した予測が可能な、生コンクリートの品質予測システムを提供する。【解決手段】第一学習済みモデルが記憶される第一記憶部と、予測用入力データの入力を受け付ける入力部と、出力結果を出力する出力部とを備え、第一教師データは、練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、複数の第一特徴量、及び第二特徴量を含む学習データ群に基づく学習用入力データと、品質予測情報を含む学習用出力データとが関連付けられたデータであり、予測用入力データとして、練り混ぜられている予測対象の生コンクリートの複数の画像データが入力され、出力結果として、当該予測対象の生コンクリートの品質予測情報を出力する。【選択図】 図２

Description

本発明は、生コンクリートの品質を予測するためのシステムに関する。

生コンクリートは、使用用途や使用する現場の環境に応じて、要求される特性が異なる。そのため、従来、生コンクリートの製造工程においては、製造する生コンクリートが、要求される特性を満たすように、感覚や経験に基づいて、目視で練り混ぜ状態を確認して出荷していた。

生コンクリートの品質に関連する重要な特性の一つとして、スランプ値がある。スランプ値は、硬化前のコンクリートのコンシステンシーを示す指標として用いられる値であり、一般的に生コンクリートの出荷時や荷卸し時には、当該生コンクリートのスランプ値が要求される数値範囲内であるかどうかの評価や検査が行われる。

生コンクリートのスランプ値の評価結果や検査結果は、製造された生コンクリートを出荷できるかどうか、荷卸し現場にて使用できるかどうかの品質に関する合否判定の基準となる。このため、生コンクリートのスランプ値は、製造工場から出荷される前に、できる限り作業者の感覚や経験に依らず、高い精度で予測できることが期待されている。

そこで近年では、生コンクリートのスランプ値をより高い精度で予測するために、ミキサ内の練り混ぜられている生コンクリートの画像データとスランプ値とを関連付けた教師データを適用した機械学習によって生成された学習済みモデルを用いて、生コンクリートのスランプ値を予測する方法が提案されている（下記特許文献１を参照）。

特開２０２０－１４４１３２号公報

上記特許文献１に記載されている予測方法は、十分高い精度で生コンクリートのスランプ値を予測できる。ただし、当該方法は、練り混ぜを開始して１～５分程度経過した後の、各種材料が攪拌され、十分に練り混ぜた状態の生コンクリートを撮影して得られる画像データに基づいて、スランプ値の予測が行われる。この主な理由は、練り混ぜが開始してしばらくは、材料が十分に混ざりあっておらず、生コンクリートの状態が刻々と変化することから、スランプ値の予測が安定しないためである。

材料が十分に練り混ぜられるまでには、練り混ぜ開始から１～５分程度を要するため、練り混ぜている生コンクリートが、期待するスランプ値にはならないとの予測結果が得られた場合、数分の練り混ぜ工程が無駄となる場合がある。このような対応は、場合によっては、数十分、数時間の時間が無駄となってしまう可能性があり、生コンクリートの製造に関して大きなリスクともなり得る。

上述したようなリスクの回避や、更なる生産効率の向上の観点から、最近では、材料が十分に練り混ぜられるのを待つことなく、練り混ぜ開始後、早期に生コンクリートのスランプ値等の流動性に基づく品質に関連する指標、又はその他の生コンクリートの品質に関連する指標を高い精度で予測できることが期待されている。

また、近年では、従来よりも混和剤の添加量を増やした生コンクリートの製造が行われる場合があり、例えば、スランプ値の予測に関しては、粘性が異なる場合の骨材の比率等に影響されにくい、より高精度な予測システムが求められている。

さらに、上記特許文献１に記載されている予測方法は、１枚１枚の画像で評価することで、十分高い精度で生コンクリートのスランプ値を予測できる。ただし、当該方法は、１枚１枚の画像から得られる予測結果を用いており、実際の熟練の技術者の評価では、動画で予測していることから熟練の技術者の感覚と近い予測が可能であることがより望ましい。

本発明は、上記課題に鑑み、練り混ぜ開始後、早期に生コンクリートの品質を、高い精度で予測可能な、そして時間情報を強く反映した予測が可能な、生コンクリートの品質予測システムを提供することを目的とする。

本発明の生コンクリートの品質予測システムは、
第一教師データに基づく機械学習により生成された第一学習済みモデルが記憶される第一記憶部と、
予測用入力データの入力を受け付ける入力部と、
前記第一学習済みモデルによって導出される出力結果を出力する出力部とを備え、
前記第一教師データは、練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、生コンクリートの練り混ぜ時の状態に関連する情報である複数の第一特徴量、及び前記複数の第一特徴量が第二ニューラルネットワークに適用されて取得される第二特徴量を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられたデータであり、
前記予測用入力データとして、練り混ぜられている予測対象の生コンクリートの複数の画像データが入力され、
前記出力結果として、当該予測対象の生コンクリートの前記品質予測情報を出力することを特徴とする。

上記品質予測システムの学習用入力データ、及び予測用入力データとして適用される画像データは、カメラによって取得されたデータをそのまま採用してもよく、ビデオカメラでの動画像の撮影によって取得された動画像データから切り出された一フレームの画像データであってもよい。そして、「撮影時刻が異なる複数の画像データ」とは、異なる時間に写真撮影することで得られた複数の画像データであってもよく、取得した動画像データの異なる時間のコマ画像を抽出して得た複数の画像データや、動画像データを再生している最中に異なる時間でスナップショットして得た複数の画像データ等であっても構わない。なお、「撮影時刻が異なる複数の画像データ」は、動画像データを構成するフレーム単位の各画像データであってもよい。

本発明の品質予測システムで用いられる学習済みモデルは、機械学習によって作成されるが、機械学習に用いられる学習方法については、「発明を実施するための形態」の項目において詳述される。

第一ニューラルネットワークは、練り混ぜられている生コンクリートを撮影する撮像部によって取得された複数の画像データに基づいて第一特徴量を抽出する。第二ニューラルネットワークは、複数の第一特徴量に基づいて第二特徴量を抽出する。

上述したように、従来の品質予測方法は、練り混ぜ工程での時間経過に伴う生コンクリートの状態変化が小さくなった後でなければ、安定的に予測することができなかった。そこで、本発明者らは、生コンクリートの複数の第一特徴量を、さらにニューラルネットワークに適用して得られる第二特徴量と、品質とを関連付けることに着目し、上記品質予測システムの着想を得た。

第一特徴量は、練り混ぜられている生コンクリートの流動状態に関連する特徴量であり、例えば、生コンクリートの表面の振幅や、ミキサの羽根の動きによって生コンクリートが沈み込む深さ等が相当する。第二特徴量は、複数の第一特徴量に基づいて得られる情報であり、例えば、時間経過による第一特徴量の変化量といった情報等が相当する。

上記構成の品質予測システムは、第一特徴量及び第二特徴量と、品質予測情報とが関連づけられた学習済みモデルを適用することで、より高精度に生コンクリートの品質を予測することができる。また、第二特徴量は、時間変化に伴う第一特徴量の変化に関連する情報を含むことが想定される。このため、上記構成の品質予測システムは、生コンクリートが十分に練り混ぜられていない段階であっても、生コンクリートが十分に練り混ぜられた状態を予測して、生コンクリートの品質を予測することができる。

上記品質予測システムは、
第二教師データに基づく機械学習により生成された第二学習済みモデルが記憶される第二記憶部と、
予測対象の生コンクリートの配合関連情報に基づいて、前記画像データを、前記第一学習済みモデルに適用するか、前記第二学習済みモデルに適用するかを判定する判定部とを備え、
前記第二教師データは、前記第一特徴量を含む学習データ群に基づく学習用入力データと、前記品質予測情報を含む学習用出力データとが関連付けられたデータであり、
前記予測用入力データとして、練り混ぜられている予測対象の生コンクリートの複数の画像データとともに、予測対象の生コンクリートの前記配合関連情報が入力され、
前記出力結果として、前記判定部が前記画像データを適用すると判定した、いずれかの学習済みモデルから得られる当該予測対象の生コンクリートの前記品質予測情報を出力するように構成されていても構わない。

さらに、上記品質予測システムにおいて、
前記判定部は、前記予測用入力データに含まれる予測対象の生コンクリートの前記配合関連情報に基づいて、スランプ試験に関わる生コンクリートの評価項目に関する指標の目標範囲を導出する演算部を備えており、前記演算部が導出した前記目標範囲の幅が所定の数値より小さい場合に、前記画像データを前記第一学習済みモデルに適用するように構成されていても構わない。

また、上記品質予測システムにおいて、
前記予測用入力データは、予測対象の生コンクリートの前記配合関連情報として、スランプ値の目標範囲の情報を含み、
前記判定部は、前記配合関連情報に含まれる前記目標範囲の幅が所定の数値より小さい場合に、前記画像データを前記第一学習済みモデルに適用するように構成されていても構わない。

本明細書において「配合関連情報」とは、「発明を実施するための形態」の項目において具体例を挙げつつ詳述されるが、製造される生コンクリートにおける水和反応が進行する速度等に寄与する情報である。配合関連情報には、生コンクリートの品質予測に関して、予測精度に関連する情報が含まれる、又は予測精度を導出に利用できる情報が含まれる場合がある。

上記品質予測システムは、高解像度の画像データを用いた品質予測を行う場合や、予測対象となる複数の生コンクリートの品質予測を同時に行う場合も想定される。このような場合は、学習済みモデルを実行する演算処理装置に対する負荷が大きくなりすぎ、動作の遅延や、不具合の発生が懸念される。

そこで、上記構成とすることで、品質予測システムは、予測対象の生コンクリートに応じて、予測精度やシステムにおける負荷等をも考慮した、より適した学習済みモデルが選される。したがって、予測実行時において品質予測システムにかかる処理の負荷が軽減され、動作の遅延や不具合の抑制、さらには、高解像度の画像データを適用した品質予測や、同時により多くの生コンクリートの品質予測が可能となる。

本発明によれば、練り混ぜ開始後、早期に生コンクリートの品質を、高い精度で予測可能な、そして時間情報を強く反映した予測が可能な、生コンクリートの品質予測システムが実現される。

生コンクリートの品質予測システムの一実施態様の模式的な全体構成図である。 一実施形態におけるメインサーバの構成を模式的に示すブロック図である。 ミキサの一部を模式的に示す図面である。 別実施形態におけるメインサーバの構成を模式的に示すブロック図である。 検証実験の結果を全サンプルの平均値でプロットしたグラフである。

以下、本発明の生コンクリートの品質予測システムについて、図面を参照して説明する。なお、以下の各図面は、いずれも模式的に図示されたものであり、図面上の個数は、実際の個数と必ずしも一致していない。

本発明の生コンクリートの品質予測システムは、後述される撮影時刻が異なる複数の画像データから抽出される第一特徴量、及び第二特徴量を含む学習用入力データと、生コンクリートの品質予測情報を含む学習用出力データとを関連付けてなる教師データに基づく機械学習により生成された学習済みモデルを用いて、生コンクリートの品質を予測するシステムである。

最初に、第一特徴量及び第二特徴量と、これらと生コンクリートの品質との関係性について説明する。なお、学習用入力データは、配合関連情報を含んでいてもよいため、これらについてもここで併せて説明する。ただし、第一特徴量及び第二特徴量は、少なくとも学習用入力データ及び予測用入力データに関連する情報ではあるが、学習済みモデルが適用される予測用入力データに基づいて自動的に抽出する情報であるため、特定の情報やパラメータが該当するわけではない。

［第一特徴量］
第一特徴量は、ミキサ内の練り混ぜられている生コンクリートの画像データから抽出される情報であって、学習済みモデルが生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報と関連付けている情報の一つである。学習に利用したデータ等にもよるが、第一特徴量は、生コンクリートの粘度や含水量等を把握するとともに、所定の時間経過後に生コンクリートの状態を予測するための要素となると考えられる。

なお、第一特徴量は、画像データから読み取れる情報であって、生コンクリートの表面の振幅や、ミキサの羽根によって生コンクリートが沈み込む深さ等が相当すると考えられる。

［第二特徴量］
第二特徴量は、複数の第一特徴量から抽出される情報であって、学習済みモデルが生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報と関連付けている情報の一つである。学習に利用したデータ等にもよるが、第二特徴量は、例えば、第一特徴量の時間経過に伴う変化量の情報であって、第一特徴炉湯と組み合わせられることで、所定の時間経過後の生コンクリートの状態を予測するための要素となると考えられる。

したがって、第一特徴量、及び第二特徴量を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質を予測することができる。

なお、第二特徴量は、具体的には、時間変化に伴う生コンクリートの表面の振幅の変化量や、ミキサの羽根の動きによって生コンクリートが沈み込む深さの変化量等が相当すると考えられる。

［配合関連情報］
生コンクリートの配合関連情報とは、製造される生コンクリートにおける水和反応が進行する速度等に寄与する情報であって、生コンクリートの流動性等にどのような変化が生じ、時間経過によってどの程度のスランプロスが生じるかを予測するための要素となる。

したがって、配合関連情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質をより高い精度で予測することができる。

なお、配合関連情報は、具体的には、水セメント比（Ｗ／Ｃ）、セメント種類、混和剤種類、混和剤量、及び単位水量が挙げられる。学習済みモデルに適用される配合関連情報は、上記の各配合関連情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

さらに、学習用入力データは、配合関連情報に限られず、製造関連情報等を含んでいても構わない。製造関連情報とは、生コンクリートの製造関連情報とは、練り混ぜ中の生コンクリートの硬さや流動性を確認できる要素であり、生コンクリートの品質を予測するための要素となる。具体的には、ミキサ種類、ミキサ形式、練り混ぜ時間、練り混ぜ音、電力負荷値、練り混ぜ時の生コン温度、ミキサ内温湿度等が挙げられる。学習済みモデルに適用される製造関連情報は、上記の各製造関連情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

以上より、学習用入力データと、学習用出力データとによる機械学習を行って生成された学習済みモデルが適用された品質予測システムは、学習用入力データより得られた第一特徴量、及び複数の第一特徴量から得られた第二特徴量と、品質予測情報とが関連付けられており、第一特徴量と品質予測情報とが関連付けられた学習済みモデルが適用された品質予測システムよりも高い精度で、かつ、練り混ぜ開始から早期に生コンクリートの品質を予測することができる。

さらに、配合関連情報を含む学習用入力データと、品質予測情報を含む学習用出力データとによって機械学習を行って生成された学習済みモデルが適用された品質予測システムは、生コンクリートの品質をより高い精度で予測することができる。

学習済みモデルの学習に用いる教師データのサンプルの数は、学習用入力データからスランプ情報を導出するために必要な特徴量（第一特徴量，第二特徴量）を抽出し、さらに予測精度を高める観点から、好ましくは１００以上、より好ましくは１，０００以上、さらに好ましくは１０，０００以上、さらに好ましくは５０，０００以上、特に好ましくは１００，０００以上である。さらに、各学習済みモデルにおける学習回数は、予測精度を高める観点から、好ましくは１，０００回以上、より好ましくは８，０００回以上、特に好ましくは１０，０００回以上であるが、特に限定されない。例えば、学習データとして質の高い１つのサンプルのみが教師データとして採用されても構わない。

次に、本発明の品質予測ステムで用いられる学習済みモデルを作成するための機械学習の方法について説明する。本発明の品質予測ステムで用いられる学習済みモデルを作成するための機械学習の方法としては、例えば、ニューラルネットワーク、線形回帰、決定木、サポートベクター回帰、アンサンブル法、サポートベクターマシン、判別分析、単純ベイズ法、最近傍法等が挙げられる。これらの方法は、一種を単独で用いてもよく、二種以上を組み合わせて用いてもよい。

これらの方法の中でも、より高い精度で品質を予測することができる観点から、ニューラルネットワークによる機械学習が選択されることが好ましい。ニューラルネットワークは、より高い精度で品質を予測することができる観点から、入力層と出力層の間に一つ以上の中間層を有する階層型のニューラルネットワークが好適である。

ニューラルネットワークの例としては、三次元畳み込みニューラルネットワーク（３ＤＣＮＮ：３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、長期・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）ニューラルネットワーク（ＬＳＴＭを用いて再帰型ニューラルネットワークを改良したもの）等が挙げられる。

これらの中でも、画像認識の分野に優れた性能を有し、畳み込みニューラルネットワーク（中間層として、畳み込み層やプーリング層等を有するニューラルネットワーク）と、再帰型ニューラルネットワークによる学習がより好適である。再帰型ニューラルネットワークは、再帰的構造を有しているため、ある時点の入力に関し、それ以降の出力に対する影響を考慮することができる、すなわち、過去の情報に基づく予測が可能であり、第二特徴量の抽出において特に好適である。

より具体的な一例としては、画像データに基づく第一特徴量の抽出するニューラルネットワーク（第一ニューラルネットワーク）に関してはＣＮＮ、第一特徴量に基づく第二特徴量の抽出するニューラルネットワーク（第二ニューラルネットワーク）に関してはＲＮＮであることが特に好適である。

また、機械学習を行うためのツールとしては、例えば、Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリである「ＴｅｎｓｏｒＦｌｏｗ（登録商標）」や、ＩＢＭ社が開発したシステムである「ＩＢＭ Ｗａｔｓｏｎ（登録商標）」等を用いることができる。

次に、品質予測システム１の具体的な構成について説明する。

本発明の生コンクリートの品質予測システム１の本実施形態の構成について説明する。図１は、生コンクリートの品質予測システム１の一実施態様の模式的な全体構成図である。品質予測システム１は、図１に示すように、メインサーバ１０と、当該メインサーバ１０とネットワーク接続された、データサーバ２０と、操作用端末３０と、複数の参照用端末４０とで構成されている。

なお、メインサーバ１０にネットワーク接続されるデータサーバ２０、操作用端末３０、参照用端末４０のそれぞれの数は任意であって、それぞれ有線又は無線でデータ通信を行うように接続されている。また、図１においては図示されていないが、メインサーバ１０には、品質予測の対象となる生コンクリートを練り混ぜている状態を撮影する撮像部６０がネットワーク接続されている（図２参照）。

本実施形態におけるメインサーバ１０は、作業者が操作用端末３０を操作して動作開始の操作を行うと、予測動作を開始する。そして、学習済みモデルＭ１に適用する画像データを含む予測用入力データｄ１が、撮像部６０からメインサーバ１０に入力されると、メインサーバ１０内で所定の処理が行われて、生コンクリートの品質の予測値に関連する情報である品質予測情報がメインサーバ１０から出力される。

メインサーバ１０から出力された品質予測情報を含む出力データｄ３は、各参照用端末４０に送信される。そして、各参照用端末４０は、メインサーバ１０から出力された当該出力データｄ３から得られる生コンクリートの品質の予測値をそれぞれの表示装置５０に表示する。

なお、本実施形態の各参照用端末４０は、図１に示すように、表示装置５０と別体のデスクトップ型ＰＣであるが、ノートＰＣ、スマートフォン、タブレット等の表示装置５０が一体的に構成されている端末であっても構わない。また、各参照用端末４０は、操作用端末３０としての機能を兼ねていても構わない。

図２は、本実施形態におけるメインサーバ１０の構成を模式的に示すブロック図である。図２に示すように、本実施形態におけるメインサーバ１０は、データ入力部１１と、データ出力部１２、演算処理部１３とを備える。

図３は、ミキサ２の一部を模式的に示す図面である。図３に示すように、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２の羽根２ａが写り込む位置に固定されている。図３においては、説明の便宜のため、撮像部６０の撮影対象となる領域６０ａが、一点鎖線によって模式的に図示されている。

本実施形態における撮像部６０は、練り混ぜの開始から練り混ぜ終了まで、継続的に撮影を行い、フレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画像データ（時系列の複数の画像データ）を取得する。このため、当該動画像データには、ミキサ２の羽根２ａが生コンクリート中に沈んでいる状態と、ミキサ２の羽根２ａが生コンクリートをすくい上げている状態とを撮影して取得した画像データとが含まれる。なお、撮像部６０は、上述したような動画像データを取得するカメラではなく、所定の時間間隔で写真撮影を行い、複数の画像データを取得するカメラであっても構わない。

なお、ミキサ２の回転速度等にもよるが、ミキサ２の羽根２ａが生コンクリート中に沈んでいる最中を撮影した画像データから抽出される画像抽出情報は、生コンクリートの表面における変動が品質予測にほとんど寄与しない場合がある。このような場合は、撮像部６０が取得する画像データは、ミキサ２の羽根２ａが生コンクリート中に沈んでいる状態を撮影して得られた画像データを含んでいなくても構わない。

演算処理部１３及び第一記憶部１３ａは、例えば、ＣＰＵやＭＰＵ等の演算処理ユニットで構成される。第一記憶部１３ａは、例えば、フラッシュメモリやハードディスク等のメモリで構成される。そして、第一記憶部１３ａは、教師データに基づく機械学習により生成された学習済みモデルＭ１が記録されている。

教師データは、ＣＮＮによる機械学習において、撮像部６０が撮影して取得した複数の画像データと、生コンクリートの品質に関連する情報を含む学習用出力データとを関連付ける第一特徴量の抽出、及びＲＮＮによる機械学習において、ＣＮＮにより抽出された一つの学習用入力データに基づく複数の第一特徴量と、学習用出力データとを関連付ける第二特徴量の抽出に用いられる。

生コンクリートの品質に関連する情報とは、出力データに含まれる生コンクリートの品質予測情報である。本実施形態における、生コンクリートの品質予測情報は、スランプ値であるが、生コンクリートの品質に関連する他の情報を採用しても構わない。生コンクリートの品質予測システム１は、生コンクリートのコンシステンシーや流動性に関する指標であれば、特に好適に、練り混ぜに際しての時間経過に伴う生コンクリートの状態変化と関連付けられるため、十分に予測が可能である。また、生コンクリートの品質予測システム１は、上記の関連付けに基づいて、生コンクリートのコンシステンシーや流動性に関する指標以外の、その他の品質であっても予測対象とすることができる。

学習用出力データに含まれる品質予測情報は、生コンクリートの製造工場での出荷前品質検査において取得されたデータであってもよく、打設現場での打設前品質検査において取得されたデータであっても構わない。いずれのデータを適用するかについては、例えば、生コンクリートのいつの時点における品質が予測対象となるかによって選択される。

本実施形態におけるデータ入力部１１は、撮像部６０から送信される画像データを予測用入力データｄ１として入力を受け付ける。また、本実施形態におけるデータ入力部１１は、データサーバ２０又は操作用端末３０から送信される、学習済みモデルＭ１に適用するための予測用の生コンクリートの配合関連情報、製造関連情報を含む予測用入力データｄ１を受け付ける。

データ入力部１１は、予測用入力データｄ１の入力を受け付けると、演算処理部１３に入力するための演算用入力データｄ２を生成して、演算処理部１３に対して出力する。

データ出力部１２は、演算処理部１３から出力された出力データｄ３が入力されると、図２に示すように、参照用端末４０が受信可能な送信用データｄ４を出力データｄ３に基づいて生成して、各参照用端末４０に対して送信用データｄ４を送信する。

演算処理部１３は、データ入力部１１から出力される演算用入力データｄ２が入力されると、第一記憶部１３ａに記録されている学習済みモデルＭ１を読み出し、学習済みモデルＭ１に対して演算用入力データｄ２を適用する。

演算処理部１３は、学習済みモデルＭ１による演算処理を実行し、演算用入力データｄ２に基づいて導出される品質予測情報を含む出力データｄ３をデータ出力部１２に対して出力する。

［検証実験］
ここで、上記の各情報に基づいて学習した学習済みモデルＭ１を適用した品質予測システム１が、どのぐらいの精度でスランプ値を予測できるかを確認した検証実験について説明する。

（実施例１）
実施例１は、上述した生コンクリートの品質予測システム１によって、製造したコンクリートの練り混ぜ直後のスランプ値を予測する。

予測用入力データの取得は、ミキサ内に水を投入し、練り混ぜを開始してから２分経過時点からミキサ内を５秒間撮影して動画像データを取得し、当該動画像から画像データを抽出することにより行った。つまり、予測用入力データは、１５０枚の静止画像データとした。

実施例１では、上記方法で取得した画像データから、生コンクリートを練り混ぜている状態のミキサが写り込んでいる領域において、２５６ピクセル×２５６ピクセルの範囲で切り出した画像データを予測用入力データとして採用した。さらに、学習用入力データとしては、当該画像データの切り出し位置を基準として、上下左右にそれぞれ１０ピクセルずらした位置で切り出した８枚の画像データが採用された。つまり、一つのサンプルにおける予測用入力データは、あるタイミングで取得された画像データから、９枚の画像データを切り出すことで得られる、合計１，３５０枚の画像データを含む。

８枚の画像の切り出しは、より具体的には、２５６ピクセル×２５６ピクセルの範囲で切り出した所定の画像データの中心位置を原点（（ｘ，ｙ）＝（０，０））とし、（ｘ，ｙ）＝（－１０，－１０）、（０，－１０）、（＋１０，－１０）、（－１０，０）、（＋１０，０）、（－１０，＋１０）、（０，＋１０）、（＋１０，＋１０）の座標を中心とした２５６ピクセル×２５６ピクセルの範囲でそれぞれ行った。なお、煩雑な記載を避けるために省略したが、上記のｘ座標及びｙ座標の単位は、ピクセルである。

予測対象とする生コンクリートのサンプル数は９とし、合計１２，１５０個の予測用出力データについて、スランプ値の実測値が許容誤差範囲内に収まっていたかどうかに基づいて、正解率を算出した。

学習済みモデルＭ１の生成は、学習ライブラリはＴｅｎｓｏｒ Ｆｌｏｗ（登録商標）を使用し、学習回数は、２００，０００回とした。

（実施例２）
実施例２では、予測用入力データの取得は、ミキサ内に水を投入し、排出前２０秒時点から、ミキサ内を５秒間撮影して動画像データを取得し、当該動画像から画像データを抽出することにより行った。つまり、予測用入力データは、実施例１と同様に１５０枚の静止画像データとした。

実施例２では、上記方法が取得した画像データから、生コンクリートを練り混ぜている状態のミキサが写り込んでいる領域において、２５６ピクセル×２５６ピクセルの範囲で切り出した画像データを予測用入力データとして採用した。さらに、学習用入力データとしては、当該画像データの切り出し位置を基準として、上下左右にそれぞれ５ピクセルずらした位置で切り出した２４枚の画像データが採用された。つまり、一つのサンプルにおける予測用入力データは、あるタイミングで取得された画像データから、２５枚の画像データを切り出すことで得られる、合計３，７５０枚の画像データを含む。

２４枚の画像の切り出しは、より具体的には、２５６ピクセル×２５６ピクセルの範囲で切り出した所定の画像データの中心位置を原点（（ｘ，ｙ）＝（０，０））とし、（ｘ，ｙ）＝（－１０，－１０）、（－５，－１０）、（０，－１０）、（＋５，－１０）、（＋１０，－１０）、（－１０，－５）、（－５，－５）、（０，－５）、（＋５，－５）、（＋１０，－５）、（－１０，０）、（－５，０）、（＋５，０）、（＋１０，０）、（－１０，＋５）、（－５，＋５）、（０，＋５）、（＋５，＋５）、（＋１０，＋５）、（－１０，＋１０）、（－５，＋１０）、（０，＋１０）、（＋５，＋１０）、（＋１０，＋１０）の座標を中心とした２５６ピクセル×２５６ピクセルの範囲でそれぞれ行った。上記と同様に、煩雑な記載を避けるために省略したが、上記のｘ座標及びｙ座標の単位は、ピクセルである。

予測対象とする生コンクリートのサンプル数は９とし、合計３３，７５０個の予測用出力データについて、スランプ値の実測値が許容誤差範囲内に収まっていたかどうかに基づいて、正解率を算出した。

実施例２は、以上の点を除けば、実施例１と同様である。

（比較例１）
比較例１は、画像データの空間的な特徴を保持したまま時系列に関する学習が可能な畳み込みＬＳＴＭのみを適用して学習した学習済みモデルを用いたことを除いて、実施例１と同様である。

（比較例２）
比較例２は、画像データの空間的な特徴を保持したまま時系列に関する学習が可能な畳み込みＬＳＴＭのみを適用して学習した学習済みモデルを用いたことを除いて、実施例２と同様である。

予測対象とする生コンクリートは、配合設計により、スランプ目標値が８ｃｍであるサンプルＡ、１２ｃｍであるサンプルＢ、１８ｃｍであるサンプルＣ、の３種類とした。

（結果）

図５は、検証実験の結果を全サンプルの平均値でプロットしたグラフである。図５によれば、いずれの許容差範囲の条件においても、比較例１に比べて実施例１の方が、高い正解率となっていることが確認される。つまり、図５によれば、品質予測システム１は、第一特徴量及び第二特徴量と、品質予測情報とが関連づけられた学習済みモデルＭ１を適用することで、許容差によらず、より高精度に生コンクリートの品質を予測することができることがわかる。

表１は、許容差を２．５ｃｍとした場合における、実施例２及び比較例２それぞれの正解率をまとめた表である。

表１によれば、いずれの分類においても、比較例２に比べて実施例２の方が、高い正解率となっていることが確認される。また、練り混ぜ開始から２分経過時点に取得した動画像データに基づいて予測を行う実施例１が、排出前２０秒時点に取得した動画像データに基づいて予測を行う実施例２に比べて、同等以上の正解率となっていることも確認される。

以上より、品質予測システム１は、第一特徴量及び第二特徴量と、品質予測情報とが関連づけられた学習済みモデルＭ１を適用することで、より高精度に生コンクリートの品質を予測することができる。また、第二特徴量は、時間変化に伴う第一特徴量の変化に関連する情報を含むことが想定される。このため、品質予測システム１は、生コンクリートが十分に練り混ぜられていない段階であっても、生コンクリートが十分に練り混ぜられた状態を予測して、生コンクリートの品質を予測することができる。

なお、本実施形態の品質予測システム１は、図３に示すように、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２の羽根２ａが含まれる位置に配置されているが、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２が含まれない位置に配置されていても構わない。ミキサ２が含まれていなくとも、練り混ぜられている生コンクリートは、常に流動しており、練り混ぜの進行によって、流動性に変化が現れる。

つまり、品質予測システム１は、撮像部６０の撮影対象となる領域６０ａ外でのミキサ２の動作に起因して、当該領域６０ａ内で生じる生コンクリートの波打つ動き等を捉えた画像データから抽出された第一特徴量、及び第二特徴量に基づいて、生コンクリートの品質を予測する構成とすることもできる。

また、本実施形態において、学習用入力データ、及び予測用入力データは、予測精度を向上させる観点から配合関連情報、製造関連情報を含むデータとしたが、これらの情報を学習用入力データ、及び予測用入力データに含めるか否かは任意である。

以下、別実施形態につき説明する。

〈１〉 図４は、別実施形態におけるメインサーバ１０の構成を模式的に示すブロック図である。図４に示すように、演算処理部１３は、上述した実施形態に対し、第二記憶部１３ｂと、判定部１３ｃとをさらに備えていても構わない。第二記憶部１３ｂには、教師データに基づく機械学習により生成された学習済みモデルＭ２が記録されている。

本実施形態における、第二学習済みモデルＭ２は、教師データとして、図３に示すように、練り混ぜられている生コンクリートを撮影する撮像部６０によって取得された撮影時刻が異なる複数の画像データと、品質予測情報との関連付けがなされた、第一特徴量の抽出を行う学習済みモデルである。なお、本実施形態において、第二学習済みモデルＭ２は、ＣＮＮによる機械学習によって作成したが、機械学習の方法は任意である。

判定部１３ｃは、データサーバ２０、又は操作用端末３０から入力される配合関連情報に基づいて、演算用入力データｄ２を学習済みモデルＭ１に適用するか、学習済みモデルＭ２に適用するかを判定する。

上記構成とすることで、品質予測システム１は、予測対象の生コンクリートに応じて、予測精度やシステムにおける負荷等を考慮した、より適した学習済みモデルが選択される。したがって、予測実行時において品質予測システム１にかかる負荷が軽減され、動作の遅延や不具合の抑制、さらには、同時により多くの生コンクリートの品質予測が可能となる。

本実施形態における判定部１３ｃは、予測用入力データに含まれる予測対象の生コンクリートの配合関連情報に基づいて、演算処理部１３が、スランプ試験にかかわる生コンクリートの評価項目に関する指標として、スランプ値の目標範囲を導出する判定用演算部１３ｄを備えており、判定用演算部１３ｄが導出した目標範囲の幅が所定の数値より小さい場合には、画像データを第一学習済みモデルＭ１に適用し、目標範囲の幅が所定の数値より大きい場合には、画像データを第二学習済みモデルＭ２に適用するように構成されている。

判定部１３ｃによる判定は、上記とは異なる方法で行われてもよい。例えば、予測用入力データが、予測対象の生コンクリートの配合関連情報として、スランプ値の目標範囲の情報を含んでおり、判定部１３ｃが、当該目標範囲の幅が所定の数値より小さい場合に、画像データを第一学習済みモデルＭ１に適用し、目標範囲の幅が所定の数値より大きい場合には、画像データを第二学習済みモデルＭ２に適用するように構成されていても構わない。

なお、図４において、演算処理部１３は、第一学習済みモデルＭ１が格納された第一記憶部１３ａと、第二学習済みモデルＭ２が格納された第二記憶部１３ｂと、判定部１３ｃとをそれぞれ備える構成で図示されているが、第一学習済みモデルＭ１と、第二学習済みモデルＭ２とが、一つの記憶部に格納されていても構わない。また、第一学習済みモデルＭ１と、第二学習済みモデルＭ２と、判定部１３ｃが実行する判定プログラムとが一体的に統合された学習済みモデルが、演算処理部１３における一つの記憶部に格納されていても構わない。

〈２〉 上述した品質予測システム１が備える構成は、あくまで一例であり、本発明は、図示された各構成に限定されない。上述の実施形態においては、予測対象をスランプ値としているが、コンシステンシー、ワーカビリティー、プラスティシティー、材料分離抵抗性、流動性等の、スランプ試験にかかわる生コンクリートの評価項目に関する指標を示す指標であれば、出荷時スランプ値等のスランプ値に限定されない。例えば、生コンクリートの変形量や締固め性、運搬性、打ち込み性、仕上げ性といった作業の容易性、型枠への詰め込みやすさ、軟らかさを予測対象とした場合であっても、本発明の効果を奏する。

１ ： 品質予測システム
２ ： ミキサ
２ａ ： 羽根
１０ ： メインサーバ
１１ ： データ入力部
１２ ： データ出力部
１３ ： 演算処理部
１３ａ ： 第一記憶部
１３ｂ ： 第二記憶部
１３ｃ ： 判定部
１３ｄ ： 判定用演算部
２０ ： データサーバ
３０ ： 操作用端末
４０ ： 参照用端末
５０ ： 表示装置
６０ ： カメラ
６０ａ ： 領域
Ｍ１ ： 学習済みモデル

Claims (4)

1. 第一教師データに基づく機械学習により生成された第一学習済みモデルが記憶される第一記憶部と、
   予測用入力データの入力を受け付ける入力部と、
   前記第一学習済みモデルによって導出される出力結果を出力する出力部とを備え、
   前記第一教師データは、練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、生コンクリートの練り混ぜ時の状態に関連する情報である複数の第一特徴量、及び前記複数の第一特徴量が第二ニューラルネットワークに適用されて取得される第二特徴量を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられたデータであり、
   前記予測用入力データとして、練り混ぜられている予測対象の生コンクリートの複数の画像データが入力され、
   前記出力結果として、当該予測対象の生コンクリートの前記品質予測情報を出力することを特徴とする生コンクリートの品質予測システム。
2. 第二教師データに基づく機械学習により生成された第二学習済みモデルが記憶される第二記憶部と、
   予測対象の生コンクリートの配合関連情報に基づいて、前記画像データを、前記第一学習済みモデルに適用するか、前記第二学習済みモデルに適用するかを判定する判定部とを備え、
   前記第二教師データは、前記第一特徴量を含む学習データ群に基づく学習用入力データと、前記品質予測情報を含む学習用出力データとが関連付けられたデータであり、
   前記予測用入力データとして、練り混ぜられている予測対象の生コンクリートの複数の画像データとともに、予測対象の生コンクリートの前記配合関連情報が入力され、
   前記出力結果として、前記判定部が前記画像データを適用すると判定した、いずれかの学習済みモデルから得られる当該予測対象の生コンクリートの前記品質予測情報を出力することを特徴とする請求項１に記載の生コンクリートの品質予測システム。
3. 前記判定部は、前記予測用入力データに含まれる予測対象の生コンクリートの前記配合関連情報に基づいて、スランプ試験に関わる生コンクリートの評価項目に関する指標の目標範囲を導出する演算部を備えており、前記演算部が導出した前記目標範囲の幅が所定の数値より小さい場合に、前記画像データを前記第一学習済みモデルに適用することを特徴とする請求項２に記載の生コンクリートの品質予測システム。
4. 前記予測用入力データは、予測対象の生コンクリートの前記配合関連情報として、スランプ値の目標範囲の情報を含み、
   前記判定部は、前記配合関連情報に含まれる前記目標範囲の幅が所定の数値より小さい場合に、前記画像データを前記第一学習済みモデルに適用することを特徴とする請求項２に記載の生コンクリートの品質予測システム。