JP7282275B1 - 情報処理装置、三次元復元システム、及び情報処理方法 - Google Patents

Abstract

三次元復元を実行する情報処理装置（１００）は、作業推定部（１１０）とメタデータ生成部（１２０）とを備える。作業推定部（１１０）は、対象期間内における機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて対象期間内に作業員が機器に対して実施した作業を推定し、作業を推定した結果に基づいて、対象期間内における作業員の作業対象である機器の部位と、部位の状態とを推定する。メタデータ生成部（１２０）は、推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、部位を示すデータであって、端末が対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与する。

Description

本開示は、情報処理装置、三次元復元システム、及び情報処理方法に関する。

対象物を複数の視点から観測した画像データ又は点群データを用いて対象物を三次元復元する手法が存在する。当該手法は、具体例としてフォトグラメトリである。具体例として、当該手法を用いて対象物を撮影することによって取得された画像データのみを用いて対象物を三次元復元する場合、特徴点同士の類似度に基づいて画像データ同士を繋ぎ合わせ、画像データの取得時におけるカメラの姿勢を推定し、対象物を三次元復元する。

国際公開第２０１８／１５０５１５号パンフレット

大型の設備機器等を対象として三次元復元を実行する場合、互いに類似する特徴を持つ複数の部位が存在する場合がある。この場合において、具体例として、部位Ａの三次元復元において、部位Ａのデータと、部位Ａの形状に類似する形状を有する部位Ｂのデータとが混ざった状態において三次元復元が実行されてしまう。特許文献１が開示する技術によれば、画像を取得した位置と、画像を取得した端末の傾きとによって画像データが示す範囲を大まかに特定することができる。しかしながら、画像を取得した位置と、画像を取得した端末の傾きのみではより詳細にどの設備のどの部位が画像に映っているかを推定することができない。そのため、特許文献１が開示する技術には、三次元復元の精度が低いことがあるという課題がある。
また、設備機器が可動部を有する場合、可動部の互いに異なる状態を示すデータが三次元復元結果にノイズとして取り込まれることがある。具体例として、設備機器がエレベーターである場合、乗場扉が可動部に当たる。このとき、乗場扉が開いている状態に対応するデータと、乗場扉が閉じている状態に対応するデータとの双方を用いて三次元復元を実行すると、一方のデータはノイズとして取り込まれる。しかしながら、特許文献１は三次元復元結果にそのようなノイズが取り込まれることを防ぐ技術を開示していない。そのため、特許文献１が開示する技術には、三次元復元の精度が低下することがあるという課題がある。

本開示は、大型の設備機器等を対象とした三次元復元において、三次元復元の精度を改善することを目的とする。

本開示に係る情報処理装置は、
機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理装置であって、
対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定する作業推定部と、
推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与するメタデータ生成部と
を備える。

本開示によれば、復元用データにメタデータが付与されている。ここで、メタデータは部位と部位の状態との各々を示す。そのため、メタデータが示す部位を用いて復元用データが示す部位を特定することができ、また、メタデータが示す部位の状態を用いることによってノイズの取り込みを防ぐことができる。従って、本開示によれば、大型の設備機器等を対象とした三次元復元において、三次元復元の精度を改善することができる。

実施の形態１に係る三次元復元システム９０の構成例を示す図。 実施の形態１に係るメタデータを説明する図。 実施の形態１に係る情報処理装置１００のハードウェア構成例を示す図。 実施の形態１に係るデータ取得装置４００の動作を示すフローチャート。 実施の形態１に係る情報処理装置１００の動作を示すフローチャート。 実施の形態１に係るメタデータを生成する処理を説明する図。 実施の形態１に係る情報処理装置１００の動作を示すフローチャート。 実施の形態１に係る情報処理装置１００の処理を説明する図。 実施の形態１の変形例に係る三次元復元システム９０の構成例を示す図。 実施の形態１の変形例に係る情報処理装置１００のハードウェア構成例を示す図。 実施の形態２に係る三次元復元システム９０の構成例を示す図。 実施の形態２に係る情報処理装置１００の動作を示すフローチャート。 実施の形態２に係る情報処理装置１００の動作を示すフローチャート。

実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「装置」又は「部」を、「方法」、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。

実施の形態１．
以下、本実施の形態について、図面を参照しながら詳細に説明する。

＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る三次元復元システム９０の構成例を示している。三次元復元システム９０は、本図に示すように、情報処理装置１００と、携帯端末２００と、設備機器３００と、データ取得装置４００と、復元用データＤＢ（Ｄａｔａｂａｓｅ）１９０と、設備機器データＤＢ４１０と、センサデータＤＢ４２０と、復元用データＤＢ４３０とを備える。三次元復元システム９０を構成する各装置及び各ＤＢは、適宜一体的に構成されていてもよい。

情報処理装置１００は、作業推定部１１０と、メタデータ生成部１２０と、グルーピング部１３０と、三次元復元部１４０と、統合部１５０と、復元結果出力部１６０とを備える。情報処理装置１００は、機器の少なくとも一部を観測したデータに基づいて機器の少なくとも一部を三次元復元する装置である。

作業推定部１１０は、設備機器データＤＢ４１０と、センサデータＤＢ４２０との各々に格納されているデータに基づいて作業者の作業を推定する。作業推定部１１０は、設備機器データとセンサデータとの少なくともいずれかに基づいて対象期間内に作業員が機器に対して実施した作業を推定する。また、作業推定部１１０は、作業を推定した結果に基づいて、対象期間内における作業員の作業対象である機器の部位と、部位の状態とを推定する。対象期間はどのような期間であってもよい。
設備機器データは、設備を構成する各機器の対象期間内における状態等を示すデータであり、具体例として、制御信号３１０とセンサ信号３２０とから成る。設備機器データは、制御信号３１０とセンサ信号３２０に基づいて推定された各機器の状態を示すデータであってもよい。
センサデータは、作業員が操作する端末が備えるセンサ（復元用データ取得センサ２４０を除く）が対象期間内において取得したデータである。当該端末は、具体例として携帯端末２００である。

メタデータ生成部１２０は、作業推定部１１０が推定した作業に基づいてメタデータを生成し、生成したメタデータを復元用データＤＢ４３０に格納されている復元用データに付与する。この際、メタデータ生成部１２０は、作業推定部１１０によって推定された部位と、作業推定部１１０によって推定された部位の状態との各々を示すデータをメタデータとして生成し、復元用データに生成したメタデータを付与する。メタデータ生成部１２０は、複数の復元用データの各々に対してメタデータを付与してもよい。
復元用データは、端末が対象期間内に取得したデータであり、作業員が作業中に携帯端末２００を操作することによって取得されたデータであり、設備が備える各部位を示すデータであり、三次元復元処理を実行する際に直接的に用いられるデータである。復元用データは、具体例として画像データ又は点群データである。また、復元用データは作業員の作業に対応するデータである。

グルーピング部１３０は、各復元用データに付与されているメタデータに基づいて各復元用データを分類する。この際、グルーピング部１３０は、複数の復元用データの各々に対応する部位及び部位の状態に応じて複数の復元用データをグルーピングする。

三次元復元部１４０は、グルーピング部１３０が分類した各分類について、各分類に属する復元用データを用いて三次元復元を実行する。

統合部１５０は、設計データ１９１を用いて設備のフレームを示すデータを生成し、三次元復元部１４０が三次元復元を実行した結果と生成したフレームを示すデータとを統合する。この際、統合部１５０は、各機器を備える設備に対応するフレームを示すデータを生成し、生成したフレームを示すデータに、グルーピングされた復元用データを用いて三次元復元処理を実行した結果を張り付ける。
設計データ１９１は、三次元復元対象に関する設計内容を示すデータであり、具体例として各機器の構成を示す設計図面、又は各機器の設計値を示すデータである。設計値は、具体例として、昇降工程と、階床数と、階間距離との少なくともいずれかを示す値である。設計データ１９１は、三次元復元の対象である設備機器の全容を把握するために利用される。

復元結果出力部１６０は、三次元復元を実行した結果を示すデータを出力する。復元結果出力部１６０は、基準状態定義１９２を受信し、受信した基準状態定義１９２に基づいて各部位の状態ごとに結果を示すデータを出力してもよい。
基準状態定義１９２は、設備が備える部位のうち、状態が変化する部位の各状態の定義を示す情報である。

携帯端末２００は、気圧センサ２１０と、加速度センサ２２０と、角速度センサ２３０と、復元用データ取得センサ２４０と、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）２５０とを備える。携帯端末２００が備えるセンサはどのようなセンサであってもよい。携帯端末２００は、作業員が携帯する通信端末であり、具体例としてスマートフォン又はタブレット端末である。作業員は、具体例として、設備において作業する人又はロボットである。作業員はデータ取得者に当たる。作業員の作業は、具体例として設備を構成する機器の点検である。
気圧センサ２１０は、気圧を計測するセンサである。
加速度センサ２２０は、携帯端末２００の各方向における加速度を計測するセンサである。
角速度センサ２３０は、携帯端末２００の角速度を計測するセンサである。
復元用データ取得センサ２４０は、復元用データを取得するセンサであり、具体例としてカメラ又は距離センサである。
ＵＩ２５０は、携帯端末２００が備える画面に表示される画像を示す情報である。

設備機器３００は、設備が備える各機器であり、制御信号３１０と、センサ信号３２０とを取得する。
制御信号３１０は、設備機器３００が備える各機器を制御する信号である。
センサ信号３２０は、設備機器３００が備える各センサが取得した信号である。

データ取得装置４００は、携帯端末２００及び設備機器３００の各々からデータを取得し、設備機器３００から取得したデータを設備機器データＤＢ４１０に格納し、携帯端末２００から取得したデータのうち携帯端末２００が備える各センサ（復元用データ取得センサ２４０を除く）が取得したデータをセンサデータＤＢ４２０に格納し、携帯端末２００から取得したデータのうち復元用データ取得センサ２４０が取得したデータを復元用データＤＢ４３０に格納する。

復元用データＤＢ１９０は、メタデータが付与された復元用データを格納するＤＢである。メタデータは、各部位及び各部位の状態を示すデータである。なお、復元用データには、復元用データを取得した日時における復元用データが示す部位の状態を示すメタデータが付与される。
図２は、復元用データがエレベーターの各部位を示す場合におけるメタデータの具体例を示している。図２に示すように、メタデータは、復元用データが示す各部位と、復元用データが取得された日時における各部位の状態とを示す。なお、復元用データは複数の部位を示すデータであってもよい。

設備機器データＤＢ４１０は、設備機器データを格納するＤＢである。
センサデータＤＢ４２０は、センサデータを格納するＤＢである。
復元用データＤＢ４３０は、復元用データを格納するＤＢである。

図３は、本実施の形態に係る情報処理装置１００のハードウェア構成例を示している。情報処理装置１００はコンピュータから成る。情報処理装置１００は複数のコンピュータから成ってもよい。三次元復元システム９０が備える各装置のハードウェア構成例は、情報処理装置１００のハードウェア構成例と同じであってもよい。

情報処理装置１００は、本図に示すように、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、入出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１４と、通信装置１５等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１９を介して適宜接続されている。

プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
情報処理装置１００は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサはプロセッサ１１の役割を分担する。

メモリ１２は、典型的には揮発性の記憶装置であり、具体例としてＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。メモリ１２は、主記憶装置又はメインメモリとも呼ばれる。メモリ１２に記憶されたデータは、必要に応じて補助記憶装置１３に保存される。

補助記憶装置１３は、典型的には不揮発性の記憶装置であり、具体例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はフラッシュメモリである。補助記憶装置１３に記憶されたデータは、必要に応じてメモリ１２にロードされる。
メモリ１２及び補助記憶装置１３は一体的に構成されていてもよい。

入出力ＩＦ１４は、入力装置及び出力装置が接続されるポートである。入出力ＩＦ１４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。

通信装置１５は、レシーバ及びトランスミッタである。通信装置１５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

情報処理装置１００の各部は、他の装置等と通信する際に、入出力ＩＦ１４及び通信装置１５を適宜用いてもよい。

補助記憶装置１３は三次元復元プログラムを記憶している。三次元復元プログラムは、情報処理装置１００が備える各部の機能をコンピュータに実現させるプログラムである。三次元復元プログラムは、メモリ１２にロードされて、プロセッサ１１によって実行される。情報処理装置１００が備える各部の機能は、ソフトウェアにより実現される。

三次元復元プログラムを実行する際に用いられるデータと、三次元復元プログラムを実行することによって得られるデータ等は、記憶装置に適宜記憶される。情報処理装置１００の各部は記憶装置を適宜利用する。記憶装置は、具体例として、メモリ１２と、補助記憶装置１３と、プロセッサ１１内のレジスタと、プロセッサ１１内のキャッシュメモリとの少なくとも１つから成る。なお、データと情報とは同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。
メモリ１２及び補助記憶装置１３の機能は、他の記憶装置によって実現されてもよい。

三次元復元プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。三次元復元プログラムは、プログラムプロダクトとして提供されてもよい。

＊＊＊動作の説明＊＊＊
三次元復元システム９０の動作手順は三次元復元方法に相当する。三次元復元方法は、三次元復元システム９０が備える各装置が実行する方法の総称でもある。また、三次元復元システム９０の動作を実現するプログラムは三次元復元プログラムに相当する。三次元復元プログラムは、三次元復元システム９０が備える各装置が実行するプログラムの総称でもある。

図４は、データ取得装置４００の動作の一例を示すフローチャートである。図４を参照してデータ取得装置４００の動作を説明する。

（ステップＳ１０１）
作業員が携帯端末２００を操作することによって、データの取得を開始する指示を示す情報がデータ取得装置４００に入力される。
なお、作業員は、携帯端末２００を操作することによって、復元用データ取得センサ２４０に、作業対象である部位を示すデータを取得させる。この際、具体例として、作業員は携帯端末２００を用いて作業対象である部位を撮影する。

（ステップＳ１０２）
データ取得装置４００は、設備機器データとセンサデータと復元用データとの各々の取得を開始する。

（ステップＳ１０３）
データ取得装置４００は、取得したデータを各ＤＢに適宜格納する。この際、データ取得装置４００は、取得したデータを適宜変換し、変換したデータを各ＤＢに格納してもよい。

（ステップＳ１０４）
データ取得装置４００は、データの取得についての終了条件を満たすか判定する。終了条件を満たす場合、データ取得装置４００はステップＳ１０５に進む。それ以外の場合、データ取得装置４００はステップＳ１０２に進む。
終了条件は、具体例として、作業員が携帯端末２００を操作することによってデータの取得を終了する指示がデータ取得装置４００に入力されること、指定された取得時間がデータの取得を開始してから経過したこと、又は、データ取得装置４００が取得したデータの量が指定された上限に達したことである。

（ステップＳ１０５）
データ取得装置４００はデータの取得を終了する。

図５は、情報処理装置１００がメタデータを生成する処理の一例を示すフローチャートである。図５を参照して当該処理を説明する。

（ステップＳ１２１）
まず、作業推定部１１０は、設備機器データＤＢ４１０に格納されている設備機器データと、センサデータＤＢ４２０に格納されているセンサデータとを読み出す。
次に、作業推定部１１０は、時系列に、読み出したデータに基づいて作業員の作業を推定し、読み出したデータ及び推定した作業に基づいて、作業員の作業に対応する設備の部位と、当該部位の状態との各々を推定する。この際、作業推定部１１０は、読み出したデータに紐づいている日時を示す情報を用いて各日時における各部位の状態を推定する。
次に、作業推定部１１０は、部位及び当該部位の状態を推定した結果を示すデータをメタデータ生成部１２０に入力する。

図６は、本ステップの具体例を示している。本例において、作業推定部１１０は、設備機器データＤＢ４１０及びセンサデータＤＢ４２０からデータを取得し、取得したデータと、事前に構築された推定ロジックとを用いて、作業員の作業と、部位と、部位の状態とを推定する。具体的には、作業推定部１１０は、気圧を示すデータから「作業場所」を１階と推定し、ドア点検信号が「信号ＯＮ」を示すことから「作業内容」を「ドア点検」と推定し、推定した「作業場所」及び「作業内容」から「部位」を「１階ドア」と推定し、「部位」が「１階ドア」であること及び「ドア開閉信号」が「開」を示すことから「部位状態」を「ドア開」と推定する。なお、作業推定部１１０は機械学習手法を用いて各項目を推定してもよい。

（ステップＳ１２２）
メタデータ生成部１２０は、復元用データが取得された日時と、時系列に推定した結果とを適宜対応させ、復元用データに「部位」と「部位状態」との各々を示すメタデータを付与し、メタデータを付与した復元用データを復元用データＤＢ１９０に格納する。ここで、「部位状態」は、状態が変化し得る「部位」の状態を示す。具体例として、「部位」が可動部である場合に「部位状態」は「部位」の姿勢又は「部位」の形状等を示し、「部位」の光の色が変化する場合に「部位状態」は「部位」が何色であるかを示す。

図７は、情報処理装置１００が実行する三次元復元処理の一例を示すフローチャートである。図７を参照して当該処理を説明する。

（ステップＳ１４１）
グルーピング部１３０は、復元用データＤＢ１９０からメタデータが付与された復元用データを読み出し、読み出した復元用データを、部位別及び部位の状態別にグルーピングする。グルーピング部１３０は、グルーピングした復元用データを三次元復元部１４０に入力する。

（ステップＳ１４２）
三次元復元部１４０は、グルーピング部１３０によって分類された復元用データを用い、部位別及び部位の状態別に三次元復元を実行し、三次元復元を実行した結果である三次元復元結果を示すデータを統合部１５０に入力する。

（ステップＳ１４３）
まず、統合部１５０は、設計データ１９１を用いて三次元復元を実行した結果を位置別に張り付けるためのフレームを生成する。
次に、統合部１５０は、入力されたデータが示す三次元復元結果を、生成したフレームに統合する。この際、統合部１５０は、入力されたデータが示す各部位を、フレーム内の位置であって、各部位に対応する位置に、各部位の特徴に応じて各部位の向きを調整して張り付ける。統合部１５０は、具体例として、フレーム内において、乗場操作盤が実際に設置されている位置と同じ位置に、乗場操作盤の向きが実際の乗場操作盤の向きと同じになるように、入力されたデータが示す乗場操作盤をフレームに張り付ける。なお、統合部１５０は、あるフレームに統合する各部位に対応する状態をそろえる、即ち、あるフレームに統合した各２つの部位に対応する状態が互いに矛盾しないようにする。
統合部１５０は、フレームに三次元復元結果を統合した結果である統合結果を示すデータを復元結果出力部１６０に入力する。なお、統合部１５０は、状態毎にフレームを用意し、状態毎に統合結果を生成してもよい。

図８は、具体例を用いて本ステップを説明する図である。
まず、統合部１５０は、設備に対応する設計データ１９１に基づいてフレームを生成する。本例において、生成されたフレームは３階建ての建物を示す。
次に、統合部１５０は生成したフレームに三次元復元結果を統合する。本例において、統合部１５０は、「３階乗場押し釦」という部位を示すメタデータによってグルーピングされた復元用データを用いて三次元復元を実行した結果をフレームの３階部分に適宜統合する。また、統合部１５０は、「１階乗場押し釦」という部位を示すメタデータによってグルーピングされた復元用データを用いて三次元復元を実行した結果をフレームの１階部分に適宜統合する。

（ステップＳ１４４）
復元結果出力部１６０は、統合結果を示すデータを出力する。
なお、復元結果出力部１６０は、部位の状態別に統合結果を出力してもよい。具体例として、復元結果出力部１６０は、エレベーターの乗場ドアが開状態である場合における復元結果と、乗場ドアが閉状態である場合における復元結果とを個別に出力してもよい。この際、ユーザーインタフェースを用いることによって部位状態別に出力された三次元復元結果を切り替えることができてもよい。

＊＊＊実施の形態１の効果の説明＊＊＊
以上のように、本実施の形態によれば、復元用データに部位及び部位状態を示すメタデータが付与されている。そのため、本実施の形態によれば、ある設備に互いに類似する特徴を持つ複数の部位が存在する場合であっても各部位を区別することができ、また、互いに異なる状態を示すデータが三次元復元結果にノイズとして取り込まれることを防ぐことができる。
また、先行技術によれば、大型の設備機器において、互いに隣接していない領域において取得された複数の復元用データを用いて三次元復元を実行する場合に各復元用データの位置関係をどのようにすべきか判断することができない。具体例として、部位Ａを示す復元用データと部位Ｂを示す復元用データとが分断された状態で取得された場合に、復元時に部位Ａと部位Ｂとの位置関係をどのようにすべきかを判断することができない。しかしながら、本実施の形態によれば、各部位の復元結果をフレームに統合するため、分断された状態で取得された複数の復元用データを用いた場合であっても三次元復元を実行することができる。
また、本実施の形態によれば、設備機器の三次元復元結果を各部位の状態別に提示することができる。

＊＊＊他の構成＊＊＊
＜変形例１＞
図９は、本実施の形態に係る三次元復元システム９０の構成例を示している。本図に示すように、三次元復元システム９０は点検計画ＤＢ４４０をさらに備える。
点検計画ＤＢ４４０は、点検計画データを格納するＤＢである。点検計画データは、作業員が設備を点検する計画を示すデータであり、機器に対する作業計画を示す情報を含み、具体例として、作業員が点検する機器と、作業員が機器を点検する日時とを示す。
作業推定部１１０は、設備機器データ及びセンサデータに加えて点検計画データを用いて、作業員の作業と、部位と、部位状態との各々を推定する。この際、作業推定部１１０は、機器に対する作業計画を示す情報を用いて対象期間内に作業員が機器に対して実施した作業を推定する。
本変形例によれば、作業推定部１１０が点検計画データも用いて各項目を推定するため、作業推定部１１０の推定精度がより高くなる。

＜変形例２＞
図１０は、本変形例に係る情報処理装置１００のハードウェア構成例を示している。
情報処理装置１００は、プロセッサ１１、プロセッサ１１とメモリ１２、プロセッサ１１と補助記憶装置１３、あるいはプロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、処理回路１８を備える。
処理回路１８は、情報処理装置１００が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであってもよく、また、メモリ１２に格納されるプログラムを実行するプロセッサであってもよい。

処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらの組み合わせである。
情報処理装置１００は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。

情報処理装置１００において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。

処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ１１とメモリ１２と補助記憶装置１３と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、情報処理装置１００の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
他の各装置についても、本変形例と同様の構成であってもよい。

実施の形態２．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図１１は、本実施の形態に係る三次元復元システム９０の構成例を示している。図１１に示すように、情報処理装置１００は特徴解析部１７０をさらに備える。
特徴解析部１７０は、復元用データＤＢ４３０から復元用データを受け取り、受け取った復元用データが示す特徴を解析する。また、特徴解析部１７０は、復元用データが示す特徴に基づいて、復元用データが示す部位と部位の状態とを推定する。特徴解析部１７０は、推定された作業と、復元用データの特徴との少なくとも一方を入力とし、入力に対応する部位と部位の状態とを推論する推論モデルを用いて、作業対象である機器の部位と、作業対象である機器の部位の状態とを推定してもよい。特徴解析部１７０は、推論モデルを生成してもよい。
メタデータ生成部１２０は、復元用データが示す特徴に基づいて推定された部位と部位の状態とに基づいてメタデータを生成する。

＊＊＊動作の説明＊＊＊
図１２は、情報処理装置１００がメタデータを生成する処理の一例を示すフローチャートである。図１２を参照して当該処理を説明する。

（ステップＳ３２１）
特徴解析部１７０は、復元用データの特徴を抽出し、抽出した特徴から、復元用データが示す部位及び部位状態を推定する。この際、特徴解析部１７０は機械学習によって生成された推論モデルを用いてもよい。
特徴解析部１７０は、部位及び部位状態を推定した結果を示すデータをメタデータ生成部１２０に入力する。

（ステップＳ１２２）
メタデータ生成部１２０は、作業推定部１１０が推定した結果と、特徴解析部１７０が推定した結果とを統合する。
その後、メタデータ生成部１２０は、前述の処理を実行する。

図１３は、情報処理装置１００がメタデータを生成する処理の一例を示すフローチャートである。図１３を参照して当該処理を説明する。

（ステップＳ３２２）
特徴解析部１７０は、復元用データの特徴を抽出し、作業推定部１１０が部位及び部位状態を推定した結果と、抽出した特徴とを入力として機械学習手法を用いることにより復元用データが示す部位及び部位状態の各々を推定する。
特徴解析部１７０は、部位及び部位状態の各々を推定した結果を示すデータをメタデータ生成部１２０に入力する。

＊＊＊実施の形態２の効果の説明＊＊＊
以上のように、本実施の形態によれば、復元用データが示す特徴を用いて部位及び部位状態を推定するため、メタデータが示す部位及び部位状態の精度が向上する。

＊＊＊他の実施の形態＊＊＊
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態は、実施の形態１から２で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャート等を用いて説明した手順は適宜変更されてもよい。

１１ プロセッサ、１２ メモリ、１３ 補助記憶装置、１４ 入出力ＩＦ、１５ 通信装置、１８ 処理回路、１９ 信号線、９０ 三次元復元システム、１００ 情報処理装置、１１０ 作業推定部、１２０ メタデータ生成部、１３０ グルーピング部、１４０ 三次元復元部、１５０ 統合部、１６０ 復元結果出力部、１７０ 特徴解析部、１９０ 復元用データＤＢ、１９１ 設計データ、１９２ 基準状態定義、２００ 携帯端末、２１０ 気圧センサ、２２０ 加速度センサ、２３０ 角速度センサ、２４０ 復元用データ取得センサ、２５０ ＵＩ、３００ 設備機器、３１０ 制御信号、３２０ センサ信号、４００ データ取得装置、４１０ 設備機器データＤＢ、４２０ センサデータＤＢ、４３０ 復元用データＤＢ、４４０ 点検計画ＤＢ。

Claims (7)

1. 機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理装置であって、
   対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定する作業推定部と、
   推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与するメタデータ生成部と、
   前記復元用データが示す特徴に基づいて前記部位と前記部位の状態とを推定する特徴解析部と
   を備え、
   前記メタデータ生成部は、前記復元用データが示す特徴に基づいて推定された部位と部位の状態とに基づいて前記メタデータを生成し、
   前記特徴解析部は、推定された作業と、前記復元用データの特徴との少なくとも一方を入力とし、前記入力に対応する部位と部位の状態とを推論する推論モデルを用いて、前記作業対象である前記機器の部位と、前記作業対象である前記機器の部位の状態とを推定する情報処理装置。
2. 機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理装置であって、
   対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定する作業推定部と、
   推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与するメタデータ生成部と
   を備える情報処理装置であって、
   前記メタデータ生成部は、複数の復元用データの各々に対してメタデータを付与し、
   前記情報処理装置は、さらに、
   前記複数の復元用データの各々に対応する部位及び部位の状態に応じて前記複数の復元用データをグルーピングするグルーピング部と、
   グルーピングされた復元用データを用いて三次元復元を実行する三次元復元部と
   を備える情報処理装置であって、
   前記三次元復元部は、前記三次元復元を実行した結果における各部位の見た目が、グルーピングされた復元用データに対して付与されたメタデータが示す各部位の状態に合うように前記三次元復元を実行する情報処理装置。
3. 前記作業推定部は、前記機器に対する作業計画を示す情報を用いて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定する請求項１又は２に記載の情報処理装置。
4. 前記情報処理装置は、さらに、
   前記機器を備える設備に対応するフレームを示すデータを生成し、生成したフレームを示すデータに、前記三次元復元を実行した結果を張り付ける統合部
   を備える請求項２に記載の情報処理装置。
5. 請求項１又は２に記載の情報処理装置と、
   前記端末と
   を備える三次元復元システム。
6. 機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理方法であって、
   コンピュータが、対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定し、
   前記コンピュータが、推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与し、
   前記コンピュータが、前記復元用データが示す特徴に基づいて前記部位と前記部位の状態とを推定し、
   前記コンピュータが、前記復元用データが示す特徴に基づいて推定された部位と部位の状態とに基づいて前記メタデータを生成し、
   前記コンピュータが、推定された作業と、前記復元用データの特徴との少なくとも一方を入力とし、前記入力に対応する部位と部位の状態とを推論する推論モデルを用いて、前記作業対象である前記機器の部位と、前記作業対象である前記機器の部位の状態とを推定する情報処理方法。
7. 機器の少なくとも一部を観測したデータに基づいて前記機器の少なくとも一部を三次元復元する情報処理方法であって、
   コンピュータが、対象期間内における前記機器の状態を示す設備機器データと、作業員が操作する端末が備えるセンサが前記対象期間内において取得したデータであるセンサデータとの少なくともいずれかに基づいて前記対象期間内に前記作業員が前記機器に対して実施した作業を推定し、作業を推定した結果に基づいて、前記対象期間内における前記作業員の作業対象である前記機器の部位と、前記部位の状態とを推定し、
   前記コンピュータが、推定された部位と、推定された部位の状態との各々を示すデータをメタデータとして生成し、前記部位を示すデータであって、前記端末が前記対象期間内に取得したデータであって、三次元復元処理を実行する際に用いられるデータである復元用データに、生成したメタデータを付与し、
   前記コンピュータが、複数の復元用データの各々に対してメタデータを付与し、
   前記コンピュータが、前記複数の復元用データの各々に対応する部位及び部位の状態に応じて前記複数の復元用データをグルーピングし、
   前記コンピュータが、グルーピングされた復元用データを用いて三次元復元を実行する情報処理方法であって、
   前記コンピュータは、前記三次元復元を実行した結果における各部位の見た目が、グルーピングされた復元用データに対して付与されたメタデータが示す各部位の状態に合うように前記三次元復元を実行する情報処理方法。

Images