JP2024079205A - 表示システム、表示方法およびプログラム - Google Patents

Abstract

【課題】３次元復元をベースとした空間情報活用において、データ整備や学習の手間を削減し、非専門的ユーザにとって使いやすい形態にする。
【解決手段】空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御手段と、前記３次元画像に対する操作を受け付ける受付手段と、前記受付手段で受け付けた前記操作を記憶する記憶手段と、前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習手段と、新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論手段と、を備え、前記３次元表示制御手段は、出力された前記データを前記表示部に表示させる。
【選択図】図２

Description

本発明は、表示システム、表示方法およびプログラムに関する。

近年、主に建設の現場において、レーザスキャナやＬｉＤＡＲ等により実空間である３次元空間の３次元情報を取得し、デジタル空間に復元する所謂「３次元復元」が盛んに行われている。近年、このような３次元復元結果の活用は、単なる測量用途のみならず、３次元復元結果に対して様々な情報を紐づけることによって、建設の現場以外にも広がっている。具体的には、３次元復元結果に対して、位置情報とともに各種属性情報や写真などを紐づけることにより、データベースとしての使い勝手を向上させるサービスはすでに知られている。

特許文献１には、深度情報からなる点群データから３次元モデルデータと照合する照合用オブジェクトを抽出し、３次元モデルデータと照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を、機械学習を用いて特定する技術が開示されている。そして、特許文献１には、３次元モデルデータにおけるオブジェクト一致箇所の情報と点群データの深度情報とに基づいて建造物内における対象の位置を特定する技術が開示されている。

しかしながら、従来技術によれば、３次元情報の取得後のデータ整備に専門性と手間がかかるのがボトルネックであったため、３次元復元はごく一部の専門的用途にとどまっており、それは同時に非専門的なユーザを遠ざける遠因ともなっていた。具体的には、現場担当者は、現状と既存の幾何的差異だけでなく意味的つながりを把握したり、数量を数えたり、資料にまとめる、といったようなデータ整備や学習の手間をかけた「他人に現状を伝える業務」をせねばならず、その観点においては効率化の手段が整っていなかった。

本発明は、上記に鑑みてなされたものであって、３次元復元をベースとした空間情報活用において、データ整備や学習の手間を削減し、非専門的ユーザにとって使いやすい形態にすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御手段と、前記３次元画像に対する操作を受け付ける受付手段と、前記受付手段で受け付けた前記操作を記憶する記憶手段と、前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習手段と、新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論手段と、を備え、前記３次元表示制御手段は、出力された前記データを前記表示部に表示させる、ことを特徴とする。

本発明によれば、３次元復元をベースとした空間情報活用において、データ整備や学習の手間を削減し、非専門的ユーザにとって使いやすい形態にすることができる、という効果を奏する。

図１は、実施の形態にかかる表示システムの一例を示すブロック図である。 図２は、制御部が有する各種機能について示す機能ブロック図である。 図３は、バウンディングボックス処理にかかる実施例を示す機能ブロック図である。 図４は、バウンディングボックス処理にかかる表示例を示す図である。 図５は、自動モデル化処理にかかる実施例を示す機能ブロック図である。 図６は、自動モデル化処理にかかる表示例を示す図である。 図７は、搬入可否判断処理にかかる実施例を示す機能ブロック図である。 図８は、搬入可否判断処理にかかる表示例を示す図である。 図９は、自動ファミリ処理にかかる実施例を示す機能ブロック図である。 図１０は、自動カウント処理にかかる実施例を示す機能ブロック図である。 図１１は、自動カウント処理にかかる表示例を示す図である。 図１２は、自動ツアー処理にかかる実施例を示す機能ブロック図である。 図１３は、自動ツアー処理にかかる表示例を示す図である。 図１４は、自動計測処理にかかる実施例を示す機能ブロック図である。 図１５は、自動計測処理にかかる表示例を示す図である。 図１６は、テキスト処理にかかる実施例を示す機能ブロック図である。 図１７は、自動モデル化処理にかかる表示例を示す図である。

以下に添付図面を参照して、表示システム、表示方法およびプログラムの実施の形態を詳細に説明する。

図１は、実施の形態にかかる表示システム１の一例を示すブロック図である。

図１に示すように、表示システム１は、情報処理装置１０と、センシング装置１１と、を備える。情報処理装置１０とセンシング装置１１とは、通信可能に接続されている。

センシング装置１１は、実空間である３次元空間の３次元情報（画像および深度情報）を得る装置である。センシング装置１１は、例えば、通常の光学カメラ、全天球カメラ、レーザスキャナ、ＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）方式のカメラ、ステレオカメラ、などである。ＴｏＦ方式は、赤外線を計測対象物に照射し、その反射光が戻ってくるまでの時間から距離を求める方式である。ステレオカメラは、２台のカメラの間隔と、２台のカメラの各々で得られた画像の視差情報と、を用いて、奥行情報を距離情報として得るカメラである。センシング装置１１は、例えば、車両、ドローン等に搭載される。

なお、センシング装置１１は、３次元情報（画像および深度情報）を得る装置であればよく、ＬｉＤＡＲ（Light Detection and Ranging）、フォトグラメトリを利用したシステム、等であってもよい。また、センシング装置１１は、レーザスキャナやＬｉＤＡＲ等を搭載したスマートフォンであってもよい。

３次元情報は、実空間である３次元空間を表す情報である。３次元情報のファイル形式は限定されない。３次元情報（画像および深度情報）は、例えば、実空間に含まれる３次元オブジェクトの３次元形状を表す形状データ等によって表される。３次元情報（画像および深度情報）は、例えば、３次元空間を離散的な点で表現した点群形式のファイル、３次元空間を頂点と面により表現したポリゴンメッシュ形式のファイル等である。点群形式のファイルは、デプスマップ、距離画像、等と称される場合がある。

点群形式のファイルには、例えば、「．ｘｙｚ」、「．ｅ５７」、「．ｐｌｙ」などの拡張子で表されるファイル等が挙げられる。ポリゴンメッシュ形式のファイルには、例えば、「．ｏｂｊ」、「．ｆｂｘ」、「．ｓｔｌ」などの拡張子で表されるファイル等が挙げられる。

センシング装置１１は、得られた３次元情報（画像および深度情報）を情報処理装置１０へ出力する。

情報処理装置１０は、３次元情報（画像および深度情報）によって表される３次元空間を仮想カメラの仮想視点から視認した、２次元画像を表示する情報処理装置である。情報処理装置１０は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、等である。

情報処理装置１０は、通信部１２と、受付手段として機能するＵＩ（User Interface）部１４と、記憶手段として機能する記憶部１６と、制御部２０と、を備える。通信部１２と、ＵＩ部１４、および記憶部１６と、制御部２０とは通信可能に接続されている。

通信部１２は、ネットワークなどを介して外部の情報処理装置と通信する。本実施形態では、通信部１２は、センシング装置１１と通信する。

ＵＩ部１４は、表示部１４Ａと、入力部１４Ｂと、を含む。表示部１４Ａは、各種の情報を表示するディスプレイである。入力部１４Ｂは、ユーザによる操作指示を受付ける。入力部１４Ｂは、例えば、キーボード、ポインティングデバイス、マウス、などである。表示部１４Ａおよび入力部１４Ｂは、一体的に構成されたタッチパネルであってもよい。記憶部１６は、各種の情報を記憶する。

制御部２０は、情報処理を実行する。制御部２０には、プログラムが予めインストールされている。

次に、制御部２０が有する各種機能について説明する。図２は、制御部２０が有する各種機能について示す機能ブロック図である。

本実施形態では、制御部２０は、信号処理手段２１と、３次元表示制御手段である３Ｄビューワ２２と、履歴データ収集手段２３と、学習手段２４と、推論手段２５と、を有する。

信号処理手段２１、３Ｄビューワ２２、履歴データ収集手段２３、学習手段２４、推論手段２５、は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

信号処理手段２１は、センシング装置１１によって取得された３次元情報（画像および深度情報）を、３Ｄビューワ２２で閲覧可能な３次元復元結果とする。本実施形態では、信号処理手段２１は、通信部１２を介してセンシング装置１１から３次元情報（画像および深度情報）を取得する。なお、信号処理手段２１は、通信部１２およびネットワーク等を介して情報処理装置１０に通信可能に接続された他の情報処理装置から３次元情報（画像および深度情報）を取得してもよい。他の情報処理装置は、例えば、３次元情報（画像および深度情報）を取得可能なスマートフォンなどであるが、スマートフォンに限定されない。また、信号処理手段２１は、記憶部１６から３次元情報を取得してもよい。

信号処理手段２１が取得する３次元情報（画像および深度情報）は、モノクロの情報、および、色情報を含むカラーの情報、の何れであってもよい。情報処理装置１０では、３次元情報としてカラーの情報を用い該３次元情報（画像および深度情報）を２次元画像に変換して表示することで、ユーザに対してより視覚的に分かりやすい２次元画像を提供することができる。

信号処理手段２１は、取得した３次元情報（画像および深度情報）を３Ｄビューワ２２へ出力する。なお、信号処理手段２１は、センシング装置１１から取得した３次元情報（画像および深度情報）を任意のファイル形式に変換した後に、３Ｄビューワ２２へ出力してもよい。例えば、信号処理手段２１は、特開２０１９－０４９５３３号公報に開示されている方法を用いて、点群形式のファイルをポリゴンメッシュ形式のファイルに変換し、変換後の３次元情報（画像および深度情報）を３Ｄビューワ２２へ出力してもよい。また、このファイル形式の変換処理は、３Ｄビューワ２２で行ってもよい。

なお、信号処理手段２１は、互いに離れた場所で撮った異種データの位置合わせ（レジストレーション・キャリブレーション）、ノイズ除去、メッシュ化・テクスチャマッピング、リトポロジーなどの処理を行ってもよい。

３Ｄビューワ２２は、利用者Ａによる入力部１４Ｂの操作指示を受け付ける。また、３Ｄビューワ２２は、３次元的に配備されたデータに対して視点の変更、ウォークスルー、没入などによるデータ視認が可能にする表示手段である。３Ｄビューワ２２は、スマートフォン、タブレット端末、ＰＣ（Personal Computer）上で動作し、タッチ・マウスドラッグなどに応じて連続的に視覚刺激が応答する形態や、またはＶＲデバイス（ヘッドマウントディスプレイ）のように、没入型の形態をとることもできる。

利用者Ａは、３Ｄビューワ２２を介して現場の３次元復元結果を閲覧し、取得した空間を把握する。その際、利用者Ａは、閲覧目的によって、３Ｄビューワ２２を様々に操作する。操作とは、３次元復元結果内の視点遷移、対象へのクローズアップ／ダウン、コメントの付与、別の利用者への申し送り、採寸、別のデータベースとの紐づけ、属性情報の付与、および既存情報の編集などがある。

履歴データ収集手段２３は、上記操作の履歴をデータとして抽出し、利用者Ａの３次元復元空間における履歴データとして、記憶部１６またはネットワークなどを介して接続されたクラウド上などに蓄積する。

学習手段２４は、利用者Ａのみならず、多数のステークホルダー（利用者）から収集した履歴データを入力、また操作結果を教師とし、機械学習によってモデルを生成する。機械学習の形態は様々に存在するが、画像、深度、自然言語など多くのデータを取り扱った学習となるため、深層学習（ディープラーニング）に立脚したモデルが好ましい。

推論手段２５は、利用者Ｂの閲覧行動や入力に応じて、学習手段２４で生成したモデルに基づく特定のメタデータを、３Ｄビューワ２２に出力する。メタデータとは、本実施形態では既存の３次元復元データではなく、３次元復元データと当該３次元復元データに対する利用履歴データとの関連から新たに見出されたデータを指す。利用者Ｂは、３Ｄビューワ２２上への重畳などで視覚的に把握しやすい形でメタデータを認知する。また同時に、利用者Ｂの履歴データも、履歴データ収集手段２３によって再び収集されていく。

続いて、情報処理装置１０における各種の実施例について説明する。

［実施例１］
ここで、図３はバウンディングボックス処理にかかる実施例を示す機能ブロック図である。図３に示す例は、バウンディングボックス処理にかかる実施例を示すものである。バウンディングボックス（Bounding Box）とは、外部領域に対して興味対象の物体領域を、最小の長方形で囲って境界で区切る部分領域の矩形のことを言う。

実施例１においては、利用者が、３Ｄビューワ２２の操作によって３次元復元結果の一部を選択し、バウンディングボックスを付与することを前提とする。

学習手段２４は、３Ｄビューワ２２の操作によって利用者が付与したバウンディングボックスが指し示す３次元復元結果の部分集合（物体）を学習する。

推論手段２５は、新たに３Ｄビューワ２２に表示される３次元復元結果において、バウンディングボックスが付与されるような部分集合（物体）を推論する。

より詳細には、図３に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、バウンディングボックス処理部２５１を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者がバウンディングボックスを付与した物体を認識する学習処理を実行する。種別分類処理部２４１は、認識した物体を識別する物体分類情報を、バウンディングボックス処理部２５１に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者がバウンディングボックスを付与した物体の物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状をバウンディングボックス処理部２５１に出力する。

バウンディングボックス処理部２５１は、種別分類処理部２４１で学習した物体分類情報および形状情報抽出部２４２で学習した物体形状に基づき、新たに３Ｄビューワ２２に表示される３次元復元結果について、バウンディングボックスが付与されるような部分集合（物体）を推論する。

図４は、バウンディングボックス処理にかかる表示例を示す図である。図４に示す例は、室内の部分集合（物体）がバウンディングボックスＡで予め囲まれている様子を示している。

このようにバウンディングボックスが付与されるような部分集合（物体）を推論して新たに３Ｄビューワ２２に表示することにより、利用者がバウンディングボックスを付与および参照しようとする際に、自動的に部分集合（物体）が選択され、情報伝達がしやすくなる。

なお、実施例１においては、３Ｄビューワ２２の操作によって利用者がバウンディングボックスを付与する例について説明したが、これに限るものではなく、コメント、マークなどの各種の付与物であってもよい。

［実施例２］
ここで、図５は自動モデル化処理にかかる実施例を示す機能ブロック図である。図５に示す例は、自動モデル化処理にかかる実施例を示すものである。

実施例２においては、利用者が、３Ｄビューワ２２の操作によって３次元復元結果の一部を選択し、トレースして新たな３次元モデルを作成することを前提とする。３次元モデルとは、３次元の立体として作られたモデルデータのことである。

学習手段２４は、新たな３次元モデルを教師とし、３次元復元結果の部分集合（物体）との関連性を学習する。

推論手段２５は、利用者が選択した部分集合（物体）から生成される３次元モデルを推論する。

より詳細には、図５に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、簡易モデル生成処理部２５２を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルを認識する学習処理を実行する。種別分類処理部２４１は、認識した３次元モデルを識別する物体分類情報を、簡易モデル生成処理部２５２に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルの物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状を簡易モデル生成処理部２５２に出力する。

簡易モデル生成処理部２５２は、種別分類処理部２４１で学習した物体分類情報および形状情報抽出部２４２で学習した物体形状に基づき、新たに３Ｄビューワ２２に表示される３次元復元結果について、部分集合（物体）を３次元モデルに変換する。

図６は、自動モデル化処理にかかる表示例を示す図である。図６に示す例は、室内の部分集合（物体）が３次元モデルＢに変換されている様子を示している。

このように利用者が新たに作成する３次元モデルを推論して新たに３Ｄビューワ２２に表示することにより、例えば室内の部分集合（物体）が３次元モデルで代替され、利用者によって３次元復元空間内で３次元モデルを移動・編集可能とする。こうすることで、例えば、室内の部分集合（物体）を自由に移動させることによって、物体の搬入検討、新規設計に活用することができる。

［実施例３］
ここで、図７は搬入可否判断処理にかかる実施例を示す機能ブロック図である。図７に示す例は、搬入可否判断処理にかかる実施例を示すものである。

実施例３においては、利用者が、３次元モデルを３次元復元結果に投入し、搬入可否を検討することを前提とする。３次元モデルとは、３次元の立体として作られたモデルデータのことである。

学習手段２４は、３次元モデルを入力とし、３次元復元結果内の搬入出のボトルネック（突起物や段差など）を教師とし、代替した３次元モデルと既存の３次元復元結果に対する搬入可否結果とを学習する。

推論手段２５は、３次元モデルから搬入出時のリスク箇所（干渉、衝突の可能性が高い領域）を推論する。または、推論手段２５は、搬入可能範囲をマッピングして推論する。

より詳細には、図７に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、簡易モデル生成処理部２５２と、搬入可能領域算出部２５３と、を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者が３次元復元結果に投入した３次元モデルを認識する学習処理を実行する。種別分類処理部２４１は、認識した３次元モデルを識別する物体分類情報を、簡易モデル生成処理部２５２に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者が３次元復元結果に投入した３次元モデルの物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状を簡易モデル生成処理部２５２に出力する。

簡易モデル生成処理部２５２は、種別分類処理部２４１で学習した物体分類情報および形状情報抽出部２４２で学習した物体形状に基づき、新たに３Ｄビューワ２２に表示される３次元復元結果について、部分集合（物体）を３次元モデルに変換する。

搬入可能領域算出部２５３は、簡易モデル生成処理部２５２によって変換された３次元モデルの搬入出時のリスク箇所（干渉、衝突の可能性が高い領域）を推論し、または、搬入可能範囲をマッピングして推論し、３次元モデルの搬入可能領域を算出する。

図８は、搬入可否判断処理にかかる表示例を示す図である。図８に示す例は、室内の部分集合（物体）が３次元モデルに変換されているとともに、３次元モデルの搬入可能領域Ｃを示している。

このように利用者が３次元復元結果に投入した３次元モデルを推論して新たに３Ｄビューワ２２に表示するとともに、３次元モデルの搬入可能領域を示すことにより、例えば推論手段２５による支援を受けながら搬入経路計画を半自動で立て、ステークホルダーへ伝えることができる。

なお、派生する実施例として、搬入可否のみならず、安全性の確認結果などを学習することによって、３次元復元結果から事故リスクをメタデータとして出力させ、現場安全管理活動の自動化や効率化に利用することもできる。

［実施例４］
ここで、図９は自動ファミリ処理にかかる実施例を示す機能ブロック図である。図９に示す例は、自動ファミリ処理にかかる実施例を示すものである。

実施例４においては、利用者が、３次元復元結果の部分集合（物体）を選択し、属性情報（例えば、製造元、製造年など）を付与することを前提とする。より詳細には、利用者は、例えば「機械」を新たなモデルとして３次元復元空間内に配置し、属性情報を入力する。

学習手段２４は、選択された３次元復元結果内の部分集合（物体）を入力とし、選択された部分集合（物体）に付与された属性情報と既存の構造化データとの関係を教師として学習する。

推論手段２５は、選択された３次元復元結果内の部分集合（物体）に対して、既存の構造化データ構造において付与される属性を推論する。

より詳細には、図９に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、簡易モデル生成処理部２５２と、関係性推論部２５４と、を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者が３次元復元結果に投入した３次元モデルを認識する学習処理を実行する。種別分類処理部２４１は、認識した３次元モデルを識別する物体分類情報を、簡易モデル生成処理部２５２に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者が３次元復元結果に投入した３次元モデルの物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状を簡易モデル生成処理部２５２に出力する。

簡易モデル生成処理部２５２は、種別分類処理部２４１で学習した物体分類情報および形状情報抽出部２４２で学習した物体形状に基づき、新たに３Ｄビューワ２２に表示される３次元復元結果について、部分集合（物体）を３次元モデルに変換する。

関係性推論部２５４は、幾何学的形状と入力された属性情報とから、新たなモデル（例えば、機械など）として３次元復元空間内に配置されて簡易モデル生成処理部２５２によって変換された３次元モデルと既存の他の部材との関係性を推論する。

関係性推論部２５４は、既存カテゴリおよび他の対象との関係値を含む属性情報を出力する。

このように既存カテゴリおよび他の対象との関係値を含む属性情報を新たに３Ｄビューワ２２に表示することにより、３次元復元空間内でのデータ更新が既存の構造化データ構造との関係性も含んだ形で行われるため、利用者は、空間のリニューアル時にデータベースも同時更新が可能になる。そのため、その他の３次元－ＣＡＤやＢＩＭツールにおいてもファミリ構造を保存したまま活用できるようになる。

［実施例５］
ここで、図１０は自動カウント処理にかかる実施例を示す機能ブロック図である。図１０に示す例は、自動カウント処理にかかる実施例を示すものである。

実施例５においては、利用者が、３Ｄビューワ２２の操作によって３次元復元結果の部分集合（物体）を選択し、含まれる物体の数を数えることを前提とする。

学習手段２４は、３次元復元結果内の部分集合（物体）を入力とし、利用者が与えた物体の数を教師として学習する。

推論手段２５は、選択された３次元復元結果内の部分集合（物体）に対して、物品の数量を推論する。

より詳細には、図１０に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、簡易モデル生成処理部２５２と、対象カウント部２５５と、を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルを認識する学習処理を実行する。種別分類処理部２４１は、認識した３次元モデルを識別する物体分類情報を、簡易モデル生成処理部２５２に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルの物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状を簡易モデル生成処理部２５２に出力する。

簡易モデル生成処理部２５２は、種別分類処理部２４１で学習した物体分類情報および形状情報抽出部２４２で学習した物体形状に基づき、新たに３Ｄビューワ２２に表示される３次元復元結果について、部分集合（物体）を３次元モデルに変換する。

対象カウント部２５５は、選択された３次元復元結果内の部分集合（物体）に対して、物品の数量を推論する。

図１１は、自動カウント処理にかかる表示例を示す図である。図１１に示す例は、選択した室内の部分集合（物体）内の対象分布と対象の数とを示している。

本実施例は、数量のみならず、面積・体積など幾何数量的な値の抽出にも応用することができる。また、数える物体の種別も同時に学習することにより、部分集合に含まれる複数物品のそれぞれの数量を推論するという機能も付与することができる。さらに、物体の名前（自然言語）との関連性を同時に学習することにより、例えば「脚立」というテキストの入力に対して「３」と回答する推論を行うこともできる。

［実施例６］
ここで、図１２は自動ツアー処理にかかる実施例を示す機能ブロック図である。図１２に示す例は、自動ツアー処理にかかる実施例を示すものである。

実施例６においては、利用者が、３次元復元結果内の視点遷移、対象へのクローズアップ／ダウン、コメントの付与、別の利用者への申し送り、採寸、別のデータベースとの紐づけ、属性情報の付与、および既存情報の編集などを行ったのち、複数の着目箇所をステークホルダーへ伝えることを前提とする。

学習手段２４は、３次元復元結果を入力とし、上記行動履歴の蓄積である「着目点の系列」を教師としその関連性を学習する。「着目点の系列」とは、３次元復元結果内の視点位置、画角、付与された情報、そしてそれらの時系列順序などである。

推論手段２５は、新たな３次元復元結果が入力されると、「着目点の系列候補」を推論する。

より詳細には、図１２に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、着目箇所推論部２５６と、ツアー順序生成部２５７と、を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルを認識する学習処理を実行する。種別分類処理部２４１は、認識した３次元モデルを識別する物体分類情報を、簡易モデル生成処理部２５２に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルの物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状を着目箇所推論部２５６に出力する。

着目箇所推論部２５６は、新たな３次元復元結果が入力されると、「着目点の系列候補」である着目箇所候補を推論する。

ツアー順序生成部２５７は、着目箇所推論部２５６が推論した着目箇所候補に基づいた巡回ルート候補を提示する。

図１３は、自動ツアー処理にかかる表示例を示す図である。図１３に示す例は、機械室を巡回視察する例を表している。他の場所の従来の巡回履歴がすでに学習されており、推論手段２５がその学習に基づいた巡回ルート候補を提示する。利用者はそれに基づき３次元復元結果内を巡回し、点検・調査・コメント付与など行っていく。利用者が巡回時に残した行動履歴は再び蓄積され、「巡回時のノウハウや暗黙知」として学習手段２４に学習される。

なお、学習手段２４は、利用者の属性も併せて学習してもよい。その学習モデルは、３次元復元結果と着目点の系列のみならず、利用者属性や目的も反映した推論を行うこともできる。

また、推論手段２５は、推論した着目点の系列を、以後のユーザインタラクションにより微小な編集を可能にする機能を付与し、利用者の望むフォーマットでドキュメント出力する機能を付与するようにしてもよい。

［実施例７］
ここで、図１４は自動計測処理にかかる実施例を示す機能ブロック図である。図１４に示す例は、自動モデル化処理にかかる実施例を示すものである。

実施例７においては、利用者は、リニューアル工事前の現場において、新設物や足場を持ち込む際に空きスペースを把握するために、３次元復元結果に採寸結果を付与していくことを前提とする。

学習手段２４は、「計測された箇所」を教師として３次元復元結果との関連性を学習していく。「計測された箇所」は、３次元復元結果内から抽出される２以上の点がなす線，面，立体として定義される。

推論手段２５は、利用者が調査対象に視点を向けた際、あるいは３Ｄビューワ２２上でのマウスホバーなどを契機とし、「その対象回りにおける計測されるべき箇所」を推論し、提案する。

より詳細には、図１４に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、簡易モデル生成処理部２５２と、計測箇所推論部２５８と、を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルを認識する学習処理を実行する。種別分類処理部２４１は、認識した３次元モデルを識別する物体分類情報を、簡易モデル生成処理部２５２に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルの物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状を簡易モデル生成処理部２５２に出力する。

簡易モデル生成処理部２５２は、種別分類処理部２４１で学習した物体分類情報および形状情報抽出部２４２で学習した物体形状に基づき、新たに３Ｄビューワ２２に表示される３次元復元結果について、部分集合（物体）を３次元モデルに変換する。

計測箇所推論部２５８は、利用者が調査対象に視点を向けた際、あるいは３Ｄビューワ２２上でのマウスホバーなどを契機とし、「その対象回りにおける計測されるべき箇所」を推論し、提案する。

利用者は、推論手段２５が３Ｄビューワ２２に映し出した計測箇所候補を選択あるいは承諾するアクションによって、自身が計測した結果として３次元復元結果内に計測結果を残す。

図１５は、自動計測処理にかかる表示例を示す図である。図１５に示す例は、似たような現場における計測を学習した推論手段２５が、新たな３次元復元結果内に計測候補Ｄを提示している例である。特に設備が配置された天井付近は、円柱、角柱が垂直交差するケースが多く、計測する際もその円柱角柱に沿った形で行われることが多い。調査者の経験が浅い場合、最短時間で調査の要点を抑えた計測が難しいケースがあるが、本発明の推論手段２５の支援により、現場の要点を適切に持ち帰ることができる。

なお、学習手段２４は、利用者の属性も併せて学習してもよい。その学習モデルは、３次元復元結果と計測箇所のみならず、利用者属性や目的も反映した計測支援を行うことができる。また、学習手段２４は、計測結果をそのまま特定フォーマットの資料に変換するうえでの元データとして用いることもできる。

［実施例８］
ここで、図１６はテキスト処理にかかる実施例を示す機能ブロック図である。図１６に示す例は、テキスト処理にかかる実施例を示すものである。

実施例８においては、利用者は、それぞれ属性情報のついた３次元復元結果について自然言語コメントを付与することを前提とする。

学習手段２４は、利用者が付与した自然言語コメントの蓄積により、３次元復元結果とそれに対応した自然言語との関連性を学習する。

推論手段２５は、利用者が入力した自然言語や、質問に対して、３次元復元結果へのマッピングや、自然言語、リスト形式等で回答する。

より詳細には、図１６に示すように、学習手段２４は、種別分類処理部２４１と、形状情報抽出部２４２と、を有する。推論手段２５は、簡易モデル生成処理部２５２と、テキスト推論部２５９と、を有する。

種別分類処理部２４１は、機械学習において、画像をいくつかのオブジェクトに分割するタスクであるセグメンテーションを実行する。種別分類処理部２４１は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルを認識する学習処理を実行する。種別分類処理部２４１は、認識した３次元モデルを識別する物体分類情報を、簡易モデル生成処理部２５２に出力する。

形状情報抽出部２４２は、３次元復元結果としての３次元点の集合に対して立方体／円筒／楕円などの単純な幾何学的形状（プリミティブ形状）をフィッティングするプリミティブ形状フィッティングを実行する。形状情報抽出部２４２は、３Ｄビューワ２２の操作によって利用者が新たに作成した３次元モデルの物体形状を、プリミティブ形状フィッティングの実行に従って検出する学習処理を実行する。形状情報抽出部２４２は、検出した物体形状を簡易モデル生成処理部２５２に出力する。

簡易モデル生成処理部２５２は、種別分類処理部２４１で学習した物体分類情報および形状情報抽出部２４２で学習した物体形状に基づき、新たに３Ｄビューワ２２に表示される３次元復元結果について、部分集合（物体）を３次元モデルに変換する。

テキスト推論部２５９は、利用者が入力した自然言語や、質問に対して、３次元復元結果へのマッピングや、自然言語、リスト形式等で回答する。

図１７は、自動モデル化処理にかかる表示例を示す図である。図１７に示す例は、利用者が入力した自然言語に対して自然言語および３次元復元結果上のマッピングによって推論手段２５が回答した例である。具体的には、「電源はどこにあるか」という自然言語の名称に対して、適合する３次元復元の部分集合Ｅを推論手段２５が指し示した例である。

なお、同じく推論手段２５の働きにより、さらに新たな自然言語「２０２２」を追記した際に、「２０２２年製の電源」を示す３次元復元の部分集合Ｅがポップアウトするようにしてもよい。本実施例の機能によって、利用者は「空間」と「言語」を連携させた形で現況の３次元復元結果を「経験」することができるため、空間に対してより深い理解ができる。

このように本実施形態によれば、３次元復元結果と、当該３次元復元結果を閲覧するユーザの属性およびユーザの行動の関連と、を学習することで、ユーザの３次元復元結果を扱う意図を推定することができる。このようにユーザの操作を学習することでユーザカスタマイズが自律的に進むシステムを提供することで、３次元復元をベースとした空間情報活用において、データ整備や学習の手間を削減し、非専門的ユーザにとって使いやすい形態にすることができる。すなわち、３次元復元された現場において、閲覧・情報抽出・情報付与を行う際、熟練者による暗黙知（「経験や勘、直感などに基づく知識」）に即した支援をうけることができるようになる。

上記実施形態の上記実施形態の情報処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disc Recordable）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、上記実施形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態の情報処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

なお、上記には、本発明の実施形態および変形例を説明したが、上記実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

１ 表示システム
１４ 受付手段
１６ 記憶手段
２２ ３次元表示制御手段
２４ 学習手段
２５ 推論手段

特許第７１１３６１１号公報

Claims (11)

1. 空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御手段と、
   前記３次元画像に対する操作を受け付ける受付手段と、
   前記受付手段で受け付けた前記操作を記憶する記憶手段と、
   前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習手段と、
   新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論手段と、
   を備え、
   前記３次元表示制御手段は、出力された前記データを前記表示部に表示させる、
   ことを特徴とする表示システム。
2. 前記学習手段は、前記３次元表示制御手段の操作によって利用者が付与したバウンディングボックスが指し示す３次元復元結果の部分集合を学習し、
   前記推論手段は、新たに前記３次元表示制御手段に表示される３次元復元結果において、バウンディングボックスが付与されるような部分集合を推論する、
   ことを特徴とする請求項１に記載の表示システム。
3. 前記学習手段は、新たな３次元モデルを教師とし、３次元復元結果の部分集合との関連性を学習し、
   前記推論手段は、利用者が選択した部分集合から生成される３次元モデルを推論する、
   ことを特徴とする請求項１に記載の表示システム。
4. 前記学習手段は、３次元モデルを入力とし、３次元復元結果内の搬入出のボトルネックを教師とし、代替した３次元モデルと既存の３次元復元結果に対する搬入可否結果とを学習し、
   前記推論手段は、３次元モデルから搬入出時のリスク箇所を推論し、または、搬入可能範囲をマッピングして推論する、
   ことを特徴とする請求項１に記載の表示システム。
5. 前記学習手段は、選択された３次元復元結果内の部分集合を入力とし、選択された部分集合に付与された属性情報と既存の構造化データとの関係を教師として学習し、
   前記推論手段は、選択された３次元復元結果内の部分集合に対して、既存の構造化データ構造において付与される属性を推論する、
   ことを特徴とする請求項１に記載の表示システム。
6. 前記学習手段は、３次元復元結果内の部分集合を入力とし、利用者が与えた物体の数を教師として学習し、
   前記推論手段は、選択された３次元復元結果内の部分集合に対して、物品の数量を推論する、
   ことを特徴とする請求項１に記載の表示システム。
7. 前記学習手段は、３次元復元結果を入力とし、行動履歴の蓄積であって３次元復元結果内の視点位置、画角、付与された情報、そしてそれらの時系列順序などである着目点の系列を教師としその関連性を学習し、
   前記推論手段は、新たな３次元復元結果が入力されると、着目点の系列候補を推論する、
   ことを特徴とする請求項１に記載の表示システム。
8. 前記学習手段は、３次元復元結果内から抽出される２以上の点がなす線、面、立体として定義される計測された箇所を教師として３次元復元結果との関連性を学習し、
   前記推論手段は、利用者が調査対象に視点を向けた際、あるいは前記３次元表示制御手段での操作を契機とし、計測されるべき箇所を推論する、
   ことを特徴とする請求項１に記載の表示システム。
9. 前記学習手段は、利用者が付与した自然言語コメントの蓄積により、３次元復元結果と当該３次元復元結果に対応した自然言語との関連性を学習し、
   前記推論手段は、利用者が入力した自然言語に対して、３次元復元結果へのマッピング、自然言語、リスト形式の何れかにより回答する、
   ことを特徴とする請求項１に記載の表示システム。
10. ３次元表示制御手段が、空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御工程と、
    受付手段が、前記３次元画像に対する操作を受け付ける受付工程と、
    記憶手段が、前記受付手段で受け付けた前記操作を記憶する記憶工程と、
    学習手段が、前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習工程と、
    推論手段が、新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論工程と、
    を含み、
    前記３次元表示制御工程は、出力された前記データを前記表示部に表示させる、
    ことを特徴とする表示システム。
11. コンピュータを、
    空間の色情報および深度情報の少なくとも一方を含む３次元画像を表示部に表示させる３次元表示制御手段と、
    前記３次元画像に対する操作を受け付ける受付手段と、
    前記受付手段で受け付けた前記操作を記憶する記憶手段と、
    前記記憶手段で記憶された前記操作の履歴を蓄積し学習する学習手段と、
    新たに前記受付手段で受け付けた操作と前記学習手段での学習結果とに基づき、新たなデータを出力する推論手段と、
    として機能させるものであって、
    前記３次元表示制御手段は、出力された前記データを前記表示部に表示させる、
    ことを特徴とするプログラム。

Images