(第一の実施形態)
以下に図面を参照して第一の実施形態について説明する。図1は、第一の実施形態における点群データの差分の検知について説明する図である。
本実施形態では、例えば、大規模な構造物1に対する点検等の際に、この構造物1を複数の方向から撮影した画像データから生成した三次元の点群データを用いて、過去のある時点から現在までの構造物の状態の変化を検知する。
本実施形態において、大規模な構造物1とは、例えば、人が全体を目視することができないような、大型の構造物である。具体的には、例えば、大規模な構造物1とは、直径が70m程度のタンク等であっても良い。
本実施形態では、例えば、1回目の点検において、遠隔操作が可能な無人航空機2に搭載した撮像装置3によって、構造物1を複数の方向から撮影して複数の画像を取得し、複数の画像から三次元の点群データ4を生成する。そして、2回目の点検において、再び、構造物1を複数の方向から撮像した複数の画像を取得し、複数の画像から三次元の点群データ5を生成する。このとき、点群データ4と点群データ5は、構造物1の同じ箇所を示すものとする。
本実施形態では、点群データ4に含まれる点の色を示す色情報と、点群データ5に含まれる点の色を示す色情報とを比較する。そして、本実施形態では、両者の差分が閾値以上となった箇所については、新たに取得した点群データ5において、差分が閾値以上となった箇所の色を変えて表示させる。
つまり、本実施形態では、構造物1において、色が変化した箇所について、色を変えて表示させる。色が変化するということは、例えば、塗装が剥げる、錆びが発生する、ゴミが付着する、等の状況によるものと推定できる。本実施形態では、これらの状況を、構造物1の状態の変化と見なし、点検作業者等に提示する。
図1では、点群データ5Aを、比較の結果を反映させた例としている。点群データ5Aは、領域6と領域7の色が変更されていることがわかる。したがって、本実施形態では、領域6と領域7において、点群データ4に含まれる点の色情報と、点群データ5に含まれる点の色情報との差分が閾値以上となったことがわかる。
言い換えれば、構造物1では、領域6、領域7が示す箇所の状態が、1回目に構造物1を撮影したときから2回目に構造物1を撮影したときまでの間に変化したことがわかる。したがって、本実施形態では、領域6と領域7を、点検及び補修の対象とすることができる。
このように、本実施形態によれば、構造物1の複数の画像を用いて生成した三次元の点群データに補修や点検の対象となる変化を、色情報(数値)として検知することができる。したがって、本実施形態によれば、点群データ間の差分を適切に検知することができる。また、本実施形態では、大規模な構造物における点検作業の安全性を向上させ、さらに、点検作業にかかるコストを削減することができる。
以下に、上述した点群データの比較を行う差分検知装置について説明する。図2は、第一の実施形態の差分検知システムのシステム構成の一例を示す図である。
本実施形態の差分検知システム100は、差分検知装置200と、端末装置300と、を有する。差分検知システム100において、差分検知装置200と、端末装置300とは、ネットワークを介して接続されている。
本実施形態の差分検知システム100において、端末装置300は、撮像装置3によって撮像された画像の画像データを取得し、差分検知装置200へ送信しても良い。差分検知装置200は、端末装置300から画像データを取得すると、画像データから点群データを生成し、過去の点群データとの比較を行う。
本実施形態の差分検知装置200は、点群データベース210、ボクセル情報データベース220、チェック用データベース230、差分検知処理部240を有する。
本実施形態の点群データベース210は、基準用点群データ211と、比較用点群データ212とが格納される。
基準用点群データ211とは、基準とされる時点における構造物1の複数の画像データから生成された三次元の点群データであり、予め与えられるものである。比較用点群データ212は、構造物1の点検のために撮像された構造物1の複数の画像データから生成された三次元の点群データである。比較用点群データ212は、基準用点群データ211と比較される。
本実施形態のボクセル情報データベース220は、基準用点群データ211と比較用点群データ212のそれぞれを、所定の領域に分割するための情報が格納される。具体的には、ボクセル情報データベース220には、基準用点群データ211、比較用点群データ212のそれぞれにおける所定の領域を示す情報が格納される。
本実施形態のチェック用データベース230は、基準チェック用データ231と、比較チェック用データ232と、が格納されている。
基準チェック用データ231は、基準用点群データ211と比較用点群データ212との比較のために、基準チェック用データ231から生成されるチェック用データである。比較チェック用データ232は、基準用点群データ211と比較用点群データ212との比較のために、比較用点群データ212から生成されるチェック用データである。
本実施形態の差分検知処理部240は、点群データベース210、ボクセル情報データベース220を参照して、基準用点群データ211と比較用点群データ212から、基準チェック用データ231と比較チェック用データ232を生成する。そして、差分検知処理部240は、基準チェック用データ231と比較チェック用データ232とを比較することで、点検を行うときの構造物1の状態と、基準とされる時点における構造物1の状態との差分を検知する。
以下に、本実施形態の差分検知装置200について説明する。
次に、本実施形態の差分検知装置200について説明する。図3は、差分検知装置のハードウェア構成の一例を示す図である。
本実施形態の差分検知装置200は、それぞれバスBで相互に接続されている入力装置21、出力装置22、ドライブ装置23、補助記憶装置24、メモリ装置25、演算処理装置26及びインターフェース装置27を含む情報処理装置である。
入力装置21は、各種の情報の入力を行うための装置であり、例えばキーボードやポインティングデバイス等により実現される。出力装置22は、各種の情報の出力を行うためものであり、例えばディスプレイ等により実現される。インターフェース装置27は、LANカード等を含み、ネットワークに接続する為に用いられる。
差分検知プログラムは、差分検知装置200を制御する各種プログラムの少なくとも一部である。差分検知プログラムは例えば記憶媒体28の配布やネットワークからのダウンロード等によって提供される。差分検知プログラムを記録した記憶媒体28は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記憶媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記憶媒体を用いることができる。
また、差分検知プログラムは、差分検知プログラムを記録した記憶媒体28がドライブ装置23にセットされると、記憶媒体28からドライブ装置23を介して補助記憶装置24にインストールされる。ネットワークからダウンロードされた差分検知プログラムは、インターフェース装置27を介して補助記憶装置24にインストールされる。
補助記憶装置24は、インストールされた差分検知プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置25は、差分検知装置200の起動時に補助記憶装置24から差分検知プログラムを読み出して格納する。そして、演算処理装置26はメモリ装置25に格納された差分検知プログラムに従って、後述するような各種処理を実現している。
次に、図4及び図5を参照して、本実施形態の差分検知装置200の有するボクセル情報データベース220とチェック用データベース230について説明する。
図4は、第一の実施形態のボクセル情報データベースの一例を示す図である。本実施形態のボクセル情報データベース220は、情報の項目として、ボクセルID、X基準座標、Y基準座標、Z基準座標、辺の長さ(X方向)、辺の長さ(Y方向)、辺の長さ(Z方向)を有する。ボクセル情報データベース220では、項目「ボクセルID」と、その他の項目とが対応付けられている。以下の説明では、項目「ボクセルID」の値と、その他の項目の値と、を含む情報をボクセル情報と呼ぶ。
項目「ボクセルID」の値は、基準用点群データ211と比較用点群データ212のそれぞれから分割された所定の良識を特定するための識別子を示す。項目「X基準座標」、「Y基準座標」、「Z基準座標」のそれぞれの値は、所定の領域の位置を特定するための基準となるX軸座標の値、Y軸座標の値、Z軸座標の値を示す。
項目「辺の長さ(X方向)」、「辺の長さ(Y方向)」、「辺の長さ(Z方向)」のそれぞれの値は、X基準座標からX軸方向への辺の長さ、Y基準座標からY軸方向への辺の長さ、Z基準座標からZ軸方向への辺の長さを示す。
本実施形態では、こられの情報から、基準用点群データ211と比較用点群データ212のそれぞれにおける所定の領域を示す直方体が特定される。尚、本実施形態のボクセル情報は、基準用点群データ211と比較用点群データ212のそれぞれにおいて、共通して参照される。
つまり、本実施形態では、例えば、基準用点群データ211におけるボクセルID「1」のボクセルは、比較用点群データ212におけるボクセルID「1」のボクセルと対応する位置にあるボクセルとなる。
本実施形態では、例えば、項目「辺の長さ(X方向)」、「辺の長さ(Y方向)」、「辺の長さ(Z方向)」のそれぞれの値を10cmとした場合には、基準用点群データ211、比較用点群データ212を一辺が10cmの立方体毎に分割することができる。以下の説明では、ボクセル情報によって定義される所定の領域を、ボクセルと呼ぶ。
尚、本実施形態では、ボクセル情報は、ボクセルID毎にボクセル情報データベース220に格納されるものとしたが、ボクセル情報の管理の仕方はこれに限定されない。
図5は、第一の実施形態のチェック用データベースの一例を示す図である。本実施形態のチェック用データベース230は、情報の項目として、ボクセルID、RGB平均値、RGB最大値、RGB最小値を有し、項目「ボクセルID」と、その他の項目とが対応付けられている。以下の説明では、項目「ボクセルID」の値と、その他の項目の値と、を含む情報をチェック用データと呼ぶ。
項目「RGB平均値」の値は、対応するボクセルIDによって特定されるボクセル内に存在する点群のRGB値(R値、G値、B値)の平均値を示す。項目「RGB最大値」の値は、対応するボクセルIDによって特定されるボクセル内に存在する点群のRGB値(R値、G値、B値)の最大値を示す。項目「RGB最小値」の値は、対応するボクセルIDによって特定されるボクセル内に存在する点群のRGB値(R値、G値、B値)の最小値を示す。
本実施形態では、点群のRGB値(R値、G値、B値)の平均値を、色情報としても良い。また、色情報には、点群のRGB値の最大値、点群のRGB値の最小値が含まれても良い。また、色情報には、ボクセル内の各点のRGB値が含まれても良い。
尚、本実施形態のチェック用データベース230では、情報の項目として、項目「RGB最大値」、「RGB最小値」を有するものとしたが、これに限定されない。本実施形態のチェック用データベース230は、情報の項目として、ボクセルIDとRGB平均値を有していれば良い。
本実施形態のチェック用データベース230では、基準チェック用データ231と比較チェック用データ232とが格納されているが、図5では、チェック用データの一例として、比較チェック用データ232を示している。本実施形態において、比較チェック用データ232が有する情報の項目は、基準チェック用データ231と同様であるから、基準チェック用データ231の説明は省略する。
また、本実施形態では、比較チェック用データ232は、比較チェック用データ232の元となる構造物1の画像を撮像した日時毎に格納されていても良い。また、本実施形態では、比較チェック用データ232は、比較チェック用データ232の元となるサービス情報取得部312を特定する情報と対応付けられていても良い。比較用点群データ212を特定する情報とは、例えば、比較用点群データ212のファイル名等である。
図5に示す比較チェック用データ232−1は、2017年○月×日に撮影された構造物1の画像から生成された比較用点群データ212が元となっていることがわかる。
本実施形態では、このように、構造物1の画像が撮影された日時毎の比較チェック用データ232を保持しておけば、前回の点検のときの構造物1の状態と、今回の点検のときの構造物1の状態とを比較することができる。
尚、チェック用データベース230では、基準チェック用データ231も、基準とされる時点の日時と対応付けられていても良い。
次に、図6を参照して、本実施形態の差分検知処理部240の機能について説明する。図6は、第一の実施形態の差分検知処理部の機能を説明する図である。
本実施形態の差分検知処理部240は、差分検知装置200の演算処理装置26がメモリ装置25等に格納された差分検知プログラムを読み出して実行することで実現される。
本実施形態の差分検知処理部240は、入力受付部241、点群データ生成部242、ボクセル情報生成部243、点群分類部244、チェック用データ生成部245、設定値記憶部246、差分判定部247、色変換部248、出力部249を有する。
入力受付部241は、差分検知装置200に対する各種の入力を受け付ける。具体的には、入力受付部241は、端末装置300から差分検知装置200に送信された画像データの入力を受け付ける。また、入力受付部241は、差分検知装置200に対する各種の操作指示を受け付ける。
点群データ生成部242は、端末装置300から送信された構造物1の複数の画像データに基づき、構造物1の三次元の点群データを生成する。尚、本実施形態では、構造物1の複数の画像データを端末装置300から取得して点群データを生成するものとしたが、これに限定されない。本実施形態では、端末装置300から、構造物1の三次元の点群データを取得しても良い。
ボクセル情報生成部243は、点群データを入力として、三次元空間上の最大エクステントを求め、指定された分割長にしたがって、点群データを所定の領域に分割するためのボクセル情報を生成し、ボクセル情報データベース220に格納する。
点群分類部244は、基準用点群データ211、比較用点群データ212のそれぞれについて、ボクセル情報データベース220に格納されたボクセル情報にしたがって、各点をボクセル毎に分類する。例えば、ボクセルID「1」のボクセル情報で特定される領域内にある点群は、点群分類部244によって、ボクセルID「1」の点群に分類される。
チェック用データ生成部245は、ボクセル毎に分類された基準用点群データ211から、基準チェック用データ231を生成する。具体的には、チェック用データ生成部245は、基準用点群データ211について、ボクセル毎に、各ボクセルに分類された点群のRGB値の平均値と、最大値と、最小値とを取得し、ボクセルIDと対応付けて基準チェック用データ231とする。基準チェック用データ231と比較チェック用データ232は、チェック用データベース230に格納される。
つまり、本実施形態のボクセル情報生成部243、点群分類部244、チェック用データ生成部245は、基準用点群データ211、比較用点群データ212におけるボクセル毎の色情報を特定する特定部の機能を果たす。
チェック用データ生成部245は、比較用点群データ212についても、基準用点群データ211と同様の処理を行って、比較チェック用データ232を生成する。
設定値記憶部246は、予め設定された閾値が格納される。閾値は、差分判定部247による差分の有無の判定の際に参照される。
差分判定部247は、基準チェック用データ231と比較チェック用データ232において、同一のボクセルIDと対応付けられたRGB平均値を比較し、差分が閾値以上のボクセルが存在するか否かを判定する。
色変換部248は、差分判定部247によって、比較用点群データ212において、差分が閾値以上と判定されたボクセル内の全ての点の色(RGB値)を赤色に設定する。尚、本実施形態では、差分が閾値以上のボクセルの点の色を赤色に変換するものとしたが、これに限定されない。
出力部249は、色変換部248によって、差分が閾値以上であったボクセルの点の色が変換された後の比較用点群データ212によって表される構造物1の三次元モデルを出力する。具体的には、出力部249は、端末装置300に、三次元モデルを表示させる画面の画面データを生成し、端末装置300に、画面データを送信しても良い。また、本実施形態の出力部249は、例えば、端末装置300に三次元モデルを表示させる機能が備わっている場合には、差分が閾値以上であったボクセルの点の色が変換された後の比較用点群データ212を、端末装置300に送信しても良い。
次に、図7を参照して、本実施形態の差分検知処理部240の処理について説明する。図7は、第一の実施形態の差分検知処理部の処理を説明する第一のフローチャートである。尚、図7では、差分検知処理部240は、比較用点群データ212の元となる構造物1の複数の画像データを取得し、点群データ生成部242によって比較用点群データ212が生成されていることを前提としている。
本実施形態の差分検知処理部240は、入力受付部241により、構造物1において、状態が変化した箇所の表示指示を受け付けたか否かを判定する(ステップS701)。ステップS701において、表示指示を受け付けていない場合、差分検知処理部240は、表示指示を受け付けるまで待機する。尚、本実施形態では、比較用点群データ212の元となる画像データの入力をもって、構造物1における状態が変化した箇所の表示指示としても良い。この場合、差分検知処理部240は、入力受付部241が画像データの入力を受け付けると、点群データ生成部242により比較用点群データ212を生成し、後述するステップS702へ進む。
ステップS701において、表示指示を受け付けると、差分検知処理部240は、ボクセル情報生成部243により、チェック用データベース230を参照して、過去の比較チェック用データ232が存在するか否かを判定する(ステップS702)。
ステップS702において、チェック用データベース230に過去の比較チェック用データ232が存在する場合、差分検知処理部240は、後述するステップS715へ進む。
ステップS702において、チェック用データベース230に過去の比較チェック用データ232が存在しない場合、差分検知処理部240は、ボクセル情報生成部243により、ボクセル情報を生成し、ボクセル情報データベース220に格納する(ステップS703)。
続いて、差分検知処理部240は、点群分類部244により、基準用点群データ211に含まれる各点を、ボクセル情報にしたがって、各ボクセルに分類する(ステップS704)。続いて、差分検知処理部240は、チェック用データ生成部245により、ボクセル内の点のRGB値の平均値を算出し、ボクセルIDと対応付けた基準チェック用データ231とし、チェック用データベース230へ格納する(ステップS705)。尚、このとき、基準チェック用データ231には、ボクセル内の点のRGB値の最大値と最小値が含まれても良い。
続いて、差分検知処理部240は、全てのボクセルについて、ステップS705の処理を行ったか否かを判定する(ステップS706)。ステップS706において、全てのボクセルについて処理を行っていない場合、差分検知処理部240は、ステップS705へ戻る。
ステップS706において、全てのボクセルについて処理を行った場合、差分検知処理部240は、点群分類部244により、比較用点群データ212に含まれる各点を、ボクセル情報にしたがって、各ボクセルに分類する(ステップS707)。続いて、差分検知処理部240は、チェック用データ生成部245により、ボクセル内の点のRGB値の平均値を算出し、ボクセルIDと対応付けた選択アプリ受付部323とし、チェック用データベース230へ格納する(ステップS708)。尚、このとき、比較チェック用データ232には、ボクセル内の点のRGB値の最大値と最小値が含まれても良い。
続いて、差分検知処理部240は、全てのボクセルについて、ステップS708の処理を行ったか否かを判定する(ステップS709)。ステップS709において、全てのボクセルについて処理を行っていない場合、差分検知処理部240は、ステップS708へ戻る。
ステップS706において、全てのボクセルについて処理を行った場合、差分検知処理部240は、差分判定部247により、ボクセル毎に、ボクセルIDが一致する基準チェック用データ231と比較チェック用データ232について、両者のRGB値の平均値とを比較する(ステップS710)。
具体的には、例えば、差分判定部247は、ボクセルID「1」の基準チェック用データ231に含まれるRGB値の平均値と、ボクセルID「1」の比較チェック用データ232に含まれるRGB値の平均値と、を比較する。差分判定部247は、この比較を、全てのボクセルIDについて行う。
続いて、差分検知処理部240は、差分判定部247により、RGB値の平均値の差分が設定値記憶部246に記憶された閾値以上であったボクセルが存在したか否かを判定する(ステップS711)。
ステップS711において、該当するボクセルが存在しない場合、差分検知処理部240は、出力部249により、比較用点群データ212より表される構造物1の三次元モデルを端末装置300に表示させるための画面データを生成して出力し(ステップS712)、処理を終了する。
ステップS711において、該当するボクセルが存在する場合、差分検知処理部240は、色変換部248より、比較用点群データ212において、該当するボクセルに含まれる全ての点のRGB値を赤色に設定する(ステップS713)。
尚、本実施形態において、RGB値の平均値の差分が閾値以上となるボクセルとは、構造物1において、基準となる時点から、基準用点群データ211の元となる画像が撮影された時までの間に、色が変化した領域を示している。
続いて、差分検知処理部240は、出力部249により、色が赤色とされた後の比較用点群データ212により表される構造物1の三次元モデルを端末装置300に表示させるための画面データを生成して出力し(ステップS714)、処理を終了する。
次に、ステップS702において、過去の比較チェック用データ232が存在する場合について説明する。
本実施形態では、過去の比較チェック用データ232が存在する場合には、最新の比較チェック用データ232を比較対象とする。
ステップS702において、過去の比較チェック用データ232が存在する場合、差分検知処理部240は、点群分類部244により、ボクセル情報データベース220を参照し、新たに生成された比較用点群データ212に含まれる各点をボクセル毎に分類する(ステップS715)。
ステップS716、ステップS717の処理は、ステップS708とステップS709の処理と同様であるから、説明を省略する。
ステップS717に続いて、差分検知処理部240は、差分判定部247により、新たに生成した比較チェック用データ232と、過去の比較チェック用データ232とを比較する(ステップS718)。具体的には、差分判定部247は、ボクセルID毎に、新たに生成した比較チェック用データ232に含まれるRGB平均値と、過去の比較チェック用データ232に含まれるRGB平均値とを比較する。
差分検知処理部240は、差分判定部247により、全てのボクセルIDに対して比較が完了すると、ステップS711へ進む。
本実施形態では、このように、基準用点群データ211と比較用点群データ212とを、共通のボクセル情報にしたがって、ボクセルに分類し、ボクセル毎のRGB平均値の差分が閾値以上であるか否かを判定する。
そして、本実施形態では、RGB平均値の差分が閾値以上であるボクセルが示す所定の領域を、構造物1の状態に変化があった箇所として、該当するボクセルの点の色を赤色に変更する。このため、本実施形態では、構造物1の三次元モデルを表示させる際に、状態に変化があった箇所とされる領域を赤色で表示させることができる。
尚、本実施形態では、状態の変化があった箇所を赤色で表示させるものとしているが、色は赤色に限定されない。状態の変化があった箇所は、状態の変化がないとされた箇所と異なる色で表示されれば良い。状態の変化があった箇所の表示の詳細は後述する。
また、本実施形態では、基準用点群データ211と比較用点群データ212とをボクセル毎に分類する前に、基準用点群データ211と比較用点群データ212の位置合わせを行っても良い。この場合、差分検知処理部240は、基準用点群データ211と比較用点群データ212のそれぞれから直線的な形状を有する箇所を抽出し、基準用点群データ211と比較用点群データ212において、直線的な形状が一致する位置になるように、両者の位置を調整すれば良い。
また、本実施形態では、一度比較チェック用データ232が作成された後には、基準用点群データ211と、比較チェック用データ232の元となる過去の比較用点群データ212とを削除しても良い。本実施形態では、基準用点群データ211と比較用点群データ212を削除することで、過去の膨大な点群データを格納するための記憶領域が不要となり、差分検知装置200の記憶領域を有効に活用することができる。
次に、図8を参照して、状態の変化があった箇所の表示について説明する。図8は、第一の実施形態における状態の変化があった箇所の表示の例を示す第一の図である。
図8の画面81は、差分検知処理部240による処理の実行結果の一例として、端末装置300の表示部に表示された画面である。
画面81には、基準用点群データ211によって示される構造物1のモデル1Aと、差分が検知されたボクセルの点の色が変更された比較用点群データ212によって示される構造物1のモデル1Bとが表示されている。
また、本実施形態では、モデル1Aは、日付を示す情報82と対応付けられて表示されており、モデル1Bは、日付を示す情報83と対応付けられて表示されている。
情報82は、モデル1Aを示す基準用点群データ211の元となる画像データが取得された日時を示す。言い換えれば、情報82は、基準となる時点を示す情報である。
情報83は、モデル1Bを示す比較用点群データ212の元となる画像データが取得された日時を示す。言い換えれば、情報83は、点検が行われた日時を示す情報である。
画面81では、モデル1Bの領域84と領域85が、赤色で表示されている。したがって、画面81では、構造物1の領域84と領域85では、情報82が示す日付から、情報83が示す日付までの間に、何らかの理由によって、状態が変化したことを提示することができる。
また、本実施形態の差分検知処理部240では、例えば、モデル1Aにおいて、特定の座標が選択された場合、選択された座標を含むボクセルについてのみ、過去の状態から変化があったか否かを検知することができる。
尚、図8の例では、基準用点群データ211によって示される構造物1のモデル1Aと、差分が検知されたボクセルの点の色が変更された比較用点群データ212によって示される構造物1のモデル1Bの両方を一画面に表示させているが、これに限定されない。本実施形態では、状態の変化があった箇所として、モデル1Bのみを表示させても良い。また、本実施形態では、状態の変化がなかった場合、つまり、RGB値の平均値の差分が閾値以上となるボクセルが存在しなかった場合、差分検知処理部240の処理の結果として、モデル1Aのみを表示させても良い。
以下に、図9を参照して、ボクセル毎の状態の変化の検知の処理について説明する。図9は、第一の実施形態の差分検知処理部の処理を説明する第二のフローチャートである。
本実施形態の差分検知処理部240は、入力受付部241によって、座標の入力を受け付けたか否かを判定する(ステップS901)。具体的には、入力受付部241は、例えば、端末装置300に表示されたモデル1Aにおいて、ポインタ等によってある点が指定された場合等に、指定された点の座標の入力を受け付ける。
続いて、差分検知処理部240は、過去の比較チェック用データ232が存在するか否かを判定する(ステップS902)。ステップS902において、過去の比較チェック用データ232が存在する場合、後述するステップS913へ進む。
ステップS902において、過去の比較チェック用データ232が存在しない場合、ステップS903へ進む。ステップS903とステップS904の処理は、図7のステップS703とステップS704の処理と同様であるから、説明を省略する。
差分検知処理部240は、ステップS904に続いて、チェック用データ生成部245により、基準用点群データ211において、選択された座標を含むボクセルのRGB値の平均値を算出し、ボクセルIDと対応付けてチェック用データベース230に格納する(ステップS905)。
続いて、差分検知処理部240は、点群分類部244により、比較用点群データ212に含まれる各点を、ボクセル情報にしたがって、ボクセル毎に分類する(ステップS906)。続いて、差分検知処理部240は、チェック用データ生成部245により、基準用点群データ211において、選択された座標を含むボクセルのRGB値の平均値を算出し、ボクセルIDと対応付けてチェック用データベース230に格納する(ステップS907)。
続いて、差分検知処理部240は、差分判定部247により、2つのチェック用データ(基準チェック用データ231と比較チェック用データ232)を比較する(ステップS908)。
そして、差分判定部247は、基準チェック用データ231と比較チェック用データ232のそれぞれに含まれるRGB値の平均値の差分が閾値以上であるか否かを判定する(ステップS909)。
ステップS909において、差分が閾値以上でない場合、差分検知処理部240は、ステップS910へ進み、ステップS909において、差分が閾値以上である場合、差分検知処理部240は、ステップS911へ進む。
ステップS910〜ステップS912までの処理は、図7のステップS712からステップS713までの処理と同様であるから、説明を省略する。
ステップS902において、過去の比較チェック用データ232が存在する場合、差分検知処理部240は、ステップS913へ進む。ステップS913の処理は、図7のステップS715の処理と同様であるから説明を省略する。
続いて、差分検知処理部240は、チェック用データ生成部245により、ステップS913で分類されたボクセルのうち、選択された座標を含むボクセル内の点のRGB値の平均値を算出し、チェック用データベース230に格納する(ステップS914)。
続いて、差分検知処理部240は、差分判定部247により、過去の比較チェック用データ232のうち、選択された座標が含まれるボクセルの比較チェック用データ232と、ステップS914で生成した比較チェック用データ232とを比較し(ステップS915)、ステップS909へ進む。
このように、本実施形態では、モデル1Aにおいて、状態の変化を点検したい箇所を選択するだけで、選択された箇所を含む所定の領域の状態が変化したか否かを示す情報を提示することができる。
以下に、図10を参照して、座標が選択された場合の表示の例について説明する。図10は、第一の実施形態における状態の変化があった箇所の表示の例を示す第二の図である。
図10に示す画面81Aは、差分検知処理部240による処理の実行結果の一例として、端末装置300の表示部に表示された画面である。
画面81Aには、基準用点群データ211によって示される構造物1のモデル1Aと、モデル1Aにおいて選択された座標を含むボクセルの状態の変化を反映させた比較用点群データ212により示されるモデル1Cと、が表示されている。
図10の例では、画面81Aに表示されたモデル1Aに対し、ポインタPを合わせることで、座標が選択されている。そして、モデル1Cでは、選択された座標を含む所定の領域(ボクセル)の状態に変化があったため、選択された座標を含む所定の領域の色が赤色に表示されている。
このように、本実施形態によれば、所定の領域(ボクセル)毎にも、状態に変化があったか否かを示す情報を提示することができる。したがって、本実施形態によれば、例えば、点検を行う作業者は、図8に示すように、一度、構造物1全体の状態の変化を見た後に、気になる部分等を選択することで、再度、選択された座標の近辺に状態の変化があるか否かを確認することができる。
以上のように、本実施形態では、ある時点で構造物1を撮影した複数の画像の画像データから生成した三次元の点群データと、ある時点から時間が経過した後に構造物1を撮影した複数の画像の画像データから生成した三次元の点群データとを、所定の領域に分割する。そして、本実施形態では、所定の領域毎に、各領域に含まれる点群の色の平均値の差分が閾値以上である場合に、ある時点から時間が経過するうち、構造物1の状態に変化が生じているものと判定する。
したがって、本実施形態によれば、2つの点群データ間の差分を、数値として検知することができるため、点群データ間の差分を適切に検知することができる。
(第二の実施形態)
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態では、操作に応じて、比較用点群データ212における特定の色を含む所定の領域を検知する点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図11は、第二の実施形態の差分検知処理部の機能を説明する図である。本実施形態の差分検知処理部240Aは、入力受付部241、点群データ生成部242、ボクセル情報生成部243、点群分類部244、チェック用データ生成部245A、設定値記憶部246A、差分判定部247、色変換部248、出力部249、点検色検出部250を有する。
本実施形態の設定値記憶部246Aは、設定値として、RGB値の平均値の閾値と、点検色を示すRGB値とを記憶する。本実施形態の点検色は、差分検知装置200を用いた点検を行う点検作業者等によって、任意に設定されても良い。本実施形態の点検色とは、例えば、錆び色や、塗装が剥げた後の状態を示す色等であって良い。また、本実施形態の設定値記憶部246Aでは、複数の点検色を示すRGB値が設定されていても良い。
また、本実施形態では、点検色を示すRGB値として、R値、G値、B値毎に、所定範囲の値が設定されていても良い。したがって、本実施形態では、点検色として検出される色は、1つの色ではなく、R値、G値、B値のそれぞれが、値毎に決められた所定範囲に含まれる色となる。
本実施形態の点検色検出部250は、ボクセル毎に、点検色として設定されたRGB値の範囲に、RGB値が含まれる点が存在するか否かを判定する。そして、本実施形態の点検色検出部250は、ボクセル内に、点検色として設定されたRGB値の範囲に含まれる点が存在する場合に、このボクセルを、点検色が含まれる所定の領域として検出する。
尚、本実施形態の点検色検出部250は、例えば、ボクセル内に点検色とされる点が所定個数以上検出された場合に、このボクセルを点検色が検出された所定の領域としても良い。また、本実施形態の点検色検出部250は、ボクセルのRGB値の平均値が、点検色として設定されたRGB値の範囲に含まれる場合に、このボクセルを点検色が検出された所定の領域としても良い。さらに、本実施形態の点検色検出部250は、ボクセル内に点検色とされる点が30%以上存在する場合に、このボクセルを点検色が検出された所定の領域としても良い。言い換えれば、本実施形態の点検色検出部250は、ボクセル内に点検色とされる点が所定の割合以上存在する場合に、このボクセルを点検色が検出された所定の領域としても良い。
また、本実施形態のチェック用データ生成部245Aは、点検色検出部250により、点検色が含まれると判定されたボクセルには、後述するチェック用データベース230Aの比較チェック用データ232Aにおいて、対応するフラグを設定する。
次に、図12を参照して、チェック用データベース230Aについて説明する。図12は、第二の実施形態のチェック用データベースの一例を示す図である。
本実施形態の差分検知装置200は、チェック用データベース230Aを有する。チェック用データベース230Aには、基準チェック用データ231と、比較チェック用データ232Aとが格納される。
図12では、比較チェック用データ232Aを示している。尚、図12に示す比較チェック用データ232Aは、設定値記憶部246Aにおいて、点検色が3色設定されている場合を示している。
本実施形態の比較チェック用データ232Aは、情報の項目として、ボクセルID、RGB平均値、RGB最大値、RGB最小値、点検色フラグ1、点検色フラグ2、点検色フラグ3を有する。
項目「点検色フラグ1」の値は、ボクセルIDで特定されるボクセルに、点検色1が検出された場合に「0」から「1」が設定される。つまり、項目「点検色フラグ1」の値が「1」であった場合、対応するボクセルIDによって特定されるボクセルは、点検色1が検出された所定の領域とされる。
項目「点検色フラグ3」の値と、項目「点検色フラグ3」の値も、項目「点検色フラグ1」の値と同様である。
図12の例では、比較チェック用データ232A−1は、2017年○月×日に撮影された画像データを元とした比較用点群データ212から生成され、ボクセルID「1」のボクセルに、点検色1が検出されたことがわかる。
尚、図12の例では、設定値記憶部246Aに設定された点検色を3色としたが、これに限定されない。設定値記憶部246Aに設定される点検色は、1色でも良いし、4色以上であっても良い。
次に、図13を参照して、本実施形態の差分検知処理部240Aの処理について説明する。図13は、第二の実施形態の差分検知処理部の処理を説明するフローチャートである。
本実施形態の差分検知処理部240Aは、入力受付部241により、構造物1において、状態が変化した箇所の表示指示を受け付けたか否かを判定する(ステップS1301)。ステップS1301において、表示指示を受け付けていない場合、差分検知処理部240Aは、表示指示を受け付けるまで待機する。
ステップS1301において、表示指示を受け付けると、入力受付部241は、表示指示が、点検色の検出結果の表示指示であるか否かを判定する(ステップS1302)。
尚、本実施形態では、差分検知処理部240Aは、例えば、端末装置300において、状態の変化の表示指示として過去と現在(点検時)との比較結果の表示指示を行うボタンと、点検色の検出結果の表示指示を行うボタンと、を含む画面を表示させても良い。
そして、差分検知処理部240Aは、例えば、点検色の検出結果の表示指示を行うボタンに対する操作を受け付けた場合に、点検色の検出結果の表示指示を受け付けたものと判定しても良い。また、差分検知処理部240Aは、過去と現在との比較結果の表示指示を行うボタンに対する操作を受け付けた場合に、後述するステップS1314以降の処理を実行しても良い。
ステップS1302において、表示指示が、点検色の検出結果の表示指示がでない場合、差分検知処理部240Aは、後述するステップS1313へ進む。
ステップS1302において、表示指示が、点検色の検出結果の表示指示であった場合、差分検知処理部240Aは、チェック用データベース230Aに、過去の比較チェック用データ232Aが存在するか否かを判定する(ステップS1303)。ここでは、過去の比較チェック用データ232Aが存在しない場合とは、ボクセル情報データベース220が生成されていないことを示す。
よって、ステップS1303において、過去の比較チェック用データ232Aが存在しない場合、差分検知処理部240Aは、ステップS1304へ進む。ステップS1304からステップS1306までの処理は、図7のステップS703からステップS705までの処理と同様であるから、説明を省略する。
また、ステップS1303において、過去の比較チェック用データ232Aが存在する場合とは、ボクセル情報データベース220が生成されていることを示す。よって、ステップS1303において、過去の比較チェック用データ232Aが存在する場合、差分検知処理部240Aは、ステップS1312に進み、ステップS1312の後に、ステップS1306へ進む。ステップS1312の処理は、図7のステップS715の処理と同様であるから、説明を省略する。
ステップS1306に続いて、差分検知処理部240Aは、点検色検出部250により、設定値記憶部246Aを参照し、設定値記憶部246Aに設定された点検色がボクセル内で検出されたか否かを判定する(ステップS1307)。
ステップS1307において、点検色が検出されない場合、差分検知処理部240Aは、後述するステップS1309へ進む。
ステップS1307において、点検色が検出された場合、差分検知処理部240Aは、チェック用データ生成部245Aにより、このボクセルの比較チェック用データ232Aにおける、検出された点検色の点検色フラグの値を「1」に設定する(ステップS1308)。
続いて、差分検知処理部240Aは、全てのボクセルについて、処理を行ったか否かを判定する(ステップS1309)。ステップS1309において、全てのボクセルについて処理を行っていない場合、差分検知処理部240Aは、ステップS1306に戻る。
ステップS1309において、全てのボクセルについて処理を行った場合、差分検知処理部240Aは、点検色検出部250により、点検色が検出されたボクセルが存在するか否かを判定する(ステップS1310)。
具体的には、点検色検出部250は、チェック用データベース230Aを参照し、比較チェック用データ232Aの点検色フラグの値が「1」とされたボクセルが存在するか否かを判定する。
ステップS1310において、該当するボクセルが存在しない場合、差分検知処理部240Aは、後述するステップS1323へ進む。
ステップS1310において、該当するボクセルが存在する場合、差分検知処理部240Aは、色変換部248により、比較用点群データ212における該当するボクセル内の点の色を変更し(ステップS1311)、後述するステップS1325へ進む。
尚、このとき、色変換部248は、該当するボクセルの点のRGB値を、設定値記憶部246Aにおいて点検色を示す色として設定された所定範囲内のRGB値に設定しても良い。
ステップS1303において、表示指示が点検色の検出結果の表示指示がでない場合、差分検知処理部240Aは、ステップS1313へ進む。ステップS1313からステップS1329までの処理は、図7の702からステップS718までの処理と同様であるから、説明を省略する。
次に、図14を参照して、点検色が検出された結果の表示例について説明する。図14は、第二の実施形態における点検色が検出された箇所の表示の例を示す図である。
図14に示す画面81Bでは、モデル1Aと、モデル1Dとが表示されている。モデル1Dは、点検色が検出されたボクセル内の点の色を、全て点検色に変更した後の比較用点群データ212によって示される構造物1の三次元のモデルである。
図14に示す画面81Bでは、モデル1Dにおいて、点検色が検出された所定の領域(ボクセル)141、142の色が、点検色に変更された状態で表示されている。
したがって、本実施形態では、構造物1において、予め決められた点検色となった箇所を検出し、点検作業者等に提示することができる。
(第三の実施形態)
以下に図面を参照して、第三の実施形態について説明する。第三の実施形態は、構造物1の状態の変化として、過去と現在(点検時)との比較結果、点検色の検出結果の両方を表示させることを前提としている点が、第一及び第二の実施形態と相違する。以下の第三の実施形態の説明では、第一及び第二の実施形態との相違点についてのみ説明し、第一及び第二の実施形態と同様の機能構成を有するものには、第一及び第二の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
ここで、第三の実施形態の差分検知処理部240Bの説明に先立ち、本実施形態における着眼点について説明する。
以下の図15及び図16では、過去の点群データの元となる画像データが撮影されたときの環境と、点検時の点群データの元となる画像データが撮影されたときの環境の違いについて検討した結果を示している。
画像データが撮影されたときの環境とは、例えば、撮影された時間帯や、気象条件等の撮影条件を示す。同じ構造物1を同じ角度から撮影した画像データであっても、夕方撮像された画像データと、昼間に撮像された画像データとでは、その色彩が異なる。また、同じ構造物1を異なる日の同じ時刻に、同じ角度で撮影した画像データであっても、曇りの日に撮影した画像データと、晴れの日に撮影した画像データとでは、その色彩が異なる。
色彩が異なる画像データから生成した2つの点群データは、両者を比較した場合、実際は構造物1の状態が変化していなくても、ボクセル内の色のRGB値の平均値が閾値以上となる場合がある。
図15は、第三の実施形態の差分検知について説明する第一の図である。図15では、点検時の点群データから点検色が検出されない場合の差分検知について、示している。
図15(A)では、過去の点群データによって示されるモデル151−1と、点検時の点群データによって示されるモデル152−1と、比較結果を示すモデル153−1とを示している。
モデル151−1の元となる点群データは、例えば、基準用点群データ211であっても良いし、前回の点検時等に作成された比較用点群データ212であっても良い。モデル151−1の元となる点群データは、例えば、点検時に生成された比較用点群データ212である。
図15(A)では、モデル151−1の元となる点群データに含まれるボクセルB1〜ボクセルB4が示す領域に注目している。また、図15(A)では、モデル151−1とモデル152−1とは、同じ撮影条件において撮影された画像データによって作成された点群データによるものとしている。同じ撮影条件とは、例えば、同じ時刻に撮像され、撮影時における天候が同じか又は似ていることである。
この場合、両者を比較しても、RGB値の平均値の差分が閾値以上となるボクセルは存在せず、モデル153−1には、状態の変化は現れない。
図15(B)では、モデル151−1と、モデル152−2を比較した場合を示している。図15(B)では、モデル152−2の元となる画像データの撮影条件と、モデル151−1の元となる画像データの撮影条件とが異なる。具体的には、モデル152−2は、モデル151−1の元となる画像データが撮影されたときよりも、日光が多く照射している状態で撮影された画像データから作成されたものである。
この場合、モデル152−2の元となる点群データでは、ボクセルB1〜B4の状態が変化していなくても、そのRGB値の平均値と、モデル151−1の元となる点群データのボクセルB1〜B4のRGBの平均値との差分が閾値以上となる。
このため、比較結果のモデル153−2では、ボクセルB1〜B4と対応する領域R1〜R4は、状態が変化したことを示す色で表示されることになる。
図15(C)では、モデル151−2の元となる点群データと、モデル152−1の元となる点群データとを比較した場合を示している。このとき、モデル151−2とモデル152−1は、同じ撮影条件で撮影された画像データから作成されたものである。
図15(C)では、ボクセルB1において状態が変化しているため、比較結果のモデル153−3では、ボクセルB1と対応する領域R1が、状態が変化したことを示す色で表示される。
図15(D)では、モデル151−2と、モデル152−2を比較した場合を示している。図15(D)では、モデル152−2の元となる画像データの撮影条件と、モデル151−2の元となる画像データの撮影条件とが異なる。具体的には、モデル152−2は、モデル151−2の元となる画像データが撮影されたときよりも、日光が多く照射している状態で撮影された画像データから作成されたものである。
この場合、図15(D)では、ボクセルB1において状態が変化している。よって、モデル151−2の元となる点群データにおけるボクセルB1のRGB値の平均値と、モデル152−2の元となる点群データにおけるボクセルB1のRGB値の平均値との差分は閾値以上となる。
また、モデル152−2の元となる画像データは、モデル151−2の元となる画像データとは撮影条件が異なる。このため、図15(D)では、モデル151−2の元となる点群データにおけるボクセルB2〜B4のRGB値の平均値と、モデル152−2の元となる点群データにおけるボクセルB2〜B4のRGB値の平均値との差分も、閾値以上となる。
このため、比較結果のモデル153−2では、実際に状態が変化した領域は、ボクセルB1のみであるにも関わらず、ボクセルB1以外のボクセルB2〜B4と対応する領域R2〜R4が、状態が変化したことを示す色で表示されることになる。
図16は、第三の実施形態の差分検知について説明する第二の図である。図16では、点検時の点群データに点検色が含まれる場合の差分検知について、示している。
図16(A)では、モデル151−3とモデル152−3とは、同じ撮影条件で撮影された画像データによって作成された点群データによるものとしている。
モデル151−3と、モデル152−3では、ボクセルB1の領域に、錆びが発生している状態を示している。尚、図16における錆びの色は、点検色の1つである。
この場合、両者を比較しても、RGB値の平均値の差分が閾値以上となるボクセルは存在しないため、比較結果を示すモデル153−3には、状態の変化は現れない。しかし、モデル152−3では、ボクセルB1の領域で点検色が検出されるため、モデル153−3では、ボクセルB1の領域R1が、点検色が検出されたことを示す色で表示される。
図16(B)では、モデル151−3と、モデル152−4を比較した場合を示している。図16(B)では、モデル152−4の元となる画像データの撮影条件と、モデル151−3の元となる画像データの撮影条件とが異なる。具体的には、モデル152−4は、モデル151−3の元となる画像データが撮影されたときよりも、日光が多く照射している状態で撮影された画像データから作成されたものである。
この場合、モデル152−4の元となる点群データにおいて、ボクセルB1の点検色は、点検色として検出される。
また、モデル152−4の元となる点群データのボクセルB2〜Bについては、状態が変化していなくても、そのRGB値の平均値と、モデル151−3の元となる点群データのボクセルB2〜B4のRGBの平均値との差分が閾値以上となる。
このため、比較結果のモデル153−4では、ボクセルB1は、点検色が検出されたことを示す色で表示され、ボクセルB2〜B4と対応する領域R2〜R4は、状態が変化したことを示す色で表示されることになる。
図16(C)では、モデル151−2の元となる点群データと、モデル152−5の元となる点群データとを比較した場合を示している。このとき、モデル151−2とモデル152−5は、同じ撮影条件で撮影された画像データから作成されたものである。
図16(C)では、ボクセルB1において状態が変化しているため、比較結果のモデル153−3では、ボクセルB1と対応する領域R1が、状態が変化したことを示す色で表示される。尚、このとき、モデル153−3では、領域R1を、点検色が検出されたことを示す色で表示させても良い。
図16(D)では、モデル151−2と、モデル152−4を比較した場合を示している。図16(D)では、モデル151−2の元となる画像データの撮影条件と、モデル152−4の元となる画像データの撮影条件とが異なる。具体的には、モデル152−4は、モデル151−2の元となる画像データが撮影されたときよりも、日光が多く照射している状態で撮影された画像データから作成されたものである。
この場合、図16(D)では、ボクセルB1において錆びの発生により状態が変化している。また、図16(D)では、モデル151−2の元となる点群データにおけるボクセルB2〜B4のRGB値の平均値と、モデル152−4の元となる点群データにおけるボクセルB2〜B4のRGB値の平均値との差分も、閾値以上となる。
このため、比較結果のモデル153−4では、実際に状態が変化した領域は、錆が発生したボクセルB1のみであるにも関わらず、ボクセルB1以外のボクセルB2〜B4と対応する領域R2〜R4が、状態が変化したことを示す色で表示されることになる。
本実施形態では、上述したような、撮影条件のちがいによって生じる事柄を考慮し、設定値記憶部に記憶される設定値を変更する。
図17は、第三の実施形態の差分検知について説明する第三の図である。図15、図16の説明から、撮影条件が異なる画像データから作成した点群データ同士を比較した場合、図17(A)に示す事柄が生じる可能性があることがわかった。
図17(A)では、モデル151−3の元となる点群データと、モデル152−4の元となる点群データとを比較した結果を示している。これらの点群データは、撮影条件が異なる画像データから作成されている。このため、モデル153−4では、ボクセルB1に点検色が検出されたことのみが示されれば良いところを、状態が変化していないボクセルB2〜ボクセルB4も、状態が変化したものとして表示される。
そこで、本実施形態では、撮影条件のちがいを吸収させるために、RGB値の平均値の差分の閾値を、比較される2つの点群データの元となる画像データの撮影条件が同じであるときの閾値よりも、大きくする。
図17(B)では、RGB値の平均値の差分の閾値を大きくした場合を示している。図17(B)では、モデル151−3の元となる点群データと、モデル152−5の元となる点群データとを比較した結果を示している。これらの点群データは、撮影条件が異なる画像データから作成されている
図17(B)では、モデル152−5の元となる点群データにおいて、ボクセルB1で点検色が検出され、ボクセルB2の状態が変化している。この点群データを、モデル151−3の元となる点群データと比較した結果、モデル153−5が表示される。
モデル153−5では、ボクセルB1と対応する領域R1は、点検色が検出されたことを示す色で表示され、ボクセルB2と対応する領域R2は、状態が変化したことを示す色で表示される。
本実施形態では、このように、RGB値の平均値の差分の閾値を大きくすることで、撮影条件のちがいによって生じ、ボクセル間のRGB値の平均値の差分を、状態の変化として検知しないようにする。
また、本実施形態では、さらに、点検色として設定するRGB値の各値の範囲を、点検色の検出のみを行う場合よりも広くする。
本実施形態では、差分の閾値を大きくすることで、わずかな状態の変化は検知されなくなることが推定される。しかしながら、わずかな状態の変化であっても、検知されるべき変化も存在する。また、状態の変化はなくとも、点検作業者が点検時に把握すべき状態が存在する。検知されるべき変化とは、例えば、錆の発生や塗装剥げの発生等である。また、点検作業者が点検時に把握すべき状態とは、錆の状態や塗装剥げの状態等である。
本実施形態では、これらの変化を検知する精度を向上させるために、点検色として設定するRGB値の各値の範囲を、点検色の検出のみを行う場合よりも広くする。尚、本実施形態では、RGB値の各値の範囲を広げるだけでなく、点検色検出部250による検出において、ボクセルに含まれる点検色の割合の閾値を変更する等しても良い。
尚、上述した、点検色に関連する状態以外の、わずかな状態の変化とは、例えば、塵や埃の付着等であり、経年による通常の変化等である。 図17(C)は、差分の閾値を大きくし、点検色のRGB値の各値の範囲を広くした状態で、モデル151−3の元となる点群データと、モデル152−4の元となる点群データとを比較した場合を示している。
この場合、2つの点群データにおける、撮影条件の違いによるボクセルB1〜ボクセルB4のRGB値の平均値の差分は、閾値未満となり、状態の変化として検出されず、ボクセルB1は点検色が検出された領域として検出される。
このため、モデル151−3の元となる点群データと、モデル152−4の元となる点群データとを比較した結果のモデル153−3では、状態の変化に検出されず、ボクセルB1と対応する領域R1が、点検色が検出されたことを示す色として表示される。
このように、本実施形態では、点群データ間の差分の検知において、点群データの元となる画像データの撮影条件の影響を低減することができ、さらに、点群データにおける特定の点検色の検出の精度を向上させることができる。
以下に、図18を参照して、本実施形態の差分検知処理部240Bについて説明する。図18は、第三の実施形態の差分検知処理部の機能を説明する図である。
本実施形態の差分検知処理部240Bは、入力受付部241、点群データ生成部242、ボクセル情報生成部243、点群分類部244、チェック用データ生成部245A、設定値記憶部246A、差分判定部247、色変換部248、出力部249、点検色検出部250、設定値変更部251を有する。
本実施形態の設定値変更部251は、入力受付部241が受け付けた操作の種類に応じて、設定値記憶部246Aに記憶された設定値を変更する。
以下に、図19を参照して、本実施形態の差分検知処理部240Bの処理について説明する。図19は、第三の実施形態の差分検知処理部の処理を説明するフローチャートである。
本実施形態の差分検知処理部240Bは、入力受付部241により、構造物1において、状態が変化した箇所の表示指示を受け付けたか否かを判定する(ステップS1901)。ステップS701において、表示指示を受け付けていない場合、差分検知処理部240は、表示指示を受け付けるまで待機する。
ステップS1901において、表示指示を受け付けると、入力受付部241は、表示指示が、過去と現在(点検時)との比較結果と点検色の検出結果の両方を表示させる指示であるか否かを判定する(ステップS1902)。ステップS1902において、両方を表示させる指示でない場合、差分検知処理部240Bは、図13のステップS1302へ進む。
ステップS1902において、両方を表示させる指示である場合、差分検知処理部240Bは、設定値変更部251により、RGB値の平均値の差分の閾値と、点検色のRGB値の各値の範囲とを変更する(ステップS1903)。
具体的には、設定値変更部251は、RGB値の平均値の差分の閾値を、変更前と比較して10%程度大きくした値に変更しても良い。また、設定値変更部251は、閾値を、撮影条件によって生じ得る、ボクセル間のRGB値の平均値の差分の最大値よりも、大きくしても良い。
また、設定値変更部251は、点検色のRGB値の各値の範囲を、20%程度広くした範囲に変更しても良い。
続いて、差分検知処理部240Bは、過去の比較チェック用データ232が存在するか否かを判定する(ステップS1904)。
ステップS1904において、過去の比較チェック用データ232が存在する場合、差分検知処理部240Bは、後述するステップS1922へ進む。また、ステップS1904において、過去の比較チェック用データ232が存在しない場合、差分検知処理部240Bは、後述するステップS1905へ進む。
図19のステップS1905からステップS1908までの処理は、図7のステップS703からステップS706までの処理と同様であるから、説明を省略する。また、図19のステップS1909からステップS1913までの処理は、図13のステップS1305から1309までの処理と同様であるから、説明を省略する。
ステップS1913において、全てのボクセルについて処理を行った場合、差分検知処理部240Bは、差分判定部247により、ボクセル毎に、ボクセルIDが一致する基準チェック用データ231と比較チェック用データ232について、両者のRGB値の平均値とを比較する(ステップS1914)。
続いて、差分検知処理部240Bは、差分判定部247により、RGB値の平均値の差分が設定値記憶部246に記憶された閾値以上であったボクセルが存在したか否かを判定する(ステップS1915)。
ステップS1915において、該当するボクセルが存在しない場合、差分検知処理部240Bは、後述するステップS1917へ進む。ステップS1915において、該当するボクセルが存在する場合、差分検知処理部240Bは、色変換部248より、比較用点群データ212において、該当するボクセルに含まれる全ての点のRGB値を赤色に設定する(ステップS1916)。
続いて、差分検知処理部240Bは、点検色検出部250により、点検色が検出されたボクセルが存在するか否かを判定する(ステップS1917)。ステップS1917において、該当するボクセルが存在しない場合、差分検知処理部240Bは、後述するステップS1920へ進む。
ステップS1917において、該当するボクセルが存在する場合、差分検知処理部240Bは、ステップS1918へ進む。ステップS1918とステップS1919の処理は、図13のステップS1324とステップS1325の処理と同様であるから、説明を省略する。
ステップS1917において、該当するボクセルが存在しない場合、差分検知処理部240Bは、RGB値の平均値の差分が閾値以上となったボクセルが存在する否か判定する(ステップS1920)。ステップS1920において、該当するボクセルが存在しない場合、差分検知処理部240Bは、ステップS1919へ進む。
ステップS1920において、該当するボクセルが存在しない場合、差分検知処理部240Bは、出力部249により、比較用点群データ212より表される構造物1の三次元モデルを端末装置300に表示させるための画面データを生成して出力し(ステップS1921)、処理を終了する。
また、ステップS1904において、過去の比較チェック用データ232が存在する場合、差分検知処理部240Bは、ステップS1922へ進む。ステップS1922からステップS1926までの処理は、図13のステップS1312、ステップS1306からステップS1309までの処理と同様であるから、説明を省略する。
ステップS1926において、全てのボクセルについて処理を行った場合、差分検知処理部240Bは、差分判定部247により、新たに生成した比較チェック用データ232と、過去の比較チェック用データ232とを比較し(ステップS192)、ステップS1915へ進む。
次に、図20及び図21を参照し、本実施形態の差分検知処理部240Bによる処理をさらに説明する。尚、図20、図21では、RGB値の平均値の差分の閾値と、点検色のRGB値の各値の範囲が変更された状態を示す。
図20は、第三の実施形態の差分検知について説明する第四の図である。本実施形態では、図20(A)示すように、撮影条件が異なる画像データから生成され、点検色が含まれない点群データ同士を比較しても、状態の変化は検出されない。
また、本実施形態では、図20(B)に示すように、モデル152−1となる点群データのボクセルB1において、点検色の発生とは異なる、わずかな色の変化が生じたとしても、状態の変化として検出されない。
のた、本実施形態では、図20(C)に示すように、撮影条件が異なる画像データから生成され、且つ一方の点群データに、点検色の発生とは異なるわずかな色の発生が生じたとしても、状態の変化として検出されない。
図21は、第三の実施形態の差分検知について説明する第五の図である。本実施形態では、図21(A)に示すように、撮影条件が同じ画像データから生成され、点検色が含まれる点群データ同士を比較した場合、2つの点群データにおいて状態が変化していなくても、点検色が検出される。そして、本実施形態では、処理の結果として、点検色が検出されたボクセルと対応する領域R1が、点検色が検出されたことを示す色として表示される。
また、本実施形態では、図21(B)に示すように、撮影条件が異なる画像データから生成され、点検色が含まれる点群データ同士を比較した場合、2つの点群データにおいて状態の変化は検出されず、点検色が検出される。そして、本実施形態では、処理の結果として、点検色が検出されたボクセルと対応する領域R1が、点検色が検出されたことを示す色として表示される。
また、本実施形態では、図21(C)に示すように、撮影条件が異なる画像データから生成され、且つ一方の点群データに、点検色の発生が生じた場合、状態の変化は検出されず、点検色が検出される。そして、本実施形態では、処理の結果として、点検色が検出されたボクセルと対応する領域R1が、点検色が検出されたことを示す色として表示される。
以上のように、本実施形態によれば、点群データ同士の比較による状態の変化の検出と並行して、点検色の存在や点検色の発生を高精度に検出することができる。
以下に、図22を参照して、本実施形態の差分検知処理部240Bによる処理の結果の表示例について説明する。
図22は、第三の実施形態における状態の変化があった箇所の表示の例を示す図である。
図22に示す画面81Cでは、モデル1Aと、モデル1Eとが表示されている。モデル1Eは、差分が検知されたボクセル内の点の色が赤色に変更され、点検色が検出されたボクセル内の点の色を点検色に変更した後の比較用点群データ212によって示される構造物1の三次元のモデルである。
図22に示す画面81Cでは、モデル1Eにおいて、点検色が検出された所定の領域(ボクセル)141、142の色と、差分が検出された所定の領域(ボクセル)84、85の色が、変更されて状態で表示されている。
図22の例では、構造物1において、点検色が検出された箇所の他に、差分が検出された所定の領域84、85では、経年による通常の変化以外の異常な変化が検出されたことがわかる。異常な変化としては、例えば、異物の付着等が考えられる。
以上のように、本実施形態によれば、点群データ間の差分を適切に検知することで、状態の変化や特定の色の発生等の検出の精度を向上させることができる。
開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
それぞれ異なる複数の撮像画像に基づいて作成された第1の点群と第2の点群とを取得し、
前記第1の点群の第1の領域に含まれる点の色情報と前記第1の領域の位置に対応する前記第2の点群の第2の領域に含まれる点の色情報とを特定し、
前記第1の領域に含まれる点の色情報と前記第2の領域に含まれる点の色情報との差分が閾値以上であることを検知すると、前記第1の領域又は前記第2の領域について前記検知の結果に応じた出力をする、
処理をコンピュータに実行させることを特徴とする差分検知プログラム。
(付記2)
前記第1の領域に含まれる点の色情報は、前記第1の領域に含まれる複数の点の色の平均値であり、
前記第2の領域に含まれる点の色情報は、前記第2の領域に含まれる複数の点の色の平均値である、
ことを特徴とする付記1に記載の差分検知プログラム。
(付記3)
前記第1の領域と前記第2の領域とのそれぞれが、前記第1の点群データと前記第2の点群データとのそれぞれを所定の領域毎に分割し、前記分割により生成された複数の領域うち、同じ位置に対応する領域である、
ことを特徴とする付記2に記載の差分検知プログラム。
(付記4)
前記検知の結果に応じた出力をする処理は、前記第2の領域に含まれる点の色情報を、特定の色の色情報に変換した第2の点群を示す情報を出力する、ことを特徴とする付記3に記載の差分検知プログラム。
(付記5)
前記第1の点群において、座標の選択を受け付けて、
前記第1の点群において、前記座標が含まれる前記所定の領域を前記第1の領域に特定する、3又は4記載の差分検知プログラム。
(付記6)
所定の色の点の検出の指示を受け付けて、
前記第2の点群の前記所定の領域毎に、前記所定の色が含まれるか否かを判定し、
前記所定の色が含まれる所定の領域について、前記所定の領域に含まれる全ての点の色情報を変更した前記第2の点群を示す情報を出力する、処理を前記コンピュータに実行させることを特徴とする付記5記載の差分検知プログラム。
(付記7)
前記所定の色の点の検出の指示を受け付けて、
前記閾値を、前記指示を受け付ける前の閾値よりも大きくする、付記6記載の差分検知プログラム。
(付記8)
それぞれ異なる複数の撮像画像に基づいて作成された第1の点群と第2の点群とを取得する取得部と、
前記第1の点群の第1の領域に含まれる点の色情報と前記第1の領域の位置に対応する前記第2の点群の第2の領域に含まれる点の色情報とを特定する特定部と、
前記第1の領域に含まれる点の色情報と前記第2の領域に含まれる点の色情報との差分が閾値以上であることを検知すると、前記第1の領域又は前記第2の領域について前記検知の結果に応じた出力をする出力部と、を有することを特徴とする差分検知装置。
(付記9)
それぞれ異なる複数の撮像画像に基づいて作成された第1の点群と第2の点群とを取得し、
前記第1の点群の第1の領域に含まれる点の色情報と前記第1の領域の位置に対応する前記第2の点群の第2の領域に含まれる点の色情報とを特定し、
前記第1の領域に含まれる点の色情報と前記第2の領域に含まれる点の色情報との差分が閾値以上であることを検知すると、前記第1の領域又は前記第2の領域について前記検知の結果に応じた出力をする、処理をコンピュータが実行することを特徴とする差分検知方法。
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。