初めに、図1を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
そこで、一例として図1に示す情報処理装置100を提供する。情報処理装置100は、評価画像取得部101と、特徴抽出部102と、教師情報生成部103と、照合部104と、を備える。
評価画像取得部101は、評価画像と、撮影位置情報と、撮影方向情報と、を対応付けて取得する。ここで、評価画像は、所定の被写体を撮影して、取得された画像であることが好ましい。撮影位置情報は、評価画像を取得する際の撮影位置に関する情報を意味する。特に、撮影位置情報は、被写体に対する相対位置に関する情報を含むことが好ましい。また、撮影方向情報は、評価画像を取得する際の撮影方向に関する情報を意味する。特に、撮影方向情報は、上記の撮影位置を基準として、被写体に対する相対方向に関する情報を含むことが好ましい。
特徴抽出部102は、エッジ、面の少なくともいずれかの情報を含む、評価特徴情報を、評価画像から抽出する。特に、特徴抽出部102は、評価画像の被写体のエッジ、面を抽出することが好ましい。
教師情報生成部103は、教師モデル情報を取得し、教師モデル情報に含まれるエッジ、面の少なくともいずれかを、所定の射影面に射影し、教師情報を生成する。ここで、教師モデル情報は、評価画像の被写体に対応する、立体の三次元の座標情報を含む情報であり、立体のエッジ、面の少なくともいずれかの座標情報を含む情報であることが好ましい。また、教師情報は、教師モデル情報が所定の射影面に射影された情報であり、二次元の座標情報を含む情報である。
照合部104は、評価特徴情報と、教師情報とを比較し、一致度を算出する。例えば、評価画像の被写体が、工事作業途中の建設対象物であるとする。また、教師モデル情報が、評価画像の被写体に対応する、建設対象物の完成状態の立体に関する座標情報であるとする。その場合、照合部104は、工事作業途中の建設対象物と、建設対象物の完成状態の立体とにおいて、それぞれ対応するエッジ、面等が存在するか否かを、二次元面上で比較し、判断する。
例えば、照合部104が、教師情報と評価特徴情報とにおいて、対応するエッジが存在する、と判断したとする。その場合、当該エッジに該当する箇所は、建設済みであることを示す。
一方、照合部104が、教師情報に含まれるが、評価特徴情報に含まれないエッジが存在する、と判断したとする。その場合、当該エッジに該当する箇所は、未建設であることを意味する。
そのため、工事作業の管理者等は、工事途中の建設対象物を撮影すれば、情報処理装置100を利用して、容易に、作業の進捗を判断できる。従って、情報処理装置100は、容易かつ適切に、作業の進捗を判断することに貢献する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。なお、以下の説明では、教師モデル情報に基づいて生成される立体を、教師モデルと呼ぶ。
図2は、本実施形態に係る情報処理システム1の全体構成の一例を示すブロック図である。情報処理システム1は、情報処理装置2と、1又は2以上の端末装置3と、を含んで構成される。なお、図2は、本実施形態に係る情報処理システム1の全体構成を、図2に示す構成に限定する趣旨ではない。
情報処理装置2と、各端末装置3とは、ネットワーク4を介して接続する。ネットワーク4は、インターネット、LAN(Local Area Network)等を含む。ネットワーク4は、有線、無線は問わない。ネットワークは各種の方式が存在するが、その詳細は問わない。
端末装置3は、撮影部(カメラ)を備える。さらに、端末装置3は、撮影画像と、撮影位置情報と、撮影方向情報と、を対応付けて、情報処理装置2に送信する。ここで、撮影位置情報とは、建設対象物に対する、相対位置に関する情報を意味する。また、撮影方向情報とは、建設対象物に対する、相対方向に関する情報を意味する。
例えば、端末装置3のユーザは撮影する時に、撮影位置情報、及び撮影方向情報を設定しても良い。または、端末装置3が所定の位置に設置される場合、端末装置3のユーザは撮影位置情報、及び撮影方向情報を予め設定し、端末装置3は、撮影位置情報、及び撮影方向情報を記憶しておいても良い。
端末装置3は、例えば、携帯電話、スマートフォン、タブレット端末、デジタルカメラ、PC(Personal Computer)等であっても良い。端末装置3は、本書で説明する機能を実現できれば良く、その詳細は問わない。
情報処理装置2は、撮影画像と、撮影位置情報と、撮影方向情報と、を受信する。そして、情報処理装置2は、撮影画像に基づいて、作業の進捗を判断する。
具体的には、情報処理装置2は、予め、教師モデル情報を記憶する。例えば、情報処理装置2は、建設対象物の完成状態を示す、3次元のCAD(Computer Aided Design)データを、教師モデル情報として記憶しても良い。そして、情報処理装置2は、撮影位置情報と、撮影方向情報と、教師モデル情報と、に基づいて、教師情報を生成する。そして、情報処理装置2は、撮影画像と、教師情報と、を比較し、作業の進捗を算出する。ここで、教師情報の生成、及び作業の進捗の判断の詳細については後述する。
例えば、工事現場において、現場監督者が、端末装置3を用いて、建設対象物を撮影しても良い。そして、情報処理装置2は、ネットワークを介して、建設対象物を撮影した撮影画像と、撮影位置情報と、撮影方向情報と、を端末装置3から取得する。そして、情報処理装置2は、撮影画像と、教師情報と、を比較し、作業の進捗を判断する。
次に、端末装置3の内部構成について詳細に説明する。
図3は、本実施形態に係る端末装置3の内部構成の一例を示すブロック図である。端末装置3は、撮影部310と、端末装置記憶部320と、端末装置制御部330と、端末装置通信部340と、を含んで構成される。図3は、簡単のため、本実施形態に係る端末装置3に関係するモジュールを主に記載する。
図3に示す各モジュールは、端末装置3に搭載されたコンピュータに、そのハードウェアを用いて、端末装置3の処理を実行させるコンピュータプログラムにより実現しても良い。
撮影部310は、撮影画像を生成する。具体的には、撮影部310は、レンズ(図示せず)と、撮像素子(図示せず)と、を含んで構成される。まず、レンズで集光した光信号は、撮像素子の受光面で結像する。そして、撮像部310は、撮像素子が変換した光信号に基づいて、撮像画像を生成する。撮影部310は、端末装置制御部330からの命令に応じて、所定のタイミングで撮影画像を生成する。
端末装置記憶部320は、端末装置3の動作に必要な情報を記憶する。さらに、端末装置記憶部320は、予め設定された、撮影位置情報、及び撮影方向情報を記憶しても良い。ここで、上述の通り、撮影位置情報、撮影方向情報は、それぞれ、建設対象物に対する相対位置、相対方向を示す情報である。
端末装置制御部330は、端末装置3の全体を制御すると共に、図3に示す各モジュールを制御する。また、端末装置制御部330は、撮影画像と、撮影位置情報と、撮影方向情報と、を対応付ける。例えば、端末装置制御部330は、撮影画像のメタ情報として、撮影位置情報、及び撮影方向情報を設定しても良い。撮影画像と、撮影位置情報と、撮影方向情報と、を対応付ける方法は各種あるが、その詳細は問わない。
また、端末装置制御部330は、撮影部310が撮影画像を生成するタイミングを制御する。例えば、端末装置制御部330は、予め設定された時間周期(例えば、1時間毎等)で、撮影部310に撮影画像を生成させても良い。その場合、端末装置3は、タイマ(図示せず)を備えていても良い。例えば、現場監督者が、撮影画像を生成する時間周期を設定しても良い。
または、情報処理装置2が、端末装置3に、撮影実行の命令を送信しても良い。その場合、端末装置制御部330は、情報処理装置2から送信される撮影実行の命令に基づいて、撮影部310を制御しても良い。その場合、現場監督者が、撮影画像を生成する時間周期を情報処理装置2に入力しても良い。そして、情報処理装置2は、設定された時間周期に基づいて、端末装置3に、撮影実行の命令を送信しても良い。
端末装置通信部340は、ネットワークを介して、情報処理装置2と通信する。具体的には、撮影位置情報と、撮影方向情報と、が対応付けられた撮影画像を、情報処理装置2
に送信する。また、端末装置通信部340は、撮影実行の命令を情報処理装置2から受信しても良い。
また、端末装置通信部340は、撮影画像の被写体を識別するための情報を、情報処理装置2に送信しても良い。例えば、工事現場において、建設対象物が撮影されたとする。その場合、撮影画像の被写体を識別するための情報とは、工事現場の名称、建設対象物の名称等であっても良い。以下、撮影画像の被写体を識別するための情報を、被写体識別情報と呼ぶ。
次に、情報処理装置2の内部構成について詳細に説明する。
図4は、本実施形態に係る情報処理装置2の内部構成の一例を示すブロック図である。情報処理装置2は、情報処理装置通信部210と、情報処理装置記憶部220と、情報処理装置制御部230と、出力部240と、を含んで構成される。情報処理装置制御部230は、評価画像取得部231と、特徴抽出部232と、教師情報生成部233と、照合部234と、評価部235と、を含んで構成される。図4は、簡単のため、本実施形態に係る情報処理装置2に関係するモジュールを主に記載する。
図4に示す各モジュールは、情報処理装置2に搭載されたコンピュータに、そのハードウェアを用いて、情報処理装置2の処理を実行させるコンピュータプログラムにより実現しても良い。
情報処理装置通信部210は、ネットワークを介して、端末装置3と通信する。具体的には、情報処理装置通信部210は、撮影位置情報と、撮影方向情報と、が対応付けられた撮影画像を、端末装置3から受信する。また、情報処理装置通信部210は、撮影実行の命令を端末装置3に送信しても良い。以下、端末装置3から受信した撮影画像を、評価画像と呼ぶ。
情報処理装置記憶部220は、情報処理装置2の動作に必要な情報を記憶する。また、情報処理装置記憶部220は、教師モデル情報データベース221を記憶する。
教師モデル情報データベース221は、1又は2以上の教師モデル情報を格納する。ここで、教師モデル情報は、第1の教師特徴情報を含む。第1の教師特徴情報とは、物体の形状を表現可能な幾何情報を意味する。例えば、第1の教師特徴情報は、立体のエッジ、面の少なくともいずれかの座標情報を含む情報であっても良い。
上述の通り、教師モデル情報は、3次元のCADデータであっても良い。例えば、教師モデル情報は、エッジの端点の座標値、各エッジのID(Identification)、面を構成するエッジのID、面のID等の情報を含んで構成される、CADデータであっても良い。
なお、情報処理装置記憶部220は、教師モデル情報データベース221において、教師モデル情報と、被写体識別情報と、を対応付けて記憶していることが好ましい。なぜなら、被写体識別情報をキーとして、当該被写体識別情報に対応する教師モデル情報を、抽出できるようにする必要があるからである。例えば、情報処理装置記憶部220は、教師モデル情報データベース221において、教師モデル情報と、被写体識別情報と、を対応付けたテーブルを記憶していても良い。教師モデル情報データベース221のデータ構成は各種あるが、その詳細は問わない。
情報処理装置制御部230は、情報処理装置2の全体を制御すると共に、図4に示す各モジュールを制御する。
以下、情報処理装置制御部230について詳細に説明する。
評価画像取得部231は、評価画像と、撮影位置情報と、撮影方向情報と、を対応付けて取得する。具体的には、評価画像取得部231は、情報処理装置通信部210を介して、端末装置3から、評価画像と、撮影位置情報と、撮影方向情報と、を対応付けて取得する。また、評価画像取得部231は、所定の条件に基づいて、端末装置3に、撮影実行の命令を送信しても良い。例えば、評価画像取得部231は、所定の時間周期で、端末装置3に、撮影実行の命令を送信しても良い。
ここで、端末装置記憶部320が予め設定された撮影位置情報、及び撮影方向情報を記憶しているとする。その場合、評価画像は、予め設定された撮影位置情報、及び撮影方向情報に対して、所定の範囲内の位置、及び方向で撮影された画像であることが好ましい。
特徴抽出部232は、エッジ、面の少なくともいずれかの情報を含む、評価特徴情報を、評価画像から抽出する。例えば、特徴抽出部232は、評価画像の輝度値の分布に基づいて、評価画像に含まれる物体のエッジを検出しても良い。そして、特徴抽出部232は、エッジの端点の座標情報、エッジの長さ、エッジの角度等を、評価特徴情報として算出しても良い。ここで、エッジを検出する方法は、例えば、Cannyフィルタを利用する方法、Gaborフィルタを利用する方法等、各種あるが、その詳細は問わない。
また、特徴抽出部232は、輝度値、又は色情報の分布に基づいて、評価画像を領域分割し、評価画像に含まれる物体の面を検出しても良い。そして、特徴抽出部232は、面の位置(例えば、面の頂点の座標情報)、面の面積等を、評価特徴情報として算出しても良い。ここで、領域分割する方法は、例えば、MSER(Maximally Stable External Region)を利用する方法、k−meansクラスタリングを利用する方法等、各種あるが、その詳細は問わない。なお、特徴抽出部232は、ノイズを除去する等、適宜、各種の処理を実行し、有益なエッジ、面等を選別しても良いことは勿論である。
ここで、評価特徴情報は、1又は2以上の種類の情報を含むものとする。例えば、特徴抽出部232は、エッジの端点の座標情報と、エッジの長さと、エッジの角度と、面の位置と、面の面積とを含んで構成されても良い。
教師情報生成部233は、教師モデル情報を取得し、教師モデル情報に含まれるエッジ、面の少なくともいずれかを、所定の射影面に射影し、教師情報を生成する。
具体的には、まず、教師情報生成部233は、被写体識別情報に基づいて、教師モデル情報データベース221から当該教師モデル情報を取得する。ここで、評価画像取得部231が、被写体識別情報を対応付けられた、評価画像を取得した場合、教師情報生成部233は、当該被写体識別情報に基づいて、教師モデル情報データベース221から当該教師モデル情報を取得しても良い。または、情報処理装置2の操作者が、被写体識別情報を指定しても良い。そして、教師情報生成部233は、指定された被写体識別情報に基づいて、教師モデル情報データベース221から当該教師モデル情報を取得しても良い。なお、その場合、評価画像の被写体に対応する、被写体識別情報が指定される必要があることは勿論である。
そして、教師情報生成部233は、評価画像取得部231が取得する撮影位置情報と、撮影方向情報とに基づいて、所定の射影面を算出する。より具体的には、教師情報生成部233は、教師モデル情報を構成する座標系に、撮影位置情報と、撮影方向情報とを射影する。そして、教師情報生成部233は、教師モデル情報を構成する座標系において、所定の射影面を算出する。
そして、教師情報生成部233は、算出した射影面に第1の教師特徴情報を射影した、第2の教師特徴情報に基づいて、教師情報を生成する。なお、上述の通り、第1の教師特徴情報とは、教師モデル情報に含まれる、立体のエッジ、面の少なくともいずれかの座標情報を含む。
そして、教師情報生成部233は、第2の教師特徴情報から、所定の条件を満たす第3の教師特徴情報を抽出し、第3の教師特徴情報を、教師情報として生成する。例えば、第2の教師特徴情報は、撮影位置情報に対応する撮影位置から、視認不可能なエッジ、面に対応する、エッジ、面に関する情報を含む場合がある。その場合、教師情報生成部233は、視認不可能なエッジ、面に対応する、エッジ、面に関する情報を、第2の教師特徴情報から除去することが好ましい。そして、教師情報生成部233は、第2の教師特徴情報からこのような情報を除去後の情報を、第3の教師特徴情報として抽出しても良い。
また、教師情報生成部233は、第3の教師特徴情報に基づいて、二次元形状を生成し、当該二次元形状を含む画像を教師情報として生成しても良い。つまり、教師情報生成部233は、教師モデル情報に対応する立体を、算出した射影面に射影し、二次元形状を生成しても良い。そして、教師情報生成部233は、当該二次元形状を含む画像を生成しても良い。
照合部234は、評価特徴情報と、教師情報とを比較し、一致度を算出する。
例えば、特徴抽出部232が評価画像に含まれる物体のエッジに関する情報を、評価特徴情報として抽出したとする。その場合、照合部234は、抽出した評価特徴情報と、教師情報生成部233が生成した教師情報とにおいて、エッジの位置、長さ、角度の少なくともいずれかを照合する。そして、照合部234は、エッジの位置、長さ、角度等の照合結果毎に、一致度を算出する。
ここで、照合部234は、評価特徴情報と、教師情報とにおいて、エッジの位置の差が小さいほど、一致度を高く算出しても良い。また、照合部234は、評価特徴情報と、教師情報とにおいて、エッジの長さの差が小さいほど、一致度を高く算出しても良い。また、照合部234は、評価特徴情報と、教師情報とにおいて、角度の差が小さいほど、一致度を高く算出しても良い。
また、照合部234は、エッジの位置の差、エッジの長さの差、及びエッジの角度の差が、所定の閾値以下であるエッジの数を、一致度として算出しても良い。その場合、照合部234は、エッジの位置、エッジの長さ、及びエッジの角度の差が所定の閾値以下である、エッジの数が多いほど、一致度を高く算出しても良い。
また、例えば、特徴抽出部232が評価画像に含まれる物体の面に関する情報を、評価特徴情報として抽出したとする。その場合、照合部234は、評価特徴情報と、教師情報とにおいて、面の位置、面積の少なくともいずれかを照合する。そして、照合部234は、面の位置、面積等の照合結果毎に、一致度を算出する。
また、照合部234は、面の位置、及び面積の差が、所定の閾値以下である面の数を、一致度として算出しても良い。その場合、照合部234は、面の位置、及び面積の差が所定の閾値以下である、面の数が多いほど、一致度を高く算出しても良い。
ここで、照合部234は、評価特徴情報と、教師情報とにおいて、面の位置の差が小さいほど、一致度を高く算出しても良い。また、照合部234は、評価特徴情報と、教師情報とにおいて、面の面積の差が小さいほど、一致度を高く算出しても良い。
教師情報生成部233は、教師モデル情報に対応する立体を、算出した射影面に射影し、二次元形状を生成し、当該二次元形状を含む画像(以下、教師画像と呼ぶ)を生成したとする。その場合、照合部234は、評価画像と、教師画像と、を画像処理により、照合しても良い。
ここで、照合部234は、所定の範囲内の位置の相違、角度の相違、面積の相違を許容しても良い。その場合、照合部234は、所定の探索範囲を決定し、当該探索範囲内で、評価特徴情報と、教師情報と、を比較し、一致度を算出しても良い。
また、照合部234は、評価特徴情報と、教師情報とを適切に照合できるように、正規化処理を行う等、適宜、必要な処理を実行しても良いことは勿論である。また、照合部234は、照合する情報の種類に応じて、異なる関数に基づいて、一致度を算出しても良いことは勿論である。また、照合部234は、照合する情報の種類に応じて、異なる重みを設定して、一致度を算出しても良いことは勿論である。
評価部235は、1又は2以上の撮影位置情報に対応する一致度に基づいて、評価値を算出する。例えば、評価部235は、1又は2以上の一致度の統計量(一致度の合計等)に基づいて、評価値を算出しても良い。また、評価部235は、予め設定した評価関数を用いて、評価値を算出しても良い。
出力部240は、照合部234が算出した評価値を出力する。例えば、出力部240は、表示部(図示せず)に評価値を出力しても良い。または、出力部240は、スピーカ(図示せず)を介して、評価値を音声出力しても良い。または、情報処理装置2が電子メール機能を備える場合、出力部240は、電子メールを用いて、所定の宛先に評価値を送信しても良い。
ここで、評価値が高いほど、評価画像に含まれる建設対象物と、当該建設対象物の完成状態との一致度が高いことを意味する。そのため、工事の進捗を判断する管理者等は、算出された評価値に基づいて、作業の進捗を把握できる。
図5は、建設対象物500と、建設対象物500の完成状態を示す、教師モデル600と、を示す図である。具体的には、図5(a)は、建設対象物500を示す。また、図5(b)は、教師モデル600を示す。なお、以下の説明において、図5(a)に示す面510は、図5(b)に示す面610に対応する面であるとする。そして、建設対象物500において、図5(b)に示す面610を含む立体は、建設済みであるとする。しかし、建設対象物500において、図5(b)に示す面611を含む立体は、未建設の状態であるとする。
面510は、エッジ501〜504により構成される面である。ここで、エッジ501は、頂点A1、頂点A2を端点とする線分である。また、エッジ502は、頂点A2、頂点A3を端点とする線分である。また、エッジ503は、頂点A3、頂点A4を端点とする線分である。また、エッジ504は、頂点A4、頂点A1を端点とする線分である。
面610は、エッジ601〜604により構成される面である。面611は、エッジ601、及びエッジ605〜607を含んで構成される面である。ここで、面610と面611とは、エッジ601を共有して隣接する面である。
具体的には、エッジ601は、頂点A11、頂点A12を端点とする線分である。また、エッジ602は、頂点A12、頂点A13を端点とする線分である。また、エッジ603は、頂点A13、頂点A14を端点とする線分である。また、エッジ604は、頂点A14、頂点A11を端点とする線分である。
また、エッジ605は、頂点A16、頂点A12を端点とする線分である。また、エッジ606は、頂点A11、頂点A15を端点とする線分である。また、エッジ607は、頂点A15、頂点A16を端点とする線分である。
ここで、端末装置3が、図5(a)に示す撮影位置P1の位置から、図5(a)に示す矢印D1を撮影方向として、建設対象物500を撮影し、撮影画像を生成したとする。そして、評価画像取得部231が、図6(a)に示す評価画像520を取得したとする。
また、教師情報生成部233は、撮影位置P1、撮影方向D1に基づいて、射影面を算出する。具体的には、教師情報生成部233は、撮影位置P1、撮影方向D1を、教師モデル600を構成する座標系に射影する。ここで、教師情報生成部233は、撮影位置P1、撮影方向D1を、図5(b)に示す位置P11、及び方向D11に射影したとする。その場合、教師情報生成部233は、位置P11、及び方向D11に基づいて、射影面を生成する。
そして、教師情報生成部233は、エッジ601〜607、面610、面611を、算出した射影面に、射影する。図6(b)は、教師情報生成部233は、エッジ601〜607、面610、面611を、算出した射影面に、射影し、生成された教師画像620を示す。
その場合、照合部234は、エッジ501〜504と、エッジ601〜604とを比較し、夫々のエッジの位置の差、長さの差、角度の差を算出する。さらに、照合部234は、面510と、面610とを比較し、面の位置の差、面積の差を算出する。
ここで、エッジ501〜504と、エッジ601〜604とを比較した場合、エッジの位置の差、エッジの長さの差、及びエッジの角度の差が、所定の閾値以下であるとする。一方、評価画像520は、教師画像620内のエッジ605〜607に対応するエッジを含まない。つまり、評価画像520は、教師画像620に含まれる7本のエッジの内、4本のエッジに対応する箇所が建設されていることを示す。
そこで、照合部234は、評価画像520と、教師画像620と、の一致度を4/7=0.57と算出しても良い。または、照合部234は、評価画像520と、教師画像620と、の一致度を57%と算出しても良い。
なお、撮影位置、及び撮影方向を予め固定するとする。その場合、情報処理装置記憶部220は、図5(a)に示す撮影位置P1と、図5(b)に示す位置P11と、を対応付けて予め記憶しておいても良い。さらに、情報処理装置記憶部220は、図5(a)に示す撮影方向D1と、図5(b)に示す方向D11と、を対応付けて予め記憶しておいても良い。
次に、本実施形態に係る情報処理システム1の動作について説明する。
図7は、評価画像を取得する処理の一例を示すフローチャートである。
まず、ステップS1において、予め定めた撮影実行条件が満たされたか否かを、端末装置制御部330は判断する。例えば、設定された時間周期に基づいて、所定の時間が経過したか否かを、端末装置制御部330は判断しても良い。または、情報処理装置2から撮影実行の命令を受信したか否かを、端末装置制御部330は判断しても良い。
予め定めた撮影実行条件が満たされた場合(ステップS1のYes分岐)には、撮影部310は被写体を撮影し、撮影画像を生成する(ステップS2)。そして、ステップS3に遷移する。一方、予め定めた撮影実行条件が満たされていない(ステップS1のNo分岐)には、ステップS1の処理を繰り返す。
ステップS3において、端末装置制御部330は、予め設定した撮影位置情報と、撮影方向情報とを、撮影画像に対応付ける。ステップS4において、端末装置通信部340は、撮影位置情報と、撮影方向情報と、が対応付けられた、撮影画像を情報処理装置2に送信する。そして、ステップS5において、情報処理装置通信部210は、撮影位置情報と、撮影方向情報とが対応付けられた撮影画像を評価画像として受信する。そして、図8に示すステップS11に遷移する。
図8は、評価値を算出する処理の一例を示すフローチャートである。
ここで、情報処理装置通信部210は、撮影位置情報と、撮影方向情報とが対応付けられた撮影画像を、評価画像として受信した(図7に示すステップS5)とする。その場合、ステップS11において、特徴抽出部232は、評価画像から評価特徴情報を抽出する。
そして、ステップS12において、教師情報生成部233は、被写体情報に基づいて、教師モデル情報データベース221から教師モデル情報を抽出する。
そして、ステップS13において、教師情報生成部233は、教師モデル情報と、撮影位置情報と、撮影方向情報とに基づいて、教師情報を生成する。具体的には、教師情報生成部233は、教師モデル情報を構成する座標系に、撮影位置情報と、撮影方向情報とを射影する。そして、教師情報生成部233は、射影された撮影位置情報と、撮影方向情報とに基づいて、射影面を算出する。そして、教師情報生成部233は、算出した射影面に、教師モデル情報を射影し、教師情報を生成する。
ステップS14において、照合部234は、評価特徴情報と、教師情報とを照合し、一致度を算出する。具体的には、照合部234は、評価情報に含まれるエッジ、面等の情報と、教師モデルに含まれるエッジ、面等の情報と、を照合し、夫々の情報に関して、一致度を算出する。より具体的には、照合部234は、各エッジの位置の差、各エッジの長さの差、各エッジの角度の差、各面の位置の差、各面の面積の差等を算出する。
ステップS15において、所定の条件を満たす撮影位置情報に対応する、一致度を算出したか否かを、評価部235は判断する。例えば、工事現場において、本実施形態に係る情報処理システム1を用いて、作業の進捗を判断するとする。その場合、1ヶ所から撮影した撮影画像では、作業の進捗を把握できない場合がある。そこで、2以上の位置から撮影した撮影画像を用いて、作業の進捗を評価することが好ましい。その場合、照合部234は、所定の条件を満たす撮影位置情報に対応する評価画像に基づいて、一致度を算出することが好ましい。
照合部234が、所定の条件を満たす撮影位置情報に対応する、一致度を算出した場合(ステップS15のYes分岐)には、ステップS17に遷移する。一方、照合部234が、所定の条件を満たす撮影位置情報に対応する、一致度を算出していない場合(ステップS15のNo分岐)には、ステップS16に遷移する。
ステップS16において、評価部235は、算出した一致度と、撮影位置情報と、撮影方向情報と、被写体識別情報と、を対応付けて、情報処理装置記憶部220に格納する。そして、図7に示すステップS1に戻り、処理を継続する。
一方、照合部234が、所定の条件を満たす撮影位置情報に対応する、一致度を算出した場合(ステップS15のYes分岐)には、評価部235は、所定の1又は2以上の撮影位置情報に対応する一致度に基づいて、評価値を算出する(ステップS17)。そして、情報処理装置制御部230は、算出した評価値を出力部240から出力する(ステップS18)。
図9は、作業現場の地図の一例を示す図である。図9の場合、作業現場は、2つの階層(所謂、2つのフロア)から構成される。図9に示す作業現場の場合、1階は、作業現場701〜704に区分けされた領域を含んで構成される。また、図9に示す作業現場の場合、2階は、作業現場711〜714に区分けされた領域を含んで構成される。
その場合、教師モデル情報データベース221は、作業現場701〜704、作業現場711〜714の名称等を、被写体識別情報として記憶しても良い。そして、教師モデル情報データベース221は、作業現場の名称等と、夫々の作業現場に対応する教師モデル情報と、撮影位置と、撮影方向と、を対応付けて記憶しても良い。
さらに、例えば、情報処理装置2は、図9に示す画面を端末装置に送信しても良い。そして、端末装置3は、表示部(図示せず)等に、図9に示す画面を表示しても良い。その場合、現場監督者等は、図9に示す画面を使用して、撮影した撮影画像と、被写体識別情報(即ち、作業現場の名称等)とを、対応付けて設定しても良い。また、その場合、端末装置3は、選択された作業現場等を、表示画面に反映しても良い。例えば、作業現場711が選択された場合、図9に示すように、作業現場711を強調表示しても良い。
そして、端末装置3は、撮影画像と、設定された被写体識別情報と、を対応付けて、情報処理装置2に送信しても良い。ここで、教師モデル情報データベース221は、作業現場の名称等と、夫々の作業現場に対応する教師モデル情報と、撮影位置と、撮影方向と、を対応付けて記憶しているとする。その場合、教師情報生成部233は、受信した被写体識別情報に基づいて、教師モデル情報データベース221を参照し、撮影位置情報、撮影方向情報を特定しても良い。
図10は、評価画像、教師画像の一例を示す図である。図10(a)は、評価画像530を示す。また、図10(b)、(c)は、評価画像530に対応する、教師画像630を示す。例えば、図10(b)において、破線で示すエッジは、照合部234が評価画像530との対応関係を検出したエッジを示すとする。つまり、図10(b)において、破線で示すエッジは、評価画像530内のエッジとの一致度が所定の閾値を超えた、エッジを示す。一方、図10(b)において、実線で示すエッジ631〜633は、照合部234が評価画像530との対応関係を検出できなかったエッジを示すとする。また、例えば、図10(c)において、実線で示す面641〜643は、照合部234が評価画像530との対応関係を検出できなかった面を示す。
ここで、図10(b)に示す教師画像は、27本の破線のエッジを含む。さらに、図10(b)に示す教師画像は、3本の実線のエッジを含む。そこで、照合部234は、エッジの一致度に基づいて、評価画像530と、教師画像630との一致度を、(30−3)/30=0.9と算出しても良い。または、照合部234は、評価画像530と、教師画像630との一致度を、90%と算出しても良い。
ここで、図10(c)に示す教師画像は、9枚の破線の面を含む。さらに、図10(c)に示す教師画像は、3枚の実線の面を含む。そこで、照合部234は、面の一致度に基づいて、評価画像530と、教師画像630との一致度を、(12−3)/12=0.75と算出しても良い。または、照合部234は、評価画像530と、教師画像630との一致度を、75%と算出しても良い。
図11は、出力部240が出力する出力画像の一例を示す。具体的には、図11に示す出力画面800は、各作業現場における一致度、及び全体進捗を示す。図11の場合、2つの階層(所謂、2つのフロア)から構成される。図11に示す作業現場の場合、1階は、作業現場801〜804に区分けされた領域を含んで構成される。また、図11に示す作業現場の場合、2階は、作業現場811〜814に区分けされた領域を含んで構成される。
ここで、照合部234は、作業現場801〜804、及び作業現場811〜814について、評価特徴情報と、教師情報との一致度を算出したとする。そして、照合部234は、作業現場801〜804について、一致度を0%と算出したとする。また、照合部234は、作業現場811〜814について、一致度を、夫々、90.0%、12.5%、100%、50%と算出したとする。
その場合、評価部235は、算出した一致度に基づいて、評価値を算出しても良い。具体的には、評価部235は、算出した一致度の平均を、評価値として算出しても良い。その場合、評価部235は、評価値を、(0+0+0+0+90+12.5+100+50)/8=31.56%と算出しても良い。
そして、評価部235は、全体進捗として、評価値を表示する画面を生成しても良い。そして、出力部240は、例えば、図11に示す出力画面800を生成しても良い。
以上のように、本実施形態に係る情報処理システム1は、建設対象物を撮影した撮影画像と、完成物の立体形状を示す三次元情報と、に基づいて、作業の進捗を判断する。ここで、本実施形態に係る情報処理システム1は、撮影位置等に基づいて、完成物の立体形状を示す三次元情報を、二次元情報に変換する。そして、本実施形態に係る情報処理システム1は、撮影画像から抽出された特徴情報と、完成物の立体形状を示す三次元情報から変換された二次元情報とを比較し、作業の進捗を判断する。
その結果、本実施形態に係る情報処理システム1においては、作業の進捗を判断する場合に、人為的な判断が影響することを防止できる。また、本実施形態に係る情報処理システム1においては、所定の時間周期で撮影画像を取得し、作業の進捗を判断できる。従って、本実施形態に係る情報処理システム1は、容易かつ適切に、作業の進捗を判断することに貢献する。
また、本実施形態に係る情報処理システム1においては、作業の進捗を判断する管理者等は、建設対象物を撮影した撮影画像を取得できれば良い。そして、本実施形態に係る情報処理システム1においては、作業の進捗を判断する管理者等が、容易に、作業の進捗を把握することに貢献する。
また、本実施形態に係る情報処理システム1は、完成物の立体形状を示す三次元情報を、二次元情報に変換して、作業の進捗を判断する。そのため、本実施形態に係る情報処理システム1は、計算負荷を低減し、効率的に、作業の進捗を判断することに貢献する。
[第2の実施形態]
次に、第2の実施形態について、詳細に説明する。
本実施形態は、撮影位置毎に重みを設定し、各撮影位置に対応する一致度に、当該重みをかけて、評価値を算出する形態である。なお、本実施形態における説明では、上記の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上記の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。また、本実施形態における説明では、上記の実施形態と同一の作用効果についても、その説明を省略する。
本実施形態に係る情報処理システム1の全体構成は、図2に示す通りである。また、端末装置3の内部構成は、図3に示す通りである。また、情報処理装置2の内部構成は、図4に示す通りである。以下、第1の実施形態と相違する点について詳細に説明する。
情報処理装置記憶部220は、撮影位置情報と、当該撮影位置情報の優先順位と、を対応付けて記憶する。例えば、工事現場において、優先順位の高い作業現場ほど、情報処理装置記憶部220は、当該作業現場に対応する撮影位置情報に、高い優先順位を対応付けて記憶する。例えば、工事の進捗を判断する管理者等が、撮影位置情報と、当該撮影位置情報の優先順位と、を予め設定しても良い。
評価部235は、撮影位置情報毎に、重みを設定し、各撮影位置情報に対応する一致度に、当該撮影位置情報に対応する重みをかけて、評価値を算出する。具体的には、評価部235は、撮影位置情報に予め対応付けられた優先順位に応じて、撮影位置情報毎に、重みを設定する。ここで、評価部235は、優先順位が高い撮影位置情報ほど、大きい重みを設定する。そして、評価部235は、各撮影位置情報に対応する一致度に重みをかける。そして、評価部235は、重みをかけた一致度の統計量(一致度の合計等)に基づいて、評価値を算出する。
以上のように、本実施形態に係る情報処理システム1においては、撮影位置毎に重みを設定し、各撮影位置に対応する一致度に、当該重みをかけて、評価値を算出する。そのため、本実施形態に係る情報処理システム1は、各作業現場の優先順位に応じて、作業の進捗を評価できる。従って、本実施形態に係る情報処理システム1は、第1の実施形態と同様の効果を奏すると共に、より一層、作業現場に応じて、適切に、作業の進捗を判断することに貢献する。
[第3の実施形態]
次に、第3の実施形態について詳細に説明する。
本実施形態は、部材置き場等を監視し、所定の部材が使用されたら、端末装置が建設対象物を撮影する形態である。なお、本実施形態における説明では、上記の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上記の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。また、本実施形態における説明では、上記の実施形態と同一の作用効果についても、その説明を省略する。
図12は、本実施形態に係る情報処理システム1aの全体構成の一例を示す図である。図2に示す情報処理システムと1と、図12に示す情報処理システム1aとの相違点は、図12に示す情報処理システム1aは、部材管理装置5を含む点である。なお、図12は、本実施形態に係る情報処理システム1aの全体構成を、図12に示す構成に限定する趣旨ではない。なお、情報処理装置2、及び端末装置3の内部構成は、上記の通りであるため、詳細は説明は省略する。
部材管理装置5は、工事現場において、工事に使用する部材の残量を管理する。部材管理装置5と、端末装置3とは接続する。部材管理装置5は、部材の残量に応じて、端末装置3に撮影実行の命令を送信する。端末装置3は、部材管理装置5から送信される、撮影実行の命令に基づいて、撮影を実行する。なお、図12においては、各部材管理装置5と、各端末装置3とが直接接続した構成を示しているが、所定のネットワークを介して、各部材管理装置5と、各端末装置3とが接続しても良い。また、図12においては、各部材管理装置5が、それぞれ、一つの端末装置3と接続した構成を示しているが、2以上の端末装置3と接続しても良い。
以下、部材管理装置5について、説明する。
部材管理装置5は、部材の残量を管理するためのセンサ等を備えることが好ましい。例えば、部材管理装置5は、撮影部(カメラ)を備え、部材置き場等を監視しても良い。その場合、部材管理装置5は、部材置き場等を撮影する。そして、部材管理装置5は、画像処理を行い、部材置き場等を撮影した撮影画像中に、部材が存在するか否かを判断しても良い。
または、各部材に対して、所定の信号を送信する送信機を取り付けても良い。そして、部材管理装置5は、各部材から送信される信号を受信する、受信機能を備えていても良い。ここで、部材管理装置5が、各部材から送信される信号を受信可能な範囲を、部材置き場に限定するとする。その場合、部材管理装置5は、各部材から送信される信号を受信できる場合、当該部材が部材置き場に存在すると判断する。一方、部材管理装置5は、各部材から送信される信号を受信できない場合、当該部材が部材置き場から搬出されたと判断しても良い。なお、部材の残量を監視する方法は、各種あるが、その詳細は問わない。
そして、部材管理装置5は、所定の数の部材(例えば、全ての部材)が、部材置き場から搬出された、と判断したとする。その場合、部材管理装置5は、部材の搬出から所定の時間経過後に、撮影実行の命令を端末装置3に送信しても良い。ここで、部材管理装置5は、予め設定された、作業完了予定時間経過後、撮影実行の命令を端末装置3に送信することが好ましい。
[変形例1]
本実施形態に係る情報処理システム1aの変形例1として、部材管理装置5は、監視対象の部材が搬出された場合、その旨を情報処理装置2に通知しても良い。そして、情報処理装置2は、監視対象の部材が搬出されたとの通知を、部材管理装置5から受信した場合、当該通知の受信から所定の時間経過後に、撮影実行の命令を端末装置3に送信しても良い。
以上のように、本実施形態に係る情報処理システム1aにおいては、部材管理装置5が部材の有無を監視する。そして、本実施形態に係る情報処理システム1aにおいては、部材管理装置5が部材が部材置き場から搬出された場合、所定の時間経過後に、端末装置3は撮影を実行する。従って、本実施形態に係る情報処理システム1aには、第1の実施形態と同様効果を奏すると共に、より一層容易に、作業の進捗に応じた撮影画像を取得することに貢献する。
なお、上記した実施形態においては、情報処理装置2が教師モデル情報データベース221を備える形態について説明した。しかし、情報処理装置2と異なる装置(以下、データベースサーバ装置と呼ぶ)が、教師モデル情報データベース221を備えていても良い。その場合、情報処理装置2は、データベースサーバ装置にアクセスし、データベースサーバ装置から、評価画像に対応する、建設対象物の教師モデル情報を取得しても良い。
上述の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)上記第1の視点に係る情報処理装置の通りである。
(付記2)前記教師モデル情報は、立体のエッジ、面の少なくともいずれかの座標情報を、第1の教師特徴情報として含み、前記教師情報生成部は、前記撮影位置情報と、前記撮影方向情報とに基づいて、前記射影面を算出し、当該射影面に前記第1の教師特徴情報を射影した、第2の教師特徴情報に基づいて、前記教師情報を生成する、付記1に記載の情報処理装置。
(付記3)前記教師情報生成部は、前記第2の教師特徴情報から、所定の条件を満たす第3の教師特徴情報を抽出し、前記第3教師特徴情報を、前記教師情報として生成する、付記2に記載の情報処理装置。
(付記4)前記教師情報生成部は、前記第3の教師特徴情報に基づいて、二次元形状を生成し、当該二次元形状を含む画像を前記教師情報として生成する、付記3に記載の情報処理装置。
(付記5)前記照合部は、前記特徴抽出部が前記評価画像に含まれる物体のエッジに関する情報を、前記評価特徴情報として抽出した場合、前記評価特徴情報と、前記教師情報とにおいて、エッジの位置、長さ、角度の少なくともいずれかを照合する、付記1乃至4のいずれか一に記載の情報処理装置。
(付記6)前記照合部は、特徴抽出部が前記評価画像に含まれる物体の面に関する情報を、前記評価特徴情報として抽出した場合、前記評価特徴情報と、前記教師情報とにおいて、面の位置、面積の少なくともいずれかを照合する、付記1乃至5のいずれか一に記載の情報処理装置。
(付記7)1又は2以上の前記撮影位置情報に対応する、前記一致度に基づいて、評価値を算出する、評価部をさらに備える、付記1乃至6のいずれか一に記載の情報処理装置。
(付記8)前記評価部は、前記撮影位置情報毎に、重みを設定し、各撮影位置情報に対応する前記一致度に、当該撮影位置情報に対応する重みをかけて、前記評価値を算出する、付記7に記載の情報処理装置。
(付記9)前記照合部は、所定の探索範囲を決定し、前記探索範囲内で、前記評価特徴情報と、前記教師情報と、を比較し、前記一致度を算出する、付記1乃至8のいずれか一に記載の情報処理装置。
(付記10)上記第2の視点に係る情報処理システムの通りである。
(付記11)撮影画像を生成する、撮影部と、撮影位置情報と、撮影方向情報と、を対応付けて、前記撮影画像を送信する、撮影装置通信部と、を備える端末装置。
(付記12)上記第3の視点に係る情報処理方法の通りである。
(付記13)前記教師モデル情報は、立体のエッジ、面の少なくともいずれかの座標情報を、第1の教師特徴情報として含み、前記教師情報生成工程において、前記撮影位置情報と、前記撮影方向情報とに基づいて、前記射影面を算出し、当該射影面に前記第1の教師特徴情報を射影した、第2の教師特徴情報に基づいて、前記教師情報を生成する、付記12に記載の情報処理方法。
(付記14)前記教師情報生成工程において、前記第2の教師特徴情報から、所定の条件を満たす第3の教師特徴情報を抽出し、前記第3教師特徴情報を、前記教師情報として生成する、付記13に記載の情報処理方法。
(付記15)前記教師情報生成工程において、前記第3の教師特徴情報に基づいて、二次元形状を生成し、当該二次元形状を含む画像を前記教師情報として生成する、付記14に記載の情報処理方法。
(付記16)前記照合工程において、前記評価画像に含まれる物体のエッジに関する情報が、前記評価特徴情報として抽出された場合、前記評価特徴情報と、前記教師情報とにおいて、エッジの位置、長さ、角度の少なくともいずれかを照合する、付記12乃至15のいずれか一に記載の情報処理方法。
(付記17)前記照合工程において、前記評価画像に含まれる物体の面に関する情報が、前記評価特徴情報として抽出された場合、前記評価特徴情報と、前記教師情報とにおいて、面の位置、面積の少なくともいずれかを照合する、付記12乃至16のいずれか一に記載の情報処理方法。
(付記18)1又は2以上の前記撮影位置情報に対応する、前記一致度に基づいて、評価値を算出する、評価工程をさらに含む、付記12乃至17のいずれか一に記載の情報処理方法。
(付記19)前記評価工程においては、前記撮影位置情報毎に、重みを設定し、各撮影位置情報に対応する前記一致度に、当該撮影位置情報に対応する重みをかけて、前記評価値を算出する、付記18に記載の情報処理方法。
(付記20)前記照合工程において、所定の探索範囲を決定し、前記探索範囲内で、前記評価特徴情報と、前記教師情報と、を比較し、前記一致度を算出する、付記12乃至19のいずれか一に記載の情報処理方法。
(付記21)上記第4の視点に係るプログラムの通りである。
(付記22)前記教師モデル情報は、立体のエッジ、面の少なくともいずれかの座標情報を、第1の教師特徴情報として含み、前記教師情報生成処理において、前記撮影位置情報と、前記撮影方向情報とに基づいて、前記射影面を算出し、当該射影面に前記第1の教師特徴情報を射影した、第2の教師特徴情報に基づいて、前記教師情報を生成する、付記21に記載のプログラム。
(付記23)前記教師情報生成処理において、前記第2の教師特徴情報から、所定の条件を満たす第3の教師特徴情報を抽出し、前記第3教師特徴情報を、前記教師情報として生成する、付記22に記載のプログラム。
(付記24)前記教師情報生成処理において、前記第3の教師特徴情報に基づいて、二次元形状を生成し、当該二次元形状を含む画像を前記教師情報として生成する、付記23に記載のプログラム。
(付記25)前記照合処理において、前記評価画像に含まれる物体のエッジに関する情報が、前記評価特徴情報として抽出された場合、前記評価特徴情報と、前記教師情報とにおいて、エッジの位置、長さ、角度の少なくともいずれかを照合する、付記21乃至24のいずれか一に記載のプログラム。
(付記26)前記照合処理において、前記評価画像に含まれる物体の面に関する情報が、前記評価特徴情報として抽出された場合、前記評価特徴情報と、前記教師情報とにおいて、面の位置、面積の少なくともいずれかを照合する、付記21乃至25のいずれか一に記載のプログラム。
(付記27)1又は2以上の前記撮影位置情報に対応する、前記一致度に基づいて、評価値を算出する、評価処理をさらに実行する、付記21乃至26のいずれか一に記載のプログラム。
(付記28)前記評価処理においては、前記撮影位置情報毎に、重みを設定し、各撮影位置情報に対応する前記一致度に、当該撮影位置情報に対応する重みをかけて、前記評価値を算出する、付記27に記載のプログラム。
(付記29)前記照合処理において、所定の探索範囲を決定し、前記探索範囲内で、前記評価特徴情報と、前記教師情報と、を比較し、前記一致度を算出する、付記21乃至28ずれか一に記載のプログラム。
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。