[1]実施例
図1は実施例に係る表層品質評価システム1の全体構成を表す。表層品質評価システム1は、被写体の表層の品質を評価するためのシステムである。表層品質評価システム1は、本実施例では、コンクリート構造体の表層の品質を評価する。表層品質評価システム1は、通信回線2と、撮像装置10と、現場端末20と、評価装置30と、複数のカラーフィルタ3、3、・・・とを備える。
通信回線2は、移動体通信網及びインターネット等を含む通信システムであり、自システムと通信する装置等(=装置、端末及びシステム等)同士のデータのやり取りを中継する。通信回線2には、評価装置30が有線通信で接続し、撮像装置10及び現場端末20が無線通信で接続している。なお、各装置と通信回線2との通信は、有線通信及び無線通信のどちらでもよい。
また、撮像装置10及び現場端末20は、通信回線2を介さずに直接相互に無線通信を行ってもよい。撮像装置10は、例えばデジタルカメラであり、被写体を撮像し、被写体の表面を示すカラーの画像データを生成する。撮像装置10は、生成した画像データを現場端末20に送信する。現場端末20は、被写体を撮像する現場(トンネル、橋梁又は建物等)において、作業員によって使用される端末である。
現場端末20は、受信した画像データに基づいて、被写体に対して照射すべき光の色を特定する。照射光の色の特定方法については後述する。現場端末20は、特定した照射光の色を、例えば自装置のディスプレイに表示して作業員に伝達する。撮像装置10は、撮像時に被写体に光を照射する発光装置を備えている。特定された色のカラーフィルタ3は、撮像装置10の発光装置に被せて用いられ、発光により自フィルタの色の光を被写体に照射する。例えば赤色のカラーフィルタ3を発光装置に被せると、赤色の光が照射される。
作業員は、特定された色のカラーフィルタ3を発光装置に被せた状態で撮像装置10を操作して、発光装置を発光させた上で被写体を撮像する。撮像装置10は、撮像した被写体の画像データを評価装置30に送信する。評価装置30は、受信した画像データが示す被写体の画像を解析して、被写体の表層の品質を評価する処理を行う。品質評価処理については後程詳しく説明する。
図2は撮像装置10のハードウェア構成を表す。撮像装置10は、コントローラ11と、イメージセンサ12と、ストレージ13と、通信装置14と、発光装置15とを備える。コントローラ11は、回路等を備え、自装置の各部を制御する。イメージセンサ12は、被写体が発した光を自装置の光学系を通して受光面に結像させ、受光面の各素子が光の明暗を電荷の量に変換して電気信号に変換する撮像素子である。イメージセンサ12は、光の三原色(赤、青、緑)のそれぞれについて変換を行うことで、各画素のRGBの値を示す電気信号を出力する。
ストレージ13は、フラッシュメモリ等の記憶媒体であり、イメージセンサ12が変換した電気信号が表すカラーの画像データ等を記憶する。通信装置14は、アンテナ及び通信回路等を有し、通信回線2を介した通信又は他の通信装置とP2P(Peer to Peer)での無線通信を行う。発光装置15は、ストロボ又はフラッシュとも呼ばれ、撮像時に被写体に光を照射する。発光装置15は、本実施例では、白色光を照射する。白色光とは、色相をほとんど持たない白っぽい光のことであり、例えば彩度が閾値未満又は色温度が3500ケルビン以上5000ケルビン以下程度の色の光のことである。
図3は現場端末20のハードウェア構成を表す。現場端末20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、UI装置25(=User Interface)とを備えるコンピュータである。プロセッサ21は、例えば、CPU(=Central Processing Unit)等の演算装置、レジスタ及び周辺回路等を有する。メモリ22は、プロセッサ21が読み取り可能な記録媒体であり、RAM(=Random Access Memory)及びROM(=Read Only Memory)等を有する。
ストレージ23は、プロセッサ21が読み取り可能な記録媒体であり、例えば、ハードディスクドライブ又はフラッシュメモリ等を有する。プロセッサ21は、RAMをワークエリアとして用いてROMやストレージ23に記憶されているプログラムを実行することで各ハードウェアの動作を制御する。通信装置24は、アンテナ及び通信回路等を有し、通信回線2を介した通信又は他の通信装置とP2Pでの無線通信を行う。
UI装置25は、自装置を利用するユーザに対して提供されるインターフェースである。UI装置25は、例えば、表示手段であるディスプレイと、ディスプレイの表面に設けられたタッチパネルとを有するタッチスクリーンを有し、画像を表示するとともに、ユーザからの操作を受け付ける。また、UI装置25は、タッチスクリーン以外にも、キーボード等の操作子を有し、それらの操作子への操作を受け付ける。
図4は評価装置30のハードウェア構成を表す。評価装置30は、プロセッサ31と、メモリ32と、ストレージ33と、通信装置34と、UI装置35とを備えるコンピュータである。プロセッサ31からUI装置35までは、図3に表すプロセッサ21からUI装置25までと同種のハードウェアである。表層品質評価システム1においては、現場端末20及び評価装置30のプロセッサがプログラムを実行して各部を制御することで、以下に述べる機能が実現される。
図5は表層品質評価システム1において実現される機能構成を表す。現場端末20は、画像取得部201と、被写体色特定部202と、補色特定部203と、補色情報出力部204とを備える。評価装置30は、画像取得部301と、劣化事象検出部302と、検出結果出力部303とを備える。
本実施例では、まず、作業員が、撮像装置10、現場端末20及び複数のカラーフィルタ3,3・・・を被写体であるコンクリート構造体のある場所まで持ち運ぶ。作業員は、撮像装置10を操作して、発光装置15を発光させながら被写体を撮像する。この撮像は、被写体の表層の品質を評価する前の段階の撮像であり、以下では「事前撮像」と言う。事前撮像ではまだ、カラーフィルタ3を発光装置15に装着しない。
作業員は、撮像装置10を用いて、被写体に白色光を照射して、その白色光が照射された被写体を撮像する。撮像装置10は、撮像した被写体の画像(以下「事前画像」という。)をストレージ13に記憶する作業員は、撮像が終わると、撮像した被写体の事前画像を現場端末20に送信させる操作を撮像装置10に対して行う。撮像装置10は、ストレージ13から事前画像を読み出して現場端末20に送信する。
現場端末20の画像取得部201は、上記のとおり送信されてきた事前画像、すなわち、撮像装置10が撮像した被写体のカラーの画像を取得する。画像取得部201は、取得した事前画像を被写体色特定部202に送信する。被写体色特定部202は、送信された事前画像から、被写体の色を特定する。本実施例では、被写体であるコンクリート構造体以外が事前画像に写らないくらい近い距離から撮像がされるものとする。
被写体色特定部202は、例えば、事前画像内の各画素のRGBの値の平均値を算出し、算出したRGBの平均値から色相の値を算出して色相を特定する。色相の算出方法は、逆三角関数を用いて算出する方法や、RGBの成分比から近似的に求める方法などの周知の方法が用いられればよい。被写体色特定部202は、本実施例では、12色相環のうちのいずれかの色を被写体の色として特定する。被写体色特定部202は、本実施例では、赤、赤みの橙、黄みの橙、黄、黄緑、緑、青緑、緑みの青、青、青紫、紫、赤紫を12色相環として用いる。
被写体色特定部202は、12色相環の各色の色相の範囲を定めておき、算出した色相が含まれる範囲の色を被写体の色として特定する。各色の色相の範囲は、例えば、該当する色の色相値の前後15度の範囲である。例えば「赤」の色相を「0度」として、345度以上360度以下と0度以上15度未満との範囲を「赤」の色相の範囲とする。また、15度以上45度未満を「赤みの橙」の色相の範囲とし、45度以上75度未満を「黄みの橙」の色相の範囲とする。以下同様に、30度毎の各範囲が黄、黄緑、緑、青緑、緑みの青、青、青紫、紫、赤紫の色相の範囲とする。
被写体色特定部202は、上記のとおり被写体の色を特定すると、特定した色を補色特定部203に通知する。補色特定部203は、通知された色、すなわち、被写体色特定部202により特定された被写体の色の補色を特定する。補色とは、相補的(互いに補い合う関係)な色のことであり、色相環で正反対に位置する色のことである。補色特定部203は、本実施例では、通知された色と色相が180度異なる(つまり色相環において正反対に位置する)色を補色として特定する。また、補色の色の特定方法として被写体のRGB値を用いてRGB値の最大値と最小値を加算し、その値で各RGB値を引いて補色の色のRGB値を算出して特定することもできる。
補色特定部203は、具体的には、被写体の色が赤なら青緑、赤みの橙なら緑みの青、黄みの橙なら青、黄なら青紫、黄緑なら紫、緑なら赤紫を補色として特定する。なお、補色の特定方法はこれに限らない。補色特定部203は、例えば、被写体のRGBの値から補色を直接算出する方法を用いてもよい。具体的には、補色特定部203は、被写体色特定部202から被写体のRGBの平均値の値を被写体の色を表す情報として送信させて、RGBの平均値の最大値と最小値の合計から各平均値を減算する。
補色特定部203は、算出したRGBの値を補色のRGBの値として色相の値を算出し、被写体の色の特定と同様に、12色相環のうちのいずれかの色を補色として特定する。なお、この方法でも、被写体のRGBの平均値の値が被写体の色を表すので、被写体色特定部202による被写体の色の特定が行われていることになる。補色特定部203は、特定した補色を補色情報出力部204に通知する。
補色情報出力部204は、通知された補色を作業員に伝達するための情報(以下「補色伝達情報」と言う)を出力する。補色情報出力部204は、例えば、補色を示すテキストを補色伝達情報として自端末の表示手段であるディスプレイに出力して表示させる。
図6は表示された補色伝達情報の一例を表す。図6の例では、補色情報出力部204は、「被写体の補色は「青」でした。ストロボに青いカラーフィルタを被せて撮像してください。」というテキストを補色伝達情報として出力している。
なお、補色伝達情報はこれに限らない。例えば、補色の色を示すカラー画像でもよいし、音声で補色を伝達する情報であってもよい。出力された補色伝達情報により、撮像装置10の発光装置15に被せるべきカラーフィルタ3の色が作業員に伝達される。
図7はカラーフィルタ3の色の一例を表す。図7では、カラーフィルタ3R、3rO、3yO、3Y、3GY、3G、3BG、3gB、3B、3V、3P、3RPの色が、それぞれ赤、赤みの橙、黄みの橙、黄、黄緑、緑、青緑、緑みの青、青、青紫、紫、赤紫であることが表されている。
作業員は、伝達された補色のカラーフィルタ3を発光装置15に装着し、その状態で撮像装置10を操作して、発光装置15を発光させながら被写体を撮像する。このようにして、作業員は、補色特定部203により特定された補色の光を撮像装置10を用いて被写体に照射し、補色の光が照射された被写体を撮像する。
この撮像は、被写体の表層の品質を評価する段階の撮像であり、以下では「本番撮像」と言う。作業員は、本番撮像が終了すると、再び撮像装置10を操作して、撮像した被写体の画像(以下「本番画像」という。)を現場端末20に送信させる。現場端末20の画像取得部201は、送信されてきた本番画像、すなわち、本番撮像において撮像装置10が撮像した被写体のカラーの画像を取得する。画像取得部201は、取得した本番画像を、今度は評価装置30に送信する。
評価装置30の画像取得部301は、送信されてきた本番画像を取得する。画像取得部301は、取得した本番画像を劣化事象検出部302に送信する。劣化事象検出部302は、送信された本番画像、すなわち、上述した光の照射方法により補色の光が照射された被写体の画像に基づいて、その被写体の表面の劣化を示す事象を検出する。
劣化事象検出部302は、本実施例では、特許第6396117号公報に記載されている方法で劣化事象を検出する。コンクリート構造体の表層の劣化事象には、表面気泡、ひび割れ、打ち重ね線、砂すじ、豆板、表面剥離及び色むら等が含まれる。これらの劣化事象が生じた部分は、コンクリートの地肌とは異なる色を呈するようになる。また、劣化事象のうち、表面気泡とひび割れは、打ち重ね線、砂すじ、豆板、表面剥離、色むらと比べて色が濃い(黒に近い)傾向がある。
つまり、表面気泡及びひび割れに対応する色の範囲と、その他の劣化事象に対応する色の範囲と、コンクリートの地肌に対応する色の範囲とは、互いに異なっている。カラー画像データを構成する各画素の色は、一般にRGBの各色の階調で表現されているため、本実施形態では、RGBの3色の階調によって、画素ごとに、表面気泡及びひび割れ、その他の劣化事象、コンクリートの地肌のどの範囲に該当するかを判定する。
図8は劣化事象の検出基準の一例を表す。図8の例では、Rの値が0から255までの256階調で表されており、全画素のRの値の平均値を挟んで或る幅を有する範囲A1が、コンクリート基準範囲として定められている。Rの値が範囲A1に含まれる画素は、劣化事象が生じていない可能性が高い部分を表す。また、図8の例では、表面気泡とひび割れを表す画素のRの値の最頻値が表されている。
表面気泡とひび割れの最頻値は、実際にコンクリート構造物を撮像した本番画像を表示装置に表示させ、ユーザが目視により表面気泡又はひび割れと判断した画素のRの値から算出されている。αは、最頻値に対する色のばらつきを加味するための値であり、最頻値に対して或る係数を乗じた値である。例えば、最頻値が100であり、係数が0.3であるとすると、α=30となり、最頻値+α=130となる。
この場合、R=0以上130以下の範囲A2が、表面気泡・ひび割れ範囲として定められる。Rの値が範囲A2に含まれる画素は、表面気泡又はひび割れが生じている可能性が高い部分を表す。また、Rの値が範囲A1、A2のいずれにも含まれない画素は、その他の劣化事象が生じている可能性が高い部分を表す。G、BについてもRと同様に劣化事象の検出基準が定められる。
表面気泡及びひび割れの最頻値や全画素の平均値は、色ごとに異なっていてもよいし、2色又は3色が等しくなっていてもよい。また、色ごとに異なるαの値が設定されてもよい。劣化事象検出部302は、RGBのそれぞれについて、コンクリート基準範囲及び表面気泡・ひび割れ範囲を記憶している。劣化事象検出部302は、被写体の本番画像の各画素について、その画素のRGBの各値に基づいて、劣化事象が生じている部分であるか否かを判断する。
劣化事象検出部302は、被写体の本番画像の各画素の判断結果を反映する画素データベースを生成する。
図9は画素データベースの一例を表す。画素データベースは、画素ごとのレコードを有し、各レコードは、「座標値」、「R階調値」、「G階調値」、「B階調値」、「種別」、「ラベル値」の各項目に対応するフィールドを有する。
「座標値」は、直交座標系における各画素の座標値である。「R階調値」、「G階調値」、「B階調値」は、それぞれR、G、Bを256階調で表した値である。「種別」は、「0:劣化事象なし」、「1:表面気泡又はひび割れの可能性」、「2:その他の劣化事象の可能性」、「3:表面気泡」、「4:ひび割れ」、「5:その他の劣化事象」というように、劣化事象の発生状況を種別ごとに異なる数字で表したものである。
「ラベル値」は、連結する画素に付与されたラベルの番号である。本実施例では、劣化事象が生じた部分の可能性があると判断された画素に対して公知のラベリング処理を施すことによって、互いに隣り合う複数の画素で構成される連結画素群が抽出され、連結画素群ごとに固有のラベル値が付与される。続いて、劣化事象の検出処理について、図10~図12を参照して説明する。
図10は検出処理における動作手順の一例を表す。まず、劣化事象検出部302は、被写体の本番画像の全画素のRGBの平均値を算出し、算出した平均値に基づいて図8で説明したようにコンクリート基準範囲をRGBの各色について特定する(ステップS11)。次に、劣化事象検出部302は、図8で説明した表面気泡・ひび割れ範囲をRGBの各色について特定する(ステップS12)。
具体的には、現場端末20に被写体の本番画像を表示させ、表面気泡又はひび割れと見られる複数の箇所をユーザがUI装置25(マウス等)を用いて指定する。指定された本番画像は評価装置30の画像取得部301に送信され、劣化事象検出部302は、ユーザが指定した箇所に位置する画素のRGBの値の最頻値を各色について特定し、特定した最頻値に係数を乗じて図8に表すαを求め、表面気泡・ひび割れ範囲を特定する。
続いて、劣化事象検出部302は、評価対象画素を選択する(ステップS21)。次に、劣化事象検出部302は、評価対象画素が表面気泡・ひび割れ範囲に含まれるか否かを判断する(ステップS22)。具体的には、劣化事象検出部302は、画素データベースから評価対象画素のRGBの値を読み出し、RGBの全ての値が表面気泡・ひび割れ範囲に含まれる場合には、評価対象画素が表面気泡・ひび割れ範囲に含まれると判断する。
劣化事象検出部302は、評価対象画素が表面気泡・ひび割れ範囲に含まれる(YES)と判断すると、評価対象画素は表面気泡又はひび割れの可能性があると判断し(ステップS23)、画素データベースの評価対象画素に対応する種別のフィールドに「1」を書き込む。劣化事象検出部302は、評価対象画素が表面気泡・ひび割れ範囲に含まれない(NO)と判断すると、評価対象画素がコンクリート基準範囲に含まれるか否かを判断する(ステップS24)。
劣化事象検出部302は、RGBの全ての値がコンクリート基準範囲に含まれる場合には、評価対象画素がコンクリート基準範囲に含まれると判断する。劣化事象検出部302は、評価対象画素がコンクリート基準範囲に含まれる(YES)と判断すると、評価対象画素は劣化事象なしと判断し(ステップS25)、画素データベースの評価対象画素に対応する種別のフィールドに「0」を書き込む。
劣化事象検出部302は、評価対象画素がコンクリート基準範囲に含まれない(NO)と判断すると、評価対象画素はその他の劣化事象の可能性があると判断し(ステップS26)、画素データベースの評価対象画素に対応する種別のフィールドに「2」を書き込む。劣化事象検出部302は、ステップS23、S25、S26の後は、全画素を評価したか否かを判断し(ステップS27)、評価していない(NO)と判断した場合はステップS21に戻って評価していない画素を対象に評価を続ける。
劣化事象検出部302は、ステップS27において全画素を評価した(YES)と判断した場合は、ラベリング処理を行い(ステップS28)、全ての画素にラベル値を付与して画素データベースに書き込む。この処理によって、互いに隣り合う複数の画素で構成される連結画素群が抽出され、連結画素群ごとに固有のラベル値が付与される。劣化事象検出部302は、ステップS28の動作を行うと、検出処理における動作手順を終了する。
以上の動作手順により、各画素の劣化事象の種別は、「0:劣化事象なし」、「1:表面気泡又はひび割れの可能性」、「2:その他の劣化事象の可能性」のいずれかと判断される。検出処理のステップS23において表面気泡又はひび割れの可能性があると判断された画素で構成される連結画素群については、さらに詳細な判断を行う第1判断処理が行われ、検出処理のステップS26においてその他の劣化事象の可能性があると判断された画素で構成される連結画素群については、さらに詳細な判断を行う第2判断処理が行われる。
図11は第1判断処理における動作手順の一例を表す。まず、劣化事象検出部302は、連結画素群が密集基準を満たしているか否かを判断する(ステップS31)。密集基準とは、例えば、連結画素群に含まれる画素の数の閾値である。劣化事象検出部302は、連結画素群に含まれる画素の数が密集基準未満である場合には、連結画素群が密集基準を満たしていない(NO)と判断し、その連結画素群は劣化事象が生じた部分を示していないと判断する(ステップS32)。
連結画素群に含まれる画素の数が非常に少ない場合(例えば、画素の数が1つ)、その連結画素群は、画像データのエラーである可能性があるからである。この場合、劣化事象検出部302は、画素データベースの評価対象画素に対応する種別のフィールドに「0」を上書きする。劣化事象検出部302は、連結画素群に含まれる画素の数が密集基準以上である場合には、連結画素群が密集基準を満たしている(YES)と判断し、連結画素群の形状が表面気泡の特性に合致するか、ひび割れの特性に合致するかを判断する(ステップS33)。
例えば、表面気泡の特性とは、連結画素群の形状が面状であることであり、ひび割れの特性とは、連結画素群の形状が線状であることである。劣化事象検出部302は、連結画素群の形状が表面気泡の特性に合致する場合(ステップS33:表面気泡)には、連結画素群が表面気泡であると判定し(ステップS34)、画素データベースのその連結画素群に対応する種別のフィールドに「3」を上書きする。
劣化事象検出部302は、連結画素群の形状がひび割れの特性に合致する場合(ステップS33:ひび割れ)には、連結画素群がひび割れであると判定し(ステップS35)、画素データベースのその連結画素群に対応する種別のフィールドに「4」を上書きする。劣化事象検出部302は、ステップS32、S34、S35の動作を行うと、第1判断処理の動作手順を終了する。
図12は第2判断処理における動作手順の一例を表す。まず、劣化事象検出部302は、連結画素群が密集基準を満たしているか否かを判断する(ステップS41)。密集基準とは、例えば、第1判断処理と同様に、連結画素群に含まれる画素の数の閾値である。なお、第1判断処理及び第2判断処理の密集基準は同じでもよいし異なっていてもよい。劣化事象検出部302は、連結画素群に含まれる画素の数が密集基準未満である場合には、連結画素群が密集基準を満たしていない(NO)と判断し、その連結画素群は劣化事象が生じた部分を示していないと判断する(ステップS42)。
この場合、劣化事象検出部302は、画素データベースの評価対象画素に対応する種別のフィールドに「0」を上書きする。劣化事象検出部302は、連結画素群に含まれる画素の数が密集基準以上である場合には、連結画素群が密集基準を満たしている(YES)と判断し、評価対象画素はその他の劣化事象を表す画素であると判断する(ステップS43)。この場合、劣化事象検出部302は、画素データベースの評価対象画素に対応する種別のフィールドに「5」を上書きする。
劣化事象検出部302は、以上のとおり、被写体の表面に生じた劣化事象を検出し、検出が完了した旨を検出結果出力部303に通知する。検出結果出力部303は、劣化事象検出部302による劣化事象の検出結果を示す結果情報を出力する。検出結果出力部303は、例えば、画素データベースを参照し、「種別」が「3:表面気泡」、「4:ひび割れ」、「5:その他の劣化事象」となっている連結画素群を強調した本番画像を結果情報として出力する。
表層品質評価システム1が備える各装置は、上記の構成により、被写体の表層の品質を評価するための評価処理を行う。
図13は評価処理における動作手順の一例を表す。図13に表す動作手順は、撮像装置10、現場端末20及び評価装置30によって行われる。なお、一部の動作は、作業員が各装置を使用し又は操作することで行われる。
まず、撮像装置10は、作業員によって操作され、被写体に白色光を照射して、その白色光が照射された被写体を撮像する(ステップS51)。次に、撮像装置10は、作業員によって操作され、撮像した被写体の事前画像を現場端末20に送信する(ステップS52)。現場端末20は、送信されてきた事前画像を取得すると、取得した被写体の事前画像から、被写体の色を特定する(ステップS53)。
次に、現場端末20は、特定した被写体の色の補色を特定し(ステップS54)、特定した補色を作業員に伝達するための補色伝達情報を出力する(ステップS55)。作業員は、出力された補色伝達情報により被写体の色の補色を把握し(ステップS56)、把握した補色のカラーフィルタ3を発光装置15に装着する。撮像装置10は、発光装置15にカラーフィルタ3が装着されると(ステップS61)、作業員の操作により、補色の光を被写体に照射し、補色の光が照射された被写体を撮像する(ステップS62)。
撮像装置10は、撮像した被写体の本番画像を評価装置30に送信する(ステップS63)。評価装置30が送信されてきた本番画像を取得すると、作業員は、UI装置35(マウス等)を用いて、本番画像上の表面気泡又はひび割れと見られる複数の箇所を指定する。評価装置30は、作業員によるそれらの箇所の指定を受け付ける(ステップS64)。評価装置30は、被写体の本番画像及び指定された箇所に基づいて、その被写体の表面の劣化を示す事象を検出し(ステップS65)、その検出結果を出力する(ステップS66)。
被写体の色を特定するステップS53は本発明の「第1特定ステップ」の一例である。ステップS53で特定された色の補色を特定するステップS54は本発明の「第2特定ステップ」の一例である。ステップS54で特定された補色の光を前記被写体に照射するステップS62は本発明の「第1照射ステップ」の一例である。また、事前撮像において被写体に白色光を照射するステップS51は本発明の「第2照射ステップ」の一例である。
また、事前撮像において白色光が照射された前記被写体を撮像するステップS51は本発明の「撮像ステップ」の一例でもある。なお、ステップS51からS53までは被写体の色を特定するまでの一連のステップであり、本発明の「第1特定ステップ」の一例である。ステップS53においては、ステップS51で撮像された被写体の事前画像に基づきその被写体の色を特定する。ステップS54で特定された補色の光が照射された被写体の本番画像に基づいてその被写体の表面の劣化を示す事象を検出するステップS65は、本発明の「検出ステップ」の一例である。
上記の検出処理では、ステップS24においてRGBの全ての値がコンクリート基準範囲に含まれる場合に評価対象画素がコンクリート基準範囲に含まれると判断されている。しかし、被写体の色によっては、劣化事象が生じていない状態でも、RGBのうちの1つ又は2つの値が小さくなる場合がある。例えばトンネル内の照明によって被写体の色が緑がかっていると、Rの値が小さくなる。
その場合、劣化事象が生じていないコンクリート構造体であっても、評価対象画素がその他の劣化事象の可能性があると判断され、そのような画素が多くあると、第2判断処理においても連結画素群が密集基準を満たしてしまい、評価対象画素がその他の劣化事象を表す画素であると判断されてしまう。RGBのうちの小さくなる値とは、被写体の色に対する補色の色において大きくなる値である。
例えば前述した例のように被写体の色が緑がかっている場合、補色の赤紫の光が照射された物体の画像においては、赤紫の光が反射されることで、この光が照射されない場合に比べてRの値が大きくなる。このように、本実施例によれば、被写体の色において小さな値となっていたRGBのいずれかの値が補色の光の照射によって補填され、補色の光を照射しない場合に比べて、被写体の画像の色の偏りを補正して、表層劣化箇所とコンクリート等表面の境界を明瞭化し、適切な検出処理を行い、適切な評価を得ることができる。
その結果、劣化事象が生じていない状態であれば、RGBの全ての値がコンクリート基準範囲に含まれやすくなるから、補色の光を照射しない場合に比べて、劣化事象の検出の精度を向上させることができる。また、事前撮像においては、彩度が閾値未満又は色温度が3500ケルビン以上5000ケルビン以下程度の光である白色光を照射することで、白色光以外の光を照射する場合に比べて、被写体の色が正確に特定できるようにして、その補色も正確に特定できるようにしている。
なお、発明者は、カラーフィルタを装着することで劣化事象の検出の精度が変動することについて、実験で検証した。この検証実験には、一眼レフカメラ、ストロボ、カメラ用三脚、カラーフィルタ(イメージビジョン社製)を用いた。実験手順は、まず、ストロボを装着した一眼レフカメラをカメラ用三脚に取り付け、トンネル壁面からレンズ表面までが1m(メートル)となるように設置した。
次に、カラーフィルタはストロボ前面との間に数mm(ミリメートル)隙間をあけ、弓なりの状態でゴムバンドにより装着した。これは、カラーフィルタがストロボの帯びた熱により溶けないようにする措置である。続いて、ストロボのバウンス設定は地面と平行(被写体に対して直角方向)になるように設定した。そして、ストロボの光量に関しては、後述する光量の変動方法に基づき、適当となる光量で撮像を実施した。
撮影条件は、蛍光灯やナトリウムランプといった照明に影響されず、また太陽光がほとんど入射しないトンネル内とした。前述した照明条件の影響もあり、カメラのオートフォーカス機能が作動しなかったため、撮影対象箇所に照明器具で光をあて、カメラのピント調節を行いながら撮影を実施した。
図14は検証実験の結果の一例を表す。図14の例では、横軸が表面気泡の個数(個)を示し、縦軸が表面気泡の面積率(%)を示すグラフが表されている。検証実験では、#01から#14及び#16から#21までの20種類のカラーフィルタを用いた。なお、#15はフィルタを装着しないストロボ自体の光の色を示している。#15の場合、表面気泡の個数が約400個、表面気泡の面積率が約0.08%であった。
これに対し、#18(1/2 CTO(色温度オレンジ:6500K~3800K))、#21(Heavy Frost Diffusion)、#03(Just Blue)、#19(1/4 CTO(6500K~4600K))、#17(Full CTO(6500K~3200K))、#07(Medium Yellow)、#06(Moss Green)、#05(Steel Green)のカラーフィルタを装着した場合は、検出される表面気泡個数が次第に増えていき、#05の場合に検出される表面気泡個数が最も多くなった。
一方、#20(Plus Green(cc30 Green))、#08(Oklahoma Yellow)、#04(Medium Blue Green)、#16(1/2 CTB(色温度ブルー:3200K~4300K))、#09(Dark Salmon)、#12(Follies Pink)、#14(Chocolate)、#10(Rust)、#13(Smokey Pink)、#11(Bright Red)、#01(Deep Purple)、#02(Special KH Lavender)のカラーフィルタを装着した場合は、検出される表面気泡個数が次第に減っていき、#01、#02の場合に検出される表面気泡個数が最も少なくなった。
図14に表す検証実験では、#06(Moss Green)、#05(Steel Green)という緑色系のカラーフィルタを装着した場合に表面気泡個数が最も多くなり、緑色系と色相が反対の色である#01(Deep Purple)、#02(Special KH Lavender)という紫色系のカラーフィルタを装着した場合に表面気泡個数が最も少なくなった。この結果から、被写体の色が紫色に近い色であり、被写体と同じ色である紫色系の光を照射すると検出精度が悪くなる一方で、補色である緑色系の光を照射すると検出精度が高くなることが確かめられた。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
[2-1]画像の取得
現場端末20の画像取得部201は、実施例では、撮像装置10が撮像してストレージ13に記憶した被写体の画像(事前画像及び本番画像)を取得したが、これに限らない。例えば、撮像装置10が写している画像をストレージ13に記憶させずにリアルタイムに現場端末20に送信させ、送信されてきた被写体の画像を画像取得部201が取得してもよい。要するに、撮像装置10に画像を記憶させることは必須ではない。
[2-2]事前撮像
実施例では事前撮像において発光装置15が光を照射したが、事前撮像では光の照射が必須ではない。例えばトンネルでも出入口に近い場所や屋外のコンクリート構造体であれば、自然光が十分に照射されるので、発光装置15で光を照射する必要がない。
[2-3]光量の変動
実施例では、発光装置15が照射する光の光量を特に変動させなかったが、その光量を変動させてもよい。本変形例では、撮像装置10が、作業員の操作により光量を調整可能な発光装置15を備えているものとする。作業員等は、予め、12色相環の各色が特定されるテスト用の被写体(劣化事象が生じているもの)を用意して、テスト用の被写体に対して補色のカラーフィルタ3を照射して被写体を撮像する。
そして、作業員等は、各色の被写体の本番画像に基づいて劣化事象を検出させて、その結果と被写体の本番画像を作業員自身が確認して劣化事象の有無を判断した結果とを比較した結果を示す比較結果テーブルを作成して現場端末20に記憶させる。
図15は比較結果テーブルの一例を表す。図15の例では、発光装置15が最大出力の40%、60%、80%、100%の4通りの光量で光を照射した場合の比較結果を、被写体の各色について表した比較結果テーブルが表されている。
例えばテスト用の被写体の色が色相1である場合は、光量が60%までは「暗い」で、光量が80%では「適当」、光量が100%では「明るい」となっている。「暗い」とは、光量が十分ではなくて、劣化事象の検出が適切に行われない場合を示す。例えば、劣化事象が生じてない部分の画素でもステップS24においてRGBの全ての値がコンクリート基準範囲に含まれず、検出処理により過剰に劣化事象が検出される場合である。
また、光量が十分でないと、RGBの全画素の平均値が小さくなり、コンクリート基準範囲も小さな値の範囲になる場合がある。その場合、劣化事象が生じている部分の画素がコンクリート基準範囲に含まれてしまい、検出処理により劣化事象が検出されにくくなることがある。この場合も、劣化事象の検出が適切に行われない場合に含まれる。
「明るい」とは、光量が大きすぎて、劣化事象が生じている部分の画素でもステップS24においてRGBの全ての値がコンクリート基準範囲に含まれてしまい、検出処理により劣化事象が検出されにくくなる場合を示す。また、「適当」とは、光量が適当であり、検出処理による検出結果と人の目による判断結果とが概ね一致する場合を示す。テスト用の被写体の色が色相2である場合は、光量が80%までは「暗い」で、光量が100%では「適当」となっている。
また、テスト用の被写体の色が色相3である場合は、光量が40%では「暗い」で、光量が60%では「適当」、光量が80%以上では「明るい」となっている。このように、補色のカラーフィルタ3によって、検出処理で正確な検出結果を得るための光量が異なっている。そこで、本変形例では、本発明の第1照射ステップの一例であるステップS62において、撮像装置10が、補色の色に応じた光量の光を前記被写体に照射する。
具体的には、例えば、補色情報出力部204が、比較結果テーブルを参照し、特定された補色のカラーフィルタ3を用いる場合、すなわち、特定された被写体の色の場合の光量を示す情報を補色情報として出力する。作業員は、出力された補色情報が示す光量で光を照射するように撮像装置10を操作して、被写体を撮像する。本変形例によれば、光量が一定である場合に比べて、適切な光量で光が照射され、劣化事象の検出の精度を向上させることができる。
[2-4]撮像の自動化
被写体の撮像を自動化してもよい。
図16は本変形例の撮像装置10aのハードウェア構成を表す。撮像装置10aは、図2に表すハードウェアに加えて飛行装置16と、センサ装置17とを備える飛行体(例えばドローン)である。飛行装置16は、モータ及びローター等を備え、自機を飛行させる装置である。
撮像装置10aは、飛行装置16を用いて、空中において、あらゆる方向に撮像装置10aを移動させたり、静止(ホバリング)させたりすることができる。センサ装置17は、飛行制御に必要な情報を取得するセンサ群を有する装置である。センサ装置17は、例えば、自機の位置(緯度及び経度)を測定する位置センサを備える。また、センサ装置17は、自機が向いている方向(飛行体には自機の正面方向が定められており、定められた正面方向が向いている方向)を測定する方向センサを備える。
また、センサ装置17は、自機の高度を測定する高度センサと、自機の速度を測定する速度センサとを備える。また、センサ装置17は、3軸の角速度及び3方向の加速度を測定する慣性計測センサ(IMU(Inertial Measurement Unit))を備える。また、本変形例の発光装置15は、コントローラ11の制御により切替可能な複数のカラーフィルタ3、3、・・・を内蔵しており、照射する光の色を切り替えられるようになっているものとする。
図17は撮像装置10aが実現する機能構成の一例を表す。撮像装置10aは、移動制御部101と、撮像制御部102と、照射制御部103と、被写体色特定部104と、補色特定部105と、画像送信部106とを備える。移動制御部101は、自装置の移動を制御する。移動制御部101は、例えば、被写体から一定の距離だけ離れた位置を被写体に沿って飛行し、一定間隔で定められた撮像位置において停止(ホバリング)するよう移動を制御する。
撮像制御部102は、イメージセンサ12等を制御して、被写体を撮像する。撮像制御部102は、被写体を撮像する際、光を照射するよう照射制御部103に指示する。照射制御部103は、発光装置15を制御して、被写体に光を照射する。撮像制御部102は、撮像位置における1回目の撮像、すなわち、事前撮像においては、白色光の発光を指示する。照射制御部103は、指示に従い、白色光を被写体に照射する。
撮像制御部102は、白色光が照射された被写体を撮像し、被写体の事前画像を取得する。撮像制御部102は本発明の「取得部」の一例である。撮像制御部102は、取得した事前画像を被写体色特定部104に送信する。被写体色特定部104は、送信された被写体の事前画像に基づいて、被写体の色を特定する。被写体の色の特定方法は、実施例で述べた方法と同じである。
被写体色特定部104は、特定した被写体の色を補色特定部105に通知する。補色特定部105は、通知された被写体の色の補色を特定する。これにより、補色特定部105は、撮像制御部102により取得された被写体の事前画像からその被写体の色の補色を特定することになる。補色特定部105は本発明の「特定部」の一例である。補色の特定方法も、実施例で述べた方法と同じである。
補色特定部105は、特定した補色を撮像制御部102に通知する。撮像制御部102は、補色を通知されると、通知された補色の光を照射するよう照射制御部103に指示する。照射制御部103は、指示に従い、補色特定部105により特定された補色の光を被写体に照射する。照射制御部103は本発明の「照射部」の一例である。撮像制御部102は、補色の光が照射された被写体を撮像し、被写体の本番画像を取得する。撮像制御部102は本発明の「撮像部」の一例である。
補色特定部105は、撮像した被写体の本番画像を画像送信部106に送信する。画像送信部106は、送信された本番画像を現場端末20を介して又は直接、評価装置30に送信する。評価装置30は、図10~図12の処理を行って被写体の劣化事象の検出を行う。本変形例においても、実施例と同様に、補色の光を照射しない場合に比べて、被写体の本番画像の色の偏りを補正することができる。また、撮像位置を指定しておけば、作業員がカラーフィルタの装着や撮像を行う手間をかけることなく、補色の光が照射された被写体の本番画像を取得することができる。
なお、撮像装置10aは、事前撮像及び本番撮像の両方の撮像を行ったが、事前撮像用の撮像装置と本番撮像用の撮像装置を別々に用意してもよい。事前撮像及び本番撮像で撮像装置を別々にすることで、本番撮像を行っている間に次の事前撮像を行うことができ、撮像装置が一体の場合に比べて、撮像に要する時間を短くすることができる。一方、撮像装置10aであれば、外部装置である撮像装置10から画像を取得する場合に比べて、現場に持ち込む撮像装置を少なくすることができる。
また、被写体色特定部104及び補色特定部105を撮像装置以外の外部装置が備えていてもよい。その場合、例えば、撮像装置の外部装置である現場端末20又は評価装置30が被写体色特定部104及び補色特定部105を備える。
図18は撮像装置10aが実現する機能構成の別の一例を表す。図18の例では、撮像装置10aは、図17に表す被写体色特定部104及び補色特定部105に代えて、特定結果受信部107を備える。
画像送信部106は、撮像制御部102により取得された被写体の事前画像を、その画像被写体の色の補色を特定する機能を有する外部装置である評価装置30に送信する。画像送信部106は本発明の「送信部」の一例である。評価装置30は、送信されてきた被写体の事前画像に基づいて被写体の補色を特定し、補色の特定結果を撮像装置10aに送信する。
特定結果受信部107は、評価装置30から送信されてくる補色の特定結果を受信する。特定結果受信部107は本発明の「受信部」の一例である。特定結果受信部107は、受信した特定結果を撮像制御部102に送信する。撮像制御部102は、送信された特定結果が示す補色の光を照射するよう照射制御部103に指示する。照射制御部103は、指示された補色の光、すなわち、特定結果受信部107により受信された特定結果が示す補色の光を被写体に照射する。
以上のとおり被写体色特定部104及び補色特定部105を外部装置である現場端末20又は評価装置30に備えさせることで、撮像装置が補色を特定する場合に比べて、撮像装置に必要な処理能力を小さくすることができる。しかし、補色等の特定を外部装置である現場端末20又は評価装置30で行うためには、無線通信が可能な場所であることが必要である。これに対し、図17の例のように撮像装置が被写体色特定部104及び補色特定部105を備えておけば、無線通信が不能な場所でも補色の特定から補色の光が照射された被写体の撮像までを行うことができる。
また、本変形例の撮像装置は、飛行体に限らず、車両であってもよいし、歩行するロボットであってもよい。要するに、自装置を移動させる手段を備えた装置であればよい。なお、撮像装置が移動手段を備えていなくても、被写体を撮像する度に人が撮像装置を移動させるようにしてもよい。
[2-5]劣化事象の検出方法
劣化事象検出部302は、実施例で述べた特許第6396117号公報に記載されている方法とは異なる周知の方法で劣化事象を検出してもよい。その場合でも、被写体の画像においてRGBのうちの1つ又は2つの値が小さくなり、検出の精度が低下するようであれば、補色の光を照射しない場合に比べて、被写体の画像の色の偏りを補正し、劣化事象の検出の精度を向上させることができる。
[2-6]被写体の色及び補色
被写体色特定部202及び補色特定部203は、被写体の色及び補色として、実施例では12色相環の色を特定したが、これに限らず、24色相環の色を特定してもよいし、それ以外の色数の色相環の色を特定してもよい。いずれの場合も、特定された補色のカラーフィルタが用意されていて、補色の光を照射できるようになっていればよい。
また、補色特定部203が補色の色相の値を特定した場合に、作業員は、特定された補色の色相の値のカラーフィルタを用意して、用意したカラーフィルタを撮像装置10の発光装置15に装着して補色の光を照射させてもよい。なお、予め全ての色相値のカラーフィルタを用意することは難しいので、特定された補色の色の色相値のカラーフィルタがない場合は、特定された補色に最も近い色相値のカラーフィルタを装着して光を照射させるか、新たに作成するか、可能な場合は、複数のカラーフィルタを重ねることで、特定された色相値のカラーフィルタとして用いてもよい。
[2-7]各部を実現する装置
図5等に表す各機能を実現する装置は、図中に表された装置に限らない。例えば評価装置30が実現する機能を現場端末20がまとめて実現してもよい。また、評価装置30が実現する機能を2以上の装置又はクラウドコンピューティングサービスで提供されるリソースで分散して実現してもよい。
また、例えば、実施例では画像取得部201が事前撮像の事前画像と本番撮像の本番画像の両方を取得したが、これら2つの動作を別々の機能が行ってもよい。また、被写体色特定部104及び補色特定部105の行う動作を1つの統合された機能が行ってもよい。要するに、表層品質評価システム全体として図5等に表された機能が実現されていれば、装置毎の機能分担及び各機能が行う動作の範囲は自由に定められてよい。
[2-8]発明のカテゴリ
本発明は、現場端末及び評価装置等の情報処理装置の他、各情報処理装置と撮像装置とを備える情報処理システム(表層品質評価システム1がその一例)としても捉えられる。また、本発明は、各情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるし、各情報処理装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等の通信回線を介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。