JP7439684B2 - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7439684B2 JP7439684B2 JP2020129315A JP2020129315A JP7439684B2 JP 7439684 B2 JP7439684 B2 JP 7439684B2 JP 2020129315 A JP2020129315 A JP 2020129315A JP 2020129315 A JP2020129315 A JP 2020129315A JP 7439684 B2 JP7439684 B2 JP 7439684B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- information processing
- brightness
- peeling
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 99
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000009826 distribution Methods 0.000 claims description 70
- 238000004364 calculation method Methods 0.000 claims description 40
- 239000003973 paint Substances 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000007717 exclusion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 40
- 238000011156 evaluation Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 238000013523 data management Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 238000000576 coating method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 239000011248 coating agent Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- QTTMOCOWZLSYSV-QWAPEVOJSA-M equilin sodium sulfate Chemical compound [Na+].[O-]S(=O)(=O)OC1=CC=C2[C@H]3CC[C@](C)(C(CC4)=O)[C@@H]4C3=CCC2=C1 QTTMOCOWZLSYSV-QWAPEVOJSA-M 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Description
本開示内容は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
近年、施工から長期間経過した道路上の構造物の劣化が著しく、このような構造物の点検および老朽化保全の必要性が増してきている。そのため、走行中の車両や人に損害を与える可能性がある道路上の構造物に対して、定期的な点検を行い、国または自治体への点検結果の報告が行われている（特許文献１参照）。
また、道路の舗装表面には、表面温度の上昇を抑制するための遮熱性舗装が施されている。この遮熱性舗装は、経年劣化により塗装（遮熱材）のはがれが発生することが知られており、定期的な点検が必要となる（非特許文献１参照）。
しかしながら、従来の方法では、目視や手作業に頼る部分が多く、調査に時間がかかるとともに、定量的に塗装のはがれを算出することが困難であるという課題があった。
上述した課題を解決すべく、請求項１に係る発明は、塗装が施された構造物の撮像画像を評価する情報処理装置であって、前記撮像画像の画素ごとの輝度を示す輝度画像における輝度値の出現頻度に基づいて推定された、前記撮像画像における塗装領域および前記塗装のはがれの領域を示すはがれ領域の輝度分布を、表示部に表示させる表示制御手段と、前記塗装領域と前記はがれ領域を含む算出対象の領域を決定する閾値の入力を受け付ける受付手段と、入力された前記閾値に基づいて決定された前記算出対象の画素数を用いて、前記塗装のはがれ率を算出する算出手段と、を備える情報処理装置である。
本発明によれば、塗装のはがれを定量的に算出することができるという効果を奏する。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●システムの概略●
まず、図１を用いて、本実施形態に係る情報処理システムの概略について説明する。図１は、情報処理システムの全体構成の一例を示す図である。図１に示されている情報処理システム１は、撮影システム９によって取得された各種データを用いて、構造物の性状の調査を行う性状調査システムである。
まず、図１を用いて、本実施形態に係る情報処理システムの概略について説明する。図１は、情報処理システムの全体構成の一例を示す図である。図１に示されている情報処理システム１は、撮影システム９によって取得された各種データを用いて、構造物の性状の調査を行う性状調査システムである。
情報処理システム１は、路面ｒｓ１等の構造物のひび割れ等の性状を調査する撮影システム９、および撮影システム９で取得された各種データを評価する情報処理装置３によって構成されている。構造物は、歩道面、車が走行する車道面（路面）、電車が走行する線路、法面、トンネルの内面、または道路上の構造物等である。なお、道路上の構造物は、例えば、路端部上に設置される標識または電柱等である。
以降は、移動体としての車両が走行する路面の性状を調査する場合について説明する。情報処理システム１は、例えば、一方に長く延びる構造物を一定の区間に区切ってその表面性状を調査する場合に利用される。
図１に示されているように、撮影システム９は、車両等の移動体６、路面カメラ６１、データ取得装置５、およびＧＮＳＳ(Global Navigation Satellite System：全球測位衛星システム)センサ６５を有している。路面カメラ６１、データ取得装置５およびＧＮＳＳセンサ６５は、移動体６に搭載されている。なお、「路面カメラ６１」は、複数の路面カメラの総称である。ＧＮＳＳは、ＧＰＳ(Global Positioning System)または準天頂衛星（QZSS）等の衛星測位システムの総称である。
路面カメラ６１は、移動体６のルーフ後部に、進行方向とは反対の方向に向けて設けられ、移動体６の後方の路面ｒｓ１を撮像するステレオカメラである。なお、路面カメラ６１は、移動体６のルーフの前部に進行方向と同じ方向に向けて設けてもよく、移動体６のルーフの側部に進行方向と直角（または略直角）方向に向けて設けてもよい。また、路面カメラ６１は、ステレオカメラに限られず、光電変換素子を一列または複数列に配置させたラインセンサを搭載したラインカメラ、または光電変換素子が面状に配置されたエリアセンサを搭載したカメラ等の撮像装置であってもよい。路面カメラ６１は、撮像手段の一例である。
ＧＮＳＳセンサ６５は、複数のＧＮＳＳ衛星が発信した各時間の信号を受信し、各信号を受信した時刻との差で衛星までの距離を算出することで、地球上の位置を計測する測位手段の一例である。測位手段は、測位専用の装置であってもよく、ＰＣまたはスマートフォン等にインストールされた測位専用のアプリケーションであってもよい。
また、上記各計測データには、各路面映像データおよび測定位置データが含まれている。これらのうち、各路面映像データは、路面カメラ６１によって得られた映像（動画）のデータである。この各路面映像データでは、映像のフレームデータ毎に、メタデータとして撮影された時刻を示す撮影時刻データが付加されている。なお、路面カメラ６１によって、映像（動画）の路面映像データだけでなく、静止画または静止画の集合によるデータを得るようにしてもよい。
測定位置データは、ＧＮＳＳセンサ６５によって得られたデータである。この測定位置データには、メタデータとして測位された時刻を示す測位時刻データが付加されている。
データ取得装置５は、路面カメラ６１およびＧＮＳＳセンサ６５から取得した各種データを取得するＰＣ(Personal Computer)である。各計測データは、情報処理装置３に受け渡され、情報処理装置３での評価（データ解析）に用いられる。なお、データ取得装置５から情報処理装置３への計測データの受け渡し方法は、ＬＡＮ(Local Area Network)、Ｗｉ－Ｆｉ(Wireless Fidelity（登録商標）)、４Ｇ(4th Generation)、５Ｇ（5th Generation）、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等を使った無線通信、ＵＳＢ(Universal Serial Bus)ケーブル等を使った有線通信、またはＵＳＢメモリ等を使った人的な移動が挙げられる。
情報処理装置３は、データ取得装置５から受け渡された各計測データに基づいて、構造物の性状を評価するＰＣである。情報処理装置３には、構造物の性状を評価するための専用アプリケーションプログラムがインストールされている。情報処理装置３は、各路面映像データから路面ｒｓ１の凹凸等の表面性状を計測し、計測結果に基づいて、路面ｒｓ１の損傷の有無、損傷の度合いを評価する。また、情報処理装置３は、構造物性状の評価結果、測定位置データ、および自治体もしくは国（以下、「道路管理者」と記す）から取得した道路台帳等のデータを利用して、道路管理者が定めるフォーマットに従った提出書類のデータを作成する。道路台帳には、実際の正確な道路の位置を示す実際位置データが含まれている。
なお、道路台帳には、道路地図が掲載されているが、正確な道路位置情報（測位情報：緯度、経度値）が含まれていない場合がある。この場合、正確な道路測位情報を得るためには、道路地図と、測位地図情報（国土地理院等が保有している、緯度、経度値情報）を照合する必要がある。そして、情報処理装置３によって作成された提出書類のデータは、道路管理者に、電子データまたは書類に印刷した状態で提出される。なお、情報処理装置３は、ＰＣに限られず、スマートフォンまたはタブレット端末等であってもよい。また、情報処理装置３は、移動体６に搭載されていてもよい。
●ハードウエア構成●
続いて、図２を用いて、情報処理システム１を構成する各装置のハードウエア構成について説明する。なお、図２に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
続いて、図２を用いて、情報処理システム１を構成する各装置のハードウエア構成について説明する。なお、図２に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
●情報処理装置のハードウエア構成
図２は、情報処理装置のハードウエア構成の一例を示す図である。情報処理装置３の各ハードウエア構成は、３００番台の符号で示されている。情報処理装置３は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤ(Hard Disk)３０４、ＨＤＤ(Hard Disk Drive)コントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ(Interface)３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、キーボード３１１、ポインティングデバイス３１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ３１４、メディアＩ／Ｆ３１６、およびタイマ３１７を備えている。
図２は、情報処理装置のハードウエア構成の一例を示す図である。情報処理装置３の各ハードウエア構成は、３００番台の符号で示されている。情報処理装置３は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤ(Hard Disk)３０４、ＨＤＤ(Hard Disk Drive)コントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ(Interface)３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、キーボード３１１、ポインティングデバイス３１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ３１４、メディアＩ／Ｆ３１６、およびタイマ３１７を備えている。
これらのうち、ＣＰＵ３０１は、情報処理装置３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ３０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ３０６は、表示部の一例である。なお、ディスプレイ３０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリまたはプリンタ等である。ネットワークＩ／Ｆ３０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。
また、キーボード３１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１２は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード３１１およびポインティングデバイス３１２のみならず、タッチパネルまたは音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ３１３に対する各種データの読み出しまたは書き込みを制御する。なお、着脱可能な記録媒体は、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲまたはＢｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ３１６は、フラッシュメモリ等の記録メディア３１５に対するデータの読み出しまたは書き込み（記憶）を制御する。タイマ３１７は、時間計測機能を有する計測装置である。タイマ３１７は、コンピュータによるソフトタイマでもよい。
●データ取得装置のハードウエア構成
図２は、データ取得装置のハードウエア構成の一例を示す図である。データ取得装置５の各ハードウエア構成は、括弧内の５００番台の符号で示されている。データ取得装置５は、コンピュータによって構築されており、図２に示されているように、情報処理装置３と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
図２は、データ取得装置のハードウエア構成の一例を示す図である。データ取得装置５の各ハードウエア構成は、括弧内の５００番台の符号で示されている。データ取得装置５は、コンピュータによって構築されており、図２に示されているように、情報処理装置３と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカードまたはＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、情報処理装置３は、本発明に係るプログラムが実行されることで本発明に係る情報処理方法を実現する。
●機能構成●
続いて、図３および図４を用いて、実施形態に係る情報処理システムの機能構成について説明する。図３は、実施形態に係る情報処理システムの機能構成の一例を示す図である。なお、図３は、図１に示されている装置のうち、後述の処理または動作に関連しているものを示す。
続いて、図３および図４を用いて、実施形態に係る情報処理システムの機能構成について説明する。図３は、実施形態に係る情報処理システムの機能構成の一例を示す図である。なお、図３は、図１に示されている装置のうち、後述の処理または動作に関連しているものを示す。
●情報処理装置の機能構成
まず、図３を用いて、情報処理装置３の機能構成について説明する。情報処理装置３は、通信部３１、受付部３２、表示制御部３３、輝度画像取得部３４、変換部３５、推定部３６、決定部３７、算出部３８、作成部４１および記憶・読出部３９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開され情報処理装置用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能または手段である。また、情報処理装置３は、図２に示されているＲＯＭ３０２およびＨＤ３０４によって構築される記憶部３０００を有している。
まず、図３を用いて、情報処理装置３の機能構成について説明する。情報処理装置３は、通信部３１、受付部３２、表示制御部３３、輝度画像取得部３４、変換部３５、推定部３６、決定部３７、算出部３８、作成部４１および記憶・読出部３９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開され情報処理装置用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能または手段である。また、情報処理装置３は、図２に示されているＲＯＭ３０２およびＨＤ３０４によって構築される記憶部３０００を有している。
通信部３１は、主に、ネットワークＩ／Ｆ３０９に対するＣＰＵ３０１の処理によって実現され、通信ネットワークを介して、他の装置との間で各種データまたは情報の通信を行う。通信部３１は、例えば、データ取得装置５との間で、路面性状の評価に係る各種データを送受信する。
受付部３２は、主に、キーボード３１１またはポインティングデバイス３１２に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。受付部３２は、例えば、後述する評価画面４００に対する各種選択または入力を受け付ける。表示制御部３３は、主に、ＣＰＵ３０１の処理によって実現され、ディスプレイ３０６に、各種画像を表示させる。表示制御部３３は、例えば、後述する評価画面４００を、ディスプレイ３０６に表示させる。
輝度画像取得部３４は、ＣＰＵ３０１の処理によって実現され、撮像画像の画素ごとの輝度を示す輝度画像を取得する。変換部３５は、ＣＰＵ３０１の処理によって実現され、輝度画像における輝度値の整数変換を行う。推定部３６は、ＣＰＵ３０１の処理によって実現され、輝度画像の画素ごとの輝度値の出現頻度に基づいて、路面の遮熱性舗装の領域を示す塗装領域および塗装（遮熱材）のはがれの領域を示すはがれ領域の輝度分布を推定する。
決定部３７は、ＣＰＵ３０１の処理によって実現され、推定部３６によって推定された輝度分布に基づいて、輝度画像におけるはがれ領域を決定する。算出部３８は、ＣＰＵ３０１の処理によって実現され、決定部３７によって決定されたはがれ領域に含まれる画素数を用いて、塗装（遮熱材）のはがれ率を算出する。作成部４１は、ＣＰＵ３０１の処理によって実現され、算出部３８によるはがれ率の算出結果を示す評価画像を作成する。
記憶・読出部３９は、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００に、各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。
●データ取得装置の機能構成
次に、図３を用いて、データ取得装置５の機能構成について説明する。データ取得装置５は、通信部５１、判断部５２、撮影制御部５３、センサ制御部５４、時刻データ取得部５５、要求受付部５６、データ管理部５７および記憶・読出部５９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたデータ取得装置用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、データ取得装置５は、図２に示されているＲＯＭ５０２およびＨＤ５０４によって構築される記憶部５０００を有している。
次に、図３を用いて、データ取得装置５の機能構成について説明する。データ取得装置５は、通信部５１、判断部５２、撮影制御部５３、センサ制御部５４、時刻データ取得部５５、要求受付部５６、データ管理部５７および記憶・読出部５９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたデータ取得装置用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、データ取得装置５は、図２に示されているＲＯＭ５０２およびＨＤ５０４によって構築される記憶部５０００を有している。
通信部５１は、主に、ネットワークＩ／Ｆ５０９に対するＣＰＵ５０１の処理によって実現され、通信ネットワークを介して、他の装置との間で各種データまたは情報の通信を行う。通信部５１は、例えば、撮影制御部５３およびセンサ制御部５４によって取得された取得データを、情報処理装置３に対して送信する。判断部５２は、ＣＰＵ５０１の処理によって実現され、各種判断を行う。
撮影制御部５３は、主に、外部機器接続Ｉ／Ｆ５０８に対するＣＰＵ５０１の処理によって実現され、路面カメラ６１による撮影処理を制御する。また、撮影制御部５３は、路面カメラ６１によって撮影された撮像画像に係る撮像画像データ（路面映像データ）を取得する。センサ制御部５４は、主に、外部機器接続Ｉ／Ｆ５０８に対するＣＰＵ５０１の処理によって実現され、ＧＮＳＳセンサ６５に対するデータ取得処理を制御する。また、センサ制御部５４は、ＧＮＳＳセンサ６５による測位結果である測位位置データを取得する。時刻データ取得部５５は、主に、タイマ５１７に対するＣＰＵ５０１の処理によって実現され、撮影制御部５３またはセンサ制御部５４によってデータが取得された時刻を示す時刻データ（撮影時刻データ、測位時刻データ）を取得する。
要求受付部５６は、主に、キーボード５１１またはポインティングデバイス５１２に対するＣＰＵ５０１の処理によって実現され、利用者からの所定の要求を受け付ける。データ管理部５７は、主に、ＣＰＵ５０１の処理によって実現され、各種データの管理を行う。データ管理部５７は、例えば、路面カメラ６１およびＧＮＳＳセンサ６５から送信された路面映像データおよび測位位置データを、取得データ管理ＤＢ５００１に登録する。
記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。
○取得データ管理テーブル
図４は、取得データ管理テーブルの一例を示す概念図である。取得データ管理テーブルは、データ取得装置５によって取得された各種取得データを管理するためのテーブルである。記憶部５０００には、図４に示されているような取得データ管理テーブルによって構成されている取得データ管理ＤＢ５００１が構築されている。この取得データ管理テーブルは、フォルダごとに、路面映像データ、測位位置データおよび取得時刻を関連づけて管理している。
図４は、取得データ管理テーブルの一例を示す概念図である。取得データ管理テーブルは、データ取得装置５によって取得された各種取得データを管理するためのテーブルである。記憶部５０００には、図４に示されているような取得データ管理テーブルによって構成されている取得データ管理ＤＢ５００１が構築されている。この取得データ管理テーブルは、フォルダごとに、路面映像データ、測位位置データおよび取得時刻を関連づけて管理している。
これらのうち、路面映像データは、路面カメラ６１によって撮影された撮像データのデータファイルである。測位位置データは、ＧＮＳＳセンサ６５によって計測された測位位置を示すデータである。さらに、取得時刻は、路面映像データおよび測位位置データが取得された時刻を示す時刻データである。一つの点検工程において取得されたデータは、同一のフォルダ内に記憶される。
●実施形態の処理または動作●
●データ取得処理
続いて、図５乃至図１５を用いて、実施形態に係る情報処理システムの処理または動作について説明する。まず、図５および図６を用いて、撮影システム９を用いたデータ取得処理について説明する。構造物性状の点検作業者は、例えば、移動体６に搭乗して道路上の存在する路面状態の撮影を行う。以下、詳細に説明する。
●データ取得処理
続いて、図５乃至図１５を用いて、実施形態に係る情報処理システムの処理または動作について説明する。まず、図５および図６を用いて、撮影システム９を用いたデータ取得処理について説明する。構造物性状の点検作業者は、例えば、移動体６に搭乗して道路上の存在する路面状態の撮影を行う。以下、詳細に説明する。
図５は、撮影システムを用いたデータ取得処理の一例を示すシーケンス図である。まず、点検作業者が所定の入力操作等を行うことで、データ取得装置５の要求受付部５６は、データ取得開始要求を受け付ける（ステップＳ１１）。そして、データ取得装置５は、路面カメラ６１およびＧＮＳＳセンサ６５を用いたデータ取得処理を実行する（ステップＳ１２）。具体的には、撮影制御部５３は、路面カメラ６１に対して撮影要求を行うことで、所定の領域に対する撮影処理を開始する。また、センサ制御部５４は、路面カメラ６１による撮影処理と同期させながら、ＧＮＳＳセンサ６５による検知処理を開始する。そして、撮影制御部５３は、路面カメラ６１によって取得された路面映像データを取得し、センサ制御部５４は、ＧＮＳＳセンサ６５によって取得された測位位置データを取得する。また、時刻データ取得部５５は、撮影制御部５３およびセンサ制御部５４によって各種データが取得された時刻を示す時刻データを取得する。
そして、データ管理部５７は、ステップＳ１２で取得された取得データを、取得データ管理ＤＢ５００１（図４参照）に登録する（ステップＳ１３）。データ管理部５７は、取得データに含まれている各データの取得時刻を示す時刻データに関連づけて、路面映像データおよび測位位置データを一つのフォルダに記憶する。
ここで、図６を用いて、撮影システム９を用いたデータ取得処理の概略について説明する。図６は、撮影システムによって取得される路面映像データについて説明するための図である。図６に示されているように、移動体６のルーフ後部には、二つの路面カメラ６１ａ，６１ｂが設けられている。また、各路面カメラ６１ａ，６１ｂは、斜め下方の路面ｒｓ１に向くように一列に並べて配置されており、それぞれ路面ｒｓ１の所定範囲を撮影範囲ｐｒ１ａ，ｐｒ１ｂとして撮像する。路面カメラ６１は、移動体６の進行方向に対して画像の一部が重なり合うタイミングで撮像を繰り返し行う。路面カメラ６１は、路面ｒｓ１の幅方向全体を撮像可能なように複数台設置されるため、幅方向に対しても画像の一部が重なり合うように複数台が同時に撮像を行う。
移動体６は、路面ｒｓ１上を走行しながら、路面カメラ６１で路面ｒｓ１の所定範囲を、進行方向にその一部が重なるように撮像していく。なお、路面カメラ６１は、移動体６の前方のナンバープレート周辺に設置されてもよい。また、路面カメラ６１は、移動体６に三つ以上設置されてもよい。道路幅が狭い場合には、移動体６に路面カメラを一つだけ設置されるようにしてもよい。路面カメラ６１がステレオカメラである場合、路面カメラ６１は、例えば、左右に並べた二つのカメラの視差情報を利用し、評価対象の路面ｒｓ１に形成された凹凸等の奥行き情報を取得する。
このように、撮影システム９は、移動体６を走行させながら、データ取得装置５に備えられた路面カメラ６１を用いて、路面を撮影する。データ取得装置５は、移動体６の走行に伴い、路面映像データおよび測位位置データを時系列に取得していく。このとき、路面カメラ６１およびＧＮＳＳセンサ６５は、時刻同期が取られており、撮影時の移動体６の姿勢から撮像画像の傾き補正（画像補正）が行われ、撮影時刻から路面映像データと測位位置データ（北緯東経）が紐づけられる。なお、移動体６は、図６で示されているような自動車に限られず、自転車もしくはオートバイ等のその他の車両、ロボット、またはドローン等であってもよい。
●路面性状の評価処理
次に、図７および図１５を用いて、情報処理装置３における路面性状の解析処理について説明する。図７は、情報処理装置を用いた路面性状の評価処理の一例を示すシーケンス図である。
次に、図７および図１５を用いて、情報処理装置３における路面性状の解析処理について説明する。図７は、情報処理装置を用いた路面性状の評価処理の一例を示すシーケンス図である。
まず、情報処理装置３の通信部３１は、データ取得装置５に対して、データ送信要求を送信する（ステップＳ３１）。このデータ送信要求は、要求対象のデータが記憶されたフォルダ名を含む。これにより、データ取得装置５の通信部５１は、情報処理装置３から送信されたデータ送信要求を受信する。
次に、データ取得装置５の記憶・読出部５９は、ステップＳ３１で受信されたデータ送信要求に含まれているフォルダ名を検索キーとして取得データ管理ＤＢ５００１を検索することにより、データ送信要求に含まれているフォルダ名に関連づけられた取得データを読み出す（ステップＳ３２）。そして、通信部５１は、情報処理装置３に対して、ステップＳ３２で読み出された取得データを送信する（ステップＳ３３）。この取得データは、路面映像データ、測位位置データおよび時刻データを含む。これにより、情報処理装置３の通信部３１は、データ取得装置５から送信された取得データを受信する。
次に、情報処理装置３は、ステップＳ３３で受信された取得データを用いて、路面の塗装のはがれ率の算出処理を実行する（ステップＳ３４）。ここで、遮熱性舗装が施された路面の状態について説明する。図８は、遮熱性舗装が施された路面における遮熱材のはがれについて説明するための図である。図８に示されているように、遮熱性舗装が施された路面は、遮熱性舗装が施された塗装領域と、舗装剥離が発生したはがれ領域と、路面上の空隙が存在する空隙箇所である空隙領域とに分類される。遮熱性舗装とは、舗装表面に赤外線を反射させる遮熱性樹脂を塗布したり、遮熱モルタルを充填したりすることにより、舗装の路面温度の上昇を抑制することができる。はがれ領域とは、遮熱性舗装による塗装が剥がれた領域であり、塗装のはがれは、経年劣化により発生する。また、塗装領域、はがれ領域および空隙領域の明るさは、塗装領域が最も明るく、空隙領域が最も暗くなることが図８から推察される。そこで、情報処理装置３は、撮像画像の輝度値を利用して、路面における塗装のはがれが発生したはがれ領域の割合を示すはがれ率の算出を行う。以下詳細に説明する。
○はがれ率の算出処理
ここで、図９乃至図１４を用いて、塗装のはがれ率の算出処理について説明する。図９は、塗装のはがれ率の算出処理の一例を示すフローチャートである。
ここで、図９乃至図１４を用いて、塗装のはがれ率の算出処理について説明する。図９は、塗装のはがれ率の算出処理の一例を示すフローチャートである。
まず、情報処理装置３の輝度画像取得部３４は、ステップＳ３３で受信された路面映像データの輝度画像を取得する（ステップＳ５１）。具体的には、輝度画像取得部３４は、受信された路面映像データを、静止画としての撮像画像の画像データとして分割する。そして、輝度画像取得部３４は、分割された画像データに対して、各画像データに含まれる各画素の輝度値を示す輝度画像（図１０（Ａ）参照）を取得する。なお、説明を簡略化するため、図１０（Ａ）に示されている輝度画像の大きさは、５×５ｐｉｘｅｌである例を示すが、輝度画像の大きさは、これに限られず、５００×５００ｐｉｘｅｌのようなサイズであってもよい。
次に、変換部３５は、輝度画像取得部３４によって取得された輝度画像に含まれる輝度値を、整数値に変換する（ステップＳ５２）。図１０（Ｂ）に示されているように、変換部３５は、例えば、０～２５５の範囲で輝度値の整数変換を行う。図１０（Ａ）に示されている輝度画像の各画素の輝度値は、その大きさに応じて、図１０（Ｂ）に示されているような０～２５５の整数値に変換される。なお、変換部３５による整数変換の範囲は、０～２５５に限られない。そして、変換部３５は、一つの輝度画像に含まれる整数値の出現頻度を、輝度ヒストグラムとして算出する（ステップＳ５３）。
次に、表示制御部３３は、路面性状の評価を行うための評価画面４００を、ディスプレイ３０６に表示させる（ステップＳ５４）。図１１は、情報処理装置に表示される評価画面の一例を示す図である。図１１に示されている評価画面４００は、塗装領域の輝度分布とはがれ領域の輝度分布の混合分布の推定を行うための推定領域４１０、ステップＳ５３で算出された輝度ヒストグラムを表示させる表示領域４５０、塗装領域とはがれ領域を分けるための輝度閾値（第１の閾値）を設定するための設定領域４７０、はがれ領域と空隙領域等の輝度値の低い領域である除外領域を分けるための輝度閾値（第２の閾値）を設定するための設定領域４８０、はがれ率の値を示すはがれ率表示領域４９０、および撮像画像における各画素の属する領域を示した設定用画像を表示させる表示領域２００を含む。
このうち、推定領域４１０は、初期パラメータの設定値を入力するための入力領域４１３ａ，４１３ｂ、および算出された輝度ヒストグラムに基づく混合分布の推定を行う場合に押下される「混合分布推定」ボタン４１５を含む。推定領域４１０では、初期パラメータとして、「塗装頂点の輝度（塗装領域の輝度分布の頂点の輝度）」および「はがれ頂点の輝度（はがれ領域の輝度分布の頂点の輝度）」の値が設定可能となっている。なお、設定可能な初期パラメータの値は、これに限られず、塗装領域またははがれ領域の輝度分布の幅等が設定できる構成であってもよい。また、図１１に示されている評価画面４００は、混合分布の推定を行う前の状態である。この場合、図１１に示されているように、表示領域４５０は、ステップＳ５３で算出された輝度ヒストグラムの分布を表示している。
次に、利用者が「混合分布の推定」ボタン４１５を押下すると、推定部３６は、変換部３５によって算出された輝度値のヒストグラムに基づいて、路面の塗装領域の輝度分布と塗装のはがれが発生したはがれ領域の輝度分布を含む混合分布を推定する（ステップＳ５５）。具体的には、推定部３６は、算出されたヒストグラムが、塗装領域に属する画素の輝度分布と、はがれ領域に属する画素の輝度分布の混合分布に近似できると仮定し、二つの分布を混合させた（足し合わせた）混合分布の推定を行う。推定部３６は、ＥＭアルゴリズム（expectation-maximization algorithm）と呼ばれる確率分布のパラメータを推定する手法に従って、下記（式１）に示されているような混合正規分布ｐ（ｘ）を推定する。
本例では、ＥＭアルゴリズムを輝度分布の推定に適用する。ここで、ｘは輝度値であり、ｐｋ（ｘ）は推定された各領域の分布であり、ｐｋ（ｘ）は平均値μｋ、分散σｋから決まる正規分布である。また、ａｋは各分布がｐ（ｘ）にどれだけ寄与しているか、つまり混合比率を表している。ＥＭアルゴリズムでは、μｋ、σｋ、ａｋの三つのパラメータを初期値から更新していくことで、ｐ（ｘ）の推定を行う。μｋ、ａｋの初期値は、輝度画像ごとにヒストグラムから各正規分布が最大となる点（分布の頂点）を推定し、その点の輝度、頻度の値にそれぞれ設定する。なお、（式１）は、混合正規分布ｐ（ｘ）を算出する例を示したが、推定部３６は、正規分布に限られず、ベータ分布等のその他の分布を用いて混合分布を算出する構成であってもよい。
ここで、利用者は、評価画面４００に示されている入力領域４１３ａ，４１３ｂに入力する初期パラメータの値を更新することで、混合分布が輝度ヒストグラムに近づいていくように調整する。この初期パラメータは、上述のμｋのパラメータである。評価画面４００に示されている「塗装頂点の輝度」および「はがれ頂点の輝度」は、μｋ（μ１，μ２）の値に対応する。受付部３２によって入力領域４１３ａ，４１３ｂに入力される値の変更が受け付けられ、利用者が「混合分布の推定」ボタン４１５を押下することで、推定部３６は、初期パラメータの値を更新して再度混合分布の推定を行う。これによって、利用者は、混合分布が輝度ヒストグラムに近づいていくように調整することができる。なお、情報処理装置３は、入力領域４１３ａ，４１３ｂに入力される初期パラメータとして、μｋの値に加え、σｋ、ａｋの値も入力して初期パラメータの値を更新可能な構成であってもよい。
図１２は、ＥＭアルゴリズムによって推定された混合分布の一例を示す図である。図１２は、ステップＳ５５で推定された塗装領域とはがれ領域の輝度分布の混合分布、およびステップＳ５３で算出された輝度ヒストグラムを示している。図１２に示されているように、推定部３６は、上述の（式１）を用いた処理によって、塗装領域の輝度分布とはがれ領域の輝度分布の二つの分布の混合分布を推定する。例えば、（式１）は、ｐ（ｘ）＝ａ１ｐ１（ｘ）＋ａ２ｐ２（ｘ）と書き下すことができ、ａ１ｐ１（ｘ）は、図１２に示す実線の分布となり、塗装領域の輝度分布を示す。一方で、ａ２ｐ２（ｘ）は、図１２に示す破線の分布となり、はがれ領域の輝度分布を示す。このような二つの分布を混合させた（足し合わせたような）分布が混合分布ｐ（ｘ）となる。受付部３２は、ａ１ｐ１（ｘ）とａ２ｐ２（ｘ）の混合分布であるｐ（ｘ）が輝度ヒストグラムに近づいていくように、利用者によって入力領域４１３ａ，４１３ｂに入力された初期パラメータの設定値の更新を受け付ける。図１２に示されている混合分布は、評価画面４００において、輝度ヒストグラムとともに表示領域４５０に表示される。
次に、受付部３２は、ディスプレイ３０６に表示された評価画面４００に対する輝度閾値の入力が受け付ける（ステップＳ５６）。図１３に示されているように、評価画面４００の設定領域４７０は、輝度の整数値の範囲４７１における輝度閾値（第１の閾値）の設定値を示す設定ポイント４７３、および輝度閾値（第１の閾値）の値を直接入力するための入力領域４７５を含む。同様に、設定領域４８０は、輝度の整数値の範囲４８１における輝度閾値（第２の閾値）の設定値を示す設定ポイント４８３、および輝度閾値（第２の閾値）の値を直接入力するための入力領域４８５を含む。また、表示領域４５０には、混合分布における輝度閾値に該当する箇所が表示されている。利用者は、整数値の範囲４７１，４８１の間で、設定ポイント４７３，４８３をポインティングデバイス３１２等の入力手段を用いて移動させることで、閾値の箇所を視覚的に把握しながら輝度閾値を入力することができる。なお、利用者は、入力領域４７５，４８５に数値を入力することで、輝度閾値を入力してもよい。
また、表示領域２００は、入力された輝度閾値およびステップＳ５２で算出された画素ごとの輝度値に基づいて、領域ごとに色分けされた撮像画像を設定用画像として表示する。利用者は、表示領域２００に表示された画像を確認しながら、入力する輝度閾値の値を調整する。
次に、決定部３７は、受付部３２によって入力された輝度閾値の値に基づいて、塗装領域とはがれ領域を分けるための輝度の閾値を、撮像画像ごとに決定する（ステップＳ５７）。また、決定部３７は、ステップＳ５７によって決定された輝度閾値に基づいて、撮像画像の各画素が、塗装領域、はがれ領域および除外領域のいずれの領域に属するかを決定する（ステップＳ５８）。図１４（Ａ）に示されているように、決定部３７は、輝度画像の各画素の輝度値（整数値）と、輝度閾値を比較することで、各画素が属する領域を決定する。図１４（Ａ）の例では、塗装領域とはがれ領域の輝度閾値（第１の閾値）は、１１５であり、はがれ領域と除外領域の輝度閾値（第２の閾値）は、５９である。
次に、算出部３８は、決定部３７によって決定された各領域の大きさ、すなわち各領域に属する画素数の総和を、撮像画像ごとに算出する（ステップＳ５９）。図１４（Ｂ）は、図１４（Ａ）に示されている各領域に属する画素数の総和を示す。図１２（Ｂ）の例の場合、塗装領域の画素数は１１、はがれ領域の画素数は８、除外領域の画素数は６である。
そして、算出部３８は、ステップＳ５９で算出された各領域の大きさを用いて、撮像画像が示す路面における塗装のはがれ率を算出する（ステップＳ６０）。算出部３８は、下記（式２）を用いて、撮像画像ごとにはがれ率をそれぞれ算出する。
ここで、算出対象の画素数は、ステップＳ５９で算出されたはがれ領域に属する画素数と除外領域に属する画素数の和であり、全画素数は、撮像画像全体の画素数、すなわち塗装領域、はがれ領域および除外領域に属する画素数の総和である。図１４（Ｂ）の例では、算出対象であるはがれ領域の画素数と除外領域の画素数の和は１４、全画素数は２５であるため、算出部３８は、はがれ率５６％を算出する。
また、算出対象の画素数は、ステップＳ５９で算出されたはがれ領域に属する画素数のみを用いる構成であってもよい。この場合、図１４（Ｂ）の例では、算出対象であるはがれ領域の画素数は８、全画素数は２５であるため、算出部３８は、はがれ率３２％を算出する。
このように、算出対象の領域がはがれ領域と除外領域を含む場合には、上述の処理において第２の閾値の決定が不要になるため、はがれ率算出に掛かる工数を低減させることができる。一方で、算出対象の領域をはがれ領域のみとする場合、はがれ領域と除外領域とを区別したはがれ率を算出することによって、はがれ率の算出精度を向上させることができる。
さらに、算出部３８は、下記（式３）で示されているように、算出対象の画素数としてはがれ領域に属する画素数のみを用いるとともに、除外領域に属する画素数を全画素数から除算した値を用いてはがれ率を算出してもよい。算出部３８は、下記（式３）を用いることで、塗装に対するはがれのみを含んだはがれ率として、塗装のはがれの状況をより精度良く算出することができる。
このように、情報処理装置３は、撮像画像の輝度値に基づいて決定されたはがれ領域に基づいて塗装のはがれ率を算出することで、処理に要する時間を低減することができるとともに、塗装のはがれを定量的に算出することができる。
また、受付部３２は、評価画面４００に対する輝度閾値の変更が受け付けられた場合（ステップＳ６１のＹＥＳ）、処理をステップＳ５７へ移行させ、ステップＳ５７以降の処理を繰り返す。この場合、ステップＳ５７において、決定部３７は、設定領域４７０，４８０を用いて受け付けられた値を、輝度閾値をして決定する。情報処理装置３は、決定された輝度閾値を用いて、ステップＳ５８以降の処理を実行する。そして、ステップＳ６０において、算出部３８は、変更された輝度閾値に基づいて、上述のはがれ率の算出処理を行う。一方で、受付部３２は、輝度閾値の変更が受け付けられない場合（ステップＳ６１のＮＯ）、図９に示す処理を終了する。
このように、情報処理装置３は、撮像画像の輝度分布を表示させるとともに、利用者によって入力された輝度閾値の値を用いてはがれ率の算出を行うことで、路面の塗装のはがれを定量的に算出することができる。また、情報処理装置３は、評価画面４００を用いて評価内容を可視化し、利用者の目視により輝度閾値を変更することで、はがれ率の算出結果を簡易な方法で調整することができる。
図７に戻り、情報処理装置３の作成部４１は、算出部３８によるはがれ率の算出結果の評価画像を作成する（ステップＳ３６）。具体的には、作成部４１は、ステップＳ３４で受信された路面映像データが分割された撮像画像に対応する測位位置情報および時刻データを用いて、模式的に路面を再現した評価画像を作成する。図１５に示されているように、作成部４１は、複数の撮像画像の相対位置に基づいて、複数の撮像画像を並べる。そして、作成部４１は、撮像画像ごとのはがれ率の値を用いて、並べられた撮像画像の濃淡または色彩で、はがれ率を表現する。作成部４１は、例えば、はがれ率が高い撮像画像の位置を暗くし、はがれ率が低い撮像画像の位置を明るくする。
また、作成部４１は、以下表１に示されているように、撮像画像の撮影区間ごとのはがれ率の平均値を算出する。そして、作成部４１は、図１５に示されている評価画像の対応する区間に応じて算出したはがれ率の値を表示させる。なお、作成部４１によって作成される評価画像の内容は、これに限られず、撮像画像ごとにはがれ率の値を個別に示す内容であってもよい。また、作成部４１によって作成された評価画像は、図１に示されている道路管理者に提供される提出書類に含まれていてもよい。
●実施形態の効果
以上説明したように、情報処理システム１は、移動体６に搭載された路面カメラ６１によって撮影された撮像画像の輝度分布に基づいて塗装のはがれ率の算出を行うことで、算出処理に要する時間を低減させることができる。また、情報処理システム１は、従来の撮像画像の目視によるはがれの状態を確認する方法と比較して、路面の塗装のはがれを定量的に算出することができる。これにより、情報処理システム１は、路面の塗装のはがれの点検効率を大幅に向上させることができる。
以上説明したように、情報処理システム１は、移動体６に搭載された路面カメラ６１によって撮影された撮像画像の輝度分布に基づいて塗装のはがれ率の算出を行うことで、算出処理に要する時間を低減させることができる。また、情報処理システム１は、従来の撮像画像の目視によるはがれの状態を確認する方法と比較して、路面の塗装のはがれを定量的に算出することができる。これにより、情報処理システム１は、路面の塗装のはがれの点検効率を大幅に向上させることができる。
なお、上述の実施形態において、遮熱性塗装のはがれ率を算出する例を説明したが、情報処理システム１は、路面、トンネル、橋梁等の他の構造物の塗装のはがれ率の算出に用いられてもよい。情報処理システム１は、撮影システム９を用いて、道路上の様々な構造物の塗装のはがれの調査を行うことで、インフラ点検の更なる効率化を図ることができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、塗装が施された構造物（例えば、路面）の撮像画像を評価する情報処理装置３であって、撮像画像の画素ごとの輝度を示す輝度画像における輝度値の出現頻度に基づいて推定された、撮像画像における塗装領域、および塗装のはがれの領域を示すはがれ領域の輝度分布を、ディスプレイ３０６（表示部の一例）に表示させる。そして、情報処理装置３は、塗装領域とはがれ領域を含む算出対象の領域を決定する閾値の入力を受け付け、入力された閾値に基づいて決定された算出対象の画素数を用いて、塗装のはがれ率を算出する。これにより、情報処理装置３は、撮像画像の輝度分布を表示させるとともに、利用者によって入力された輝度閾値の値を用いてはがれ率の算出を行うことで、塗装のはがれを定量的に算出することができる。
以上説明したように、本発明の一実施形態に係る情報処理装置は、塗装が施された構造物（例えば、路面）の撮像画像を評価する情報処理装置３であって、撮像画像の画素ごとの輝度を示す輝度画像における輝度値の出現頻度に基づいて推定された、撮像画像における塗装領域、および塗装のはがれの領域を示すはがれ領域の輝度分布を、ディスプレイ３０６（表示部の一例）に表示させる。そして、情報処理装置３は、塗装領域とはがれ領域を含む算出対象の領域を決定する閾値の入力を受け付け、入力された閾値に基づいて決定された算出対象の画素数を用いて、塗装のはがれ率を算出する。これにより、情報処理装置３は、撮像画像の輝度分布を表示させるとともに、利用者によって入力された輝度閾値の値を用いてはがれ率の算出を行うことで、塗装のはがれを定量的に算出することができる。
また、本発明の一実施形態に係る情報処理装置は、塗装領域とはがれ領域を決定する第１の閾値、およびはがれ領域と除外領域を決定する第２の閾値の入力を受け付け、入力された第１の閾値および第２の閾値に基づいて、輝度画像におけるはがれ領域および除外領域を決定する。そして、情報処理装置３は、決定されたはがれ領域に属する画素数を算出対象の領域に属する画素数として、はがれ率を算出する。これにより、情報処理装置３は、はがれ領域と除外領域とを区別したはがれ率を算出することによって、はがれ率の算出精度を向上させることができる。
さらに、本発明の一実施形態に係る情報処理システムは、情報処理装置３と、構造物（例えば、路面）が撮影された撮像画像を取得する路面カメラ６１（撮像手段の一例）を搭載した移動体６と、を備える。また、移動体６は、移動に応じて路面カメラ６１によって撮像画像を取得する。これにより、情報処理システム１は、塗装のはがれの点検効率を大幅に向上させることができる。
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習および深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る情報処理装置、情報処理システム、情報処理方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
１ 情報処理システム
３ 情報処理装置
５ データ取得装置
６ 移動体
９ 撮影システム
６１ 路面カメラ（撮像手段の一例）
６５ ＧＮＳＳセンサ
３１ 通信部
３２ 受付部（受付手段の一例）
３３ 表示制御部（表示制御手段の一例）
３４ 輝度画像取得部
３５ 変換部
３６ 推定部
３７ 決定部（決定手段の一例）
３８ 算出部（算出手段の一例）
４１ 作成部
５１ 通信部
４００ 評価画面
５０６ ディスプレイ（表示部の一例）
３ 情報処理装置
５ データ取得装置
６ 移動体
９ 撮影システム
６１ 路面カメラ（撮像手段の一例）
６５ ＧＮＳＳセンサ
３１ 通信部
３２ 受付部（受付手段の一例）
３３ 表示制御部（表示制御手段の一例）
３４ 輝度画像取得部
３５ 変換部
３６ 推定部
３７ 決定部（決定手段の一例）
３８ 算出部（算出手段の一例）
４１ 作成部
５１ 通信部
４００ 評価画面
５０６ ディスプレイ（表示部の一例）
「６.遮熱性舗装のはがれ対策に関する室内試験による検証」（平２５．土木技術支援・人材育成センター年報、Annual Report、C.E.S.T.C., TMG 2013）
Claims (10)
- 塗装が施された構造物の撮像画像を評価する情報処理装置であって、
前記撮像画像の画素ごとの輝度を示す輝度画像における輝度値の出現頻度に基づいて推定された、前記撮像画像における塗装領域および前記塗装のはがれの領域を示すはがれ領域の輝度分布を、表示部に表示させる表示制御手段と、
前記塗装領域と前記はがれ領域を含む算出対象の領域を決定する閾値の入力を受け付ける受付手段と、
入力された前記閾値に基づいて決定された前記算出対象の画素数を用いて、前記塗装のはがれ率を算出する算出手段と、
を備える情報処理装置。 - 前記算出手段は、下記（式２）を用いて、前記はがれ率を算出する請求項１に記載の情報処理装置。
- 入力された前記閾値に基づいて、前記輝度画像における前記算出対象の領域を決定する決定手段を備え、
前記算出手段は、決定された前記算出対象の領域に属する画素数を用いて、前記塗装のはがれ率を算出する請求項１または２に記載の情報処理装置。 - 前記受付手段は、前記塗装領域と前記はがれ領域を決定する第１の閾値、および前記はがれ領域と除外領域を決定する第２の閾値の入力を受け付け、
前記決定手段は、入力された前記第１の閾値および前記第２の閾値に基づいて、前記輝度画像における前記はがれ領域および前記除外領域を決定し、
前記算出手段は、決定された前記はがれ領域に属する画素数を前記算出対象の領域に属する画素数として、前記はがれ率を算出する請求項３に記載の情報処理装置。 - 前記決定手段は、前記輝度分布に示される輝度値の高い順に、前記塗装領域、前記はがれ領域、前記除外領域を決定する請求項４に記載の情報処理装置。
- 前記表示制御手段は、ＥＭアルゴリズムに基づく混合分布を用いて推定された前記輝度分布を、前記表示部に表示させる請求項１乃至５のいずれか一項に記載の情報処理装置。
- 前記受付手段は、前記混合分布を用いた前記輝度分布の推定を行うためのパラメータの入力を受け付け、
前記表示制御手段は、入力された前記パラメータに応じて推定された前記輝度分布を、前記表示部に表示させる請求項６に記載の情報処理装置。 - 請求項１乃至７のいずれか一項に記載の情報処理装置と、構造物が撮影された撮像画像を取得する撮像手段を搭載した移動体と、を備える情報処理システムであって、
前記移動体は、移動に応じて前記撮像手段によって前記撮像画像を取得する情報処理システム。 - 塗装が施された構造物の撮像画像を評価する情報処理装置が実行する情報処理方法であって、
前記撮像画像の画素ごとの輝度を示す輝度画像における輝度値の出現頻度に基づいて推定された、前記撮像画像における塗装領域および前記塗装のはがれの領域を示すはがれ領域の輝度分布を、表示部に表示させる表示制御ステップと、
前記塗装領域と前記はがれ領域を含む算出対象の領域を決定する閾値の入力を受け付ける受付ステップと、
入力された前記閾値に基づいて決定された前記算出対象の画素数を用いて、前記塗装のはがれ率を算出する算出ステップと、
を実行する情報処理方法。 - 塗装が施された構造物の撮像画像を評価する情報処理装置に、
前記撮像画像の画素ごとの輝度を示す輝度画像における輝度値の出現頻度に基づいて推定された、前記撮像画像における塗装領域および前記塗装のはがれの領域を示すはがれ領域の輝度分布を、表示部に表示させる表示制御ステップと、
前記塗装領域と前記はがれ領域を含む算出対象の領域を決定する閾値の入力を受け付ける受付ステップと、
入力された前記閾値に基づいて決定された前記算出対象の画素数を用いて、前記塗装のはがれ率を算出する算出ステップと、
を実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020129315A JP7439684B2 (ja) | 2020-07-30 | 2020-07-30 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020129315A JP7439684B2 (ja) | 2020-07-30 | 2020-07-30 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022026042A JP2022026042A (ja) | 2022-02-10 |
| JP7439684B2 true JP7439684B2 (ja) | 2024-02-28 |
Family
ID=80263827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020129315A Active JP7439684B2 (ja) | 2020-07-30 | 2020-07-30 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7439684B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005291984A (ja) | 2004-04-01 | 2005-10-20 | Kozo Keikaku Engineering Inc | 鋼材から成る構造物の発錆状況判定装置、方法及びプログラム |
| JP2011174794A (ja) | 2010-02-24 | 2011-09-08 | Kyushu Institute Of Technology | 路面状態検出装置及び方法 |
| WO2017068743A1 (ja) | 2015-10-22 | 2017-04-27 | 京セラ株式会社 | 路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法 |
-
2020
- 2020-07-30 JP JP2020129315A patent/JP7439684B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005291984A (ja) | 2004-04-01 | 2005-10-20 | Kozo Keikaku Engineering Inc | 鋼材から成る構造物の発錆状況判定装置、方法及びプログラム |
| JP2011174794A (ja) | 2010-02-24 | 2011-09-08 | Kyushu Institute Of Technology | 路面状態検出装置及び方法 |
| WO2017068743A1 (ja) | 2015-10-22 | 2017-04-27 | 京セラ株式会社 | 路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022026042A (ja) | 2022-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Real‐time crack assessment using deep neural networks with wall‐climbing unmanned aerial system | |
| US9171363B2 (en) | Computer-readable recording medium and road surface survey device | |
| Lato et al. | Rock bench: Establishing a common repository and standards for assessing rockmass characteristics using LiDAR and photogrammetry | |
| Han et al. | Monitoring tunnel deformations by means of multi-epoch dispersed 3D LiDAR point clouds: An improved approach | |
| Chen et al. | Inexpensive multimodal sensor fusion system for autonomous data acquisition of road surface conditions | |
| US20160161448A1 (en) | Imaging method and apparatus based on magnetic fulx leakage testing | |
| Mauriello et al. | Towards automated thermal profiling of buildings at scale using unmanned aerial vehicles and 3D-reconstruction | |
| CN112712023B (zh) | 车型识别方法、系统及电子设备 | |
| JP7314693B2 (ja) | 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム | |
| JP2020144079A (ja) | 路面性状計測装置、路面性状計測システム、路面性状計測方法、および路面性状計測プログラム | |
| US11373409B2 (en) | Photography system | |
| JP2024050847A (ja) | 評価装置、状態検査システム、評価方法およびプログラム | |
| JP7439684B2 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
| JP7358304B2 (ja) | 情報処理装置、路面性状調査システム、情報処理方法およびプログラム | |
| Cai et al. | An efficient adaptive approach to automatically identify rock discontinuity parameters using 3D point cloud model from outcrops | |
| CN113593026A (zh) | 车道线标注辅助地图生成方法、装置和计算机设备 | |
| Yan | Advantage and Application of Unmanned Aerial Vehicle Remote Sensing in Engineering Survey | |
| CN114071072A (zh) | 显示装置、摄影系统、显示控制方法、存储介质 | |
| WO2020066755A1 (ja) | 学習モデル生成装置、地物変化判定装置、学習モデル生成方法、地物変化判定方法、及びコンピュータ読み取り可能な記録媒体 | |
| JP7115263B2 (ja) | 評価装置、調査システム、評価方法及びプログラム | |
| JP2023138372A (ja) | 情報処理装置、管理装置、情報処理システム、情報処理方法、管理方法およびプログラム | |
| JP2022136357A (ja) | 撮影システム、データ処理システム、撮影処理方法およびプログラム | |
| JP2022030458A (ja) | 表示装置、表示システム、表示制御方法およびプログラム | |
| CN106682565A (zh) | 车辆计数方法、车辆计数装置和电子设备 | |
| KR101611789B1 (ko) | 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230511 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7439684 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |