JP7440855B1 - 点検支援システム、撮影位置同定システム、及び、プログラム - Google Patents
点検支援システム、撮影位置同定システム、及び、プログラム Download PDFInfo
- Publication number
- JP7440855B1 JP7440855B1 JP2023010219A JP2023010219A JP7440855B1 JP 7440855 B1 JP7440855 B1 JP 7440855B1 JP 2023010219 A JP2023010219 A JP 2023010219A JP 2023010219 A JP2023010219 A JP 2023010219A JP 7440855 B1 JP7440855 B1 JP 7440855B1
- Authority
- JP
- Japan
- Prior art keywords
- photographing
- damage
- image
- image data
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 119
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 abstract description 23
- 238000000034 method Methods 0.000 description 59
- 230000006870 function Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 13
- 239000003550 marker Substances 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Studio Devices (AREA)
- Road Repair (AREA)
- Image Processing (AREA)
Abstract
Description
道路や線路等のインフラは長大な構造物であるため、その全域を点検して記録を保存する作業には多大な手間隙を要する。また、点検作業には損傷の度合い等を的確に判断する熟練を要するのであるが、熟練技術者が高齢化等で不足しがちである。
このため、近年、移動体で道路や線路等を走行しつつ、搭載したカメラで各方向を動画撮影し、その動画で道路や線路の対象位置を目視点検することが始まっている。
*点検対象とすべき範囲(損傷の分布範囲)を、容易に把握できることが望まれる。また、損傷の度合いが大きい範囲を、容易に把握できることが望まれる。さらに、経年変化の大きい範囲(重点的に注目すべき範囲)を、容易に把握できることが望まれる。
*点検対象として特定した撮影位置の画像内の損傷の位置を、容易に把握できることが望まれる。また、その損傷の詳細を併せて把握できることが望まれる。
*点検対象として特定した撮影位置の画像内の損傷の変化を把握するため、同一位置の異なる時点(過去と現在)の画像を比較対照できることが望まれる。また、容易且つ詳細に比較対照できることが望まれる。
*上記の把握を、熟練を要することなく行い得ることが望まれる。
*損傷分布範囲の経年変化の把握や、同一位置の画像の比較対照のためには、異なる時点(過去と現在)の同一位置を、的確に同定できることが望まれる。
本発明は、道路や線路等の長大なインフラの各部の中から、点検対象として注目すべき範囲(損傷の分布範囲)を視覚的に把握できるようにすることを目的とする。また、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握できるようにすることを目的とする。さらに、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況を、視覚的に把握できるようにすることを目的とする。また、その特定位置の状況の詳細を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況の変化を、視覚的に比較対照して把握できるようにすることを目的とする。また、その特定位置の状況の詳細な変化を視覚的に比較対照して把握できるようにすることを目的とする。
本発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行い得るようにすることを目的とする。
本発明は、例えば、道路や線路等の長大なインフラの各部の中から、比較対照したい特定位置や特定範囲を指定して、その状況変化を的確に把握可能とするべく、期間を空けて複数回に渡り各部を撮影した画像の中から、比較対照等のための同一の撮影位置を的確に指定できるようにすることを目的とする。
[1]発明1(損傷有無のヒートマップ)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置2からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置4から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段32と、
前記入力装置2からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置2からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置5に表示し、当該表示地図上に前記損傷特定手段32が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無を特定」する処理は、「各画像内の点検対象の損傷を調べて損傷の有無を特定」してもよく、また、「上記記憶装置4が各画像に対応付けて当該画像内の点検対象の損傷情報(損傷の有無)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器(画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)322を用いて実現することができる。なお、レベルは、ここでは「無」「有」である。
上記「ヒートマップで識別可能に表示する」処理は、「色相/明度/彩度の少なくとも1つで識別可能に表示する」と言い換えてもよい。
[2]発明2(損傷レベルのヒートマップ)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置4から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、
前記入力装置2からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置5に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の有無及び損傷有りの場合の損傷レベルを特定」してもよく、また、「上記記憶装置4が各画像に対応付けて当該画像内の点検対象の損傷情報(損傷の有無,損傷レベル)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器(画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)322を用いて実現することができる。なお、レベルは、例えば「0(無)」「1」「2」・・・である。
上記「ヒートマップで識別可能に表示する」処理は、「色相/明度/彩度の少なくとも1つで識別可能に表示する」と言い換えてもよい。
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置2からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、
を有することを特徴とする点検支援システム。
第1と第2という異なる撮影日に、同一経路(道路,線路等)を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
[4]発明4(同一撮影位置←位置領域)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記損傷レベルの差分の演算に際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る位置の範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「例えば第1と第2の撮影日の2画像が目視による比較対照や差分の演算に利用できる程度に合致する位置の範囲にて撮影した画像」であり、そのような位置の範囲は、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等を考慮して定めることができる。
[5]発明5(位置領域←距離標)
発明4に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路(道路,線路等)が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ(例:道路幅,線路帯幅,程度)に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
[6]発明6(距離標=キロポスト)
発明5に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。
例えば、高速道路では、100[m]、又は、1000[m]間隔でキロポストが設けられている。
[7]発明7(位置領域←メッシュ)
発明4に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第5位までで第6位以下が0の緯度線と、小数第5位までで第6位以下が0の経度線で区切られるメッシュである。一例として、北緯35.18140~35.18141、東経136.90635~136.90636で区分されるメッシュを挙げることができる。撮影時にGNSS受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
[8]発明8(区分領域)
発明7に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線LA及び経度線LOの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
[9]発明9(位置領域情報生成)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を各々前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
[10]発明10(小数第5位)
発明9に於いて、
前記記憶装置4は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段32は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
発明2に於いて、
前記損傷特定手段32は、前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置範囲内の各撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを各々特定するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段33は、前記入力装置2からヒートマップ表示が指示された場合は表示装置に前記表示地図を表示して前記損傷有りの各撮影位置の損傷レベルをヒートマップで表示し、前記入力装置2から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示して当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
損傷の画像内位置は、例えば、バウンディングボックスで表示できる。
入力装置2からの撮影位置を指定しての画像内の損傷表示の指示は、例えば、「前記表示地図上の或る位置にカーソルを置く」ようにして行われてもよい。
下記の構成も可能である。即ち、
発明11に於いて、
前記損傷特定手段32は、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置及び損傷の種類を特定し、
前記表示制御手段33は、前記入力装置2から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示し且つ損傷が有る画像では当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置及び損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置,種類)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(損傷の種類別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置の画像データを前記記憶装置4から取得し、当該画像内の点検対象に損傷が有る場合は当該損傷の画像内位置を特定する損傷特定手段32と、
前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置の画像を表示装置に表示し、前記損傷が有る場合は当該表示画像上に損傷の画像内位置を表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
下記の構成も可能である。即ち、
発明12に於いて、
前記損傷特定手段32は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段33は、前記損傷が有る場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置,種類)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(損傷の種類別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
発明3に於いて、
前記損傷特定手段は、前記第1と第2の撮影日の前記各撮影位置の前記損傷の有無及び損傷レベルを特定して前記各同一撮影位置での損傷レベルの差分を演算するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段は、前記入力装置から損傷レベルの差分表示が指示された場合は前記損傷特定手段が演算した前記損傷レベルの差分をヒートマップで表示し、前記入力装置から前記第1と第2の一方の撮影日の撮影位置を指定して画像内の損傷表示が指示された場合は当該一方の撮影日の当該撮影位置の画像を表示装置に表示するとともに前記第1と第2の他方の撮影日の同一撮影位置の画像を併せて表示装置に表示して損傷が有る画像では表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
第1と第2という異なる撮影日に、同一経路(道路,線路等)を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
下記の構成も可能である。即ち、
発明13に於いて、
前記損傷特定手段は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段は、前記損傷が有る画像の場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置4から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置4から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置を特定する損傷特定手段32と、
前記損傷特定手段32が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置を表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
第1と第2という異なる撮影日に、同一経路(道路,線路等)を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
[15]発明15(損傷の2画像内位置・種類)
発明14に於いて、
前記損傷特定手段32は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段33は、前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
[16]発明16(同一撮影位置←位置領域)
発明15に於いて、
前記記憶装置4は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段32は、前記一方の撮影日の撮影位置と同一位置の他方の撮影日の撮影位置を特定するに際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「第1と第2の撮影日の2画像が目視による比較対照や差分の演算に利用できる程度に合致する画像」となるように、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
[17]発明17(位置領域←距離標)
発明16に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標KP間を緯度線方向又は経度線方向と平行に延びる分割線DLで等分割した各分割線間DL-DLの領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路(道路,線路等)が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ(例:道路幅,線路帯幅,程度)に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
[18]発明18(距離標=キロポスト)
発明17に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。
例えば、高速道路では、100[m]、又は、1000[m]間隔でキロポストが設けられている。
[19]発明19(位置領域←メッシュ)
発明16に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第5位までで第6位以下が0の緯度線と、小数第5位までで第6位以下が0の経度線で区切られるメッシュである。一例として、北緯35.18140~35.18141、東経136.90635~136.90636で区分されるメッシュを挙げることができる。撮影時にGNSS受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
[20]発明20(区分領域)
発明19に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線LA及び経度線LOの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
[21]発明21(同一撮影位置←位置領域情報生成)
発明15に於いて、
前記損傷特定手段32は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
[22]発明22(少数第5位)
発明21に於いて、
前記記憶装置4は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段32は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持し、及び、前記各フレームの位置データと同一位置と見做し得る位置の範囲を画定する位置領域データを各々対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1の撮影日且つ指示された撮影位置の第1の画像データを前記記憶装置4から取得し、及び、前記入力装置2からの操作入力で指示された第2の撮影日且つ前記第1の画像データと同一の位置領域データに対応付けられている第2の画像データを前記記憶装置4から取得するデータ取得手段と、
前記データ取得手段が取得した第1の画像データと第2の画像データに対して前記入力装置2からの操作入力で指示された処理を実行するデータ処理手段と、
を有することを特徴とする撮影位置同定システム。
前記「緯度・経度が当該位置データと同一位置と見做し得る位置の範囲」は、「第1と第2という異なる撮影日の2画像が目視による比較対照や差分の演算に利用できる程度に合致する画像が撮影される位置の範囲」である。これは、画像データが動画の構成要素である各フレームの画像データの場合、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
前記「入力装置からの操作入力で指示された処理」としては、例えば、第1と第2の画像を比較対照するべく表示させる処理、第1と第2の画像の差分を演算して表示させる処理、前記「入力装置から指示される撮影位置が或る範囲の場合(撮影位置が連続する複数の位置の場合)に当該範囲内の各画像データの損傷レベルを比較対照するべく表示させる処理、該損傷レベルの差分を演算して表示させる処理、等を例示できる。
[24]発明24(位置領域←距離標)
発明23に於いて、
前記位置領域データは、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標KP間を緯度線方向又は経度線方向に延びる分割線DLで等分割した各分割線間DL-DLの領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
例えば、撮影経路(道路,線路等)EWが略東西方向に延びる場合、分割線DLは経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路EWの幅方向の長さ(例:道路幅,線路帯幅,程度)に基づかせることができる。なお、各距離標KPには、緯度LA・経度LOが対応付けられている。この緯度LA・経度LOに基づいて上記各分割線DLにも緯度・経度を対応付けて記憶させておいてもよい。
[25]発明25(距離標=キロポスト)
発明24に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする撮影位置同定システム。
例えば、高速道路では、100[m]、又は、1000[m]間隔でキロポストが設けられている。
[26]発明26(位置領域←メッシュ)
発明23に於いて、
前記位置領域データは、緯度線LA方向及び経度線LO方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域を規定する、
ことを特徴とする撮影位置同定システム。
例えば、小数第5位までで第6位以下が0の緯度線と、小数第5位までで第6位以下が0の経度線で区切られるメッシュである。一例として、北緯35.18140~35.18141、東経136.90635~136.90636で区分されるメッシュを挙げることができる。撮影時にGNSS受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
[27]発明27(区分領域)
発明26に於いて、
前記メッシュ状の区分領域は、小数第5位に丸めた緯度線及び経度線の格子配列により区分される方形領域である、
ことを特徴とする撮影位置同定システム。
[28]発明28(同一撮影位置←位置領域情報生成)
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段325と、
前記第1と第2の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第1又は第2の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段326と、
を有することを特徴とする撮影位置同定システム。
[29]発明29(小数第5位)
発明28に於いて、
前記記憶装置2は、前記各位置データとしてGNSS受信機から取得した小数第7位まで有効な緯度・経度データを有し、
前記領域情報生成手段は、前記位置領域情報として前記小数第7位まで有効な緯度・経度データを小数第5位に丸めたデータを生成する、
ことを特徴とする撮影位置同定システム。
[30]発明30
コンピュータを、発明1~発明22の何れかの点検支援システムとして機能させるためのプログラム。
[31]発明31
コンピュータを、発明23~発明29の何れかの撮影位置同定システムとして機能させるためのプログラム。
発明2は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置4から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、前記入力装置2からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置5に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段33と、を有することを特徴とする点検支援システムであるため、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握することができる。
発明3は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、前記入力装置2からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、を有することを特徴とする点検支援システムであるため、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握することができる。
発明15は、発明14に於いて、前記損傷特定手段32は点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、前記表示制御手段33は前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、ことを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況の詳細な変化を視覚的に比較対照して把握することができる。
また、上記の各発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行うことができる効果がある。
発明28は、動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された第1と第2の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段と、前記第1と第2の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第1又は第2の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段と、を有することを特徴とする撮影位置同定システムであるため、発明26と同様の効果を奏することができる。
図1は、本発明の概要を示す。図示のように、本発明では、データベース4に、点検対象の撮影により得た静止画像データ、該静止画像データの撮影位置(緯度・経度)を示す撮影位置データ、同じく撮影日時刻を示す撮影日時刻データ(時間データ)、撮影時に撮影者が入力した気付きコメント等を、対応付けて保持している。
なお、図1では、カメラ搭載の自動車で道路の路面や周辺の構造物を撮影する場合を示しているが、カメラ搭載の列車で線路や周辺の構造物を撮影したり、或いは、カメラ搭載のドローンで河川や川岸を撮影したり、等であってもよい。要は、長大な構造物の動画撮影に基づいて静止画像データを生成するとともに位置データや時間データを対応付けて登録しておき、後日、点検等に用いる場合について、本発明を適用できる。
[1]道路損傷レベルのヒートマップ
図6に、画面に表示した地図上に道路の損傷レベルをヒートマップ表示する機能を実現可能な構成を示し、図2(a)前段に、該機能を実現する処理手順を示す。また、図14と図15に、表示装置にヒートマップ表示した写真画像の一例を示す。
図6に於いて、入力装置2は、各種の操作入力を行うための機器であり、例えば、キーボードやマウス等で構成され得る。操作入力は、表示装置5との協働でも行われ得る。記憶装置4は、ハードディスク、SSD、RAM等で構成され得る。制御装置3はCPUやGPU等で構成され、入力装置2、表示装置5、記憶装置4を制御するとともに、後述の損傷特定部32としての機能をも奏する。
即ち、撮影日と撮影範囲が指定されると(S11)、損傷特定部32が、記憶装置4から当該の撮影日で且つ当該の撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データ(緯度・経度)を取得して、各撮影位置の損傷レベルを特定し、表示制御部33が、当該の撮影位置範囲を表示可能な地図を表示装置5に表示して、当該表示地図上に損傷特定部32が特定した各撮影位置の損傷レベルをヒートマップで識別可能に表示する(S13)。言い換えれば、各撮影位置の損傷レベルに応じて色相/明度/彩度を決めて識別可能に表示する。なお、地図に代えて、図14や図15のように、写真画像上にヒートマップを表示してもよい。また、損傷レベルに応じて表示サイズ(例:幅)を変えることで識別可能なヒートマップ表示としてもよい。
なお、点検対象が路面のように損傷の種類が少ない場合や、路面以外でも損傷の種類が特定されている場合等には、損傷レベルの区分を、画像内の損傷箇所の数で区分するように簡易化してもよい。
図6に、画面に表示した地図上で撮影位置を操作入力で指定する機能を実現可能な構成を示し、図2(a)後段に、該機能を実現する処理手順を示す。また、図3に、画面表示地図上で指定した撮影位置の写真画像を画面表示する手順を示し、図16と図17に画面表示した写真画像上に損傷位置と種類を画面表示する様子を示す。
即ち、入力装置2からの操作入力で地図上にて指定したカーソル位置(図3(a))の画像データが記憶装置4から読み出されて、表示装置5に表示される。このとき、地図表示から写真画像単独の表示に切り換えてもよいが、地図と写真画像とを図3(b)の如く並べて表示してもよい。また、写真画像単独表示又は地図と写真画像の並べ表示の何れの方式で表示するかを操作入力で選択可能としてもよい。
損傷検出器321としては、画像サイズと同サイズで損傷とその種類別に予め用意した多数(例:図7・損傷A0~損傷C2の各種類・各レベルの損傷について各々100画像程度)の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワークを用いることができる。例えば、YOLOv3(損傷の位置と種類(及びレベル)を同時に検出するAIモデル)を用いることができる。
図16と図17に、写真画像内に各損傷位置をバウンディングボックスBBで表示し且つ損傷の種類を付記表示した様子を示す。
このように損傷検出器321を用いて「損傷の画像内位置と種類等を検出する」と、教師画像を適切なタイミングで更新して深層学習(ディープラーニング)を行っておくことにより、最新且つ高精度で各損傷の画像内位置とその種類等を検出することができる。
図4に、地図上に路面損傷レベルの新旧の差分を表示装置5にヒートマップ表示する機能を実現するブロック図を示し、図2(b)前段に、該機能を実現する手順を示す。
図2(b)S23「道路各撮影位置の損傷レベルの差分」とは、異なる撮影日(例:新旧,昨年と今年,第1と第2の撮影日)に同一の撮影範囲(地域)を撮影した2つの動画各々のフレームからそれぞれ静止画を生成した場合に於いて、それらの静止画から、第1と第2の撮影日で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決めて求めた損傷レベルの差分をいう。
特定した各撮影位置の損傷レベルから、第1と第2の撮影日で同一の撮影位置の損傷レベルの差分を各々求めるのであるが、そのためには、まず、新旧で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決める必要がある。
<メッシュ状の区分領域(図5(b))>
GNSS衛星からGNSS受信機が取得して生成する位置データは、現状、小数第7位までで表わされた緯度・経度である。道路EWを走行する前記移動体の速度を100[km/h]、フレームレートを30[fps] と仮定し、この仮定に基づき、小数第5位までで第6位以下を「0」とした緯度線LA・経度線LOにて、図5(b)のメッシュを規定する。
各撮影位置が持つ位置データ(小数第7位までの緯度・経度)に、当該の撮影位置が存するメッシュ、即ち、当該撮影位置を囲むメッシュ(位置領域)を、当該の位置データに対応付けて記憶装置4にて保持する。例えば、「北緯35.1814025、東経136.9063563 」の撮影位置は、北緯35.18140~35.18141、東経136.90635~136.90636で規定されるメッシュ内に在る。この対応関係を、記憶装置4にて保持する(図6・位置領域,図10・撮影地点マスタ,参照)。
位置データに対応付けられているメッシュ(位置領域)が同じである新旧二つの撮影位置での撮影画像の組を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を記憶装置4から取得する手順は、
(1)入力装置2からの操作入力で指定された第1の撮影日(S21)、且つ、指定された撮影範囲(S21)の撮影位置群から所定の規則で指定された撮影位置の第1の画像データを記憶装置4から取得し、
(2)入力装置2からの操作入力で指定された第2の撮影日(S21)、且つ、(1)で取得した第1の画像データと同一の位置領域データに対応付けられている第2の画像データを記憶装置4から取得する、
という手順となる。
或る道路や線路では、所定の起点位置からの距離を100m毎又は1000m毎に示す距離標(例:キロポストKP)が設けられており、その緯度・経度は既知であるか、少なくとも予め正確に特定できる(図10・KPデータ,参照)。このため、隣接する距離標間を図5(a)の如く100分割又は1000分割して、隣接する各分割線DL間の距離を、例えば、1mに設定することができる。さらに、各分割線DLに緯度・経度を予め設定しておくこともできる。
前掲の各撮影位置が持つ位置データ(小数第7位までの緯度・経度)と、各分割線DLに設定した緯度・経度とに基づいて、各撮影位置について、各々最寄りの分割線を決定して、各撮影位置の位置データに対応付けて記憶装置4にて保持しておく。
最寄りとして対応付けられている分割線DLが同じである撮影位置を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を入力装置2からの操作入力に応じて記憶装置4から取得する手順は、前掲の「<メッシュ状の区分領域>」の(1)(2)に準ずる。
前述のように、GNSS衛星からGNSS受信機が取得して生成する位置データは、現状、小数第7位までで表わされる緯度・経度である。この緯度・経度を小数第5位までで丸めて、その値(小数第5位までで丸めた緯度・経度)が同じである新旧の撮影位置を求めると、「同一の位置を撮影した静止画の組」を得ることができる。
この静止画像の組を記憶装置4から取得する手順は、
(1)入力装置2からの操作入力で指定された第1の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ(小数第7位までの緯度・経度)を各々記憶装置4から取得して、各々位置データを小数第5位までに丸める。
(2)入力装置2からの操作入力で指定された第2の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ(小数第7位までの緯度・経度)を各々記憶装置4から取得して、各々位置データを小数第5位までに丸める。
(3)上記(1)と(2)で求めた小数第5位までの位置データを比較して、同一の組を「同一の位置を撮影した静止画の組」とする。
という手順となる。
図7に、新旧で同一の撮影位置の写真画像上に損傷の位置及び差分を表示する機能を実現するブロック図を示し、図2(b)後段に、該機能を実現する手順を示す。
また、図19に新旧で同一の撮影位置のガードレールの損傷の差分を表示するまでを示し、図20と図21に新旧で同一の撮影位置の写真画像を並べて表示する様子を示す。
新旧で同一の撮影位置については、前記「[3]損傷レベル差分のヒートマップ表示/新旧の同一撮影位置」で述べた手法により特定することができる。
(1)2画面を並べて表示する場合であるか、
又は、
(2)画像内の損傷箇所の差分を表示する場合であるか、
がチェックされる(S27)。
その結果、2画面を並べて表示するように指示されていた場合は(S27でNO)、カーソルで選択された撮影位置の新旧の画像を並べて表示する(S31)。その例を、図20と図21に示す。
並べて表示した各画像内に、損傷の画像内位置と種類を各々表示してもよい。その手法としては、前掲の「[2]路面の損傷の画像内位置と種類」で述べた手法を用いることができる。
この画像差分の生成は、画像差分生成システム327(図8内)が担う。
図11のS51は、図2のS11の「撮影範囲を操作入力で指定」に相当する。図11のS53は、図2のS23の「損傷レベルの差分表示(ヒートマップの差分表示)」のためのデータを取得する処理である。図11のS61は、図2のS15又はS25の「撮影位置を選択」に相当する。
図11のS61の後段部分は、画像表示態様を選択する処理である。例えば、図18の如く前方と左側方を分離して表示するか、一体の画像として表示するか、等を選択する処理である。なお、この処理自体は、本発明の範囲ではない。
図11のS61の最後~S63は、図2のS21からS31に相当する。
図11のS71は、図2のS33の「画像内の損傷の差分」を表示するためのデータを取得する処理である。
3 制御装置
31 検索システム
32 損傷特定部
321 損傷検出器
321A 損傷検出システム
321B 損傷診断システム
322 レベル区分検出器
323 レベル差分演算部
325 領域情報生成部
326 撮影位置同定部
327 画像差分演算部
33 表示制御部
33A ビューアシステム
35 登録システム
36 編集システム
4 記憶装置
41 管理テーブル
43 画像データ
45 地図データ
47 キロポストデータ
5 表示装置
KP キロポスト
DL 分割線
LA 緯度線
LO 経度線
EW 高速道路
Claims (15)
- 点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記損傷レベルの差分の演算に際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。 - 請求項1に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。 - 請求項2に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。 - 請求項1に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。 - 請求項4に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線及び経度線の格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。 - 点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を各々前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。 - 請求項6に於いて、
前記記憶装置は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。 - 点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置及び損傷の種類を特定する損傷特定手段と、
前記損傷特定手段が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置及び損傷の種類を表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記一方の撮影日の撮影位置と同一位置の他方の撮影日の撮影位置を特定するに際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。 - 請求項8に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。 - 請求項9に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。 - 請求項8に於いて、
前記位置領域は、緯度線方向及び経度線方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。 - 請求項11に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線及び経度線の格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。 - 点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置及び損傷の種類を特定する損傷特定手段と、
前記損傷特定手段が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置及び損傷の種類を表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を前記同一撮影位置とする、
ことを特徴とする点検支援システム。 - 請求項13に於いて、
前記記憶装置は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。 - コンピュータを、請求項1~請求項14の何れかの点検支援システムとして機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023010219A JP7440855B1 (ja) | 2023-01-26 | 2023-01-26 | 点検支援システム、撮影位置同定システム、及び、プログラム |
JP2024016083A JP7515805B1 (ja) | 2023-01-26 | 2024-02-06 | 点検支援システム、撮影位置同定システム、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023010219A JP7440855B1 (ja) | 2023-01-26 | 2023-01-26 | 点検支援システム、撮影位置同定システム、及び、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024016083A Division JP7515805B1 (ja) | 2023-01-26 | 2024-02-06 | 点検支援システム、撮影位置同定システム、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7440855B1 true JP7440855B1 (ja) | 2024-02-29 |
JP2024106104A JP2024106104A (ja) | 2024-08-07 |
Family
ID=90011368
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023010219A Active JP7440855B1 (ja) | 2023-01-26 | 2023-01-26 | 点検支援システム、撮影位置同定システム、及び、プログラム |
JP2024016083A Active JP7515805B1 (ja) | 2023-01-26 | 2024-02-06 | 点検支援システム、撮影位置同定システム、及び、プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024016083A Active JP7515805B1 (ja) | 2023-01-26 | 2024-02-06 | 点検支援システム、撮影位置同定システム、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7440855B1 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016211955A (ja) | 2015-05-08 | 2016-12-15 | 古河電気工業株式会社 | 橋梁点検支援装置、橋梁点検支援方法、橋梁点検支援システム、およびプログラム |
JP2016218626A (ja) | 2015-05-18 | 2016-12-22 | 株式会社構造計画研究所 | 画像管理装置、画像管理方法およびプログラム |
WO2017014288A1 (ja) | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
WO2017110278A1 (ja) | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 情報処理装置及び情報処理方法 |
JP2018017102A (ja) | 2016-07-29 | 2018-02-01 | エヌ・ティ・ティ・コムウェア株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102011713B1 (ko) | 2018-12-21 | 2019-08-19 | 주식회사 지에스지 | 연속구조물 결함 모니터링 시스템 및 방법 |
JP2021060656A (ja) | 2019-10-03 | 2021-04-15 | エヌ・ティ・ティ・コムウェア株式会社 | 道路損傷判定装置、道路損傷判定方法及び道路損傷判定プログラム |
JP2022014432A (ja) | 2020-07-06 | 2022-01-19 | 日本電気株式会社 | 劣化診断システム、劣化診断装置、劣化診断方法、及び、プログラム |
JP2022021209A (ja) | 2020-07-21 | 2022-02-02 | 古河電気工業株式会社 | 点検支援装置、点検支援方法および点検支援プログラム |
JP2022045032A (ja) | 2020-09-08 | 2022-03-18 | 東芝デジタルソリューションズ株式会社 | 道路周辺物監視装置、道路周辺物監視プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6283129B1 (ja) | 2017-01-27 | 2018-02-21 | アジア航測株式会社 | 飛行空間情報提供装置 |
-
2023
- 2023-01-26 JP JP2023010219A patent/JP7440855B1/ja active Active
-
2024
- 2024-02-06 JP JP2024016083A patent/JP7515805B1/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016211955A (ja) | 2015-05-08 | 2016-12-15 | 古河電気工業株式会社 | 橋梁点検支援装置、橋梁点検支援方法、橋梁点検支援システム、およびプログラム |
JP2016218626A (ja) | 2015-05-18 | 2016-12-22 | 株式会社構造計画研究所 | 画像管理装置、画像管理方法およびプログラム |
WO2017014288A1 (ja) | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
WO2017110278A1 (ja) | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 情報処理装置及び情報処理方法 |
JP2018017102A (ja) | 2016-07-29 | 2018-02-01 | エヌ・ティ・ティ・コムウェア株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102011713B1 (ko) | 2018-12-21 | 2019-08-19 | 주식회사 지에스지 | 연속구조물 결함 모니터링 시스템 및 방법 |
JP2021060656A (ja) | 2019-10-03 | 2021-04-15 | エヌ・ティ・ティ・コムウェア株式会社 | 道路損傷判定装置、道路損傷判定方法及び道路損傷判定プログラム |
JP2022014432A (ja) | 2020-07-06 | 2022-01-19 | 日本電気株式会社 | 劣化診断システム、劣化診断装置、劣化診断方法、及び、プログラム |
JP2022021209A (ja) | 2020-07-21 | 2022-02-02 | 古河電気工業株式会社 | 点検支援装置、点検支援方法および点検支援プログラム |
JP2022045032A (ja) | 2020-09-08 | 2022-03-18 | 東芝デジタルソリューションズ株式会社 | 道路周辺物監視装置、道路周辺物監視プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7515805B1 (ja) | 2024-07-16 |
JP2024106344A (ja) | 2024-08-07 |
JP2024106104A (ja) | 2024-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6713505B2 (ja) | 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム | |
KR102094341B1 (ko) | 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법 | |
JP6790210B1 (ja) | 道路損傷判定装置、道路損傷判定方法及び道路損傷判定プログラム | |
Jiang et al. | Quantitative condition inspection and assessment of tunnel lining | |
DE102013216892B4 (de) | Standortbestimmung für ein Objekt unter Verwendung von visuellen Daten | |
CN112802021B (zh) | 基于数字孪生技术的城市桥梁道路诊断方法及其系统 | |
Kromanis et al. | A multiple camera position approach for accurate displacement measurement using computer vision | |
US20160133008A1 (en) | Crack data collection method and crack data collection program | |
CN108974044A (zh) | 铁路轨道资产勘测系统 | |
CN112800911A (zh) | 一种路面损伤快速检测及自然数据集构建方法 | |
CN107430815A (zh) | 用于自动识别停车区的方法和系统 | |
CN111143932A (zh) | 一种桥梁健康状态的评估方法、装置、系统和设备 | |
JP7333511B2 (ja) | 道路維持管理システム、舗装種別判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、修繕優先度判定方法 | |
US11828617B2 (en) | System and method for asset identification and mapping | |
US20160133007A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
JP2020144572A (ja) | 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム | |
JP2021026353A (ja) | 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム | |
JP2020160840A (ja) | 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム | |
JP2015105905A (ja) | 変状の時系列管理に用いるトンネル覆工面画像の補正方法 | |
JP6419260B1 (ja) | 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム | |
CN117853904A (zh) | 道路病害检测方法、装置、设备、介质及系统 | |
JP7440855B1 (ja) | 点検支援システム、撮影位置同定システム、及び、プログラム | |
EP4250245A1 (en) | System and method for determining a viewpoint of a traffic camera | |
JP7103975B2 (ja) | 構造物検出装置、構造物検出方法及び構造物検出プログラム | |
JP2005056186A (ja) | 交通状況観測システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230203 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230830 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7440855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |